加拿大公部門採用自動決策系統工具前必須完成演算影響評估

許慧瑩
2019年09月06日

一份由CITIZEB LAB 發表之「邊境的守門機器人：加拿大政府移民與難民自動決策系統人權分析報告」（Bots at the Gate: A Human Rights Analysis of Automated Decision-Making in Canada’s Immigration and Refugee System）指出，加拿大政府從2014年前便開始採用自動決策系統於數項移民措施決策，尤其是本來由移民局官員人工處理的部分現大都轉為自動化處理，或者是由移民局官員採用自動化決策系統准駁移民與遊客的申請。

近來加拿大政府更進一步擴展自動化決策系統之使用範圍，使得公民團體十分憂心。於是乎對於政府大量採用自動化決策系統提出建言，其中一項建議為：加拿大政府應該凍結現行所有有關自動化決策系統之採購、開發與採用，直到該系統已經確認為完全符合政府的相關標準、有責使用與採用的相關指引，始得為之。

加拿大政府亦意識到這個議題，為正面積極回應此項建議，與取得公民對於自動化決策系統採用的疑慮，以公私協力的方式反覆進行意見徵詢與討論，最後於2019年4月1日發布「自動決策指令」（Directive on Automated Decision-Making），並要求要求現時已採用之自動決策之公部門（指令內有規定適用主體）須於2020年4月1日前完成遵循；並全面適用在2020年4月1日後所研發或採購之自動決策系統工具。

「自動決策指令」的特點為將程序公平與正當程序的要求、影響評估、通透性與可解釋性等概念納入框架，儘可能地減低自動決策系統（automated decision-making systems, ADM Systems）（指令將自動決策系統定義為協助或取代人類進行決策判斷的技術，包括機器學習和資料預測分析等），及推薦或協助聯邦行政部門進行行政處分之系統、工具或統計模型等，對人民或政府機關可能產生之相關風險，使自動決策系統之採用更具效率、精確、一致和具可解釋性。

以下將簡摘「自動決策指令」如下：

第一部分：演算影響評估（algorithmic impact assessment, AIA）（演算影響評估分級請詳見附錄B）

指令要求公部門依據指令之參考說明（例如：對個人或群體權利的影響程度，以及該影響的可／不可逆性）進行自動決策系統演算法影響評估，考量因素包含

  • 個人或群體的權利；
  • 個人或群體的健康或福祉；
  • 個人、實體或群體的經濟利益；
  • 生態系統的可持續性。

後續，再依評估狀況依據影響程度最小到最大分為I-IV級（無影響、中等影響、高影響與極高影響）（no impact, moderate impacts, high impacts, very high impacts）。評估完畢後須將結果公開，且必須在系統功能或範圍改變時，進行再評估與更新結果。

第二部分：各影響級別的因應要求（impact levels requirements）（附錄C）

  • 同儕檢視（peer review）: 經適當合格的專家對自動決策系統進行檢視；
  • 通知（notice）: 基於通透原則，於進行自動決策須事前公告。
  • 人類參與或由人類進行最後決策（human-in-the-loop-for decisions）: 確保允許人類可於適當狀況下介入自動決策系統（要求人類參與或由人類進行最後決策）；
  • 解釋的要求（explanation requirements）: 依各影響等級於決策後向受影響之個人說明決策過程與解釋決策結果；
  • 訓練（training）: 提供自動決策系統之私部門須對其員工進行培訓，使其對於自動決策系統之設計、功能和實施等具審查、解釋和監督運作的能力；
  • 緊急應變計畫（contingency planning）: 緊急應變系統和程序；與
  • approval for the system to operate: 依各影響級別尋求系統運行的批准要求。

第三部分：其他共同遵循要求（各級別均須遵循）

  • Access to components: 軟體之授權使用必須符合近用、盡責調查、測試和可受稽核之要求；
  • 源碼的釋出（release of source code）: 如為加拿大政府所有之客製源碼 (source code)，須全數釋出；
  • 測試與監督（testing and monitoring）: 為防止意外結果之發生和定期確認自動決策系統符合法律與指令之規定，於啟動生產自動決策系統或是開發監控自動決策系統決策之流程前，應使用data與information進行測試與監控其自動決策系統之決策結果是否有不預期的歧視/偏差，或其他可能影響結果公平性之其他因素；
  • 資料品質（data quality）: 確認自動決策系統所蒐集與使用之資料為最新、且具相關性、準確性，並符合資訊管理政策（Policy on Information Management與隱私法；
  • 安全（Security）: 依據政府安全政策（Policy on Government Security）在系統研發週期內進行風險評估，並訂立適當的安全維護措施；
  • 法務（Legal）：經法律部門確認公部門為使用自動決策系統進行決策符合法律規範；
  • 提供客戶可挑戰自動決策系統的決策結果的方法；
  • 回報自動決策系統之有效性和效率之資訊。

第四部分：未遵循指令的後果

若發現有不符合指令規定之情況， 財務部（Treasury Board）可依據《財務行政法》（Financial Administration Act）之規定依各該情況處以適當和可接受的措施；並依據《遵循管理框架》（Framework for the Management of Compliance）Appendix C 所載機關／構不符合的後果案例、與附錄D：個人不符合的後果案例，處理具違反情事之相關機關／構與人員。

指令希冀提供理解與減緩自動決策系統風險的框架，並提供適當的治理、監督、報告與稽核要求。

雖然自動決策指令規範對象僅限加拿大聯邦政府之公部門，但因為私部門可研發產製自動決策技術後授權或出售給聯邦政府使用，所以該指令規範也會間接影響至私部門（包含其供應鏈之下游），所以私部門也要特別注意指令的規定；另外，因為指令中有許多有關特定功能、揭露或其他協助的規範要求，技術開發人員在整個研發週期與涉及人員當中，最能有效地遵循與提供相關協助，因此技術開發人員必須注意該自動決策指令的相關規範。該指令亦可提供即將採用或落實AI解決方案的私部門，在制定相關政策與架構時予以參考。

加拿大政府表示建立演算影響評估（AIA）的初衷為確保人類對於決策還具有控制能力，並認為此份演算影響評估為截至目前為止，行政部門最為透明公開的政策文件之一。

加拿大政府採用Google Doc 與GC Collab之公民協力，第一個於法律規定以流程與機制評估自動決策系統的演算影響的國家，納入分級、等級因應概念、以及其他應遵循事項都在指令內加以敘述說明，並輔以提問的方式進行影響評估，為值得參考的作法，至於，在實務操作面的狀況，目前尚未有任何報導與評論，後續將再繼續追蹤與觀察。

IMAGE INFO
Free for commercial use, No attribution required

備註

  1. 加拿大公共服務部門由《財務行政法》（Financial Administration Act, FAA）同一立法框架管理，該框架規定政府行政和管理規則，主要包含財務和資產管理、人事，和資訊管理三大關鍵領域。《財務行政法》適用於公共服務部門和Crown Corporation之一般財務管理與法律課責。依據FAA所成立之財務委員會（Treasury Board）主要權責雖然不包含訂立與公共服務相關之規則和原則，但卻是公共服務部門主要管理機構之一。值得注意的是，財務委員會為從事核心公共行政的公務員的雇主，而且還可訂立與批准一般或特定政策、指令、或發布不具法拘束力之指導性指引或文件。如果公共服務部門或公務員有未為遵循法律或具法拘束力之指引或指令時，財務部可能會採取違反的懲罰或行政裁罰。
  2. 自動決策指令（Directive on Automated Decision-Making）為加拿大公部門機關單位之資訊與技術政策框架（Policy Framework for Information and Technology）下規範公部門機關單位間與其人員之內部框架、指引與規定（並不具歐盟指令法律層級與定義）。

資料來源

延伸閱讀

作者

中央研究院法律學研究所 　許慧瑩
本研究感謝「符應社會歸責之資料二次使用隱私框架」計畫與「資訊法中心」支持