AI偏差歧見的另類難題 – 使用者對AI風險評估工具的差異性互動

許慧瑩
2019年09月06日

隨著AI人工智慧新興技術的興起，各界寄望於AI可能帶給人類更方便、更效率、更精準、更公平的智慧生活，各國政府與產業也紛紛發布AI相關發展策略與與進行佈局，莫不希望可以搶到AI人工智慧發展的利基。在AI可能帶來的方便、效率、精準面向之虞，AI的預估、建議與決策，是否可比人類更公平、更不偏頗，卻受到兩極化的回應。

不少AI支持者確信，AI不但可增進決策的精確與準確性，因為少了人類的介入，可大幅減緩人類決策的偏差歧見（bias），提供較為客觀、公平的決定。但是，這個論述在實際應用案例上受到不少質疑。以美國為例，法院採用的風險預測與評估輔助工具 – COMPAS協助法官就嫌疑人的再犯風險做為量刑參考，引發許多爭議，其一為風險評估的結果帶有種族的偏差歧見。

Pro Publica在2016年的調查研究報告中指出，COMPAS的演算法在種族存在嚴重的偏差歧見，對於黑人嫌犯再犯風險的估算為白人嫌犯的兩倍之多。美國亦有研究發現，醫療院所與保險公司大量使用之健康照護資源分配的演算法，可能含有系統性偏差歧見，對於可能面臨類似病況的黑人病人與白人病人，演算法可能不會推薦（引導）給可改善複雜醫療需求的患者。後續追究可能的原因為，雖然有某些疾病在黑人群體比例較高，例如：糖尿病、貧血、腎衰竭、高血壓等，但總體而言，依據健康照護年度支出來看，若為患有同樣慢性病時，黑人比白人支付額少1,800美元，又演算法基礎於支出來劃分風險群組，而因此在健康照護的資源在黑白種族間產生了差異。

對於COMPAS的演算法是否帶有偏差歧見，有論者主張，透過研究實驗並未發現有偏差歧見的可能，另一派論者則認為，基於資料科學之輸入垃圾、輸出也是垃圾（garbage-in, garbage-out）的原理，若訓練資料早存有人類的偏差歧見，那麼演算法經學習與訓練後所提供的預測與建議，不可避免的也將或多或少含有偏差歧見（bias-in, bias-out）。針對演算法可能因為訓練資料而產生偏差歧見的預測建議，目前已有不少機器學習的學者專家，正著手於研究如何發現與調校偏差歧見，並提出因應個別議題的新興技術，例如：依據公平性指標將不同層級標註為不相容的工具、研發得以減少偏差歧見之新演算法等。

不過，就演算法的開發與訓練是否帶有偏差歧見，最終還是回到最原始的問題－資料、資訊、與知識。對於演算法來說，最完美的理想狀況為完全記錄可呈現人類行為的資料、透過人工或機器標註資料與資料間的關聯性或連結資料（不論是結構化或非結構化資料），並尋找相關行為模式所得之知識，才得以提供演算法之開發與學習的可能。然，就現況觀察，以人類法官量刑為例，法官最後心證的形成所基礎的資料，除了實體證據之外，尚包含被告的對話、反應、肢體動作等。法官的判決基本上只儘可能的說明心證的過程，但是還有一些心證形成的過程，並無法完全描繪說明、且記錄下來。最終，法官的判決不僅由有形的文字與資料間歸納而成，還有許多無形或感官上的因素，成就最終的決策。以現時非結構化之判決文字/鑑定書之文字表達，可能無法完全呈現法官/專家於法庭論辯環境所形成之最終心證/鑑定之過程。但是，如果沒有資料或足夠的資料可開發與訓練演算法，對於演算法來說，就是一個問題。有相關的資料才得以檢視，演算法的開發與訓練是否帶有偏差歧見。

除此之外，華盛頓郵報提出，有關檢視是否為開發或訓練資料造成亦帶有偏差歧見，光是要如何定義公平，以及與將公平資料化，就是一件頗為困難的挑戰。再者，即便有可能完整記錄人類的行為資料（含感官資料間的關聯性），適用到專業人員進行專業決策（例如：醫療、法律），差別對待或處置是否即可直接解讀為具有偏差歧見，可能尚無簡單明確的判斷方法。

截至目前為止，演算法是否可做出比人類更準確、精確與公平客觀的判斷，進而於未來可能取代人類或專業，仍待證實，但至少現階段演算法仍可以做為人類進行決策時的輔助工具。最近，越來越多的公私部門逐漸採用演算法輔助評估、決策（在公務機關的處分、司法刑事偵察與法院系統、醫護專業之臨床決策輔助系統、公司員工聘僱的篩選），以刑事司法系統所使用之風險評估工具為例，風險評估工具僅扮演著輔助法官進行決策的工具提供預測建議給法官參考，是以，風險評估工具的預測建議是否正確與公平，最多僅可能是影響法官作最終決策的間接因素，最終決策者還是人類。

Ben Green & Yiling Chen, 在Disparate Interactions: An Algorithm-in-the-Loop Analysis of Fairness in Risk Assessments一文中，透過實驗的方式確認其假設，作者認為在風險評估工具的討論，最需要注意的議題反倒是工具的預測建議對於法官作成最終決策過程的影響、以及工具的使用是否讓法官的決策更為正確與公平。因此，我們除了需要訂立風險評估工具的技術規格外，還要需同時研究法官是如何解讀工具所給予的預測建議（與工具間的互動），才得以理解工具的預測建議對於法官的最終決策有何影響。

該實驗設計主要以刑事司法審判為例，觀察風險評估工具將如何影響人類進行決策。作者以審判前釋放（pre-trial release）為例，預測被告於審判前被釋放後的再犯率或審判日無正當理由不到庭的可能性，以群眾外包（crowdsourcing）亞馬遜機械土耳其人（Amazon Mechanical Turk）的方式設計與進行實驗。觀察人類在控制環境下，於有無風險評估工具提供預測建議時，對於人類所為之最終決策的差異與影響，亦即，觀察風險評估輔助工具是如何影響人類進行風險評估的決策，並證實實驗前所作的假設。需要提醒的是，實驗係以一般人（非經法律訓練之專業人士）為對象，雖對於實驗的假設構成某程度的限制，仍可作為現實生活風險評估的參考。實驗結果仍可顯示作為有責性的使用風險評估工具，某些特定的工具與人類間的互動，應在法院使用前被納入進一步的研究。

該團隊的實驗強調在人類使用演算法進行決策輔助工具時，相當重要但卻經常被忽略的面向：將風險評估工具引介進入刑事司法制度協助法官進行決策之輔助工具時，並未如多數論證所預期之減低自由裁量（自由心證），並做出更客觀（公平）的裁判；反之，風險評估工具只是將自由裁量轉移到了數個不同的地方，包括法官對風險評估工具所提供之預測建議的解讀，以及法官在最終決策時是否採納工具所提供之建議，與採納的程度。在法官採用風險評估輔助工具之預測建議進行自由裁量時，最特別的危險為法官可能一併將潛在的人機間的差異性互動（disparate interaction）納入最終決策當中，亦即，當偏差歧見隱藏在演算法之預測建議並加以過濾後，再影響人類採納入其最終決策中。另外提醒，另外一個需要關注的研究方向，為研究當使用者使用風險評估工具到做成最終決策間的行為過程。分析參與者的行為過程，將可有助於觀察人機間的差異性互動。

Ben Green & Yiling Chen最後提出，對於演算法風險評估工具在社會技術面向特性的理解還是十分有限，尤其在演算法的預測建議是如何增進使用者最終決策面向，還是大抵處於未知的狀態。對此，團隊建議有關演算法以技術做為社會實踐（technologies as social practice）的概念與對於技術構成的理解，人類與機器間的互動就必須透過演算法的使用面去理解，並建議「在決策過程納入演算法」（algorithm-in-the-loop, AITL）的架構倡議，認為當演算法日益普遍，並提供關鍵決策之預測建議時，演算法的預測建議如何影響人類最終決策間的連結關係變得非常關鍵（風險評估工具僅為其中的一種應用樣態）。

的確，如同Disparate Interactions: An Algorithm-in-the-Loop Analysis of Fairness in Risk Assessments作者們提醒，在各界忙於探究與解決演算法之資料本身是否存在偏差歧見，導致演算法之預測建議亦帶有偏差歧見時，往往會忽略演算軟體做為人類輔助工具時，使用者與演算軟體間的人機互動（Human Computer Interaction – HCI）對人類決策者之最終決策是否具一定程度的影響。就社會學家對於人類行為的觀察與討論，HCI並不是因應AI或機器人發展所特有，但或許AI或機器人科技技術發展後，會有更新穎的議題需要關注。例如：以機器人在未來高齡化社會可能扮演的照護角色為例，社會學家可能會想要觀察人類與機器人間之互動是否有涉及感情緒與依賴面；亦有學者想要確認AI機器人是否可提出其行為為合理（rational）的說明或證明；該篇文章作者則想要提醒，當人類把AI或機器人做為輔助工具，演算法做為輔助工具的主要功能在於提供預測建議給人類參考，而不僅為單純的資料輸入與輸出（in-put and out-put）而已，此時，人類對於演算法所提供之預測建議是否採納與採納的程度，亦即，對於人類決策者之最終決策是否具一定程度的影響，值得進一步深入與探討。

對此，該實驗團隊透過群眾外包的方式徵集一般使用者提供與類似法院所用之風險評估工具，並提供相同的被告檔案分組進行風險評估實驗，實驗結果發現有風險評估工具做為預測建議的群組，在最終風險評估的判斷上，至少某程度被工具的預測建議所影響。不過，該實驗並未針對專業人員進行實驗，專業人員對於機器所提供之預測建議是否採納與採納的程度，尚不得而知。實驗組在有演算法提供預測建議做為人類決策之輔助工具時，對於實驗參與者之影響在實驗結果與參與者認知，確實在人機互動面都具一定的影響力。

有學者將人機互動不同的行為模式加以分類為：偏好傾向接受機器預測（亦即較不信任人為預測）—稱為信任演算法（algorithm appreciation），以偏好傾向不接受機器預測（亦即較為信任人為預測）－稱為厭惡演算法（algorithm aversion）。即便有這些行為現象，但究竟，人類決策者對於演算法所提供的預測建議，在人機互動之差異性對待/處置/歧視偏見的背後原因是甚麼? 使用者採納演算法之預測建議與採納的程度，在一般使用者與專業使用者是否會有所差異；專業使用者差異性對待/處置做出判斷背後的原因為何；如果人類將大幅仰賴系統作出的專業性預測建議而做出最終決策時，雖然表面上仍是由人類作出判斷，但演算法的建議對於人類決策過程是否有邏輯論理的引導（暗示）的效果；再加上演算法的黑箱效應（black box effect），是否會使專業人員失去專業自主？當人類採納演算法的預測建議，但卻無法理解其原因，演算法還是輔助工具，人類還有決策權嗎？另外，傳統被動靜態系統與主動動態系統，在做為輔助工具時，是否會產生不同的結果，亦或作為專家決策系統要為不同之管制？在使用輔助工具時，使用者決策後的責任感，是否會有不同之心路歷程？這些議題都十分有趣，筆者後續將持續挖掘。

“3D Employee Empowerment” 
By Chris Potter 
Licensed under CC BY 2.0 

資料來源

  • Ben Green & Yiling Chen, Disparate Interactions: An Algorithm-in-the-Loop Analysis of Fairness in Risk Assessments. Presented at the Conference on Fairness, Accountability, and Transparency, FAT* ’19 Proceedings (Jan. 29~31, 2019). Also available at https://scholar.harvard.edu/files/19-fat.pdf (last visited Aug. 15, 2019).

作者

中央研究院法律學研究所　許慧瑩
本研究感謝「符應社會歸責之資料二次使用隱私框架」計畫與「資訊法中心」支持