許慧瑩
2019年02月10日
作者有鑒於AI為不斷學習與更新的特性，建議將動態AI與現行SaMD （software as a medical device, SaMD）加以區別，直接避開討論演算法之可解釋性與通透性之議題，聚焦於建制與訓練動態AI資料之認可與方法之驗證。建議監管單位把關形成演算法的data與方法，將演算法開發訓練者當作醫學院，把具高自主性之動態AI於上市前當作是醫學院的學生，在醫學院經過一定監管單位所認可之基礎與進階教育、實習訓練後通過驗證取得人類醫師的執照後上市，並於上市後持續接受監督與定期進修訓練。如遇有事故可歸責於具高自主性之動態AI醫師，則該AI可能會被處罰/下市，如同執業醫師相同。作者進一步將動態AI分為雖有學習能力但自主性仍有限制之AI器材，僅屬於工具；另對於具學習能力且將會不斷學習且逐漸具自主性之AI歸為非工具。並說明動態AI自主性越高，所需負擔的責任也越重。並建議開發者應該承保malpractice insurance。
AI醫材?
目前美國FDA以發行規範性指引（regulatory guidance）的方式規範醫用器材軟體，並在FDA數位健康計畫（FDA Digital Health Program）事前許可8家公司以簡化上市前審查流程方式發展靜態SaMD的pilot program。作者認為雖然現行FDA於SaMD的規範並未提及將AI作為醫療器材，但應該是可以將AI類型的軟體延伸至SaMD的討論。
因AI 類型的SaMD在上市後有其主動學習的特殊性，並對於醫護人員或病人提供告知或決策的功能，與靜態SaMD有很大的差異。從監管面向看，FDA對於傳統醫藥品，例如：藥品、生物製劑、與非AI類器材等主要為靜態（上市後不會變動）產品，係以醫藥品之安全與療效做為審查的標準；相對地，AI為動態，於產品上市後將會不斷的學習與更新，通常還涉及互操作性與可解釋性。然而，若FDA對於AI的審查聚焦於可解釋性，在尚未突破此點前拘泥於此，將可能使AI的研發停滯不前。
因此，作者提出與其將焦點置於動態AI演算法與模組比較不適當，反而建議將適用類似經認可醫學院訓練醫師的制度，以許可醫療服務提供者的架構標準規範動態AI。動態AI應該受依據結果評估後經認可後資料以及驗證方法的訓練，需具一定可量化病患結果的基礎設施，以確保治療方法為最新，且對於失敗的案件加以處罰的機制。
經認可後的資料與驗證方法
當各界對於動態AI的討論大多圍繞於演算法， AI所使用的資料與資料品質對於AI其實更具關鍵性影響。但AI還是不免於無用資訊輸入導致無用資訊輸出（garbage-in and garbage-out），所以在討論建置高品質的演算法時，需要更進一步討論如何確保取得與使用高品質的資料。作者建議對於各該資料的取得與準備過程需加以認可，以求得得以信賴的結果，必須注意預期使用目的與所使用的資料，以及至少考量病患背景的適當與多樣性（例如：年齡、BMI等）、資料來源的多樣性（例如：用於訓練的MRI的圖像必須來自不同版本和不同供應商的多種MRI機器）、訓練與臨床背景間資料來源的一致性、meta data的完整性、確定臨床相關結果的可衡量性（例如，胰島素即時量測結果）而非指可用的措施（例如，不合格的記錄）。
程序導向
因為演算法可以從精確的結果中學習，並於AI使用時提供結果，所以對於動態AI上市後的監督應該直接內建於AI裡。規範者應聚焦AI開發者在定義、蒐集、使用上市後結果精進AI的流程等。作者建議成立類似由跨領域專家成立IRB的機制，要求AI必須不斷訓練與更新的要求、適用新標準、真實資料，以及對於產生錯誤、偏差、不當行為的AI加以處罰，或令其下市，且動態AI必須不斷的接受安全性與效能的測試。
AI=醫生?
如果適用醫生的規範對於動態AI進行規制，可能可以給予各界與動態AI醫療器材新的發展契機。用這個邏輯去規範動態AI主要優點在於可避免移動球門的問題，如果FDA可以提供動態AI醫材指引，得以協助確認AI醫材的安全性為前提，發展動態AI。AI可以透過不斷地學習增強其功能，但仍做為醫師的工具；但當動態AI的醫療專業自主性逐漸增加時，其自身的責任也將逐漸增加。
雖然動態AI的訴求在於減少傷亡案例，但當現行的SaMD都有因為軟體bug造成病患死亡的案例，但不可避免地動態AI還是有可能造成傷亡。作者提醒使用AI進行資料蒐集、準備、分析與開發模組的研究者，必須認知到AI還是有其風險；建議AI訓練、開發者應該承保醫療過失責任保險（malpractice insurance），保險將可提供金錢與規範動機，以及當事故發生時，得以提供被害人相關的損害賠償。
作者點出必須認知動態AI與靜態軟體之差異，監管必須將動態AI SaMD與一般類型SaMD加以區別，並依其特性、個別的監管規範，才得以因應其特殊風險的建議有其必要。另不建議將監管之切入點聚焦於演算法的可解釋性與通透性，而是應將討論焦點往前拉至動態AI SaMD之演算法開發時所使用之資料與驗證方法的認可的看法，確實為動態AI 最為關鍵的討論前題。
接續把AI的開發訓練流程比擬為醫學院訓練學生的方式，在學校資格、學校所使用的基礎資料、可得被驗證方法等項目加以把關，都需經過經認證（accredited）才可加以開發與訓練動態AI。而且提醒AI於正式上市後與醫學專業訓練之專科醫師相同，持續接受監督並具相關處罰/下市的機制。最後，作者提醒開發者承保醫療過失責任保險以提供被害人相關的損害賠償。作者將規範的討論加以延伸，將AI開發訓練者比擬為醫學院雖然不失為可能的作法，但在最後有關法律關係、責任與保險聚焦於醫療過失責任保險（非常見之產品責任）的論述卻存在許多待需進一步確認的前提，尚待釐清。
醫療事故發生時，誰要負責?
當高度自主性動態AI發生錯誤、造成傷亡之責任的討論，作者僅提及責任將隨著自主性的提升而相對地升高，僅於文後提醒開發者應該承保醫療過失責任保險。作者並未提及究竟是動態AI本身需要負責（亦即賦予AI人格要求其負責），還是開發訓練者需要負責?
醫療事故發生時，誰要負擔醫療過失的責任?
作者於文後點名AI開發者需要承保醫療過失責任保險，是否可推論作者假設AI具有人格，當有醫療事故發生時，因AI本身需要負擔醫療過失的責任，所以開發訓練者需對AI之醫療過失亦須負擔連帶（vicarious）責任? 同時，亦可能發生對於AI監督不週所產生之醫療過失，所以自身必須對於受害者負醫療過失的責任?
如高自主性動態AI可負擔責任（具有人格），醫療過失法律要件之判準?
值得注意的是，AI開發者連帶責任必須基礎於AI本身之醫療過失責任，要如何判斷AI決策具有過失或錯誤，則是另外一個需要進一步討論的問題。另外，雖然高自主性動態AI為開發訓練者自家產出，對於AI的黑盒子效應的影響，或許不如第三人強烈，但AI開發訓練者若需因監督AI不週所需負擔之一醫療過失責任，還是需要回頭討論開發訓練者要如何對AI進行監督? 有何判准? 對此，作者並未加以著墨。
AI開發訓練者因高自主性動態AI上市後負擔醫療過失責任之可能?
承作者建議將上市前的AI與開發訓練者間的關係比喻為醫學系學生與醫學院的關係；在AI完成開發訓練後，就如同醫學系學生畢業後成為執業醫師；如有醫療事故AI將被處罰/下市，開發訓練者亦要負擔醫療過失責任。然而，就現實狀態，執業醫師於畢業與取得職業許可後已具專業自主性，執業醫師如因醫療事故被訴以醫療過失，受害者通常會對於醫療機構提起連帶責任，以及機構本身的過失責任，受害者一般不會向醫學院提起醫療過失責任的訴訟。
本文作者將醫療過失的討論聚焦於AI開發訓練者，是否與前文內容鋪陳因對於AI演算法之解釋性(黑盒子)與通透性要求執行面的困難，以及基於AI需要（回原廠）不斷更新訓練的特性有關。作者如有論述，這將會是個非常有趣的議題。
承上，從另外一個角度來上述各議題，按照作者的建議與規劃，高自主性動態AI的開發訓練、上市後之監督、更新與再訓練，甚至於事故發生後之責任歸屬為一條龍，高自主性動態AI在醫療機構內執業，但對其監管幾乎與醫療機構無涉，這是否將大大改變傳統醫護人員與醫療機構間的關係？再者，高自主性動態AI、AI開發訓練者、醫療機構、病患間各扮演甚麼角色? 法律關係為何? 種種議題值得討論。
更甚者，若醫療機構對於高自主性動態AI進行醫療決策並未具重要角色，病患是否可能於醫療機構以外接受高自主性動態AI之「診斷」、「治療」決策，有別於現行病患、醫護人員與醫療機構間之可能作法，是否將改變醫病關係? 種種議題引人重新檢視現行監管單位、傳統醫療機構與醫護人員的關係、以及醫病關係，以及在高自主性動態AI上市對於醫療監管、各實體間的關係與價值，帶來可能的反思。
• Creator: Darcy Moore • License: CC BY-NC-SA 2.0
資料來源
Raff E., Lantzy S., Maier E.J. (2019) Dr. AI, Where Did You Get Your Degree?. In: Koch F. et al. (eds) Artificial Intelligence in Health. AIH 2018. Lecture Notes in Computer Science, vol 11326. Springer, Cham http://ceur-ws.org/Vol-2142/short11.pdf (last visited March 27, 2019).
作者
中央研究院法律學研究所 許慧瑩
本研究感謝「符應社會歸責之資料二次使用隱私框架」與「資訊法中心」計畫支持