趙舒杰
智能體的發(fā)展速度一再超出人們的預料,筆者在近期的工作調(diào)研中發(fā)現(xiàn)智能體已經(jīng)逐步替代和接管專業(yè)領域的分析、判斷和決策工作,有關智能體主體責任和知識主權(quán)的討論也隨之十分熱烈。當智能體可以自主感知、記憶、決策、交互并執(zhí)行,那么這件事的主體,到底是誰?筆者想從法律上提出一些需要厘清的深層次問題,拋磚引玉,供大家探討。
一、“自主”二字的重量
智能體正加速與網(wǎng)絡空間、物理世界深度融合,深刻改變?nèi)祟惿a(chǎn)生活方式和社會治理模式。
傳統(tǒng)工具沒有自主性,錘子不會選擇打哪顆釘子,Excel不會自行決定刪除哪一行數(shù)據(jù)。工具的行為完全由人的意志驅(qū)動,責任歸屬從無疑問,人用工具做了某件事,人承擔后果。
但智能體不同。當一個醫(yī)療智能體建議某患者停藥,當一個法律智能體起草某份合同條款,當一個金融智能體在市場波動時自動平倉,這些無人介入的“決定”,真的是人做出的嗎?
從技術層面看,答案是“智能體做的”。從法律層面看,現(xiàn)行法律制度必須回答“人做的”,因為法律體系從未設計過非人格實體承擔責任的路徑。
二、智能體的意見不采納,行嗎?
一個更現(xiàn)實的問題是,智能體提出的意見,會不會在實踐中演變?yōu)椴徊杉{不行?這種演變有其結(jié)構(gòu)性的原因。
第一是能力不對等。智能體處理的數(shù)據(jù)量、速度和維度,已經(jīng)遠超人類認知邊界。當智能體給出意見,人類是否具備推翻它所需的知識儲備。“我覺得它說得不對”,憑的是什么?
第二是時間壓力。在高頻決策場景中,金融交易、應急響應、輿情處置,智能體的建議往往伴隨著時間窗口。等人類完成獨立判斷,窗口已關閉。“人工審核”在實踐中退化為橡皮圖章。
第三是問責回避。一旦出了問題,按智能體建議操作成為潛在的免責理由;如果不按智能體建議操作,出了問題則變成人為失誤。這種不對稱,會形成強烈的心理驅(qū)動,讓智能體替人決定,并把決定包裝為人的采納。這是一種決策空洞化的過程,名義上人在做主,實質(zhì)上已然空轉(zhuǎn)。
三、幻覺風險
最近美國知名律所出現(xiàn)的錯誤,就是智能體存在幻覺問題給使用者造成的風險,即以極高置信度輸出錯誤信息。這不是系統(tǒng)崩潰,而是系統(tǒng)正常運行時內(nèi)生的風險,且往往難以從外部識別。
一旦幻覺發(fā)生,擺在所有人面前的問題是,誰來判斷這是錯的?依據(jù)什么判斷?
更棘手的是,幻覺不是概率均等的隨機錯誤,而是往往發(fā)生在復雜決策、邊緣情境、罕見場景和跨領域推斷中,恰恰是人類最難核驗的地方。
四、專業(yè)機構(gòu)的能力被吸收,獨立性何在?
智能體對專業(yè)領域的沖擊,不只是效率層面的替代,而是一場更根本的顛覆。
在醫(yī)療領域,智能體將會承擔診斷建議、用藥方案、手術風險評估等核心職能;在法律領域,它能完成合同審查、案例檢索、證據(jù)整理、裁判預測、合規(guī)意見出具、違規(guī)風險警示、法律意見起草;在金融領域,它負責投資組合管理、風險定價、信用評估乃至實時交易執(zhí)行。這些能力原本是專業(yè)機構(gòu)存在價值的核心,是醫(yī)生、律師、金融分析師經(jīng)過多年培訓才具備的職業(yè)壁壘。
當這些能力被批量地、低成本地、可規(guī)?;貜椭七M信息技術產(chǎn)品,一個根本性的問題就浮現(xiàn)出來,專業(yè)機構(gòu)還需要做什么?它們的獨立性,還有沒有實質(zhì)內(nèi)容?專業(yè)機構(gòu)的獨立判斷功能便已形同虛設。
那么專業(yè)判斷的責任,究竟應由信息技術部門承擔,還是由專業(yè)職能部門或機構(gòu)承擔?
若由信息技術部門承擔,技術人員并不掌握醫(yī)學倫理、法律適用或金融監(jiān)管的判斷標準,無法對專業(yè)結(jié)論的合理性作出評估,更無法為具體個案的損害后果承擔專業(yè)責任。這種歸責路徑,實質(zhì)上是把專業(yè)責任移交給了對專業(yè)一無所知的一方。
若由專業(yè)機構(gòu)承擔,則意味著醫(yī)院、律所、金融機構(gòu)要為一個信息系統(tǒng)的輸出負責。
專業(yè)機構(gòu)的獨立性,不僅是執(zhí)業(yè)資質(zhì)和機構(gòu)設置的問題,而是社會的知識主權(quán)與運行的問題。當專業(yè)知識的生產(chǎn)和運用被技術系統(tǒng)接管,其獨立存在的制度基礎也隨之動搖。
應對這一危機,不能僅靠要求人工審核來維持表面上的專業(yè)主體地位。真正需要的是,重新界定專業(yè)機構(gòu)在智能體時代的不可替代功能,究竟哪些判斷必須由持牌專業(yè)人員作出,哪些場景中專業(yè)機構(gòu)對智能體結(jié)論負有不可轉(zhuǎn)移的復核義務,以及當專業(yè)判斷與智能體輸出發(fā)生沖突時,誰有權(quán)作出最終裁決,依據(jù)是什么。
五、責任認定的困境
智能體高自主性、高權(quán)限等特性帶來了隱私泄露、越權(quán)操作、行為失控等安全風險。但當這些風險成為現(xiàn)實損害,智能體的開發(fā)者、部署者、使用者的責任如何分配?
問題在于,這條責任鏈條越來越長,越來越模糊。開發(fā)者構(gòu)建了基礎模型,但無法預料所有應用場景;部署者對接了具體業(yè)務,但調(diào)用的是他人的底層能力;使用者發(fā)出了最終指令,但未必能理解智能體的推理過程。一旦出現(xiàn)損害,法律上如何認定過錯?過錯認定需要行為與損害之間的因果關系,追溯因果鏈本身就難以實現(xiàn)。
六、外部制約機制的空缺
對于智能體非合規(guī)行為的發(fā)現(xiàn)、干預、阻斷與恢復能力,防范內(nèi)生安全風險、供應鏈安全風險和應用衍生風險,目前尚屬空白。
但即便建立防控機制,這些防控手段,本質(zhì)上可能還是技術領域的工作。用技術發(fā)現(xiàn)技術的問題,用技術限制技術的越界。這構(gòu)成了一個封閉的技術攻防自循環(huán)。缺乏來自技術體系之外的獨立制約力量。
外部制約的缺失,意味著什么?首先,合規(guī)標準的制定權(quán)實質(zhì)上旁落于技術方。技術方來決定什么算非合規(guī)行為?
其次,損害發(fā)生后的獨立調(diào)查能力嚴重不足。當一個智能體出現(xiàn)“行為失控”造成損害,現(xiàn)行機制中誰負責開展獨立調(diào)查?如何啟動,是否有能力獨立調(diào)查。
第三,公眾和受害方缺乏實質(zhì)性救濟通道。智能體是一個封閉系統(tǒng),普通公民、受害個體、乃至受到智能體行為影響的專業(yè)機構(gòu),沒有進入這個系統(tǒng)的接口。他們無法通過非技術手段對系統(tǒng)施加影響。
破解這一困境,需要在技術攻防體系之外,真正建立獨立的外部制約機制。沒有外部制約,所謂安全可控便只是技術共同體的內(nèi)部自律。
七、幾個需要認真對待的深層命題
在上述分析的基礎上,有幾個深層命題值得認真對待。
其一,人機協(xié)作需要明確定義。當前話語體系中,人機協(xié)作默認人是主體、機是工具。但當智能體的能力超越人類判斷邊界,協(xié)作的實質(zhì)已經(jīng)顛倒。在許多場景中,智能體正在成為實質(zhì)主體,人只是最終簽字者。
其二,幻覺風險需要獨立的驗證機制。不能依賴智能體自我檢驗、自我驗證,不能假設使用者具備糾錯能力。在醫(yī)療、法律、金融等高風險領域,應建立獨立的第三方核驗機制,且核驗標準應在事前公開,而非事后追溯。
其三,責任分配需要預設而非事后追償。智能體行為的復雜性使干預阻斷極為困難。更有效的路徑是明確每個角色在每個環(huán)節(jié)的義務邊界,引入強制保險等工具,將責任內(nèi)化為部署成本。
其四,專業(yè)機構(gòu)的制度功能需要法律重申與保護。政策法律應明確在哪些場景下,專業(yè)機構(gòu)的獨立判斷具有優(yōu)先效力,不得被智能體輸出所架空;哪些專業(yè)行為屬于不可委托、不可替代的人類責任,必須由持牌專業(yè)人員親自完成,且其判斷不受智能體建議的法律約束。
最后,我們一邊在推進智能體的自主化,一邊在堅持人類的主體地位;一邊在構(gòu)建技術防控體系,一邊卻容易忘記在技術之外布置獨立的制約力量;一邊期待專業(yè)機構(gòu)履行責任,一邊卻眼看著專業(yè)判斷能力被技術系統(tǒng)悄悄接管。
正視智能體在實質(zhì)上已經(jīng)具有決策能力這一事實,正視專業(yè)機構(gòu)獨立性正在被侵蝕這一制度危機,解決它們,不能靠回避,只能靠正視。這是留給立法者、監(jiān)管者、專業(yè)共同體和技術界共同回答的智能體時代命題。
(作者單位:天達共和律師事務所。本文僅代表作者個人觀點,不代表本網(wǎng)觀點。)
編輯:劉海濱