□ 本報記者 王藝茗

近期，國家安全部微信公眾號發(fā)布文章，揭露AI“投毒”背后的隱蔽產業(yè)鏈，引發(fā)社會各界高度關注與廣泛熱議。文章明確指出，通過惡意數(shù)據(jù)污染人工智能模型的不法行為，不僅嚴重擾亂正常市場商業(yè)秩序、干擾真實信息傳播生態(tài)，更會直接威脅網絡空間安全乃至國家安全。中國社會科學院法學研究所副研究員唐林垚在接受《法治日報》記者專訪時表示，人工智能技術在深度賦能千行百業(yè)、推動數(shù)字經濟發(fā)展的同時，其衍生的各類安全風險絕不能被忽視。推動人工智能治理朝著規(guī)范化、向善化方向發(fā)展，牢牢守住數(shù)據(jù)安全與技術安全底線，既是人工智能行業(yè)必須扛起的責任，更需要全社會凝聚合力、共同參與。

AI“投毒”風險凸顯

“所謂AI‘投毒’，是指不法主體在人工智能模型訓練、微調以及檢索增強生成等關鍵環(huán)節(jié)，刻意注入惡意數(shù)據(jù)樣本，進而污染模型認知體系、操控模型輸出虛假或預設定向結果的惡意攻擊行為?！碧屏謭悓I“投毒”作出專業(yè)解讀。

當前，以生成式人工智能為核心的新一輪科技革命，正以前所未有的速度與力度，深度重塑內容生產、傳播與消費的全鏈條生態(tài)。人工智能應用的普及，為正能量內容傳播注入了強勁動能，極大拓展了內容創(chuàng)作的邊界，全方位革新了公眾信息獲取與傳播體驗，但與此同時，技術的快速迭代與行業(yè)內流量至上的不良風氣相互疊加，也滋生出一系列行業(yè)亂象與安全風險，AI“投毒”等問題愈發(fā)嚴峻，已然成為人工智能健康發(fā)展的重要阻礙。

現(xiàn)實案例早已為行業(yè)敲響警鐘：部分不法商家僅需付費使用GEO（生成式引擎優(yōu)化）等工具，就能憑空杜撰一款不存在的智能手環(huán)，批量發(fā)布多篇虛假推廣文章博取流量。短時間內，主流人工智能大模型便會將這款虛構產品判定為“優(yōu)質推薦內容”，精準推送給咨詢相關問題的用戶。這一現(xiàn)象給長期依賴AI獲取信息、尋求解答的公眾提了個醒：我們原本以為的客觀中立推薦，背后很可能是商家通過惡意手段對AI進行“洗腦”操控的結果。

那么AI“投毒”究竟如何運作？唐林垚告訴記者，AI“投毒”主要通過兩種方式運作：一是“源頭數(shù)據(jù)投毒”，即攻擊者濫用GEO技術，批量生成虛假測評、惡意對比等內容并將這些內容大量投放至網絡，利用AI對多源信息的依賴，使其抓取后經交叉驗證將虛假信息固化為答案。二是“模型投毒”，即攻擊者直接篡改模型權重或植入插件，在模型中嵌入僅由特定關鍵詞觸發(fā)的后門指令，平時偽裝正常，觸發(fā)后則自動輸出虛假信息。

360數(shù)字安全集團2024年發(fā)布的《大模型安全漏洞報告》指出，數(shù)據(jù)“投毒”攻擊已成為針對大模型最常見的攻擊方式。有研究顯示，當訓練數(shù)據(jù)集中僅有0.01%的虛假文本時，模型輸出的有害內容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應上升7.2%。微不足道的惡意數(shù)據(jù)占比，就能對AI模型的準確性與安全性造成顯著破壞，足見AI“投毒”風險的危害性。

危害波及國家安全

更令人擔憂的是，如今AI“投毒”早已脫離零散作案的形態(tài)，逐步形成分工明確、環(huán)環(huán)相扣的完整黑灰產業(yè)鏈，甚至部分環(huán)節(jié)呈現(xiàn)跨境運作特征，極易被境外敵對勢力利用，對國家安全與網絡生態(tài)造成雙重沖擊。

唐林垚深入剖析了這條黑色產業(yè)鏈的運作邏輯：產業(yè)鏈上游技術團隊負責開發(fā)GEO工具，利用AI工具批量生成結構規(guī)整、關鍵詞密集但有失偏頗的虛假測評、虛構產品介紹或惡意對比信息；中游營銷組織通過非法手段批量注冊或竊取網絡賬號，在多個平臺進行高頻信息發(fā)布，制造虛假“多源交叉驗證”假象，誘導大模型抓取污染信息；下游水軍團隊利用機器或水軍對已投放的“有毒信息”進行刷量、點贊和控評，進一步提升熱度和權重，最終實現(xiàn)對AI推薦榜單和生成結果的定向操控。

“AI‘投毒’帶來的危害遠超想象，絕不可小覷?！碧屏謭悘娬{，AI“投毒”會直接破壞機器學習模型的訓練基礎，導致模型學習到錯誤或惡意的模式，使之在關鍵任務上準確率驟降甚至完全失效。被“投毒”的模型會進一步削弱依賴其決策的金融、醫(yī)療、安防等自動化決策系統(tǒng)，進而引發(fā)大規(guī)模的決策失真、安全事故、經濟損失乃至產生公共安全威脅。如金融市場出現(xiàn)新型“AI殺豬盤”：不法分子預埋股票倉位后，利用AI批量炮制虛假信息污染語料庫，再雇傭“水軍”擴散AI對話截圖，誘導散戶接盤。

尤其值得高度警惕的是，境外反華敵對勢力與極端勢力，正借助GEO技術濫用AI“投毒”手段，大肆炮制并傳播政治謠言與虛假信息。日本《朝日新聞》調查顯示，日本眾包平臺CrowdWorks長期以付費方式招募網民，刻意收集或直接利用AI生成“中國人不文明”“反日情緒”以及否認“南京大屠殺”等抹黑中國、歪曲歷史的不良內容。日本右翼勢力將煽動對立、歪曲歷史的極端言論當作博取流量、非法獲利的工具，形成了一條危害極大的跨境黑色產業(yè)鏈。借助各類網絡平臺，日本右翼勢力以平臺化、產業(yè)化的方式大肆散布謠言、傳播極端思想，不僅讓部分受錯誤史觀影響的日本民眾進一步喪失對侵略戰(zhàn)爭的反思與批判能力，更對國際輿論環(huán)境與歷史真相造成了嚴重破壞。

構建綜合治理格局

面對愈發(fā)猖獗、隱蔽性極強的AI“投毒”亂象，單一治理主體已難以有效應對，必須凝聚各方力量協(xié)同發(fā)力，加快構建全方位、多層次綜合治理格局，筑牢人工智能安全防護網。

當前AI“投毒”治理面臨兩大突出難點：一是攻擊成本與防御成本嚴重失衡，隨著技術門檻不斷降低，不法分子制造、散布“有毒”信息的操作愈發(fā)簡單便捷，但平臺企業(yè)、模型研發(fā)主體以及監(jiān)管部門要實現(xiàn)精準識別、高效過濾、全面核驗，卻需要投入大量技術、人力與資金成本；二是信息真?zhèn)芜吔缬l(fā)模糊，多數(shù)AI“投毒”內容并非直白的虛假信息，而是夾雜夸大表述、誤導性引導、利益導向性的偽客觀內容，這類信息無論是對人工智能審核系統(tǒng)，還是對人工審核團隊而言，識別難度都大幅提升，進一步加大了治理難度。

對此，唐林垚建議，針對AI“投毒”以及GEO技術濫用等突出問題，我國應加快完善法律法規(guī)制度體系，圍繞人工智能大模型訓練、運行、監(jiān)管等全流程，補齊制度短板，明確各方責任邊界；同時強化跨部門、跨領域聯(lián)合監(jiān)管，加大對黑灰產業(yè)鏈的打擊力度，形成監(jiān)管震懾。平臺與模型企業(yè)要切實履行主體責任，升級數(shù)據(jù)甄別、惡意信息攔截技術，從源頭防范數(shù)據(jù)污染；行業(yè)內部要加強自律規(guī)范，堅守技術向善底線。

“在加強國際合作方面，應積極發(fā)揮我國在國際標準化組織中的影響力，推動制定AI數(shù)據(jù)安全、訓練數(shù)據(jù)質量標準、GEO技術規(guī)范等領域的國際標準。考慮到部分AI‘投毒’行為的跨境特征，還應推動建立國際AI安全威脅情報共享網絡，使各國能夠及時互通AI‘投毒’攻擊的最新手法、攻擊源以及受影響范圍?！碧屏謭愓f。

“AI向善”，必先“向真”。唯有依法斬斷AI“投毒”產業(yè)鏈，守護清朗的AI產業(yè)生態(tài)，才能讓人工智能技術進步真正服務于經濟社會發(fā)展，助力公眾福祉不斷提升。