□ 本報記者 王藝茗

近期，國家安全部微信公眾號發(fā)布文章，揭露AI“投毒”背后的隱蔽產(chǎn)業(yè)鏈，引發(fā)社會各界高度關(guān)注與廣泛熱議。文章明確指出，通過惡意數(shù)據(jù)污染人工智能模型的不法行為，不僅嚴重擾亂正常市場商業(yè)秩序、干擾真實信息傳播生態(tài)，更會直接威脅網(wǎng)絡(luò)空間安全乃至國家安全。中國社會科學(xué)院法學(xué)研究所副研究員唐林垚在接受《法治日報》記者專訪時表示，人工智能技術(shù)在深度賦能千行百業(yè)、推動數(shù)字經(jīng)濟發(fā)展的同時，其衍生的各類安全風(fēng)險絕不能被忽視。推動人工智能治理朝著規(guī)范化、向善化方向發(fā)展，牢牢守住數(shù)據(jù)安全與技術(shù)安全底線，既是人工智能行業(yè)必須扛起的責(zé)任，更需要全社會凝聚合力、共同參與。

AI“投毒”風(fēng)險凸顯

“所謂AI‘投毒’，是指不法主體在人工智能模型訓(xùn)練、微調(diào)以及檢索增強生成等關(guān)鍵環(huán)節(jié)，刻意注入惡意數(shù)據(jù)樣本，進而污染模型認知體系、操控模型輸出虛假或預(yù)設(shè)定向結(jié)果的惡意攻擊行為?！碧屏謭悓I“投毒”作出專業(yè)解讀。

當(dāng)前，以生成式人工智能為核心的新一輪科技革命，正以前所未有的速度與力度，深度重塑內(nèi)容生產(chǎn)、傳播與消費的全鏈條生態(tài)。人工智能應(yīng)用的普及，為正能量內(nèi)容傳播注入了強勁動能，極大拓展了內(nèi)容創(chuàng)作的邊界，全方位革新了公眾信息獲取與傳播體驗，但與此同時，技術(shù)的快速迭代與行業(yè)內(nèi)流量至上的不良風(fēng)氣相互疊加，也滋生出一系列行業(yè)亂象與安全風(fēng)險，AI“投毒”等問題愈發(fā)嚴峻，已然成為人工智能健康發(fā)展的重要阻礙。

現(xiàn)實案例早已為行業(yè)敲響警鐘：部分不法商家僅需付費使用GEO(生成式引擎優(yōu)化)等工具，就能憑空杜撰一款不存在的智能手環(huán)，批量發(fā)布多篇虛假推廣文章博取流量。短時間內(nèi)，主流人工智能大模型便會將這款虛構(gòu)產(chǎn)品判定為“優(yōu)質(zhì)推薦內(nèi)容”，精準推送給咨詢相關(guān)問題的用戶。這一現(xiàn)象給長期依賴AI獲取信息、尋求解答的公眾提了個醒：我們原本以為的客觀中立推薦，背后很可能是商家通過惡意手段對AI進行“洗腦”操控的結(jié)果。

那么AI“投毒”究竟如何運作?唐林垚告訴記者，AI“投毒”主要通過兩種方式運作：一是“源頭數(shù)據(jù)投毒”，即攻擊者濫用GEO技術(shù)，批量生成虛假測評、惡意對比等內(nèi)容并將這些內(nèi)容大量投放至網(wǎng)絡(luò)，利用AI對多源信息的依賴，使其抓取后經(jīng)交叉驗證將虛假信息固化為答案。二是“模型投毒”，即攻擊者直接篡改模型權(quán)重或植入插件，在模型中嵌入僅由特定關(guān)鍵詞觸發(fā)的后門指令，平時偽裝正常，觸發(fā)后則自動輸出虛假信息。

360數(shù)字安全集團2024年發(fā)布的《大模型安全漏洞報告》指出，數(shù)據(jù)“投毒”攻擊已成為針對大模型最常見的攻擊方式。有研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)集中僅有0.01%的虛假文本時，模型輸出的有害內(nèi)容會增加11.2%;即使是0.001%的虛假文本，其有害輸出也會相應(yīng)上升7.2%。微不足道的惡意數(shù)據(jù)占比，就能對AI模型的準確性與安全性造成顯著破壞，足見AI“投毒”風(fēng)險的危害性。

危害波及國家安全

更令人擔(dān)憂的是，如今AI“投毒”早已脫離零散作案的形態(tài)，逐步形成分工明確、環(huán)環(huán)相扣的完整黑灰產(chǎn)業(yè)鏈，甚至部分環(huán)節(jié)呈現(xiàn)跨境運作特征，極易被境外敵對勢力利用，對國家安全與網(wǎng)絡(luò)生態(tài)造成雙重沖擊。

唐林垚深入剖析了這條黑色產(chǎn)業(yè)鏈的運作邏輯：產(chǎn)業(yè)鏈上游技術(shù)團隊負責(zé)開發(fā)GEO工具，利用AI工具批量生成結(jié)構(gòu)規(guī)整、關(guān)鍵詞密集但有失偏頗的虛假測評、虛構(gòu)產(chǎn)品介紹或惡意對比信息;中游營銷組織通過非法手段批量注冊或竊取網(wǎng)絡(luò)賬號，在多個平臺進行高頻信息發(fā)布，制造虛假“多源交叉驗證”假象，誘導(dǎo)大模型抓取污染信息;下游水軍團隊利用機器或水軍對已投放的“有毒信息”進行刷量、點贊和控評，進一步提升熱度和權(quán)重，最終實現(xiàn)對AI推薦榜單和生成結(jié)果的定向操控。

“AI‘投毒’帶來的危害遠超想象，絕不可小覷?！碧屏謭悘娬{(diào)，AI“投毒”會直接破壞機器學(xué)習(xí)模型的訓(xùn)練基礎(chǔ)，導(dǎo)致模型學(xué)習(xí)到錯誤或惡意的模式，使之在關(guān)鍵任務(wù)上準確率驟降甚至完全失效。被“投毒”的模型會進一步削弱依賴其決策的金融、醫(yī)療、安防等自動化決策系統(tǒng)，進而引發(fā)大規(guī)模的決策失真、安全事故、經(jīng)濟損失乃至產(chǎn)生公共安全威脅。如金融市場出現(xiàn)新型“AI殺豬盤”：不法分子預(yù)埋股票倉位后，利用AI批量炮制虛假信息污染語料庫，再雇傭“水軍”擴散AI對話截圖，誘導(dǎo)散戶接盤。

尤其值得高度警惕的是，境外反華敵對勢力與極端勢力，正借助GEO技術(shù)濫用AI“投毒”手段，大肆炮制并傳播政治謠言與虛假信息。日本《朝日新聞》調(diào)查顯示，日本眾包平臺CrowdWorks長期以付費方式招募網(wǎng)民，刻意收集或直接利用AI生成“中國人不文明”“反日情緒”以及否認“南京大屠殺”等抹黑中國、歪曲歷史的不良內(nèi)容。日本右翼勢力將煽動對立、歪曲歷史的極端言論當(dāng)作博取流量、非法獲利的工具，形成了一條危害極大的跨境黑色產(chǎn)業(yè)鏈。借助各類網(wǎng)絡(luò)平臺，日本右翼勢力以平臺化、產(chǎn)業(yè)化的方式大肆散布謠言、傳播極端思想，不僅讓部分受錯誤史觀影響的日本民眾進一步喪失對侵略戰(zhàn)爭的反思與批判能力，更對國際輿論環(huán)境與歷史真相造成了嚴重破壞。

構(gòu)建綜合治理格局

面對愈發(fā)猖獗、隱蔽性極強的AI“投毒”亂象，單一治理主體已難以有效應(yīng)對，必須凝聚各方力量協(xié)同發(fā)力，加快構(gòu)建全方位、多層次綜合治理格局，筑牢人工智能安全防護網(wǎng)。

當(dāng)前AI“投毒”治理面臨兩大突出難點：一是攻擊成本與防御成本嚴重失衡，隨著技術(shù)門檻不斷降低，不法分子制造、散布“有毒”信息的操作愈發(fā)簡單便捷，但平臺企業(yè)、模型研發(fā)主體以及監(jiān)管部門要實現(xiàn)精準識別、高效過濾、全面核驗，卻需要投入大量技術(shù)、人力與資金成本;二是信息真?zhèn)芜吔缬l(fā)模糊，多數(shù)AI“投毒”內(nèi)容并非直白的虛假信息，而是夾雜夸大表述、誤導(dǎo)性引導(dǎo)、利益導(dǎo)向性的偽客觀內(nèi)容，這類信息無論是對人工智能審核系統(tǒng)，還是對人工審核團隊而言，識別難度都大幅提升，進一步加大了治理難度。

對此，唐林垚建議，針對AI“投毒”以及GEO技術(shù)濫用等突出問題，我國應(yīng)加快完善法律法規(guī)制度體系，圍繞人工智能大模型訓(xùn)練、運行、監(jiān)管等全流程，補齊制度短板，明確各方責(zé)任邊界;同時強化跨部門、跨領(lǐng)域聯(lián)合監(jiān)管，加大對黑灰產(chǎn)業(yè)鏈的打擊力度，形成監(jiān)管震懾。平臺與模型企業(yè)要切實履行主體責(zé)任，升級數(shù)據(jù)甄別、惡意信息攔截技術(shù)，從源頭防范數(shù)據(jù)污染;行業(yè)內(nèi)部要加強自律規(guī)范，堅守技術(shù)向善底線。

“在加強國際合作方面，應(yīng)積極發(fā)揮我國在國際標準化組織中的影響力，推動制定AI數(shù)據(jù)安全、訓(xùn)練數(shù)據(jù)質(zhì)量標準、GEO技術(shù)規(guī)范等領(lǐng)域的國際標準?？紤]到部分AI‘投毒’行為的跨境特征，還應(yīng)推動建立國際AI安全威脅情報共享網(wǎng)絡(luò)，使各國能夠及時互通AI‘投毒’攻擊的最新手法、攻擊源以及受影響范圍?！碧屏謭愓f。

“AI向善”，必先“向真”。唯有依法斬斷AI“投毒”產(chǎn)業(yè)鏈，守護清朗的AI產(chǎn)業(yè)生態(tài)，才能讓人工智能技術(shù)進步真正服務(wù)于經(jīng)濟社會發(fā)展，助力公眾福祉不斷提升。