國家反詐中心App上線新功能
“AI內(nèi)容鑒定”治理惡意AI

“AI內(nèi)容鑒定”功能上線(紅框)。
網(wǎng)購時遇到商品問題,隨手拍張照片申請售后,本是消費(fèi)者維權(quán)的常規(guī)操作??山冢簧匐娚躺碳曳从?,有買家使用AI偽造出來的“問題圖”申請僅退款,不用退貨還能白拿商品,這讓商家叫苦不迭。
對此,部分網(wǎng)友推薦使用國家反詐中心App近期上線的“AI內(nèi)容鑒定”功能,用戶可通過上傳圖片、視頻、音頻或文本來檢測AI生成痕跡,主要用于識別詐騙場景中的偽造內(nèi)容。
也有部分網(wǎng)友提出疑問,用AI治理惡意AI能有效果嗎?是否能利用“AI內(nèi)容鑒定”功能進(jìn)行維權(quán)?
買家以AI偽造枯黃果苗圖片
惡意申請“僅退款”
河北辛集市的張先生是一名無花果樹種植戶,上個月他把店開到了某直播電商平臺,售賣無花果苗。然而僅賣出12單,他就收到了一份“僅退款”申請,對方的理由是收到的無花果苗已干枯死亡,隨申請附上的,是一張葉片全黃、毫無生機(jī)的果苗圖片。

干枯死亡的無花果苗由AI生成。
張先生滿心疑惑,自己明明是帶盆發(fā)貨,兩天時間果苗怎么會完全枯死?“直播選的苗,他選了一棵特別健壯的。我是帶盆發(fā)貨的,發(fā)貨之前也會保證土壤濕潤。發(fā)貨到客戶收到就兩天時間,苗不可能干到顏色枯黃。缺水枯黃至少要5天到7天?!?/p>
憑借多年種植經(jīng)驗(yàn),張先生找出了圖片中的破綻。張先生斷定,這就是AI造假。他隨即駁回了申請,并聯(lián)系買家退貨退款,但買家直接申請了平臺介入。盡管張先生據(jù)理力爭,平臺還是依據(jù)顧客發(fā)來的這張圖片,幾分鐘內(nèi)就批準(zhǔn)了“僅退款”申請。最終,這筆45元的訂單讓張先生直接啟動退店流程,不再在該平臺賣苗。

AI偽造的售后圖片。
記者調(diào)查發(fā)現(xiàn),張先生的遭遇并非個例。在社交平臺上,不少商家現(xiàn)身說法,講述自己見過的AI偽造售后圖片。五只衣架在同一位置整齊斷裂、塑料手機(jī)殼斷裂邊緣出現(xiàn)毛刺、手串破碎后呈空心殼狀……記者梳理多位商家曬出的疑似AI造假圖發(fā)現(xiàn),這些圖片雖然乍看逼真,但細(xì)看卻漏洞百出,存在邏輯硬傷。
國家反詐中心App新功能
記者體驗(yàn)AI鑒真效果
在AI生成圖像泛濫的當(dāng)下,如何精準(zhǔn)鑒別真?zhèn)我殉蔀槔@不開的現(xiàn)實(shí)問題。
近期,國家反詐中心App正式上線“AI內(nèi)容鑒定”功能,引發(fā)網(wǎng)友關(guān)注。該功能支持圖像、視頻等內(nèi)容的AI識別檢測,與此同時,各互聯(lián)網(wǎng)平臺也在積極布局“AI鑒真工具”。
記者在網(wǎng)絡(luò)上隨機(jī)選取了十張商家宣稱的疑似AI生成“售后圖”,上傳國家反詐中心App及多個AI鑒真工具,結(jié)果無一例外,均被系統(tǒng)判定為“圖像含AI生成痕跡”。與之相對比,記者上傳一張自己隨手拍攝的照片,系統(tǒng)則提示“未檢測到合成痕跡”。
某網(wǎng)絡(luò)平臺安全內(nèi)容視覺算法負(fù)責(zé)人蘭鈞介紹,檢測方法由兩部分組成,一部分是小模型來學(xué)習(xí)AIGC模型生成內(nèi)容的模式,基于大量的內(nèi)容學(xué)習(xí)和訓(xùn)練,然后進(jìn)行判斷。另外會用大模型來關(guān)注內(nèi)容本身,看它內(nèi)容上有沒有物理上的瑕疵,比如文字有沒有亂碼;此外也會看它邏輯語義上是否會出現(xiàn)不符合邏輯的問題。最終小模型和大模型結(jié)合,一起來進(jìn)行判斷。
北京郵電大學(xué)互聯(lián)網(wǎng)治理與法律研究中心主任謝永江表示,現(xiàn)在從技術(shù)上已經(jīng)有相應(yīng)的AI內(nèi)容鑒定工具了,平臺有義務(wù)引進(jìn)這種技術(shù)手段來維護(hù)平臺上的交易秩序,維護(hù)商家和消費(fèi)者的合法權(quán)益。
“去偽”還需“存真”
核心在于“以AI治AI”
“首先,要從元數(shù)據(jù)入手?!背啥紳撛谌斯ぶ悄芸萍加邢薰镜臉I(yè)務(wù)之一是審核并篩查AI內(nèi)容,負(fù)責(zé)人廖磊說,由真實(shí)相機(jī)拍攝的照片,會包含拍攝設(shè)備、參數(shù)、時間等信息,同時,各類圖形處理、影像剪輯平臺在制作內(nèi)容時,也會留存一些標(biāo)識信息?!巴ㄟ^AI識圖等工具,對比這些信息,可以初步篩選出可疑圖像?!?/p>
當(dāng)然,僅僅依靠元數(shù)據(jù)遠(yuǎn)遠(yuǎn)不夠,還需要通過物理世界、像素斷層等細(xì)節(jié)來判斷。
多位受訪者提到,想要更好識別AI虛假信息,通過技術(shù)“去偽”還存在一定局限性,要避免合成信息與真實(shí)信息混淆,除依靠企業(yè)技術(shù)研發(fā)外,還需多措并舉做好“存真”工作。
其中,“內(nèi)容標(biāo)識”是一個常見做法。四川省人工智能行業(yè)協(xié)會秘書長陳章注意到,去年9月,國家網(wǎng)信辦等四部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識辦法》正式實(shí)施,要求所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”?!皩γ恳粭l信息都進(jìn)行技術(shù)鑒定,會帶來極高的社會成本,通過強(qiáng)制‘標(biāo)識’,從源頭確保信息的真實(shí)性,有利于減少因AI生成內(nèi)容引發(fā)的侵權(quán)、詐騙等問題?!?/p>
業(yè)內(nèi)人士表示,應(yīng)對AI造假,核心在于“以AI治AI”。目前較為成熟的鑒真工具幾乎能不誤傷真實(shí)內(nèi)容,又能較為精準(zhǔn)識別AI造假內(nèi)容。
AI偽造圖片騙取退款的行為,本質(zhì)是民事欺詐,若不及時遏制,將威脅電子商務(wù)的正常秩序與健康發(fā)展。AI鑒真工具能大幅降低商家的辨別成本,既能震懾不法分子,也能作為商家與平臺交涉、維護(hù)自身權(quán)益的有力證據(jù)。
編輯:遲明緒




京公網(wǎng)安備 11010502000576號