一次偶然的機會，胡先生發(fā)現(xiàn)母親因輕信AI換臉虛假宣傳購買無效保健品，花費萬元后，才識破了視頻畫面中頸部扭曲、聲畫不同步等漏洞。如今，上傳一張照片、一段音頻，即可生成動態(tài)視頻，“AI換臉、擬聲”也成為侵權(quán)違法的風險高發(fā)區(qū)。今年全國兩會期間，多名全國人大代表、全國政協(xié)委員都曾呼吁立法整治AI“換臉擬聲”。

　　截至今年5月，多家手機廠商相繼發(fā)布了AI換臉、擬聲檢測功能，稱可以“5秒鑒偽”“準確率高達 96%”等。那么，這些功能對AI生成內(nèi)容的識別效果如何？5月6日，南都記者實測了榮耀、小米、OPPO三款自帶AI檢測功能的手機，結(jié)果顯示，均未成功識別。國家互聯(lián)網(wǎng)應(yīng)急中心相關(guān)技術(shù)專家建議，對于AI反詐檢測能力宣傳應(yīng)以安全輔助為主，充分提醒用戶合理認識該功能，不因該功能而放松警惕。

　　“AI換臉”詐騙兩年致?lián)p超2億 手機終端企業(yè)推提醒功能

　　公安部數(shù)據(jù)顯示，2022年到2024年初，我國共發(fā)生“AI換臉”類詐騙案近百起，累計給人民群眾造成經(jīng)濟損失高達2億元。去年8月，工信部反詐專家表示，會同行業(yè)內(nèi)的手機終端企業(yè)推出AI換臉詐騙風險提醒功能。

　　南都記者梳理發(fā)現(xiàn)，去年10月以來，多家手機廠商相繼發(fā)布了AI換臉檢測功能。如榮耀在MagicOS 9.0系統(tǒng)中嵌入AI檢測模塊，為手機端微信、QQ視頻通話等場景提供AI換臉檢測功能；小米在最新操作系統(tǒng)HyperOS2.0搭載了AI反詐功能，稱當系統(tǒng)檢測到可能存在的AI換臉和聲音偽造等風險時，會及時向用戶發(fā)出警報；OPPO今年3月在其ColorOS系統(tǒng)上線了“AI合成語音識別”技術(shù)，以幫助判別AI模擬熟人聲音的新型電詐手法，有效甄別通話中的潛在風險；聯(lián)想則計劃推出“Deepfake深度偽造技術(shù)檢測器”，將檢測功能集成在在線會議系統(tǒng)和社交媒體平臺。據(jù)稱，該功能可在5秒內(nèi)識別AI換臉偽造，準確率超96%，將適配筆記本電腦、臺式機、平板電腦和手機等多種設(shè)備。目前，該功能尚未在終端產(chǎn)品上線。

　　廠商們和詐騙分子的“貓鼠游戲”背后，采用了哪些“黑科技”？據(jù)某手機廠商披露的技術(shù)分析報告，AI換臉檢測功能主要攻克的是實時視頻通話場景中的人臉仿冒場景。在此流程中，詐騙分子通過AI深度合成技術(shù)偽造人臉和聲音，再通過侵入到第三方/運營商的視頻通話應(yīng)用中進行濫用，從而實施詐騙。這一過程的薄弱點在于被詐騙用戶端的視頻流的分析和檢測，這也成為反詐檢測流程的核心點。該檢測技術(shù)通過構(gòu)建AI檢測模型，進行大量的樣本訓練，從而檢測VAE/GAN人臉偽造的算法能力。

　　實測榮耀、小米、OPPO手機 均未成功識別AI視頻、音頻

　　在實際使用中，這些功能效果如何呢？近日，南都記者分別對榮耀Magic V3、小米15、OPPO FindX7三款手機的AI換臉、語音合成檢測功能進行了測試。

　　實測過程中，南都記者采用了幾段不同詐騙場景的“AI合成視頻、語音”分別與三款手機進行了通話，當開啟相應(yīng)功能時，同等條件下，榮耀、小米彈窗提示防護檢測，OPPO則無任何提示。不過，在測試過程中，三臺手機均未能成功識別所測試的AI視頻或音頻。

　　具體來看三款手機的不同情況：在與新添加好友開展視頻通話時，面對一段AI換臉視頻，榮耀手機先是彈窗提示用戶進行“AI換臉檢測”，南都記者根據(jù)提示操作，進行檢測，但最終榮耀手機檢測結(jié)果顯示為“未檢測到AI換臉痕跡”。

　　同樣的通話場景下，小米、OPPO手機僅提示用戶已開啟防護，但整個通話過程中未收到任何提醒。

　　南都記者就相關(guān)測評情況咨詢客服，榮耀客服表示，目前AI換臉檢測功能尚未有具體的檢測能力標準，即無法斷定具體在哪些情況下、何種程度的AI換臉能被檢出，檢測能力還在持續(xù)訓練優(yōu)化中。而針對功能無法準確識別的情形，OPPO客服表示，目前針對語音合成的識別反應(yīng)較慢，需要根據(jù)實際情況具體分析識別不出的原因；截至發(fā)稿前，小米客服暫未做出任何解釋說明。

　　專家建議

　　應(yīng)充分提醒用戶合理認識該功能，不應(yīng)放松警惕　　

　　國家互聯(lián)網(wǎng)應(yīng)急中心相關(guān)技術(shù)專家向南都記者表示，人臉檢測的技術(shù)已經(jīng)較為成熟，手機廠商在終端上線AI換臉檢測功能，的確能夠起到輔助用戶識別換臉換聲詐騙的作用，但需謹慎使用反詐進行賣點宣傳。這其中涉及三方面問題，首先，手機廠商是否具備反詐職能仍值得商榷；其次，在開展反詐的同時，涉及用戶財產(chǎn)安全與隱私安全的邊界處理，例如采集人臉信息是否盡責告知并經(jīng)由用戶授權(quán)，如何避免過度采集人臉信息；第三，如以AI反詐作為賣點進行宣傳，卻沒有好的性能來支撐，如因未能檢測成功給用戶造成了風險，終端廠商也應(yīng)承擔一定責任。

　　專家建議，一方面，對于AI反詐檢測能力宣傳應(yīng)以安全輔助為主，充分提醒用戶合理認識該功能，不因該功能而放松警惕；其次，要引導(dǎo)公眾正確認識AI的作用，提升AI素養(yǎng)；第三，AI換臉鑒偽并非一家之責，內(nèi)容傳播平臺更加有義務(wù)對應(yīng)用內(nèi)的視頻、語音通話進行AI鑒偽。

　　出品：南都大數(shù)據(jù)研究院

　　采寫：南都記者 張雨亭

　　制圖：林詩妍(即夢AI)