圖片來源：視覺中國

藍鯨新聞9月4日訊（記者 朱俊熹）過去數日，韓國又一起“N號房”事件浮出水面，再度刷新社會對于網絡性犯罪的認知。

據韓媒報道，在社交媒體Telegram上現已發(fā)現多個群聊，群成員利用Deepfake（深度偽造）技術制作、傳播虛假的色情圖片或視頻。受害者不僅牽涉到數百所學校中的未成年學生，還涉及教師、軍人等職業(yè)女性。目前，已知最大的一個聊天群組包含了超過22萬名群成員。

簡單來說，Deepfake可以理解為人們常說的“AI換臉”。此次被曝的深度偽造性犯罪在韓國掀起了巨大的輿論危機。上周，韓國總統(tǒng)尹錫悅敦促政府部門徹底調查以根除此類數字性犯罪，韓國警方宣布將實施為期7個月的深度偽造性犯罪嚴打行動。

處于風暴中心的Deepfake技術也被頻頻提起。基于人工智能，只需要特定對象的部分圖片和音視頻素材，通過Deepfake就能得到足以亂真的偽造內容。但除“AI換臉”外，Deepfake還存在其他不同的表現形式，例如改變人物的五官、表情等原有特征，或是生成全新的人臉圖像。

隨著AI浪潮正席卷全球，Deepfake越發(fā)頻繁地出現在公眾視野中，卻常常與生成淫穢色情內容、網絡詐騙等違法犯罪行為相掛鉤。8月中，《紐約時報》揭露了新型詐騙者是如何通過Deepfake編輯馬斯克、巴菲特等名人的真實采訪視頻，讓“AI馬斯克”對不存在的投資機會侃侃而談，以騙取觀看者的資金。據咨詢機構德勤預計，由AI驅動的Deepfake每年將造成數十億美元的欺詐損失。

生成式AI的發(fā)展帶來了智能的涌現，而Deepfake的危害同樣開始涌現，這項技術看似已淪為一些高智商罪犯作惡的工具，但技術本身是否應該承擔全部的責任？在AI狂飆的背后，又有哪些力量能夠為其套上韁繩？

AI時代下的“貓鼠游戲”

Deepfake一詞由“Deep Learning”（深度學習）和“Fake”（偽造）組合而成，最早產生于2017年。當時一位名為“Deepfakes”的用戶將明星的臉替換到色情視頻中，并發(fā)布在社交平臺Reddit上。在這項技術的早期階段，合成的內容還存在許多不自然的痕跡，偽造效果比較粗糙，很容易被識別，這也意味著其很難讓人上當。

但生成式AI的崛起極大改寫了Deepfake的實際應用。數字內容安全服務商中科睿鑒的深度偽造檢測專家葛星宇告訴藍鯨新聞記者，AI大模型正以日新月異的速度實現迭代，領先的模型能夠達到萬億級參數量，同時經過海量數據的訓練?！爱斶@樣的大模型技術應用在Deepfake當中，實際上能夠指數級地增強Deepfake的仿真或者偽造?！?/p>

葛星宇表示，原先通過Deepfake生成某一特定人物的圖像或視頻，不僅需要大量的數據輸入，后續(xù)還要再進行調整。而現在通過AI大模型，Deepfake能以極快的速度生成效果逼真的內容，需要的數據量也更少。Deepfake的使用門檻被大大降低，對不具備計算機專業(yè)知識的普通用戶來說也非常簡單，僅需將幾張圖片等素材輸入到Deepfake軟件或網站中，就能一鍵生成想要的內容。

這極大降低了Deepfake的門檻，讓Deepfake技術變得更為普遍易用，同時也意味著稍有不慎，深度偽造的內容便極有可能造成混亂。8月，馬斯克旗下的人工智能初創(chuàng)公司xAI發(fā)布了新一代AI大模型Grok-2，能夠為用戶提供圖像生成服務。但使用者很快發(fā)現，與其他圖片生成工具相比，該模型對生成內容并未嚴格設限。借助Grok-2，用戶可以輕易地得到持槍的特朗普、站在血泊里的米老鼠等虛假圖像。這些內容很快在社交媒體X上廣泛傳開，加劇了公眾對其濫用風險的擔憂。

Deepfake能夠實現以假亂真的效果，與其背后的CNN（卷積神經網絡）和GAN（生成對抗網絡）等技術基礎密不可分。葛星宇解釋稱，CNN是一種專門用于處理圖像和視頻等數據的深度學習模型，能夠提取出人臉中的五官、微表情等細節(jié)特征。而GAN則包含生成器和鑒別器兩個核心要素，生成器負責生成虛假內容，鑒別器負責判斷其真假。兩者相互對抗，直至生成器能創(chuàng)造出鑒別器無法區(qū)分真假的數據。

但Deepfake生成的內容并非毫無破綻，目前市場上已出現若干深度偽造檢測工具，一些科技公司和高校研究團隊在對此展開研發(fā)。

AI安全基礎設施提供商瑞萊智慧的聯合創(chuàng)始人、算法科學家蕭子豪告訴藍鯨新聞記者，深度偽造檢測的常用方法包括分析畫面和聲音里違背常識的地方，如長時間不眨眼、不對稱的瞳孔。還可以使用AI算法從數字信號層面分析，基于偽造內容數據集訓練模型檢測器，通過檢測幀間不一致性來識別偽造內容。

就好像道高一尺魔高一丈，蕭子豪將深度合成與檢測比喻為一場“貓鼠游戲”。處于強對抗性的環(huán)境下，雙方都會在不斷學習攻防的過程中自我進化，以規(guī)避上一代的對抗技術。

螞蟻集團旗下獨立運營的科技業(yè)務子公司螞蟻數科表示，“Deepfake攻和防是一個相對且不斷精進的過程，你在進步，Deepfake也在進步，我們要做的就是跑在它的前面?！苯衲?月，螞蟻數科推出了反深偽產品，基于其天璣實驗室生成的超30萬測試樣本進行判別訓練，每個月進行的攻防測評超2萬次。

從傳統(tǒng)的PS篡改到Deepfake技術，偽造手段實現了快速進化，造成損害的范圍也在擴大。據葛星宇介紹，中科睿鑒的偽造檢測業(yè)務原先更側重于B端和G端。例如服務于政府部門，檢測謠言中深度合成的內容，或為運營商等企業(yè)提供技術，防范電信敲詐勒索。

“但我們發(fā)現，隨著Deepfake技術的低門檻、高質量、普及化，除了國家安全、詐騙等場景，它也會摧毀社會中人和人之間的信任，就像此次韓國發(fā)生的Deepfake性犯罪事件?！备鹦怯罘Q。

因此，中科睿鑒今年也開始推進To C方面的業(yè)務，上線了可用于Deepfake內容檢測的微信小程序。葛星宇表示，若普通個體發(fā)現可能存在深度偽造內容被傳播，并造成損害性后果，可以先通過此類工具自行鑒定，對虛假圖片或視頻的算法進行溯源。之后可將相關數據提交給公檢法機關，或能促使提供Deepfake服務的軟件等得到相應處理。

但還存在的問題是，如何讓用戶意識到什么是深度偽造內容，為什么一段看起來毫無破綻的視頻需要進行內容檢測，這可能比技術層面的攻防比拼更加重要。

漏洞難堵的Deepfake

當審視與Deepfake相關的違法犯罪鏈條時，最直接的加害者無疑是惡意使用這一技術的人。但隱匿在其身后的責任主體還有平臺方，包括Deepfake技術或服務的提供者，以及社交媒體等傳播平臺。

Deepfake的服務提供者或技術支持者通常會明確相應的安全管理規(guī)定。以國內一款提供“視頻換臉”功能的火爆應用為例，該App在規(guī)定中明確，用戶應保證使用其AI技術生成的視頻內容合法合規(guī)，同時上傳到App中的任何素材內容均應符合法律法規(guī)且不侵犯任何第三方的合法權利。但是這與任何用戶協議一樣，幾乎沒有用戶會認真對待，而這些App對此心知肚明。

類似的規(guī)定也多見于國外的Deepfake網站中，同時OpenAI、谷歌等AI大模型廠商對旗下的圖像生成模型設有內容限制、水印標記等防護措施，防止其生成色情、暴力或操縱政治選舉等內容。但今年5月，OpenAI表示雖然將維持對深度偽造的禁令，正在探索是否應該允許用戶使用其產品創(chuàng)建不適合工作場所的內容，可能包括“色情、極端血腥、誹謗和未經請求的褻瀆”。

葛星宇表示，雖然多數廠商都會設置安全防護，但互聯網上仍有很多公開渠道可以獲得開源的算法，這些算法并沒有受到相應法律法規(guī)的限制。同時社會上還存在黑產，對Deepfake算法進行交易?！凹夹g本身是中性的，如果沒有做防護，也不知道人們會拿去做什么?！?/p>

據了解，部分深度偽造色情內容的用戶所使用的是AI初創(chuàng)公司Stability AI的開源文生圖模型Stable Diffusion。盡管在用戶生成色情內容引發(fā)爭議后，Stable Diffusion的新版本加強了對成人內容的過濾，但其開源特性使得任何人都可以訪問和修改其代碼，一些用戶仍然能找到繞開安全過濾機制的方法。

出于惡意用途的Deepfake內容在制作完成后，下一環(huán)節(jié)便是流入到傳播平臺中。隨著近年來Deepfake犯罪頻發(fā)，多家社交平臺也開始跟進推出相關規(guī)定。今年8月，谷歌宣布將降低搜索結果中露骨虛假內容的曝光率，并簡化深度偽造受害者申請刪除非自愿圖片的流程。谷歌旗下的YouTube也明確禁止欺詐和篡改視頻，并要求創(chuàng)作者披露使用AI創(chuàng)作的內容。Meta此前表示，正在訓練自動檢測系統(tǒng)以捕捉平臺上的深度偽造欺詐行為。

回顧全球多地發(fā)生的Deepfake性犯罪案件，其中高頻出現的一個通訊平臺便是Telegram。這款應用以強大的加密和隱私保護功能聞名，也因此成為網絡色情犯罪、詐騙、販毒等交易的溫床。韓國警方本周表示，已對Telegram實施立案前調查，但Telegram在提供賬戶信息等涉案資料方面不積極配合，導致警方面臨偵查難題。

9月3日，韓國通信標準委員會稱Telegram已遵從其要求，刪除平臺上部分深度偽造色情內容，并為造成的溝通不暢道歉。

就在韓國爆發(fā)Deepfake風波的幾乎同一時期，大洋彼岸的法國于當地時間8月24日拘捕了Telegram的創(chuàng)始人兼首席執(zhí)行官Pavel Durov。法國檢方對其的指控罪名包括共謀在Telegram上散播兒童色情內容、非法毒品和黑客軟件，同時指控Telegram幾乎完全沒有回應司法要求。Pavel Durov隨后繳納了500萬歐元保釋金，但被禁止離開法國。

匯業(yè)律師事務所高級合伙人王小敏律師對藍鯨新聞分析道，Telegram等境外社交平臺的服務器位于國外，國內監(jiān)管或執(zhí)法部門在跨境執(zhí)法時可能會面臨諸多困難，如取證、執(zhí)法協作、法律適用、管轄等，這在一定程度上加大了監(jiān)管或維權的難度。此外，深度偽造技術的匿名性和跨地域性也增加了執(zhí)法難度，使得不法分子往往容易逃脫法律的制裁。

王小敏律師補充稱，當下深度偽造違法犯罪行為變得更加常見，原因之一還在于法律規(guī)制的滯后性。他指出，法律法規(guī)往往難以跟上技術發(fā)展的步伐，導致監(jiān)管滯后。但隨著AI技術的進化，相關監(jiān)管法規(guī)不可能一成不變，目前已有一些國家和地區(qū)開始立法限制深度偽造技術的濫用。

在中國，深度合成或偽造相關的法律條文除《刑法》、《網絡安全法》等一般規(guī)定外，還散見于《互聯網信息服務深度合成管理規(guī)定》、《生成式人工智能服務管理暫行辦法》等相關部門規(guī)范中。其中，2022年頒布的《互聯網信息服務深度合成管理規(guī)定》是中國首部深度合成領域的專門法規(guī)。目前已有算法備案和一些司法判決、行政處罰等實踐案例。

王小敏律師表示，如果此次韓國Deepfake事件發(fā)生在中國，通過深度偽造換臉制作并傳播淫穢色情內容，很可能構成刑事犯罪，比如傳播淫穢物品罪或涉嫌制作、販賣淫穢物品牟利罪等。此外，受害人還可以就其肖像權或名譽權被侵害提起民事訴訟。

眼見未必為實，這件事在生成式AI技術風起云涌的時代帶來了越來越多的混亂。韓國的深度偽造性犯罪只是先對韓國人造成了傷害，這并不意味著我們就能夠免受其害，反而是給全球敲醒了警鐘。還沒有一個完美解法的現在，需要技術、法律、監(jiān)管以及各種制度配套應對，才能有機會讓更多社會力量參與進來，防止更多的罪惡蔓延。