對於(yu) 濫用生成式人工智能技術的擔憂在世界範圍內(nei) 都存在。不僅(jin) 因為(wei) 其超越一般技術的“創造能力”和“破壞性”，更因為(wei) 人們(men) 發現，生成式人工智能技術發展的速度極快。目前，世界各國對其風險的預判與(yu) 防範均處於(yu) 探索階段，有賴於(yu) 法律體(ti) 係的進一步完善。

　　——————————

　　10分鍾內(nei) 被騙走430萬(wan) 元，近期，用AI技術興(xing) 風作浪的詐騙案件，引起了社會(hui) 關(guan) 注。

　　5月22日，包頭警方發布的一起利用AI實施電信詐騙的案例衝(chong) 上熱搜。福州市某科技公司法人代表郭先生在接到“好友”微信視頻電話後，考慮到關(guan) 係好又是真人視頻通話，在10分鍾內(nei) 直接向對方賬戶匯款430萬(wan) 元。隨後才意識到自己遭遇了“高端”騙局，“好友”是騙子通過AI換臉技術佯裝而成的。

　　關(guan) 於(yu) AI技術的爭(zheng) 論不曾停止過。此前，ChatGPT就曾因編寫(xie) 假新聞而飽受詬病，而近期大量出現的AI詐騙更是令人不得不開始反思，AI生成的虛假信息或許潛藏著巨大的社會(hui) 風險。

　　需警惕生成式人工智能技術的濫用

　　英國媒體(ti) 《每日郵報》曾報道，2019年3月，英國警方逮捕了一名使用AI語音模仿軟件的詐騙者。他將自己的聲音改變成當地一家能源公司老板的聲音，以“幫助公司避免拖欠罰款”為(wei) 由要求一位高管向其匯款，通過電話騙取了22萬(wan) 歐元(約合人民幣170萬(wan) 元)。據這名高管回憶，當時他也產(chan) 生了疑心，但他的確聽到了老板的德國口音。此案被認為(wei) 是全球首例人工智能詐騙案。

　　其實，模仿一個(ge) 人的聲音乃至外貌，對AI來說並不是新鮮事。此前，“AI孫燕姿”就曾在B站等網絡平台走紅，視頻上傳(chuan) 者通過使用AI音色替換技術(Sovits4.0)，生成了高度還原孫燕姿音色的翻唱歌曲，其中原唱為(wei) 周傑倫(lun) 的歌曲《發如雪》播放量已超過200萬(wan) 次。近期也有媒體(ti) 報道了一款網絡上的付費AI換臉軟件，其套餐價(jia) 格從(cong) 499元到2888元不等，肉眼來看，換臉之後的“數字人”口型、表情、微小的動作幾乎毫無破綻。

　　諸如此類生成式人工智能(Generative Artificial Intelligence，簡稱GAI)的大量出現很大程度上得益於(yu) 深度合成和機器學習(xi) 的快速發展。而AI詐騙者正是通過這些先進的技術，訓練出能夠模擬人類語言和神態的AI。

　　蘇州大學競爭(zheng) 政策與(yu) 反壟斷研究中心研究員方翔指出，近期的AI詐騙案件主要是人工智能技術在圖像領域的應用，其可以將不同人臉圖像中的麵部特征相互替換。“擬聲”則是借助深度學習(xi) 模型，根據已有的語音樣本(如通話錄音、網絡視頻等)生成與(yu) 其近似的聲音，進而做到與(yu) 人交談。

　　5月24日，中國互聯網協會(hui) 發文提醒，伴隨著深度合成技術的開放開源，深度合成產(chan) 品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進行詐騙、誹謗的違法行為(wei) 屢見不鮮。麵對利用AI技術的新型騙局，廣大公眾(zhong) 需提高警惕，加強防範。業(ye) 內(nei) 人士普遍認為(wei) ，“AI換臉”技術的濫用給人們(men) 敲響了警鍾，其複雜性、隱蔽性也給科技識別及運用提出了更高的要求。

　　“對於(yu) 生成式人工智能，正當適度使用，可以倍增工作效率，有力推動創意產(chan) 業(ye) 發展，促進消費者福祉增長。但同時，虛假使用可引發謠言泛濫、侵害權利、壓榨利益，而過度使用可引發踐踏人性、減少就業(ye) 、貧富懸殊，而惡意濫用甚至成為(wei) 歪曲真相、撕裂社會(hui) 、政策幹擾、禍亂(luan) 宇內(nei) 的罪惡之源。”中國互聯網協會(hui) 法工委副秘書(shu) 長胡鋼認為(wei) ，要堅持依法崇德治理，使全社會(hui) 形成法網大於(yu) 互聯網、國法高於(yu) 算法、人工智能不能成為(wei) “人工製人”的共識。

　　探索構建完善的人工智能法律體(ti) 係

　　“我國針對人工智能及數據安全、個(ge) 人信息保護的立法雖然起步較晚，但日臻成熟。”方翔指出，早在2017年7月，國務院印發《新一代人工智能發展規劃》，其作為(wei) 我國AI發展的綱領性文件，提出了麵向2030年我國新一代人工智能發展的指導思想、戰略目標、重點任務和保障措施，其中特別提到“到2025年初步建立人工智能法律法規、倫(lun) 理規範和政策體(ti) 係，形成人工智能安全評估和管控能力”。

　　2022年12月，國家網信辦、工信部、公安部聯合發布《互聯網信息服務深度合成管理規定》，強調不得利用深度合成服務從(cong) 事法律、行政法規禁止的活動，要求深度合成服務提供者對使用其服務生成或編輯的信息內(nei) 容，應當添加不影響使用的標識。提供智能對話、合成人聲、人臉生成、沉浸式擬真場景等生成或者顯著改變信息內(nei) 容功能服務的，可能導致公眾(zhong) 混淆或者誤認的，應當進行顯著標識。

　　2023年4月，國家網信辦起草《生成式人工智能服務管理辦法(征求意見稿)》並向社會(hui) 公開征求意見，提出AI內(nei) 容必須真實準確，禁止非法獲取、披露、利用個(ge) 人信息和隱私、商業(ye) 秘密。

　　“總的來看，構建完善的人工智能法律體(ti) 係，我國目前仍在探索階段。”方翔說。中國信息通信研究院雲(yun) 計算與(yu) 大數據研究所所長何寶宏則指出，2022年12月發布的《互聯網信息服務深度合成管理規定》明確針對在中國境內(nei) 應用深度合成技術提供的互聯網信息服務進行規製，其中，深度合成技術是指利用深度學習(xi) 、虛擬現實等生成合成類算法製作文本、圖像、音頻、視頻、虛擬場景等網絡信息的技術。“在上述法律法規的具體(ti) 落實過程中，存在兩(liang) 方麵的挑戰。”

　　“一是防範深度合成技術應用生成錯誤價(jia) 值導向、虛假信息的能力需要進一步提升。《互聯網信息服務深度合成管理規定》要求深度合成服務提供者對輸入數據和合成結果進行審核、建立健全識別違法和不良信息的特征庫、依法處置違法和不良信息的生成合成信息內(nei) 容。但是，對於(yu) 深度合成服務提供者如何落實內(nei) 容管理需要進一步細化，提供者需要不斷提升技管結合的能力；對於(yu) 內(nei) 容管理落實的具體(ti) 效果，也有待進行持續性的跟蹤檢驗。”其次，何寶宏指出，對深度合成信息內(nei) 容增加標識的具體(ti) 規範也需要進一步細化，文件中明確深度合成服務提供者提供深度合成服務，可能導致公眾(zhong) 混淆或者誤認的，應當在生成或者編輯的信息內(nei) 容的合理位置、區域進行顯著標識。“但對於(yu) 如何增加顯著標識以及增加標識的具體(ti) 方式需要盡快出台細化的要求規範。”

　　超越一般技術的“破壞性”引發擔憂

　　對於(yu) 濫用生成式人工智能技術的擔憂在世界範圍內(nei) 都存在。不僅(jin) 因為(wei) 其超越一般技術的“創造能力”和“破壞性”，更因為(wei) 人們(men) 發現，生成式人工智能技術發展的速度極快。

　　從(cong) OpenAI去年11月推出ChatGPT，到今年3月其迭代品GPT-4麵世，僅(jin) 用了幾個(ge) 月的時間。GPT-4不僅(jin) 知識麵更廣、回答問題更流暢，還可以描述並理解圖片，甚至具備一定自我反思的能力。

　　OpenAI的首席執行官Sam Altman接受采訪時就曾表示，擔心這些模型可能被用於(yu) 大規模的虛假信息，也擔心人類被控製。“ChatGPT是一個(ge) 高度受人類控製的工具。但也許會(hui) 有人放棄設置我們(men) 目前已有的一些安全限製。”他補充，“我認為(wei) ，社會(hui) 隻有有限的時間來弄清楚如何對此做出反應，如何監管，如何處理它。”

　　今年3月，美國特斯拉汽車公司首席執行官埃隆·馬斯克曾聯合1000多名業(ye) 界、學界人士發表公開信，呼籲所有AI實驗室立即暫停訓練比ChatGPT更強大的AI係統，暫停至少6個(ge) 月。其信中提到，在開發強大的AI係統之前，要確信這些係統的影響是積極的，風險是可控的。

　　同時公開報道顯示，今年3月31日，意大利個(ge) 人數據保護局宣布即日起暫時禁止使用ChatGPT，並暫時限製OpenAI處理意大利用戶數據。意大利成為(wei) 首個(ge) 禁止ChatGPT的西方國家，歐盟的多個(ge) 國家也開始跟進，醞釀具體(ti) 監管措施。

　　各國政府都在加快出台人工智能監管法律。據路透社報道，英國競爭(zheng) 和市場管理局正在審查人工智能對消費者、企業(ye) 和經濟的影響，考慮是否需要新的監管措施。法國隱私監管機構正在調查與(yu) ChatGPT有關(guan) 的幾起投訴。澳大利亞(ya) 政府正在谘詢科學谘詢機構，來考慮下一步的監管行動。歐洲數據保護委員會(hui) 已成立ChatGPT特別工作組；歐盟消費者組織則呼籲歐盟消費者保護機構調查ChatGPT技術及對消費者的潛在危害。

　　“鑒於(yu) 人工智能的技術複雜性，世界各國對其風險治理均處於(yu) 探索階段，對其約束和監管仍有賴於(yu) 法律體(ti) 係的完善。”方翔介紹，歐盟目前正在推進全球首部人工智能法案。2023年4月，歐洲議會(hui) 成員就《人工智能法(The AI Act)》提案達成臨(lin) 時政治協議，強化對生成式人工智能的監管，並將人工智能技術可能帶來的風險細化為(wei) 極小風險、有限風險、高風險、不可接受風險4個(ge) 等級。“這一立法動向值得我國關(guan) 注。”方翔告訴記者。

　　中青報·中青網記者 李若一 王林 見習(xi) 記者 裴思童 來源：中國青年報