號稱可提供ChatGPT服務，實際是冒牌AI；視頻電話中熟悉的“親(qin) 友”，是不法分子AI換臉模擬而成；為(wei) 博取流量，用AI技術編造虛假謠言，流量變“流毒”……

　　隨著人工智能的發展迭代，生成式AI正以前所未有的速度重塑著日常生活，但由此衍生出的新騙局、新套路也在刷新人們(men) 對風險防範的認知。這背後不僅(jin) 關(guan) 乎廣大消費者的財產(chan) 安全，還潛藏著人身安全風險和隱患。記者梳理近期管理部門查處的AI相關(guan) 案件，揭開人工智能“圈套”背後的真相。

　　9塊9使用ChatGPT？其實是“套殼AI”

　　自人工智能產(chan) 品ChatGPT爆火，一些企業(ye) 看到無限“錢景”，強行“關(guan) 聯”。一時間，市場上湧現出不少與(yu) ChatGPT“沾親(qin) 帶故”的服務產(chan) 品。2023年2月，一個(ge) 名為(wei) “ChatGPT在線”的公眾(zhong) 號引起了上海市徐匯區市場監管部門的注意。

　　這個(ge) 頭像與(yu) ChatGPT原開發公司官方標識高度相似的公眾(zhong) 號，在用戶短暫免費體(ti) 驗後即需注冊(ce) 會(hui) 員付費使用，支付9.9元可以對話20次，隨著對話次數增加，其收費也逐步提高。該公眾(zhong) 號僅(jin) 用兩(liang) 個(ge) 月就吸納超36萬(wan) 人的粉絲(si) 量，累計注冊(ce) 付費用戶4231人，經營額共計125385.44元。

　　執法人員調查發現，該公眾(zhong) 號的運營公司與(yu) 實際ChatGPT開發公司並無關(guan) 聯。所謂“ChatGPT在線”也並非“ChatGPT”產(chan) 品本身。“當事人為(wei) 實現銷售目的，使用類似圖像、名稱及服務簡介等多種手段實施複合性混淆行為(wei) ，利用‘ChatGPT’熱點進行攀附，混淆真實情況，謀取交易機會(hui) ，獲取不當利益。”上海市徐匯區市場監督管理局執法稽查科副科長張琦說，當事人行為(wei) 違反了《中華人民共和國反不正當競爭(zheng) 法》第六條第（四）項的規定，市場監管部門已責令其停止違法行為(wei) ，處以罰款，並要求其妥善處置相關(guan) 消費糾紛。

　　記者發現，“冒牌AI”的現象並不少見。2023年，百度“文心一言”上市前夕，網上出現大量打著“文心一言”旗號的社交媒體(ti) 賬號。隨後百度官方發文辟謠稱“文心一言”尚未注冊(ce) 社交賬號。

　　“人工智能大模型開源生態的建立，讓AI發展加速的同時也讓生成式AI更容易被濫用。”中國行政法學研究會(hui) 常務理事、華東(dong) 政法大學教授沈福俊認為(wei) ，考慮到立法的滯後性，監管部門還需更加關(guan) 注新技術發展對市場端的影響，加大事前監管力度，充分運用現有的法律法規資源實施有效監管，切莫使新問題隱匿在“監管盲區”。

　　張琦也表示，消費者出於(yu) 對新興(xing) 技術的好奇，往往在不知不覺陷入“圈套”。“如果誤用了別有用心的‘套殼AI’，甚至可能被不法分子套取個(ge) 人信息，埋下安全隱患。”他建議，消費者在選擇AI產(chan) 品時需仔細甄別，避免被商家誤導。“如果購買(mai) 到了仿冒產(chan) 品，要保留好相應的產(chan) 品購買(mai) 憑證，主動聯係監管部門，維護自身合法權益。”

　　“AI換臉”詐騙 眼見不一定為(wei) 實

　　隻需一通視頻電話，不法分子就騙走了430萬(wan) 元。2023年4月，福建省某科技公司法定代表人郭先生接到“好友”的微信視頻通話，對方聲稱自己當下需要430萬(wan) 元保證金用以項目競標，想借用郭先生公司的賬戶“走個(ge) 賬”。因為(wei) 有先前的視頻通話，加之對“好友”的信任，郭先生陸續給對方轉賬共計430萬(wan) 元。隨後郭先生再次聯係好友時才發現自己被騙。所幸在警方幫助下，成功止付攔截336.84萬(wan) 元。

　　據郭先生回憶，由於(yu) 在視頻電話中確認了對方的麵孔和聲音，所以毫不懷疑對方身份有詐。不僅(jin) 如此，犯罪分子還精準了解郭先生與(yu) 好友的關(guan) 係，並成功盜取好友微信賬號實施詐騙，令人不寒而栗。

　　AI技術的迭代升級讓不法分子借助智能AI換臉和擬聲技術，就可輕鬆實現遠程視頻詐騙。記者調查發現，最近多地出現的AI換臉詐騙案件，均具備定製性、迷惑性等特征。

　　其中，香港警方近期披露一起涉案金額高達2億(yi) 港元的多人AI換臉詐騙案尤為(wei) 典型。據媒體(ti) 報道，某公司職員受邀參加公司“多人視頻會(hui) 議”時，先後將2億(yi) 港元分別轉賬到5個(ge) 本地銀行賬戶內(nei) 。據警方調查，這場視頻會(hui) 議中除了受害者外，其餘(yu) 均為(wei) AI換臉後的詐騙人員。

　　不少業(ye) 內(nei) 專(zhuan) 家表示，隨著文生視頻大模型Sora等多模態人工智能的探索和出現，人們(men) 可能陷入“眼見也不一定為(wei) 實”的困局。“一直以來，銀行等部門將實時視頻用做檢驗身份的手段之一，如今其可靠性將麵臨(lin) 巨大挑戰。”沈福俊說，“隨著人工智能技術的迭代升級，這類違法行為(wei) 還可能演變出更多形態。”

　　沈福俊坦言，對此類AI換臉和AI擬聲的惡性詐騙案件，若隻依靠傳(chuan) 統監管手段已不能防堵，監管部門在提升自我科技能力儲(chu) 備的同時，有必要引入新興(xing) 技術，探索用AI技術監管AI的可能。

　　從(cong) 消費者角度出發，沈福俊建議提升全民個(ge) 人信息保護意識，謹防隱私泄露。“不管是在互聯網上還是社交軟件上，盡量避免過多地暴露自己的信息，在涉及轉賬交易等行為(wei) 時，可以多角度詢問身份信息，反複驗證對方是否為(wei) 本人。”

　　警惕“AI造謠” 小心“流量”變“流毒”

　　當前AIGC技術已在文本生成、圖片創作等方麵廣泛應用，輸入幾個(ge) 關(guan) 鍵詞即可由AI快速生成一張畫或一篇文章。但一些用戶為(wei) 博眼球、蹭熱度，卻將人工智能技術用以編“偽(wei) 消息”，造“假通報”。

　　2023年6月，一條名為(wei) 《浙江工業(ye) 園現大火濃煙滾滾，目擊者稱有爆炸聲！》的視頻在網絡上流傳(chuan) ，引發網友關(guan) 注。後經相關(guan) 部門核實為(wei) 謠言。據調查，當事人為(wei) 給自己賬號漲粉引流，獲取更多利益，通過非法渠道購買(mai) 了AI視頻生成軟件。該當事人將網絡熱門話題通過AI自動生成視頻產(chan) 品，並上傳(chuan) 至多個(ge) 熱門視頻平台。

　　截至案發，相關(guan) 當事人發布的虛假視頻多達20餘(yu) 條，涉及浙江、湖南、上海、四川等多個(ge) 省市，累計閱讀觀看量超過167萬(wan) 次。目前浙江紹興(xing) 上虞法院已開庭審理並當庭宣判了這起案件，兩(liang) 名被告均被判處有期徒刑。

　　但“AI謠言”仍時有發生。2024年1月，廣西東(dong) 興(xing) 市駱某某為(wei) 博取流量，將其他地區的抗洪、救災視頻，經AI軟件自動編輯，編造新疆烏(wu) 什縣發生地震的虛假視頻信息。同年1月，四川一網民在某平台發布“貴州女嬰被棄”的謠言文章。經調查，該涉謠文章由AI係統生成並發布，相關(guan) 言論及照片均為(wei) 不實信息。

　　技術的普及帶動自媒體(ti) 產(chan) 業(ye) 的繁榮。但一些網民為(wei) 獲取流量不惜利用技術手段編造生成虛假視頻，讓“AI謠言”在網絡上傳(chuan) 播，不僅(jin) 給網絡安全帶來嚴(yan) 峻挑戰，也嚴(yan) 重擾亂(luan) 社會(hui) 秩序。

　　2023年，最高人民法院、最高人民檢察院、公安部聯合發布的《關(guan) 於(yu) 依法懲治網絡暴力違法犯罪的指導意見》中規定，對“利用‘深度合成’等生成式人工智能技術發布違法信息”的情形，依法從(cong) 重處罰。

　　對此，沈福俊等多位專(zhuan) 家表示，一方麵，要提高廣大自媒體(ti) 經營者的法律意識，從(cong) 源頭減少此類“AI謠言”的產(chan) 生；另一方麵，監管部門也要加強相關(guan) 案件的宣傳(chuan) 推廣，提高網民對“AI謠言”的鑒別力。（記者程思琪參與(yu) 采寫(xie) ：陳一飛）