大模型落地，跑得快更要跑得穩

　　比盛夏的上海更火熱的是2024世界人工智能大會(hui) 暨人工智能全球治理高級別會(hui) 議（以下簡稱“WAIC 2024”）。大會(hui) 線下參觀人數突破30萬(wan) 人次，創曆史新高。

　　值得注意的是，WAIC 2024的首發首秀不僅(jin) 涉及模型更新換代，還涵蓋應用、平台、係統等。行業(ye) 和觀眾(zhong) 的目光更多投向與(yu) 模型落地緊密相關(guan) 的交互體(ti) 驗、商業(ye) 模式等領域。

　　一個(ge) 引發廣泛關(guan) 注的問題是，隨著大模型能力不斷增強，其安全性、可靠性、可控性也日益受到挑戰。尤其是麵對行業(ye) 用戶合法合規、精準可控等要求，大模型可能存在的數據安全、幻覺等成為(wei) 繞不過的問題。

　　中國信息通信研究院華東(dong) 分院人工智能事業(ye) 部主任常永波說，應用價(jia) 值與(yu) 應用安全是大模型發展的兩(liang) 翼，當前大模型已進入快速迭代期，在積極探索落地應用的同時，大模型廠商也要高度重視應用場景需求下對安全的行業(ye) 要求。

　　技術自身缺陷不容忽視

　　依托龐大參數規模、海量訓練數據、強大算力資源，大模型作為(wei) 人工智能領域最熱門的技術分支，已在多個(ge) 領域表現出超越人類的能力。

　　“金融、醫療、教育、政務、製造等眾(zhong) 多領域都在積極探索大模型安全應用範式，以應對大模型安全風險。”常永波介紹，伴隨大模型的深度應用，產(chan) 學研用各方都在加強大模型安全威脅和防禦技術體(ti) 係研究。在原有可信人工智能治理體(ti) 係框架基礎上，提升大模型的魯棒性、可解釋性、公平性、真實性等能力成為(wei) 行業(ye) 研究熱點。安全評測技術和安全防禦技術的不斷成熟，有效護航大模型發展。

　　WAIC 2024上，清華大學、中關(guan) 村實驗室、螞蟻集團等機構聯合撰寫(xie) 的《大模型安全實踐（2024）》白皮書(shu) （以下簡稱“白皮書(shu) ”）正式發布。白皮書(shu) 顯示，大模型技術存在自身缺陷，包括生成內(nei) 容不可信、能力不可控以及外部安全隱患等問題。

　　“幻覺是大模型目前比較難解決(jue) 的問題。”常永波說，模型在遵循語法規則的同時，可能產(chan) 生虛假或無意義(yi) 的信息。這一現象源於(yu) 大模型基於(yu) 概率推理的輸出方式。它可能導致對模糊預測的過度自信，從(cong) 而編造錯誤或不存在的事實，影響生成內(nei) 容的可信度。“智能湧現”是大模型的另一種效應，它可以讓模型展現出色性能，也具有突發性、不可預測性和不可控性等特征。

　　另外，大模型的脆弱性和易受攻擊性使外部安全隱患難以消除。相關(guan) 數據顯示，隨著大模型技術快速發展，相關(guan) 網絡攻擊也在增多。

　　聚焦安全可靠可控性建設

　　大模型帶來的種種風險，對監管方、學術界、產(chan) 業(ye) 界是全新且不可回避的問題。

　　近年來，《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》《科技倫(lun) 理審查辦法（試行）》等政策法規相繼發布，搭建起我國人工智能治理的基本框架。一係列政策法規堅持發展與(yu) 安全並重原則，強化科技倫(lun) 理風險防控，從(cong) 技術發展與(yu) 治理、服務規範、監督檢查與(yu) 法律責任等層麵對大模型安全發展提出要求。

　　白皮書(shu) 提出，構建大模型安全政府監管、生態培育、企業(ye) 自律、人才培養(yang) 、測試驗證“五維一體(ti) ”的治理框架。

　　在監管方麵，常永波介紹，敏捷治理正成為(wei) 一種新型治理模式。該模式以柔韌、流動、靈活及自適應為(wei) 特點，倡導多元利益相關(guan) 者共同參與(yu) ，能快速響應環境變化。在實施治理策略時，結合柔性倫(lun) 理規範和硬性法律法規，構建完善的治理機製，在規製大模型風險的同時平衡創新與(yu) 安全。

　　“為(wei) 確保大模型在實際應用中發揮最大效能，防止潛在風險和濫用，大模型建設通常會(hui) 聚焦三個(ge) 重要維度：安全性、可靠性和可控性。”螞蟻集團安全實驗室首席科學家王維強解釋，安全性意味著確保模型在所有階段都受到保護，防止任何未經授權的訪問、修改或感染，保障人工智能係統無漏洞、免誘導；可靠性要求大模型在各種情境下都能持續提供準確、一致、真實的結果，這對於(yu) 決(jue) 策支持係統尤為(wei) 重要；可控性關(guan) 乎模型在提供結果和決(jue) 策時能否讓人類了解和介入，以便人類根據需要進行調適和操作。

　　王維強特別提到時下備受關(guan) 注的Agent（智能體(ti) ）。他說，Agent是目前大模型落地的關(guan) 鍵路徑，但複雜的Agent體(ti) 係進一步擴大了大模型風險敞口。目前RAG（檢索增強生成）、指令遵循、知識圖譜嵌入等方法可有針對性地提升模型輸出的可控性和準確性。

　　合力推動人工智能健康發展

　　“目前來看，讓大模型完全不犯錯幾乎不可能，但減小犯錯幾率，減弱錯誤危害性，是可以做到的。”常永波說，安全治理需產(chan) 學研共同發力，中國信息通信研究院已開展一係列標準和測評研究，頭部廠商也在加速構建自身的安全和治理體(ti) 係。

　　螞蟻集團安全內(nei) 容智能負責人趙智源介紹了相關(guan) 經驗。一方麵，在大模型產(chan) 品投入應用前，企業(ye) 需做好全麵評測，對暴露出的安全問題展開針對性防禦，把好入口關(guan) ；相關(guan) 產(chan) 品進入市場後，也要時刻監控可能出現的風險隱患，進行技術補救和改進。另一方麵，模型技術通常跑在安全技術前，行業(ye) 研究要保持一定前瞻性。

　　“我們(men) 很早就開始探索基於(yu) 安全知識構建視覺領域生成內(nei) 容風險抑製的技術。在多模態大模型發布後，我們(men) 又將這一技術集成到多模態基座中，降低風險內(nei) 容生成比例。”趙智源介紹，螞蟻集團已構建起麵向產(chan) 業(ye) 級應用的大模型安全一體(ti) 化解決(jue) 方案“蟻天鑒”2.0版本，形成包括大模型基礎設施測評、大模型X光測評等在內(nei) 的測評和防禦技術鏈條，並已運用於(yu) 金融、政務、醫療等專(zhuan) 業(ye) 場景下的AI應用全流程。

　　常永波說，大模型落地門檻正在大幅降低，大量中小企業(ye) 在模型安全治理方麵的能力較弱，有些甚至不符合基本的合規要求。解決(jue) 這些問題，需要監管的進一步引導和頭部廠商的能力釋放。

　　“我們(men) 現在已把‘蟻天鑒’的測評能力框架開源，將來也會(hui) 把檢測能力以及對風險的認知更多分享到平台上，它可以適配較多模型。希望我們(men) 提供的開放能力能幫助大模型行業(ye) 持續健康發展。”王維強說，模型廠商離用戶最近，可第一時間發現安全隱患，並通過和監管保持良性溝通互動，助力大模型安全落地。

　　清華大學長聘副教授李琦認為(wei) ，大模型安全應用是一個(ge) 新興(xing) 領域，研究和應用尚處於(yu) 起步階段。隨著新的實踐不斷深入發展，相關(guan) 技術也會(hui) 持續升級，為(wei) 建構大模型安全實踐範式打造高價(jia) 值參考體(ti) 係。

　　人工智能治理是全球性問題。WAIC 2024開幕式上發布的《人工智能全球治理上海宣言》提出，高度重視人工智能的安全問題。宣言強調，以發展的眼光看問題，在人類決(jue) 策與(yu) 監管下，以人工智能技術防範人工智能風險，提高人工智能治理的技術能力。宣言呼籲，推動製定和采納具有廣泛國際共識的人工智能的倫(lun) 理指南與(yu) 規範，引導人工智能技術的健康發展，防止其被誤用、濫用或惡用。