將一張“神奇貼紙”貼在臉上，就能讓人臉識別門禁係統出現誤判，毫無防備地為(wei) 陌生人打開大門；把這張“貼紙”放在眼鏡上對準手機，就能解鎖其人臉識別係統，獲取用戶信息如入無人之境……這曾經隻出現在科幻電影中的場景，如今已經在現實生活中發生。日前，首屆人工智能安全大賽在北京舉(ju) 辦，上述攻防場景在大賽中令不少觀眾(zhong) 直呼驚訝。

　　近年來，我國人工智能產(chan) 業(ye) 規模快速增長。據工信部發布數據顯示，人工智能核心產(chan) 業(ye) 規模超過4000億(yi) 元，比2019年同期增長6倍多，企業(ye) 數量超過3000家，比2019年同期增加15%，在製造、交通、醫療、金融等重點行業(ye) 形成一批典型應用場景。“伴隨應用場景日益廣泛以及使用頻次快速增長，人工智能安全風險發生的範圍和可能性持續提高。”中國科學院院士、清華大學人工智能研究院名譽院長張鈸認為(wei) ，以深度學習(xi) 為(wei) 代表的算法爆發拉開了人工智能浪潮序幕，在計算機視覺、智能語音、自然語言處理等眾(zhong) 多領域取得長足發展。但以數據驅動的第二代人工智能在可解釋性、穩健性方麵的缺陷也逐漸暴露出來，導致安全事件頻發。如何實現高質量發展和高水平安全良性互動，是當前人工智能產(chan) 業(ye) 麵臨(lin) 的最為(wei) 重要命題。

　　中國信息通信研究院發布的《人工智能白皮書(shu) (2022年)》同樣指出，隨著人工智能應用暴露出各種風險和挑戰，以及人們(men) 對人工智能認識的不斷深入，人工智能治理已經成為(wei) 全球各界高度關(guan) 注的議題，對可信安全的呼聲不斷增多。

　　“人工智能安全風險主要從(cong) ‘人’與(yu) ‘係統’兩(liang) 個(ge) 角度剖析。從(cong) 人的視角看，人工智能安全風險存在技術濫用甚至‘武器化’問題。”北京瑞萊智慧科技有限公司CEO田天以深度合成技術為(wei) 例解釋，該技術能夠大幅提升內(nei) 容製作效率與(yu) 質量，但其負向應用——深度偽(wei) 造的風險正持續加劇且已產(chan) 生實質危害。比如，通過“AI換臉”捏造虛假講話視頻等引導公眾(zhong) 輿論。對此，清華大學人工智能研究院基礎理論研究中心主任朱軍(jun) 認為(wei) ，技術是中性的，應加強對應用場景、使用者的監管，防止技術濫用等衍生風險發生，保障其應用可控。

　　大賽現場演示的人臉識別破解則展示了人工智能係統層麵風險，它來自深度學習(xi) 模型本身存在脆弱和易受攻擊的缺陷，通過輸入數據添加擾動，使係統作出錯誤判斷，導致其可靠性難以得到信任。這一漏洞在自動駕駛感知係統同樣存在：正常情況下，自動駕駛係統識別到路障、指示牌、行人等目標後，會(hui) 立即製動車輛，但對目標物體(ti) 添加幹擾圖案後，車輛感知係統就會(hui) 出錯，引發碰撞危險。“與(yu) 傳(chuan) 統信息係統不同，人工智能係統存在高度不確定性，技術漏洞更為(wei) 複雜。”朱軍(jun) 建議，在算法模型外部署安全防護組件，利用算法安全檢測與(yu) 防禦加固等措施，抵禦模型竊取、對抗樣本等新型攻擊，提高攻擊門檻與(yu) 防禦成本，讓攻擊者無利可圖，從(cong) 而在源頭上實現安全。

　　北京航空航天大學軟件開發環境國家重點實驗室副主任劉祥龍則認為(wei) ，構建科學評測手段是提高人工智能係統防禦能力的另一項有效解決(jue) 方案。人工智能算法不僅(jin) 種類眾(zhong) 多，還包含數據集、模型等眾(zhong) 多要素，涉及訓練、測試、驗證等多個(ge) 環節，這使得人工智能算法安全性評測成為(wei) 一項複雜命題。因此，應配備從(cong) 測試、分析到加固的完整技術手段，形成標準化測試流程。人工智能安全評估不僅(jin) 局限於(yu) 算法，未來還應拓展至數據、應用等多個(ge) 層麵，形成全麵測評，保障人工智能全周期安全。

　　從(cong) 長遠看，人工智能安全問題需要從(cong) 算法模型原理上尋找突破口。張鈸提出構建第三代人工智能，即在第二代人工智能具有的數據、算法、算力3個(ge) 要素基礎上，再融合知識要素，建立新的可解釋、穩健的人工智能方法。

　　築牢人工智能安全屏障需要不斷在攻防演練中升級對抗能力。大賽聚焦人臉識別、自動駕駛等場景中的典型漏洞及風險，通過考核漏洞發現、挖掘等能力，尋找新型安全需求場景，推動人工智能安全攻防技術創新，為(wei) 強化人工智能治理體(ti) 係與(yu) 安全評估能力建設提供支撐。

　　作為(wei) 人工智能產(chan) 業(ye) 發展重要基石，算力基礎設施的加快建設將滿足人工智能爆發式增長的算力需求。國家工業(ye) 信息安全發展研究中心日前發布的《人工智能算力基礎設施安全發展白皮書(shu) 》指出，安全的算力基礎設施應保護數據模型不被竊取，有效防範惡意攻擊，提供可信任的運行環境，保障人工智能係統安全穩定。

　　但人工智能算力基礎設施發展仍處於(yu) 初期階段，專(zhuan) 門的安全標準、技術體(ti) 係、評估規範、監測和檢查手段仍在建設中。為(wei) 進一步推動人工智能算力基礎設施安全發展，國家工業(ye) 信息安全發展研究中心副主任何小龍認為(wei) ，算力基礎設施與(yu) 人工智能的安全問題相互交織，應構築具有針對性的一體(ti) 化、全鏈路標準體(ti) 係，實現協同聯防。同時，鼓勵算力基礎設施企業(ye) 和算法企業(ye) 加強合作，推動安全技術工具集成到人工智能算力基礎設施中，降低企業(ye) 應用人工智能成本，形成安全發展良好氛圍。

　　李芃達