大模型賦能機器狗 西工大離線具身智能研究取得新突破
中新網西安3月20日電(記者 阿琳娜)一隻機器狗在街上邁著規律的步伐,拉著牽引繩的盲人在它的帶領下越過沿路障礙,平穩地行走著。電子導盲犬能否取代傳(chuan) 統導盲犬,解決(jue) 視障人士一犬難求的困境?記者20日從(cong) 西北工業(ye) 大學獲悉,該校團隊在此方麵開展研究攻關(guan) 並取得了新的突破。
據了解,西北工業(ye) 大學光電與(yu) 智能研究院聯合中國電信人工智能研究院在探索離線具身智能應用方麵取得階段性進展。具身智能,即具有物理實體(ti) ,能夠通過傳(chuan) 感器和執行器與(yu) 環境進行實時互動,執行相應指令或進行決(jue) 策的智能機器。
李學龍教授團隊將機器狗搭載離線大模型,應用在智能導盲場景,開發出大模型離線具身智能導盲犬,並實現了其智能人機交互、智能乘梯引導、智能過街引導、智能室內(nei) 引導等功能。
該成果進一步展示了使用離線具身智能導盲犬代替傳(chuan) 統導盲犬的可能性,同時驗證了離線具身智能範式的可行性,使大模型具身智能機器人可以脫離互聯網環境,應用在無網或網絡信號不佳的工況環境,進一步拓展了臨(lin) 地安防的應用場景。
近年來,隨著機器人技術和SLAM導航技術的快速發展,針對電子導盲犬的探索也層出不窮。然而受製於(yu) 自然語言處理技術的限製,上一代電子導盲犬仍然欠缺和人類“自由對話”的能力,也難以為(wei) 視障人士提供情感陪伴。
大模型及具身智能技術的出現使電子導盲犬實現這種高級能力成為(wei) 可能。但機器狗的低算力計算平台難以支撐大模型運行所需的海量計算資源,通常隻能通過請求雲(yun) 服務的“在線具身智能”範式獲得大模型的高級能力,這嚴(yan) 重限製了電子導盲犬的場景應用範圍。
為(wei) 此,李學龍教授團隊結合目前最新的大模型量化壓縮和加速推理技術,成功將大模型部署至機器狗的低算力計算平台,驗證了“離線具身智能”範式的可行性。
目前通過實驗,團隊開發的離線具身智能導盲犬已能夠與(yu) 視障人士流暢溝通指令,並帶領其通過馬路、樓梯、電梯等多樣複雜環境,驗證了離線具身智能導盲犬的智能人機交互能力、電梯弱網絡環境下的智能乘梯引導能力、實時性要求較高的智能過街引導能力和智能室內(nei) 引導能力等。
該成果證明了離線具身智能導盲犬代替傳(chuan) 統導盲犬的可能性,同時驗證了離線具身智能範式的可行性,使大模型具身智能機器人可以脫離互聯網,應用在無網或網絡信號不佳的工況環境,提供更加實時的智能響應以及更好的人機交互體(ti) 驗。
未來,團隊將進一步優(you) 化具身智能導盲犬技術方案,與(yu) 電信星辰大模型相結合,探索在線與(yu) 離線相融合的分布式異構具身智能方案,進一步拓寬離線具身智能導盲犬及更多智能機器人平台的應用場景,有效賦能工業(ye) 生產(chan) 智能化,加快形成新質生產(chan) 力。(完)
版權聲明:凡注明“來源:新利平台”或“新利平台文”的所有作品,版權歸高原(北京)文化傳(chuan) 播有限公司。任何媒體(ti) 轉載、摘編、引用,須注明來源新利平台和署著作者名,否則將追究相關(guan) 法律責任。