中新網北京11月19日電 (記者 張素)上下文窗口長度，對於(yu) 模型理解和生成與(yu) 特定上下文相關(guan) 文本極為(wei) 重要，是大模型核心技術之一。記者近日采訪獲悉，鵬城實驗室等相關(guan) 機構開展合作，在國產(chan) 算力大模型長窗口技術方麵有所突破。

　　通常來說，更長的上下文窗口可以提供更豐(feng) 富的語義(yi) 信息，並且能夠讓模型生成的內(nei) 容更準確流暢。“鵬城—百川·腦海33B”的128K長上下文窗口基於(yu) “鵬城雲(yun) 腦”國產(chan) 算力平台訓練，未來可升級至192K。

　　據知，為(wei) 提升上下文窗口長度和模型整體(ti) 性能，百川智能和鵬城實驗室對模型進行了全流程優(you) 化。在數據集構建方麵，研發人員采用精細的數據構造，實現段落、句子粒度的自動化數據過濾、選擇、配比，進一步提升了數據質量。

　　在全生命周期的模型工具集中方麵，包括來自北京大學的王亦洲、楊耀東(dong) 團隊在內(nei) ，多方開展合作，創新提出帶安全約束的RLHF對齊技術，有效提升了模型內(nei) 容生成質量和安全性。

　　鵬城實驗室相關(guan) 負責人表示，接下來還將廣泛聯合企業(ye) 、高校和科研院所，通過開源群智的合作模式共享資源，為(wei) 千行百業(ye) 插上人工智能的“翅膀”。百川智能相關(guan) 負責人也表示，希望通過開源、與(yu) 合作夥(huo) 伴共創等方式，助力中國大模型創新，促進本土大模型生態日益繁榮。

　　有評論認為(wei) ，上述在大模型訓練和應用領域的合作研發實踐，對於(yu) 國產(chan) 算力大模型發展具有積極示範作用，希望更多科研機構、企業(ye) 廠商基於(yu) 各自優(you) 勢形成合力，更好地滿足國內(nei) 不斷增長的智能化轉型需求，助力中國人工智能產(chan) 業(ye) 持續發展。(完)