人工智能為電影修複帶來了什麽
作者:趙世傑(火山引擎多媒體(ti) 實驗室研究員)
近日啟動的“經典香港電影修複計劃”,計劃將100部香港老電影修複至4K版本。
電影修複流程繁雜瑣碎。過去,一位經驗豐(feng) 富的修複師需要1個(ge) 月的時間,才可以修複完成一部影片,而這次修複百部香港老片將使用深度學習(xi) 等人工智能技術,這將極大地提升電影修複效率,同時進一步優(you) 化影片的畫質,為(wei) 觀眾(zhong) 帶來超高清的觀影沉浸感。
傳(chuan) 統的修複方法更多關(guan) 注光影、色彩、美學等,而人工智能修複,可以從(cong) 清晰度、流暢度等方麵提升老片的畫麵質量。那麽(me) ,人工智能是如何介入電影修複的?
由於(yu) 拍攝設備、存儲(chu) 方式等方麵的限製,老電影往往帶有嚴(yan) 重的膠片噪聲且分辨率較低。此外,由於(yu) 拍攝年代和拍攝方式等的不同,老電影的畫麵質量也參差不齊,很多畫麵模糊不清。
提升影片的清晰度,須修複模糊的畫麵。去模糊的難點在於(yu) ,模糊的類型多種多樣。在拍攝、儲(chu) 存、拷貝翻印、膠片數字化以及壓製導出的過程中,都可能產(chan) 生模糊損傷(shang) ,這導致模糊問題成因複雜,修複人員通常難以獲得精準的“模糊核”。
利用人工智能技術,可以從(cong) 低質數據中抽取不同程度的模糊視頻,利用相關(guan) 統計方法進行真實的“模糊核”估計,並通過主觀驗證進一步篩選“模糊核”的類型。同時,在自建的高清影視數據集上,生成“模糊—清晰”匹配數據對來訓練機器學習(xi) 從(cong) 低質到高清的潛在的映射關(guan) 係。這樣就能快速分辨出不同影片、不同畫麵模糊的原因,進而提升修複效率。
在老電影修複中,電影中的人像需要重點關(guan) 注和優(you) 化。利用人工智能技術,使用基於(yu) 生成式的人像修複模塊,在保持人像真實特征的前提下,可以進行高清五官重建。對低分辨率、多次壓縮損傷(shang) 以及拍攝環境(如暗場景和拍攝過程抖動)等造成的模糊、失焦、噪聲、馬賽克等畫質損傷(shang) ,都能有效解決(jue) 。
在這次100部經典港片的修複中,人工智能還為(wei) 我們(men) 提供了老舊人像修複和人像超清化等不同的人像解決(jue) 方案。對於(yu) 低質量的人像,我們(men) 優(you) 化了人像模型在時域上的清晰度和穩定性,對不同大小的人臉(近景/中景/遠景)、不同姿態角度的人臉(側(ce) 臉/俯視/仰視)、不同遮擋程度的人臉都有較好的修複增強效果。對於(yu) 一些中高質量的人像,我們(men) 使用人像超清模塊,優(you) 化五官清晰度,最大限度還原睫毛、眉毛、發絲(si) 和膚質等臉部細節,修複結果更有質感。
很多老電影由於(yu) 膠片保存不當出現褪色情況,畫麵存在色偏。為(wei) 解決(jue) 這一問題,需要對其進行色彩校正,還原符合電影美學風格的色彩。借助人工智能技術,修複人員可以設計出符合電影美學標準的色彩校正方案。具體(ti) 做法是,對影片內(nei) 容進行場景分割,使用深度學習(xi) 方案逐幀學習(xi) 其色彩校正矩陣;針對幀間一致性問題,則按場景計算出色彩校正矩陣的均值;對同一場景,使用同一套色彩校正矩陣進行處理,從(cong) 而得到穩定的校正結果。
利用人工智能技術還能提升老電影的流暢度。比如,一些武打片中,有很多人物快速運動的場景。當畫麵幀與(yu) 幀間運動較大,超過一定範圍時,光流就會(hui) 估計不準確,容易產(chan) 生拖影。利用智能插幀算法,通過對前後幀的內(nei) 容進行光流估計,並根據光流信息將前後幀像素都轉換到中間幀,然後進行整合,生成中間幀,提升視頻幀率,這樣就可以減少觀眾(zhong) 觀看時的卡頓感。
一些老電影的膠片,由於(yu) 保存不當,容易出現髒點、汙漬和黴斑,呈現在畫麵上就是大塊不規則形狀的陰影,既破壞了畫麵的完整性,也會(hui) 影響觀眾(zhong) 的觀影體(ti) 驗。對於(yu) 這些瑕疵,可以首先用去噪點和去劃痕等算法批量處理,同時輔以人工二次校驗,對誤傷(shang) 畫麵的部分進行優(you) 化,這既提高了修複處理的速度,同時也保證了修複的精準性。
此外,受限於(yu) 拍攝時的設備和技術,早期的香港武打片會(hui) 有不少穿幫鏡頭,如畫麵出現威亞(ya) 線。以往這種情況,隻能依賴手工逐幀消除,而人工智能算法可以自動識別到威亞(ya) 的位置並進行擦除。
值得一提的是,在這次100部港片修複項目中,我們(men) 首次使用了AIGC(生成式人工智能)視覺大模型。在更廣闊的數據規模、更龐大的模型參數、更豐(feng) 富的算力的加持下,大模型顯示出遠超以往算法的生成能力,生成內(nei) 容的紋理細節更逼真、效果更自然。
針對老片修複的具體(ti) 場景,我們(men) 還對AIGC視覺大模型進行了生成質量、視頻任務和推理效率方麵的算法優(you) 化,有效提升了修複質量。相信隨著大模型技術的持續發展,人工智能將在老電影修複以及經典文化傳(chuan) 承方麵發揮更大作用。
《光明日報》(2023年08月23日 13版)
版權聲明:凡注明“來源:新利平台”或“新利平台文”的所有作品,版權歸高原(北京)文化傳(chuan) 播有限公司。任何媒體(ti) 轉載、摘編、引用,須注明來源新利平台和署著作者名,否則將追究相關(guan) 法律責任。