人工智能為電影修復帶來了什么

原標題：人工智能為電影修復帶來了什么

近日啟動的“經(jīng)典香港電影修復計劃”，計劃將100部香港老電影修復至4K版本。

電影修復流程繁雜瑣碎。過去，一位經(jīng)驗豐富的修復師需要1個月的時間，才可以修復完成一部影片，而這次修復百部香港老片將使用深度學習等人工智能技術，這將極大地提升電影修復效率，同時進一步優(yōu)化影片的畫質(zhì)，為觀眾帶來超高清的觀影沉浸感。

傳統(tǒng)的修復方法更多關注光影、色彩、美學等，而人工智能修復，可以從清晰度、流暢度等方面提升老片的畫面質(zhì)量。那么，人工智能是如何介入電影修復的？

由于拍攝設備、存儲方式等方面的限制，老電影往往帶有嚴重的膠片噪聲且分辨率較低。此外，由于拍攝年代和拍攝方式等的不同，老電影的畫面質(zhì)量也參差不齊，很多畫面模糊不清。

提升影片的清晰度，須修復模糊的畫面。去模糊的難點在于，模糊的類型多種多樣。在拍攝、儲存、拷貝翻印、膠片數(shù)字化以及壓制導出的過程中，都可能產(chǎn)生模糊損傷，這導致模糊問題成因復雜，修復人員通常難以獲得精準的“模糊核”。

利用人工智能技術，可以從低質(zhì)數(shù)據(jù)中抽取不同程度的模糊視頻，利用相關統(tǒng)計方法進行真實的“模糊核”估計，并通過主觀驗證進一步篩選“模糊核”的類型。同時，在自建的高清影視數(shù)據(jù)集上，生成“模糊—清晰”匹配數(shù)據(jù)對來訓練機器學習從低質(zhì)到高清的潛在的映射關系。這樣就能快速分辨出不同影片、不同畫面模糊的原因，進而提升修復效率。

在老電影修復中，電影中的人像需要重點關注和優(yōu)化。利用人工智能技術，使用基于生成式的人像修復模塊，在保持人像真實特征的前提下，可以進行高清五官重建。對低分辨率、多次壓縮損傷以及拍攝環(huán)境（如暗場景和拍攝過程抖動）等造成的模糊、失焦、噪聲、馬賽克等畫質(zhì)損傷，都能有效解決。

在這次100部經(jīng)典港片的修復中，人工智能還為我們提供了老舊人像修復和人像超清化等不同的人像解決方案。對于低質(zhì)量的人像，我們優(yōu)化了人像模型在時域上的清晰度和穩(wěn)定性，對不同大小的人臉（近景/中景/遠景）、不同姿態(tài)角度的人臉（側(cè)臉/俯視/仰視）、不同遮擋程度的人臉都有較好的修復增強效果。對于一些中高質(zhì)量的人像，我們使用人像超清模塊，優(yōu)化五官清晰度，最大限度還原睫毛、眉毛、發(fā)絲和膚質(zhì)等臉部細節(jié)，修復結果更有質(zhì)感。

很多老電影由于膠片保存不當出現(xiàn)褪色情況，畫面存在色偏。為解決這一問題，需要對其進行色彩校正，還原符合電影美學風格的色彩。借助人工智能技術，修復人員可以設計出符合電影美學標準的色彩校正方案。具體做法是，對影片內(nèi)容進行場景分割，使用深度學習方案逐幀學習其色彩校正矩陣；針對幀間一致性問題，則按場景計算出色彩校正矩陣的均值；對同一場景，使用同一套色彩校正矩陣進行處理，從而得到穩(wěn)定的校正結果。

利用人工智能技術還能提升老電影的流暢度。比如，一些武打片中，有很多人物快速運動的場景。當畫面幀與幀間運動較大，超過一定范圍時，光流就會估計不準確，容易產(chǎn)生拖影。利用智能插幀算法，通過對前后幀的內(nèi)容進行光流估計，并根據(jù)光流信息將前后幀像素都轉(zhuǎn)換到中間幀，然后進行整合，生成中間幀，提升視頻幀率，這樣就可以減少觀眾觀看時的卡頓感。

一些老電影的膠片，由于保存不當，容易出現(xiàn)臟點、污漬和霉斑，呈現(xiàn)在畫面上就是大塊不規(guī)則形狀的陰影，既破壞了畫面的完整性，也會影響觀眾的觀影體驗。對于這些瑕疵，可以首先用去噪點和去劃痕等算法批量處理，同時輔以人工二次校驗，對誤傷畫面的部分進行優(yōu)化，這既提高了修復處理的速度，同時也保證了修復的精準性。

此外，受限于拍攝時的設備和技術，早期的香港武打片會有不少穿幫鏡頭，如畫面出現(xiàn)威亞線。以往這種情況，只能依賴手工逐幀消除，而人工智能算法可以自動識別到威亞的位置并進行擦除。

值得一提的是，在這次100部港片修復項目中，我們首次使用了AIGC（生成式人工智能)視覺大模型。在更廣闊的數(shù)據(jù)規(guī)模、更龐大的模型參數(shù)、更豐富的算力的加持下，大模型顯示出遠超以往算法的生成能力，生成內(nèi)容的紋理細節(jié)更逼真、效果更自然。

針對老片修復的具體場景，我們還對AIGC視覺大模型進行了生成質(zhì)量、視頻任務和推理效率方面的算法優(yōu)化，有效提升了修復質(zhì)量。相信隨著大模型技術的持續(xù)發(fā)展，人工智能將在老電影修復以及經(jīng)典文化傳承方面發(fā)揮更大作用。

（作者：趙世杰，系火山引擎多媒體實驗室研究員）