由王家衛編導的科幻愛情片《2046》在 2004 年上映，獲得第 24 屆香港金像獎最佳男女主角等六項大獎；由侯孝賢執導的台灣歷史電影《悲情城市》在 1989 年於第 46 屆威尼斯影展首映，並獲該屆最佳影片金獅獎；大友克洋編導的科幻動畫電影《阿基拉》（AKIRA）在 1988 年於日本首映，其後在世界各地引起廣泛迴響，將日本動畫推上世界舞台。這三部截然不同的經典電影有個共同點 —— 上映超過二十年後，這些作品的 4K 數位修復版相繼重返大銀幕。

隨著拍攝設備與觀看裝置進步，不斷提高的解析度、影格速率和動態範圍，使觀眾對影片的視覺要求也愈來愈高，早期經典電影的解析度和畫質已無法滿足當前的觀影標準。為了讓經典電影重獲新生，也讓新舊觀眾一起感受或重溫經典作品所帶來的感動，數位修復的技術應運而生。那麼，我們常看到的「數位修復」究竟有哪些機會與挑戰？

數位修復與 VSR 影像超解析度的關聯

依據膠卷的保存狀況，影像數位修復需要多種技術，諸如膠卷修復、清潔、數位化，以及影像修補、上色、穩定、閃爍去除，這還沒算上聲音修復跟文化考據等細節。至於整個修復過程有多耗時費工？以國家影視廳中心為例，據媒體訪談指出目前庫藏電影總量超過 1.8 萬部，以 10 分鐘影像需時 1 個月修復計算，假設每部片長 60 分鐘，全部修復完成時間可能約需 9,000 年之多；又以日本 NHK 檔案館為例，據 NHK 檔案館資料統計，截至 2015 年所保存的影像檔案約有 80 萬個節目與 600 萬支新聞影片，以 10 分鐘影像需時 20 小時修復計算，假設每支影片片長 60 分鐘，約需 9.3 萬年才能全部修復完成。然而，更緊急的是膠卷保存期限與劣化問題，即使膠卷已經妥善保存在低溫環境裡，彩色與黑白膠卷保存期限最長約 300 至 370 年，數位修復的速度遠趕不上原片劣化速度。

雖然膠卷有保存期限和劣化問題，加上影像修復師培養不易，但在 AI 人工智慧高速發展的今日，只要有 AI 可著力之處，就可望改善數位修復的難題與困境。在 AI 領域裡，有為黑白影像重拾色彩的「灰階影像著色技術」（Colorization）、處理影像晃動的「影片穩定技術」（Video Stabilization）、處理老片閃爍問題的「去除影像閃爍技術」（Deflicking）等。另有一項專注於放大影像的技術——「影像超解析度」（Video Super Resolution，VSR）。

VSR 技術的發展初衷很單純，即能不著痕跡提高影像解析度，例如將 540p 的影像放大到 4K，有助數位修復效果追上顯示裝置不斷進步的高解析規格。

VSR 影像超解析度的機會與挑戰

光線通過鏡頭後落在感光元件上，將感光元件分成 3840×2160 格就得到 4K 解析度。我們稱每一小格為一個像素，每個像素會接收特定方向來的光，0 表示沒有接收到任何光線，是黑色；1 表示接收到充足的光線，是白色。將所有像素所接收的光強度儲存下來就得到一張照片，連續存下照片就變成影片。若將 3840 x 2160 照片縮小到長寬各四分之一的尺寸至 960 x 540，最簡單的做法，就是用其相鄰 16 個像素的顏色平均值做為新像素的顏色；而當照片放大到長寬各四倍的尺寸時，就會是照片縮小的逆向計算，也就是「超解析度」。

 

挑戰就從這裡開始，如何用一個顏色值，推算出原本十六個像素的顏色？舉例來說，16 個數字 0.5 加總後的平均值是 0.5，但 0.5 卻也可以是 8 個數字 0 和 8 個數字 1 加總後的平均值，在數學上有無限可能的組合，但影像特性則可提供可能的解答，如果鄰近的像素都是黑色，放大之後就不太可能出現白色。影像可視為連續取得的照片，VSR 影像超解析度就是計算連續照片的超解析度。雖然動態影像使需要計算的像素變得更多，卻也相對提供更多顏色值的線索，如果單一像素不夠清楚，也許前後影格有更清楚的像素可以參考！這就是 VSR 影像超解析度的出發點。

影像裡的物體多半處於移動中的狀態，一輛在畫面中央的車，上個影格可能還在畫面的右半邊，下個影格已經移到畫面的左半邊。為了利用車在前後影格的影像補足中間影格的車體細節，演算法需要知道車體像素在每個影格的位置，然後才能進一步從不同的位置取得所需資訊，這個步驟就是「影格對齊」，也是學術研究最感興趣的部分，至於如何保留、捨棄與整合對齊後的像素，則是「資料合併」的問題。過往的研究仰賴研究員對影像的觀察以制定演算法細節，隨著深度學習的進展，AI 已經能夠從各種影片中學習影格對齊與資料合併的方法。

VSR 影像超解析度的技術如今已能處理更複雜的問題，然而在影視作品上還有更多需要研究的課題。比如針對散景、殘影、動態模糊等透過藝術拍攝手法所呈現的模糊影像，本質上跟圖像放大所造成的模糊類似，但這些影像是否應同樣以 VSR 影像超解析度調整，則是有待思考的課題。

透過 VSR 影像超解析度的技術，如前述所提及的像素顏色值推算，除了有無限可能的組合，或可從鄰近的像素推估，還有顏色值相近但明暗不一的各種組合，箇中細微差異則可藉由「影像品質評估」（Video Quality Assessement，VQA）方式評測 VSR 影像超解析度的成果，自動量化其超解析品質，從而推估改善精進的方向，取得更優越的畫質。重要的是，在 VSR 影像超解析度的技術支援下，能有效提高影像數位修復的品質與速度。 

好萊塢流傳一個說法：「一部電影即使擁有優越的畫質、華麗的特效、真實的場景與動人的演出，仍然無法滿足觀眾，因為觀眾會不斷追求更優越的畫質、更華麗的特效、更真實的場景與更動人的演出。」ARC 做為科科科技的核心研究中心，同時投入 VSR 與 VQA 研究，研究如何有效提高畫質解析、評估量測影像畫質，期待能以尖端技術進一步助力數位修復影像領域。

（首圖來源：Pexels；圖片來源：KKCompany）

 

延伸閱讀：
讓你的影片更「好看」！談「影像品質評估」如何提升觀看體驗