在數位科技日益進步下，許多經典電影現能透過數位修復的方式，以更清晰細緻的面貌重映在觀眾眼前。不過，影像品質效果若不靠肉眼主觀判斷感受，實際上有沒有能夠量化判斷的指標？這時，能迅速且準確評估影片品質，並提供改進建議的工具——「影像品質評估」（Video Quality Assessment，VQA），便成為最佳解方。

什麼是 VQA 影像品質評估？客觀評估 vs. 主觀評估

我們對於影片品質「好不好」有很複雜的看法，每個人的主觀感受都不一樣，但如果運用評估工具將「視覺品質」量化成指標，那就可能有解了。

這正是 VQA 技術的應用所在，這項技術能夠提供量化指標幫助我們衡量影片的視覺品質，有效評估影片清晰度、色彩準確性、運動流暢性等方面。它在影音編碼、畫質提升和影音串流等應用中發揮關鍵作用，能將影片品質最佳化，提供更佳的觀看體驗。

VQA 技術在影片壓縮、影像畫質增強和影音串流等領域具有重要性和影響力：主要有三大優點，其一是提升使用者體驗，藉由 VQA 技術提供更好的觀看感受，呈現清晰、流暢且逼真的視覺效果；其二是資源最佳化，能改善影像編碼、壓縮和傳輸過程中的資源利用，減少網路頻寬需求、提高效率；其三是增強影像畫質，VQA 能用於評估與改進影像畫質增強演算法，提升影像清晰度、對比度和色彩準確性等。

VQA 主要有兩大派方法：「客觀評估」和「主觀評估」。這兩種方法各自具有不同的特點和應用。

客觀評估是相對容易計算的方法，利用數學模型和影像處理技術，量化影像的品質特徵，如清晰度、對比度和失真程度。主流的客觀評估指標包括「峰值訊噪比」（Peak Signal-to-Noise Ratio，PSNR）和「結構相似性指標」（Structural Similarity Index Measure，SSIM）。PSNR 衡量影像失真程度，而 SSIM 則綜合考量影像的亮度、對比度和結構相似性。

主觀評估則是運用 AI 模仿人類主觀感受，通常需要進行實驗和調查。這種評估方法更貼近人的視覺感受，考慮影像的真實感知、觀看體驗的舒適度和情感表達，評估結果以人們對影像品質的主觀評價為基礎，通常使用主觀評分或主觀比較獲得評估結果，常用的如美國串流影音服務的「影音多方法評估融合」（Video Multimethod Assessment Fusion，VMAF）。

再進一步來說，客觀評估和主觀評估有何差別？若將 VQA 比喻成去市場買水果，或許比較容易理解。

客觀評估就像水果經儀器量測的甜度和品質。當消費者詢問西瓜的甜度時，老闆會説「這個西瓜的甜度是 15，很甜！」。客觀評估是以科學和數據為基礎，提供量化指標描述水果的特性。主觀評估則像是顧客自行試吃水果，根據個人感受評價甜度。不論老闆說西瓜有多甜，每位顧客還是用自己的味蕾和感官評斷。主觀評估更貼近個人的主觀體驗，考慮水果的口感、風味和新鮮度等。

若類比 VQA 來看，客觀評估提供量化且可重複的評估，例如使用前述的 PSNR 和 SSIM 等指標衡量影像品質；主觀評估則更著重觀眾的感受，透過 AI 機器學習演算法學習人類行為喜好用於主觀評分、主觀比較等方式獲得評價結果。

根據需求和場景，客觀評估與主觀評估兩者結合，可以提供全面和準確的影像品質評估，彈性運用這兩種方法可獲得全面且符合觀眾期望的影像品質評估結果。

從影音串流到自駕車、無人機應用，VQA 無所不在

影像品質在影音串流、影劇內容產出等領域相當關鍵，因為影片品質的好壞，會直接影響觀看體驗，觀眾對於品質不佳的影片可能感到不滿、失去耐心，甚至可能因此放棄觀看，所以影像品質是吸引觀看和提升體驗的一大要素，這也是為什麼 VQA 技術在影音串流服務中如此關鍵。

為提供最高品質的內容給觀眾，我們需要更嚴格監控評估影片品質，這正是 VQA 技術的關鍵用途，能用以定量分析和評估影片品質，確保每一部影片都能以最佳狀態呈現在螢幕上。

另一方面，VQA 提供的量化指標，亦有助影音串流服務用以作為決定影片壓縮調校時的依據。透過 VQA 技術，影音串流服務平台能更清楚掌握影片在處理與壓縮時對影片品質的影響，從 VQA 自動估算出的品質量化值，從而推估可以精進改善的方向；VQA 也能迅速定位、排查出品質不佳的片段，讓影音串流服務平台掌握問題加快修復，提升內容品質處理效率。

VQA 技術對提升視覺體驗、節省資源和提高系統效能至關重要。隨著科技日益進步、市場需求不斷升溫下，VQA 技術的應用領域也愈來愈廣，不僅能為影像串流平台把關影片品質、串流流暢度，在視訊會議和遠程通訊上，也提供清晰穩定的通訊環境，確保視訊會議品質良好；在影像監控系統方面，VQA 也能用以檢測監控系統中的影像品質，並提供可靠的監控解決方案，甚至還可用評估自駕車與無人機的影像感測器品質，為正確場景感知和決策更添保障。

VQA 作為底層基礎技術，在影像品質評估領域具有重要作用，未來應用潛力也備受看好，可望在虛擬實境（VR）、擴增實境（AR）技術發展領域中也能有所發揮，提供關鍵的品質評估，提供用戶更真實、流暢的視覺體驗。

在 CVPR NTIRE 2023 競賽挑戰獲得成果，看好 VQA 未來發展潛力   

今年 ARC Team 參加了 CVPR 2023 大會的 NTIRE（New Trends in Image Restoration and Enhancement）國際競賽，針對 Quality Assessment for Video Enhancement 競賽項目，與全球超過 60 支參賽隊伍比拚。參賽者需開發演算法，為 800 多支經過更動或增強的 UGC 短影片影像進行品質評估，每支影片都有來自真實觀眾的主觀評估，而我們 ARC Team 的目標是猜測這些真實觀眾主觀評估的分數，以自行開發的自動化方法，猜測觀眾的品質喜好，也考驗我們對於影像品質評估的理解和技術能力。

經過約一個月的參賽時間，我們不僅在競賽中排名第九，也受主辦單位之邀，將參賽的演算法撰寫成論文。儘管只有十天左右時間撰寫準備，但我們成功以〈SB-VQA: A Stack-Based Video Quality Assessment Framework for Video Enhancement〉為題，投稿上 CVPR 2023 Workshop。這對我們而言是個不錯的開始，對於 VQA 技術的未來潛力也抱持正面態度，期待未來發展更進一步的研究成果與應用。

（首圖來源：Pexels；圖片來源：Unsplash）

 

延伸閱讀：
CVPR NTIRE 2023 VQA Challenge（由 ARC Team Yvonne Kao 所撰寫）