視訊品質
視訊品質是量化一段視訊通過視訊傳輸／處理系統時畫面品質變化（通常是下降）程度的方法。由於視訊處理系統可能會導致一定的視訊訊號失真，因此視訊品質評價對於視訊傳輸／處理系統的選擇，顯得十分重要。
從類比訊號到數位訊號
自從世界上第一段視訊被錄製以來，各種各樣的視訊處理系統都被設計生產。在模擬視訊系統時期，評估視訊處理系統的品質可使其播放一些"傳統測試訊號"，並計算其頻率響應得到。（比如一系列的色條與圓圈）
如今，數位視訊已經取代模擬視訊，評價的方法也隨之改變。數位視訊處理系統的性能顯著地取決於輸入視訊的動態特性（如動作或空間細節）。
客觀視訊品質
客觀視訊評估技術是一些與主觀品質評估結果相近的數學模型，但是它們通常由計算機按照一定的標準與指標自動完成。評價的方法大致是將原視訊（高品質、一般不被壓縮）與處理後的視訊進行分類對比。分類對比分為三種：全參考（FR）、部分參考（RR）、無參考（NR）。全參考比較處理前後的兩段視訊每個像素的差別，部分參考提取兩段視訊的一些特性，並依此給予它們評分。以上兩種方法通常在原視訊可用時使用，如在有限的頻寬下。無參考則試圖在沒有任何原視訊的參考下進行評估，通常在視訊編碼方法已知時使用。
當然，最傳統的方法是計算兩段視訊信噪比（SNR）與峰值信噪比（PSNR）的差異。 PSNR是使用最廣泛的客觀視訊品質的度量方法，但由於人類視覺系統的非線性，因此PSNR值與人眼感受到的視訊品質仍有較大出入。近來一些更複雜、更精確的一些指標被指定，比如VQM （頁面存檔備份，存於網際網路檔案館）、PEVQ、結構相似性（SSIM）、VQuad-HD （頁面存檔備份，存於網際網路檔案館）、CZD。
一個客觀的視訊品質指標的表現由計算客觀分數與視訊主觀品質測試分數之間的相關性得出。後者被稱為平均意見分數（MOS）。最常用的相關係數有：線性相關係數、斯皮爾曼等級相關係數、峰度、Kappa係數與離群率。
客觀視訊品質模型的分類
客觀模型可以根據原始訊號、接收訊號或是否存在訊號的可用信息量進行分類:[1]
- 全參考方法 (FR): FR模型通過將原始視訊訊號與接收的視訊訊號進行比較來計算品質差異。典型地，將來自源的每個像素與接收到的視訊中的對應像素進行比較，而不了解其間的編碼或傳輸過程。更複雜的算法可以選擇將基於像素的估計與其他方法相結合，如下所述。FR模型通常是最精確的，但代價是較高的計算量。因為它們要求在傳輸或編碼之前原始視訊的可用性，所以它們不能用於所有情況(例如，從客戶端設備測量品質)。
- 弱參考方法 (RR): RR模型提取兩個視訊的一些特徵，並對它們進行比較以給出品質分數。當所有原始視訊不可用時，或者當實際上不可能這樣做時，例如在頻寬有限的傳輸中，使用它們。這使得它們比FR模型更有效率，但代價是精度更低。
- 無參考方法 (NR): NR模型試圖在不參考原始訊號的情況下評估失真視訊的品質。由於沒有原始訊號，它們可能不如FR或RR方法準確，但計算效率更高。
使用圖像品質模型進行視訊品質評估
用於視訊品質評估的一些模型(如PSNR或SSIM)只是圖像品質模型，其輸出是為視訊序列的每一幀計算的。然後可以記錄每一幀的品質度量，並隨著時間的推移匯集在一起，以評估整個視訊序列的品質。雖然這種方法很容易實現，但它沒有考慮到隨時間發展的某些類型的降級，例如由數據包丟失及其隱藏引起的運動偽像。考慮品質下降的時間方面的視訊品質模型，如VQM或電影指數，可能能夠產生更準確的人類感知品質的預測。
實例
| 指標 | 用途 | 描述 | |
|---|---|---|---|
| 全參考 | PSNR (峰值信噪比) | 圖像 | 它是在原始視訊訊號和降級視訊訊號的每一幀之間計算的。PSNR是最廣泛使用的客觀圖像品質指標。然而，由於人類視覺系統的複雜、高度非線性的行為，PSNR值與感知的圖像品質不太相關。 |
| SSIM[2] (結構相似性) | 圖像 | SSIM是一種基於感知的模型，它將圖像退化視為結構信息中的感知變化，同時還結合了重要的感知現象，包括亮度掩蔽和對比度掩蔽項。 | |
| MOVIE[3] 基於運動的視訊完整性評估 | 視訊 | MOVIE 指數是一個基於神經科學的模型，用於預測(可能是壓縮的或失真的)電影或視訊相對於原始參考視訊的感知品質。 | |
| VMAF[4] 視訊多方法評估 | 視訊 |
VMAF使用四個特徵來預測視訊品質VIF、DLM、MCPD和信噪比。使用基於SVM的回歸來融合上述特徵，以提供單個輸出分數。然後，使用算術平均在整個視訊序列上暫時匯集這些分數，以提供總體差異平均意見分數(DMOS)。 | |
| 弱參考 | SRR[5] (基於SSIM的弱參考) | 視訊 | SRR值由接收的(目標)視訊訊號SSIM與參考視訊模式SSIM值的比值計算。 |
| ST-RRED[6] | 視訊 | 計算視訊序列中相鄰幀之間幀差的小波係數(用GSM建模)。它用於評估導致時間性再狹窄的相對熵差異。它結合通過在視訊的每一幀上應用空間平均指數而評估的空間平均指數，產生時空平均指數 | |
| 無參考 | NIQE[7] Naturalness Image Quality Evaluator | 圖像 | 該IQA模型建立在從局部圖像塊提取的感知相關空間域n自然場景統計(NSS)特徵的基礎上，該特徵有效地捕捉自然圖像的基本低階統計。 |
| BRISQUE[8] 無參考圖像空間品質評估器 | 圖像 | 方法提取局部歸一化亮度訊號的逐點統計，並基於測量到的與自然圖像模型的偏差來測量圖像自然度(或缺乏自然度)。它還對相鄰歸一化亮度訊號的成對統計分布進行建模，從而提供失真方向信息。 | |
| Video-BLIINDS[9] | 視訊 | 計算幀差的離散餘弦變換係數的統計模型，並計算運動特徵。基於這些特徵用 SVM 方法預測分數。 | |
當評估一個視訊編解碼器的品質時，所有上文提到的客觀方法可能都要逐一反覆進行測試，以滿足所需的視覺品質水平。無疑，這十分費時、複雜，並且在商業化應用中不切實際。出於上述原因，許多研究都專注於開發新的客觀評價方法，使其更為實用[1][永久失效連結] 。
主觀視訊品質
許多主觀視訊品質的主要目標是自動評估用戶（即觀眾）對視訊處理系統處理後的視訊品質的意見。其主要思路與MOS相近，即記錄觀眾意見的平均值來評估視訊的品質。但是測試出的細節出入可能極大。
評估視訊品質的工具
| 工具 | 獲取方式 | 包含的指標 |
|---|---|---|
| FFmpeg （頁面存檔備份，存於網際網路檔案館） | 免費 | PSNR, SSIM, VMAF |
| MSU VQMT （頁面存檔備份，存於網際網路檔案館） | 基礎指標免費
HDR指標付費 |
PSNR, SSIM, MS-SSIM, 3SSIM, VMAF, NIQE, VQM, Delta, MSAD, MSE
MSU提出的指標: 模糊程度指標, 區塊效應指標, 亮度抖動指標, 丟幀指標, 噪聲估計指標 |
| EPFL VQMT （頁面存檔備份，存於網際網路檔案館） | 免費 | PSNR, PSNR-HVS, PSNR-HVS-M, SSIM, MS-SSIM, VIFp |
| OpenVQ （頁面存檔備份，存於網際網路檔案館） | 免費 | PSNR, SSIM, OPVQ(開放式感知視訊品質指標) |
| Elecard （頁面存檔備份，存於網際網路檔案館） | 收費 | PSNR, APSNR, MSAD, MSE, SSIM, Delta, VQM, NQI, VMAF, VIF |
| AviSynth （頁面存檔備份，存於網際網路檔案館） | 免費 | SSIM |
| VQ Probe （頁面存檔備份，存於網際網路檔案館） | 免費 | PSNR, SSIM, VMAF |
- FFmpeg - FFmpeg是領先的多媒體框架，能夠解碼、編碼、轉碼、多路復用、多路分解、流式傳輸、濾鏡和播放人類和機器創造的幾乎任何東西。它的支持範圍囊括從最古老的格式到最新的格式。不管這些格式是由標準委員會、社區還是公司設計的。它還具有很高的可移植性:FFmpeg 可跨Linux、Mac OS X、微軟Windows、BSDs、Solaris等在各種各樣的構建環境、機器架構和配置下編譯、運行並通過稱為FATE的測試基礎設施，
- MSU VQMT - MSU視訊品質測量工具是一個客觀的視訊品質評估程序。它提供了全參考(檢查兩個視訊)和單參考(分析一個視訊)比較的功能。
- EPFL VQMT - 該軟體提供了以下客觀指標的快速實現:PSNR、SSIM、MS-SSIM、VIFp、PSNR-HVS、PSNR-HVS-M。在該軟體中，上述指標是基於其開發人員提供的原始Matlab實現在OpenCV (C++)中實現的。
- OpenVQ - OpenVQ是一個視訊品質評估工具包。該項目的目標是為任何對視訊品質評估感興趣的人提供一個工具包，該工具包提供了現成的視訊品質指標實現，並使實現其他視訊品質指標變得容易。
- Elecard - 視訊品質測量工具，旨在根據客觀指標來比較編碼流的品質，例如PSNR、APSNR、SSIM、DELTA、MSE、MSAD、VQM、NQI、VMAF，VIF。
- AviSynth - AviSynth是視訊後期製作的有力工具。它提供了編輯和處理視訊的方法。AviSynth作為一個框架伺服器工作，提供即時編輯，而不需要臨時文件。AviSynth本身不提供圖形用戶界面(GUI)，而是依賴於允許高級非線性編輯的腳本系統。
- VQ Probe - VQ Probe是一個專業的用來評估客觀和主觀視訊品質的視訊工具。該工具允許用戶比較不同的編解碼器標準，建立研發曲線，並計算BD速率。
參見
參考
- ITU-T Rec. J.341（01/11）Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference （頁面存檔備份，存於網際網路檔案館）
- ITU-T Rec. J.247（08/08）Objective perceptual multimedia video quality measurement in the presence of a full reference （頁面存檔備份，存於網際網路檔案館）
- ITU-T Rec. J.246（08/08）Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference （頁面存檔備份，存於網際網路檔案館）
- Digital Video Quality, Stefan Winkler, Wiley, March 2005, ISBN 0-470-02404-6
- "Quality Control", Duvall, Richard, Broadcast Engineering, February 2010
延伸閱讀
- 官方VQuad-HD網站 （頁面存檔備份，存於網際網路檔案館）
- 422 10位元壓縮視訊品質增益
- 視訊品質專家組 （頁面存檔備份，存於網際網路檔案館）
- ATIS與IPTV互操作性論壇 （頁面存檔備份，存於網際網路檔案館）
- 客觀視訊品質評估 （頁面存檔備份，存於網際網路檔案館）
- ITU-R網頁上關於主觀視訊品質的建議
參考文獻
- ^ Shahid, Muhammad; Rossholm, Andreas; Lövström, Benny; Zepernick, Hans-Jürgen. No-reference image and video quality assessment: a classification and review of recent approaches. EURASIP Journal on Image and Video Processing. 2014-08-14, 2014: 40. ISSN 1687-5281. doi:10.1186/1687-5281-2014-40
.
- ^ Wang, Zhou; Bovik, A.C.; Sheikh, H.R.; Simoncelli, E.P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing. 2004-04-01, 13 (4): 600–612. Bibcode:2004ITIP...13..600W. CiteSeerX 10.1.1.2.5689 . ISSN 1057-7149. PMID 15376593. doi:10.1109/TIP.2003.819861.
- ^ Seshadrinathan, K.; Bovik, A.C. Motion Tuned Spatio-Temporal Quality Assessment of Natural Videos. IEEE Transactions on Image Processing. 2010-02-01, 19 (2): 335–350. CiteSeerX 10.1.1.153.9018 . ISSN 1057-7149. PMID 19846374. doi:10.1109/TIP.2009.2034992.
- ^ vmaf: Perceptual video quality assessment based on multi-method fusion, Netflix, Inc., 2017-07-14 [2017-07-15], （原始內容存檔於2022-07-13）
- ^ Kourtis, M.-A.; Koumaras, H.; Liberal, F. Reduced-reference video quality assessment using a static video pattern. Journal of Electronic Imaging. July–August 2016. doi:10.1117/1.jei.25.4.043011 .
- ^ Soundararajan, R.; Bovik, A.C. Video Quality Assessment by Reduced Reference Spatio-Temporal Entropic Differencing. IEEE Transactions on Circuits and Systems for Video Technology. 2013-04-04, 23: 684–694. doi:10.1109/tcsvt.2012.2214933.
- ^ Mittal, A.; Soundararajan, R.; Bovik, A.C. Making a “Completely Blind” Image Quality Analyzer. IEEE Signal Processing Letters. March 2013, 20: 209–212. doi:10.1109/lsp.2012.2227726.
- ^ Mittal, A.; Moorthy, A.K.; Bovik, A.C. Blind/Referenceless Image Spatial Quality Evaluator. 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR). 2011-11-09. doi:10.1109/acssc.2011.6190099.
- ^ Saad, M. A.; Bovik, A. C.; Charrier, C. Blind Prediction of Natural Video Quality. IEEE Transactions on Image Processing. March 2014, 23 (3): 1352–1365. CiteSeerX 10.1.1.646.9045 . ISSN 1057-7149. PMID 24723532. doi:10.1109/tip.2014.2299154.
