TWI442778B - 視訊解碼裝置 - Google Patents

Description

視訊解碼裝置

本發明係關於一種視訊解碼裝置，尤其係關於一種具有錯誤檢查單元以提供一錯誤資訊輔助解碼視訊資料的視訊解碼裝置。

習知的視訊解碼裝置，係將視訊資料的錯誤檢查、錯誤隱藏以及視訊解碼程序實現於單一個電路功能單元。然而，由於習知視訊解碼裝置係以同一個電路功能單元對視訊資料依序進行錯誤檢查、錯誤隱藏以及解碼程序，因此無法同時處理多張畫框(PICTURE)而導致解碼效率低落。

此外，習知視訊解碼裝置中的單一電路功能單元若在執行錯誤檢查、錯誤隱藏以及視訊解碼程序的過程中發生錯誤，經常會一併影響對後續視訊資料的解碼效果，更甚者，則造成視訊解碼裝置的當機。另一方面，習知解碼裝置的單一電路功能單元所需具備的功能項目較多，因此，在電路設計的複雜度以及電路功能更動的彈性上也受到了相當程序的侷限。

有鑑於此，若能提出一種模組化的視訊解碼裝置可以對部份影像資料處理錯誤檢查，同時對其它部份的影像資料處理錯誤隱藏以及視訊解碼的程序，則能夠提高影像解碼的效率，並兼具設計上的彈性。

本發明的一目的，在於提出一種模組化的視訊解碼裝置，用以對視訊資料執行錯誤檢查、錯誤隱藏以及視訊解碼程序。

本發明一實施例中提出一種視訊解碼裝置，用以解碼一視訊資料，該裝置包含：一錯誤檢查單元，用以根據該視訊資料的錯誤狀態產生一錯誤資訊；以及一解碼單元，其電性耦合於錯誤檢查單元，用以根據錯誤資訊選擇性地對視訊資料執行一錯誤隱藏程序與一解碼程序。

圖1顯示習知的影像資料組成階層，其中該影像資料的格式係MPEG4壓縮標準。如圖示，MPEG4定義了數層不同的視訊編碼階層，其中包含有：視訊物件序列(VISUAL OBJECT SEQUENCE，簡稱為VOS)，包含有所有可構成完整視訊畫面的視訊物件。接下來則是視訊物件(VISUAL OBJECT，簡稱為VO)，代表在一畫面中的其中一個物件。至於在視訊物件之下則是一視訊物件層(VISUAL OBJECT LAYER，簡稱為VOL)，用以決定是否對視訊物件執行可延展(SCALABLE)編碼模式或是不可延展(NON-SCALABLE)編碼模式。以上所述視訊物件序列、視訊物件，以及視訊物件層中包含的編碼資料，在MPEG4的編碼階層中係應用於視訊資料內的全部畫框資料。在視訊物件層之下則是一視訊物件平面(VISUAL OBJECT PLANE，簡稱為VOP)，其係為視訊物件於一時間點上的一個樣本，包含有移動(MOTION)、形狀(SHAPE)，以及影像紋理(TEXTURE)的資訊。視訊物件平面中包含的編碼資料，在MPEG4的編碼階層中係應用於視訊資料其中的單一張畫框資料。視訊物件平面之下則是一視訊封包(VIDEO PACKET)，其包含整數個巨集區塊(MACROBLOCK，簡稱MB)，且視訊封包包含的編碼資料，在MPEG4的編碼階層中係應用於單一張畫框資料內的多個巨集區塊。每一巨集區塊中則會包含圖1中未顯示的四個亮度區塊(LUMINANCE BLOCK)以及兩個彩度區塊(CHROMINANCE BLOCK)。

MPEG4為了避免視訊資料的傳輸錯誤，更提供了四種抗錯式(ERROR-RESILIENCE)編碼的工具，分別為：再同步標記(RESYNCHRONIZATION MARKER)、資料分割(DATA PARTITION)、可逆可變長度編碼(REVERSE VARIABLE LENGTH CODING，簡稱RVLC)，以及標頭延伸碼(HEADER EXTENDED CODE，簡稱HEC)。其中，再同步標記係用以令解碼端與編碼端之間發生錯誤時，仍可以恢復同步；資料分割則係將不同屬性的資料放置於不同位置，以減少發生錯誤時的影響程度；可逆可變長度編碼則係藉由加入一些特定的字首(PREFIX)與字尾(SUFFIX)，使資料可以逆向解碼而達成減少錯誤的目的；標頭延伸碼則用以標示視訊封包另有一備份的標頭可供使用。

圖2顯示本發明一實施例所提出的視訊解碼裝置10。視訊解碼裝置10包含錯誤檢查單元101以及解碼單元102，用以解碼一視訊資料。當視訊解碼裝置10接收到該視訊資料，則錯誤檢查單元101根據該視訊資料的錯誤狀態並產生一錯誤資訊。其中，錯誤檢查單元101將視訊資料常見的錯誤狀態進行分類；例如，依視訊壓縮標準的視訊編碼階層，將錯誤狀態分類為：視訊資料內全部畫框資料之編碼資料錯誤、單一畫框資料之編碼資料錯誤，或巨集區塊之編碼資料錯誤等等。此外，錯誤檢查單元101更可包含辨別該視訊資料是否採用視訊壓縮標準提供的抗錯編碼工具，以決定是否提供更多的錯誤資訊。在本發明之實施例中，錯誤檢查單元101依據使用者的設定以及錯誤狀態，可提供不同程度的錯誤資訊；例如，使用者可以設定錯誤資訊係提供以單一畫框為單位的錯誤資訊，或是以單一巨集區塊為單位的錯誤資訊等等。

電性耦合於錯誤檢查單元101的解碼單元102，於接收上述的錯誤資訊後，便根據該錯誤資訊選擇性地對該視訊資料執行一錯誤隱藏程序與一解碼程序。例如，解碼單元102根據錯誤資訊中的一特定欄位，辨別接收的視訊資料是否可以執行錯誤隱藏程序與解碼程序。當解碼單元102判斷可以執行錯誤隱藏程序與解碼程序，則錯誤隱藏程序根據該視訊資料其中一編碼階層的編碼格式以及錯誤資訊，以一替代資料置換視訊資料中的錯誤資料。

錯誤隱藏程序可辨別編碼階層的編碼格式為框內編碼(INTRA-CODING)或為框間預測編碼(INTER PREDICTION CODING)，以決定利用不同的替代資料置換視訊資料中的錯誤資料；其中，編碼階層可以係包含全部畫框資料的編碼階層、單一畫框資料的編碼階層，或單一巨集區塊資料的編碼階層等等，例如圖1所示MPEG4壓縮標準的編碼階層。之後，解碼單元102便可採用習知的解碼方法解碼該視訊資料以產生一畫框。

以下，將以本發明應用於MPEG4壓縮標準的一實施例進行說明。當視訊解碼裝置10接收到一符合MPEG4壓縮標準的視訊資料，則首先，錯誤檢查單元101根據該視訊資料的錯誤狀態產生一錯誤資訊。

下方表1顯示錯誤檢查單元101可辨別的錯誤狀態、所記錄的錯誤資訊內容，以及錯誤檢查單元101的下一動作。此外，於本發明其它實施例中錯誤檢查單元101更可辨別視訊資料是否具有MPEG4壓縮標準提供的資料分割格式以及可逆可變長度編碼格式，用以在錯誤資訊中提供更多欄位，使解碼單元102可根據該些欄位保留視訊資料中更多的編碼資料進行錯誤隱藏。

其中，錯誤狀態可區分為視訊資料內全部畫框資料之編碼資料錯誤(如表1中的情況a、b)、單一畫框資料之編碼資料錯誤(如表1中的情況c)，或巨集區塊之編碼資料錯誤(如表1中的情況d、e、f、g)等等。例如，表1的情況a，當遺失視訊物件序列標頭、遺失視訊物件標頭或遺失視訊物件層標頭，則影響視訊資料內全部畫框資料的編碼設定。又例如，表1的情況d，當某些巨集區塊中具有不存在於VLC表中的VLC碼，則僅係影響該些巨集區塊之編碼設定。

以上表1中所示的VOP_WIDTH與VOP_HEIGHT，分別係表示一視訊物件平面的寬度與高度；量化參數(QP)，係應用於量化影像資料的一數值；INTRA_DC_VLC_THR，其係應用於切換可變長度編碼的模式；VOP_FCODE_FORWARD與VOP_FCODE_BACKWARD，則係應用於解碼運動向量。表1中的符號皆常見於MPEG4壓縮標準，也係習知本技術人士所能理解，因此本文在此不多作說明，且表1係說明本發明的部份實施例，並非用以限制本發明。

當錯誤檢查單元101發送錯誤資訊給解碼單元102後，則再根據表1執行相對應該錯誤狀態的下一動作。例如，當錯誤檢查單元101辨別錯誤狀態係情況g中的視訊封包標頭資訊與視訊物件平面不一致，則於產生錯誤資訊後，錯誤檢查單元101便尋找下一個視訊物件平面標頭或視訊封包標頭以辨別其是否具有錯誤狀態。

根據所辨別的錯誤狀態，錯誤資訊至少包含以下欄位：一有效位元，用以表示視訊資料是否可進行解碼；一視訊物件平面編號值，用以表示視訊物件平面的編號；一錯誤巨集區塊編號值，用以表示第一個發生錯誤的巨集區塊編號；一正確巨集區塊編號值，用以表示位於第一個發生錯誤的巨集區塊之後的第一個正確巨集區塊編號；以及一錯誤資訊終止值，用以表示錯誤資訊結束。

其中，錯誤檢查單元101藉由檢查視訊資料中的編碼資料是否具有如表1所示的錯誤狀態，即可同時記錄上述的視訊物件平面編號值、錯誤巨集區塊編號值，以及正確巨集區塊編號值等資訊。若有效位元的數值為1則表示此視訊資料可根據視訊物件平面編號值、錯誤巨集區塊編號值，以及正確巨集區塊編號值執行錯誤隱藏程序；若有效位元的數值為0則表示此視訊資料具有嚴重錯誤，例如表1中情況a的視訊物件序列標頭、視訊物件標頭、視訊物件層標頭遺失，或情況b的視訊物件層標頭內容錯誤，因此將不會對以上四種標頭所涵蓋的該段視訊資料執行錯誤隱藏，且解碼單元102亦不會解碼該段視訊資料。

此外，若錯誤檢查單元101辨別視訊資料具有MPEG4壓縮標準提供的資料分割格式以及可逆可變長度編碼格式，則錯誤資訊更包含以下欄位：一片段(SLICE)丟棄值，用以表示丟棄一片段。

MPEG4壓縮標準中，一畫框包含有數個片段，每一片段則具有數個巨集區塊。若片段丟棄值的數值為1，則表示錯誤檢查單元101於辨別錯誤狀態的程序中，判定一片段中所有巨集區塊的編碼資料發生錯誤，因此於錯誤隱藏程序中將不採用該片段中的編碼資料；若片段丟棄值的數值為0，則表示該片段所包含之巨集區塊的部份編碼資料可供應用於錯誤隱藏程序。

電性耦合於錯誤檢查單元101的解碼單元102，則根據該錯誤資訊選擇性地對該視訊資料執行一錯誤隱藏程序與一解碼程序。其中，錯誤資訊的有效位元欄位用以決定是否有必要對該段視訊資料執行錯誤隱藏程序與解碼程序。當解碼單元102判斷可以執行錯誤隱藏程序與解碼程序，則錯誤隱藏程序根據視訊資料其中一編碼階層的編碼格式以及錯誤資訊，以一替代資料置換視訊資料中的錯誤資料。例如，解碼單元102可藉由解碼該編碼階層的標頭以辨別其編碼格式。本發明一實施例中解碼單元102可以對視訊物件平面的編碼階層，辨別其編碼格式係框內編碼(INTRA-CODING)或框間預測編碼(INTER PREDICTION CODING)。

以下進一步說明本發明實施例中解碼單元102以替代資料置換錯誤資料的四種實施例。

第一，當視訊資料發生錯誤的編碼階層的編碼格式係採用框內編碼(INTRA-CODING)時，則解碼單元102無需參考其它畫框資料，即可產生替代資料以置換錯誤資料。例如，於本發明應用於符合MPEG4壓縮標準的影像資料時，若視訊資料發生錯誤的編碼階層係視訊物件平面，且其編碼格式係框內視訊物件平面(INTRA VOP)，該解碼單元102參考錯誤資訊中的視訊物件平面編號值、錯誤巨集區塊編號值以及正確巨集區塊編號值，使用以下的資訊置換巨集區塊的錯誤資料，其包含：

(1)將MB_TYPE設置為MODE_INTRA；

(2)將AC_PRED_FLAG的數值設為0；

(3)將編碼區塊樣式(CODE BLACK PATTERN，簡稱CBP)的數值設為0；以及

(4)將直流係數的數值設為0。

其中，MB_TYPE係用以表示巨集區塊的類型。將MB_TYPE設置為MODE_INTRA表示將該巨集區塊設定為框內編碼模式。AC_PRED_FLAG係用以表示巨集區塊是否預測交流係數，將AC_PRED_FLAG的數值設為0表示不作巨集區塊中交流係數(AC COEFFICIENT)的預測。編碼區塊樣式(CBP)係用以表示巨集區塊所對應的四個亮度區塊與二個彩度區塊是否具有直流係數與交流係數。將編碼區塊樣式的數值設為0表示該數值對應的區塊沒有直流係數與交流係數。

第二，當視訊資料發生錯誤的編碼階層的編碼格式係採用框間預測編碼(INTER PREDICTION CODING)時，則解碼單元102參考其它畫框資料產生替代資料以置換錯誤資料。例如，於本發明應用於符合MPEG4壓縮標準的影像資料時，若視訊資料發生錯誤的編碼階層係視訊物件平面，且其編碼格式係框間預測視訊物件平面(INTER PREDICTION VOP)，解碼單元102參考錯誤資訊中的視訊物件平面編號值、錯誤巨集區塊編號值以及正確巨集區塊編號值，使用以下的資訊置換巨集區塊的錯誤資料，其包含：

(1)將NOT_CODED的數值設為1。

其中，NOT_CODED係表示巨集區塊是否有編碼。當NOT_CODED的數值設為1，表示此巨集區塊以運動向量值(MOTION VECTOR)為0參考其它畫框資料，且無直流係數的資料。

第三，當視訊資料採用抗錯編碼而使得錯誤資訊包含更多欄位(例如前述片段丟棄值)，且發生錯誤之編碼階層的編碼格式係框內編碼時，則解碼單元102保留部份的編碼資料，且無需參考其它畫框資料，即可產生替代資料以置換錯誤資料。例如，於本發明應用於符合MPEG4壓縮標準的影像資料時，若視訊資料具有資料分割格式以及可逆可變長度編碼格式而使得錯誤資訊包含片段丟棄值欄位，且發生錯誤的編碼階層係視訊物件平面，同時其編碼格式係框內視訊物件平面，該解碼單元102參考錯誤資訊中的視訊物件平面編號值、錯誤巨集區塊編號值、正確巨集區塊編號值，以及片段丟棄值，使用以下的資訊置換巨集區塊的錯誤資料，其包含：

(1)將AC_PRED_FLAG的數值設為0；

(2)將編碼區塊樣式的數值設為0；以及

(3)當應用於區隔編碼資料的DC_MARKER符號之前未發生錯誤，則保留直流係數以及MCBPC資訊，其中MCBPC資訊係用以表示巨集區塊類型以及彩度編碼區塊樣式。

第四，當視訊資料採用抗錯編碼而使得錯誤資訊包含更多欄位，且發生錯誤之編碼階層的編碼格式係框間預測編碼時，則解碼單元102保留部份的編碼資料，且參考其它畫框資料產生替代資料以置換錯誤資料。例如，於本發明應用於符合MPEG4壓縮標準的影像資料時，若視訊資料具有資料分割格式以及可逆可變長度編碼格式而使得錯誤資訊包含片段丟棄值欄位，且發生錯誤的編碼階層係視訊物件平面，同時其編碼格式係框間預測視訊物件平面，解碼單元102參考錯誤資訊中的視訊物件平面編號值、錯誤巨集區塊編號值、正確巨集區塊編號值，以及片段丟棄值，使用以下的資訊置換巨集區塊的錯誤資料，其包含：

(1)將NOT_CODED的數值設為1；

(2)將編碼區塊樣式的數值設為0；以及

(3)當應用於區隔編碼資料的MOTION_MARKER符號之前未發生錯誤，則保留MCBPC資訊、NOT_CODED以及運動向量。

由上述內容可知，本發明所提出的視訊解碼裝置10應用錯誤檢查單元101檢查視訊資料中的錯誤狀態並產生一錯誤資訊，然後解碼單元102根據該錯誤資訊對視訊資料執行相對應的錯誤隱藏程序。本發明的視訊解碼裝置10，可以對部份的視訊資料執行錯誤檢查，且同時對另一部份的視訊資料執行錯誤隱藏以及視訊解碼程序。此外，使用者也可以彈性地針對不同的視訊壓縮標準修改錯誤檢查單元101中的檢查程序，例如，辨別其它種類的錯誤狀態或是提供具有更多資訊的錯誤資訊。同理，使用者也可以因應不同的視訊壓縮標準而彈性地修改解碼單元102中的錯誤隱藏程序，例如以其它替代資料來取代錯誤資料等等。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

10．．．視訊解碼裝置

101．．．錯誤檢查單元

102．．．解碼單元

圖1顯示習知的影像資料組成階層。

圖2顯示本發明一實施例所提出的視訊解碼裝置。

10．．．視訊解碼裝置

101．．．錯誤檢查單元

102．．．解碼單元

Claims (9)

1. 一種視訊解碼裝置，用以解碼一視訊資料，該裝置包含：一錯誤檢查單元，用以根據該視訊資料的錯誤狀態產生一錯誤資訊；以及一解碼單元，其電性耦合於該錯誤檢查單元，用以根據該錯誤資訊選擇性地對該視訊資料執行一錯誤隱藏程序與一解碼程序；其中當該錯誤狀態係遺失視訊物件序列標頭、遺失視訊物件標頭、遺失視訊物件層標頭、視訊物件層標頭的畫框(PICTURE)之寬度或高度非為4的倍數，或遺失視訊物件平面標頭，則該解碼單元不執行該錯誤隱藏程序與該解碼程序。
2. 如申請專利範圍第1項所述之視訊解碼裝置，其中當該錯誤狀態係具有不存在於可變長度編碼表(VLC TABLE)中的可變長度碼、具有超過64個離散餘弦轉換係數(DCT COEFFICIENT)、遺失再同步標記(RESYNCHRONIZATION MARKER)、或視訊封包標頭資訊(VIDEO PACKET HEADER INFO)與視訊物件平面不一致，則該解碼單元執行該錯誤隱藏程序與該解碼程序。
3. 如申請專利範圍第1項所述之視訊解碼裝置，其中該錯誤資訊包含：一有效位元，用以表示該視訊資料是否可進行解碼；一視訊物件平面編號值，用以表示一視訊物件平面的編號；一錯誤巨集區塊編號值，用以表示第一個發生錯誤的巨集區塊編號；一正確巨集區塊編號值，用以表示位於該第一個發生錯誤的 巨集區塊之後的第一個正確巨集區塊編號；以及一錯誤資訊終止值，用以表示該錯誤資訊結束。
4. 如申請專利範圍第3項所述之視訊解碼裝置，該錯誤資訊更包含：一片段丟棄值，用以表示丟棄一片段。
5. 如申請專利範圍第3項所述之視訊解碼裝置，其中該錯誤隱藏程序根據該視訊資料其中一編碼階層的編碼格式以及該錯誤資訊，以一替代資料置換該視訊資料中的錯誤資料。
6. 如申請專利範圍第5項所述之視訊解碼裝置，當該視訊資料發生錯誤的該編碼階層的該編碼格式係採用框內編碼(INTRA-CODING)時，則該解碼單元無需參考其它畫框資料，即可產生該替代資料以置換該錯誤資料。
7. 如申請專利範圍第5項所述之視訊解碼裝置，當該視訊資料發生錯誤的該編碼階層的該編碼格式係採用框間預測編碼(INTER PREDICTION CODING)時，則該解碼單元參考其它畫框資料產生該替代資料以置換該錯誤資料。
8. 如申請專利範圍第5項所述之視訊解碼裝置，當該視訊資料採用抗錯編碼且發生錯誤之該編碼階層的該編碼格式係框內編碼(INTRA-CODING)時，則該解碼單元保留該視訊資料部份的編碼資料，且無需參考其它畫框資料，即可產生該替代資料以置換該錯誤資料。
9. 如申請專利範圍第5項所述之視訊解碼裝置，當該視訊資料採用抗錯編碼且發生錯誤之該編碼階層的該編碼格式係框間預測編碼(INTER PREDICTION CODING)時，則該解碼單元保留該視訊資料部份的編碼資料，且參考其它畫框資料產生該替代資料以置換該錯誤資料。