TWI625055B - 對影像進行解碼之裝置 - Google Patents

對影像進行解碼之裝置 Download PDF

Info

Publication number
TWI625055B
TWI625055B TW106113476A TW106113476A TWI625055B TW I625055 B TWI625055 B TW I625055B TW 106113476 A TW106113476 A TW 106113476A TW 106113476 A TW106113476 A TW 106113476A TW I625055 B TWI625055 B TW I625055B
Authority
TW
Taiwan
Prior art keywords
image
unit
syntax
depth
coding
Prior art date
Application number
TW106113476A
Other languages
English (en)
Other versions
TW201725906A (zh
Inventor
朴永五
金讚烈
崔光杓
朴正煇
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201725906A publication Critical patent/TW201725906A/zh
Application granted granted Critical
Publication of TWI625055B publication Critical patent/TWI625055B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

一種用於對影像進行解碼之裝置，包括：影像資料及編碼資訊提取器，用於自位元串流獲得指示對影像序列所包括的圖像進行解碼所需之緩衝器的最大大小的第一語法、指示在影像序列中解碼次序可以在任何第一圖像之前而顯示次序可以在任何第一圖像之後且需要重新排序的圖像的最大數目的第二語法、以及用於獲得指示在影像序列中輸出次序可以在任何第二圖像之前而解碼次序可以在任何第二圖像之後的潛時資訊的第三語法；解碼器，用於對位元串流進行解碼；以及緩衝器，用於儲存經解碼之影像圖框。解碼器根據第一語法來判定儲存經解碼之圖像的緩衝器的最大大小，且根據第二語法以及第三語法來判定是否輸出緩衝器所儲存的經解碼之圖像。第一語法、第二語法以及第三語法包含於參數集中。解碼器在每當包括在影像序列中的一個影像圖框被解碼時以預定值增加儲存在緩衝器中的經解碼之影像圖框的潛時參數的計數，並在經解碼之影像圖框的潛時參數的計數等於潛時資訊時從緩衝器輸出經解碼之影像圖框。

Description

對影像進行解碼之裝置
本發明是關於對影像進行編碼以及解碼的方法與裝置，且更特定而言，是關於對用於控制與管理儲存經解碼圖像之解碼圖像緩衝器（decoded picture buffer；DPB）的資訊有效地進行編碼與解碼之方法與裝置。
在諸如ITU-T H.261, ISO/IEC MPEG-1視覺、ITU-T H.262（ISO/IEC MPEG-2視覺）、ITU-T H.264, ISO/IEC MPEG-4視覺，或ITU-T H.264（ISO/IEC MPEG-4 AVC）的視訊編碼解碼器中，經由框間預測或框內預測對巨集區塊進行預測性編碼，並且根據由每一視訊編碼解碼器所定義之預定格式自經編碼的影像資料中產生位元串流並將其輸出。
本發明提供一種對影像進行編碼的方法與裝置，其中對用於控制與管理解碼器之緩衝器的資訊有效地進行編碼，以及一種對影像進行解碼的方法與裝置，其中藉由使用用於控制與管理緩衝器之資訊來有效地管理緩衝器。
根據本發明之一態樣，提供一種對影像進行解碼之方法包括：自位元串流獲得第一語法、第二語法以及第三語法，其中第一語法指示對包含於影像序列中的圖像進行解碼所需之緩衝器的最大大小，第二語法指示依解碼順序於影像序列中任意第一圖像前的最大圖像數目和依顯示順序任意第一圖像後的最大圖像數目，圖像需要重新排序，而第三語法用於獲取潛時資訊，潛時資訊指示依輸出順序於圖像順序中任意第二圖像前的最大圖像數目和依解碼順序任意第二圖像後的最大圖像數目；基於第一語法判定用來儲存經解碼的圖像的緩衝器的最大大小；將經解碼的圖像儲存於緩衝器中；以及基於第二語法以及第三語法來判定是否輸出儲存於緩衝器中的經解碼的圖像，其中所述第一語法、所述第二語法以及所述第三語法包含於參數集中。
根據本發明之一態樣，提供一種對影像進行編碼之方法，所述方法包括：藉由執行運動預測及補償來判定形成影像序列之影像圖框各自的參考圖框，以及藉由使用所述所判定之參考圖框來對所述影像圖框進行編碼；基於所述影像圖框的編碼次序、由所述影像圖框參考之所述參考圖框的編碼次序、所述影像圖框的顯示次序以及所述參考圖框的顯示次序，判定由解碼器對所述影像圖框進行解碼所需之緩衝器的最大大小以及需要重新排序之影像圖框的數目；基於需要重新排序之影像圖框的所述數目，判定形成所述影像序列之所述影像圖框中在編碼次序與顯示次序之間具有最大差之影像圖框的潛時資訊；將指示所述緩衝器之所述最大大小的第一語法、指示需要排序之影像圖框之數目的第二語法，以及指示所述潛時資訊的第三語法添加至強制序列參數集，所述強制序列參數集是與所述影像序列之編碼有關之資訊集合。
根據本發明之另一態樣，提供一種用於對影像進行編碼之裝置，所述裝置包括：編碼器，其用於藉由執行運動預測及補償來判定形成影像序列之影像圖框各自的參考圖框，以及藉由使用所述所判定之參考圖框來對所述影像圖框進行編碼；以及輸出單元，其用於：基於所述影像圖框的編碼次序、由所述影像圖框參考之所述參考圖框的編碼次序、所述影像圖框的顯示次序以及所述參考圖框的顯示次序，判定由解碼器對所述影像圖框進行解碼所需之緩衝器的最大大小以及需要重新排序之影像圖框的數目；基於需要重新排序之影像圖框的所述數目，判定形成所述影像序列之所述影像圖框中在編碼次序與顯示次序之間具有最大差之影像圖框的潛時資訊；以及藉由將指示所述緩衝器之所述最大大小的第一語法、指示需要排序之影像圖框之數目的第二語法，以及指示所述潛時資訊的第三語法添加至強制序列參數集來產生位元串流，所述強制序列參數集是與所述影像序列之編碼有關之資訊集合。
根據本發明之另一態樣，提供一種對影像進行解碼之方法，所述方法包括：自位元串流獲得指示對形成影像序列之影像圖框中的每一者進行解碼所需之緩衝器的最大大小的第一語法、指示在後解碼之影像圖框之後顯示且需要重新排序之影像圖框的數目的第二語法、以及指示形成所述影像序列之所述影像圖框中的在解碼次序與顯示次序之間具有最大差之影像圖框的潛時資訊的第三語法；藉由使用所述第一語法，設定由解碼器對所述影像序列進行解碼所需之緩衝器的最大大小；自所述位元串流獲得經編碼之資料，所述影像圖框編碼於所述經編碼之資料中，且藉由對所述所獲得的經編碼之資料進行解碼來獲得經解碼之影像圖框；將所述經解碼之影像圖框儲存於所述解碼器之緩衝器中；以及藉由使用所述第二語法以及所述第三語法來判定是否輸出儲存於所述解碼器之所述緩衝器中的影像圖框，其中所述第一語法、所述第二語法以及所述第三語法包含於強制序列參數集中，所述強制序列參數集是與所述影像序列之編碼有關之資訊集合。
根據本發明之另一態樣，提供一種用於對影像進行解碼之裝置，所述裝置包括：影像資料及編碼資訊提取器，其用於自位元串流獲得指示對形成影像序列之影像圖框中的每一者進行解碼所需之緩衝器的最大大小的第一語法、指示在後解碼之影像圖框之後顯示且需要重新排序之影像圖框的數目的第二語法、指示形成所述影像序列之所述影像圖框中的在解碼次序與顯示次序之間具有最大差之影像圖框的潛時資訊的第三語法，以及經編碼之資料，所述影像圖框編碼於所述經編碼之資料中；解碼器，其用於藉由對所述所獲得的經編碼之資料進行解碼來獲得經解碼之影像圖框；以及緩衝器，其用於儲存所述經解碼之影像圖框，其中所述緩衝器藉由使用所述第一語法來設定對所述影像序列進行解碼所需之緩衝器的所述最大大小，以及藉由使用所述第二語法以及所述第三語法來判定是否輸出所儲存的影像圖框，且所述第一語法、所述第二語法以及第三語法包含於強制序列參數集中，所述強制序列參數集是與所述影像序列之編碼有關之資訊集合。
根據本發明之一或多個實施例，可防止浪費解碼器之系統資訊，此是因為對包含於影像序列中之圖像進行解碼所需的緩衝器大小資訊被強制性地添加至位元串流中且隨所述位元串流傳輸，且解碼器使用所述緩衝器大小資訊藉由根據需要指派緩衝器大小來執行解碼。且，根據本發明之一或多個實施例，用於判定儲存於緩衝器中之圖像的輸出時間的資訊被強制性地添加至位元串流中且隨所述位元串流傳輸，且解碼器可藉由使用用於判定儲存於所述緩衝器中之圖像之輸出時間的所述資訊來預先判定是否輸出預先解碼的影像圖框，從而防止經解碼之影像圖框的輸出潛時。
在下文中，將參考附圖詳細描述本發明之例示性實施例。儘管描述了本發明，但影像可為靜止影像或移動影像，並且可表示為視訊。且，儘管描述了本發明，但影像圖框可表示為圖像。
圖1為根據本發明之實施例的視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大寫碼單元分裂器110、寫碼單元判定器120以及輸出單元130。
最大寫碼單元分裂器110可基於當前圖像之最大寫碼單元來分裂影像之當前圖像。若當前圖像大於最大寫碼單元，則當前圖像之影像資料可分裂為至少一個最大寫碼單元。根據本發明之實施例的最大寫碼單元可為大小為32×32、64×64、128×128、256×256等之資料單元，其中所述資料單元的形狀為寬度及長度為大於8的2的次方的正方形。可根據至少一個最大寫碼單元而將所述影像資料輸出至寫碼單元判定器120。
根據本發明之實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示自最大寫碼單元起寫碼單元在空間上被分裂之次數，且隨著深度加深，對應於深度之寫碼單元可被從最大寫碼單元分裂為最小寫碼單元。可將最大寫碼單元之深度判定為最上層深度，且可將最小寫碼單元判定為最下層寫碼單元。由於對應於每一深度之寫碼單元的大小隨著最大寫碼單元之深度加深而減小，因此對應於較上層深度之寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上文所述，當前圖像之影像資料被分裂為根據寫碼單元之最大大小的最大寫碼單元，且最大寫碼單元中之每一者可包含根據深度而分裂的寫碼單元。由於根據本發明之實施例的最大寫碼單元是根據深度來分裂，因此包含於最大寫碼單元中之空間域的影像資料可根據深度而階層式分類。
限制最大寫碼單元之高度以及寬度被階層式分裂之總次數的寫碼單元之最大深度以及最大大小可為預定的。
寫碼單元判定器120對藉由根據深度來分裂最大寫碼單元之區域而獲得的至少一個分裂區域進行編碼，並根據所述至少一個分裂區域判定用以輸出最終編碼之影像資料的深度。換言之，寫碼單元判定器120藉由以當前圖像之最大寫碼單元為單位來對對應於深度之寫碼單元中的影像資料進行編碼以及選擇具有最少編碼錯誤的深度來判定經寫碼之深度。所判定之經寫碼之深度以及最大寫碼單元中之每一者中的影像資料被輸出至輸出單元130。
基於寫碼單元對應於深度對最大寫碼單元中之每一者中的影像資料進行編碼，其中所述寫碼單元對應於根據等於或低於最大深度之至少一個深度的深度，且比較基於對應於深度之寫碼單元對影像資料進行編碼的結果。可在比較對應於深度之寫碼單元的編碼錯誤之後選擇具有最少編碼錯誤的深度。可針對最大寫碼單元中的每一者選擇至少一個經寫碼之深度。
隨著寫碼單元根據深度被階層式分裂，最大寫碼單元的大小被分裂，且寫碼單元之數目增大。且，即使包含於一個最大寫碼單元中之寫碼單元對應於同一深度，仍要藉由量測所述寫碼單元中之每一者的影像資料的編碼錯誤來判定是否將所述寫碼單元中的每一者分裂至較下層深度。因而，由於甚至包含於一個最大寫碼單元中的資料根據資料之位置具有對應於深度之不同編碼錯誤，因此經寫碼之深度可根據資料之位置而不同地進行設定。因此，可針對一個最大寫碼單元設定至少一個經寫碼之深度，且可根據所述至少一個經寫碼之深度的寫碼單元劃分最大寫碼單元的影像資料。
因此，根據本發明之實施例的寫碼單元判定器120可判定包含於當前最大寫碼單元中之具有樹狀結構的寫碼單元。根據本發明之實施例的「具有樹狀結構的寫碼單元」包含當前最大寫碼單元中所包含之對應於深度的所有寫碼單元中的對應於經判定為寫碼深度的深度的寫碼單元。可根據最大寫碼單元之同一區域中的深度而階層式判定對應於寫碼深度的寫碼單元，且可在最大寫碼單元之不同區域中獨立地判定對應於寫碼深度的寫碼單元。類似地，可獨立於另一區域中之寫碼深度而判定當前區域中的寫碼深度。
根據本發明之實施例的最大深度為與自最大寫碼單元至最小寫碼單元之分裂次數相關的指數。根據本發明之實施例的第一最大深度可表示自最大寫碼單元至最小寫碼單元之總分裂次數。根據本發明之實施例的第二最大深度可表示自最大寫碼單元至最小寫碼單元之總深度層級數。舉例而言，當最大寫碼單元之深度為0時，藉由分裂最大寫碼單元一次所獲得之寫碼單元的深度可設定為1，且藉由分裂最大寫碼單元兩次所獲得之寫碼單元的深度可設定為2。若藉由分裂最大寫碼單元四次所獲得之寫碼單元為最小寫碼單元，則存在深度0、1、2、3以及4的深度層級。因而，第一最大深度可設定為4，且第二最大深度可設定為5。
可對最大寫碼單元執行預測編碼以及變換。類似地，基於對應於深度的寫碼單元且根據等於或低於最大深度之深度，以最大寫碼單元為單位執行預測編碼以及變換。
由於只要根據深度來分裂最大寫碼單元，對應於深度之寫碼單元的數目便增大，因此，應對隨著深度加深而產生的對應於深度之所有寫碼單元執行包含預測編碼以及變換的編碼。為便於解釋，現將基於包含於至少一最大寫碼單元中的當前深度之寫碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料進行編碼之資料單元的大小或形狀。為了對影像資料進行編碼，執行諸如預測編碼、變換以及熵編碼之操作。此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料進行編碼之寫碼單元，而且選擇不同於所述寫碼單元之資料單元，以便對所述寫碼單元中之影像資料執行預測編碼。
為了對最大寫碼單元進行預測編碼，可基於對應於寫碼深度的寫碼單元（亦即，基於不再分裂為對應於較下層深度之寫碼單元的寫碼單元）來執行預測編碼。下文中，不再被分裂且變為用於預測編碼之基礎單元的寫碼單元現將稱作「預測單元」。藉由分裂預測單元而獲得之分割區可包含藉由分裂預測單元之高度及寬度中的至少一者而獲得的資料單元。
舉例而言，當2N×2N（其中N為正整數）之寫碼單元不再被分裂，此寫碼單元變為2N×2N之預測單元，且分割區之大小可為2N×2N、2N×N、N×2N或N×N。分割區類型之實例包含藉由對稱地分裂預測單元之高度或寬度而獲得的對稱分割區、藉由非對稱地分裂預測單元之高度或寬度（諸如，1:n或n:1）而獲得的分割區、藉由用幾何方式分裂預測單元而獲得之分割區，以及具有任意形狀的分割區。
預測單元之預測模式可為框內模式、框間模式以及跳過模式（skip mode）中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分割區執行框內模式或框間模式。此外，可僅對2N×2N之分割區執行跳過模式。可對每一寫碼單元中的一個預測單元獨立地執行編碼，且可選擇具有最少編碼錯誤的預測模式。
且，視訊編碼裝置100可不僅基於用於對影像資料進行編碼之寫碼單元而且基於不同於寫碼單元之資料單元而對寫碼單元中的影像資料執行變換。
為了對寫碼單元執行變換，可基於具有小於或等於寫碼單元之大小的大小之資料單元來執行變換。舉例而言，用於變換之資料單元可包含用於框內模式之資料單元以及用於框間模式的資料單元。
下文中，作為變換之基礎的資料單元亦可稱為變換單元。類似於根據本發明之實施例的具有樹狀結構之寫碼單元，寫碼單元中之變換單元可按遞回方式分裂為大小較小的變換單元。因而，可根據具有根據變換深度之樹狀結構的變換單元而劃分寫碼單元中之殘餘資料。
根據本發明之實施例的變換單元亦可被指派有變換深度，所述變換深度表示分裂寫碼單元之高度及寬度以獲得變換單元的次數。舉例而言，當針對2N×2N當前寫碼單元之變換單元的大小為2N×2N時，變換深度可為0；當針對2N×2N當前寫碼單元之變換單元的大小為N×N時，變換深度可為1；其當針對2N×2N當前寫碼單元之變換單元的大小為N/2×N/2時，變換深度可為2。亦即，亦可根據變換深度設定具有樹狀結構之變換單元。
針對每一經寫碼之深度的編碼資訊不僅需要關於經寫碼之深度的資訊，而且需要關於預測編碼以及變換的資訊。因此，寫碼單元判定器120不僅判定具有最少編碼錯誤之經寫碼之深度，而且判定預測單元中的分割區類型、用於每一預測單元的預測模式以及用於變換之變換單元的大小。
稍後將參考圖3至圖12詳細描述根據本發明之實施例的包含於最大寫碼單元中之具有樹狀結構的寫碼單元，以及判定分割區之方法。
寫碼單元判定器120可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來量測對應於深度之寫碼單元之編碼錯誤。
輸出單元130在位元串流中輸出基於由寫碼單元判定器120判定之至少一個經寫碼之深度而編碼的最大寫碼單元之影像資料，以及關於每一深度之編碼模式的資訊。
經編碼之影像資料可為對影像之殘餘資料進行編碼的結果。
關於每一深度之編碼模式的資訊可包含關於經寫碼之深度、關於預測單元中的分割區類型、預測模式以及變換單元之大小的資訊。
可藉由使用根據深度之分裂資訊來定義關於經寫碼之深度的資訊，根據深度之分裂資訊指示是否要對較下層深度而非當前深度之寫碼單元執行編碼。若當前寫碼單元之當前深度為經寫碼之深度，則使用對應於當前深度之寫碼單元對當前寫碼單元進行編碼，且因而可定義關於當前深度的分裂資訊以使得不會將當前深度之當前寫碼單元進一步分裂為較下層深度的寫碼單元。相反，若當前寫碼單元之當前深度並非經寫碼之深度，則應對較下層深度的寫碼單元進行編碼，且因而可定義關於當前深度的分裂資訊以使得可將當前深度之當前寫碼單元分裂成較下層深度的寫碼單元。
若當前深度並非經寫碼之深度，則對較下層深度之寫碼單元執行編碼。由於較下層深度之至少一個寫碼單元存在於當前深度之一個寫碼單元中，因此對較下層深度之每一寫碼單元重複地執行編碼，且因而可按遞回方式對具有同一深度之寫碼單元進行編碼。
由於應在一個最大寫碼單元中判定具有樹狀結構之寫碼單元，且針對具有經寫碼之深度的每一寫碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大寫碼單元而判定關於至少一個編碼模式的資訊。且，最大寫碼單元之影像資料可根據其位置具有不同的經寫碼之深度，此是因為根據深度而階層式分裂影像資料。因而，可針對影像資料而設定關於經寫碼之深度以及編碼模式的資訊。
因此，根據本發明之實施例的輸出單元130可將關於對應的經寫碼之深度以及編碼模式的編碼資訊指派給包含於最大寫碼單元中的寫碼單元、預測單元以及最小單元中之至少一者。
根據本發明之實施例的最小單元為藉由將最下層深度之最小寫碼單元分裂為4份而獲得的矩形資料單元，並且可為可包含於最大寫碼單元中所包含之所有寫碼單元、預測單元以及變換單元中的最大矩形資料單元。
舉例而言，經由輸出單元130輸出之編碼資訊可分類為對應於深度之寫碼單元中的每一者的編碼資訊，以及預測單元中之每一者的編碼資訊。對應於深度之寫碼單元中的每一者的編碼資訊可包含預測模式資訊以及分割區大小資訊。預測單元中之每一者的編碼資訊可包含關於框間模式之估計方向、關於框間模式之參考影像索引、關於運動向量、關於框內模式之色度分量以及關於框內模式之內插方法的資訊。關於以圖像、圖塊或GOP為單位定義之寫碼單元之最大大小的資訊以及關於最大深度之資訊可插入至位元串流的標頭中。
最大寫碼單元分裂器110與寫碼單元判定器120對應於視訊寫碼層，視訊寫碼層藉由相關於每一影像圖框而根據寫碼單元執行運動預測與補償來判定形成影像序列之影像圖框中的每一者的參考圖框，並藉由使用所判定之參考圖框來對每一影像圖框進行編碼。
且，如下文將描述的，輸出單元130藉由以下步驟產生位元串流：映射max_dec_frame_buffering語法，其指示由解碼器對影像圖框進行解碼所需之緩衝器的最大大小；映射num_reorder_frames語法，其指示需要重新排序之影像圖框的數目；以及映射max_latency_increase語法，其指示在網路抽象層（NAL）單元中形成影像序列之影像圖框中的在編碼次序與顯示次序之間具有最大差異之影像圖框的潛時資訊。
在根據本發明之實施例的視訊編碼裝置100中，對應於深度之寫碼單元可為藉由將較上層深度之寫碼單元的高度或寬度劃分為兩份而獲得的寫碼單元。換言之，在當前深度之寫碼單元的大小為2N×2N時，較下層深度之寫碼單元的大小為N×N。且，2N×2N的寫碼單元可至多包含四個較下層深度的N×N寫碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像之特性而判定的每一最大寫碼單元之大小以及最大深度判定針對每一最大寫碼單元的具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構之寫碼單元。且，由於可根據各種預測模式以及變換方法中之任一者對每一最大寫碼單元執行編碼，因此可考慮各種影像大小之寫碼單元的特性來判定最佳編碼模式。
因而，若以習知巨集區塊為單位對具有極高解析度或極大資料量之影像進行編碼，則每圖像之巨集區塊的數目過度地增大。因而，針對每一巨集區塊產生之壓縮資訊的量增大，且因而難以傳輸壓縮資訊，且資料壓縮效率降低。然而，視訊編碼裝置100能夠在考慮影像之大小來增大寫碼單元之最大大小的同時基於影像之特性控制寫碼單元，由此提高影像壓縮效率。
圖2為根據本發明之實施例的視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料及編碼資訊提取器220以及影像資料解碼器230。下文用於解釋視訊解碼裝置200之各種過程的各種術語（諸如，寫碼單元、深度、預測單元、變換單元以及關於各種編碼模式之資訊）的定義與上文參考圖1所描述之視訊編碼裝置100的定義相同。
接收器210接收且剖析經編碼之視訊之位元串流。影像資料及編碼資訊提取器220自所剖析之位元串流以最大寫碼單元為單位提取具有樹狀結構的寫碼單元中之每一者的經編碼之影像資料，且接著將所提取之影像資料輸出至影像資料解碼器230。影像資料及編碼資訊提取器220可自關於當前圖像之標頭提取關於當前圖像之寫碼單元的最大大小的資訊。
且，影像資料及編碼資訊提取器220自所剖析之位元串流以最大寫碼單元為單位提取關於具有樹狀結構的寫碼單元的經寫碼之深度以及編碼模式的資訊。關於經寫碼之深度以及編碼模式的所提取之資訊被輸出至影像資料解碼器230。換言之，位元串流中之影像資料可被分裂為最大寫碼單元，使得影像資料解碼器230可以最大寫碼單元為單位對影像資料進行解碼。
可針對至少一個經寫碼之深度設定關於最大寫碼單元中之每一者的經寫碼之深度以及編碼模式的資訊。關於每一經寫碼深度之編碼模式的資訊可包含關於對應於經寫碼之深度的對應寫碼單元的分割區類型、關於預測模式以及變換單元的大小的資訊。且，可將根據深度之分裂資訊提取作為關於經寫碼之深度的資訊。
由影像資料及編碼資訊提取器220提取的關於最大寫碼單元中之每一者的經寫碼之深度以及編碼模式的資訊為關於經判定以在例如視訊編碼裝置100之編碼側以最大寫碼單元為單位對對應於深度之寫碼單元中的每一者重複地進行編碼時產生最小編碼錯誤的經寫碼之深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼錯誤的經寫碼之深度以及編碼模式來對影像資料進行解碼而復原影像。
由於關於經寫碼之深度以及編碼模式之編碼資訊可指派給對應寫碼單元、預測單元以及最小單元中的資料單元，因此影像資料及編碼資訊提取器220可按資料單元為單位提取關於經寫碼之深度以及編碼模式的資訊。若以資料單元為單位記錄關於最大寫碼單元中之每一者的經寫碼之深度與編碼模式的資訊，則包含關於同一經寫碼之深度以及編碼模式的資訊的資料單元可被推斷為包含於同一最大寫碼單元中的資料單元。
影像資料解碼器230藉由基於關於最大寫碼單元中之每一者的經寫碼之深度以及編碼模式之資訊而對最大寫碼單元中之每一者中的影像資料進行解碼來復原當前圖像。換言之，影像資料解碼器230可基於包含於最大寫碼單元中之每一者中的具有樹狀結構的每一寫碼單元的所剖析的分割區類型、預測模式以及變換單元而對經編碼之影像資料進行解碼。解碼過程可包含：包含框內預測以及運動補償之預測過程；以及逆變換過程。
影像資料解碼器230可基於關於根據經寫碼深度的寫碼單元中之每一者的預測單元的分割區類型以及預測模式的資訊，根據所述寫碼單元之分割區以及預測模式來對寫碼單元中的每一者執行框內預測或運動補償。
且，為了對最大寫碼單元中的每一者執行逆變換，影像資料解碼器230基於較深寫碼單元之變換單元的大小資訊，根據寫碼單元中之每一者的變換單元而執行逆變換。
影像資料解碼器230可基於根據深度之分裂資訊而判定當前最大寫碼單元之經寫碼深度。若分裂資訊指示影像資料在當前深度中不再分裂，則當前深度為經寫碼之深度。因而，影像資料解碼器230可藉由使用關於對應於當前深度之寫碼單元的預測單元的分割區類型、預測模式以及變換單元的大小的資訊，來對當前最大寫碼單元的影像資料進行解碼。
換言之，可藉由觀測指派給寫碼單元、預測單元以及最小單元中的資料單元的編碼資訊來收集含有包含相同分裂資訊之編碼資訊的資料單元，且可將所收集之資料單元視為待由影像資料解碼器230根據同一編碼模式進行解碼的一個資料單元。
且，接收器210與影像資料及編碼資訊提取器220可在NAL中執行解碼過程，其中自位元串流中獲得：max_dec_frame_buffering語法，其指示由解碼器對影像圖框進行解碼所需之緩衝器的最大大小；num_reorder_frames語法，其指示需要重新排序之影像圖框的數目；以及max_latency_increase語法，其指示形成影像序列之影像圖框中的在解碼次序與顯示次序之間具有最大差異之影像圖框的潛時資訊，並且將所述語法輸出至影像資料解碼器230。
視訊解碼裝置200可藉由按遞回方式對最大寫碼單元中的每一者進行編碼來獲得關於產生最少編碼錯誤之寫碼單元的資訊，並使用所述資訊對當前圖像進行解碼。換言之，可對以最大寫碼單元為單位判定為最佳寫碼單元的具有樹狀結構之寫碼單元中的經編碼之影像資料進行解碼。
因此，即使影像資料具有高解析度以及大量資料，仍可基於自編碼側接收之關於最佳編碼模式之資訊，藉由使用根據影像資料之特性適應性地判定之寫碼單元之大小以及編碼模式而有效地對影像資料進行解碼從而進行復原。
在下文中，將參考圖3至圖13描述根據本發明之實施例的判定根據樹狀結構之寫碼單元、預測單元以及變換單元的方法。
圖3說明根據本發明之實施例的寫碼單元的概念。
寫碼單元之大小可用寬度×高度來表達，且可為64×64、32×32、16×16以及8×8。64×64之寫碼單元可分裂為64×64、64×32、32×64或32×32之分割區，且32×32之寫碼單元可分裂為32×32、32×16、16×32或16×16的分割區，16×16之寫碼單元可分裂為16×16、16×8、8×16或8×8之分割區，且8×8之寫碼單元可分裂為8×8、8×4、4×8或4×4的分割區。
在視訊資料310中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元之最大大小為16，且最大深度為1。圖3所示之最大深度表示自最大寫碼單元至最小解碼單元之總分裂次數。
若解析度高或資料量大，則寫碼單元之最大大小可為相對大的，以便不僅提高編碼效率，而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及320之寫碼單元的最大大小可為64。
由於視訊資料310之最大深度為2，因此視訊資料310之寫碼單元315可包含長軸大小為64的最大寫碼單元，以及長軸大小為32以及16的寫碼單元，此是因為深度藉由分裂最大寫碼單元兩次而加深兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單元335可包含長軸大小為16的最大寫碼單元，以及長軸大小為8之寫碼單元，此是因為深度藉由分裂最大寫碼單元一次而加深一層。
由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單元325可包含長軸大小為64的最大寫碼單元，以及長軸大小為32、16以及8的寫碼單元，此是因為深度藉由分裂最大寫碼單元三次而加深3層。隨著深度加深，可精確地表達詳細資訊。
圖4為根據本發明之實施例的基於寫碼單元的影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之寫碼單元判定器120的操作以對影像資料進行編碼。具體而言，框內預測器410對當前圖框405中的處於框內模式中之寫碼單元執行框內預測，且運動估計器420以及運動補償器425藉由使用當前圖框405以及參考圖框495而對當前圖框405中處於框間模式中的寫碼單元執行框間估計以及運動補償。
自框內預測器410、運動估計器420以及運動補償器425輸出之資料經由變換器430以及量化器440作為經量化之變換係數而輸出。經量化之變換係數經由逆量化器460以及逆變換器470復原為空間域中之資料。空間域中之所復原之資料在經由解區塊單元480以及迴路濾波單元490進行後處理之後作為參考圖框495輸出。經量化之變換係數可經由熵編碼器450在位元串流455中輸出。具體而言，熵編碼器450可藉由以下步驟產生位元串流：映射max_dec_frame_buffering語法，其指示由解碼器對影像圖框進行解碼所需之緩衝器的最大大小；映射num_reorder_frames語法，其指示需要重新排序之影像圖框的數目；以及映射MaxLatencyFrames語法，其指示形成影像序列的影像圖框的編碼次序與顯示次序之間的差值之最大數目或用以在NAL單元中判定MaxLatencyFrames語法之max_latency_increase語法。具體而言，熵編碼器450可將max_dec_frame_buffering語法、num_reorder_frames語法以及max_latency_increas語法作為強制組件添加至序列參數集（SPS）中，所述序列參數集為包含關於全部影像序列之編碼之資訊的標頭資訊。
為了將影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件（亦即，框內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490）在考慮每一最大寫碼單元之最大深度的同時基於具有樹狀結構之寫碼單元中的每一寫碼單元來執行操作。
具體言之，框內預測器410、運動估計器420以及運動補償器425在考慮當前最大寫碼單元之最大大小以及最大深度的同時判定具有樹狀結構之寫碼單元中的每一寫碼單元之分割區以及預測模式。變換器430判定具有樹狀結構之寫碼單元中的每一寫碼單元中之變換單元的大小。
圖5為根據本發明之實施例的基於寫碼單元的影像解碼器500的方塊圖。
剖析器510剖析位元串流505，以獲得待解碼的經編碼之影像資料以及對經編碼之影像資料進行解碼所需的編碼資訊。具體而言，剖析器510自位元串流中獲得：max_dec_frame_buffering語法，其作為強制組件包含於SPS中，指示對影像圖框進行解碼所需之緩衝器的最大大小；num_reorder_frames語法，其指示需要重新排序之影像圖框的數目；以及max_latency_increase語法，其用以判定MaxLatencyFrames語法，並將所述語法輸出至熵解碼器520。在圖5中，剖析器510與熵解碼器520被說明為個別的組件，但替代性地，由剖析器510執行的獲得影像資料以及獲得關於經編碼影像資料之語法資訊的過程可由熵解碼器520執行。
經編碼之影像資料經由熵解碼器520以及逆量化器530而輸出作為經逆量化之資料，且所述經逆量化之資料經由逆變換器540而復原為空間域中的影像資料。
關於空間域中之影像資料，框內預測器550對處於框內模式中之寫碼單元執行框內預測，且運動補償器560藉由使用參考圖框585對處於框間模式中的寫碼單元執行運動補償。
經由框內預測器550以及運動補償器560復原之影像圖框資料被經由解區塊單元570後處理，並輸出至解碼圖像緩衝器（DPB）580。DPB 580儲存經解碼之影像圖框以用於儲存參考圖框、切換影像圖框之顯示次序，並輸出影像圖框。DPB 580在藉由使用max_dec_frame_buffering語法來設定影像序列之正常解碼所需之緩衝器的最大大小的同時儲存經解碼之影像圖框，其中所述語法指示對自剖析器510或熵解碼器520輸出之影像圖框正常地進行解碼所需之緩衝器的最大大小。
且，DPB 580可藉由使用指示需要重新排序之影像圖框之數目的num_reorder_frames語法以及用於判定MaxLatencyFrames語法的max_latency_increase語法，來判定是否輸出預先進行解碼並儲存的參考影像圖框。稍後將詳細描述輸出儲存於DPB 580中之參考影像圖框的過程。
為了藉由使用視訊解碼裝置200之影像資料解碼器230對影像資料進行解碼，影像解碼器500可執行在剖析器510的操作之後所執行的操作。
為了將影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件（亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、框內預測器550、運動補償器560以及解區塊單元570）可以最大寫碼單元為單位基於具有樹狀結構之寫碼單元來執行解碼操作。特定言之，框內預測550與運動補償器560判定具有樹狀結構之寫碼單元中的每一者的分割區與預測模式，且逆變換器540判定寫碼單元中之每一者的變換單元的大小。
圖6為說明根據本發明之實施例的對應於深度的寫碼單元以及分割區的圖。
根據本發明之實施例的視訊編碼裝置100與視訊解碼裝置200使用階層式寫碼單元來考慮影像之特性。可根據影像之特性來適應性地判定寫碼單元之最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據寫碼單元之預定最大大小判定對應於深度之寫碼單元的大小。
在根據本發明之實施例的寫碼單元之階層式結構600中，寫碼單元之最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層式結構600之垂直軸加深，因此對應於深度之寫碼單元中的每一者的高度以及寬度各自被分裂。且，沿著階層式結構600之水平軸展示作為用於預測編碼對應於深度之寫碼單元中的每一者的基礎的預測單元以及分割區。
具體而言，在階層式結構600中，寫碼單元610為最大寫碼單元，且具有深度0且大小為64×64（高度×寬度）。隨著深度沿著垂直軸加深，存在大小為32×32且深度為1之寫碼單元620、大小為16×16且深度為2之寫碼單元630、大小為8×8且深度為3之寫碼單元640，以及大小為4×4且深度為4之寫碼單元650。大小為4×4且深度為4之寫碼單元650為最小寫碼單元。
每一寫碼單元之預測單元以及分割區根據每一深度沿著水平軸而配置。若大小為64×64且深度為0之寫碼單元610為預測單元，則預測單元可分裂為包含於寫碼單元610中的分割區，亦即，大小為64×64之分割區610、大小為64×32之分割區612、大小為32×64之分割區614或大小為32×32的分割區616。
類似地，大小為32×32且深度為1之寫碼單元620的預測單元可分裂為包含於寫碼單元620中的分割區，亦即，大小為32×32之分割區620、大小為32×16之分割區622、大小為16×32之分割區624以及大小為16×16的分割區626。
類似地，大小為16×16且深度為2之寫碼單元630的預測單元可分裂為包含於寫碼單元630中的分割區，亦即，大小為16×16之分割區630、大小為16×8之分割區632、大小為8×16之分割區634以及大小為8×8的分割區636。
類似地，大小為8×8且深度為3之寫碼單元640的預測單元可分裂為包含於寫碼單元640中的分割區，亦即，大小為8×8之分割區640、大小為8×4之分割區642、大小為4×8之分割區644以及大小為4×4的分割區646。
大小為4×4且深度為4之寫碼單元650為具有最下層深度之最小寫碼單元。寫碼單元650之預測單元被設定為僅有大小為4×4之分割區650。
為了判定最大寫碼單元610之經寫碼之深度，視訊編碼裝置100之寫碼單元判定器120對包含於最大寫碼單元610中之對應於每一深度的所有寫碼單元進行編碼。
隨著深度加深，對應於每一深度並包含具有相同範圍以及相同大小之資料的寫碼單元的數目增大。舉例而言，需要對應於深度2之四個寫碼單元來涵蓋包含於對應於深度1之一個寫碼單元中的資料。因此，為了比較根據深度編碼相同資料的結果，將對應於深度1之寫碼單元以及對應於深度2之四個寫碼單元各自編碼。
為了以深度為單位執行編碼，可藉由沿著階層式結構600的水平軸對對應於深度之寫碼單元中之每一者的預測單元執行編碼來將每一深度之最少編碼錯誤選擇為代表性的編碼錯誤。或者，隨著深度沿著階層式結構600之垂直軸加深，可藉由以深度為單位執行編碼並根據深度比較最少編碼錯誤來搜尋最少編碼錯誤。可選擇最大寫碼單元610中具有最少編碼錯誤之深度以及分割區作為最大寫碼單元610之經寫碼之深度以及分割區類型。
圖7為說明根據本發明之實施例的寫碼單元710與變換單元720之間的關係的圖。
根據本發明之實施例的視訊編碼裝置100（或視訊解碼裝置200）基於具有小於或等於最大寫碼單元之大小的寫碼單元，以最大寫碼單元為單位對影像進行編碼（或解碼）。在編碼期間，可基於不大於對應寫碼單元之資料單元而選擇用於執行變換之每一變換單元的大小。
舉例而言，在視訊編碼裝置100（或視訊解碼裝置200）中，若寫碼單元710之大小為64×64，則可使用大小為32×32之變換單元720來執行變換。
且，可藉由對小於64×64之大小為32×32、16×16、8×8以及4×4之變換單元中之每一者執行變換，來對大小為64×64之寫碼單元710的資料進行編碼，且接著可選擇具有最少寫碼錯誤的變換單元。
圖8為說明根據本發明之實施例的對應於深度的編碼資訊的圖。
視訊編碼裝置100之輸出單元130可對關於分割區類型之資訊800、關於預測模式之資訊810，以及關於對應於經寫碼之深度的每一寫碼單元的變換單元大小的資訊820進行編碼且將其作為關於編碼模式之資訊而傳輸。
資訊800指示關於藉由分裂當前寫碼單元之預測單元而獲得的分割區之形狀的資訊，所述分割區為用於預測編碼當前寫碼單元的資料單元。舉例而言，大小為2N×2N之當前寫碼單元CU_0可被分裂為大小為2N×2N之分割區802、大小為2N×N之分割區804、大小為N×2N之分割區806以及大小為N×N的分割區808中之任一者。在此狀況下，資訊800被設定為指示大小為2N×N之分割區804、大小為N×2N之分割區806以及大小為N×N的分割區808中之一者。
資訊810指示每一分割區之預測模式。舉例而言，資訊810可指示對由資訊800指示之分割區進行預測編碼之模式，亦即，框內模式812、框間模式814或跳過模式816。
資訊820指示當對當前寫碼單元執行變換時作為基礎之變換單元。舉例而言，變換單元可為第一框內變換單元822、第二框內變換單元824、第一框間變換單元826或第二框間變換單元828。
視訊解碼裝置200之影像資料及編碼資訊提取器220可提取且使用資訊800、810以及820以用於對對應於深度之寫碼單元進行解碼。
圖9為說明根據本發明之實施例的對應於深度的寫碼單元的圖。
分裂資訊可用以指示深度改變。分裂資訊指示當前深度之寫碼單元是否被分裂為較下層深度之寫碼單元。
用於對深度為0且大小為2N_0×2N_0之寫碼單元900進行預測編碼的預測單元910可包含大小為2N_0×2N_0之分割區類型912、大小為2N_0×N_0之分割區類型914、大小為N_0×2N_0之分割區類型916以及大小為N_0×N_0的分割區類型918之分割區。儘管圖9僅說明藉由對稱地分裂預測單元910而獲得之分割區類型912至918，但分割區類型不限於此，且預測單元910之分割區可包含非對稱分割區、具有任意形狀之分割區以及具有幾何形狀的分割區。
根據每一分割區類型，對大小為2N_0×2N_0之一個分割區、大小為2N_0×N_0之兩個分割區、大小為N_0×2N_0之兩個分割區以及大小為N_0×N_0的四個分割區重複地執行預測編碼。根據框內模式以及框間模式，可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分割區執行預測編碼。根據跳過模式，僅對大小為2N_0×2N_0之分割區執行預測編碼。
若編碼錯誤在分割區類型912至916中之一者中最小，則預測單元910不可分裂為較下層深度。
若編碼錯誤在分割區類型918中最小，則深度自0改變為1以在操作920中分裂分割區類型918，且對具有深度為2且大小為N_0×N_0之分割區的寫碼單元930重複地執行編碼以搜尋最小編碼錯誤。
用於對深度為1且大小為2N_1×2N_1（=N_0×N_0）之寫碼單元930進行預測編碼的預測單元940可包含大小為2N_1×2N_1之分割區類型942、大小為2N_1×N_1之分割區類型944、大小為N_1×2N_1之分割區類型946以及大小為N_1×N_1的分割區類型948之分割區。
若編碼錯誤在大小為N_1×N_1之分割區類型948中最小，則深度自1改變為2以在操作950中分裂分割區類型948，且對深度為2且大小為N_2×N_2之寫碼單元960重複地執行編碼以搜尋最小編碼錯誤。
當最大深度為d時，可設定對應於深度之寫碼單元直至深度變為d-1時，且可設定分裂資訊直至深度為d-2時。換言之，當在操作970中分裂對應於深度d-2之寫碼單元之後執行編碼直至深度為d-1時，用於對深度為d-1且大小為2N_（d-1）×2N_（d-1）之寫碼單元980進行預測編碼的預測單元990可包含大小為2N_（d-1）×2N_（d-1）之分割區類型992、大小為2N_（d-1）×N_（d-1）之分割區類型994、大小為N_（d-1）×2N_（d-1）之分割區類型996以及大小為N_（d-1）×N_（d-1）的分割區類型998之分割區。
可對分割區類型992至998中的大小為2N_（d-1）×2N_（d-1）之一個分割區、大小為2N_（d-1）×N_（d-1）之兩個分割區、大小為N_（d-1）×2N_（d-1）之兩個分割區以及大小為N_（d-1）×N_（d-1）的四個分割區重複地執行預測編碼，以便搜尋具有最小編碼錯誤的分割區類型。
即使當分割區類型998具有最小編碼錯誤時，由於最大深度為d，因此深度為d-1之寫碼單元CU_（d-1）亦不再被分裂為較下層深度，且當前最大寫碼單元900之經寫碼之深度被判定為d-1，且可將寫碼單元900的分割區類型判定為N_（d-1）×N_（d-1）。且，由於最大深度為d，因此不設定深度為（d-1）之寫碼單元952之分裂資訊。
資料單元999可為當前最大寫碼單元900之「最小單元」。根據本發明之實施例的最小單元可為藉由將具有最下層經寫碼深度的最小單元分裂為4份而獲得的矩形資料單元。藉由如上文所述重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900之深度比較編碼錯誤且選擇具有最少編碼錯誤的深度來判定經寫碼之深度，且將寫碼單元900之分割區類型以及預測模式設定為經寫碼之深度的編碼模式。
因而，將根據深度（亦即深度0、1、……、d-1以及d）的最小編碼錯誤彼此比較，且可將具有最少編碼錯誤之深度判定為經寫碼之深度。可對經寫碼之深度、預測單元之分割區類型以及預測模式進行編碼且作為關於編碼模式之資訊而傳輸。且，由於寫碼單元被自深度0分裂為經寫碼之深度，因此僅將經寫碼之深度的分裂資訊設定為0，且將不包括經寫碼之深度的其他深度的分裂資訊設定為1。
視訊解碼裝置200之影像資料及編碼資訊提取器220可提取且使用關於寫碼單元900之經寫碼之深度以及預測單元的資訊以對分割區912進行解碼。視訊解碼裝置200可基於根據深度之分裂資訊而將對應於分裂資訊「0」之深度判定為經寫碼之深度，且可在解碼過程期間使用關於經寫碼深度的編碼模式的資訊。
圖10、圖11與圖12為說明根據本發明之實施例的寫碼單元1010、預測單元1060與變換單元1070之間的關係的圖。
寫碼單元1010為對應於最大寫碼單元之由視訊編碼裝置100判定之經寫碼深度的寫碼單元。預測單元1060為各別寫碼單元1010的預測單元的分割區，且變換單元1070為各別寫碼單元1010的變換單元。
在寫碼單元1010中，若最大寫碼單元之深度為0，則寫碼單元1012以及1054之深度為1，寫碼單元1014、1016、1018、1028、1050以及1052之深度為2，寫碼單元1020、1022、1024、1026、1030、1032以及1048之深度為3，且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，一些分割區1014、1016、1022、1032、1048、1050、1052以及1054被分裂為自寫碼單元分裂之分割區。換言之，分割區1014、1022、1050以及1054之分割區類型為2N×N，分割區1016、1048以及1052之分割區類型為N×2N，且分割區1032的分割區類型為N×N。寫碼單元1010之預測單元以及分割區小於或等於與所述寫碼單元對應之寫碼單元。
在變換單元1070中，基於小於寫碼單元1052之資料單元對對應於寫碼單元1052之影像資料執行變換或逆變換。且，變換單元1014、1016、1022、1032、1048、1050、1052以及1054為大小與形狀不同於預測單元1060中的對應預測單元以及分割區的資料單元。換言之，根據本發明之實施例的視訊編碼裝置100以及視訊解碼裝置200可基於不同資料單元而對同一寫碼單元個別地執行框內預測、運動估計、運動補償、變換以及逆變換。
因此，可以每一最大寫碼單元之區域為單位，藉由以遞回方式對具有階層式結構之寫碼單元進行編碼以判定最佳寫碼單元，由此獲得具有遞回樹狀結構之寫碼單元。編碼資訊可包含關於寫碼單元之分裂資訊、關於分割區類型之資訊、關於預測模式之資訊，以及關於變換單元之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊的實例。 [表1]
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之寫碼單元的編碼資訊，且視訊解碼裝置200之影像資料及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之寫碼單元的編碼資訊。
分裂資訊指示當前寫碼單元是否分裂為較下層深度之寫碼單元。若當前深度d之分裂資訊為0，則當前寫碼單元不再分裂為較下層深度之寫碼單元之深度為經寫碼之深度，且因而可針對經寫碼之深度而定義關於分割區類型、預測模式以及變換單元之大小的資訊。若根據分裂資訊進一步分裂當前寫碼單元，則對較下層深度之四個分裂寫碼單元獨立地執行編碼。
預測模式可為框內模式、框間模式以及跳過模式中之一者。可針對所有分割區類型定義框內模式以及框間模式，且僅針對2N×2N分割區類型定義跳過模式。
關於分割區類型之資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N之對稱分割區類型，其是藉由對稱地分裂預測單元之高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分割區類型，其是藉由非對稱地分裂預測單元之高度或寬度而獲得。可藉由以1:3以及3:1分裂預測單元之高度來分別獲得大小為2N×nU以及2N×nD之非對稱分割區類型，且可藉由以1:3以及3:1分裂預測單元的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分割區類型。
變換單元之大小可在框內模式中設定為兩種類型且在框間模式中設定為兩種類型。換言之，若變換單元之分裂資訊為0，則變換單元之大小可為2N×2N，此等於當前寫碼單元之大小。若變換單元之分裂資訊為1，則可藉由分裂當前寫碼單元來獲得變換單元。且，當大小為2N×2N之當前寫碼單元的分割區類型為對稱分割區類型時，變換單元之大小可為N×N，且當所述當前寫碼單元之分割區類型為非對稱分割區類型時，變換單元的大小可為N/2×N/2。
關於具有樹狀結構之寫碼單元的編碼資訊可指派給對應於經寫碼之深度的寫碼單元、預測單元以及最小單元中的至少一者。對應於經寫碼之深度的寫碼單元可包含含有相同編碼資訊之至少一個預測單元以及至少一個最小單元。
因此，可藉由比較鄰近資料單元之編碼資訊來判定鄰近資料單元是否包含於對應於同一經寫碼之深度的寫碼單元中。且，可使用資料單元之編碼資訊來判定對應於經寫碼之深度的寫碼單元。因而，可判定在最大寫碼單元中經寫碼之深度的分佈。
因此，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則可直接參考且使用鄰近於當前寫碼單元的對應於深度之寫碼單元中的資料單元的編碼資訊。
或者，若基於鄰近寫碼單元而預測當前寫碼單元，則可基於對應於深度之鄰近寫碼單元的編碼資訊，藉由自對應於深度之寫碼單元中搜尋鄰近於當前寫碼單元之資料單元來參考鄰近寫碼單元。
圖13為根據表1之編碼模式資訊的說明寫碼單元、預測單元與變換單元之間的關係的圖。
最大寫碼單元1300包含經寫碼之深度的寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於寫碼單元1318為經寫碼之深度的寫碼單元，因此其分裂資訊可設定為0。關於大小為2N×2N之寫碼單元1318之分割區類型的資訊可設定為以下中的一者：大小為2N×2N之分割區類型1322、大小為2N×N之分割區類型1324、大小為N×2N之分割區類型1326、大小為N×N之分割區類型1328、大小為2N×nU之分割區類型1332、大小為2N×nD之分割區類型1334、大小為nL×2N之分割區類型1336以及大小為nR×2N之分割區類型1338。
舉例而言，若分割區類型被設定為對稱分割區類型（例如，分割區類型1322、1324、1326或1328），則在變換單元分裂資訊（TU大小旗標）為「0」時設定大小為2N×2N之變換單元1342，且在TU大小旗標為「1」時設定大小為N×N之變換單元1344。
若分割區類型被設定為非對稱分割區類型（例如，分割區類型1332、1334、1336或1338），則在TU大小旗標為0時設定大小為2N×2N之變換單元1352，且在TU大小旗標為1時設定大小為N/2×N/2之變換單元1354。
圖14為根據本發明之實施例的被階層式分類的影像編碼過程與影像解碼過程的圖。
由圖1之視訊編碼裝置100或圖4之影像編碼器400執行之編碼過程可分類為：在本身處置影像編碼過程之視訊寫碼層（video coding layer；VCL）1410中執行的編碼過程；以及在NAL 1420中執行的編碼過程，其產生在VCL 1410與較下層系統1430之間編碼之影像資料與額外資訊，所述較下層系統1430傳輸且儲存經編碼之影像資料作為根據預定格式的位元串流，如圖14中所示。作為圖1之視訊編碼裝置100的最大寫碼單元分裂器110與寫碼單元判定器120的編碼過程的輸出之經編碼之資料1411為VCL資料，且經編碼之資料1411經由輸出單元130映射至VCL NAL單元1421。且，諸如關於由VCL 1410用來產生經編碼之資料1411的寫碼單元的分裂資訊、分割區類型資訊、預測模式資訊以及變換單元大小資訊的與VCL 1410之編碼過程直接有關的資訊亦映射至VCL NAL單元1421。與編碼過程有關之參數集資訊1412被映射至非VCL NAL單元1422。特定言之，根據本發明之實施例，指示由解碼器對影像圖框進行解碼所需之緩衝器的最大大小的max_dec_frame_buffering語法、指示需要重新排序之影像圖框的數目的num_reorder_frames語法，以及用於判定MaxLatencyFrames語法的max_latency_increase語法被映射至非VCL NAL單元1422。VCL NAL單元1421與非VCL NAL單元1422兩者均為NAL單元，其中VCL NAL單元1421包含經壓縮且經編碼之影像資料，且非VCL NAL單元1422包含對應於圖框之影像序列以及標頭資訊的參數。
類似地，由圖2的視訊解碼裝置200或圖5的影像解碼器500執行之解碼過程可分類為：在本身處置影像解碼過程之VCL 1410中執行的解碼過程；以及在NAL 1420中執行的解碼過程，其自在VCL 1410與較下層系統1430之間所接收且讀取之位元串流中獲得經編碼之影像資料以及額外資訊，其中所述較下層系統1430接收且讀取經編碼之影像資料，如圖14中所示。在圖2之視訊解碼裝置200的接收器210與影像資料及編碼資訊提取器220中執行的解碼過程對應於NAL 1420的解碼過程，且影像資料解碼器230之解碼過程對應於VCL 1410的解碼過程。換言之，接收器210與影像資料及編碼資訊提取器220自位元串流1431獲得：VCL NAL單元1421，其包含用於產生經編碼之影像資料與經編碼之資料的資訊（諸如寫碼單元之分裂資訊、分割區類型資訊、預測模式資訊以及變換單元大小資訊）；以及非VCL NAL單元1422，其包含與編碼過程有關的參數集資訊。特定言之，根據本發明之實施例，指示由解碼器對影像圖框進行解碼所需之緩衝器的最大大小的max_dec_frame_buffering語法、指示需要重新排序之影像圖框的數目的num_reorder_frames語法，以及用於判定MaxLatencyFrames語法的max_latency_increase語法包含於非VCL NAL單元1422中。
圖15為根據本發明之實施例的NAL單元1500之結構的圖。
參看圖15，NAL單元1500包含NAL標頭1510以及原始位元組序列有效負載（raw byte sequence payload；RBSP）1520。RBSP填充位元1530為添加至RBSP 1520的末端，從而按8位元之倍數表示RBSP 1520之長度的長度調整位元。RBSP填充位元1530自「1」開始，且包含根據RBSP 1520之長度而判定之連續的「0」，從而具有類似「100…」的型樣。藉由搜尋作為初始位元值的「1」，可判定RBSP 1520之最後一個位元的位置。
NAL標頭1510包含：旗標資訊（nal_ref_idc）1512，其指示是否包含構成對應NAL單元之參考圖像的圖塊；以及識別符（nal_unit_type）1513，其指示NAL單元之類型。位於NAL標頭1510之開頭的「1」1511為固定位元。
根據nal_unit_type 1513的值，NAL單元1500可分類為瞬時解碼再新（instantaneous decoding refresh；IDR）圖像、清潔隨機存取（clean random access；CRA）圖像、SPS、圖像參數集（picture parameter set；PPS）、補充增強資訊（supplemental enhancement information；SEI），以及調適參數集（adaption parameter set；APS）。表2展示根據nal_unit_type 1513之值的NAL單元1500的類型。 [表2]
如上文所述，根據本發明之實施例，max_dec_frame_buffering語法、num_reorder_frames語法以及max_latency_increase語法作為強制組件包含於NAL單元（具體而言，對應於影像序列之標頭資訊的SPS）中。
在下文中，將詳細描述在編碼過程期間判定被包含為SPS之強制組件之max_dec_frame_buffering語法、num_reorder_frames語法以及max_latency_increase語法的過程。
在VCL中解碼之影像圖框儲存於DPB 580中，其為影像解碼器500之影像緩衝器記憶體。DPB 580將每一所儲存圖像標記為針對短期而參考的短期參考圖像、針對長期而參考的長期參考圖像，或不被參考的非參考圖像。經解碼之圖像儲存於DPB 580中，根據輸出次序重新排序，並在輸出時序或在所述經解碼之圖像不被另一影像圖框參考時的經指派時間自DPB 580輸出。
在諸如H.264 AVC編碼解碼器的普通編碼解碼器中，復原影像圖框所需之DPB的最大大小由設定檔（profile）以及層級（level）定義或經由選擇性地傳輸的視訊可用性資訊（video usability information；VUI）定義。舉例而言，由H.264 AVC編碼解碼器定義之DPB的最大大小如下表3所定義。 [表3]
在表3中，關於30 Hz影像定義DPB的最大大小，且在H.264 AVC編碼解碼器中，藉由使用經由VUI選擇性地傳輸之max_dec_frame_buffering語法，或者若max_dec_frame_buffering語法不包含於VUI中，則依據表3中所示之設定檔以及層級根據預定的表來判定DPB的最大大小。若解碼器之解析度為400×240（WQVGA）且輸出影像之頻率為30 Hz，則DPB的最大大小（MaxDpbSize）為13，亦即，DPB的最大大小被設定為儲存13個經解碼之圖像。
在普通的視訊編碼解碼器中，關於DPB之最大大小的資訊並非必須進行傳輸，而是選擇性地進行傳輸。因此，在普通的視訊編碼解碼器中，無法一直使用關於由解碼器對影像序列進行解碼所需之DPB之最大大小的資訊。當不傳輸此類資訊時，解碼器使用如上文表3中所示的根據設定檔以及層級而預定的DPB之最大大小。然而，在對影像序列進行編碼以及解碼之過程期間實際所需之DPB的大小通常小於表3中的DPB的最大大小。因而，若使用如表3中所示之預定的最大大小，則可能浪費解碼器之系統資源。且，根據普通的視訊編碼解碼器，由於解碼器之DPB的大小小於表3的預定最大大小，但是大於復原影像圖框實際所需的大小，因此，若儘管解碼器能夠對影像序列進行解碼，但是並不傳輸關於解碼過程所需之DPB之最大大小的資訊，則表3之預定最大大小被設定為解碼過程所需之DPB的大小，且因而可能無法執行解碼過程。因此，根據本發明之實施例的影像編碼方法與裝置在包含最大大小作為SPS之強制組件之後，將DPB之最大大小傳輸至解碼裝置，且影像解碼方法與裝置可藉由使用包含於SPS中的最大大小來設定DPB的最大大小。
圖16A與圖16B為用於描述在影像序列之編碼過程期間根據解碼次序所需之DPB的最大大小資訊的參考圖。
參看圖16A，假設編碼器以I0、P1、P2、P3與P4之次序執行編碼，且藉由按照箭頭所指示之方向參考圖像來執行編碼。與此編碼次序類似，以I0、P1、P2、P3與P4之次序執行解碼。在圖16A中，由於圖像參考即刻進行預先解碼的一個參考圖像，因此對影像序列正常地進行解碼所需之DPB的最大大小為1。
參看圖16B，假設編碼器藉由按照箭頭所指示之方向參考圖像，從而以I0、P2、b1、P4與b3之次序執行編碼。由於解碼次序與編碼次序相同，因此以I0、P2、b1、P4與b3之次序執行解碼。在圖16B的影像序列中，由於P圖像參考被預先解碼之I圖像或P圖像的一個參考圖像，且b圖像參考被預先解碼之I圖像或P圖像的兩個參考圖像，因此對影像序列正常地進行解碼所需之DPB的最大大小為2。儘管對影像序列正常地進行解碼所需之DPB的最大大小如圖16A與圖16B所示具有較小值1或2，但是若不單獨地傳輸關於DPB之最大大小的資訊，則解碼器必須使用關於根據視訊編碼解碼器之設定檔與層級而預定的DPB之最大大小的資訊。若解碼器的DPB的最大值為3，亦即，能夠儲存最多3個經解碼之影像圖框，且DPB的最大大小根據表3設定為13，此為根據視訊編碼解碼器之設定檔或層級而預定的值，則儘管DPB的大小足以對經編碼之影像圖框進行解碼，但DPB的大小小於DPB的預定最大大小，且因而解碼器可能錯誤地判定出無法對經編碼之影像圖框進行解碼。
因此，根據本發明之實施例的視訊編碼裝置100基於形成影像序列之影像圖框的編碼次序（或解碼次序）以及由影像圖框參考之參考圖框的編碼次序（解碼次序），判定指示由解碼器對每一影像圖框進行解碼所需之DPB的最大大小的max_dec_frame_buffering語法，並將max_dec_frame_buffering語法插入對應於影像序列之標頭資訊的SPS且隨所述SPS傳輸。視訊編碼裝置100將max_dec_frame_buffering語法作為強制資訊而非選擇性資訊包含於SPS中。
同時，當經解碼之圖像儲存於普通的視訊編碼解碼器中的解碼器的DPB中，且需要新的空間來儲存經解碼之圖像時，經由提昇（bumping）自DPB輸出具有最低顯示次序（圖像次序計數）之參考圖像，以便獲得用於儲存新的參考圖像的空白空間。在普通的視訊編碼解碼器中，解碼器僅能夠在經由此類提昇過程自DPB輸出經解碼之圖像時顯示經解碼之圖像。然而，當照這樣經由提昇過程顯示經解碼之圖像時，預先解碼之參考圖像的輸出被延遲直至提昇過程。
圖17為說明根據與本發明有關之視訊編碼解碼器領域中之提昇過程自DPB輸出經解碼之圖像的過程的圖。在圖17中，假設DPB的最大大小（MaxDpbSize）為4，亦即，DPB可儲存最多四個經解碼之圖像。
參看圖17，在普通的視訊編碼解碼器領域中，若儘管I0圖像根據解碼次序為第一個進行解碼，但要將在I0圖像之後4個圖框處進行解碼的P4圖框儲存於DPB中，則可經由提昇過程自DPB輸出且顯示I0圖像。因此，在自解碼時間起延遲4個圖框之後輸出I0圖像。
因此，根據本發明之實施例的視訊解碼裝置200在不使用提昇過程的情況下自DPB快速輸出經解碼之圖像，方法為：藉由使用MaxLatencyFrames語法設定自每一經解碼之圖像儲存於DPB中的時刻起的預定潛時參數，所述MaxLatencyFrames語法指示基於顯示次序位於影像序列中的預定圖框之前但基於解碼次序位於預定圖框之後的影像圖框之最大數目；每當根據解碼次序對影像序列中的每一圖像進行解碼時將儲存於DPB中之經解碼之圖像的潛時參數之計數增大1；以及自DPB輸出潛時參數之計數已達到MaxLatencyFrames語法的經解碼圖像。換言之，視訊解碼裝置200最初在經解碼之圖像儲存於DPB中時將0作為潛時參數指派給儲存於DPB中的經解碼之圖像，且每當根據解碼次序依次對隨後的圖像進行解碼時，將潛時參數增大1。且，視訊解碼裝置200比較潛時參數與MaxLatencyFrames語法，從而自DPB輸出潛時參數與MaxLatencyFrames語法具有同一值的經解碼之圖像。
舉例而言，當MaxLatencyFrames語法為n時，其中n為整數，基於解碼次序第一個進行解碼且儲存於DPB中的經解碼之圖像的潛時參數被指派為0。然後，每當根據解碼次序對隨後的圖像進行解碼時，第一個進行解碼之圖像的潛時參數便增大1，且當潛時參數達到n時，亦即在對基於解碼次序第n個進行編碼之圖像進行解碼之後，自DPB輸出第一個進行解碼以及儲存的圖像。
圖18為根據本發明之實施例的用於描述藉由使用MaxLatencyFrames語法自DPB輸出經解碼之圖像的過程的圖。在圖18中，假設DPB的最大大小（MaxDpbSize）為4，亦即，DPB能夠儲存最多4個經解碼之圖像，且MaxLatencyFrames語法為0。
參看圖18，由於MaxLatencyFrames語法的值為0，因此視訊解碼裝置200可即刻輸出經解碼之圖像。在圖18中，MaxLatencyFrames語法的值在極端狀況下為0，但是，若MaxLatencyFrames語法的值小於4，則相比於經解碼之圖像經由提昇過程自解碼時間起延遲4個圖框之後自DPB輸出的時間，自DPB輸出經解碼之圖像的時間點可提前。
同時，當MaxLatencyFrames語法的值較小時經解碼之圖像的輸出時間可提前，但是由於儲存於DPB中的經解碼之圖像應根據與編碼器所判定之顯示次序相同的顯示次序進行顯示，因此即使經解碼之圖像被預先解碼，亦不應自DPB輸出經解碼之圖像，直至達到其顯示次序。
因此，視訊編碼裝置100在對形成影像序列之影像圖框中的每一者進行編碼時，判定指示基於每一影像圖框之編碼次序與顯示次序之間的最大差值的最大潛時圖框的MaxLatencyFrames語法，將MaxLatencyFrames語法插入至SPS之強制組件中，並將MaxLatencyFrames語法傳輸至影像解碼裝置200。
或者，視訊編碼裝置100可將用於判定MaxLatencyFrames語法的語法，以及指示需要重新排序之影像圖框的數目的語法插入至SPS中，而非將MaxLatencyFrames語法直接插入至SPS中。詳言之，視訊編碼裝置100可判定指示需要重新排序之影像圖框的最大數目的num_reorder_frames語法，此是因為在形成影像序列之影像圖框中影像圖框基於編碼次序首先進行編碼，而基於顯示次序在後編碼之影像圖框之後顯示；且將MaxLatencyFrames語法與num_reorder_frames語法之間的差值，亦即MaxLatencyFrames語法-num_reorder_frames語法的值，而非用於判定MaxLatencyFrames語法之max_latency_increase語法插入至SPS中。當num_reorder_frames語法與max_latency_increase語法（而非MaxLatencyFrames語法）被插入至SPS中且隨所述SPS傳輸時，視訊解碼裝置200可藉由使用（num_reorder_frames_+max_latency_increase）之值來判定MaxLatencyFrames語法。
圖19A至圖19D為用於描述根據本發明之實施例的MaxLatencyFrames語法以及num_reorder_frames語法的圖。在圖19A至圖19D中，POC表示顯示次序，且在編碼器與解碼器中的形成影像序列之影像圖框的編碼次序與解碼次序相同。且，影像序列中圖像F0至F9上方的箭頭指示參考圖像。
參看圖19A，位於顯示次序上的最後一個以及在編碼次序上第二個進行編碼的圖像F8為在顯示次序與編碼次序之間具有最大差值的圖像。且，由於圖像F8在圖像F1至F7之前進行編碼，但在顯示次序上位於圖像F2至F7之後，因此圖像F8需要重新排序。因而，對應於圖19A中所示之影像序列的num_reorder_frames語法為1。視訊編碼裝置100可將7（其為圖像F8之顯示次序與編碼次序之間的差值）設定為MaxLatencyFrames語法的值，將MaxLatencyFrames語法的值插入為SPS之強制組件，且將MaxLatencyFrames語法的值傳輸至視訊解碼裝置200。或者，視訊編碼裝置100可將7（其為MaxLatencyFrames語法的值8與num_reorder_frames語法的值1之間的差值）設定為max_latency_increase語法的值，將num_reorder_frames語法與max_latency_increase語法（而非MaxLatencyFrames語法）插入為SPS的強制組件，且將num_reorder_frames語法與max_latency_increase語法傳輸至視訊解碼裝置200。
視訊解碼裝置200可將隨SPS傳輸之num_reorder_frames語法與max_latency_increase語法相加以判定MaxLatencyFrames語法，且在不使用提昇過程的情況下藉由使用MaxLatencyFrames語法來判定儲存於DPB中的經解碼之圖像的輸出時間。
在圖19B之影像序列中，不包括圖像F0的所有圖像之顯示次序與編碼次序之間的差為1。圖像F2、F4、F6以及F8為圖19B之影像序列之圖像中的編碼次序慢但顯示次序快的圖像，且因而需要重新排序。基於圖像F2、F4、F6以及F8中的每一者，僅有一個具有慢的編碼次序但具有快的顯示次序的圖像。舉例而言，與F2相比，僅有圖像F1具有較慢的編碼次序但具有較快的顯示次序。因此，圖19B之影像序列之num_reorder_frames語法的值為1。視訊編碼裝置100可將1設定為MaxLatencyFrames語法的值，將MaxLatencyFrames語法的值插入為SPS之強制組件，且將MaxLatencyFrames語法的值傳輸至視訊解碼裝置200。或者，視訊編碼裝置100可將0（其為MaxLatencyFrames語法的值1與num_reorder_frames語法的值1之間的差值）設定為max_latency_increase語法的值，將num_reorder_frames語法與max_latency_increase語法（而非MaxLatencyFrames語法）插入為SPS之強制組件，且將num_reorder_frames語法與max_latency_increase語法傳輸至視訊解碼裝置200。
視訊解碼裝置200可將隨SPS傳輸之num_reorder_frames語法與max_latency_increase語法相加，以判定MaxLatencyFrames語法，且在不使用提昇過程的情況下藉由使用MaxLatencyFrames語法來判定儲存於DPB中的經解碼圖像的輸出時間。
在圖19C之影像序列中，位於顯示次序的最後一個且在編碼次序上第二個進行編碼的圖像F8在顯示次序與編碼次序之間具有最大差值7。因此，MaxLatencyFrames語法為7。且，圖像F4與F8需要重新排序，此是因為圖像F4與F8基於解碼次序在圖像F1至F3之前進行編碼且儲存於DPB中，但是基於顯示次序相比圖像F1至F3較晚進行顯示，且因此num_reorder_frames語法的值為2。視訊編碼裝置100可將7設定為MaxLatencyFrames語法的值，將MaxLatencyFrames語法的值插入為SPS之強制組件，且將MaxLatencyFrames語法的值傳輸至視訊解碼裝置200。或者，視訊編碼裝置100可將5（其為MaxLatencyFrames語法的值7與num_reorder_frames語法的值2之間的差值）設定為max_latency_increase語法的值，將num_reorder_frames語法與max_latency_increase語法（而非MaxLatencyFrames）插入為SPS之強制組件，且將num_reorder_frames語法與max_latency_increase語法傳輸至視訊解碼裝置200。
視訊解碼裝置200可將隨SPS傳輸之num_reorder_frames語法與max_latency_increase語法相加，以判定MaxLatencyFrames語法，且在不使用提昇過程的情況下藉由使用MaxLatencyFrames語法來判定儲存於DPB中的經解碼圖像的輸出時間。
在圖19D之影像序列中，圖像F4與F8具有顯示次序與編碼次序之間的差值的最大值3。因此，MaxLatencyFrames語法的值為3。且，圖像F2與F4需要重新排序，此是因為圖像F2與F4在圖像F1之前進行編碼，但是基於顯示次序相比於圖像F1較晚進行顯示。且，圖像F6與F8需要重新排序，此是因為圖像F6與F8在圖像F5之前進行編碼，而基於顯示次序相比於圖像F5較晚進行顯示。因而num_reorder_frames語法的值為2。視訊編碼裝置100可將3設定為MaxLatencyFrames語法的值，將MaxLatencyFrames語法的值插入為SPS之強制組件，且將MaxLatencyFrames語法的值傳輸至視訊解碼裝置200。或者，視訊編碼裝置100可將1（其為MaxLatencyFrames語法的值3與num_reorder_frames語法的值2之間的差值）設定為max_latency_increase語法的值，將num_reorder_frames語法與max_latency_increase語法（而非MaxLatencyFrames）插入為SPS之強制組件，且將num_reorder_frames語法與max_latency_increase語法傳輸至視訊解碼裝置200。
視訊解碼裝置200可將隨SPS傳輸之num_reorder_frames語法與max_latency_increase語法相加，以判定MaxLatencyFrames語法，且在不使用提昇過程的情況下藉由使用MaxLatencyFrames語法來判定儲存於DPB中的經解碼之圖像的輸出時間。
圖20為說明根據本發明之實施例的影像編碼方法的流程圖。
參看圖20，在操作2010中，在視訊編碼裝置100之VCL中執行編碼的最大寫碼單元分裂器110與寫碼單元判定器120（在下文中通稱為編碼器）藉由執行運動預測及補償來判定形成影像序列之影像圖框中之每一者的參考圖框，且藉由使用所判定的參考圖框來對每一影像圖框進行編碼。
在操作2020中，輸出單元130基於影像圖框的編碼次序、由影像圖框參考之參考圖框的編碼次序、影像圖框的顯示次序以及參考圖框的顯示次序，判定由解碼器對每一影像圖框進行解碼所需之緩衝器的最大大小，以及需要重新排序之影像圖框的數目。詳言之，輸出單元130基於影像圖框的編碼次序（或解碼次序）以及由影像圖框參考之參考圖框的編碼次序（或解碼次序）判定指示由解碼器對每一影像圖框進行解碼所需之DPB的最大大小的max_dec_frame_buffering語法，將max_dec_frame_buffering語法插入至對應於影像序列之標頭資訊的SPS中，且將max_dec_frame_buffering語法傳輸至編碼器。如上文所述，輸出單元130將max_dec_frame_buffering語法作為強制資訊而非選擇性資訊包含於SPS中。
在操作2030中，輸出單元130基於需要重新排序之影像圖框的數目，判定形成影像序列之影像圖框中的在編碼次序與顯示次序之間具有最大差之影像圖框的潛時資訊。詳言之，輸出單元130在對形成影像序列之影像圖框進行編碼的同時，基於每一影像圖框之編碼次序與顯示次序之間的差之最大值判定MaxLatencyFrames語法。且，輸出單元130可判定num_reorder_frames語法，其指示基於影像序列之影像圖框中之預定影像圖框根據編碼次序首先進行編碼且基於顯示次序在後編碼之影像圖框之後進行顯示且因而需要重新排序之影像圖框的最大數目，且將MaxLatencyFrames語法與num_reorder_frames語法之間的差值（亦即，MaxLatencyFrames語法-num_reorder_frames的值）作為用於判定MaxLatencyFrames語法之max_latency_increase語法插入至SPS中。若num_reorder_frames語法以及指示MaxLatencyFrames語法-num_reorder_frames語法之值的max_latency_increase語法（而非MaxLatencyFrames語法）包含於SPS中且隨所述SPS傳輸，則視訊解碼裝置200可藉由使用MaxLatencyFrames語法-num_reorder_frames語法之值來判定MaxLatencyFrames語法。
在操作2040中，輸出單元130藉由將max_dec_frame_buffering語法、num_reorder_frames語法以及max_latency_increase語法包含作為SPS之強制組件來產生位元串流。
圖21為說明根據本發明之實施例的影像解碼方法的流程圖。
參看圖21，在操作2110中，影像資料及編碼資訊提取器220自位元串流獲得NAL之NAL單元，且自包含SPS之NAL單元獲得指示緩衝器之最大大小的max_dec_frame_buffering語法、指示需要重新排序之影像圖框之數目的num_reorder_frames語法，以及用於判定MaxLatencyFrames語法的max_latency_increase語法。
在操作2120中，包含於影像資料解碼器230中之DPB藉由使用max_dec_frame_buffering語法來設定對影像序列進行解碼所需之緩衝器的最大大小。
在操作2130中，影像資料及編碼資訊提取器220獲得包含於VCL NAL單元中之影像圖框的經編碼之資料，且將所獲得的經編碼之資料輸出至影像資料解碼器230。影像資料解碼器230藉由對經編碼之影像資料進行解碼來獲得經解碼之影像圖框。
在操作2140中，影像資料解碼器230之DPB儲存經解碼之影像圖框。
在操作2150中，DPB藉由使用num_reorder_frames語法以及max_latency_increase語法來判定是否輸出所儲存的經解碼之影像圖框。詳言之，DPB藉由將num_reorder_frames語法及max_latency_increase語法相加來判定MaxLatencyFrames語法。DPB針對每一經解碼且儲存之影像圖框設定預定潛時參數，每當根據解碼次序對影像序列之影像圖框進行解碼時將預定潛時參數的計數增大1，並輸出預定潛時參數之計數達到MaxLatencyFrames語法的經解碼之影像圖框。
本發明亦可體現為在電腦可讀記錄媒體上的電腦可讀程式碼。電腦可讀記錄媒體是可儲存可隨後由電腦系統讀取之資料的任一資料儲存裝置。電腦可讀記錄媒體的實例包含：唯讀記憶體（read-only memory；ROM）、隨機存取記憶體（random-access memory；RAM）、CD-ROM、磁帶、軟碟、光學資料儲存裝置等。亦可將電腦可讀記錄媒體分佈於網路耦接的電腦系統上，以便可按分佈方式儲存並執行電腦可讀程式碼。
雖然已參考例示性實施例特定展示和描述本發明，但所屬領域之熟習此項技術者應瞭解，在不違背所附申請專利範圍所定義之本發明之精神與範疇的情況下，可對形式與細節做出各種改變。應僅在描述意義上考慮例示性實施例，且非將其用於限制。因此，本發明之範疇並非由本發明之詳細描述定義，而是由所附之申請專利範圍定義，且所述範疇內之全部不同將解釋為包含於本發明中。
100‧‧‧視訊編碼裝置
110‧‧‧最大寫碼單元分裂器
120‧‧‧寫碼單元判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前圖框
410‧‧‧框內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考圖框
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧框內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧解碼圖像緩衝器
585‧‧‧參考圖框
600‧‧‧階層式結構
610‧‧‧寫碼單元/分割區/最大寫碼單元
612‧‧‧分割區
614‧‧‧分割區
616‧‧‧分割區
620‧‧‧寫碼單元/分割區
622‧‧‧分割區
624‧‧‧分割區
626‧‧‧分割區
630‧‧‧寫碼單元/分割區
632‧‧‧分割區
634‧‧‧分割區
636‧‧‧分割區
640‧‧‧寫碼單元/分割區
642‧‧‧分割區
644‧‧‧分割區
646‧‧‧分割區
650‧‧‧寫碼單元/分割區
652‧‧‧分割區
654‧‧‧分割區
656‧‧‧分割區
710‧‧‧寫碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分割區
804‧‧‧分割區
806‧‧‧分割區
808‧‧‧分割區
810‧‧‧資訊
812‧‧‧框內模式
814‧‧‧框間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一框內變換單元
824‧‧‧第二框內變換單元
826‧‧‧第一框間變換單元
828‧‧‧第二框內變換單元
900‧‧‧寫碼單元/當前最大寫碼單元
910‧‧‧預測單元
912‧‧‧分割區類型/分割區
914‧‧‧分割區類型
916‧‧‧分割區類型
918‧‧‧分割區類型
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分割區類型
944‧‧‧分割區類型
946‧‧‧分割區類型
948‧‧‧分割區類型
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元/最小寫碼單元
990‧‧‧預測單元
992‧‧‧分割區類型
994‧‧‧分割區類型
996‧‧‧分割區類型
998‧‧‧分割區類型
999‧‧‧資料單元
1010‧‧‧寫碼單元/編碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元/編碼單元
1016‧‧‧寫碼單元/編碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元/編碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元/編碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元/編碼單元
1050‧‧‧寫碼單元/編碼單元
1052‧‧‧寫碼單元/編碼單元
1054‧‧‧寫碼單元/編碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1300‧‧‧最大寫碼單元
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分割區類型
1324‧‧‧分割區類型
1326‧‧‧分割區類型
1328‧‧‧分割區類型
1332‧‧‧分割區類型
1334‧‧‧分割區類型
1336‧‧‧分割區類型
1338‧‧‧分割區類型
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
1410‧‧‧視訊寫碼層
1411‧‧‧經編碼之資料
1412‧‧‧參數集資訊
1420‧‧‧網路抽象層
1421‧‧‧VCL NAL單元
1422‧‧‧非VCL NAL單元
1430‧‧‧較下層系統
1431‧‧‧位元串流
1500‧‧‧NAL單元
1510‧‧‧NAL標頭
1511‧‧‧1
1512‧‧‧旗標資訊
1513‧‧‧識別符
1520‧‧‧原始位元組序列有效負載（RBSP）
1530‧‧‧RBSP填充位元
F1‧‧‧圖像
F2‧‧‧圖像
F3‧‧‧圖像
F4‧‧‧圖像
F5‧‧‧圖像
F6‧‧‧圖像
F7‧‧‧圖像
F8‧‧‧圖像
圖1為根據本發明之實施例的視訊編碼裝置的方塊圖。 圖2為根據本發明之實施例的視訊解碼裝置的方塊圖。 圖3說明根據本發明之實施例的寫碼單元的概念。 圖4為根據本發明之實施例的基於寫碼單元的影像編碼器的方塊圖。 圖5為根據本發明之實施例的基於寫碼單元的影像解碼器的方塊圖。 圖6為說明根據本發明之實施例的對應於深度的寫碼單元以及分割區的圖。 圖7為說明根據本發明之實施例的寫碼單元與變換單元之間關係的圖。 圖8為說明根據本發明之實施例的對應於深度的編碼資訊的圖。 圖9為說明根據本發明之實施例的對應於深度的寫碼單元的圖。 圖10、圖11與圖12為說明根據本發明之實施例的寫碼單元、預測單元與變換單元之間的關係的圖。 圖13為根據表1之編碼模式資訊的說明寫碼單元、預測單元與變換單元之間的關係的圖。 圖14為根據本發明之實施例的被階層式分類的影像編碼過程與影像解碼過程的圖。 圖15為根據本發明之實施例的網路抽象層（network abstraction layer；NAL）單元之結構的圖。 圖16A與圖16B為用於描述在影像序列之編碼過程期間根據解碼次序所需之解碼圖像緩衝器（DPB）的最大大小資訊的參考圖。 圖17為說明根據與本發明有關之視訊編碼解碼器領域中的提昇（bumping）過程自DPB輸出經解碼之圖像的過程的圖。 圖18為根據本發明之實施例的用於描述藉由使用MaxLatencyFrames語法自DPB輸出經解碼之圖像的過程的圖。 圖19A至圖19D為根據本發明之實施例的用於描述MaxLatencyFrames語法以及num_reorder_frames語法的圖。 圖20為說明根據本發明之實施例的影像編碼方法的流程圖。 圖21為說明根據本發明之實施例的影像解碼方法的流程圖。

Claims (1)

  1. 一種用於對影像進行解碼之裝置，所述裝置包括：影像資料及編碼資訊提取器，其用於自位元串流獲得指示對影像序列所包括的圖像進行解碼所需之緩衝器的最大大小的第一語法(max_dec_frame_buffering語法)、指示在所述影像序列中解碼次序可以在任何第一圖像之前而顯示次序可以在所述任何第一圖像之後且需要重新排序的圖像的最大數目的第二語法(num_reorder_frames語法)、以及用於獲得指示在所述影像序列中輸出次序可以在任何第二圖像之前而解碼次序可以在所述任何第二圖像之後的潛時資訊的第三語法(max_latency_increase語法)；解碼器，其用於對所述位元串流進行解碼；以及緩衝器，其用於儲存所述經解碼之影像圖框，其中所述解碼器根據所述第一語法來判定儲存經解碼之圖像的緩衝器的最大大小，且根據所述第二語法以及所述第三語法來判定是否輸出所述緩衝器所儲存的所述經解碼之圖像，其中所述第一語法、所述第二語法以及第三語法包含於參數集中，且其中所述解碼器在每當包括在所述影像序列中的一個影像圖框被解碼時以增加1至潛時參數的計數來增加儲存在所述緩衝器中的所述經解碼之影像圖框的所述潛時參數的計數，並在所述經解碼之影像圖框的所述潛時參數的計數等於所述潛時資訊時從所述緩衝器輸出所述經解碼之影像圖框。
TW106113476A 2011-11-25 2012-11-23 對影像進行解碼之裝置 TWI625055B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161563678P 2011-11-25 2011-11-25
US61/563,678 2011-11-25
KR1020120034093A KR20130058584A (ko) 2011-11-25 2012-04-02 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
??10-2012-0034093 2012-04-02

Publications (2)

Publication Number Publication Date
TW201725906A TW201725906A (zh) 2017-07-16
TWI625055B true TWI625055B (zh) 2018-05-21

Family

ID=48857817

Family Applications (5)

Application Number Title Priority Date Filing Date
TW101143953A TWI542199B (zh) 2011-11-25 2012-11-23 編碼影像的方法與裝置以及將影像解碼以管理解碼器的緩衝器的方法與裝置
TW107113183A TWI693819B (zh) 2011-11-25 2012-11-23 解碼影像的方法、用於編碼影像的裝置、編碼影像的方法、儲存位元串流的電腦可讀取記錄媒體
TW106113476A TWI625055B (zh) 2011-11-25 2012-11-23 對影像進行解碼之裝置
TW105116428A TWI587690B (zh) 2011-11-25 2012-11-23 對影像進行解碼之方法
TW109112038A TWI703855B (zh) 2011-11-25 2012-11-23 對影像進行解碼之裝置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW101143953A TWI542199B (zh) 2011-11-25 2012-11-23 編碼影像的方法與裝置以及將影像解碼以管理解碼器的緩衝器的方法與裝置
TW107113183A TWI693819B (zh) 2011-11-25 2012-11-23 解碼影像的方法、用於編碼影像的裝置、編碼影像的方法、儲存位元串流的電腦可讀取記錄媒體

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW105116428A TWI587690B (zh) 2011-11-25 2012-11-23 對影像進行解碼之方法
TW109112038A TWI703855B (zh) 2011-11-25 2012-11-23 對影像進行解碼之裝置

Country Status (13)

Country Link
US (7) US9438901B2 (zh)
EP (1) EP2785054A4 (zh)
JP (1) JP2014533917A (zh)
KR (6) KR20130058584A (zh)
CN (6) CN107483965B (zh)
AU (1) AU2012341242A1 (zh)
BR (1) BR112014012549A2 (zh)
CA (2) CA2995095C (zh)
IN (1) IN2014MN01173A (zh)
MX (5) MX2014006260A (zh)
TW (5) TWI542199B (zh)
WO (1) WO2013077665A1 (zh)
ZA (4) ZA201706409B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606722B (zh) 2011-06-30 2017-11-21 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
CN103297780A (zh) * 2013-06-06 2013-09-11 上海高清数字科技产业有限公司 提高解码速率的方法及系统
WO2015102439A1 (ko) * 2014-01-03 2015-07-09 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US9794626B2 (en) * 2014-05-01 2017-10-17 Qualcomm Incorporated Partitioning schemes in multi-layer video coding
US9930341B2 (en) * 2014-06-20 2018-03-27 Qualcomm Incorporated Block vector coding for intra block copying
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US10587881B2 (en) * 2015-05-29 2020-03-10 Hfi Innovation Inc. Method of decoded picture buffer management for intra block copy mode
CN107925769B (zh) 2015-09-08 2020-11-27 联发科技股份有限公司 管理已解码图像缓存器的方法及视频编码器或视频解码器
WO2017049518A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Techniques for video playback decoding surface prediction
CN112565792B (zh) * 2015-10-19 2023-07-11 寰发股份有限公司 管理已解码图像缓存器的方法及装置
US10805637B2 (en) * 2016-05-16 2020-10-13 Samsung Electronics Co., Ltd. Video encoding method and apparatus, video decoding method and apparatus
US11025933B2 (en) * 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN107071385B (zh) * 2017-04-18 2019-01-25 杭州派尼澳电子科技有限公司 一种基于h265引入视差补偿的立体视频编码方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
KR102468596B1 (ko) * 2017-07-31 2022-11-21 에스케이텔레콤 주식회사 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치
JP2021535671A (ja) 2018-08-31 2021-12-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 符号化方法、復号方法、符号化機器、復号機器、およびコンピュータプログラム
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
KR102213901B1 (ko) * 2019-03-21 2021-02-08 삼성전자주식회사 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10861422B1 (en) * 2019-08-16 2020-12-08 Facebook Technologies, Inc. Display rendering
KR102436512B1 (ko) * 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP7473656B2 (ja) * 2020-01-09 2024-04-23 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ピクチャヘッダ存在
KR20230017236A (ko) * 2020-05-18 2023-02-03 엘지전자 주식회사 픽처 출력 관련 정보 기반 영상 또는 비디오 코딩
CN116195250A (zh) * 2020-06-09 2023-05-30 Lg电子株式会社 基于dpb操作的图像或视频编码
CN112351277B (zh) * 2020-11-04 2024-04-05 北京金山云网络技术有限公司 一种视频的编码方法和装置，视频的解码方法和装置
CN112468875B (zh) * 2020-11-30 2022-03-29 展讯通信(天津)有限公司 视频解码帧的显示输出控制方法及装置、存储介质、终端
CN112738525B (zh) * 2020-12-11 2023-06-27 深圳万兴软件有限公司 视频处理方法、装置及计算机可读存储介质
KR102241939B1 (ko) 2021-02-08 2021-04-19 주식회사 빌트이엔씨 기둥형 친환경 하이브리드 미세먼지 저감장치
US11695965B1 (en) * 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200922332A (en) * 2007-10-05 2009-05-16 Thomson Licensing Methods and apparatus for incorporating video usability information (VUI) within a multi-view video (MVC) coding system
US20100290533A1 (en) * 2009-05-15 2010-11-18 Texas Instruments Incorporated Encoders, decoders, codecs and systems and processes for their operation and manufacture

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331856B1 (en) * 1995-11-22 2001-12-18 Nintendo Co., Ltd. Video game system with coprocessor providing high speed efficient 3D graphics and digital audio signal processing
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
CN1941905A (zh) * 1996-09-02 2007-04-04 株式会社东芝 编解码设备及编码/多路复用设备和解码/多路分解设备
US6542549B1 (en) * 1998-10-13 2003-04-01 Matsushita Electric Industrial Co., Ltd. Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder
EP2403263A3 (en) * 2002-04-26 2012-01-25 Sony Corporation Encoding device and method, decoding device and method, editing device and method, recoding medium, and program
TWI249356B (en) 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
AU2004214313B2 (en) * 2003-02-18 2010-05-20 Nokia Technologies Oy Picture coding method
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
KR100651566B1 (ko) * 2003-08-26 2006-11-28 삼성전자주식회사 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
CN101820544B (zh) 2004-08-31 2012-07-04 松下电器产业株式会社 运动图像编码方法及装置、记录介质的记录方法
CN101120593A (zh) 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
EP1949701A1 (en) * 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US20070127578A1 (en) * 2005-12-02 2007-06-07 Dijia Wu Low delay and small memory footprint picture buffering
US20080002773A1 (en) 2006-06-26 2008-01-03 Texas Instruments Incorporated Video decoded picture buffer
KR100794798B1 (ko) * 2006-09-01 2008-01-15 삼성전자주식회사 시간지연을 완화하면서 역재생하는 영상기기 및 그제어방법
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
CN103281563B (zh) * 2007-04-18 2016-09-07 汤姆森许可贸易公司 解码方法
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
TW200948092A (en) * 2008-03-07 2009-11-16 Toshiba Kk Dynamic image encoding/decoding method and device
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR20110017719A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2011082683A (ja) 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN104811717B (zh) * 2009-12-01 2018-09-14 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8885729B2 (en) * 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
TWI606722B (zh) * 2011-06-30 2017-11-21 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200922332A (en) * 2007-10-05 2009-05-16 Thomson Licensing Methods and apparatus for incorporating video usability information (VUI) within a multi-view video (MVC) coding system
US20100290533A1 (en) * 2009-05-15 2010-11-18 Texas Instruments Incorporated Encoders, decoders, codecs and systems and processes for their operation and manufacture

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hendry,S.Park,B.Jeon(LG),"Explicit Reference Pictures Signaling with Output Latency Count Scheme",(JCTVC-G166) ;Dated Saved:08-11-2011; (Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH,21-30 November,2011.
SULLIVAN (MICROSOFT) G J," Proposed constraint on reordering latency (for further consideration of JCTVC-F541)", 7. JCT-VC MEETING; 98. MPEG MEETING; Dated Saved:08-11-2011; GENEVA;(JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16)
SULLIVAN (MICROSOFT) G J," Proposed constraint on reordering latency (for further consideration of JCTVC-F541)", 7. JCT-VC MEETING; 98. MPEG MEETING; Dated Saved:08-11-2011; GENEVA;(JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16) Hendry,S.Park,B.Jeon(LG),"Explicit Reference Pictures Signaling with Output Latency Count Scheme",(JCTVC-G166) ;Dated Saved:08-11-2011; (Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH,21-30 November,2011. *

Also Published As

Publication number Publication date
CN107465932A (zh) 2017-12-12
US20140269899A1 (en) 2014-09-18
IN2014MN01173A (zh) 2015-07-03
US20170223362A1 (en) 2017-08-03
TWI587690B (zh) 2017-06-11
TW201826790A (zh) 2018-07-16
TW201725906A (zh) 2017-07-16
CN104067618B (zh) 2017-11-03
CN107483965B (zh) 2020-03-27
CN107517388B (zh) 2020-07-31
MX337915B (es) 2016-03-28
CN104067618A (zh) 2014-09-24
CN107517388A (zh) 2017-12-26
US10218984B2 (en) 2019-02-26
CA2856906A1 (en) 2013-05-30
KR20200037196A (ko) 2020-04-08
CN107465931A (zh) 2017-12-12
TWI703855B (zh) 2020-09-01
US20170347101A1 (en) 2017-11-30
CA2995095A1 (en) 2013-05-30
MX337917B (es) 2016-03-28
KR102321365B1 (ko) 2021-11-03
KR20210024516A (ko) 2021-03-05
US9560370B2 (en) 2017-01-31
KR20200096179A (ko) 2020-08-11
US9438901B2 (en) 2016-09-06
US20160337654A1 (en) 2016-11-17
KR102400542B1 (ko) 2022-05-20
CN107517387A (zh) 2017-12-26
BR112014012549A2 (pt) 2017-06-13
AU2012341242A1 (en) 2014-07-10
CN107517387B (zh) 2020-08-04
JP2014533917A (ja) 2014-12-15
CN107465931B (zh) 2020-08-04
KR20130058584A (ko) 2013-06-04
TWI542199B (zh) 2016-07-11
ZA201706411B (en) 2022-03-30
ZA201706410B (en) 2022-12-21
US20190158848A1 (en) 2019-05-23
US20180249161A1 (en) 2018-08-30
CN107465932B (zh) 2020-04-03
US20170105001A1 (en) 2017-04-13
CN107483965A (zh) 2017-12-15
EP2785054A4 (en) 2015-10-14
ZA201706412B (en) 2022-03-30
US9967570B2 (en) 2018-05-08
TW202029756A (zh) 2020-08-01
MX337916B (es) 2016-03-28
KR20210133928A (ko) 2021-11-08
ZA201706409B (en) 2019-02-27
TW201330634A (zh) 2013-07-16
KR102099915B1 (ko) 2020-04-10
TWI693819B (zh) 2020-05-11
KR20190065990A (ko) 2019-06-12
TW201631971A (zh) 2016-09-01
US9699471B2 (en) 2017-07-04
CA2995095C (en) 2020-12-22
KR102221101B1 (ko) 2021-02-26
US9769483B2 (en) 2017-09-19
WO2013077665A1 (ko) 2013-05-30
EP2785054A1 (en) 2014-10-01
MX2014006260A (es) 2014-07-09
KR102135966B1 (ko) 2020-07-20
US10499062B2 (en) 2019-12-03
MX337918B (es) 2016-03-28
CA2856906C (en) 2018-04-03

Similar Documents

Publication Publication Date Title
TWI625055B (zh) 對影像進行解碼之裝置
JP6486421B2 (ja) ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置
TWI643489B (zh) 畫面間預測的方法