TWI578765B - 視訊解碼方法 - Google Patents

視訊解碼方法 Download PDF

Info

Publication number
TWI578765B
TWI578765B TW105110841A TW105110841A TWI578765B TW I578765 B TWI578765 B TW I578765B TW 105110841 A TW105110841 A TW 105110841A TW 105110841 A TW105110841 A TW 105110841A TW I578765 B TWI578765 B TW I578765B
Authority
TW
Taiwan
Prior art keywords
unit
image
code
depth
maximum
Prior art date
Application number
TW105110841A
Other languages
English (en)
Other versions
TW201626800A (zh
Inventor
朴永五
崔光杓
金讚烈
楊喜喆
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201626800A publication Critical patent/TW201626800A/zh
Application granted granted Critical
Publication of TWI578765B publication Critical patent/TWI578765B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42623—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific decryption arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Description

視訊解碼方法
本發明是關於用於對視訊做編碼與解碼之方法與裝置，且更特定言之，是關於用於多工(multiplexing)與解多工(de-multiplexing)視訊資料以便辨識在解碼側再生之畫面內圖像(intra picture)之再生狀態(reproduction status)是隨機存取再生狀態還是正常再生狀態的方法與裝置。
包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262 (ISO/IEC MPEG-2 Visual)、ITU-T H.264、ISO/IEC MPEG-4 Visual以及ITU-T H.264 (ISO/IEC MPEG-4 AVC)之視訊編解碼器經由畫面間預測或畫面內預測而對巨集區塊執行預測編碼，根據由每一視訊編解碼器定義之預定格式而產生含有經編碼之視訊資料之位元串流，且輸出位元串流。
技術問題
本發明界定一種用於隨機存取再生之新類型的畫面內圖像，且提供一種用於藉由與解碼裝置相關之硬體或軟體來辨識正常再生狀態以及隨機存取再生狀態的方法與裝置。
技術解決方案
根據本發明之實施例，可經由預定傳輸資料中所包含之語法(syntax)來辨識畫面內圖像的再生狀態。
有利效應
根據本發明之實施例，可藉由與解碼裝置相關之硬體或軟體來辨識正常再生狀態以及隨機存取再生狀態，以使得有可能節省用於對不需要解碼之圖像做解碼的系統資源。
根據本發明之一態樣，提供一種多工視訊資料以便辨識視訊資料之再生狀態之方法，所述方法包含以下操作：基於具有階層式結構之資料單元而對形成視訊資料之圖像做編碼；回應於來自解碼裝置的對經編碼之資料之傳輸請求，判定傳輸請求是根據正常再生還是針對隨機存取；以及根據所述判定之結果而將預定語法添加至傳輸單元資料以多工畫面內圖像，所述畫面內圖像用於隨機存取中且具有按照顯示次序在畫面內圖像之前但按照編碼次序在畫面內圖像之後編碼的前導圖像，其中預定語法指示經由正常再生進行之請求以及經由隨機存取進行之請求中之哪一請求與畫面內圖像相關。
根據本發明之另一態樣，提供一種用於多工視訊資料以便辨識視訊資料之再生狀態之裝置，所述裝置包含：視訊編碼器，其用於基於具有階層式結構之資料單元而對形成視訊資料之圖像做編碼；再生狀態辨識器，其用於回應於來自解碼裝置的對經編碼之資料之傳輸請求，判定傳輸請求是根據正常再生還是針對隨機存取；以及多工器，其用於根據所述判定之結果而將預定語法添加至傳輸單元資料以多工畫面內圖像，所述畫面內圖像用於隨機存取中且具有按照顯示次序在畫面內圖像之前但按照編碼次序在畫面內圖像之後編碼的前導圖像，其中預定語法指示經由正常再生進行之請求以及經由隨機存取進行之請求中之哪一請求與畫面內圖像相關。
根據本發明之另一態樣，提供一種解多工視訊資料以便辨識視訊資料之再生狀態之方法，所述方法包含以下操作：接收傳輸單元資料，所述傳輸單元資料用於多工藉由基於階層式結構資料單元來對形成視訊資料之圖像做編碼而產生的位元串流；自傳輸單元資料獲得預定語法以多工畫面內圖像，所述畫面內圖像用於隨機存取中且具有按照顯示次序在畫面內圖像之前但按照解碼次序在畫面內圖像之後編碼的前導圖像，其中預定語法指示畫面內圖像是根據正常再生狀態還是根據隨機存取狀態而解碼；以及基於所獲得之預定語法而辨識畫面內圖像是根據正常再生還是根據隨機存取而再生。
根據本發明之另一態樣，提供一種用於解多工視訊資料以便辨識視訊資料之再生狀態之裝置，所述裝置包含：逆多工器，其用於接收傳輸單元資料，所述傳輸單元資料用於多工藉由基於階層式結構資料單元來對形成視訊資料之圖像做編碼而產生的位元串流，所述逆多工器自傳輸單元資料獲得預定語法以多工畫面內圖像，所述畫面內圖像用於隨機存取中且具有按照顯示次序在畫面內圖像之前但按照解碼次序在畫面內圖像之後編碼的前導圖像，其中預定語法指示畫面內圖像是根據正常再生狀態還是根據隨機存取狀態而解碼；以及再生狀態辨識器，其用於基於所獲得之預定語法而辨識畫面內圖像是根據正常再生還是根據隨機存取而再生。
下文中，將藉由參看附圖解釋本發明之例示性實施例來詳細描述本發明。遍及本說明書，影像可包含靜態影像以及動態影像且可稱為視訊。且，遍及本說明書，影像畫面可稱為圖像。
圖1為根據本發明之實施例的視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大寫碼單元分割器110、寫碼單元判定器120以及輸出單元130。
最大寫碼單元分割器110可基於影像之當前圖像之最大寫碼單元（coding unit；CU）來分割當前圖像。若當前圖像大於最大寫碼單元，則當前圖像之影像資料可分割為至少一個最大寫碼單元。根據本發明之實施例的最大寫碼單元可為大小為32×32、64×64、128×128、256×256等之資料單元，其中資料單元之形狀是寬度以及長度各自為2之倍數且大於8之正方形。影像資料可根據至少一個最大寫碼單元而輸出至寫碼單元判定器120。
根據本發明之實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示寫碼單元自最大寫碼單元在空間上分割之次數，且隨著深度加深，根據深度之較深編碼單元可自最大寫碼單元分割為最小寫碼單元。最大寫碼單元之深度為最上層深度，且最小寫碼單元之深度為最下層深度。由於對應於每一深度之寫碼單元的大小隨著最大寫碼單元之深度加深而減小，因此對應於較上層深度之寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上文所述，當前圖像之影像資料根據寫碼單元之最大大小而分割為最大寫碼單元，且最大寫碼單元中的每一者可包含根據深度而分割的較深寫碼單元。由於根據本發明之實施例的最大寫碼單元是根據深度來分割，因此包含於最大寫碼單元中之空間域的影像資料可根據深度而階層式分類。
限制最大寫碼單元之高度以及寬度階層式分割之總次數的寫碼單元之最大深度以及最大大小可為預定的。
寫碼單元判定器120對藉由根據深度來分割最大寫碼單元之區域而獲得的至少一個分割區域做編碼，且判定深度以根據所述至少一個分割區域來輸出最終編碼之影像資料。換言之，寫碼單元判定器120藉由根據當前圖像之最大寫碼單元來對根據深度之較深寫碼單元中之影像資料做編碼以及選擇具有最小編碼誤差的深度來判定經寫碼之深度。因此，最終輸出對應於所判定之經寫碼之深度的寫碼單元之經編碼之影像資料。且，可將對應於經寫碼之深度的寫碼單元視為經編碼之寫碼單元。
所判定之經寫碼之深度以及根據所判定之經寫碼之深度的經編碼之影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度之至少一個深度的較深寫碼單元而對最大寫碼單元中之影像資料做編碼，且基於較深寫碼單元中的每一者而比較對影像資料做編碼之結果。可在比較較深寫碼單元之編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大寫碼單元選擇至少一個經寫碼之深度。
隨著寫碼單元根據深度而階層式分割，且隨著寫碼單元之數目增大，最大寫碼單元的大小被分割。且，即使寫碼單元對應於一個最大寫碼單元中之同一深度，仍藉由單獨量測每一寫碼單元之影像資料的編碼誤差而判定是否將對應於同一深度之寫碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大寫碼單元中時，影像資料仍根據深度分割為區域且編碼誤差仍可根據所述一個最大寫碼單元中之區域而不同，且因此經寫碼之深度可根據影像資料中的區域而不同。因此，可在一個最大寫碼單元中判定一或多個經寫碼之深度，且可根據至少一個經寫碼之深度的寫碼單元而劃分最大寫碼單元之影像資料。
因此，寫碼單元判定器120可判定包含於最大寫碼單元中之具有樹狀結構的寫碼單元。根據本發明之實施例的「具有樹狀結構之寫碼單元」包含最大寫碼單元中所包含之所有較深寫碼單元中的對應於判定為經寫碼之深度的深度的寫碼單元。可根據最大寫碼單元之同一區域中的深度而階層式判定經寫碼之深度的寫碼單元，且可在不同區域中獨立地進行判定。類似地，可獨立於另一區域中之經寫碼之深度而判定當前區域中之經寫碼之深度。
根據本發明之實施例的最大深度為與自最大寫碼單元至最小寫碼單元之分割次數相關的索引。根據本發明之實施例的第一最大深度可表示自最大寫碼單元至最小寫碼單元之總分割次數。根據本發明之實施例的第二最大深度可表示自最大寫碼單元至最小寫碼單元之總深度層級數。舉例而言，當最大寫碼單元之深度為0時，最大寫碼單元被分割一次之寫碼單元的深度可設定為1，且最大寫碼單元被分割兩次之寫碼單元的深度可設定為2。此處，若最小寫碼單元為最大寫碼單元被分割四次之寫碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因此第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大寫碼單元執行預測編碼以及變換。根據最大寫碼單元，亦基於根據等於最大深度之深度或小於最大深度之深度的較深寫碼單元來執行預測編碼以及變換。可根據正交變換或整數變換之方法而執行變換。
由於每當根據深度來分割最大寫碼單元，較深寫碼單元之數目便增大，因此對隨著深度加深而產生的所有較深寫碼單元執行包含預測編碼以及變換的編碼。為便於描述，在最大寫碼單元中，現將基於當前深度之寫碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼之資料單元的大小或形狀。為了對影像資料做編碼，執行諸如預測編碼、變換以及熵編碼之操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼之寫碼單元，而且選擇不同於寫碼單元之資料單元，以便對寫碼單元中之影像資料執行預測編碼。
為了在最大寫碼單元中執行預測編碼，可基於對應於經寫碼之深度的寫碼單元（亦即，基於不再分割為對應於較下層深度之寫碼單元的寫碼單元）來執行預測編碼。下文中，不再分割且變為用於預測編碼之基礎單元的寫碼單元現將被稱為「預測單元」（prediction unit；PU）。藉由分割預測單元而獲得之分區可包含藉由分割預測單元之高度以及寬度中的至少一者而獲得的預測單元或資料單元。
舉例而言，當2N×2N（其中N為正整數）之寫碼單元不再分割且變為2N×2N之預測單元，且分區之大小可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單元之高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元之高度或寬度（諸如，1:n或n:1）而獲得的分區、藉由用幾何方式分割預測單元而獲得之分區，以及具有任意形狀的分區。
預測單元之預測模式可為畫面內模式、畫面間模式以及跳過模式中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。且，可僅對2N×2N之分區執行跳過模式。在寫碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼之寫碼單元而且基於不同於寫碼單元之資料單元而對寫碼單元中的影像資料執行變換。
為了在寫碼單元中執行變換，可基於具有小於或等於寫碼單元之大小的資料單元來執行變換。舉例而言，用於變換之資料單元可包含用於畫面內模式之資料單元以及用於畫面間模式之資料單元。
用作變換之基礎之資料單元現將稱為「變換單元」（transformation unit；TU）。亦可在變換單元中設定指示藉由分割寫碼單元之高度以及寬度而達到變換單元之分割次數的變換深度。舉例而言，在2N×2N之當前寫碼單元中，在變換單元之大小亦為2N×2N時，變換深度可為0，在當前寫碼單元之高度以及寬度中之每一者分割為二等份（總計分割為4^1個變換單元）且變換單元之大小因此為N×N時，變換深度可為1，且在當前寫碼單元之高度以及寬度中之每一者分割為四等份（總計分割為4^2個變換單元）且變換單元之大小因此為N/2×N/2時，變換深度可為2。舉例而言，可根據階層式樹狀結構來設定變換單元，其中較上層變換深度之變換單元根據變換深度之階層式特性而分割為較下層變換深度之四個變換單元。
類似於寫碼單元，寫碼單元中之變換單元可按遞回方式分割為較小大小的區域，以使得可單獨以區域為單位來判定變換單元。因此，可根據具有根據變換深度之樹狀結構的變換而劃分寫碼單元中之殘餘資料。
根據對應於經寫碼之深度之寫碼單元的編碼資訊不僅需要關於經寫碼之深度的資訊，而且需要與預測編碼以及變換相關的資訊。因此，寫碼單元判定器120不僅判定具有最小編碼誤差之經寫碼之深度，而且判定預測單元中之分區類型、根據預測單元之預測模式，以及用於變換之變換單元的大小。
稍後將參看圖3至圖12詳細描述根據本發明之實施例的最大寫碼單元中之根據樹狀結構的寫碼單元以及判定分區的方法。
寫碼單元判定器120可藉由基於拉格朗日乘數（Lagrangian multiplier）使用位元率-失真最佳化（Rate-Distortion Optimization）來量測根據深度之較深寫碼單元之編碼誤差。
輸出單元130按照位元串流的形式輸出基於由寫碼單元判定器120判定之至少一個經寫碼之深度而編碼的最大寫碼單元之影像資料，以及根據經寫碼之深度關於編碼模式的資訊。
可藉由對影像之殘餘資料做編碼來獲得經編碼之影像資料。
根據經寫碼之深度關於編碼模式的資訊可包含關於經寫碼之深度、關於預測單元中之分區類型、預測模式以及變換單元之大小的資訊。
可藉由使用根據深度之分割資訊來定義關於經寫碼之深度的資訊，根據深度之分割資訊指示是否對較下層深度而非當前深度之寫碼單元執行編碼。若當前寫碼單元之當前深度為經寫碼之深度，則對當前寫碼單元中之影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前寫碼單元分割為較下層深度。或者，若當前寫碼單元之當前深度並非經寫碼之深度，則對較下層深度之寫碼單元執行編碼，且因此分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。
若當前深度並非經寫碼之深度，則對分割為較下層深度之寫碼單元的寫碼單元執行編碼。由於較下層深度之至少一個寫碼單元存在於當前深度之一個寫碼單元中，因此對較下層深度之每一寫碼單元重複地執行編碼，且因此可對具有同一深度之寫碼單元按遞回方式執行編碼。
由於針對一個最大寫碼單元而判定具有樹狀結構之寫碼單元，且針對經寫碼之深度之寫碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大寫碼單元而判定關於至少一個編碼模式的資訊。且，最大寫碼單元之影像資料的經寫碼之深度可根據位置而不同，此是因為根據深度而階層式分割影像資料，且因此可針對影像資料而設定關於經寫碼之深度以及編碼模式的資訊。
因此，輸出單元130可將關於相應經寫碼之深度以及編碼模式之編碼資訊指派給包含於最大寫碼單元中之寫碼單元、預測單元以及最小單元中的至少一者。
根據本發明之實施例的最小單元可為藉由將構成最下層深度之最小寫碼單元分割為4份而獲得的矩形資料單元，且可為可包含於最大寫碼單元中所包含之所有寫碼單元、預測單元、分區單元以及變換單元中的最大矩形資料單元。
舉例而言，經由輸出單元130而輸出之編碼資訊可分類為根據寫碼單元之編碼資訊，以及根據預測單元的編碼資訊。根據寫碼單元之編碼資訊可包含關於預測模式以及關於分區之大小的資訊。根據預測單元之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於運動向量、關於畫面內模式之色度分量以及關於畫面內模式之內插方法的資訊。且，關於根據圖像、片段或GOP而定義之寫碼單元之最大大小的資訊，以及關於最大深度之資訊可插入至位元串流的標頭中。
最大寫碼單元分割器110以及寫碼單元判定器120對應於視訊寫碼層，其藉由根據寫碼單元對影像序列之每一影像畫面執行運動估計以及運動補償而判定形成影像序列之影像畫面中之每一者的參考圖框，且藉由使用所判定之參考畫面而對每一影像畫面做編碼。
且，如稍後將描述，輸出單元130藉由網路抽象層（network abstraction layer；NAL）之單元而映射語法(max_dec_frame buffering)，且因此產生位元串流，其中所述語法指示解碼器對影像畫面做解碼所需之緩衝器之最大大小，語法(num_reorder_frames)指示重新排序所需之影像畫面之數目，且語法(max_latency_increase)指示在編碼次序與顯示次序之間具有最大差且處於形成影像序列之影像畫面中的影像畫面之延時資訊。
在視訊編碼裝置100中，較深寫碼單元可為藉由將較上層深度之寫碼單元（其為上一層）的高度或寬度劃分為2份而獲得的寫碼單元。換言之，在當前深度之寫碼單元的大小為2N×2N時，較下層深度之寫碼單元的大小為N×N。且，大小為2N×2N之當前深度的寫碼單元可包含較下層深度的最大4個寫碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像之特性而判定的最大寫碼單元之大小以及最大深度，藉由針對每一最大寫碼單元判定具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構之寫碼單元。且，由於藉由使用各種預測模式以及變換中之任一者對每一最大寫碼單元執行編碼，因此可考慮各種影像大小之寫碼單元的特性來判定最佳編碼模式。
因此，若在習知巨集區塊中對具有高解析度或大資料量之影像做編碼，則每圖像之巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生之壓縮資訊之段數增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像之大小的而增大寫碼單元的最大大小的同時考慮影像之特性而調整寫碼單元，所以影像壓縮效率可提高。
圖2為根據本發明之實施例的視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。用於視訊解碼裝置200之各種操作的各種術語（諸如，寫碼單元、深度、預測單元、變換單元以及關於各種編碼模式之資訊）的定義與參看圖1且參考視訊編碼裝置100所述的術語相同。
接收器210接收且剖析經編碼之視訊之位元串流。影像資料以及編碼資訊提取器220自所剖析之位元串流提取每一寫碼單元之經編碼之影像資料，其中寫碼單元具有根據每一最大寫碼單元之樹狀結構，且將所提取之影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像之標頭或SPS提取關於當前圖像之寫碼單元之最大大小的資訊。
且，影像資料以及編碼資訊提取器220自所剖析之位元串流針對具有根據每一最大寫碼單元之樹狀結構之寫碼單元提取關於經寫碼之深度以及編碼模式的資訊。關於經寫碼之深度以及編碼模式之所提取之資訊輸出至影像資料解碼器230。換言之，位元串流中之影像資料分割為最大寫碼單元，使得影像資料解碼器230對每一最大寫碼單元之影像資料做解碼。
可針對關於對應於經寫碼之深度之至少一個寫碼單元的資訊而設定根據最大寫碼單元關於經寫碼之深度以及編碼模式的資訊，且關於編碼模式之資訊可包含關於對應於經寫碼之深度之相應寫碼單元的分區類型、關於預測模式以及變換單元之大小的資訊。且，可將根據深度之分割資訊作為關於經寫碼之深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大寫碼單元關於經寫碼之深度以及編碼模式的資訊為關於經判定以在諸如視訊編碼裝置100之編碼器根據每一最大寫碼單元對根據深度之每一較深寫碼單元重複地執行編碼時產生最小編碼誤差的經寫碼之深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差之經寫碼之深度以及編碼模式來對影像資料做解碼而復原影像。
由於關於經寫碼之深度以及編碼模式之編碼資訊可指派給相應寫碼單元、預測單元以及最小單元中的預定資料單元，因此影像資料以及編碼資訊提取器220可提取根據預定資料單元關於經寫碼之深度以及編碼模式的資訊。被指派關於經寫碼之深度以及編碼模式之相同資訊的預定資料單元可推斷為包含於同一最大寫碼單元中的資料單元。
影像資料解碼器230可藉由基於根據最大寫碼單元關於經寫碼之深度以及編碼模式的資訊對每一最大寫碼單元中之影像資料做解碼來復原當前圖像。換言之，影像資料解碼器230可基於關於每一最大寫碼單元中所包含之具有樹狀結構的寫碼單元中的每一寫碼單元之分區類型、預測模式以及變換單元的所提取之資訊而對經編碼之影像資料做解碼。解碼程序可包含：包含畫面內預測以及運動補償之預測；以及逆變換。可根據逆正交變換或逆整數變換之方法而執行逆變換。
影像資料解碼器230可基於根據經寫碼之深度關於每一寫碼單元之預測單元之分區類型以及預測模式的資訊根據所述寫碼單元之分區以及預測模式來執行畫面內預測或運動補償。
且，影像資料解碼器230可基於根據經寫碼之深度關於寫碼單元之變換單元之大小的資訊根據寫碼單元中之每一變換單元來執行逆變換，以便根據最大寫碼單元來執行逆變換。
影像資料解碼器230可藉由使用根據深度之分割資訊而判定當前最大寫碼單元之至少一個經寫碼之深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經寫碼之深度。因此，影像資料解碼器230可藉由使用關於對應於經寫碼之深度之每一寫碼單元的預測單元之分區類型、預測模式以及變換單元之大小的資訊來對對應於當前最大寫碼單元中之每一經寫碼之深度的至少一個寫碼單元之經編碼之資料做解碼，且輸出當前最大寫碼單元的影像資料。
亦即，可藉由觀測針對寫碼單元、預測單元以及最小單元中之預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊之編碼資訊的資料單元，且可將所收集之資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。
且，接收器210與影像資料以及編碼資訊提取器220執行NAL解碼程序，其中自位元串流獲得指示解碼器對影像畫面做解碼所需之緩衝器之最大大小的語法(max_dec_frame buffering)、指示重新排序所需之影像畫面之數目的語法(num_reorder_frames)以及指示在編碼次序與顯示次序之間具有最大差且處於形成影像序列之影像畫面中的影像畫面之延時資訊的語法(max_latency_increase)且將其輸出至影像資料解碼器230。
視訊解碼裝置200可獲得關於在對每一最大寫碼單元按遞回方式執行編碼時產生最小編碼誤差之至少一個寫碼單元的資訊，且可使用所述資訊來對當前圖像做解碼。換言之，可對判定為每一最大寫碼單元中之最佳寫碼單元的具有樹狀結構之寫碼單元做解碼。且，考慮影像資料之解析度以及量來判定寫碼單元之最大大小。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收之關於最佳編碼模式的資訊藉由使用根據影像資料之特性而適應性地判定之寫碼單元之大小以及編碼模式來有效地對影像資料做解碼以及復原。
現將參看圖3至圖13來描述根據本發明之實施例的判定具有樹狀結構之寫碼單元、預測單元以及變換單元之方法。
圖3為用於描述根據本發明之實施例的寫碼單元之概念的圖式。
寫碼單元之大小可用寬度×高度來表達，且可包含64×64、32×32、16×16以及8×8。64×64之寫碼單元可分割為64×64、64×32、32×64或32×32之分區，且32×32之寫碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16之寫碼單元可分割為16×16、16×8、8×16或8×8之分區，且8×8之寫碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元之最大大小為16，且最大深度為1。圖3所示之最大深度表示自最大寫碼單元至最小解碼單元之總分割次數。
若解析度高或資料量大，則寫碼單元之最大大小可為大的，以便不僅提高編碼效率而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及320之寫碼單元的最大大小可為64。
由於視訊資料310之最大深度為2，因此視訊資料310之寫碼單元315可包含長軸大小為64的最大寫碼單元，以及長軸大小為32以及16的寫碼單元，此是因為深度藉由分割最大寫碼單元兩次而加深為兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單元335可包含長軸大小為16的最大寫碼單元，以及長軸大小為8之寫碼單元，此是因為深度藉由分割最大寫碼單元一次而加深為一層。
由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單元325可包含長軸大小為64的最大寫碼單元，以及長軸大小為32、16以及8的寫碼單元，此是因為深度藉由分割最大寫碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。
圖4為根據本發明之實施例的基於寫碼單元之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之寫碼單元判定器120的操作以對影像資料做編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中之寫碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中的處於畫面間模式中的寫碼單元執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425輸出之資料經由變換器430以及量化器440作為經量化之變換係數而輸出。經量化之變換係數經由逆量化器460以及逆變換器470復原為空間域中之資料，且空間域中之所復原之資料在經由解區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化之變換係數可經由熵編碼器450作為位元串流455輸出。特定言之，熵編碼器450可藉由NAL之單元而映射最大經解碼畫面緩衝語法(max_dec_frame buffering)，且因此產生位元串流，其中最大經解碼畫面緩衝語法(max_dec_frame buffering)指示解碼器對影像畫面做解碼所需之緩衝器之最大大小，重新排序畫面數目語法(num_reorder_frames)指示重新排序所需之影像畫面之數目，最大延時畫面語法(MaxLatencyFrame)指示在編碼次序與顯示次序之間具有最大差且處於形成影像序列之影像畫面中的影像畫面之延時資訊，或最大延時提高語法（max_latency_increase）用於判定最大延時畫面語法(MaxLatencyFrame)。特定言之，根據本實施例之熵編碼器450可將指示解碼器對影像畫面做解碼所需之緩衝器之最大大小的最大經解碼畫面緩衝語法(max_dec_frame buffering)、指示重新排序所需之影像畫面之數目的重新排序畫面數目語法(num_reorder_frames)以及用於判定最大延時畫面語法(MaxLatencyFrame)的最大延時提高語法（max_latency_increase）作為基本元素包含在序列參數集合（sequence parameter set；SPS）中，序列參數集合（SPS）為包含與整個影像序列之編碼相關之資訊的標頭資訊。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件（亦即，畫面內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490）在考慮每一最大寫碼單元之最大深度的同時基於具有樹狀結構之寫碼單元中的每一寫碼單元來執行操作。
具體言之，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大寫碼單元之最大大小以及最大深度的同時判定具有樹狀結構之寫碼單元中的每一寫碼單元之分區以及預測模式，且變換器430判定具有樹狀結構之寫碼單元中的每一寫碼單元中之變換單元的大小。
圖5為根據本發明之實施例的基於寫碼單元之影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼之經編碼之影像資料以及解碼所需之關於編碼的資訊。特定言之，剖析器510自位元串流獲得作為基本元素包含在SPS中的指示對影像畫面做解碼所需之緩衝器之最大大小的最大經解碼畫面緩衝語法(max_dec_frame buffering)、指示重新排序所需之影像畫面之數目的重新排序畫面數目語法(num_reorder_frames)以及用於判定最大延時畫面語法(MaxLatencyFrame)的最大延時提高語法（max_latency_increase）且將其輸出至熵解碼器520。在圖5中，剖析器510以及熵解碼器520為單獨元件。然而，由剖析器510執行的影像資料之獲得以及與經編碼之影像資料相關之語法資訊的每一項目之獲得可實施為由熵解碼器520執行。
經編碼之影像資料經由熵解碼器520以及逆量化器530作為經逆量化之資料而輸出，且經逆量化之資料經由逆變換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之寫碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的寫碼單元執行運動補償。
在通過畫面內預測器550以及運動補償器560的同時復原的影像畫面可經由解區塊單元570來後處理且可輸出至經解碼圖像緩衝器（decoded picture buffer；DPB）580。DPB 580儲存參考畫面，改變參考畫面之顯示次序且儲存所復原之影像畫面以便輸出影像畫面。DPB 580儲存所復原之影像畫面且藉由使用自剖析器510或熵解碼器520輸出的指示對影像畫面做解碼所需之緩衝器之最大大小的最大經解碼畫面緩衝語法(max_dec_frame buffering)來設定正常對影像序列做解碼所需之緩衝器之最大大小。
且，DPB 580可藉由使用指示重新排序所需之影像畫面之數目的重新排序畫面數目語法(num_reorder_frames)以及用於判定最大延時畫面語法(MaxLatencyFrame)的最大延時提高語法（max_latency_increase）來判定是否輸出先前解碼並儲存之參考影像畫面。稍後將詳細描述輸出DPB 580中所儲存之參考影像畫面的程序。
為了在視訊解碼裝置200之影像資料解碼器230中對影像資料做解碼，影像解碼器500可執行在剖析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件（亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580）可針對每一最大寫碼單元基於具有樹狀結構之寫碼單元來執行解碼操作。具體言之，畫面內預測器550以及運動補償器560可針對具有樹狀結構之寫碼單元中之每一者來判定分區以及預測模式，且逆變換器540可針對每一寫碼單元來判定變換單元之大小。
圖6為說明根據本發明之實施例的根據深度之較深寫碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式寫碼單元以便考慮影像之特性。可根據影像之特性來適應性地判定寫碼單元之最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據寫碼單元之預定最大大小判定根據深度之較深寫碼單元的大小。
在根據本發明之實施例的寫碼單元之階層式結構600中，寫碼單元之最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層式結構600之垂直軸加深，因此將較深寫碼單元之高度以及寬度各自分割。且，沿著階層式結構600之水平軸展示作為用於每一較深寫碼單元之預測編碼之基礎的預測單元以及分區。
換言之，寫碼單元610為階層式結構600中之最大寫碼單元，其中深度為0且大小（亦即，高度乘寬度）為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1之寫碼單元620、大小為16×16且深度為2之寫碼單元630、大小為8×8且深度為3之寫碼單元640，以及大小為4×4且深度為4的寫碼單元650。大小為4×4且深度為4之寫碼單元650為最小寫碼單元。
寫碼單元之預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0之寫碼單元610為預測單元，則預測單元可分割為包含於編碼單元610中的分區，亦即，大小為64×64之分區610、大小為64×32之分區612、大小為32×64之分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1之寫碼單元620的預測單元可分割為包含於寫碼單元620中的分區，亦即，大小為32×32之分區620、大小為32×16之分區622、大小為16×32之分區624以及大小為16×16的分區626。
類似地，大小為16×16且深度為2之寫碼單元630的預測單元可分割為包含於寫碼單元630中的分區，亦即，包含於寫碼單元中之大小為16×16之分區630、大小為16×8之分區632、大小為8×16之分區634以及大小為8×8的分區636。
類似地，大小為8×8且深度為3之寫碼單元640的預測單元可分割為包含於寫碼單元640中的分區，亦即，包含於寫碼單元中的大小為8×8之分區640、大小為8×4之分區642、大小為4×8之分區644以及大小為4×4的分區646。
大小為4×4且深度為4之寫碼單元650為最小寫碼單元以及最下層深度之寫碼單元。寫碼單元650之預測單元僅指派給大小為4×4之分區。
為了判定構成最大寫碼單元610之寫碼單元的至少一個經寫碼之深度，視訊編碼裝置100之寫碼單元判定器120對包含於最大寫碼單元610中之對應於每一深度的寫碼單元執行編碼。
隨著深度加深，包含相同範圍中之資料以及相同大小的根據深度之較深寫碼單元的數目增大。舉例而言，需要對應於深度2之四個寫碼單元來涵蓋包含於對應於深度1之一個寫碼單元中的資料。因此，為了比較根據深度之相同資料的編碼結果，將對應於深度1之寫碼單元以及對應於深度2之四個寫碼單元各自編碼。
為了針對深度中之當前深度執行編碼，沿著階層式結構600之水平軸，可藉由針對對應於當前深度之寫碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層式結構600之垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇寫碼單元610中具有最小編碼誤差之深度以及分區作為寫碼單元610之經寫碼之深度以及分區類型。
圖7為用於描述根據本發明之實施例的寫碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或200針對每一最大寫碼單元根據具有小於或等於最大寫碼單元之大小的寫碼單元來對影像做編碼或解碼。可基於不大於相應寫碼單元之資料單元而選擇在編碼期間用於變換之變換單元的大小。
舉例而言，在視訊編碼裝置100或200中，若寫碼單元710之大小為64×64，則可藉由使用大小為32×32之變換單元720來執行變換。
且，可藉由對大小為小於64×64之32×32、16×16、8×8以及4×4之變換單元中的每一者執行變換而對大小為64×64之寫碼單元710的資料做編碼，且接著可選擇具有最小寫碼誤差的變換單元。
圖8為用於描述根據本發明之實施例的對應於經寫碼之深度之寫碼單元的編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可對關於分區類型之資訊800、關於預測模式之資訊810，以及關於對應於經寫碼之深度之每一寫碼單元的變換單元之大小的資訊820做編碼且作為關於編碼模式之資訊而傳輸。
資訊800指示關於藉由分割當前寫碼單元之預測單元而獲得的分區之形狀的資訊，其中分區為用於當前寫碼單元之預測編碼的資料單元。舉例而言，大小為2N×2N之當前寫碼單元CU_0可分割為大小為2N×2N之分區802、大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之任一者。此處，關於分區類型之資訊800設定為指示大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N之分區808中的一者。
資訊810指示每一分區之預測模式。舉例而言，資訊810可指示對由資訊800指示之分區執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前寫碼單元執行變換之變換單元。舉例而言，變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面間變換單元828。
根據每一較深寫碼單元，視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖9為根據本發明之實施例的根據深度之較深寫碼單元的圖式。
分割資訊可用以指示深度之改變。分割資訊指示當前深度之寫碼單元是否分割為較下層深度之寫碼單元。
用於深度為0且大小為2N_0×2N_0之寫碼單元900之預測編碼的預測單元910可包含大小為2N_0×2N_0之分區類型912、大小為2N_0×N_0之分區類型914、大小為N_0×2N_0之分區類型916以及大小為N_0×N_0的分區類型918之分區。圖9僅說明藉由對稱地分割預測單元910而獲得之分區類型912至918，但分區類型不限於此，且預測單元910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0之一個分區、大小為2N_0×N_0之兩個分區、大小為N_0×2N_0之兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行在畫面內模式以及畫面間模式中之預測編碼。僅對大小為2N_0×2N_0之分區執行在跳過模式中之預測編碼。
比較包含分區類型912至918中之預測編碼之編碼的誤差，且判定分區類型中的最小編碼誤差。若編碼誤差在分區類型912至916中之一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0之寫碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1（=N_0×N_0）之寫碼單元930之預測編碼的預測單元940可包含大小為2N_1×2N_1之分區類型942、大小為2N_1×N_1之分區類型944、大小為N_1×2N_1之分區類型946以及大小為N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2之寫碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可執行根據每一深度之分割操作直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中之一者時。換言之，當執行編碼直至在對應於深度d-2之寫碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大小為2N_(d-1)×2N_(d-1)之寫碼單元980之預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)之分區類型992、大小為2N_(d-1)×N_(d-1)之分區類型994、大小為N_(d-1)×2N_(d-1)之分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998之分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)之一個分區、大小為2N_(d-1)×N_(d-1)之兩個分區、大小為N_(d-1)×2N_(d-1)之兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此深度為d-1之寫碼單元CU_(d-1)不再分割為較下層深度，且將構成當前最大寫碼單元900之寫碼單元的經寫碼之深度判定為d-1，且可將當前最大寫碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1之最小寫碼單元980不再分割為較下層深度，因此不設定用於最小寫碼單元980之分割資訊。
資料單元999可為當前最大寫碼單元之「最小單元」。根據本發明之實施例的最小單元可為藉由將最小寫碼單元980分割為4份而獲得的矩形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900之深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經寫碼之深度，且將相應分區類型以及預測模式設定為經寫碼之深度的編碼模式。
因而，在所有深度1至d中比較根據深度之最小編碼誤差，且可將具有最小編碼誤差之深度判定為經寫碼之深度。可對經寫碼之深度、預測單元之分區類型以及預測模式做編碼且作為關於編碼模式之資訊而傳輸。且，由於寫碼單元自深度0分割為經寫碼之深度，因此僅經寫碼之深度之分割資訊設定為0，且排除經寫碼之深度之深度的分割資訊設定為1。
視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用關於寫碼單元900之經寫碼之深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度之分割資訊而將分割資訊為0之深度判定為經寫碼之深度，且使用關於相應深度之編碼模式的資訊以用於解碼。
圖10至圖12為用於描述根據本發明之實施例的寫碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
寫碼單元1010為在最大寫碼單元中對應於由視訊編碼裝置100判定之經寫碼之深度的具有樹狀結構之寫碼單元。預測單元1060為寫碼單元1010中之每一者之預測單元的分區，且變換單元1070為寫碼單元1010中之每一者的變換單元。
當最大寫碼單元之深度在寫碼單元1010中為0時，寫碼單元1012以及1054之深度為1，寫碼單元1014、1016、1018、1028、1050以及1052之深度為2，寫碼單元1020、1022、1024、1026、1030、1032以及1048之深度為3，且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由分割編碼單元1010中之寫碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，寫碼單元1014、1022、1050以及1054中之分區類型的大小為2N×N，寫碼單元1016、1048以及1052中之分區類型的大小為N×2N，且寫碼單元1032之分區類型的大小為N×N。寫碼單元1010之預測單元以及分區小於或等於每一寫碼單元。
對小於寫碼單元1052之資料單元中之變換單元1070中的寫碼單元1052之影像資料執行變換或逆變換。且，變換單元1070中之寫碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的寫碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單元中之資料單元個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此，對在最大寫碼單元之每一區域中具有階層式結構之寫碼單元中的每一者以遞回方式執行編碼以判定最佳寫碼單元，且因此可獲得具有遞回樹狀結構之寫碼單元。編碼資訊可包含關於寫碼單元之分割資訊、關於分區類型之資訊、關於預測模式之資訊，以及關於變換單元之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
表1
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之寫碼單元的編碼資訊，且視訊解碼裝置200之影像資料以及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之寫碼單元的編碼資訊。
分割資訊指示當前寫碼單元是否分割為較下層深度之寫碼單元。若當前深度d之分割資訊為0，則當前寫碼單元不再分割為較下層深度之深度為經寫碼之深度，且因此可針對經寫碼之深度而定義關於分區類型、預測模式以及變換單元之大小的資訊。若根據分割資訊進一步分割當前寫碼單元，則對較下層深度之四個分割寫碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中之一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N之分區類型中定義跳過模式。
關於分區類型之資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N之對稱分區類型，其是藉由對稱地分割預測單元之高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單元之高度或寬度而獲得。可藉由以1:3以及3:1分割預測單元之高度而分別獲得大小為2N×nU以及2N×nD之非對稱分區類型，且可藉由以1:3以及3:1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分區類型。
變換單元之大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若變換單元之分割資訊為0，則變換單元之大小可為2N×2N，此為當前寫碼單元之大小。若變換單元之分割資訊為1，則可藉由分割當前寫碼單元而獲得變換單元。且，若大小為2N×2N之當前寫碼單元的分區類型為對稱分區類型，則變換單元之大小可為N×N，且若當前寫碼單元之分區類型為非對稱分區類型，則變換單元的大小可為N/2×N/2。
關於具有樹狀結構之寫碼單元的編碼資訊可包含對應於經寫碼之深度之寫碼單元、預測單元以及最小單元中的至少一者。對應於經寫碼之深度之寫碼單元可包含含有相同編碼資訊之預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元之編碼資訊而判定鄰近資料單元是否包含於對應於經寫碼之深度的同一寫碼單元中。且，藉由使用資料單元之編碼資訊而判定對應於經寫碼之深度之相應寫碼單元，且因此可判定最大寫碼單元中之經寫碼之深度的分佈。
因此，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則可直接參考且使用鄰近於當前寫碼單元的較深寫碼單元中之資料單元的編碼資訊。
或者，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則使用資料單元的經編碼之資訊而搜尋鄰近於當前寫碼單元之資料單元，且可參考所搜尋之鄰近寫碼單元以用於預測當前寫碼單元。
圖13為用於描述根據表1之編碼模式資訊的寫碼單元、預測單元或分區與變換單元之間的關係的圖式。
最大寫碼單元1300包含經寫碼之深度之寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於寫碼單元1318為經寫碼之深度之寫碼單元，因此分割資訊可設定為0。關於大小為2N×2N之寫碼單元1318之分區類型的資訊可設定為大小為2N×2N之分區類型1322、大小為2N×N之分區類型1324、大小為N×2N之分區類型1326、大小為N×N之分區類型1328、大小為2N×nU之分區類型1332、大小為2N×nD之分區類型1334、大小為nL×2N之分區類型1336以及大小為nR×2N的分區類型1338中的一者。
當分區類型設定為對稱（亦即，分區類型1322、1324、1326或1328）時，若變換單元之分割資訊（變換單元大小旗標）為0，則設定大小為2N×2N之變換單元1342，且若變換單元大小旗標為1，則設定大小為N×N的變換單元1344。
當分區類型設定為非對稱（亦即，分區類型1332、1334、1336或1338）時，若變換單元大小旗標為0，則設定大小為2N×2N之變換單元1352，且若變換單元大小旗標為1，則設定大小為N/2×N/2的變換單元1354。
如上所述，根據本發明之實施例之視訊編碼裝置100以及視訊解碼裝置200藉由使用等於或小於最大寫碼單元之寫碼單元來分割最大寫碼單元而執行編碼以及解碼。藉由使用適用於通信頻道、儲存媒體、視訊編輯系統、媒體框架或其類似者之協定或格式的傳輸資料單元來多工視訊編碼裝置100中編碼之資料，且將傳輸資料單元傳輸至視訊解碼裝置200。
在視訊資料之再生的狀況下，視訊解碼裝置200根據隨時播放（trick play）方式以及正常播放方式中之一者來復原視訊資料且再生視訊資料。隨時播放方式包含正常播放方式、快進方式或快退方式以及隨機存取方式。根據正常播放方式，順序處理且再生視訊資料中所包含之所有圖像。根據快進方式或快退方式，根據再生速度以進或退方式選擇且再生參考圖像（亦即，每一預定週期中之I圖像）。根據隨機存取方式，以跳至關鍵圖像（亦即，預定位置之I圖像）來執行再生。根據H.264標準，瞬時解碼器再新（instantaneous decoder refresh；IDR）圖像用作隨機存取方式之關鍵圖像。IDR圖像為用於在對相應圖像做解碼時再新解碼裝置之畫面內圖像。更詳細言之，當對IDR圖像做解碼時，DPB將圖像而非先前解碼之IDR圖像標記為非參考圖像，且圖像次序號（picture order count；POC）亦初始化。且，在IDR圖像之後解碼之圖像可按照顯示次序始終在IDR圖像之後，且可在不參考IDR圖像之前的圖像的情況下解碼。
根據本實施例，除IDR圖像之外，純隨機存取（clean random access；CRA）圖像用作隨機存取方式之關鍵圖像。CRA圖像可稱為純解碼再新（clean decoding refresh；CDR）圖像或延期解碼再新（deferred decoding refresh；DDR）圖像。CRA圖像為畫面內圖像，其具有按照顯示次序在CRA圖像之前但按照編碼（或解碼）次序在CRA圖像之後編碼（或解碼）之圖像。下文中，與CRA圖像在同一圖像群組（group of pictures；GOP）中且按照顯示次序在CRA圖像之前但按照編碼（或解碼）次序在CRA圖像之後編碼（或解碼）之圖像定義為前導圖像。
IDR圖像以及CRA圖像相同之處在於，其為隨機存取方式之關鍵圖像且為在無需參考另一圖像之情況下編碼（或解碼）之畫面內圖像。關於IDR圖像，按照編碼（或解碼）次序在IDR圖像之後的圖像並不會按照顯示次序在IDR圖像之前。然而，如上所述，關於CRA圖像，前導圖像按照編碼（或解碼）次序在CRA圖像之後但按照顯示次序在CRA圖像之前。解碼次序以及編碼次序指示處理圖像之解碼器以及編碼器中的次序，且圖像之編碼次序等於圖像之解碼次序。因此，遍及本說明書，編碼次序可意謂解碼次序，或解碼次序可意謂編碼次序。
圖14A以及圖14B說明根據本發明之實施例的在正常再生與隨機存取中之CRA圖像之解碼程序。
在圖14A以及圖14B中，Bi以及bi為藉由使用L0預測以及L1預測而預測之雙預測圖像，其中i指示顯示次序，亦即，POC。且，具有大寫字母「B」之Bi指示用作另一圖像之參考圖像之圖像，且具有小寫字母「b」之bi指示並不用作另一圖像之參考圖像之圖像。
參看圖14A，在正常再生中，亦即，當對所有圖像做解碼以及再生時，可正常藉由參考先前解碼之參考圖像而對在CRA24圖像1410之前解碼的前導圖像1420做解碼。舉例而言，當藉由使用參考B18圖像1401之L0預測以及參考CRA24圖像1410之L1預測而雙向預測B22圖像1421時，在正常再生中，可正常藉由參考先前解碼且儲存在經解碼圖像緩衝器（DPB）1430中的CRA24圖像1410以及B18圖像1401來對B22圖像1421做解碼。
參看圖14B，在對B6圖像1402做解碼之後經由隨機存取對CRA24圖像1410做解碼之狀況下，用於B22圖像1421之預測之L0預測根據在L0預測之方向上之參考圖像索引而判定參考圖像。在此狀況下，可將先前解碼且儲存在經解碼圖像緩衝器（DPB）1440中之B6圖像1402判定為用於B22圖像1421之L0預測之參考圖像。在此狀況下，用於B22圖像1421之L0預測之參考圖像必須為B18圖像1401，但歸因於隨機存取，無法正常對參考B6圖像1402與CRA24圖像1410之間的參考圖像之圖像做解碼。
且，返回參看圖14A，因為前導圖像1420按照顯示次序在CRA24圖像1410之前，所以在經由隨機存取對CRA24圖像1410做解碼且顯示之後，並不顯示前導圖像1420且因此不需要對前導圖像1420做解碼。
然而，視訊解碼裝置200簡單且順序地對多段輸入視訊資料做解碼並輸出，且因此無法識別前導圖像1420是在正常再生中還是經由隨機存取在CRA24圖像1410之後解碼的圖像。換言之，視訊解碼裝置200無法識別CRA24圖像1410是經由隨機存取解碼之圖像還是在正常再生中解碼之圖像。
因此，本發明之實施例提供藉以將用於辨識CRA圖像之再生狀態之語法添加至預定傳輸單元中之資料的多工與解多工方法，其中藉由多工進行編碼之CRA圖像而獲得資料，以辨識CRA圖像是根據隨機存取而編碼還是根據正常再生而編碼。
首先，將描述視訊資料多工裝置及其方法。
圖15說明根據本發明之實施例的視訊資料多工裝置1500的結構。
參看圖15，視訊資料多工裝置1500包含視訊編碼器1510、多工器1520以及再生狀態辨識器1530。
視訊編碼器1510對應於圖1之視訊編碼裝置100，且在處理視訊資料之編碼的視訊寫碼層中基於階層式寫碼單元而對視訊資料做編碼。多工器1520藉由使用適用於通信頻道、儲存媒體、視訊編輯系統、媒體框架或其類似者之協定或格式的傳輸資料單元來多工視訊資料。如稍後將描述，多工器1520可藉由使用NAL單元來多工視訊資料，NAL單元為NAL中之傳輸單元。
當存在來自經由通信頻道連接之用戶端、管理儲存媒體之裝置、視訊編輯系統以及媒體框架（下文統稱為「解碼裝置」）的對經編碼之視訊資料的傳輸請求時，再生狀態辨識器1530辨識傳輸請求是針對根據正常再生之視訊資料的順序再生還是針對根據隨機存取之視訊資料的傳輸。再生狀態辨識器1530可比較由解碼裝置請求之圖像之顯示時間與由當前解碼裝置當前顯示之圖像之顯示時間，且可接著辨識根據隨機存取而發生視訊資料之傳輸請求。
多工器1520可基於再生狀態辨識器1530之辨識結果而將預定語法添加至包含關於CRA圖像（其為用於隨機存取之關鍵圖像）之資訊的NAL單元，其中預定語法指示經由正常再生進行之請求以及經由隨機存取進行之請求中之哪一請求與CRA圖像相關。
圖16說明根據本發明之實施例的NAL單元1600的結構。
參看圖16，NAL單元1600由NAL標頭1610以及原始位元組序列有效負載（raw byte sequence payload；RBSP）1620形成。RBSP填充位元1630為附接至RBSP 1620之末端以便將RBSP 1620之長度表達為8位元倍數的長度調整位元。RBSP填充位元1630具有諸如「100…」之樣式，其始於「1」且繼續以根據RBSP 1620之長度而判定之順序「0」。就此而言，藉由搜尋「1」（其為起始位元值），可判定恰好在起始位元值之前的RBSP 1620之最後位元之位置。
NAL標頭1610包含值為0之forbidden_zero_bit 1611、指示NAL單元1600是否包含作為參考圖像之片段的旗標nal_ref_idc及其類似者。特定言之，根據本實施例之NAL標頭1610包含狀態辨識語法1612，其指示經由正常再生進行之請求以及經由隨機存取進行之請求中之哪一請求與CRA圖像相關，CRA圖像添加至包含關於CRA圖像之資訊的NAL單元1600中。
用於辨識CRA圖像之再生狀態的狀態辨識語法1612可包含於指示NAL單元1600之類型的辨識符（nal unit type）中。亦即，用於對根據經由正常再生進行之請求而提供之CRA圖像做解碼之NAL單元的辨識符（nal unit type）可不同於用於對根據經由隨機存取進行之請求而提供之CRA圖像做解碼之NAL單元的辨識符（nal unit type）。
表2展示根據辨識符（nal unit type）之值的NAL單元1600之類型。
【表2】
多工器1520將上表2中之不同值4以及5作為辨識符（nal unit type）配置給用於對根據經由正常再生進行之請求而提供之CRA圖像做解碼之NAL單元且配置給用於對根據經由隨機存取進行之請求而提供之CRA圖像做解碼之NAL單元。藉此，多工器1520可用信號通知包含關於CRA圖像之資訊的NAL單元是根據正常再生而提供之CRA圖像以及根據隨機存取而提供之CRA圖像中之哪一者。
且，多工器1520可將旗標用作添加至NAL標頭之語法，其中旗標設定為關於用於對根據經由正常再生進行之請求而提供之CRA圖像做解碼之NAL單元以及用於對根據經由隨機存取進行之請求而提供之CRA圖像做解碼之NAL單元具有不同值0以及1中之一者。
圖17A以及圖17B說明根據本發明之另一實施例的在正常再生與隨機存取中之CRA圖像之解碼程序。
根據本實施例，多工器1520將直接指示CRA圖像之再生狀態之類型資訊添加至NAL單元。在另一實施例中，多工器1520可並不直接用信號通知CRA圖像之再生狀態之類型，而是可藉由使用在CRA圖像之前解碼之關鍵圖像之計數器以及藉由使用關於用作前導圖像之參考圖像的圖像之POC的資訊來辨識CRA圖像是根據正常再生而再生還是根據隨機存取而再生。
參看圖17A以及圖17B，B38圖像1710以及B40圖像1720為在CRA44圖像之前解碼且由作為前導圖像之b41、B42以及b43圖像參考之圖像。B38圖像1710由作為前導圖像之B42圖像參考，且B40圖像1720由作為前導圖像之B41圖像參考。按照解碼次序在CRA圖像之前且用作前導圖像之參考圖像之B38圖像1710以及B40圖像1720定義為同級圖像。定義同級圖像之原因在於有可能藉由使用同級圖像之POC來辨識CRA圖像是根據正常再生而再生還是根據隨機存取而再生。
舉例而言，參看圖17A，雖然圖像是在正常再生狀態中順序解碼，但當對CRA44圖像做解碼時，先前解碼之B38圖像1710以及B40圖像1720儲存於DPB 1740中。若將B38圖像1710之POC值38以及B40圖像1720之POC值40（所述兩個圖像為同級圖像）添加至CRA44圖像之片段標頭，則解碼器可比較在對CRA44圖像做解碼時先前解碼且儲存在DPB 1740中的圖像之POC與包含在CRA44圖像之片段標頭中的同級圖像之POC，且因此可辨識CRA44圖像是根據隨機存取而再生還是根據正常再生而再生。因為再生次序（亦即，解碼次序）在根據隨機存取進行之再生中跳至CRA44圖像，所以若在對CRA44圖像做解碼時先前解碼且儲存在DPB 1740中的圖像之POC並不與同級圖像之POC匹配，則根據隨機存取再生CRA44圖像之可能性高。
然而，亦有可能發生以下狀況：藉由僅使用關於同級圖像之POC之資訊，關於CRA44圖像是根據隨機存取而再生還是根據正常再生而再生，可能誤辨識CRA44圖像。
舉例而言，參看圖17B，在對B40圖像1745做解碼之後根據隨機存取而對CRA44圖像做解碼之狀況下，當對CRA44圖像做解碼時，將B40圖像1745之POC值40儲存於DPB 1780中，且CRA44圖像之片段標頭中所儲存的同級圖像之POC值40等於DPB 1780中所儲存之先前圖像之POC值，以致解碼器可能誤辨識CRA44圖像根據正常再生而再生。如上所述，CRA圖像之再生狀態可不能藉由僅使用關於同級圖像之POC之資訊而正確地辨識。此是因為，每當對IDR圖像做解碼時，便重設POC，以致不同於在隨機存取中由同級圖像參考之實際參考圖像的參考圖像可能具有與同級圖像之POC相同的POC。
因此，多工器1520將同級圖像之POC資訊添加至CRA圖像之傳輸單元資料之語法，自POC不連續計數器（POC discontinuity counter；PDC）獲得計數值，且將所述計數值自PDC添加至語法，所述PDC為具有每當重設POC或對CRA圖像做編碼便增大1的值的計數器。
返回參看圖17A，如上所述，每當在對圖像做編碼時重設POC或對CRA圖像做編碼，多工器1520便將來自PDC之計數值增大1。因為每當對IDR圖像做編碼便重設POC，所以每當對IDR圖像做編碼，PDC之值便增大1，且當對除CRA44圖像之外之先前CRA圖像做編碼時，來自PDC之計數值之值增大1。多工器1520將具有同級圖像之POC的PDC之值添加至CRA圖像之傳輸單元資料之標頭1730。每當在對輸入傳輸單元資料做解碼時重設POC，亦即，每當對IDR圖像做解碼或對CRA圖像做解碼，解碼器便按照與編碼器相同之方式將來自PDC之計數值增大1。如圖17A所示，在正常再生之狀況下，當對CRA44圖像做解碼時，用於多工CRA44圖像之傳輸單元資料之標頭1730中所包含的PDC值以及在藉由解碼器對圖像做編碼時計數的PDC值1745全部為3。
返回參看圖17B，在隨機存取之狀況下，存在在CRA44圖像之前解碼的一個IDR圖像以及一個CRA圖像，以使得當根據隨機存取而對CRA44圖像做解碼時，PDC值1785為2，其不同於具有3且包含於用於多工CRA44圖像之傳輸單元資料之標頭1770中的PDC值。因此，基於PDC值之間的失配，解碼器可判定根據隨機存取而再生當前CRA圖像。
圖18為根據本發明之實施例的多工視訊資料之方法的流程圖。
參看圖18，在操作1810中，視訊編碼器1510基於具有階層式結構之資料單元而對形成視訊資料之圖像做編碼。如上所述，視訊編碼器1510判定根據深度之較深編碼單元中包含具有編碼深度之編碼單元之樹狀結構編碼單元，根據深度之較深編碼單元是根據深度而階層式形成，所述深度指示藉由使用最大大小編碼單元分割形成視訊之圖像而獲得的至少一個最大編碼單元之空間分割數；針對具有編碼深度之編碼單元中之每一者而判定用於預測編碼之分區；基於階層式結構變換單元而執行變換；且接著判定樹狀結構變換單元。在階層式資料單元之判定過程中，可基於位元率失真（RA）成本來判定最佳階層式資料單元之結構。
在操作1820中，回應於來自解碼裝置的對經編碼之資料之傳輸請求，再生狀態辨識器1530判定傳輸請求是根據正常再生還是針對隨機存取。如上所述，解碼裝置可統指用於儲存、再生以及編輯經編碼之視訊資料之裝置，且可包含經由通信頻道連接之用戶端、管理儲存媒體之裝置、視訊編輯系統、媒體框架及其類似者。
在操作1830中，多工器1520根據操作1820中之判定之結果而將預定語法添加至用於多工CRA圖像（其為具有前導圖像之畫面內圖像）的傳輸單元資料，其中預定語法指示經由正常再生進行之請求以及經由隨機存取進行之請求中之哪一請求與CRA圖像相關。如上所述，前導圖像意謂按照顯示次序在CRA圖像之前但按照編碼次序在CRA圖像之後編碼的圖像。且，傳輸單元資料可為NAL資料。且，多工器1520可將指示NAL單元之類型之辨識符（nal unit type）添加至NAL單元之標頭，以使得用於多工根據經由正常再生進行之請求而提供之CRA圖像的NAL單元的辨識符（nal unit type）可不同於用於多工根據經由隨機存取進行之請求而提供之CRA圖像的NAL單元的辨識符（nal unit type）。且，多工器1520可將旗標添加至NAL單元之標頭，其中所述旗標根據用於多工根據經由正常再生進行之請求而提供之CRA圖像的NAL單元以及用於多工根據經由隨機存取進行之請求而提供之CRA圖像的NAL單元而具有值0或1。且，多工器1520可自PDC獲得每當在多工圖像時重設POC或對CRA圖像做編碼便增大1之計數值，且可將CRA圖像之同級圖像之POC資訊以及來自PDC之計數值添加至NAL單元之標頭。
圖19說明根據本發明之實施例的視訊資料逆多工裝置1900的結構。
參看圖19，視訊資料逆多工裝置1900包含視訊解碼器1910、逆多工器1920以及再生狀態辨識器1930。
逆多工器1920接收傳輸單元資料，亦即，自圖15之視訊資料多工裝置1500傳輸之NAL單元資料，且自用於多工CRA圖像之NAL單元資料獲得指示CRA圖像是根據正常再生狀態還是根據隨機存取狀態而解碼的語法。
再生狀態辨識器1930藉由使用所獲得之語法而判定CRA圖像是根據正常再生還是根據隨機存取而再生。
如上所述，用於多工根據經由正常再生進行之請求而提供之CRA圖像的NAL單元設定為辨識符（nal unit type）不同於用於多工根據經由隨機存取進行之請求而提供之CRA圖像的NAL單元的辨識符（nal unit type）時，再生狀態辨識器1930可藉由參考辨識符（nal unit type）之值而識別當前CRA圖像之解碼狀態。若NAL單元之標頭被添加根據用於多工根據經由正常再生進行之請求而提供之CRA圖像的NAL單元以及用於多工根據經由隨機存取進行之請求而提供之CRA圖像的NAL單元而具有值0或1的旗標，則再生狀態辨識器1930可藉由參考關於所述旗標之資訊而識別當前CRA圖像之解碼狀態。
且，當NAL單元之標頭包含來自PDC之計數值以及同級圖像之POC資訊時，再生狀態辨識器1930每當在對先前圖像做解碼時對IDR圖像或CRA圖像做解碼便增大來自PDC之計數值，且判定在對當前CRA圖像做解碼時自NAL單元之標頭獲得的來自PDC之計數值與在解碼程序中計數的PDC之間的匹配。且，再生狀態辨識器1930判定NAL單元之標頭中所包含的CRA圖像之同級圖像之POC值與在對當前CRA圖像做解碼時儲存於DPB中之先前圖像之POC值之間的匹配。若來自PDC之計數值或POC值中之任一者並不匹配，則再生狀態辨識器1930判定當前CRA圖像是根據隨機存取而再生，且若來自PDC之計數值與POC值兩者匹配，則再生狀態辨識器1930判定當前CRA圖像是根據正常再生而再生。若當前CRA圖像是根據隨機存取而再生，則不必對當前CRA之前導圖像做解碼，以使得再生狀態辨識器1930通知視訊解碼器1910不需要對當前CRA之前導圖像做解碼。
視訊解碼器1910對應於圖2之視訊解碼裝置200或圖5之視訊解碼器500。視訊解碼器1910自NAL單元獲得經編碼之影像資料以及關於用於產生經編碼之影像資料之編碼單元的分割資訊、分區類型資訊、預測模式資訊、變換單元大小資訊以及關於編碼程序之參數集合資訊，且執行解碼。
圖20為根據本發明之實施例的逆多工視訊資料之方法的流程圖。
參看圖20，在操作2010中，逆多工器1920接收傳輸單元資料，所述傳輸單元資料用於多工藉由基於階層式結構資料單元來對形成視訊資料之圖像做編碼而產生的位元串流。如上所述，傳輸單元資料可為NAL單元資料。
在操作2020中，逆多工器1920自用於多工CRA圖像之NAL單元資料獲得指示CRA圖像是根據正常再生狀態還是根據隨機存取狀態而解碼之語法。
在操作2030中，再生狀態辨識器1930基於所獲得之語法而辨識CRA圖像是根據正常再生還是根據隨機存取而再生。如上所述，當NAL單元之標頭藉由使用辨識符（nal unit type）而用信號通知CRA圖像之解碼狀態時，再生狀態辨識器1930可藉由參考辨識符（nal unit type）之值而識別當前CRA圖像之解碼狀態。若具有值0或1之旗標添加至NAL單元之標頭，則再生狀態辨識器1930可藉由參考所述旗標之資訊而識別當前CRA圖像之解碼狀態。且，當PDC以及同級圖像之POC資訊包含在NAL單元之標頭中時，再生狀態辨識器1930可藉由判定解碼程序中所含有之PDC與NAL單元之標頭中所包含之PDC之間的匹配以及DPB中所儲存之先前圖像之POC值與同級圖像之POC值之間的匹配而識別當前CRA圖像之解碼狀態。
當判定CRA圖像是根據隨機存取而再生時，不顯示CRA圖像之前導圖像且因此不需要對前導圖像做解碼。根據本發明之實施例，可辨識根據隨機存取而再生之CRA圖像，以使得可不對CRA圖像之前導圖像做解碼，且因此可節省解碼裝置之系統資源。
本發明亦可體現為電腦可讀記錄媒體上之電腦可讀碼。電腦可讀記錄媒體為可儲存可之後由電腦系統讀取之資料的任何資料儲存元件。電腦可讀記錄媒體之實例包含唯讀記憶體（read-only memory；ROM）、隨機存取記憶體（random-access memory；RAM）、CD-ROM、磁帶、軟碟、光學資料儲存元件等。電腦可讀記錄媒體亦可經由網路耦接之電腦系統而分散，以使得電腦可讀碼按照分散方式而儲存並執行。
儘管已參考本發明之較佳實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明之精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。因此，本發明之範疇並非由本發明之詳細描述界定而是由所附申請專利範圍界定，且在此範疇內之所有差異將解釋為包含於本發明中。
100‧‧‧視訊編碼裝置
110‧‧‧最大寫碼單元分割器
120‧‧‧寫碼單元判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元/經解碼圖像緩衝器（DPB）
585‧‧‧參考畫面
600‧‧‧階層式結構
610‧‧‧寫碼單元/分區/最大寫碼單元/編碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧寫碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧寫碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧寫碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
650‧‧‧寫碼單元
710‧‧‧寫碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面內變換單元
900‧‧‧寫碼單元/當前最大寫碼單元
910‧‧‧預測單元
912‧‧‧分區類型/寫碼單元
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧寫碼單元/編碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元/編碼單元
1016‧‧‧寫碼單元/編碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元/編碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元/編碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元/編碼單元
1050‧‧‧寫碼單元/編碼單元
1052‧‧‧寫碼單元/編碼單元
1054‧‧‧寫碼單元/編碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1300‧‧‧最大寫碼單元
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
1401‧‧‧B18圖像
1402‧‧‧B6圖像
1410‧‧‧CRA24圖像
1420‧‧‧前導圖像
1421‧‧‧B22圖像
1430‧‧‧DPB
1440‧‧‧DPB
1500‧‧‧視訊資料多工裝置
1510‧‧‧視訊編碼器
1520‧‧‧多工器
1530‧‧‧再生狀態辨識器
1600‧‧‧NAL單元
1610‧‧‧NAL標頭
1611‧‧‧forbidden_zero_bit
1612‧‧‧狀態辨識語法
1620‧‧‧原始位元組序列有效負載（RBSP）
1630‧‧‧RBSP填充位元1630
1710‧‧‧B38圖像
1720‧‧‧B40圖像
1730‧‧‧標頭
1740‧‧‧DPB
1745‧‧‧PDC值/B40圖像
1770‧‧‧標頭
1780‧‧‧DPB
1785‧‧‧PDC值
1900‧‧‧視訊資料逆多工裝置
1910‧‧‧視訊解碼器
1920‧‧‧逆多工器
1930‧‧‧再生狀態辨識器
CU_0‧‧‧當前寫碼單元
CU_(d-1)‧‧‧寫碼單元
圖1為根據本發明之實施例的用於對視訊做編碼之裝置之方塊圖。 圖2為根據本發明之實施例的用於對視訊做解碼之裝置之方塊圖。 圖3為用於描述根據本發明之實施例的寫碼單元之概念的圖式。 圖4為根據本發明之實施例的基於寫碼單元之影像編碼器的方塊圖。 圖5為根據本發明之實施例的基於寫碼單元之影像解碼器的方塊圖。 圖6為說明根據本發明之實施例的根據深度之較深寫碼單元以及分區的圖式。 圖7為用於描述根據本發明之實施例的寫碼單元與變換單元之間的關係的圖式。 圖8為用於描述根據本發明之實施例的對應於經寫碼之深度之寫碼單元的編碼資訊的圖式。 圖9為根據本發明之實施例的根據深度之較深寫碼單元的圖式。 圖10至圖12為用於描述根據本發明之實施例的寫碼單元、預測單元與變換單元之間的關係的圖式。 圖13為用於描述根據表1之編碼模式資訊的寫碼單元、預測單元或分區與變換單元之間的關係的圖式。 圖14A以及圖14B說明根據本發明之實施例的在正常再生與隨機存取中之純隨機存取（CRA）圖像之解碼程序。 圖15說明根據本發明之實施例的視訊資料多工裝置的結構。 圖16說明根據本發明之實施例的網路抽象層（NAL）單元的結構。 圖17A以及圖17B說明根據本發明之另一實施例的在正常再生與隨機存取中之CRA圖像之解碼程序。 圖18為根據本發明之實施例的多工視訊資料之方法的流程圖。 圖19說明根據本發明之實施例的視訊資料逆多工裝置1900的結構。 圖20為根據本發明之實施例的逆多工視訊資料之方法的流程圖。
1500‧‧‧視訊資料多工裝置
1510‧‧‧視訊編碼器
1520‧‧‧多工器
1530‧‧‧再生狀態辨識器

Claims (1)

  1. 一種視訊解碼之方法，所述方法包括：接收包含標頭的傳輸單元資料；自所述標頭獲得類型資訊，其中所述類型資訊指示當前圖像的類型且包含在所述傳輸單元資料中，基於所述類型資訊針對隨機存取而辨識所述當前圖像是否為純隨機存取圖像；以及藉由基於針對所述經辨識純隨機存取圖像的旗標，判定所述經辨識純隨機存取圖像是否經由所述隨機存取而被解碼，其中將所述經辨識純隨機存取圖像分割為多個最大寫碼單元，其中藉由使用自位元串流剖析的分割資訊，將所述多個最大寫碼單元的其中一個最大寫碼單元分割為多個寫碼單元，其中基於所述多個寫碼單元對所述純隨機存取圖像解碼。
TW105110841A 2011-07-02 2012-07-02 視訊解碼方法 TWI578765B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161504178P 2011-07-02 2011-07-02
US201161552549P 2011-10-28 2011-10-28

Publications (2)

Publication Number Publication Date
TW201626800A TW201626800A (zh) 2016-07-16
TWI578765B true TWI578765B (zh) 2017-04-11

Family

ID=47437548

Family Applications (5)

Application Number Title Priority Date Filing Date
TW105110841A TWI578765B (zh) 2011-07-02 2012-07-02 視訊解碼方法
TW101123830A TWI535272B (zh) 2011-07-02 2012-07-02 視訊解碼裝置
TW106105704A TWI604720B (zh) 2011-07-02 2012-07-02 視訊解碼裝置
TW104122835A TWI526053B (zh) 2011-07-02 2012-07-02 視訊解碼方法
TW106132889A TWI637628B (zh) 2011-07-02 2012-07-02 視訊解碼裝置執行的解碼視訊的方法、視訊編碼裝置執行的編碼視訊的方法以及非暫態的電腦可讀取儲存媒體

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW101123830A TWI535272B (zh) 2011-07-02 2012-07-02 視訊解碼裝置
TW106105704A TWI604720B (zh) 2011-07-02 2012-07-02 視訊解碼裝置
TW104122835A TWI526053B (zh) 2011-07-02 2012-07-02 視訊解碼方法
TW106132889A TWI637628B (zh) 2011-07-02 2012-07-02 視訊解碼裝置執行的解碼視訊的方法、視訊編碼裝置執行的編碼視訊的方法以及非暫態的電腦可讀取儲存媒體

Country Status (26)

Country Link
US (2) US9788003B2 (zh)
EP (3) EP2728861B1 (zh)
JP (3) JP5905960B2 (zh)
KR (7) KR101457895B1 (zh)
CN (5) CN103765908B (zh)
AU (3) AU2012278485B2 (zh)
BR (1) BR112013033902A2 (zh)
CA (1) CA2840893C (zh)
CY (2) CY1119757T1 (zh)
DK (2) DK2728861T3 (zh)
ES (2) ES2699503T3 (zh)
HR (2) HRP20171487T1 (zh)
HU (2) HUE042458T2 (zh)
LT (2) LT3267681T (zh)
MX (3) MX337077B (zh)
MY (1) MY168370A (zh)
PH (4) PH12017501053A1 (zh)
PL (2) PL3267681T3 (zh)
PT (2) PT2728861T (zh)
RS (2) RS57976B1 (zh)
RU (3) RU2014103489A (zh)
SG (1) SG10201505182UA (zh)
SI (2) SI2728861T1 (zh)
TW (5) TWI578765B (zh)
WO (1) WO2013005969A2 (zh)
ZA (1) ZA201400764B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI578765B (zh) * 2011-07-02 2017-04-11 三星電子股份有限公司 視訊解碼方法
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9432694B2 (en) * 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
KR20140123914A (ko) * 2013-04-12 2014-10-23 삼성전자주식회사 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
EP3010232A4 (en) 2013-06-12 2017-01-25 Mitsubishi Electric Corporation Image encoding device, image encoding method, image decoding device, and image decoding method
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015060699A1 (ko) * 2013-10-26 2015-04-30 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR102477964B1 (ko) * 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
JP6854716B2 (ja) * 2017-07-05 2021-04-07 キヤノン株式会社 画像処理装置、画像処理方法
US11310560B2 (en) * 2019-05-17 2022-04-19 Samsung Electronics Co., Ltd. Bitstream merger and extractor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200708109A (en) * 2005-04-13 2007-02-16 Nokia Corp Method, device and system for effectively coding and decoding of video data
US20080075168A1 (en) * 2004-10-07 2008-03-27 Matsushita Electric Industrial Co., Ltd. Picture Coding Apparatus and Picture Decoding Apparatus
TW200950529A (en) * 2007-10-12 2009-12-01 Qualcomm Inc Adaptive coding of video block header information
JP2011019270A (ja) * 2004-04-28 2011-01-27 Panasonic Corp 復号システムおよび記録媒体

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3860323B2 (ja) 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
JP3380763B2 (ja) 1998-01-23 2003-02-24 松下電器産業株式会社 画像処理方法
US7366402B2 (en) * 2000-06-02 2008-04-29 Lg Electronics Inc. Method and apparatus of recording a high definition digital television broadcast signal
AU2002354066A1 (en) 2001-11-30 2003-06-10 Koninklijke Philips Electronics N.V. A method and an apparatus for stream conversion, a method and an apparatus for data recording, and data recording medium
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
JP3852366B2 (ja) 2002-04-26 2006-11-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
AU2003251964A1 (en) 2002-07-16 2004-02-02 Nokia Corporation A method for random access and gradual picture refresh in video coding
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
TWI264951B (en) 2005-05-19 2006-10-21 Cheertek Inc Deblock filter method for applying on video encoding/decoding and the apparatus thereof
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
JP4737003B2 (ja) * 2006-08-10 2011-07-27 ソニー株式会社 編集装置、編集方法、編集プログラムおよび編集システム
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
EP2095641A2 (en) 2006-11-14 2009-09-02 QUALCOMM Incorporated Systems and methods for channel switching
CN101198052B (zh) 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
US20080159407A1 (en) 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
US20080170528A1 (en) * 2007-01-12 2008-07-17 Peter Bosch Method of multicasting base and enhancement layers of a video stream
KR101142379B1 (ko) * 2007-02-14 2012-05-18 삼성전자주식회사 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법
CN101257624B (zh) 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
US8078644B2 (en) * 2007-05-04 2011-12-13 Nokia Corporation Media stream recording into a reception hint track of a multimedia container file
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和系统
CN101222616B (zh) * 2008-01-22 2011-08-10 中兴通讯股份有限公司 点播服务中的mpeg传送流的传输处理方法
JP5170708B2 (ja) * 2008-01-24 2013-03-27 日本電気株式会社 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2010062529A (ja) * 2008-08-04 2010-03-18 Toshiba Corp 半導体装置の製造方法
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
TWI578765B (zh) * 2011-07-02 2017-04-11 三星電子股份有限公司 視訊解碼方法
JP5993453B2 (ja) * 2011-07-15 2016-09-14 テレフオンアクチーボラゲット エルエム エリクソン（パブル） クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011019270A (ja) * 2004-04-28 2011-01-27 Panasonic Corp 復号システムおよび記録媒体
US20080075168A1 (en) * 2004-10-07 2008-03-27 Matsushita Electric Industrial Co., Ltd. Picture Coding Apparatus and Picture Decoding Apparatus
TW200708109A (en) * 2005-04-13 2007-02-16 Nokia Corp Method, device and system for effectively coding and decoding of video data
TW200950529A (en) * 2007-10-12 2009-12-01 Qualcomm Inc Adaptive coding of video block header information

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Thomas Wiegand et al, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva，2011/03/23，page 1~82 *
Ying Chen et al，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva，2011/03/23，page 1~4 *

Also Published As

Publication number Publication date
JP6185620B2 (ja) 2017-08-23
PH12017501056A1 (en) 2017-10-18
CA2840893C (en) 2018-12-18
TW201717639A (zh) 2017-05-16
TW201315245A (zh) 2013-04-01
AU2017201284B2 (en) 2018-03-01
AU2012278485B2 (en) 2016-12-15
ZA201400764B (en) 2019-07-31
WO2013005969A3 (ko) 2013-02-28
MX2014000048A (es) 2014-04-30
PT3267681T (pt) 2018-12-17
JP2017192157A (ja) 2017-10-19
TW201547255A (zh) 2015-12-16
CN103765908A (zh) 2014-04-30
MX337078B (es) 2016-02-11
JP6486421B2 (ja) 2019-03-20
LT2728861T (lt) 2017-10-25
RU2668284C1 (ru) 2018-09-28
TW201743617A (zh) 2017-12-16
TW201626800A (zh) 2016-07-16
JP2014524196A (ja) 2014-09-18
HRP20171487T1 (hr) 2017-11-17
CY1119757T1 (el) 2018-06-27
HUE035904T2 (en) 2018-05-28
KR20160121459A (ko) 2016-10-19
TWI604720B (zh) 2017-11-01
JP2016131391A (ja) 2016-07-21
HUE042458T2 (hu) 2019-07-29
LT3267681T (lt) 2018-12-10
SI2728861T1 (sl) 2017-11-30
SG10201505182UA (en) 2015-08-28
BR112013033902A2 (pt) 2017-12-12
EP2728861A2 (en) 2014-05-07
PH12017501055A1 (en) 2017-10-18
ES2642839T3 (es) 2017-11-20
EP2728861A4 (en) 2015-04-01
EP3439299A1 (en) 2019-02-06
MX337077B (es) 2016-02-11
KR20180087203A (ko) 2018-08-01
SI3267681T1 (sl) 2019-01-31
EP3267681B1 (en) 2018-11-21
CY1120978T1 (el) 2019-12-11
KR101748178B1 (ko) 2017-06-16
DK3267681T3 (en) 2018-12-17
KR20160129791A (ko) 2016-11-09
US20140146885A1 (en) 2014-05-29
US9788003B2 (en) 2017-10-10
KR101661696B1 (ko) 2016-09-30
TWI535272B (zh) 2016-05-21
CN107483980A (zh) 2017-12-15
TWI526053B (zh) 2016-03-11
DK2728861T3 (en) 2017-10-23
PL3267681T3 (pl) 2019-02-28
CN107454417A (zh) 2017-12-08
KR101648557B1 (ko) 2016-08-16
PL2728861T3 (pl) 2017-12-29
KR20170094097A (ko) 2017-08-17
KR101457895B1 (ko) 2014-11-04
KR20130004436A (ko) 2013-01-10
RS56448B1 (sr) 2018-01-31
US20150382002A1 (en) 2015-12-31
KR101753370B1 (ko) 2017-07-03
KR20140085394A (ko) 2014-07-07
PH12017501053A1 (en) 2017-10-18
PT2728861T (pt) 2017-10-17
TWI637628B (zh) 2018-10-01
RU2014103489A (ru) 2015-08-10
HRP20181956T1 (hr) 2019-01-25
MY168370A (en) 2018-10-31
KR20150000852A (ko) 2015-01-05
EP2728861B1 (en) 2017-10-04
JP5905960B2 (ja) 2016-04-20
RU2636131C1 (ru) 2017-11-20
CA2840893A1 (en) 2013-01-10
ES2699503T3 (es) 2019-02-11
CN107623856A (zh) 2018-01-23
AU2017201284A1 (en) 2017-03-16
PH12017501054A1 (en) 2017-10-18
CN107820094A (zh) 2018-03-20
AU2018203606A1 (en) 2018-06-14
CN103765908B (zh) 2017-11-03
KR101872978B1 (ko) 2018-07-02
EP3267681A1 (en) 2018-01-10
RS57976B1 (sr) 2019-01-31
WO2013005969A2 (ko) 2013-01-10
AU2012278485A1 (en) 2014-01-23
KR101997039B1 (ko) 2019-07-05

Similar Documents

Publication Publication Date Title
TWI578765B (zh) 視訊解碼方法
TWI587690B (zh) 對影像進行解碼之方法
KR102094503B1 (ko) 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
KR102139660B1 (ko) 시간적 스케일러빌러티를 갖는 비디오 부호화 방법 및 장치, 시간적 스케일러빌러티를 갖는 비디오 복호화 방법 및 장치
US20150288975A1 (en) Method and apparatus for encoding video and method and appartaus for decoding video for random access

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees