TW201720165A - 動態影像解碼裝置、動態影像解碼方法、及儲存有動態影像解碼程式之記錄媒體 - Google Patents

動態影像解碼裝置、動態影像解碼方法、及儲存有動態影像解碼程式之記錄媒體 Download PDF

Info

Publication number
TW201720165A
TW201720165A TW106102656A TW106102656A TW201720165A TW 201720165 A TW201720165 A TW 201720165A TW 106102656 A TW106102656 A TW 106102656A TW 106102656 A TW106102656 A TW 106102656A TW 201720165 A TW201720165 A TW 201720165A
Authority
TW
Taiwan
Prior art keywords
block
prediction
inter
prediction information
candidate
Prior art date
Application number
TW106102656A
Other languages
English (en)
Other versions
TWI593277B (zh
Inventor
Hiroya Nakamura
Shigeru Fukushima
Hideki Takehara
Original Assignee
Jvc Kenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012273315A external-priority patent/JP5561348B2/ja
Priority claimed from JP2012273314A external-priority patent/JP5900308B2/ja
Application filed by Jvc Kenwood Corp filed Critical Jvc Kenwood Corp
Publication of TW201720165A publication Critical patent/TW201720165A/zh
Application granted granted Critical
Publication of TWI593277B publication Critical patent/TWI593277B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

提供一種可削減所傳輸之編碼資訊的發生編碼量而提升編碼效率的裝置、方法、程式。將各圖像所被分割而成之第1區塊，分割成1個或複數個第2區塊而進行畫面間預測時，空間合併候補生成部(230)係不參照含第2區塊的第1區塊中所含之區塊，就導出空間合併候補。時間合併候補之參照索引導出部(231)，係若為將編碼區塊以水平交界而分割成上下之預測區塊的模式時，則將時間合併候補之參照索引資訊，設定成解碼對象之預測區塊的左邊鄰近之已解碼預測區塊的參照索引資訊之值，若為將編碼區塊以垂直交界而分割成左右之預測區塊的模式時，則將時間合併候補之參照索引資訊，設定成解碼對象之預測區塊的上邊鄰近之已解碼預測區塊的參照索引資訊之值。

Description

動態影像解碼裝置、動態影像解碼方法、及儲存有動態影像解碼程式之記錄媒體
本發明係有關於動態影像解碼技術，尤其是有關於利用了運動補償預測的動態影像解碼技術。
動態影像的壓縮編碼方式的具有代表性者，係有MPEG-4 AVC/H.264規格。在MPEG-4 AVC/H.264中，是將圖像分割成複數矩形區塊，將已經編碼．解碼的圖像當作參照圖像，預測從參照圖像起算的運動，是使用此種運動補償。藉由該運動補償來預測運動的手法，稱作畫面間預測或運動補償預測。在MPEG-4 AVC/H.264的畫面間預測中，係可將複數圖像當作參照圖像來使用，從這些複數參照圖像中，針對每一區塊而選擇出最佳的參照圖像，來進行運動補償。於是，對各個參照圖像係分配了參照索引，藉由該參照索引，以特定出參照圖像。此外，在B圖像中，係從已解碼之參照圖像中最多選擇出2張來使用於畫面間預測。將從這2張參照圖像起的預測，分別區別為主要使用於前方向預測的L0預測(清單0預測)、主要 使用於後方向預測的L1預測(清單1預測)。
然後，還定義有同時會使用L0預測與L1預測這2種畫面間預測的雙預測。在雙預測時，係進行雙向的預測，對L0預測、L1預測之各個畫面間預測到的訊號乘上加權係數，加算偏置值而予以重疊，生成最終的畫面間預測影像訊號。加權預測中所使用的加權係數及偏置值，係以圖像單位來對各清單的每一參照圖像設定了代表性的值，並被編碼。在關於畫面間預測的編碼資訊中，係對每一區塊，具有用來區別L0預測、L1預測、雙預測的預測模式、對每一區塊的每一參照清單，具有用來特定參照圖像的參照索引、表示區塊之移動向量．移動量的運動向量，將這些編碼資訊予以編碼．解碼。
然後，在MPEG-4 AVC/H.264中係還定義有，根據已解碼之區塊的畫面間預測資訊來生成編碼或解碼對象區塊之畫面間預測資訊的直接模式。直接模式係不需要畫面間預測資訊的編碼，因此編碼效率會提升。
關於利用時間方向的畫面間預測資訊之相關的時間直接模式，使用圖42來說明。將L1之參照索引被登錄成0的圖像，當作基準圖像colPic。將基準圖像colPic內與編碼或解碼對象區塊相同位置的區塊，當作基準區塊。
若基準區塊是使用L0預測而被編碼，則將基準區塊的L0之運動向量當作基準運動向量mvCol，若基準區塊是沒有使用L0預測而被編碼，而是使用L1預測而被編碼，則將基準區塊的L1之運動向量當作基準運動向量 mvCol。將基準運動向量mvCol所參照之圖像當作時間直接模式的L0之參照圖像，將基準圖像colPic當作時間直接模式的L1之參照圖像。
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0與L1之運動向量mvL1。
從基準圖像colPic的POC，減去時間直接模式的L0之參照圖像的POC而導出圖像間距離td。此外，POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出順序而每次增加1之值。2個圖像的POC的差係表示時間軸方向的圖像間距離。
td=基準圖像colPic的POC-時間直接模式的L0之參照圖像的POC
從編碼或解碼對象圖像之POC減去時間直接模式的L0之參照圖像的POC而導出圖像間距離tb。
tb=編碼或解碼對象圖像之POC-時間直接模式的L0之參照圖像的POC
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0。
mvL0=tb/td * mvCol
從時間直接模式的L0之運動向量mvL0減去基準運動向量mvCol而導出L1之運動向量mvL1。
mvL1=mvL0-mvCol
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2004-129191號公報
可是，在先前的方法中，對於編碼及解碼對象之區塊而言，在時間直接模式下，有時候會預測精度降低，編碼效率變得不佳。
此種狀況下，本發明人們係在使用運動補償預測的動態影像編碼方式中，意識到了將編碼資訊更進一步壓縮，以削減整體編碼量的必要性。
本發明係有鑑於此種狀況而研發，其目的在於提供一種，藉由算出編碼資訊之候補，以謀求編碼資訊的編碼量之削減而提升編碼效率的動態影像碼技術。
提供一種動態影像解碼裝置，係屬於將編碼位元列進行解碼的動態影像解碼裝置；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，具備：第1預測資訊導出部，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出部，係從與作為前記解碼對象之圖像不同之圖像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附 近的第4區塊的畫面間預測資訊，進行第2畫面間預測資訊候補的導出處理；和解碼部，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構部，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和選擇部，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所使用之畫面間預測資訊之候補；前記第1預測資訊導出部，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出部，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值 視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
提供一種動態影像解碼方法，係屬於將編碼位元列進行解碼的動態影像解碼方法；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，具備：第1預測資訊導出步驟，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出步驟，係從與作為前記解碼對象之圖像不同之圖像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附近的第4區塊的畫面間預測資訊，進行第2畫面間預測資訊候補的導出處理；和解碼步驟，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構步驟，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和選擇步驟，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所 使用之畫面間預測資訊之候補；前記第1預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
提供一種儲存有動態影像解碼程式之記錄媒體，係為儲存有將編碼位元列進行解碼的動態影像解碼程式之記錄媒體；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，前記動態影像解碼程式係令電腦執行：第1預測資訊導出步驟，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出步驟，係從與作為前記解碼對象之圖像不同之圖 像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附近的第4區塊的畫面間預測資訊，進行第2畫面間預測資訊候補的導出處理；和解碼步驟，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構步驟，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和選擇步驟，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所使用之畫面間預測資訊之候補；前記第1預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之 第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的樣態而言皆為有效。
若依據本發明，則可削減所傳輸之編碼資訊的發生編碼量，可提升編碼效率。
101‧‧‧影像記憶體
102‧‧‧運動向量偵測部
103‧‧‧差分運動向量算出部
104‧‧‧畫面間預測資訊導出部
105‧‧‧運動補償預測部
106‧‧‧畫面內預測部
107‧‧‧預測方法決定部
108‧‧‧殘差訊號生成部
109‧‧‧正交轉換‧量化部
110‧‧‧第1編碼位元列生成部
111‧‧‧第2編碼位元列生成部
112‧‧‧多工化部
130‧‧‧空間合併候補生成部
131‧‧‧時間合併候補之參照索引導出部
132‧‧‧時間合併候補生成部
133‧‧‧合併候補登錄部
134‧‧‧合併候補同一判定部
135‧‧‧合併候補補充部
136‧‧‧編碼資訊選擇部
201‧‧‧分離部
202‧‧‧第1編碼位元列解碼部
203‧‧‧第2編碼位元列解碼部
204‧‧‧運動向量算出部
205‧‧‧畫面間預測資訊導出部
206‧‧‧運動補償預測部
207‧‧‧畫面內預測部
208‧‧‧逆量化‧逆正交轉換部
209‧‧‧解碼影像訊號重疊部
210‧‧‧編碼資訊儲存記憶體
211‧‧‧解碼影像記憶體
230‧‧‧空間合併候補生成部
231‧‧‧時間合併候補之參照索引導出部
232‧‧‧時間合併候補生成部
233‧‧‧合併候補登錄部
234‧‧‧合併候補同一判定部
235‧‧‧合併候補補充部
236‧‧‧編碼資訊選擇部
[圖1]執行實施形態所述之運動向量之預測方法的動態影像編碼裝置之構成的區塊圖。
[圖2]執行實施形態所述之運動向量之預測方法的動態影像解碼裝置之構成的區塊圖。
[圖3]樹區塊、編碼區塊的說明圖。
[圖4]預測區塊之分割模式的說明圖。
[圖5]合併模式下的空間合併候補中的與處理對象之預測區塊鄰近之預測區塊的說明圖。
[圖6]合併模式下的空間合併候補中的與處理對象之預測區塊鄰近之預測區塊的說明圖。
[圖7]合併模式下的空間合併候補中的與處理對象之預測區塊鄰近之預測區塊的說明圖。
[圖8]合併模式下的空間合併候補中的與處理對象之預測區塊鄰近之預測區塊的說明圖。
[圖9]合併模式下的時間合併候補之導出之際所參照之預測區塊的說明圖。
[圖10]關於合併模式的切片層級的位元串流之語法的說明圖。
[圖11]關於合併模式的預測區塊層級的位元串流之語法的說明圖。
[圖12]合併索引之語法要素的熵編碼之一例的說明圖。
[圖13]圖1的動態影像編碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖14]圖2的動態影像解碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖15]合併模式下的與處理對象之預測區塊鄰近之預測區塊的說明圖。
[圖16]合併候補導出及合併候補清單之建構處理的序列處理之處理程序的說明用流程圖。
[圖17]合併候補導出及合併候補清單之建構處理的平行處理之處理程序的說明用流程圖。
[圖18]合併模式的合併候補的導出處理及合併候補清單的建構處理之程序的說明用流程圖。
[圖19]合併模式的空間合併候補導出處理程序的說明用流程圖。
[圖20]本實施形態的實施例1中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖21]實施例1之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖22]本實施形態的實施例2中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖23]實施例2之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖24]本實施形態的實施例3中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖25]實施例3之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖26]本實施形態的實施例4中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖27]實施例4之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖28]本實施形態的實施例5中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖29]實施例5之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖30]實施例6之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖31]本實施形態的實施例7中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖32]實施例7之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖33]NxN分割之編碼區塊的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖34]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖35]合併模式的不同時間之圖像的導出處理程序的說明用流程圖。
[圖36]合併模式的不同時間之圖像的預測區塊之導出處理程序的說明用流程圖。
[圖37]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖38]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖39]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖40]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖41]合併模式的合併候補清單的建構處理程序的說明用流程圖。
[圖42]先前之MPEG-4 AVC/H.264的時間直接模式的說明圖。
[圖43]本實施形態的實施例8中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
[圖44]實施例8之方法所致之合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
在本實施形態中，關於動態影像的編碼，尤其是將圖像分割成任意尺寸、形狀之矩形區塊，為了提升在圖像間以區塊單位進行運動補償的動態影像編碼的編碼效率，而從編碼對象區塊所鄰近之區塊或已編碼之圖像的區塊之運動向量，導出複數預測運動向量，算出編碼對象之區塊的運動向量與所被選擇之預測運動向量的差分向量而予以編碼，藉此以削減編碼量。或藉由利用編碼對象區塊所鄰近之區塊或已編碼圖像之區塊之編碼資訊，導出編碼對象區塊的編碼資訊，藉此以削減編碼量。又，在動態影像之解碼時，係從解碼對象區塊所鄰近之區塊或已解碼之圖像的區塊之運動向量，算出複數預測運動向量，根據從編碼串流所解碼出來之差分向量與所被選擇之預測運動向量，來算出解碼對象之區塊的運動向量然後予以解碼。或藉由利用解碼對象區塊所鄰近之區塊或已解碼圖像之區塊之編碼資訊，導出解碼對象區塊的編碼資訊。
首先定義本實施形態中所使用的技術、及技術用語。
(關於樹區塊、編碼區塊)
在實施形態中，如圖3所示，將圖像內均等分割成任意之同一尺寸的正方之矩形單位。將此單位定義為樹區塊，是用來在圖像內將編碼或解碼對象區塊(編碼處理時係為編碼對象區塊、解碼處理時係為解碼對象區塊。以下 若無特別聲明則都是如此意思)加以特定所需之位址管理的基本單位。單色除外的樹區塊，係由1個亮度訊號與2個色差訊號所構成。樹區塊的尺寸係隨應於圖像尺寸或圖像內的紋理，而可自由設定成2的次方數的尺寸。樹區塊係會隨著圖像內的紋理，為了使編碼處理最佳化，而可因應需要而將樹區塊內的亮度訊號及色差訊號做階層式地4分割(縱橫各2分割)，變成區塊尺寸更小的區塊。將此區塊分別定義為編碼區塊，是進行編碼及解碼之際的處理的基本單位。單色除外的編碼區塊，也是由1個亮度訊號與2個色差訊號所構成。編碼區塊的最大尺寸係和樹區塊的尺寸相同。編碼區塊的最小尺寸之編碼區塊稱作最小編碼區塊，可自由設定成2的次方數的尺寸。
於圖3中，編碼區塊A係不將樹區塊做分割，而當作1個編碼區塊。編碼區塊B係為將樹區塊做4分割而成的編碼區塊。編碼區塊C係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊。編碼區塊D係為將樹區塊做4分割而成的區塊再階層式地二度做4分割而成的編碼區塊，是最小尺寸的編碼區塊。
(關於預測模式)
以編碼區塊單位，切換著根據編碼或解碼對象圖像內的已編碼或解碼(在編碼處理時係用於將已編碼之訊號進行解碼後的圖像、預測區塊、影像訊號等，在解碼處理時係用於已解碼之圖像、預測區塊、影像訊號等。以下，只 要沒有特別聲明，就照該意義來使用)的周圍之影像訊號來進行預測的畫面內預測(MODE_INTRA)、及根據已編碼或解碼的圖像之影像訊號來進行預測的畫面間預測(MODE_INTER)。將用來識別該畫面內預測(MODE_INTRA)與畫面間預測(MODE_INTER)的模式，定義成預測模式(PredMode)。預測模式(PredMode)係具有畫面內預測(MODE_INTRA)、或畫面間預測(MODE_INTER)之值，可選擇而編碼。
(關於分割模式、預測區塊、預測單元)
將圖像內分割成區塊來進行畫面內預測(MODE_INTRA)及畫面間預測(MODE_INTER)時，為了使畫面內預測及畫面間預測之方法的切換單位更小，會因應需要而將編碼區塊進行分割然後進行預測。將用來識別該編碼區塊之亮度訊號與色差訊號的分割方法的模式，定義成分割模式(PartMode)。然後，還將該已被分割之區塊，定義成預測區塊。如圖4所示，隨著編碼區塊的亮度訊號的分割方法，定義8種分割模式(PartMode)。
將圖4(a)所示未將編碼區塊之亮度訊號做分割而視為1個預測區塊的分割模式(PartMode)，定義為2N×2N分割(PART_2Nx2N)。將圖4(b)、(c)、(d)所示未將編碼區塊之亮度訊號分割成上下並排之2個預測區塊的分割模式(PartMode)，分別定義為2N×N分割 (PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)。但是，2N×N分割(PART_2NxN)係為上下以1：1之比率做分割的分割模式，2N×nU分割(PART_2NxnU)係為上下以1：3之比率做分割的分割模式，2N×nD分割(PART_2NxnD)係為上下以3：1之比率做分割的分割模式。將圖4(e)、(f)、(g)所示未將編碼區塊之亮度訊號分割成左右並排之2個預測區塊的分割模式(PartMode)，分別定義為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)。但是，N×2N分割(PART_Nx2N)係為左右以1：1之比率做分割的分割模式，nL×2N分割(PART_nLx2N)係為左右以1：3之比率做分割的分割模式，nR×2N分割(PART_nRx2N)係為左右以3：1之比率做分割的分割模式。將圖4(h)所示的編碼區塊的亮度訊號做上下左右4分割，而將變成4個預測區塊的分割模式(PartMode)，分別定義為N×N分割(PART_NxN)。
此外，各分割模式(PartMode)皆分別是以和亮度訊號之縱橫分割比率同樣地，分割色差訊號。
於編碼區塊內部，為了特定各預測區塊，而將從0開始的號碼，以編碼順序，對存在於編碼區塊內部的預測區塊進行分配。將該號碼定義為分割索引PartIdx。圖4的編碼區塊的各預測區塊之中所記述的數字，係表示該預測區塊的分割索引PartIdx。在圖4(b)、(c)、(d)所 示的2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxD)中，令上方的預測區塊的分割索引PartIdx為0，令下方的預測區塊的分割索引PartIdx為1。在圖4(e)、(f)、(g)所示的N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)中，令左方的預測區塊的分割索引PartIdx為0，令右方的預測區塊的分割索引PartIdx為1。在圖4(h)所示的N×N分割(PART_NxN)中，令左上方的預測區塊的分割索引PartIdx為0，令右上方的預測區塊的分割索引PartIdx為1，令左下方的預測區塊的分割索引PartIdx為2，令右下方的預測區塊的分割索引PartIdx為3。
在預測模式(PredMode)為畫面間預測(MODE_INTER)時，分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)。僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)之外還可定義N×N分割 (PART_NxN)，但在本實施形態中係設計成，分割模式(PartMode)係沒有定義N×N分割(PART_NxN)。
在預測模式(PredMode)為畫面內預測(MODE_INTRA)時，除了最小編碼區塊亦即編碼區塊D以外，分割模式(PartMode)係僅定義2N×2N分割(PART_2Nx2N)，僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)以外還定義了N×N分割(PART_NxN)。此外，最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是，在最小編碼區塊以外，無法將編碼區塊做4分割而表現更小的編碼區塊。
(樹區塊、編碼區塊、預測區塊、轉換區塊之位置)
本實施形態的樹區塊、編碼區塊、預測區塊、轉換區塊為首的各區塊之位置，係令亮度訊號的畫面之最左上之亮度訊號的像素位置為原點(0,0)，將各個區塊領域中所包含之最左上的亮度訊號之像素位置，以(x,y)的二維座標來表示。座標軸的方向係水平方向朝右的方向、垂直方向朝下的方向分別令為正的方向，單位係為亮度訊號的1像素單位。亮度訊號與色差訊號上影像尺寸(像素數)是相同的色差格式是4：4：4時不用說，亮度訊號與色差訊號上影像尺寸(像素數)是不同的色差格式是4：2：0、4：2：2的情況下，也將色差訊號的各區塊之位置以該區塊之領域中所包含之亮度訊號的像素之座標來表 示，單位係為亮度訊號的1像素。藉由如此設計，不但可以特定色差訊號的各區塊之位置，只需藉由比較座標之值，亮度訊號的區塊與色差訊號的區塊之位置關係也很明確。
(關於畫面間預測模式、參照清單)
在本發明的實施形態中，在從已解碼之圖像的影像訊號進行預測的畫面間預測下，可將複數個已解碼之圖像，當作參照圖像來使用。為了特定從複數參照圖像中所選擇出來的參照圖像，而對每一預測區塊，賦予參照索引。在B切片係可對每預測區塊選擇任意2張參照圖像來進行畫面間預測，作為畫面間預測模式係有L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。參照圖像係被清單結構的L0(參照清單0)與L1(參照清單1)所管理，藉由指定L0或L1之參照索引，就可特定參照圖像。L0預測(Pred_L0)係為參照受L0所管理之參照圖像的畫面間預測，L1預測(Pred_L1)係為參照受L1所管理之參照圖像的畫面間預測，雙預測(Pred_BI)係為L0預測與L1預測都會被進行，是參照著受L0與L1所分別管理之各1個參照圖像的畫面間預測。在P切片的畫面間預測上係可僅使用L0預測，在B切片的畫面間預測上係可使用L0預測、L1預測、將L0預測與L1預測進行平均或加算加權之雙預測(Pred_BI)。以後的處理中，關於輸出附加有字尾LX之 定數、變數，係以針對L0、L1個別進行處理為前提。
(合併模式、合併候補)
所謂合併模式，係並非將編碼或解碼對象之預測區塊的預測模式、參照索引、運動向量等之畫面間預測資訊予以編碼或解碼，而是從與編碼或解碼對象預測區塊在同一圖像內且該編碼或解碼對象預測區塊所鄰近的預測區塊、或是與編碼或解碼對象預測區塊不同時間之已解碼圖像的存在於與編碼或解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊的畫面間預測資訊，導出編碼或解碼對象預測區塊的畫面間預測資訊，藉此以進行畫面間預測的模式。將與編碼或解碼對象預測區塊在同一圖像內且該編碼或解碼對象預測區塊所鄰近的預測區塊及該預測區塊之畫面間預測資訊，稱作空間合併候補，將從與編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像的存在於與編碼或解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊及該預測區塊之畫面間預測資訊所導出的畫面間預測資訊，稱作時間合併候補。各個合併候補係被登錄至合併候補清單，藉由合併索引來特定出，在畫面間預測時所使用的合併候補。
(關於鄰近之預測區塊)
圖5、圖6、圖7及圖8係空間合併候補之導出、及時間合併候補之參照索引之導出之際所參照的與編碼或解 碼對象預測區塊在同一圖像內且該編碼或解碼對象預測區塊所相鄰的預測區塊的說明圖。圖9係為，時間合併候補之參照索引之導出之際所參照的與編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像中，存在於與編碼或解碼對象預測區塊同一位置或其附近的已編碼或解碼之預測區塊的說明圖。使用圖5、圖6、圖7、圖8及圖9來說明編碼或解碼對象預測區塊的空間方向鄰近之預測區塊、及不同時間的同一位置之預測區塊。
如圖5所示，將與編碼或解碼對象之預測區塊在同一圖像內且該編碼或解碼對象之預測區塊之左側邊鄰近的預測區塊A、上側邊所鄰近之預測區塊B、右上頂點所鄰近之預測區塊C、左下頂點所鄰近之預測區塊D、及左上頂點所鄰近之預測區塊E，定義為空間方向鄰近的預測區塊。
此外，如圖6所示，當編碼或解碼對象之預測區塊的左側邊鄰近之預測區塊的尺寸是小於編碼或解碼對象之預測區塊，且複數存在時，則在本實施形態中係在左側邊鄰近之預測區塊之中將最下方的預測區塊A10視作左側邊鄰近之預測區塊A。
同樣地，當編碼或解碼對象之預測區塊的上側邊鄰近之預測區塊的尺寸是小於編碼或解碼對象之預測區塊，且複數存在時，則在本實施形態中係在左側邊鄰近之預測區塊之中將最右方的預測區塊B10視作上側邊鄰近之預測區塊B1。
此外，如圖7所示，當編碼或解碼對象之預測區塊的左側鄰近之預測區塊F的尺寸是大於編碼或解碼對象之預測區塊時，仍依照前記條件，若左側鄰近之預測區塊A是有鄰近於該編碼或解碼對象之預測區塊之左側邊則視作預測區塊A，若鄰近於編碼或解碼對象之預測區塊之左下頂點則視作預測區塊D，若鄰近於編碼或解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖6的例子中，預測區塊A、預測區塊E及預測區塊E係為同一預測區塊。
此外，如圖8所示，當編碼或解碼對象之預測區塊的上側鄰近之預測區塊G的尺寸是大於編碼或解碼對象之預測區塊時，仍依照前記條件，若上側鄰近之預測區塊G是有鄰近於該編碼或解碼對象之預測區塊之上側邊則視作預測區塊B，若鄰近於編碼或解碼對象之預測區塊之右上頂點則視作預測區塊C，若鄰近於編碼或解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖8的例子中，預測區塊B、預測區塊C及預測區塊E係為同一預測區塊。
如圖9所示，在與編碼或解碼對象預測區塊不同時間之已解碼圖像中，將存在於與編碼或解碼對象預測區塊同一位置或其附近的已編碼或解碼之預測區塊T0及T1，定義為不同時間之同一位置的預測區塊。
(關於POC)
POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出順序而每次增加1之值。藉由POC之 值，就可判別是否為相同圖像、可判別輸出順序上的圖像間之前後關係、可導出圖像間之距離等等。例如，當2個圖像之POC具有相同值時，就可判斷是同一圖像。當2個圖像之POC具有不同值時，則可判斷POC之值較小的圖像係為先被輸出之圖像，2個圖像的POC的差，係表示時間軸方向上的圖像間距離。
以下，與圖面一起來說明本發明的實施形態。圖1係本發明的實施形態所述之動態影像編碼裝置之構成的區塊圖。實施形態的動態影像編碼裝置，係具備：影像記憶體101、運動向量偵測部102、差分運動向量算出部103、畫面間預測資訊導出部104、運動補償預測部105、畫面內預測部106、預測方法決定部107、殘差訊號生成部108、正交轉換‧量化部109、第1編碼位元列生成部110、第2編碼位元列生成部111、多工化部112、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存記憶體115、及解碼影像記憶體116。
影像記憶體101係將按照攝影/顯示時間順序所供給的編碼對象之圖像的影像訊號，予以暫時儲存。影像記憶體101，係將所被儲存的編碼對象之圖像的影像訊號，以所定之像素區塊單位，供給至運動向量偵測部102、預測方法決定部107、及殘差訊號生成部108。此時，按照攝影/顯示時間順序而被儲存之圖像的影像訊號，係被排序成編碼順序，以像素區塊單位，從影像記憶體101輸出。
運動向量偵測部102，係藉由在從影像記憶體101所 供給之影像訊號與從解碼影像記憶體116所供給之參照圖像間進行區塊比對等，將各預測區塊尺寸、各預測模式的各自之運動向量，以各預測區塊單位而加以測出，將所測出的運動向量，供給至運動補償預測部105、差分運動向量算出部103、及預測方法決定部107。
差分運動向量算出部103，係使用編碼資訊儲存記憶體115中所記憶之已經編碼過的影像訊號的編碼資訊，算出複數預測運動向量之候補而登錄至預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出最佳的預測運動向量，根據運動向量偵測部102所測出之運動向量與預測運動向量，算出差分運動向量，將所算出的差分運動向量，供給至預測方法決定部107。然後，將從預測運動向量清單中所登錄的預測運動向量之候補所選擇出來的預測運動向量加以特定的預測運動向量索引，供給至預測方法決定部107。
畫面間預測資訊導出部104，係導出合併模式下的合併候補。使用編碼資訊儲存記憶體115中所記憶之已經編碼過的預測區塊的編碼資訊，導出複數合併候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出適合的合併候補，將已被選擇之合併候補的各預測區塊的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給 至運動補償預測部105，並且將用來特定所被選擇之合併候補用的合併索引，供給至預測方法決定部107。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部104的詳細構成與動作，將於後述。
運動補償預測部105，係使用被運動向量偵測部102及畫面間預測資訊導出部104所測出的運動向量，從參照圖像藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至預測方法決定部107。此外，在L0預測、及L1預測中，進行單向的預測。在雙預測(Pred_BI)時，係進行雙向的預測，對L0預測、L1預測之各個畫面間預測到的訊號適應性地乘上加權係數，加算偏置值而予以重疊，生成最終的預測影像訊號。
畫面內預測部106，係針對各畫面內預測模式，進行畫面內預測。根據解碼影像記憶體211中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，從複數畫面內預測模式中，選擇出合適的畫面內預測模式，將已選擇之畫面內預測模式、及相應於所選擇之畫面內預測模式的預測影像訊號，供給至預測方法決定部107。
預測方法決定部107係對每一種預測方法分別藉由評估編碼資訊及殘差訊號的編碼量、預測影像訊號與影像訊號之間的失真量等，而從複數預測方法之中，決定用來以最佳編碼區塊單位來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預 測模式PredMode、分割模式PartMode，在畫面間預測(PRED_INTER)下係以預測區塊單位來決定是否為合併模式，在合併模式時係決定合併索引、非合併模式時係決定畫面間預測模式、預測運動向量索引、L0、L1之參照索引、差分運動向量等，將符合決定的編碼資訊，供給至第1編碼位元列生成部110。
然後，預測方法決定部107，係將含有表示所決定之預測方法的資訊，及含有相應於所決定之預測方法的運動向量等的編碼資訊，儲存至編碼資訊儲存記憶體115。這裡所儲存的編碼資訊係為，各編碼區塊的預測模式PredMode、分割模式PartMode、用來表示是否利用各預測區塊的L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。此外，當預測模式PredMode是畫面內預測(MODE_INTRA)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為0。另一方面，當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]係為1、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標 predFlagL0[xP][yP]係為0、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為1。當畫面間預測模式是雙預測(Pred_BI)時，表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為1。預測方法決定部107，係將相應於所決定之預測模式的預測影像訊號，供給至殘差訊號生成部108與解碼影像訊號重疊部114。
殘差訊號生成部108，係藉由進行所編碼之影像訊號與預測影像訊號之減算以生成殘差訊號，供給至正交轉換‧量化部109。
正交轉換‧量化部109，係對殘差訊號而隨著量化參數進行正交轉換及量化而生成已被正交轉換、量化過的殘差訊號，供給至第2編碼位元列生成部111與逆量化‧逆正交轉換部113。然後，正交轉換‧量化部109係將量化參數，儲存在編碼資訊儲存記憶體115中。
第1編碼位元列生成部110，係除了序列、圖像、切片、編碼區塊單位的資訊外，還針對每一編碼區塊及預測區塊，將預測方法決定部107所決定之預測方法所相應的編碼資訊，予以編碼。具體而言，當每一編碼區塊的預測模式PredMode、分割模式PartMode、畫面間預測(PRED_INTER)時，則將判別是否為合併模式的旗標、在合併模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量的相關資訊等之編碼資訊，依照後述的規定之語法規則而予以編碼以生 成第1編碼位元列，供給至多工化部112。
第2編碼位元列生成部111，係將已被正交轉換及量化過的殘差訊號，依照規定之語法規則來進行熵編碼以生成第2編碼位元列，供給至多工化部112。在多工化部112中，將第1編碼位元列與第2編碼位元列依照規定之語法規則而進行多工化，輸出位元串流。
逆量化‧逆正交轉換部113，係將從正交轉換‧量化部109所供給之已被正交轉換、量化過的殘差訊號，進行逆量化及逆正交轉換而算出殘差訊號，供給至解碼影像訊號重疊部114。解碼影像訊號重疊部114，係將相應於預測方法決定部107所決定之預測影像訊號和被逆量化‧逆正交轉換部113進行逆量化及逆正交轉換後的殘差訊號加以重疊而生成解碼影像，儲存在解碼影像記憶體116中。此外，也可對解碼影像實施用來減少編碼所致區塊失真等失真的濾波處理，然後儲存在解碼影像記憶體116中。
圖2係圖1之動態影像編碼裝置所對應之本發明的實施形態所述之動態影像解碼裝置之構成的區塊。實施形態的動態影像解碼裝置，係具備：分離部201、第1編碼位元列解碼部202、第2編碼位元列解碼部203、運動向量算出部204、畫面間預測資訊導出部205、運動補償預測部206、畫面內預測部207、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211。
圖2的動態影像解碼裝置的解碼處理，係為對應於圖 1之動態影像編碼裝置之內部所設之解碼處理，因此具有與圖2的補償預測部206、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211之各構成，係、圖1的動態影像編碼裝置的運動補償預測部105、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存記憶體115、及解碼影像記憶體116之各構成分別對應的機能。
被供給至分離部201的位元串流係依照規定之語法規則而進行分離，已被分離之第1編碼位元列係被供給至第1編碼位元列解碼部202，第2編碼位元列係被供給至第2編碼位元列解碼部203。
第1編碼位元列解碼部202係將所被供給之編碼位元列予以解碼，獲得序列、圖像、切片、編碼區塊單位的資訊、以及預測區塊單位的編碼資訊。具體而言，用來以編碼區塊單位來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode、畫面間預測(PRED_INTER)的情況下，將判別是否為合併模式的旗標、在合併模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量等的相關之編碼資訊，依照後述的規定之語法規則而進行解碼，將編碼資訊供給至運動向量算出部204、畫面間預測資訊導出部205或畫面內預測部207。
第2編碼位元列解碼部203係將所被供給之編碼位元 列予以解碼而算出已被正交轉換‧量化之殘差訊號，將已被正交轉換‧量化之殘差訊號供給至逆量化‧逆正交轉換部208。
運動向量算出部204，係解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且非合併模式時，使用編碼資訊儲存記憶體210中所記憶之已解碼的影像訊號的編碼資訊，導出複數預測運動向量之候補而登錄至後述的預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出被第1編碼位元列解碼部202所解碼而供給之預測運動向量索引所相應之預測運動向量，根據已被第1編碼位元列解碼部202所解碼之差分向量與所被選擇之預測運動向量而算出運動向量，連同其他編碼資訊一起供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處所供給、儲存的相鄰之預測區塊的編碼資訊係為：預測模式PredMode、分割模式PartMode、用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0係為1、表示是否利用L1預測的旗標predFlagL1 係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標predFlagL0係為0、表示是否利用L1預測的旗標predFlagL1係為1。當畫面間預測模式是雙預測(Pred_BI)時，表示是否利用L0預測的旗標predFlagL0、表示是否利用L1預測的旗標predFlagL1係皆為1。
畫面間預測資訊導出部205，係當解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且為合併模式時，導出合併候補。使用編碼資訊儲存記憶體115中所記憶之已解碼之預測區塊的編碼資訊，導出複數合併之候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出由第1編碼位元列解碼部202所解碼而供給之合併索引所對應之合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部205的詳細構成與動作，將於後述。
運動補償預測部206，係使用被運動向量算出部204或畫面間預測資訊導出部205所算出的書面間預測資訊， 從解碼影像記憶體211中所儲存的參照圖像，藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。此外，在雙預測(Pred_BI)的情況下，係對L0預測、L1預測的2個運動補償預測影像訊號，適應性地乘算權重係數，生成最終的預測影像訊號。
畫面內預測部207係當解碼對象的預測區塊的預測模式PredMode是畫面內預測(PRED_INTRA)時，進行畫面內預測。已被第1編碼位元列解碼部所解碼之編碼資訊中係含有畫面內預測模式，隨應於畫面內預測模式，根據解碼影像記憶體211中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。將用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]皆設定成0，儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。
逆量化‧逆正交轉換部208，係對第1編碼位元列解碼部202所解碼之已被正交轉換‧量化之殘差訊號，進行逆正交轉換及逆量化，獲得已被逆正交轉換．逆量化之殘差訊號。
解碼影像訊號重疊部209，係藉由將已被運動補償預測部206進行畫面間預測的預測影像訊號、或已被畫面內預測部207進行畫面內預測的預測影像訊號、和已被逆量 化‧逆正交轉換部208進行逆正交轉換．逆量化之殘差訊號，進行重疊，以將解碼影像訊號予以解碼，儲存至解碼影像記憶體211。在儲存至解碼影像記憶體211之際，係也可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理，然後儲存在解碼影像記憶體211中。
(關於語法)
接著說明，被具備本實施形態所述之運動向量之預測方法的動態影像編碼裝置所編碼、被解碼裝置所解碼的動態影像之位元串流的編碼及解碼之共通規則亦即語法(syntax)。
圖10係本實施形態所生成之位元串流的以切片單位而被描述在切片標頭裡的第1語法結構。只不過，僅圖示與本實施形態有關的語法要素。若切片類型是B切片時，則會設置有旗標collocated_from_l0_flag，其係用來表示，在時間方向之預測運動向量之候補、或合併候補的導出之際所使用的不同時間之圖像colPic，是要使用處理對象之預測區塊所被包含的圖像的L0之參照清單或L1之參照清單之哪一者中所被登錄的參照圖像。關於旗標collocated_from_l0_flag的細節，將於後述。
此外，以上的語法要素係亦可設置在，將以圖像單位而被設定之語法要素加以描述的圖像參數集裡頭。
圖11係圖示了以預測區塊單位而被描述的語法模態。若預測區塊的預測模式PredMode之值為畫面間預測 (MODE_INTER)時，則會設置有表示是否為合併模式的merge_flag[x0][y0]。此處，x0、y0係用來表示在亮度訊號之圖像內的預測區塊的左上像素之位置的索引，merge_flag[x0][y0]係用來表示圖像內的(x0,y0)位置上的預測區塊是否為合併模式。
接著，若merge_flag[x0][y0]為1，則表示是合併模式，設置所參照之合併候補的清單亦即合併清單之索引的語法要素merge_idx[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，merge_idx[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊的合併索引。圖12係合併索引之語法要素merge_idx[x0][y0]的熵編碼之一例。在本發明的本實施形態中係將合併之候補數設定為5。合併索引為0,1,2,3,4時，合併索引的語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'110'、'1110'、'1111'。
另一方面，若merge_flag[x0][y0]為0，則表示並非合併模式，若切片類型是B切片時，則會設置有用來識別畫面間預測模式的語法要素inter_pred_flag[x0][y0]，藉由該語法要素來識別L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。對每一L0、L1，設置有用來特定參照圖像所需之參照索引的語法要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]，運動向量偵測所求出的預測區塊之運動向量與預測運動向量之差分亦即差分運動向量的語法要素mvd_l0[x0][y0][j]、 mvd_l1[x0][y0][j]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L0的參照索引、及差分運動向量，ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L1的參照索引、及差分運動向量。又，j係表示差分運動向量的成分，j為0係表示x成分，j為1係表示y成分。接著，會設置有所參照之預測運動向量之候補的清單亦即預測運動向量清單之索引的語法要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊L0、L1的預測運動向量索引。在本發明的本實施形態中，係將這些候補數之值，設定為2。
實施形態所述之畫面間預測資訊導出方法，係於圖1的動態影像編碼裝置的畫面間預測資訊導出部104及圖2的動態影像解碼裝置的畫面間預測資訊導出部205中實施。
接著，使用圖面來說明實施形態所述之畫面間預測資訊導出方法。畫面間預測資訊導出方法，係可就構成編碼區塊的預測區塊單位，在編碼及解碼之處理之任一者中均可實施。若預測區塊的預測模式PredMode是畫面間預測(MODE_INTER)，且為合併模式時，在編碼的情況下， 係在利用已編碼之預測區塊的預測模式、參照索引、運動向量來導出編碼對象之預測區塊的預測模式、參照索引、運動向量之際，在解碼的情況下，係在利用已解碼之預測區塊的預測模式、參照索引、運動向量來導出解碼對象之預測區塊的預測模式、參照索引、運動向量之際，會被實施。
合併模式係除了根據使用圖5、圖6、圖7及圖8所說明過的左方鄰近之預測區塊A、上方鄰近之預測區塊B、右上鄰近之預測區塊C、左下鄰近之預測區塊D、左上鄰近之預測區塊E的5個預測區塊以外，還會根據使用圖9所說明過的不同時間的存在於同一位置或其附近之預測區塊Col(T0、T1之任一者)的預測區塊，導出合併候補。動態影像編碼裝置的畫面間預測資訊導出部104、及動態影像解碼裝置的畫面間預測資訊導出部205係將這些合併候補候補，以編碼側與解碼側上共通規定之順序，登錄至合併候補清單，動態影像編碼裝置的畫面間預測資訊導出部104會決定用來特定合併候補清單之要素用的合併索引然後經由第1編碼位元列生成部而予以編碼，動態影像解碼裝置的畫面間預測資訊導出部205係被供給著，已被第1編碼位元列解碼部202所解碼之合併索引，將相應於該合併索引的預測區塊，從合併候補清單中加以選擇出來，使用該已被選擇之合併候補的預測模式、參照索引、運動向量等之畫面間預測資訊，來進行運動補償預測。
圖13係圖1之動態影像編碼裝置的畫面間預測資訊 導出部104之詳細構成的圖示。又，圖14係圖2的動態影像解碼裝置的畫面間預測資訊導出部205之詳細構成的圖示。
圖13及圖14的粗線框所圍繞的部分係分別表示動態影像編碼裝置的畫面間預測資訊導出部104及動態影像解碼裝置的畫面間預測資訊導出部205。
再者，這些內部以粗虛線圍繞部分係表示將各個合併候補予以導出而架構合併候補清單的動態影像編碼裝置的合併候補清單之建構部120及動態影像解碼裝置的合併候補清單之建構部220，與實施形態之動態影像編碼裝置相對應的動態影像解碼裝置中也被同樣設置，使得編碼與解碼不會矛盾而獲得同一導出結果。
在實施形態所述之畫面間預測資訊導出方法中，係在動態影像編碼裝置的合併候補清單之建構部120及動態影像解碼裝置的合併候補清單之建構部220中的合併候補導出及合併候補清單建構處理中，不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就進行處理對象之預測區塊的合併候補導出及合併候補清單建構處理。藉由如此設計，當編碼區塊的分割模式(PartMode)並非2N×2N分割(PART_2Nx2N)時，亦即，編碼區塊內存在有複數預測區塊時，則在編碼側上，可將編碼區塊內各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
針對在編碼區塊內的各個預測區塊的合併候補清單之 建構的平行處理，使用圖15來針對每一分割模式(PartMode)做說明。圖15係處理對象的編碼區塊的每一分割模式(PartMode)下與處理對象之預測區塊鄰近之預測區塊的說明圖。於圖15中，A0、B0、C0、D0、E0係表示分割索引PartIdx為0之處理對象之預測區塊之每一者的左側邊所鄰近之預測區塊A、上側邊所鄰近之預測區塊B、右上頂點所鄰近之預測區塊C、左下頂點所鄰近之預測區塊D、及左上頂點所鄰近之預測區塊E，A1、B1、C1、D1、E1係表示分割索引PartIdx為1之處理對象之預測區塊之每一者的左側邊所鄰近之預測區塊A、上側邊所鄰近之預測區塊B、右上頂點所鄰近之預測區塊C、左下頂點所鄰近之預測區塊D、及左上頂點所鄰近之預測區塊E，A2、B2、C2、D2、E2係表示分割索引PartIdx為2之處理對象之預測區塊之每一者的左側邊所鄰近之預測區塊A、上側邊所鄰近之預測區塊B、右上頂點所鄰近之預測區塊C、左下頂點所鄰近之預測區塊D、及左上頂點所鄰近之預測區塊E，A3、B3、C3、D3、E3係表示分割索引PartIdx為3之處理對象之預測區塊之每一者的左側邊所鄰近之預測區塊A、上側邊所鄰近之預測區塊B、右上頂點所鄰近之預測區塊C、左下頂點所鄰近之預測區塊D、及左上頂點所鄰近之預測區塊E。
圖15(b)、(c)、(d)係將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割 (PART_2NxnU)、2N×nD分割(PART_2NxnD)下的鄰近之預測區塊的圖示。PartIdx為1的處理對象之預測區塊的鄰近之預測區塊B1係為PartIdx為0的預測區塊。因此，參照預測區塊B1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊B1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係在分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)且處理對象之預測區塊的PartIdx為1時，係不參照鄰近於處理對象之預測區塊之上邊、與含有處理對象預測區塊之編碼區塊相同之編碼區塊中所含之PartIdx為0的預測區塊亦即預測區塊B1的編碼資訊，藉由參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所未包含的預測區塊A1、C1、D1或E1的編碼資訊而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的2個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
圖15(e)、(f)、(g)係將處理對象之編碼區塊分割成左右並排之2個預測區塊的模式加以表示的分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時的 鄰近之預測區塊的圖示。PartIdx為1的處理對象之預測區塊的鄰近之預測區塊A1係為PartIdx為0的預測區塊。因此，參照預測區塊A1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊A1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係在分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且處理對象之預測區塊的PartIdx為1時，係不參照鄰近於處理對象之預測區塊之左邊、與含有處理對象預測區塊之編碼區塊相同之編碼區塊中所含之PairtIdx為0的預測區塊亦即預測區塊A1的編碼資訊，藉由參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所未包含的預測區塊B1、C1、D1或E1的編碼資訊而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
此處，說明合併候補導出及合併候補清單之建構處理的平行處理。圖16係序列處理所致之合併候補導出及合併候補清單之建構處理的說明用流程圖，圖17係平行處理所致之合併候補導出及合併候補清單之建構處理的說明 用流程圖。
於圖16所示之合併候補導出及合併候補清單之建構處理的序列處理中，進行處理對象之編碼區塊的分割索引PartIdx為0之預測區塊的合併候補之導出、及建構合併候補清單(步驟S101)。接著，若分割模式(PartMode)為2N×2N分割(PART_2Nx2N)(步驟S102的NO)，則結束本合併候補導出及合併候補清單之建構處理。若分割模式(PartMode)並非2N×2N分割(PART_2Nx2N)(步驟S102的NO)，亦即，分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下，則進行處理對象之編碼區塊的分割索引PartIdx為1之預測區塊的合併候補之導出、及建構合併候補清單(步驟S103)，結束本合併候補導出及合併候補清單之建構處理。
於圖17所示之合併候補導出及合併候補清單之建構處理的平行處理中，進行處理對象之編碼區塊的分割索引PartIdx為0之預測區塊的合併候補之導出、及建構合併候補清單(步驟S101)。與步驟S101平行，若分割模式(PartMode)並非2N×2N分割(PART_2Nx2N)(步驟S102的NO)，亦即，分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、 nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下，則進行處理對象之編碼區塊的分割索引PartIdx為1之預測區塊的合併候補之導出、及建構合併候補清單(步驟S103)。
於圖17所示之合併候補導出及合併候補清單之建構處理的平行處理中，分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)或nR×2N分割(PART_nRx2N)的情況下，則不參照同一編碼區塊內的PartIdx為0的預測區塊，即進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，分割索引PartIdx為0與1的2個預測區塊的合併候補導出及合併候補清單之建構處理，就可同時開始。
於圖16所示之合併候補導出及合併候補清單之建構處理的序列處理中也是，不參照PartIdx為0的預測區塊，就可進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理。
又，在本實施形態中，雖然設計成沒有定義分割模式(PartMode)為N×N分割(PART_NxN)，但亦可定義N×N分割(PART_NxN)。圖15(h)係將處理對象之編碼區塊的亮度訊號做上下左右4分割而變成4個預測區塊的分割模式(PartMode)是N×N分割(PART_NxN)時的鄰近之預測區塊的圖示。PartIdx為1的處理對象之預測區 塊的鄰近之預測區塊A1係為PartIdx為0的預測區塊。因此，參照預測區塊A1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊A1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為1時，係不參照PartIdx為0的預測區塊亦即預測區塊A1，即進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。PartIdx為2的處理對象之預測區塊的鄰近之預測區塊B2係為PartIdx為0的預測區塊，預測區塊C2係為PartIdx為1的預測區塊。因此，參照預測區塊B2及C2，而進行PartIdx為2的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊B2及C2亦即相同編碼區塊中所屬之PartIdx為0及1的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為2時，係不參照PartIdx為0及1的預測區塊亦即預測區塊 B2及C2，即進行PartIdx為2的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。PartIdx為3的處理對象之預測區塊的鄰近之預測區塊E3係為PartIdx為0的預測區塊，預測區塊B3係為PartIdx為1的預測區塊，預測區塊A3係為PartIdx為2的預測區塊。因此，參照預測區塊E3、B3及A3，而進行PartIdx為3的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊E3、B3及A3亦即相同編碼區塊中所屬之PartIdx為0、1及2的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為3時，係不參照PartIdx為0、1及2的預測區塊亦即預測區塊E3、B3及A3，即進行PartIdx為3的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
圖13的動態影像編碼裝置的畫面間預測資訊導出部104係含有：空間合併候補生成部130、時間合併候補之參照索引導出部131、時間合併候補生成部132、合併候補登錄部133、合併候補同一判定部134、合併候補補充部135、及編碼資訊選擇部136。
圖14的動態影像解碼裝置的畫面間預測資訊導出部205係含有：空間合併候補生成部230、時間合併候補之參照索引導出部231、時間合併候補生成部232、合併候補登錄部233、合併候補同一判定部234、合併候補補充部235、及編碼資訊選擇部236。
圖18係本發明的實施形態所述之動態影像編碼裝置的畫面間預測資訊導出部104及動態影像解碼裝置的畫面間預測資訊導出部205中具有共通機能的合併候補之導出處理及合併候補清單之建構處理程序的說明用流程圖。以下，按照順序來說明各過程。此外，以下的說明中，若無特別聲明，則都是針對切片類型slice_type為B切片的情形加以說明，但亦可適用於P切片的情形。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
在動態影像編碼裝置的畫面間預測資訊導出部104的空間合併候補生成部130及動態影像解碼裝置的畫面間預測資訊導出部205的空間合併候補生成部230中，係從編碼或解碼對象區塊所鄰近之各個預測區塊A,B,C,D,E，導出空間合併候補A,B,C,D,E並輸出之。此處，定義用來代表A,B,C,D,E或時間合併候補Col之任一者的N。將用來表示是否把預測區塊N的畫面間預測資訊當作空間合併候補N來利用的旗標availableFlagN、空間合併候補N的L0之參照索引refIdxL0N及L1之參照索引 refIdxL1N、用來表示是否進行L0預測的L0預測旗標predFlagL0N及用來表示是否進行L1預測的L1預測旗標predFlagL1N、L0之運動向量mvL0N、L1之運動向量mvL1N，予以輸出(步驟S201)。但是，於本實施形態中，係不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就導出合併候補，因此與含有處理對象之預測區塊的編碼區塊相同之編碼區塊中所含之空間合併候補，係不導出。關於步驟S201的詳細處理程序，係使用圖19的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補之參照索引導出部131及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補之參照索引導出部231中，係從編碼或解碼對象區塊所鄰近之預測區塊，導出時間合併候補的參照索引並輸出之(步驟S202)。但是，於本實施形態中，係不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就導出時間合併候補的參照索引。切片類型slice_type為P切片且使用時間合併候補的畫面間預測資訊來進行畫面間預測的情況下，為了進行L0預測(Pred_L0)，而僅導出L0之參照索引，切片類型slice_type為B切片且使用時間合併候補的畫面間預測資訊來進行畫面間預測的情況下，為了進行雙預測(Pred_BI)，而導出L0與L1各自之參照索引。關於步驟S202的詳細處理程序，係使用圖21、圖23、圖25、 圖27、圖29、圖30、圖32的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部132及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部232中，係導出來自不同時間之圖像的時間合併候補，輸出時間合併候補。將用來表示時間合併候補是否能利用的旗標availableFlagCol、用來表示是否進行時間合併候補之L0預測的L0預測旗標predFlagL0Col及用來表示是否進行L1預測的L1預測旗標predFlagL1Col、及L0之運動向量mvL0N、L1之運動向量mvL1N，予以輸出(步驟S203)。關於步驟S203的詳細處理程序，係使用圖34的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補登錄部133及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補登錄部233中，係作成合併候補清單mergeCandList，對合併候補清單mergeCandList追加空間合併候補A,B,C,D,E及時間合併候補Col，藉此以建構出合併候補清單mergeCandList，將合併候補清單mergeCandList予以輸出(步驟S204)。關於步驟S204的詳細處理程序，係使用圖41的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補同一判定部134及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補同一判定部234中， 係在合併候補清單mergeCandList內，合併候補是相同參照索引的運動向量是具有相同值時，將最小順位的合併候補以外的其他合併候補予以摘除，將合併候補清單mergeCandList予以輸出(步驟S205)。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補補充部135及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補補充部235中，係補充合併候補使得合併候補清單mergeCandList內所被登錄之合併候補的數目達到規定數，並將合併候補清單mergeCandList予以輸出(步驟S206)。此外，在本實施形態中係將合併候補的數目規定成5。將合併候補清單mergeCandList內所被登錄之合併候補之數目為5定為上限，追加已被登錄之合併候補彼此之L0預測與L1預測之組合做過變更的預測模式是雙預測(Pred_BI)的合併候補、或不同參照索引且運動向量帶有(0,0)之值且預測模式為雙預測(Pred_BI)的合併候補。
接著，針對圖18的步驟S201之處理程序亦即從編碼或解碼對象區塊所鄰近之預測區塊N導出合併候補N之方法，詳細說明。圖19係說明圖18的步驟S201之空間合併候補導出處理程序的流程圖。
N係代入表示鄰近之預測區塊之領域的A(左側)、B(上側)、C(右上)、D(左下)或E(左上)。此外，於本實施形態中，係從鄰近的5個預測區塊，導出最多4個空間合併候補。
圖18中，將變數N設成A而調查編碼或解碼對象預測區塊之左側鄰近的預測區塊A的編碼資訊而導出合併候補A，將變數N設成B而調查上側鄰近之預測區塊B的編碼資訊而導出合併候補B，將變數N設成C而調查右上側鄰近之預測區塊C的編碼資訊而導出合併候補C，將變數N設成D而調查左下側鄰近之預測區塊D的編碼資訊而導出合併候補D，將變數N設成E而調查左上側鄰近之預測區塊E的編碼資訊而導出合併候補E(步驟S1101~步驟S1114)。
首先，當變數N為E，且將旗標availableFlagA,availableFlagB,availableFlagC,availableFlagD之值予以加算而合計為4的情況下(步驟S1102的YES)，亦即被導出4個空間合併候補的情況下，則將合併候補E的旗標availableFlagE設定成0(步驟S1107)，將合併候補E的運動向量mvL0E,mvL1E之值皆設定成(0,0)(步驟S1108)，將合併候補E的旗標predFlagL0E、predFlagL1E之值皆設定成0(步驟S1109)，結束本空間合併候補導出處理。在本實施形態中，係由於是從鄰近的預測區塊導出4個合併候補，因此若已經有4個空間合併候補被導出時，則不需要進行更多的空間合併候補之導出處理。
另一方面，當變數N並非E，或將旗標availableFlagA,availableFlagB,availableFlagC,availableFlagD之值予以加算而合計並非4的情況下(步驟S1102的NO)，則前進至 步驟S1103。若鄰近之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況下(步驟S1103的YES)，則將合併候補N的旗標availableFlagN之值設定成0(步驟S1107)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(步驟S1108)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(步驟S1109)。若鄰近之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況下(步驟S1103的YES)，則不參照鄰近之預測區塊N的編碼資訊，將合併候補N的旗標availableFlagN之值設定成0而不當成空間合併候補，藉此就可使同一編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理的平行處理，成為可能。
具體而言，分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)或2N×nD分割(PART_2NxnD)，且處理對象之預測區塊的PartIdx為1，且導出對象之預測區塊的上邊鄰近之預測區塊B的情況，係為鄰近之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。此情況下，由於導出對象之預測區塊的上邊鄰近之預測區塊B係為與含有導出對象之預測區塊的編碼區塊相同之編碼區塊中所含之PartIdx為0之預測區塊，因此不參照鄰近之預測區塊B的編碼資訊，將合併候補B的旗標availableFlagB之值設定成0而不當成空間合併候補，藉 此就可使同一編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理的平行處理，成為可能。
再者，分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)或nR×2N分割(PART_nRx2N)，且處理對象之預測區塊的PartIdx為1，且導出對象之預測區塊的左邊鄰近之預測區塊A的情況下也是，鄰近之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。此情況下也是，由於導出對象之預測區塊的左邊鄰近之預測區塊A係為與含有導出對象之預測區塊的編碼區塊相同之編碼區塊中所含之PartIdx為0之預測區塊，因此不參照鄰近之預測區塊A的編碼資訊，將合併候補A的旗標availableFlagA之值設定成0而不當成空間合併候補，藉此就可使同一編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理的平行處理，成為可能。
再者，在本實施形態中雖然沒有定義，但分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為1、2或3的情況，也是鄰近之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。
另一方面，若鄰近之預測區塊N是未被包含在與含處理對象預測區塊之編碼區塊相同之編碼區塊中的情況下(步驟S1103的NO)，則將編碼或解碼對象之預測區塊所鄰近的預測區塊N加以特定，各個預測區塊N是可利 用時則從編碼資訊儲存記憶體115或210取得預測區塊N的編碼資訊(步驟S1104)。
鄰近之預測區塊N係為無法利用(步驟S1105的NO)，或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的情況下(步驟S1106的NO)，則將合併候補N的旗標availableFlagN之值設定成0(步驟S1107)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(步驟S1108)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(步驟S1109)。此處，所謂鄰近之預測區塊N係為無法利用的情況，具體而言係為鄰近之預測區塊N是位於編碼或解碼對象切片外的情況，或在編碼或解碼處理順序上還在後面，因此該當於編碼或解碼處理尚未完成的情形等。
另一方面，鄰近之預測區塊N是在與導出對象之預測區塊的編碼區塊相同之編碼區塊外(步驟S1104的YES)，或鄰近之預測區塊N係為可利用(步驟S1105的YES)，預測區塊N的預測模式PredMode並非畫面內預測(MODE_INTRA)的情況下(步驟S1106的YES)，則將預測區塊N的畫面間預測資訊，當作合併候補N的畫面間預測資訊。將合併候補N的旗標availableFlagN之值設定成1(步驟S1110)，將合併候補N的運動向量mvL0N,mvL1N分別設定成與預測區塊N的運動向量mvL0N[xN][yN],mvL1N[xN][yN]相同的值(步驟S1111)，將合併候補N的參照索引refIdxL0N,refIdxL1N 分別設定成與預測區塊N的參照索引refIdxL0[xN][yN],refIdxL1[xN][yN]相同的值(步驟S1112)，將合併候補N的旗標predFlagL0N,predFlagL1N分別設定成預測區塊N的旗標predFlagL0[xN][yN],predFlagL1[xN][yN](步驟S1113)。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。
以上的步驟S1102~步驟S1113之處理針對N=A,B,C,D,E分別重複進行(步驟S1101~步驟S1114)。
接著，針對圖18的S202的時間合併候補的參照索引之導出方法，詳細說明。導出時間合併候補的L0與L1各自之參照索引。
在本實施形態中，係利用空間合併候補之參照索引、亦即編碼或解碼對象區塊所鄰近之預測區塊上所被利用之參照索引，來導出時間合併候補之參照索引。這是因為，在時間合併候補被選擇的情況下，編碼或解碼對象預測區塊的參照索引，係與成為空間合併候補的編碼或解碼對象區塊所鄰近之預測區塊的參照索引，具有較高的相關性。尤其是，於本實施形態中，係除了後述的實施例6及實施例7以外，其餘都是僅利用導出對象之預測區塊之左邊鄰近的預測區塊A、或上邊鄰近之預測區塊B的參照索引。這是因為，在亦身為空間合併候補的鄰近之預測區塊A,B,C,D,E之中，編碼或解碼對象預測區塊的邊所銜接的預測區塊A,B，其相關性是比與編碼或解碼對象預測區塊僅頂點銜接之預測區塊C,D,E還高。藉由不利用相關性 相對較低之預測區塊C,D,E，將所利用之預測區塊限定成預測區塊A,B，就可獲得時間合併候補之參照索引之導出所帶來的編碼效率之改善效果，同時，可削減時間合併候補之參照索引導出處理所涉及之演算量及記憶體存取量。
實施例1
以下，將本實施形態分成數個實施例來說明。首先說明本實施形態的實施例1。圖20係本實施形態的實施例1中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例1中，係隨應於分割模式(PartMode)，而切換著要參照導出對象之預測區塊的左邊鄰近之預測區塊還是上邊鄰近之預測區塊之哪一者。參照編碼區塊外的鄰近於邊的預測區塊。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖20(a)所示，參照導出對象之預測區塊的左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)時，係如圖20(b)、(c)、(d)所示，參照導出對象之預測區塊的左邊鄰近之預測區塊，將各個時間合併候補的LX之參照索引，設定成各 個導出對象之預測區塊的左邊鄰近之預測區塊的LX之參照索引之值。在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照左方鄰近之預測區塊A1，將時間合併候補的LX之參照索引，設定成預測區塊A1的LX之參照索引之值。由於所參照之預測區塊A0、A1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖20(e)、(f)、(g)所示，參照導出對象之預測區塊的上邊鄰近之預測區塊，將各個時間合併候補的LX之參照索引，設定成各個導出對象之預測區塊的上邊鄰近之預測區塊的LX之參照索引之值。在導出對象之分割索引PartIdx為0的預測區塊上係參照上方鄰近之預測區塊B0，將時間合併候補的LX之參照索引，設定成預測區塊B0、B1的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照上方鄰近之預測區塊B1，將時間合併候補的LX之參照索引，設定成預測區塊B1的LX之參照索引之值。由於所參照之預測區塊B0、B1皆位於編碼區塊 外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖21係本實施形態的實施例1之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，若分割模式(PartMode)並非N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下(步驟S2101的NO)，亦即係為2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)的情況下，則從編碼資訊儲存記憶體115或210中，取得左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出 時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測 (Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，若分割模式(PartMode)係為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下(步驟S2101的YES)，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的上方鄰近之預測區塊B的編碼資訊(步驟S2117)。
接著，將步驟S2119至步驟S2121之處理，針對L0、L1分別進行(步驟S2118~S2122)。此外，在導出 時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]不是0的情況下(步驟S2119的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊B的LX之參照索引refIdxLX[xB][yB]之值相同的值(步驟S2120)。此處，xB、yB係為用來表示，預測區塊B的左上像素在圖像內之位置的索引。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]是0的情況下(步驟S2119的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2121)。
在L0、L1中分別進行步驟S2119至步驟S2121之處理(步驟S2118~S2122)，結束本參照索引導出處理。
實施例2
接著說明本實施形態的實施例2。圖22係本實施形態的實施例2中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例2中， 隨應於編碼區塊的分割模式(PartMode)與預測區塊的分割索引PartIdx，而切換著要參照導出對象之預測區塊的左邊鄰近之預測區塊還是上邊鄰近之預測區塊之哪一者。參照編碼區塊外鄰近於邊的預測區塊。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖22(a)所示，參照導出對象之預測區塊的左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)時，係如圖22(b)、(c)、(d)所示，參照導出對象之預測區塊的左邊鄰近之預測區塊，將各個時間合併候補的LX之參照索引，設定成各個導出對象之預測區塊的左邊鄰近之預測區塊的LX之參照索引之值。在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照左方鄰近之預測區塊A1，將時間合併候補的LX之參照索引，設定成預測區塊A1的LX之參照索引之值。由於所參照之預測區塊A0、A1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖22(e)、(f)、(g)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照上方鄰近之預測區塊B1，將時間合併候補的LX之參照索引，設定成預測區塊B1的LX之參照索引之值。由於所參照之預測區塊A0、B1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖23係本實施形態的實施例2之方法所致之圖18的步 驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，若分割模式(PartMode)並非N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx並非為1的情況下(步驟S2102的NO)，亦即係為2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)，或為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為0的情況下，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引 refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，若分割模式(PartMode)係為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為1的情況下(步驟S2102的YES)，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的上方鄰近之預測區塊B的編碼資訊(步驟S2117)。
接著，將步驟S2119至步驟S2121之處理，針對L0、L1分別進行(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]不是0的情況下(步驟S2119的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊B的LX之參照索引 refIdxLX[xB][yB]之值相同的值(步驟S2120)。此處，xB、yB係為用來表示，預測區塊B的左上像素在圖像內之位置的索引。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]是0的情況下(步驟S2119的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2121)。
在L0、L1中分別進行步驟S2119至步驟S2121之處理(步驟S2118~S2122)，結束本參照索引導出處理。
實施例3
接著說明本實施形態的實施例3。圖24係本實施形態的實施例3中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例3中，隨應於編碼區塊的分割模式(PartMode)與預測區塊的分割索引PartIdx，而切換著要參照導出對象之預測區塊的左邊鄰近之預測區塊還是上邊鄰近之預測區塊之哪一者。在分割索引PartIdx為0的預測區塊上，係參照具有較高相關之長邊鄰近的預測區塊，在分割索引PartIdx為1的預測區塊上，係參照編碼區塊外的鄰近於邊的預測區塊。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖24(a)所示，參照導出對象之預測區塊的左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)時，係如圖24(b)、(c)、(d)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照長邊亦即上邊鄰近之預測區塊B0，將時間合併候補的LX之參照索引，設定成預測區塊B0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照編碼區塊外的左邊鄰近之預測區塊A1，將時間合併候補的LX之參照索引，設定成預測區塊A1的LX之參照索引之值。由於所參照之預測區塊B0、A1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖24(e)、(f)、(g)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照長邊亦即左邊鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照編碼區塊外的上邊鄰近之預測區塊B1，將時間合併候補的LX之參照索引，設定成預測區塊B1的 LX之參照索引之值。由於所參照之預測區塊A0、B1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。若鄰近之預測區塊A、預測區塊B是沒進行LX預測的情況下將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖25係本實施形態的實施例3之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，若分割模式(PartMode)並非2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)且分割索引PartIdx並非為0、也非N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx並非為1的情況下(步驟S2103的NO)，亦即係為2N×2N分割(PART_2Nx2N)或2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD 分割(PART_2NxnD)且分割索引PartIdx為0、或N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為0的情況下，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或 解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，若分割模式(PartMode)係為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為1的情況下(步驟S2102的YES)，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的上方鄰近之預測區塊B的編碼資訊(步驟S2117)。
接著，將步驟S2119至步驟S2121之處理，針對L0、L1分別進行(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]不是0的情況下(步驟S2119的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊B的LX之參照索引refIdxLX[xB][yB]之值相同的值(步驟S2120)。此處，xB、yB係為用來表示，預測區塊B的左上像素在圖像內之位置的索引。
預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]是0的情況下(步驟S2119的NO)，則將時間合併候補的LX之參照索引 refIdxLXCol，設定成預設值的0(步驟S2121)。
在L0、L1中分別進行步驟S2119至步驟S2121之處理(步驟S2118~S2122)，結束本參照索引導出處理。
實施例4
接著說明本實施形態的實施例4。圖26係本實施形態的實施例4中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例4中，係隨應於編碼區塊的分割模式(PartMode)與預測區塊的分割索引PartIdx，而切換著是否參照導出對象之預測區塊的左邊鄰近之預測區塊。若左邊鄰近之預測區塊是編碼區塊外的時則參照之，若為編碼區塊內時則不參照而設成預設值。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖26(a)所示，參照導出對象之預測區塊的左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)時，係如圖26(b)、(c)、(d)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之 值。在導出對象之分割索引PartIdx為1的預測區塊上係參照左方鄰近之預測區塊A1，將時間合併候補的LX之參照索引，設定成預測區塊A1的LX之參照索引之值。由於所參照之預測區塊A0、A1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖26(e)、(f)、(g)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係不參照鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於所參照之預測區塊A0是位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。當鄰近之預測區塊A不進行LX預測時或導出對象之預測區塊的分割索引PartIdx是1時，將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間 預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖27係本實施形態的實施例4之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，若分割模式(PartMode)並非N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx並非為1的情況下(步驟S2102的NO)，亦即係為2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)，或為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為0的情況下，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預 測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面 間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，若分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)且分割索引PartIdx為1的情況下(步驟S2102的YES)，則將後續之步驟S2121的處理，分別針對L0、L1進行之(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
將時間合併候補的LX之參照索引refIdxLXCol，設成預設值的0(步驟S2121)。
在L0、L1中分別進行至步驟S2121為止之處理(步驟S2118~S2122)，結束本參照索引導出處理。
實施例5
接著說明本實施形態的實施例5。圖28係本實施形態的實施例5中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例5中，係隨應於分割模式(PartMode)，而切換著是否要參照導出對象之預測區塊的左邊鄰近之預測區塊。參照編碼區塊外的鄰近於邊的預測區塊。若左邊鄰近之預測區塊是編碼區塊外的時則參照之，若為編碼區塊內時則不參照而設成預設值。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖28(a)所示，參照導出對象之預測區塊的左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)時，係如圖28(b)、(c)、(d)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的 LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照左方鄰近之預測區塊A1，將時間合併候補的LX之參照索引，設定成預測區塊A1的LX之參照索引之值。由於所參照之預測區塊A0、A1皆位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係在導出對象之分割索引PartIdx為0及1的預測區塊上係皆不參照鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於不參照處理對象之預測區塊的鄰近之預測區塊，因此也不會參照編碼區塊內的預測區塊，可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。當鄰近之預測區塊A不進行LX預測時或含有導出對象預測區塊的編碼區塊的分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參 照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖29係本實施形態的實施例5之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，若分割模式(PartMode)並非N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下(步驟S2101的NO)，亦即係為2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)的情況下，則從編碼資訊儲存記憶體115或210中，取得導出對象之預測區塊之左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標 predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時， 預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，若分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)的情況下(步驟S2101的YES)，則將後續之步驟S2121的處理，分別針對L0、L1進行之(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
將時間合併候補的LX之參照索引refIdxLXCol，設成預設值的0(步驟S2121)。
在L0、L1中分別進行至步驟S2121為止之處理(步驟S2118~S2122)，結束本參照索引導出處理。
實施例6
接著說明本實施形態的實施例6。在本實施形態的實施例6中，係無關於含導出對象預測模式的編碼區塊(處理對象之編碼區塊)的分割模式(PartMode)或導出對象預測模式的分割索引PartIdx之值為何，均不參照鄰近之預測區塊，就將時間合併候補的LX之參照索引，設成預設值的0。由於不參照處理對象之預測區塊的鄰近之預測區塊，因此也不會參照編碼區塊內的預測區塊，可將相同編碼區塊中所含之分割索引PartIdx為0與1的2個預測區塊的時間合併候補，平行地予以導出。
將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
甚至，實施例6係不參照鄰近區塊，將時間合併候補的LX之參照索引refIdxLXCol設定成預設值的0，因此相較於實施例1、2、3、4、5及後述之實施例7，可使導出處理簡略化。
圖30係本實施形態的實施例6之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。
將步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
將時間合併候補的LX之參照索引refIdxLXCol，設成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
實施例7
接著說明本實施形態的實施例7。圖31係本實施形態的實施例7中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例7中，係無關於含導出對象預測模式的編碼區塊(處理對象之編碼區塊)的分割模式(PartMode)或導出對象預測模式的分割索引PartIdx之值為何，均如圖31(a)~(g)所示，參照處理對象之編碼區塊的左方鄰近之預測區塊A，將時間合併候補的LX之參照索引，設定成預測區塊A的LX之參照索引之值。由於所參照之預測區塊A是位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導 出。
但是，若鄰近之預測區塊A是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。若鄰近之預測區塊A是沒進行LX預測的情況下將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
實施例7係編碼區塊內的各個預測區塊的時間合併候補的參照索引都被設定成共通的值，因此不需要對編碼區塊內的每個預測區塊導出時間合併候補的參照索引，可使導出處理簡略化。
圖32係本實施形態的實施例7之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，從編碼資訊儲存記憶體115或210中，取得處理對象之編碼區塊的左方鄰近之預測區塊A的編碼資訊(步驟S2131)。
接著，將步驟S2133至步驟S2135之處理，針對L0、L1分別進行(步驟S2132~S2136)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只 不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
處理對象之編碼區塊的左方鄰近之預測區塊A的用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2133的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2134)。此處，xA、yA係為用來表示，處理對象之編碼區塊的左方鄰近之預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測 的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2133的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2135)。
在L0、L1中分別進行步驟S2133至步驟S2135之處理(步驟S2132~S2136)，結束本參照索引導出處理。
此外，在實施例7中係切換著是否參照含導出對象預測區塊之編碼區塊的左邊鄰近之預測區塊，但亦可取代左邊鄰近之預測區塊而改為切換是否參照上邊鄰近之預測區塊。
實施例8
接著說明本實施形態的實施例8。圖43係本實施形態的實施例8中的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的圖示。在本實施形態的實施例8中， 係無關於編碼區塊的分割模式(PartMode)為何，隨應於預測區塊的分割索引PartIdx，而切換著是否參照導出對象之預測區塊的左邊鄰近之預測區塊。當預測區塊的分割索引PartIdx為0時則參照左邊鄰近之預測區塊，當預測區塊的分割索引PartIdx為0以外時則不參照鄰近之預測區塊而設成預設值。當預測區塊的分割索引PartIdx為0時，無論何種分割模式(PartMode)，左邊鄰近之預測區塊都必定在編碼區塊外，但預測區塊的分割索引PartIdx為0以外的情況下，隨著分割模式(PartMode)而會是在編碼區塊內。如圖43(a)所示，參照導出對象之預測區塊之左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、及將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖43(b)、(c)、(d)、(e)、(f)、(g)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係不參照 鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於所參照之預測區塊A0是位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若鄰近之預測區塊A是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。當鄰近之預測區塊A不進行LX預測時或導出對象之預測區塊的分割索引PartIdx是1時，將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖44係本實施形態的實施例8之方法所致之圖18的步驟S202的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，當分割索引PartIdx為0時(步驟S2104的YES)，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的左方鄰近之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成 L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測 的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，當分割索引PartIdx非0時(步驟S2104的NO)，將後續之步驟S2121的處理，分別針對L0、L1進行之(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
將時間合併候補的LX之參照索引refIdxLXCol，設 成預設值的0(步驟S2121)。
在L0、L1中分別進行至步驟S2121為止之處理(步驟S2118~S2122)，結束本參照索引導出處理。
此外，雖然在實施例8中係切換著是否參照導出對象之預測區塊的左邊鄰近之預測區塊，但亦可取代左邊鄰近之預測區塊而改為切換是否參照上邊鄰近之預測區塊。
又，在本實施形態中，雖然設計成沒有定義編碼區塊之分割模式(PartMode)為N×N分割(PART_NxN)，但亦可定義N×N分割(PART_NxN)。即使編碼區塊的分割模式(PartMode)為N×N分割(PART_NxN)，在處理對象之編碼區塊中所含之預測區塊的時間合併候補的參照索引的導出之際，是不參照與處理對象之預測區塊中所含之編碼區塊相同之編碼區塊中所含之鄰近預測區塊就進行導出，藉此，可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
例如，在N×N分割(PART_NxN)時，係不參照鄰近之預測區塊，就將時間合併候補的LX之參照索引，設成預設值的0。由於不參照導出對象之預測區塊的鄰近之預測區塊，因此可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
或者是，參照鄰近區塊的參照索引，亦可導出時間合併候補的參照索引。圖33係N×N分割(PART_NxN)之 編碼區塊的時間合併候補的參照索引的導出處理中所參照之鄰近區塊的說明圖。
如圖33(a)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係參照上方鄰近之預測區塊B1，將時間合併候補的LX之參照索引，設定成預測區塊B1的LX之參照索引之值。在導出對象之分割索引PartIdx為2的預測區塊上係參照左方鄰近之預測區塊A2，將時間合併候補的LX之參照索引，設定成預測區塊A2的LX之參照索引之值。在導出對象之分割索引PartIdx為3的預測區塊上係不參照鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於處理對象之預測區塊的左方鄰近之預測區塊A0、A2、上方鄰近之預測區塊B1係皆位於編碼區塊外，因此可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
或是，如圖33(b)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為2的預測區塊上係參照左方鄰近之預測區塊A2，將時間合併候補的LX之參照索引，設定成預測區塊 A2的LX之參照索引之值。在導出對象之分割索引PartIdx為1或3的預測區塊上係不參照鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於處理對象之預測區塊的左方鄰近之預測區塊A0、A2係皆位於編碼區塊外，因此可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
或是，如圖33(c)所示，參照處理對象之編碼區塊的左方鄰近之預測區塊A，將時間合併候補的LX之參照索引，設定成預測區塊A的LX之參照索引之值。由於處理對象之編碼區塊的左方鄰近之預測區塊A係位於編碼區塊外，因此可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
或是，如圖33(d)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方鄰近之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為0以外(PartIdx為1,2或3)的預測區塊上係不參照鄰近之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於處理對象之預測區塊的左方鄰近之預測區塊A0係位於編碼區塊外，因此可將分割索引PartIdx為0、1、2、3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
接著，詳細說明圖18的步驟S203的使用不同時間圖像之畫面間預測資訊的合併候補之導出方法。圖34係說明圖18的步驟S203之時間合併候補導出處理程序的流程圖。
首先，藉由切片類型slice_type和前述的旗標collocated_from_l0_flag，導出不同時間之圖像colPic(步驟S3101)。
圖35係說明圖34的步驟S3101的不同時間之圖像colPic之導出處理程序的流程圖。若切片類型slice_type是B切片，且前述之旗標collocated_from_l0_flag為0(步驟S3201的YES、步驟S3202的YES)，則RefPicList1[0]，亦即參照清單L1之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3203)。若非如此，亦即切片類型slice_type是B切片且前述旗標collocated_from_l0_flag為1時(步驟S3201的YES、步驟S3202的NO)，或切片類型slice_type是P切片時(步驟S3201的NO、S3204的YES)，則RefPicList0[0]，亦即參照清單L0之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3205)。
接著，回到圖34的流程圖，導出不同時間之預測區塊colPU，取得編碼資訊(步驟S3102)。
圖36係說明圖34的步驟S3102的不同時間之圖像colPic的預測區塊colPU之導出處理程序的流程圖。
首先，在不同時間之圖像colPic內，將與處理對象之 預測區塊同一位置的右下(外側)位置上的預測區塊，當成不同時間之預測區塊colPU(步驟S3301)。該預測區塊係相當於圖9的預測區塊T0。
接著，取得不同時間之預測區塊colPU的編碼資訊(步驟S3302)。若不同時間之預測區塊colPU的PredMode是無法利用、或不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)時(步驟S3303的YES、步驟S3304的YES)，則將不同時間之圖像colPic內位於與處理對象之預測區塊同一位置的中央左上位置的預測區塊，當成不同時間之預測區塊colPU(步驟S3305)。該預測區塊係相當於圖9的預測區塊T1。
接著，回到圖34的流程圖，將從與編碼或解碼對象之預測區塊相同位置之其他圖像的預測區塊所導出的L0之預測運動向量mvL0Col和表示時間合併候補Col是否有效的旗標availableFlagL0Col予以導出(步驟S3103)，並且，導出L1之預測運動向量mvL1Col與表示時間合併候補Col是否有效的旗標availableFlagL1Col。然後，若旗標availableFlagL0Col或旗標availableFlagL1Col為1，則將表示時間合併候補Col是否有效的旗標availableFlagCol，設定成1。
圖37係說明圖34的步驟S3103、步驟S3104的時間合併候補之畫面間預測資訊的導出處理程序的流程圖。L0或L1，將時間合併候補的導出對象之清單設成LX，使用 LX之預測稱作LX預測。以下，只要沒有特別聲明，就照該意義來使用。在被呼叫來作為時間合併候補的L0之導出處理亦即步驟S3103之際，LX係為L0，在被呼叫來作為時間合併候補的L1之導出處理亦即步驟S3104之際，LX係為L1。
若不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)或無法利用時(步驟S3401的NO、步驟S3402的NO)，則將旗標availableFlagLXCol與旗標predFlagLXCol皆設成0(步驟S3403)，將運動向量mvLXCol設成(0,0)(步驟S3404)，結束本時間合併候補的畫面間預測資訊之導出處理。
若預測區塊colPU可以利用而預測模式PredMode並非畫面內預測(MODE_INTRA)時(步驟S3401的YES、步驟S3402的YES)，則用以下的程序來導出mvCol和refIdxCol和availableFlagCol。
若用來表示預測區塊colPU之L0預測是否能利用的旗標PredFlagL0[xPCol][yPCol]為0時(步驟S3405的YES)，則因為預測區塊colPU的預測模式是Pred_L1，所以運動向量mvCol會被設定成與預測區塊colPU的L1之運動向量亦即MvL1[xPCol][yPCol]相同的值(步驟S3406)，參照索引refIdxCol會被設定成與L1之參照索引RefIdxL1[xPCol][yPCol]相同的值(步驟S3407)，清單ListCol係被設定成L1(步驟S3408)。此處， xPCol、yPCol係為用來表示，不同時間之圖像colPic內的預測區塊colPU之左上像素位置的索引。
另一方面，若預測區塊colPU的L0預測旗標PredFlagL0[xPCol][yPCol]不是0(圖37的步驟S3405的NO)，則判定預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]是否為0。若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]是0(步驟S3409的YES)，則運動向量mvCol會被設定成與預測區塊colPU的L0之運動向量亦即MvL0[xPCol][yPCol]相同的值(步驟S3410)，參照索引refIdxCol會被設定成與L0之參照索引RefIdxL0[xPCol][yPCol]相同的值(步驟S3411)，清單ListCol係被設定成L0(步驟S3412)。
若預測區塊colPU的L0預測旗標PredFlagL0[xPCol][yPCol]與若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]都不是0(步驟S3405的NO、步驟S3409的NO)，則因為預測區塊colPU的畫面間預測模式係為雙預測(Pred_BI)，所以從L0、L1的2個運動向量中，選擇出一方(步驟S3413)。
圖38係預測區塊colPU的畫面間預測模式是雙預測(Pred_BI)時的時間合併候補的畫面間預測資訊之導出處理程序的流程圖。
首先，判定所有的參照清單中所登錄之所有圖像的POC是否小於目前編碼或解碼對象圖像之POC(步驟S3501)，若預測區塊colPU的所有參照清單亦即L0及L1 中所登錄之所有圖像的POC都是小於目前編碼或解碼對象圖像之POC(步驟S3501的YES)，且LX為L0，亦即有導出編碼或解碼對象圖像的L0之運動向量之預測向量候補的情況下(步驟S3502的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若LX為L1，亦即有導出編碼或解碼對象圖像的L1之運動向量之預測向量候補的情況下(步驟S3502的NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。另一方面，若預測區塊colPU的所有參照清單L0及L1中所登錄之圖像的POC至少有1者是大於目前編碼或解碼對象圖像之POC(步驟S3501的NO)，且若旗標collocated_from_l0_flag為0時(步驟S3503的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若旗標collocated_from_l0_flag為1時(步驟S3503的NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。
若選擇預測區塊colPU的L0這邊的畫面間預測資訊(步驟的YES、步驟S3503的YES)，則運動向量mvCol係被設定成與MvL0[xPCol][yPCol]相同的值(步驟S3504)，參照索引refIdxCol係被設定成與RefIdxL0[xPCol][yPCol]相同的值(步驟S3505)，清單ListCol係被設定成L0(步驟S3506)。
若選擇預測區塊colPU的L1這邊的畫面間預測資訊(步驟S2502的NO、步驟S3503的NO)，則運動向量mvCol係被設定成與MvL1[xPCol][yPCol]相同的值(步驟S3507)，參照索引refIdxCol係被設定成與 RefIdxL1[xPCol][yPCol]相同的值(步驟S3508)，清單ListCol係被設定成L1(步驟S3509)。
回到圖37，若能從預測區塊colPU取得畫面間預測資訊，則將旗標availableFlagLXCol與旗標predFlagLXCol皆設成1(步驟S3414)。
接著，將運動向量mvCol予以比例縮放來作為時間合併候補的LX之運動向量mvLXCol(步驟S3415)。此運動向量的比例縮放演算處理程序，使用圖39及圖40來說明。
圖39係圖34的步驟S3105之運動向量之比例縮放演算處理程序的流程圖。
從不同時間之圖像colPic的POC，減去預測區塊colPU的清單ListCol所參照之參照索引refIdxCol所對應之參照圖像的POC而導出圖像間距離td(步驟S3601)。此外，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為前面的情況下，則圖像間距離td係為正的值，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為後面的情況下，則圖像間距離td係為負的值。
td=不同時間之圖像colPic的POC-預測區塊colPU的清單ListCol中所參照之參照圖像的POC
從目前的編碼或解碼對象圖像之POC，減去圖18的 步驟S202所導出之時間合併候補的LX之參照索引所對應之參照圖像的POC，而導出圖像間距離tb(步驟S3602)。此外，若相較於目前之編碼或解碼對象圖像，目前之編碼或解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為前面的情況下，則圖像間距離tb係為正的值，若目前之編碼或解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為後面的情況下，則圖像間距離tb係為負的值。
tb=目前之編碼或解碼對象圖像的POC-時間合併候補的LX之參照索引所對應之參照圖像的POC
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式對mvCol乘以比例係數tb或td以進行比例縮放演算處理(步驟S3605)，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol。
mvLXCol=tb或td * mvCol
又，步驟S3605之比例縮放演算是以整數精度的演算來進行時的例子，示於圖40。圖40的步驟S3606~步驟S3608之處理，係相當於圖39的步驟S3605之處理。
首先，和圖39的流程圖同樣地，導出圖像間距離td與圖像間距離tb(步驟S3601、步驟S3602)。
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則和圖39的流程圖同樣地，將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式而導出變數tx(步驟S3606)。
tx=(16384+Abs(td或2))或td
接著，以下式導出比例係數DistScaleFactor(步驟S3607)。
DistScaleFactor=(tb * tx+32)>>6
接著，藉由下式，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol(步驟S3608)。
mvLXCol=ClipMv(Sign(DistScaleFactor * mvCol) * ((Abs(DistScaleFactor * mvCol)+127)>>8))
接著，針對圖18的步驟S204的將合併候補予以登錄至合併候補清單，而建構合併候補清單的方法，詳細說明。圖41係合併候補清單的建構處理程序的流程圖。在本方式中，係標上優先順位，從優先順位較高者起往合併候補清單mergeCandList登錄合併候補，藉此以削減合併 索引merge_idx[x0][y0]的編碼量。藉由將優先順位較高的要素配置在合併候補清單的前方，以削減編碼量。例如，合併候補清單mergeCandList之要素為5個時，將合併候補清單的索引0設成「0」、將索引1設成「10」、將索引2設成「110」、將索引3設成「1110」、將索引4設成「11110」，藉此，表示索引0的編碼量就變成1位元，在索引0中登錄被認為發生頻率較高的要素，藉此以削減編碼量。
合併候補清單mergeCandList係形成清單結構，設置有將表示合併候補清單內部之所在的合併索引、和對應於索引的合併候補當作要素而加以儲存的記憶領域。合併索引的數字是從0開始，合併候補清單mergeCandList的記憶領域中係儲存有合併候補。在以下的處理中，已被登錄在合併候補清單mergeCandList中的合併索引i的要成為合併候補之預測區塊，係以mergeCandList[i]來表示，藉由數列標示來和合併候補清單mergeCandList做區別。
首先，若availableFlagA為1時(步驟S4101的YES)，則在合併候補清單mergeCandList的開頭，登錄合併候補A(步驟S4102)。
接著，若availableFlagB為1時(步驟S4103的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補B(步驟S4104)。
接著，若availableFlagC為1時(步驟S4105的YES)，則在合併候補清單mergeCandList的最後，登錄 合併候補C(步驟S4106)。
接著，若availableFlagD為1時(步驟S4107的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補D(步驟S4108)。
接著，若availableFlagE為1時(步驟S4109的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補E(步驟S4110)。
接著，若availableFlagCol為1時(步驟S4109的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補Col(步驟S4110)。
此外，於合併模式下，由於左方鄰近之預測區塊A及上方鄰近之預測區塊B係經常與編碼或解碼對象之預測區塊一體運動，因此若能取得預測區塊A、B的畫面間預測資訊的情況下，則將合併候補A、B比其他合併候補C,D,E,Col優先地登錄在合併候補清單的前方。
於圖13中，在動態影像編碼裝置的畫面間預測資訊導出部104的編碼資訊選擇部136中，係從合併候補清單中所被登錄的合併候補之中，選擇出合併候補，將合併索引及合併索引所對應之合併候補的畫面間預測資訊，供給至運動補償預測部105。
於合併候補之選擇中，係可使用和預測方法決定部107同樣的方法。對各個合併候補，導出編碼資訊及殘差訊號的編碼量與預測影像訊號和影像訊號之間的編碼失真，決定最少發生編碼量與編碼失真的合併候補。對這些 每一合併候補，進行合併模式之編碼資訊亦即合併索引之語法要素merge_idx的熵編碼，算出編碼資訊的編碼量。然後，對這些每一合併候補以和運動補償預測部105同樣的方法來隨著各合併候補的畫面間預測資訊而將運動補償過之預測影像訊號、與從影像記憶體101所供給之編碼對象之影像訊號的預測殘差訊號所編碼而成的預測殘差訊號的編碼量，予以算出。編碼資訊、亦即合併索引的編碼量與預測殘差訊號的編碼量所加算而成的總發生編碼量，當作評價值。
又，如此將預測殘差訊號進行編碼後，為了評估失真量而進行解碼，算出編碼失真，來作為用來表示因編碼所產生之與原始影像訊號之誤差的比率。藉由將這些總發生編碼量與編碼失真，針對每一合併候補加以比較，以決定較少發生編碼量與編碼失真的編碼資訊。已被決定之編碼資訊所對應的合併索引，是被當成以預測區塊單位之第2語法模態所表示之旗標merge_idx，而被編碼。
此外，此處所算出的發生編碼量，係將編碼過程加以模擬而得到者是比較理想，但亦可簡化成取近似、或概算等等。
另一方面，於圖14中，在動態影像編碼裝置的畫面間預測資訊導出部205的編碼資訊選擇部236中，係從合併候補清單中所被登錄的合併候補之中，選擇出對應於所被供給之合併索引的合併候補，將合併候補的畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊 儲存記憶體210。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。
動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由 記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。
[產業上利用之可能性]
本發明係可利用於，利用運動補償預測的動態影像編碼技術。
205‧‧‧畫面間預測資訊導出部
210‧‧‧編碼資訊儲存記憶體
230‧‧‧空間合併候補生成部
231‧‧‧時間合併候補之參照索引導出部
232‧‧‧時間合併候補生成部
233‧‧‧合併候補登錄部
234‧‧‧合併候補同一判定部
235‧‧‧合併候補補充部
236‧‧‧編碼資訊選擇部

Claims (3)

  1. 一種動態影像解碼裝置，係屬於將編碼位元列進行解碼的動態影像解碼裝置；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，具備：第1預測資訊導出部，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出部，係從與作為前記解碼對象之圖像不同之圖像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附近的第4區塊的畫面間預測資訊，進行第2畫面間預測資訊候補的導出處理；和解碼部，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構部，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和 選擇部，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所使用之畫面間預測資訊之候補；前記第1預測資訊導出部，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出部，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
  2. 一種動態影像解碼方法，係屬於將編碼位元列進行解碼的動態影像解碼方法；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，具備： 第1預測資訊導出步驟，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出步驟，係從與作為前記解碼對象之圖像不同之圖像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附近的第4區塊的畫面間預測資訊，進行第2畫面間預測資訊候補的導出處理；和解碼步驟，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構步驟，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和選擇步驟，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所使用之畫面間預測資訊之候補；前記第1預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第 2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
  3. 一種儲存有動態影像解碼程式之記錄媒體，係為儲存有將編碼位元列進行解碼的動態影像解碼程式之記錄媒體；該編碼位元列係為，各圖像所被分割而成之第1區塊是被分割成1個或複數個第2區塊，藉由畫面間預測而將動態影像予以編碼而成者；其特徵為，前記動態影像解碼程式係令電腦執行：第1預測資訊導出步驟，係從作為解碼對象之圖像內的、與作為解碼對象之前記第2區塊相鄰近的1個以上之第3區塊的畫面間預測資訊，進行1個以上之第1畫面間預測資訊候補的導出處理；和第2預測資訊導出步驟，係從與作為前記解碼對象之圖像不同之圖像內的、存在於與作為前記解碼對象之前記第2區塊同一位置或其附近的第4區塊的畫面間預測資 訊，進行第2畫面間預測資訊候補的導出處理；和解碼步驟，係將用來表示作為前記解碼對象之前記第2區塊的畫面間預測中所使用之畫面間預測資訊的索引，予以解碼；和候補清單建構步驟，係若前記第1畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第1畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單，若前記第2畫面間預測資訊候補被導出時，則建構出由加入了該所被導出之前記第2畫面間預測資訊候補的所定之預測資訊候補所成之預測資訊候補清單；和選擇步驟，係從前記預測資訊候補清單中的前記預測資訊候補，選擇出前記索引所示之作為前記解碼對象之前記第2區塊的前記畫面間預測中所使用之畫面間預測資訊之候補；前記第1預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就從左邊、右上、左下或左上的相鄰區塊，進行最多4個前記第1畫面間預測資訊候補的導出處理，並且，前記第2預測資訊導出步驟，係在將前記第1區塊以上側之區塊與下側之區塊是1：1、1：3或3：1的方式進行上下分割的分割模式下，若作為前記解碼對象之前記第 2區塊是下側之區塊時，則不參照前記第2區塊之上邊鄰近之第5區塊的編碼資訊，就將前記第2畫面間預測資訊候補的參照索引之值視為預設值的0，基於前記參照索引，進行前記第2畫面間預測資訊候補的導出處理。
TW106102656A 2011-12-16 2012-12-17 Motion picture decoding apparatus, motion picture decoding method, and recording medium storing motion picture decoding program TWI593277B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011276457 2011-12-16
JP2011276456 2011-12-16
JP2011289287 2011-12-28
JP2011289288 2011-12-28
JP2012273315A JP5561348B2 (ja) 2011-12-16 2012-12-14 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2012273314A JP5900308B2 (ja) 2011-12-16 2012-12-14 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Publications (2)

Publication Number Publication Date
TW201720165A true TW201720165A (zh) 2017-06-01
TWI593277B TWI593277B (zh) 2017-07-21

Family

ID=49479186

Family Applications (5)

Application Number Title Priority Date Filing Date
TW106102654A TWI586153B (zh) 2011-12-16 2012-12-17 A moving picture decoding apparatus, a motion picture decoding method, and a recording medium storing a motion picture decoding program
TW105127072A TWI578766B (zh) 2011-12-16 2012-12-17 Dynamic video coding device, dynamic image coding method and dynamic image coding program
TW106102655A TWI607649B (zh) 2011-12-16 2012-12-17 Motion picture coding apparatus, motion picture coding method, and recording medium storing a motion picture coding program
TW101147838A TWI559746B (zh) 2011-12-16 2012-12-17 Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
TW106102656A TWI593277B (zh) 2011-12-16 2012-12-17 Motion picture decoding apparatus, motion picture decoding method, and recording medium storing motion picture decoding program

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW106102654A TWI586153B (zh) 2011-12-16 2012-12-17 A moving picture decoding apparatus, a motion picture decoding method, and a recording medium storing a motion picture decoding program
TW105127072A TWI578766B (zh) 2011-12-16 2012-12-17 Dynamic video coding device, dynamic image coding method and dynamic image coding program
TW106102655A TWI607649B (zh) 2011-12-16 2012-12-17 Motion picture coding apparatus, motion picture coding method, and recording medium storing a motion picture coding program
TW101147838A TWI559746B (zh) 2011-12-16 2012-12-17 Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program

Country Status (12)

Country Link
US (5) US9674545B2 (zh)
EP (6) EP3654651B1 (zh)
BR (1) BR112014013962B1 (zh)
DK (5) DK3654651T3 (zh)
ES (3) ES2877369T3 (zh)
HR (1) HRP20211359T1 (zh)
HU (5) HUE043876T2 (zh)
PL (5) PL3703371T3 (zh)
RU (4) RU2598302C2 (zh)
SI (5) SI3703370T1 (zh)
TW (5) TWI586153B (zh)
WO (1) WO2013088738A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2705251B1 (es) * 2011-09-23 2020-01-29 Kt Corp Método para inducir un bloque candidato de fusión y dispositivo que usa el mismo
WO2016068685A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US10477233B2 (en) * 2015-09-30 2019-11-12 Apple Inc. Predictor candidates for motion estimation search systems and methods
KR102275420B1 (ko) * 2016-07-12 2021-07-09 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN116506597A (zh) * 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
US11470346B2 (en) * 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
US10855986B2 (en) 2018-05-29 2020-12-01 Qualcomm Incorporated Bandwidth compression for neural network systems
IL291768A (en) * 2019-10-03 2022-06-01 Huawei Tech Co Ltd Encoding process for geometric division mode
CN111263151B (zh) * 2020-04-26 2020-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy
KR20240054296A (ko) * 2021-08-18 2024-04-25 엘지전자 주식회사 채널간 상관도에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP3968712B2 (ja) * 2003-04-28 2007-08-29 ソニー株式会社 動き予測補償装置及びその方法
US7145950B2 (en) * 2003-07-14 2006-12-05 Primax Electronics Ltd. Method of motion vector determination in digital video compression
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
KR101441269B1 (ko) * 2005-09-26 2014-09-18 미쓰비시덴키 가부시키가이샤 동화상 복호 장치 및 동화상 복호 방법
CN100525446C (zh) * 2005-12-26 2009-08-05 凌阳科技股份有限公司 可纵向译码输出的区块译码方法及装置
JP4790446B2 (ja) * 2006-03-01 2011-10-12 三菱電機株式会社 動画像復号装置及び動画像符号化装置
EP2079242A4 (en) * 2006-10-30 2010-11-03 Nippon Telegraph & Telephone METHOD FOR GENERATING PREDICTIVE REFERENCE INFORMATION, DYNAMIC IMAGE ENCODING AND DECODING METHOD, DEVICE THEREOF, PROGRAM THEREOF, AND STORAGE MEDIUM CONTAINING THE PROGRAM
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2009164880A (ja) * 2008-01-07 2009-07-23 Mitsubishi Electric Corp トランスコーダ及び受信機
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US8971400B2 (en) * 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
JP5561348B2 (ja) 2011-12-16 2014-07-30 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム

Also Published As

Publication number Publication date
SI3654651T1 (sl) 2021-08-31
EP2802146B1 (en) 2019-02-27
US20140286414A1 (en) 2014-09-25
US9743104B2 (en) 2017-08-22
PL3703370T3 (pl) 2021-12-06
RU2598302C2 (ru) 2016-09-20
US9674545B2 (en) 2017-06-06
US20170238009A1 (en) 2017-08-17
US20160309180A1 (en) 2016-10-20
TWI586153B (zh) 2017-06-01
TW201332375A (zh) 2013-08-01
RU2014129060A (ru) 2016-02-10
EP3703371A1 (en) 2020-09-02
SI3703371T1 (sl) 2021-11-30
EP3654651B1 (en) 2021-04-21
DK3654651T3 (da) 2021-05-31
RU2678507C9 (ru) 2020-11-12
HRP20211359T1 (hr) 2021-11-26
EP3703370A1 (en) 2020-09-02
TWI593277B (zh) 2017-07-21
ES2877369T3 (es) 2021-11-16
US20170238010A1 (en) 2017-08-17
EP3503554B1 (en) 2020-02-05
EP2802146A1 (en) 2014-11-12
SI3703370T1 (sl) 2021-11-30
BR112014013962B1 (pt) 2020-04-07
ES2888805T3 (es) 2022-01-07
DK3703370T3 (da) 2021-09-06
PL3654651T3 (pl) 2021-09-27
EP3654651A1 (en) 2020-05-20
TW201642659A (zh) 2016-12-01
SI2802146T1 (sl) 2019-07-31
RU2679552C1 (ru) 2019-02-11
US20170238008A1 (en) 2017-08-17
EP3503554A1 (en) 2019-06-26
PL3503554T3 (pl) 2020-06-29
PL2802146T3 (pl) 2019-07-31
TWI578766B (zh) 2017-04-11
HUE047995T2 (hu) 2020-05-28
TWI607649B (zh) 2017-12-01
HUE055991T2 (hu) 2022-01-28
RU2678507C1 (ru) 2019-01-29
SI3503554T1 (sl) 2020-06-30
TWI559746B (zh) 2016-11-21
US9906810B2 (en) 2018-02-27
PL3703371T3 (pl) 2021-12-06
EP3907997A1 (en) 2021-11-10
BR112014013962A2 (pt) 2017-06-13
DK3703371T3 (da) 2021-09-06
TW201720163A (zh) 2017-06-01
TW201720164A (zh) 2017-06-01
EP2802146A4 (en) 2015-09-23
US9906809B2 (en) 2018-02-27
HUE043876T2 (hu) 2019-09-30
DK3503554T3 (da) 2020-05-11
HUE053940T2 (hu) 2021-08-30
EP3703370B1 (en) 2021-08-04
BR112014013962A8 (pt) 2017-06-13
WO2013088738A1 (ja) 2013-06-20
ES2886342T3 (es) 2021-12-17
DK2802146T3 (en) 2019-04-15
US9906811B2 (en) 2018-02-27
HUE055993T2 (hu) 2022-01-28
EP3703371B1 (en) 2021-08-04
RU2636688C1 (ru) 2017-11-27

Similar Documents

Publication Publication Date Title
TWI593277B (zh) Motion picture decoding apparatus, motion picture decoding method, and recording medium storing motion picture decoding program
TWI575935B (zh) Dynamic image decoding device, dynamic image decoding method, dynamic image decoding program
TWI552577B (zh) Motion picture decoding device, dynamic image decoding method, and dynamic image decoding program product
JP6229806B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6644270B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム