TWI613911B - 動態影像解碼裝置及動態影像解碼方法 - Google Patents

動態影像解碼裝置及動態影像解碼方法 Download PDF

Info

Publication number
TWI613911B
TWI613911B TW106125581A TW106125581A TWI613911B TW I613911 B TWI613911 B TW I613911B TW 106125581 A TW106125581 A TW 106125581A TW 106125581 A TW106125581 A TW 106125581A TW I613911 B TWI613911 B TW I613911B
Authority
TW
Taiwan
Prior art keywords
prediction
inter
prediction information
block
candidates
Prior art date
Application number
TW106125581A
Other languages
English (en)
Other versions
TW201739255A (zh
Inventor
Hiroya Nakamura
Hideki Takehara
Shigeru Fukushima
Motoharu Ueda
Original Assignee
Jvc Kenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012239266A external-priority patent/JP2013118624A/ja
Priority claimed from JP2012239267A external-priority patent/JP5942782B2/ja
Application filed by Jvc Kenwood Corp filed Critical Jvc Kenwood Corp
Publication of TW201739255A publication Critical patent/TW201739255A/zh
Application granted granted Critical
Publication of TWI613911B publication Critical patent/TWI613911B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Abstract

畫面間預測資訊導出部(104)，係根據與編碼對象之預測區塊同一圖像內的編碼對象之預測區塊之鄰近的已編碼之預測區塊的畫面間預測資訊、和與編碼對象之預測區塊不同之已編碼圖像內的預測區塊的畫面間預測資訊，導出畫面間預測資訊之候補。畫面間預測資訊導出部(104)，係從已被導出之畫面間預測資訊之候補，決定出編碼對象之預測區塊的畫面間預測時所使用的畫面間預測資訊之候補。第2編碼位元列生成部(110)，係將前記決定部所決定之畫面間預測資訊之候補加以表示的索引，基於畫面間預測資訊之候補數而予以編碼。

Description

動態影像解碼裝置及動態影像解碼方法
本發明係有關於動態影像解碼技術，尤其是有關於利用了運動補償預測的動態影像解碼技術。
動態影像的壓縮編碼方式的具有代表性者，係有MPEG-4 AVC/H.264規格。在MPEG-4 AVC/H.264中，是將圖像分割成複數矩形區塊，將已經編碼．解碼的圖像當作參照圖像，預測從參照圖像起算的運動，是使用此種運動補償。藉由該運動補償來預測運動的手法，稱作畫面間預測或運動補償預測。在MPEG-4 AVC/H.264的畫面間預測中，係可將複數圖像當作參照圖像來使用，從這些複數參照圖像中，針對每一區塊而選擇出最佳的參照圖像，來進行運動補償。於是，對各個參照圖像係分配了參照索引，藉由該參照索引，以特定出參照圖像。此外，在B圖像中，係從已編碼．解碼之參照圖像中最多選擇出2張來使用於畫面間預測。將從這2張參照圖像起的預測，分別區別為主要使用於前方向預測的L0預測(清單0預測)、主要使用於後方向預測的L1預測(清單1預 測)。
然後，還定義有同時會使用L0預測與L1預測這2種畫面間預測的雙預測。在雙預測時，係進行雙向的預測，對L0預測、L1預測之各個畫面間預測到的訊號乘上加權係數，加算偏置值而予以重疊，生成最終的畫面間預測影像訊號。加權預測中所使用的加權係數及偏置值，係以圖像單位來對各清單的每一參照圖像設定了代表性的值，並被編碼。在關於畫面間預測的編碼資訊中，係對每一區塊，具有用來區別L0預測、L1預測、雙預測的預測模式、對每一區塊的每一參照清單，具有用來特定參照圖像的參照索引、表示區塊之移動向量．移動量的運動向量，將這些編碼資訊予以編碼．解碼。
然後，在MPEG-4 AVC/H.264中係還定義有，根據已編碼或解碼之區塊的畫面間預測資訊來生成編碼或解碼對象區塊之畫面間預測資訊的直接模式。直接模式係不需要畫面間預測資訊的編碼，因此編碼效率會提升。
關於利用時間方向的畫面間預測資訊之相關的時間直接模式，使用圖29來說明。將L1之參照索引被登錄成0的圖像，當作基準圖像colPic。將基準圖像colPic內與編碼或解碼對象區塊相同位置的區塊，當作基準區塊。
若基準區塊是使用L0預測而被編碼，則將基準區塊的L0之運動向量當作基準運動向量mvCol，若基準區塊是沒有使用L0預測而被編碼，而是使用L1預測而被編碼，則將基準區塊的L1之運動向量當作基準運動向量 mvCol。將基準運動向量mvCol所參照之圖像當作時間直接模式的L0之參照圖像，將基準圖像colPic當作時間直接模式的L1之參照圖像。
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0與L1之運動向量mvL1。
從基準圖像colPic的POC，減去時間直接模式的L0之參照圖像的POC而導出圖像間距離td。此外，POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出順序而每次增加1之值。2個圖像的POC的差係表示時間軸方向上的圖像間距離。
td=基準圖像colPic的POC-時間直接模式的L0之參照圖像的POC
從編碼或解碼對象圖像之POC減去時間直接模式的L0之參照圖像的POC而導出圖像間距離tb。
tb=編碼或解碼對象圖像之POC-時間直接模式的L0之參照圖像的POC
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0。
mvL0=tb/td * mvCol
從時間直接模式的L0之運動向量mvL0減去基準運動向量mvCol而導出L1之運動向量mvL1。
mvL1=mvL0．mvCol
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2004-129191號公報
在先前的方法中，在運動補償時每一區塊所參照之運動資訊之候補的數目，先前係為固定，因此編碼效率沒有提升。
此種狀況下，本發明人們係在使用運動補償預測的動態影像編碼方式中，意識到了將編碼資訊更進一步壓縮，以削減整體編碼量的必要性。
本發明係有鑑於此種狀況而研發，其目的在於提供一種，藉由算出編碼資訊之候補，以謀求編碼資訊的編碼量之削減而提升編碼效率的動態影像編碼及解碼技術。
提供一種動態影像解碼裝置，係屬於將編碼位元列予以解碼的動態影像解碼裝置，該編碼位元列係以動態影像之各圖像所分割而成之區塊單位而將前記動態影像予以編碼而成者，其特徵為，具備：解碼部，係將表示畫面間預測資訊之候補之數量及畫面間預測資訊之候補之索引的資訊，予以解碼；和第1畫面間預測資訊導出部，係從解碼 對象之預測區塊所相鄰之所定數的區塊，導出第1畫面間預測資訊之候補；和第2畫面間預測資訊導出部，係從與前記解碼對象之預測區塊不同之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近的區塊，導出第2畫面間預測資訊之候補；和畫面間預測資訊候補清單登錄部，係將前記第1畫面間預測資訊之候補和前記第2畫面間預測資訊之候補，登錄至畫面間預測資訊候補清單；和補充部，係當前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補之數目，是未滿前記畫面間預測資訊之候補之數目時，則以前記畫面間預測資訊之候補之數目為上限，將畫面間預測資訊予以補充；和預測部，係從前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補，選擇出1個畫面間預測資訊之候補，藉由該已選擇之畫面間預測資訊之候補，來進行前記解碼對象之預測區塊的畫面間預測；前記解碼部，係基於前記畫面間預測資訊之候補之數量，而導出前記畫面間預測資訊之候補之索引；並且前記第1畫面間預測資訊導出部，係將前記第1畫面間預測資訊之候補之數量，限制成比前記所定數還小之數量。
提供一種動態影像解碼方法，係屬於將編碼位元列予以解碼的動態影像解碼方法，該編碼位元列係以動態影像之各圖像所分割而成之區塊單位而將前記動態影像予以編碼而成者，其特徵為，具有：解碼步驟，係將表示畫面間預測資訊之候補之數量及畫面間預測資訊之候補之索引的 資訊，予以解碼；和第1畫面間預測資訊導出步驟，係從解碼對象之預測區塊所相鄰之所定數的區塊，導出第1畫面間預測資訊之候補；和第2畫面間預測資訊導出步驟，係從與前記解碼對象之預測區塊不同之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近的區塊，導出第2畫面間預測資訊之候補；和畫面間預測資訊候補清單登錄步驟，係將前記第1畫面間預測資訊之候補和前記第2畫面間預測資訊之候補，登錄至畫面間預測資訊候補清單；和補充步驟，係當前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補之數目，是未滿前記畫面間預測資訊之候補之數目時，則以前記畫面間預測資訊之候補之數目為上限，將畫面間預測資訊予以補充；和預測步驟，係從前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補，選擇出1個畫面間預測資訊之候補，藉由該已選擇之畫面間預測資訊之候補，來進行前記解碼對象之預測區塊的畫面間預測；前記解碼步驟，係基於前記畫面間預測資訊之候補之數量，而導出前記畫面間預測資訊之候補之索引；並且前記第1畫面間預測資訊導出步驟，係將前記第1畫面間預測資訊之候補之數量，限制成比前記所定數還小之數量。
此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的樣態而言皆為有效。
若依據本發明，則可削減所傳輸之編碼資訊的發生編 碼量，可提升編碼效率。
101‧‧‧影像記憶體
117‧‧‧標頭資訊設定部
102‧‧‧運動向量偵測部
103‧‧‧差分運動向量算出部
104‧‧‧畫面間預測資訊導出部
105‧‧‧運動補償預測部
106‧‧‧畫面內預測部
107‧‧‧預測方法決定部
108‧‧‧殘差訊號生成部
109‧‧‧正交轉換‧量化部
118‧‧‧第1編碼位元列生成部
110‧‧‧第2編碼位元列生成部
111‧‧‧第3編碼位元列生成部
112‧‧‧多工化部
113‧‧‧逆量化‧逆正交轉換部
114‧‧‧解碼影像訊號重疊部
115‧‧‧編碼資訊儲存記憶體
116‧‧‧解碼影像記憶體
130‧‧‧空間合併候補生成部
131‧‧‧時間合併候補之參照索引導出部
132‧‧‧時間合併候補生成部
133‧‧‧合併候補登錄部
134‧‧‧合併候補同一判定部
135‧‧‧合併候補數限制部
136‧‧‧合併候補補充部
137‧‧‧編碼資訊選擇部
201‧‧‧分離部
212‧‧‧第1編碼位元列解碼部
202‧‧‧第2編碼位元列解碼部
203‧‧‧第3編碼位元列解碼部
204‧‧‧運動向量算出部
205‧‧‧畫面間預測資訊導出部
206‧‧‧運動補償預測部
207‧‧‧畫面內預測部
208‧‧‧逆量化‧逆正交轉換部
209‧‧‧解碼影像訊號重疊部
210‧‧‧編碼資訊儲存記憶體
211‧‧‧解碼影像記憶體
230‧‧‧空間合併候補生成部
231‧‧‧時間合併候補之參照索引導出部
232‧‧‧時間合併候補生成部
233‧‧‧合併候補登錄部
234‧‧‧合併候補同一判定部
235‧‧‧合併候補數限制部
236‧‧‧合併候補補充部
237‧‧‧編碼資訊選擇部
[圖1]執行實施形態所述之運動向量之預測方法的動態影像編碼裝置之構成的區塊圖。
[圖2]執行實施形態所述之運動向量之預測方法的動態影像解碼裝置之構成的區塊圖。
[圖3]樹區塊、編碼區塊的說明圖。
[圖4]預測區塊之分割模式的說明圖。
[圖5]合併模式下的空間合併候補之預測區塊的說明圖。
[圖6]合併模式下的空間合併候補之預測區塊的說明圖。
[圖7]合併模式下的空間合併候補之預測區塊的說明圖。
[圖8]合併模式下的空間合併候補之預測區塊的說明圖。
[圖9]合併模式下的時間合併候補之預測區塊的說明圖。
[圖10]關於合併模式的預測區塊單位的位元串流之語法的說明圖。
[圖11]合併索引之語法要素的熵編碼之一例的說明圖。
[圖12]圖1的動態影像編碼裝置的畫面間預測資訊導 出部的詳細構成的區塊圖。
[圖13]圖2的動態影像解碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖14]合併模式的合併候補的導出處理及合併候補清單的建構處理的說明用流程圖。
[圖15]合併模式的空間合併候補導出處理程序的說明用流程圖。
[圖16]合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖17]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖18]合併模式的不同時間之圖像的導出處理程序的說明用流程圖。
[圖19]合併模式的不同時間之圖像的預測區塊之導出處理程序的說明用流程圖。
[圖20]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖21]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖22]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖23]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖24]合併模式的對合併候補清單登錄合併候補之處 理程序的說明用流程圖。
[圖25]實施例1的方法所致之編碼側及解碼側上共通的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖。
[圖26]關於合併模式的切片標頭之位元串流之語法的說明圖。
[圖27]實施例2的方法所致之編碼側上的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖。
[圖28]實施例2的方法所致之解碼側上的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖。
[圖29]先前之MPEG-4 AVC/H.264的時間直接模式的說明圖。
在本實施形態中，關於動態影像的編碼，尤其是將圖像分割成任意尺寸、形狀之矩形區塊，為了提升在圖像間以區塊單位進行運動補償的動態影像編碼的編碼效率，而從編碼對象區塊所相鄰之區塊或已編碼之圖像的區塊之運動向量，導出複數預測運動向量，算出編碼對象之區塊的運動向量與所被選擇之預測運動向量的差分向量而予以編碼，藉此以削減編碼量。或藉由利用編碼對象區塊所相鄰之區塊或已編碼圖像之區塊之編碼資訊，導出編碼對象區 塊的編碼資訊，藉此以削減編碼量。又，在動態影像之解碼時，係從解碼對象區塊所相鄰之區塊或已解碼之圖像的區塊之運動向量，算出複數預測運動向量，根據從編碼串流所解碼出來之差分向量與所被選擇之預測運動向量，來算出解碼對象之區塊的運動向量然後予以解碼。或藉由利用解碼對象區塊所相鄰之區塊或已解碼圖像之區塊之編碼資訊，導出解碼對象區塊的編碼資訊。
首先定義本實施形態中所使用的技術、及技術用語。
(關於樹區塊、編碼區塊)
在實施形態中，圖像被1或複數分割而成之切片，係為編碼的基本單位，每一切片係被設定有表示切片種類的資訊亦即切片類型。如圖3所示，將切片內均等分割成任意之同一尺寸的正方之矩形單位。將此單位定義為樹區塊，係為用來特定切片內的編碼或解碼對象區塊(在編碼處理時係為編碼對象區塊，在解碼處理時係為解碼對象區塊。以下，只要沒有特別聲明，就照該意義來使用。)所需的位址管理的基本單位。單色除外的樹區塊，係由1個亮度訊號與2個色差訊號所構成。樹區塊的尺寸係隨應於圖像尺寸或圖像內的紋理，而可自由設定成2的次方數的尺寸。樹區塊係會隨著圖像內的紋理，為了使編碼處理最佳化，而可因應需要而將樹區塊內的亮度訊號及色差訊號做階層式地4分割(縱橫各2分割)，變成區塊尺寸更小的區塊。將此區塊分別定義為編碼區塊，是進行編碼及解 碼之際的處理的基本單位。單色除外的編碼區塊，也是由1個亮度訊號與2個色差訊號所構成。編碼區塊的最大尺寸係和樹區塊的尺寸相同。編碼區塊的最小尺寸之編碼區塊稱作最小編碼區塊，可自由設定成2的次方數的尺寸。
於圖3中，編碼區塊A係不將樹區塊做分割，而當作1個編碼區塊。編碼區塊B係為將樹區塊做4分割而成的編碼區塊。編碼區塊C係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊。編碼區塊D係為將樹區塊做4分割而成的區塊再階層式地二度做4分割而成的編碼區塊，是最小尺寸的編碼區塊。
(關於預測模式)
以編碼區塊單位，切換根據已解碼的周圍之影像訊號來進行預測的畫面內預測(MODE_INTRA)、及根據已解碼的圖像之影像訊號來進行預測的畫面間預測(MODE_INTER)。將用來識別該畫面內預測(MODE_INTRA)與畫面間預測(MODE_INTER)的模式，定義成預測模式(PredMode)。預測模式(PredMode)係具有畫面內預測(MODE_INTRA)、或畫面間預測(MODE_INTER)之值，可選擇而編碼。
(關於分割模式、預測區塊、預測單元)
將圖像內分割成區塊來進行畫面內預測(MODE_INTRA)及畫面間預測(MODE_INTER)時，為 了使畫面內預測及畫面間預測之方法的切換單位更小，會因應需要而將編碼區塊進行分割然後進行預測。將用來識別該編碼區塊之亮度訊號與色差訊號的分割方法的模式，定義成分割模式(PartMode)。然後，還將該已被分割之區塊，定義成預測區塊。如圖4所示，隨著編碼區塊的亮度訊號的分割方法，定義4種分割模式(PartMode)。
將未分割編碼區塊之亮度訊號而視作1個預測區塊者(圖4(a))的分割模式(PartMode)定義為2N×2N分割(PART_2Nx2N)，將編碼區塊之亮度訊號在水平方向做2分割、成為2個預測區塊者(圖4(b))的分割模式(PartMode)定義為2N×N分割(PART_2NxN)，將編碼區塊之亮度訊號在垂直方向做分割、將編碼區塊變成2個預測區塊者(圖4(c))的分割模式(PartMode)定義為N×2N分割(PART_Nx2N)，將編碼區塊之亮度訊號進行水平與垂直之均等分割而成為4個預測區塊者(圖4(d))的分割模式(PartMode)定義為N×N分割(PART_NxN)。此外，除了畫面內預測(MODE_INTRA)的N×N分割(PART_NxN)以外，各分割模式(PartMode)皆分別是以和亮度訊號之縱橫分割比率同樣地，分割色差訊號。
於編碼區塊內部，為了特定各預測區塊，而將從0開始的號碼，以編碼順序，對存在於編碼區塊內部的預測區塊進行分配。將該號碼定義為分割索引PartIdx。圖4的編碼區塊的各預測區塊之中所記述的數字，係表示該預測 區塊的分割索引PartIdx。在圖4(b)所示的2N×N分割(PART_2NxN)中，令上方的預測區塊的分割索引PartIdx為0，令下方的預測區塊的分割索引PartIdx為1。在圖4(c)所示的N×2N分割(PART_Nx2N)中，令左方的預測區塊的分割索引PartIdx為0，令右方的預測區塊的分割索引PartIdx為1。在圖4(d)所示的N×N分割(PART_NxN)中，令左上方的預測區塊的分割索引PartIdx為0，令右上方的預測區塊的分割索引PartIdx為1，令左下方的預測區塊的分割索引PartIdx為2，令右下方的預測區塊的分割索引PartIdx為3。
在預測模式(PredMode)為畫面間預測(MODE_INTER)時，在最小編碼區塊亦即編碼區塊D以外，分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及N×2N分割(PART_Nx2N)，僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係定2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及N×2N分割(PART_Nx2N)之外，還定義有N×N分割(PART_NxN)。此外，最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是，在最小編碼區塊以外，無法將編碼區塊做4分割而表現更小的編碼區塊。
(樹區塊、編碼區塊、預測區塊、轉換區塊之位置)
本實施形態的樹區塊、編碼區塊、預測區塊、轉換區 塊為首的各區塊之位置，係令亮度訊號的畫面之最左上之亮度訊號的像素位置為原點(0,0)，將各個區塊領域中所包含之最左上的亮度訊號之像素位置，以(x,y)的二維座標來表示。座標軸的方向係水平方向朝右的方向、垂直方向朝下的方向分別令為正的方向，單位係為亮度訊號的1像素單位。亮度訊號與色差訊號上影像尺寸(像素數)是相同的色差格式是4：4：4時不用說，亮度訊號與色差訊號上影像尺寸(像素數)是不同的色差格式是4：2：0、4：2：2的情況下，也將色差訊號的各區塊之位置以該區塊之領域中所包含之亮度訊號的像素之座標來表示，單位係為亮度訊號的1像素。藉由如此設計，不但可以特定色差訊號的各區塊之位置，只需藉由比較座標之值，亮度訊號的區塊與色差訊號的區塊之位置關係也很明確。
(關於畫面間預測模式、參照清單)
在本發明的實施形態中，在從已解碼之圖像的影像訊號進行預測的畫面間預測下，可將複數個已解碼之圖像，當作參照圖像來使用。為了特定從複數參照圖像中所選擇出來的參照圖像，而對每一預測區塊，賦予參照索引。可對每預測區塊選擇任意2張參照圖像來進行畫面間預測，作為畫面間預測模式係有L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。參照圖像係被清單結構的L0(參照清單0)與L1(參照清單1)所管理，藉由 指定L0或L1之參照索引，就可特定參照圖像。L0預測(Pred_L0)係為參照受L0所管理之參照圖像的畫面間預測，L1預測(Pred_L1)係為參照受L1所管理之參照圖像的畫面間預測，雙預測(Pred_BI)係為L0預測與L1預測都會被進行，是參照著受L0與L1所分別管理之各1個參照圖像的畫面間預測。在切片類型是P切片的畫面間預測上係可僅利用L0預測，在切片類型是B切片的畫面間預測上係可利用L0預測、L1預測、將L0預測與L1預測進行平均或加算加權之雙預測(Pred_BI)。以後的處理中，關於輸出附加有字尾LX之定數、變數，係以針對L0、L1個別進行處理為前提。
(合併模式、合併候補)
所謂合併模式，係並非將編碼或解碼對象之預測區塊的預測模式、參照索引、運動向量等之畫面間預測資訊予以編碼或解碼，而是從與編碼或解碼對象預測區塊在同一圖像內且該編碼或解碼對象預測區塊所相鄰的預測區塊、或是與編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像的存在於與編碼或解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊的畫面間預測資訊，導出編碼或解碼對象預測區塊的畫面間預測資訊，藉此以進行畫面間預測的模式。將與編碼或解碼對象預測區塊在同一圖像內且該編碼或解碼對象預測區塊所相鄰的預測區塊及該預測區塊之畫面間預測資訊，稱作空間合併候補，將從與 編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像的存在於與編碼或解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊及該預測區塊之畫面間預測資訊所導出的畫面間預測資訊，稱作時間合併候補。各個合併候補係被登錄至合併候補清單，藉由合併索引來特定出，在畫面間預測時所使用的合併候補。
(關於相鄰之預測區塊)
圖5、圖6、圖7及圖8係與編碼或解碼對象之預測區塊在同一圖像內且該編碼或解碼對象之預測區塊所相鄰之預測區塊的說明圖。圖9係為，與編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像中，存在於與編碼或解碼對象預測區塊同一位置或其附近的已編碼或解碼之預測區塊的說明圖。使用圖5、圖6、圖7、圖8及圖9來說明編碼或解碼對象預測區塊的空間方向上相鄰之預測區塊、及不同時間的同一位置之預測區塊。
如圖5所示，將與編碼或解碼對象之預測區塊在同一圖像內且該編碼或解碼對象之預測區塊之左側邊相鄰的預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E，定義為空間方向上相鄰的預測區塊。
此外，如圖6所示，當編碼或解碼對象之預測區塊的左側邊相鄰之預測區塊的尺寸是小於編碼或解碼對象之預 測區塊，且複數存在時，則在本實施形態中係在左側邊相鄰之預測區塊之中僅將最下方的預測區塊A10視作左側邊相鄰之預測區塊A。
同樣地，當編碼或解碼對象之預測區塊的上側邊相鄰之預測區塊的尺寸是小於編碼或解碼對象之預測區塊，且複數存在時，則在本實施形態中係在左側邊相鄰之預測區塊之中僅將最右方的預測區塊B10視作上側邊相鄰之預測區塊B。
此外，如圖7所示，當編碼或解碼對象之預測區塊的左側相鄰之預測區塊F的尺寸是大於編碼或解碼對象之預測區塊時，仍依照前記條件，若左側相鄰之預測區塊F是有相鄰於該編碼或解碼對象之預測區塊之左側邊則視作預測區塊A，若相鄰於編碼或解碼對象之預測區塊之左下頂點則視作預測區塊D，若相鄰於編碼或解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖7的例子中，預測區塊A、預測區塊D及預測區塊E係為同一預測區塊。
此外，如圖8所示，當編碼或解碼對象之預測區塊的上側相鄰之預測區塊G的尺寸是大於編碼或解碼對象之預測區塊時，仍依照前記條件，若上側相鄰之預測區塊G是有相鄰於該編碼或解碼對象之預測區塊之上側邊則視作預測區塊B，若相鄰於編碼或解碼對象之預測區塊之右上頂點則視作預測區塊C，若相鄰於編碼或解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖8的例子中，預測區塊B、預測區塊C及預測區塊E係為同一預測區塊。
如圖9所示，在與編碼或解碼對象預測區塊不同時間之已編碼或解碼圖像中，將存在於與編碼或解碼對象預測區塊同一位置或其附近的已編碼或解碼之預測區塊T0及T1，定義為不同時間之同一位置的預測區塊。
(關於POC)
POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出順序而每次增加1之值。藉由POC之值，就可判別是否為相同圖像、可判別輸出順序上的圖像間之前後關係、可導出圖像間之距離等等。例如，當2個圖像之POC具有相同值時，就可判斷是同一圖像。當2個圖像之POC具有不同值時，則可判斷POC之值較小的圖像係為先被輸出之圖像，2個圖像的POC的差，係表示時間軸方向上的圖像間距離。
以下，與圖面一起來說明本發明的實施形態。圖1係本發明的實施形態所述之動態影像編碼裝置之構成的區塊圖。實施形態的動態影像編碼裝置，係具備：影像記憶體101、標頭資訊設定部117、運動向量偵測部102、差分運動向量算出部103、畫面間預測資訊導出部104、運動補償預測部105、畫面內預測部106、預測方法決定部107、殘差訊號生成部108、正交轉換‧量化部109、第1編碼位元列生成部118、第2編碼位元列生成部110、第3編碼位元列生成部111、多工化部112、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存 記憶體115、及解碼影像記憶體116。
標頭資訊設定部117，係設定序列、圖像、切片單位之資訊。所被設定的序列、圖像、切片單位之資訊，係供給至畫面間預測資訊導出部104、第1編碼位元列生成部118，並且供給至未圖示的所有區塊。
影像記憶體101係將按照攝影/顯示時間順序所供給的編碼對象之圖像的影像訊號，予以暫時儲存。影像記憶體101，係將所被儲存的編碼對象之圖像的影像訊號，以所定之像素區塊單位，供給至運動向量偵測部102、預測方法決定部107、及殘差訊號生成部108。此時，按照攝影/顯示時間順序而被儲存之圖像的影像訊號，係被排序成編碼順序，以像素區塊單位，從影像記憶體101輸出。
運動向量偵測部102，係藉由在從影像記憶體101所供給之影像訊號與從解碼影像記憶體116所供給之參照圖像間進行區塊比對等，將各預測區塊尺寸、各預測模式的各自之運動向量，以各預測區塊單位而加以測出，將所測出的運動向量，供給至運動補償預測部105、差分運動向量算出部103、及預測方法決定部107。
差分運動向量算出部103，係使用編碼資訊儲存記憶體115中所記憶之已經編碼過的影像訊號的編碼資訊，算出複數預測運動向量之候補而登錄至預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出最佳的預測運動向量，根據運動向量偵測部102所測出之運動向量與預測運動向量，算出差分運動向 量，將所算出的差分運動向量，供給至預測方法決定部107。然後，將從預測運動向量清單中所登錄的預測運動向量之候補所選擇出來的預測運動向量加以特定的預測運動向量索引，供給至預測方法決定部107。
畫面間預測資訊導出部104，係導出合併模式下的合併候補。使用編碼資訊儲存記憶體115中所記憶之已經編碼過的預測區塊的編碼資訊，導出複數合併候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出適合的合併候補，將已被選擇之合併候補的各預測區塊的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部105，並且將用來特定所被選擇之合併候補用的合併索引，供給至預測方法決定部107。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部104的詳細構成與動作，將於後述。
運動補償預測部105，係使用被運動向量偵測部102及畫面間預測資訊導出部104所測出的運動向量，從參照圖像藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至預測方法決定部107。此外，在L0預測、及L1預測中，進行單向的預測。在雙預測(Pred_BI)時，係進行雙向的預測，對L0預測、L1預 測之各個畫面間預測到的訊號適應性地乘上加權係數，加算偏置值而予以重疊，生成最終的預測影像訊號。
畫面內預測部106，係針對各畫面內預測模式，進行畫面內預測。根據解碼影像記憶體116中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，從複數畫面內預測模式中，選擇出合適的畫面內預測模式，將已選擇之畫面內預測模式、及相應於所選擇之畫面內預測模式的預測影像訊號，供給至預測方法決定部107。
預測方法決定部107係藉由評估編碼資訊及殘差訊號的編碼量、預測影像訊號與影像訊號之間的失真量等，而從複數預測方法之中，決定用來以最佳編碼區塊單位來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode，在畫面間預測(PRED_INTER)下係以預測區塊單位來決定是否為合併模式，在合併模式時係決定合併索引、非合併模式時係決定畫面間預測模式、預測運動向量索引、L0、L1之參照索引、差分運動向量等，將符合決定的編碼資訊，供給至第2編碼位元列生成部110。
然後，預測方法決定部107，係將含有表示所決定之預測方法的資訊，及含有相應於所決定之預測方法的運動向量等的編碼資訊，儲存至編碼資訊儲存記憶體115。這裡所儲存的編碼資訊係為，各編碼區塊的預測模式PredMode、分割模式PartMode、用來表示是否利用各預測區塊的L0預測、及L1預測的旗標predFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。此外，當預測模式PredMode是畫面間預測(MODE_INTER)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為0。另一方面，當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]係為1、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標predFlagL0[xP][yP]係為0、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為1。當畫面間預測模式是雙預測(Pred_BI時，表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為1。預測方法決定部107，係將相應於所決定之預測模式的預測影像訊號，供給至殘差訊號生成部108與解碼影像訊號重疊部114。
殘差訊號生成部108，係藉由進行所編碼之影像訊號與預測影像訊號之減算以生成殘差訊號，供給至正交轉換‧量化部109。
正交轉換‧量化部109，係對殘差訊號而隨著量化參 數進行正交轉換及量化而生成已被正交轉換、量化過的殘差訊號，供給至第3編碼位元列生成部111與逆量化‧逆正交轉換部113。然後，正交轉換‧量化部109係將量化參數，儲存在編碼資訊儲存記憶體115中。
第1編碼位元列生成部118，係將已被標頭資訊設定部117所設定的序列、圖像、切片單位之資訊，予以編碼。生成第1編碼位元列，供給至多工化部112。
第2編碼位元列生成部110，係將對每一編碼區塊及預測區塊而由預測方法決定部107所決定之預測方法所相應的編碼資訊，予以編碼。具體而言，當每一編碼區塊的預測模式PredMode、分割模式PartMode、畫面間預測(PRED_INTER)時，則將判別是否為合併模式的旗標、在合併模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量的相關資訊等之編碼資訊，依照後述的規定之語法規則而予以編碼以生成第2編碼位元列，供給至多工化部112。
第3編碼位元列生成部111，係將已被正交轉換及量化過的殘差訊號，依照規定之語法規則來進行熵編碼以生成第3編碼位元列，供給至多工化部112。在多工化部112中，將第1編碼位元列、第2編碼位元列及第3編碼位元列，依照規定之語法規則而進行多工化，輸出位元串流。
逆量化‧逆正交轉換部113，係將從正交轉換‧量化部109所供給之已被正交轉換、量化過的殘差訊號，進行 逆量化及逆正交轉換而算出殘差訊號，供給至解碼影像訊號重疊部114。解碼影像訊號重疊部114，係將相應於預測方法決定部107所決定之預測影像訊號和被逆量化‧逆正交轉換部113進行逆量化及逆正交轉換後的殘差訊號加以重疊而生成解碼影像，儲存在解碼影像記憶體116中。此外，也可對解碼影像實施用來減少編碼所致區塊失真等失真的濾波處理，然後儲存在解碼影像記憶體116中。
圖2係圖1之動態影像編碼裝置所對應之本發明的實施形態所述之動態影像解碼裝置之構成的區塊。實施形態的動態影像解碼裝置，係具備：分離部201、第1編碼位元列解碼部212、第2編碼位元列解碼部202、第3編碼位元列解碼部203、運動向量算出部204、畫面間預測資訊導出部205、運動補償預測部206、畫面內預測部207、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211。
圖2的動態影像解碼裝置的解碼處理，係為對應於圖1之動態影像編碼裝置之內部所設之解碼處理，因此圖2的補償預測部206、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211之各構成，係具有與圖1的動態影像編碼裝置的運動補償預測部105、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存記憶體115、及解碼影像記憶體116之各構成分別對應的機能。
被供給至分離部201的位元串流係依照規定之語法規 則而進行分離，所分離出來的編碼位元列係被供給至第1編碼位元列解碼部212、第2編碼位元列解碼部202、第3編碼位元列解碼部203。
第1編碼位元列解碼部212係將所被供給之編碼位元列予以解碼，獲得序列、圖像、切片單位之資訊。所得到的序列、圖像、切片單位之資訊係被供給至未圖示的所有區塊。
第2編碼位元列解碼部202係將所被供給之編碼位元列予以解碼，獲得編碼區塊單位之資訊、及預測區塊單位之編碼資訊。具體而言，用來以編碼區塊單位來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode、畫面間預測(PRED_INTER)的情況下，將判別是否為合併模式的旗標、在合併模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量等的相關之編碼資訊，依照後述的規定之語法規則而進行解碼，將編碼資訊供給至運動向量算出部204、畫面間預測資訊導出部205或畫面內預測部207。
第3編碼位元列解碼部203係將所被供給之編碼位元列予以解碼而算出已被正交轉換‧量化之殘差訊號，將已被正交轉換‧量化之殘差訊號供給至逆量化‧逆正交轉換部208。
運動向量算出部204，係解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且非合併 模式時，使用編碼資訊儲存記憶體210中所記憶之已解碼的影像訊號的編碼資訊，導出複數預測運動向量之候補而登錄至後述的預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出被第2編碼位元列解碼部202所解碼而供給之預測運動向量索引所相應之預測運動向量，根據已被第2編碼位元列解碼部202所解碼之差分向量與所被選擇之預測運動向量而算出運動向量，連同其他編碼資訊一起供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處所供給、儲存的預測區塊的編碼資訊係為：預測模式PredMode、分割模式PartMode、用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0係為1、表示是否利用L1預測的旗標predFlagL1係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標predFlagL0係為0、表示是否利用L1預測的旗標predFlagL1係為1。當畫面間預測模式是雙預測(Pred_BI)時，表示是否利用L0預測的旗標predFlagL0、表示是否利用L1預測的 旗標predFlagL1係皆為1。
畫面間預測資訊導出部205，係當解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且為合併模式時，導出合併候補。使用編碼資訊儲存記憶體115中所記憶之已解碼之預測區塊的編碼資訊，導出複數合併之候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出由第2編碼位元列解碼部202所解碼而供給之合併索引所對應之合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部205的詳細構成與動作，將於後述。
運動補償預測部206，係使用被運動向量算出部204或畫面間預測資訊導出部205所算出的畫面間預測資訊，從解碼影像記憶體211中所儲存的參照圖像，藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。此外，在雙預測(Pred_BI)的情況下，係對L0預測、L1預測的2個運動補償預測影像訊號，適應性地乘算權重係數，生成最終 的預測影像訊號。
畫面內預測部207係當解碼對象的預測區塊的預測模式PredMode是畫面內預測(PRED_INTRA)時，進行畫面內預測。已被第1編碼位元列解碼部所解碼之編碼資訊中係含有畫面內預測模式，隨應於畫面內預測模式，根據解碼影像記憶體211中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。將用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]皆設定成0，儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。
逆量化‧逆正交轉換部208，係對第2編碼位元列解碼部202所解碼之已被正交轉換‧量化之殘差訊號，進行逆正交轉換及逆量化，獲得已被逆正交轉換．逆量化之殘差訊號。
解碼影像訊號重疊部209，係藉由將已被運動補償預測部206進行畫面間預測的預測影像訊號、或已被畫面內預測部207進行畫面內預測的預測影像訊號、和已被逆量化‧逆正交轉換部208進行逆正交轉換．逆量化之殘差訊號，進行重疊，以將解碼影像訊號予以解碼，儲存至解碼影像記憶體211。在儲存至解碼影像記憶體211之際，係也可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理，然後儲存在解碼影像記憶體211中。
接著說明，被具備本實施形態所述之運動向量之預測方法的動態影像編碼裝置所編碼、被解碼裝置所解碼的動態影像之位元串流的編碼及解碼之共通規則亦即語法(syntax)。
圖10係圖示了以預測區塊單位而被描述的語法規則。若預測區塊的預測模式PredMode之值為畫面間預測(MODE_INTER)時，則會設置有表示是否為合併模式的merge_flag[x0][y0]。此處，x0、y0係用來表示在亮度訊號之圖像內的預測區塊的左上像素之位置的索引，merge_flag[x0][y0]係用來表示圖像內的(x0,y0)位置上的預測區塊是否為合併模式。
接著，若merge_flag[x0][y0]為1，則表示是合併模式，設置所參照之合併候補的清單亦即合併清單之索引的語法要素merge_idx[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，merge_idx[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊的合併索引。在將合併索引進行熵編碼或解碼時，合併候補數越小，則能夠以越小的編碼量來進行編碼或解碼，可以較少的處理量來進行編碼或解碼。圖11係合併索引之語法要素merge_idx[x0][y0]的熵編碼(代碼)之一例。若合併候補數為3，則藉由將合併索引的最大值設成合併候補數-1亦即2，合併索引係成為0,1,2，合併索引之語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'11'。若合併候補數為4，則藉由將合併索引的最大 值設成最大合併候補數-1亦即3，合併索引係成為0,1,2,3，合併索引之語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'110'、'111'。若合併候補數為5，則藉由將合併索引的最大值設成最大合併候補數-1亦即4，合併索引係成為0,1,2,3,4，合併索引之語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'110'、'1110'、'1111'。例如，若合併索引為2的情況下，合併候補數為3時係為'11'，合併候補數為4及5時係為'110'。亦即，在可限制合併候補數的情況下，藉由將合併索引的最大值限制成合併候補數-1，就可以較短編碼長度來表現合併索引。亦即，在限制合併候補數時，將合併索引的最大值限制成最大合併候補數-1這一方，較能以小量的編碼量來表現合併索引。於本實施例中，係如圖11所示，隨應於合併候補數，來切換著表示合併索引之各值的編碼，以削減編碼量。
另一方面，若merge_flag[x0][y0]為0，則表示並非合併模式，若切片類型是B切片時，則會設置有用來識別畫面間預測模式的語法要素inter_pred_flag[x0][y0]，藉由該語法要素來識別L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。對每一L0、L1，設置有用來特定參照圖像所需之參照索引的語法要素ref_idx_10[x0][y0]、ref_idx_11[x0][y0]，運動向量偵測所求出的預測區塊之運動向量與預測運動向量之差分亦即差分運動向量的語法要素mvd_10[x0][y0][j]、 mvd_11[x0][y0][j]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，ref_idx_10[x0][y0]、mvd_10[x0][y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L0的參照索引、及差分運動向量，ref_idx_11[x0][y0]、mvd_11[x0][y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L1的參照索引、及差分運動向量。又，j係表示差分運動向量的成分，j為0係表示x成分，j為1係表示y成分。接著，會設置有所參照之預測運動向量之候補的清單亦即預測運動向量清單之索引的語法要素mvp_idx_10[x0][y0]、mvp_idx_11[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，mvp_idx_10[x0][y0]、mvp_idx_11[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊L0、L1的預測運動向量索引。在本發明的本實施形態中，係將這些候補數之值，設定為2。
實施形態所述之畫面間預測資訊導出方法，係於圖1的動態影像編碼裝置的畫面間預測資訊導出部104及圖2的動態影像解碼裝置的畫面間預測資訊導出部205中實施。
實施形態所述之畫面間預測資訊導出方法，係可就構成編碼區塊的預測區塊單位，在編碼及解碼之處理之任一者中均可實施。若預測區塊的預測模式PredMode是畫面間預測(MODE_INTER)，且為合併模式時，在編碼的情況下，係在利用已編碼之預測區塊的預測模式、參照索 引、運動向量來導出編碼對象之預測區塊的預測模式、參照索引、運動向量之際，在解碼的情況下，係在利用已解碼之預測區塊的預測模式、參照索引、運動向量來導出解碼對象之預測區塊的預測模式、參照索引、運動向量之際，會被實施。
合併模式係將使用圖5、圖6、圖7及圖8所說明過的左方相鄰之預測區塊A、上方相鄰之預測區塊B、右上相鄰之預測區塊C、左下相鄰之預測區塊D、左上相鄰之預測區塊E以外，還會將使用圖9所說明過的不同時間的存在於同一位置或其附近之預測區塊Col(T0、T1之任一者)的預測區塊，當作候補。動態影像編碼裝置的畫面間預測資訊導出部104、及動態影像解碼裝置的畫面間預測資訊導出部205係將這些候補，以編碼側與解碼側上共通之順序，登錄至合併候補清單，動態影像編碼裝置的畫面間預測資訊導出部104會決定用來特定合併候補清單之要素用的合併索引然後經由第2編碼位元列生成部110而予以編碼，動態影像解碼裝置的畫面間預測資訊導出部205係被供給著，已被第2編碼位元列解碼部202所解碼之合併索引，將相應於該合併索引的預測區塊，從合併候補清單中加以選擇出來，使用該已被選擇之合併候補的預測模式、參照索引、運動向量等之畫面間預測資訊，來進行運動補償預測。
將以切片單位而被登錄至合併候補清單mergeCandList的最終合併候補數finalNumMergeCand， 予以設定。於本實施形態中，若切片類型是P切片時，則將最終合併候補數finalNumMergeCand設定成小於後者的數，若切片類型是B切片時，則將最終合併候補數finalNumMergeCand設定成大於前者的數。若切片類型是P切片時，則將最終合併候補數finalNumMergeCand設定成3，若切片類型是B切片時，則將最終合併候補數finalNumMergeCand設定成5。
使用圖面來說明實施形態所述之畫面間預測資訊導出方法。圖12係圖1之動態影像編碼裝置的畫面間預測資訊導出部104之詳細構成的圖示。又，圖13係圖2的動態影像解碼裝置的畫面間預測資訊導出部205之詳細構成的圖示。
圖12及圖13的粗線框所圍繞的部分係分別表示畫面間預測資訊導出部104及畫面間預測資訊導出部205。
然後，它們內部以粗虛線所圍繞之部分係表示後述的畫面間預測資訊導出方法之動作部，與實施形態之動態影像編碼裝置相對應的動態影像解碼裝置中也被同樣設置，使得編碼與解碼不會矛盾而獲得同一導出結果。
畫面間預測資訊導出部104係含有：空間合併候補生成部130、時間合併候補之參照索引導出部131、時間合併候補生成部132、合併候補登錄部133、合併候補同一判定部134、合併候補數限制部135、合併候補補充部136、及編碼資訊選擇部137。
畫面間預測資訊導出部205係含有：空間合併候補生 成部230、時間合併候補之參照索引導出部231、時間合併候補生成部232、合併候補登錄部233、合併候補同一判定部234、合併候補數限制部235、合併候補補充部236、及編碼資訊選擇部237。
圖14係本發明的實施形態所述之動態影像編碼裝置的畫面間預測資訊導出部104及動態影像解碼裝置的畫面間預測資訊導出部205中具有共通機能的合併候補之導出處理及合併候補清單之建構處理程序的說明用流程圖。以下，按照順序來說明各過程。此外，以下的說明中，若無特別聲明，則都是針對切片類型slice_type為B切片的情形加以說明，但亦可適用於P切片的情形。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
在動態影像編碼裝置的畫面間預測資訊導出部104的空間合併候補生成部130及動態影像解碼裝置的畫面間預測資訊導出部205的空間合併候補生成部230中，係從編碼或解碼對象區塊所相鄰之各個預測區塊A,B,C,D,E，導出空間合併候補A,B,C,D,E。此處，定義用來代表A,B,C,D,E或Col之任一者的N。將用來表示是否把預測區塊N的畫面間預測資訊當作合併候補N來利用的旗標availableFlagN、L0之參照索引refIdxL0N及L1之參照索引refIdxL1N、用來表示是否進行L0預測的L0預測旗標predFlagL0N及用來表示是否進行L1預測的L1預測旗標 predFlagL1N、L0之運動向量mvL0N、L1之運動向量mvL1N，予以輸出(步驟S101)。
關於步驟S101的詳細處理程序，係使用圖15的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補之參照索引導出部131及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補之參照索引導出部231中，係從編碼或解碼對象區塊所相鄰之預測區塊，導出時間合併候補的參照索引(步驟S102)。切片類型slice_type為P切片且使用時間合併候補的畫面間預測資訊來進行畫面間預測的情況下，為了進行L0預測(Pred_L0)，而僅導出L0之參照索引，切片類型slice_type為B切片且使用時間合併候補的畫面間預測資訊來進行畫面間預測的情況下，為了進行雙預測(Pred_BI)，而導出L0與L1各自之參照索引。關於步驟S102的詳細處理程序，係使用圖16的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部132及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部232中，係導出來自不同時間之圖像的時間合併候補，將用來表示是否能利用的旗標availableFlagCol、用來表示是否進行L0預測的L0預測旗標predFlagL0Col及用來表示是否進行L1預測的L1預測旗標predFlagL1Col、及L0之運動 向量mvL0N、L1之運動向量mvL1N，予以輸出(步驟S103)。關於步驟S103的詳細處理程序，係使用圖17的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補登錄部133及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補登錄部233中，係作成合併候補清單mergeCandList，追加預測向量的候補A,B,C,D,E,Col(步驟S104)。關於步驟S104的詳細處理程序，係使用圖24的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補同一判定部134及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補同一判定部234中，係在合併候補清單mergeCandList內，合併候補是相同參照索引的運動向量是具有相同值時，將最小順位的合併候補以外的其他合併候補予以摘除(步驟S105)。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補數限制部135及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補數限制部235中，係將合併候補清單mergeCandList內所被登錄之合併候補的數目予以計數，若合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand大於最終合併候補數finalNumMergeCand(步驟S106的YES)，則藉由將合併候補清單mergeCandList內的索引i大於(finalNumMergeCand-1)的所有合併候補予以刪除，以 將合併候補限制成最終合併候補數finalNumMergeCand，將合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand之值，更新成最終合併候補數finalNumMergeCand(步驟S107)。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補補充部136及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補補充部236中，係若合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand小於最終合併候補數finalNumMergeCand(步驟S108的YES)，則合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand是以最終合併候補數finalNumMergeCand為上限而補充合併候補，將合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand之值，更新成最終合併候補數finalNumMergeCand(步驟S109)。以最終合併候補數finalNumMergeCand為上限，在P切片時，係會追加不同參照索引且運動向量為(0,0)(水平及垂直成分皆為0)且預測模式為L0預測(Pred_L0)的合併候補。在B切片時，係會追加已被登錄之合併候補彼此之L0預測與L1預測之組合做過變更的預測模式是雙預測(Pred_BI)的合併候補、或不同參照索引且運動向量為(0,0)且預測模式為雙預測(Pred_BI)的合併候補。
在本實施形態中，係以切片單位而將最終合併候補數finalNumMergeCand設定成固定的數。將最終合併候補數 finalNumMergeCand予以固定之理由係為，若最終合併候補數finalNumMergeCand會隨合併候補清單的架構狀態而變動，則熵解碼與合併候補清單之架構會產生依存關係，在解碼側上若不每一預測區塊地建構合併候補清單而導出最終合併候補數finalNumMergeCand，就無法將合併索引進行熵解碼，造成合併索引的解碼延遲並且熵解碼會變得複雜。再者，若熵解碼是依存於，含有從不同時間之圖像的預測區塊所導出之合併候補Col的合併候補清單的架構狀態，則別的圖像之編碼位元列的解碼時發生錯誤之際，目前圖像之編碼位元列也會受到該錯誤之影響，而導致無法導出正常的最終合併候補數finalNumMergeCand，無法正常地繼續進行熵解碼之問題。若向本實施形態這樣以切片單位而將最終合併候補數finalNumMergeCand設定成固定的數，則不需要預測區塊單位的最終合併候補數finalNumMergeCand之導出，可獨立於合併候補清單的架構而將合併索引進行熵解碼，同時，即使別的圖像之編碼位元列的解碼時發生錯誤，也可不受其影響地繼續進行目前圖像之編碼位元列的熵解碼。
接著，針對圖14的步驟S101之處理程序亦即從編碼或解碼對象區塊所相鄰之預測區塊N導出合併候補N之方法，詳細說明。圖15係說明圖14的步驟S101之空間合併候補導出處理程序的流程圖。N係代入表示相鄰之預測區塊之領域的A(左側)、B(上側)、C(右上)、D(左下)或E(左上)。此外，在本實施形態中，係將空 間合併候補數之上限值maxNumSpatialMergeCand設成4，從相鄰的5個預測區塊，導出最多4個空間合併候補。此外，亦可以切片單位來設定合併候補清單mergeCandList中所被登錄之空間合併候補數的上限值maxNumSpatialMergeCand。若對空間合併候補數的上限值maxNumSpatialMergeCand設定較大的值則由於擴展了合併候補的選擇幅度而編碼效率會有所提升，但由於合併候補的同一判定對象之合併候補數增加，因此合併候補的同一判定之處理量會增大。於是，為了削減處理量，亦可以切片單位來設定空間合併候補數的上限值maxNumSpatialMergeCand，來控制空間合併候補導出之處理量或合併候補同一判定之處理量。例如，若切片類型是P切片時，則由於在本實施形態中係將最終合併候補數finalNumMergeCand設成3，因此即使導出4個空間合併候補，在圖14的步驟S107中被刪除的可能性仍很高，因此即使將空間合併候補數的上限值maxNumSpatialMergeCand設成3或2，仍可將編碼效率的降低程度抑制成較小，可削減動態影像編碼裝置的畫面間預測資訊導出部104的合併候補同一判定部134及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補同一判定部234中的合併候補同一判定處理的處理量。
圖15中，將變數N設成A而調查編碼或解碼對象預測區塊之左側相鄰的預測區塊A的編碼資訊而導出合併候補A，將變數N設成B而調查上側相鄰之預測區塊B的 編碼資訊而導出合併候補B，將變數N設成C而調查右上側相鄰之預測區塊C的編碼資訊而導出合併候補C，將變數N設成D而調查左下側相鄰之預測區塊D的編碼資訊而導出合併候補D，將變數N設成E而調查左上側相鄰之預測區塊E的編碼資訊而導出合併候補E(步驟S1101~步驟S1112)。
首先，目前為止所導出(availableFlag為1)的空間合併候補的合計係為空間合併候補數之上限值maxNumSpatialMergeCand的情況下(步驟S1102的YES)，亦即被導出4個空間合併候補的情況下，則將合併候補N的旗標availableFlagN設定成0(步驟S1105)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(步驟S1106)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(步驟S1107)，結束本空間合併候補導出處理。
在本實施形態中，係由於是從相鄰的預測區塊導出4個合併候補，因此若已經有4個空間合併候補被導出時，則不需要進行更多的空間合併候補之導出處理。
另一方面，目前為止所導出(availableFlag為1)的空間合併候補的合計並非空間合併候補數之上限值maxNumSpatialMergeCand的情況下(步驟S1102的NO)，則將編碼或解碼對象之預測區塊所相鄰的預測區塊N加以特定，若各個預測區塊N是能夠利用時，則從編碼資訊儲存記憶體115或210中，取得預測區塊N的編 碼資訊(步驟S1103)。
當相鄰之預測區塊N是無法利用、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)時(步驟S1104的NO)，則將合併候補N的旗標availableFlagN之值設定成0(步驟S1105)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(步驟S1106)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(步驟S1107)。
另一方面，當相鄰之預測區塊N是可利用、或預測區塊N的預測模式PredMode並非畫面內預測(MODE_INTRA)時(步驟S1104的YES)，將預測區塊N的畫面間預測資訊，當作合併候補N的畫面間預測資訊。將合併候補N的旗標availableFlagN之值設定成1(步驟S1108)，將合併候補N的運動向量mvL0N,mvL1N分別設定成與預測區塊N的運動向量mvL0N[xN][yN],mvL1N[xN][yN]相同的值(步驟S1109)，將合併候補N的參照索引refIdxL0N,refIdxL1N分別設定成與預測區塊N的參照索引refIdxL0[xN][yN],refIdxL1[xN][yN]相同的值(步驟S1110)，將合併候補N的旗標predFlagL0N,predFlagL1N分別設定成預測區塊N的旗標predFlagL0[xN][yN],predFlagL1[xN][yN](步驟S1111)。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。
以上的步驟S1102~步驟S1111之處理針對N=A,B, C,D,E分別重複進行(步驟S1101~步驟S1112)。
接著，針對圖14的S102的時間合併候補的參照索引之導出方法，詳細說明。導出時間合併候補的L0與L1各自之參照索引。
在本實施形態中，係利用空間合併候補之參照索引、亦即編碼或解碼對象區塊所相鄰之預測區塊上所被利用之參照索引，來導出時間合併候補之參照索引。這是因為，在時間合併候補被選擇的情況下，編碼或解碼對象預測區塊的參照索引，係與成為空間合併候補的編碼或解碼對象區塊所相鄰之預測區塊的參照索引，具有較高的相關性。尤其是，在本實施形態中，係僅利用編碼或解碼對象之預測區塊之左邊相鄰的預測區塊A、及上邊相鄰之預測區塊B的參照索引。這是因為，在亦身為間合併候補的相鄰之預測區塊A,B,C,D,E之中，編碼或解碼對象預測區塊的邊所銜接的預測區塊A,B，其相關性是比與編碼或解碼對象預測區塊僅頂點銜接之預測區塊C,D,E還高。藉由不利用相關性相對較低之預測區塊C,D,E，將所利用之預測區塊限定成預測區塊A,B，就可獲得時間合併候補之參照索引之導出所帶來的編碼效率之改善效果，同時，可削減時間合併候補之參照索引導出處理所涉及之演算量及記憶體存取量。
在本實施形態中，預測區塊A、預測區塊B都進行LX預測(L0或L1，將時間合併候補之參照索引的導出對象之清單設成LX，使用LX之預測稱作LX預測。以下， 只要沒有特別聲明，就照該意義來使用。)時，係將預測區塊A、預測區塊B的LX之參照索引之值的較小一方，當作時間合併候補的LX之參照索引之值而採用。其中，若預測區塊A、預測區塊B僅其中一方有進行LX預測的情況下，則將進行LX預測之一方的預測區塊的LX之參照索引之值，當作時間合併候補的LX之參照索引之值而採用，若預測區塊A、預測區塊B都沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。
若預測區塊A、預測區塊B都沒進行LX預測的情況下將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列單位、圖像單位、或切片單位而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖16係本實施形態的圖14的步驟S102的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，從編碼資訊儲存記憶體115或210中，取得左相鄰之預測區塊A的編碼資訊、及預測區塊B的編碼資訊(步驟S2101、步驟S2102)。
接著，將步驟S2104至步驟S2110之處理，針對L0、L1分別進行(步驟S2103~S2111)。此外，在導出 時間合併候補的L0之時間合併候補之際，LX係被設定成L0，在導出L1之時間合併候補之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
若預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]和預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]皆非0(步驟S2104的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成與預測區塊A的LX之參照索引refIdxLX[xA][yA]與預測區塊B的LX之參照索引refIdxLX[xB][yB]之值的較小者相同的值(步驟S2105)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。此處，xB、yB係為用來表示，預測區塊B的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼或解碼對象切片外而無法利用的時候、預測區塊N是在編碼或解碼順序上較編碼或解碼對象預測區塊後面因此無法編碼或解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係 為用來表示，預測區塊N的左上像素在圖像內之位置的索引。
當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
若預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0，預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]是0的情況下(步驟S2104的NO、步驟S2106的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]相同的值(步驟S2107)。此處，xA、yA係為用來表示預測區塊A的左上像素在圖像內之位置的索引，xB、yB係為用來表示預測區塊B的左上像素在圖像內之位置的索引。
若預測區塊A之用來表示是否進行LX預測的旗標 predFlagLX[xA][yA]是0，預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]不是0的情況下(步驟S2104的NO、步驟S2106的NO、步驟S2108的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊B的LX之參照索引predFlagLX[xB][yB]相同的值(步驟S2109)。
若預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]與預測區塊B之用來表示是否進行LX預測的旗標predFlagLX[xB][yB]皆為0的情況下(步驟S2104的NO、步驟S2106的NO、步驟S2108的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2110)。
在L0,L1分別進行的步驟S2104至步驟S2110之處理(步驟S2103~S2111)，結束本參照索引導出處理。
接著，針對圖14的S103的不同時間之合併候補的導出方法，詳細說明。圖17係說明圖14的步驟S103之時間合併候補導出處理程序的流程圖。
首先，如圖26的位元串流的編碼及解碼之共通規則的語法規則之一例所示，藉由以切片單位而被記述在切片標頭中的切片類型slice_type和一旗標collocated_from_10_flag其係用來表示，在時間方向之預測運動向量之候補、或合併候補的導出之際所使用的不同時間之colPic，是要使用處理對象之預測區塊所被包含的圖像的L0之參照清單或L1之參照清單之哪一者中所被登 錄的參照圖像，而導出不同時間之圖像colPic(步驟S3101)。
圖18係說明圖17的步驟S3101的不同時間之圖像colPic之導出處理程序的流程圖。若切片類型slice_type是B切片，且旗標collocated_from_10_flag為0(步驟S3201的YES、步驟S3202的YES)，則RefPicList1[0]，亦即參照清單L1之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3203)。若非如此，亦即切片類型slice_type是B切片且前述旗標collocated_from_10_flag為1時(步驟S3201的YES、步驟S3202的NO)，或切片類型slice_type是P切片時(步驟S3201的NO、S3204的YES)，則RefPicList0[0]，亦即參照清單L0之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3205)。
接著，回到圖17的流程圖，導出不同時間之預測區塊colPU，取得編碼資訊(步驟S3102)。
圖19係說明圖17的步驟S3102的不同時間之圖像colPic的預測區塊colPU之導出處理程序的流程圖。
首先，在不同時間之圖像colPic內，將與處理對象之預測區塊同一位置的右下(外側)位置上的預測區塊，當成不同時間之預測區塊colPU(步驟S3301)。該預測區塊係相當於圖9的預測區塊T0。
接著，取得不同時間之預測區塊colPU的編碼資訊(步驟S3302)。若不同時間之預測區塊colPU的 PredMode是無法利用、或不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)時(步驟S3303的YES、步驟S3304的YES)，則將不同時間之圖像colPic內位於與處理對象之預測區塊同一位置的中央左上位置的預測區塊，當成不同時間之預測區塊colPU(步驟S3305)。該預測區塊係相當於圖9的預測區塊T1。
接著，回到圖17的流程圖，將從與編碼或解碼對象之預測區塊相同位置之其他圖像的預測區塊所導出的L0之預測運動向量mvL0Col和表示時間合併候補Col是否有效的旗標availableFlagL0Col予以導出(步驟S3103)，並且，導出L1之預測運動向量mvL1Col與表示時間合併候補Col是否有效的旗標availableFlagL1Col(步驟S3104)。然後，若旗標availableFlagL0Col或旗標availableFlagL1Col為1，則將表示時間合併候補Col是否有效的旗標availableFlagCol，設定成1。
圖20係說明圖17的步驟S3103、步驟S3104的時間合併候補之畫面間預測資訊的導出處理程序的流程圖。(L0或L1，將時間合併候補的導出對象之清單設成LX，使用LX之預測稱作LX預測。以下，只要沒有特別聲明，就照該意義來使用。在被呼叫來作為時間合併候補的L0之導出處理亦即步驟S3103之際，LX係為L0，在被呼叫來作為時間合併候補的L1之導出處理亦即步驟S3104之際，LX係為L1。
若不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)或無法利用時(步驟S3401的NO、步驟S3402的NO)，則將旗標availableFlagLXCol與旗標predFlagLXCol皆設成0(步驟S3403)，將運動向量mvLXCol設成(0,0)(步驟S3404)，結束本時間合併候補的畫面間預測資訊之導出處理。
若預測區塊colPU可以利用而預測模式PredMode並非畫面內預測(MODE_INTRA)時(步驟S3401的YES、步驟S3402的YES)，則用以下的程序來導出mvCol和refIdxCol和availableFlagCol。
若用來表示預測區塊colPU之L0預測是否能利用的旗標PredFlagL0[xPCol][yPCol]為0時(步驟S3405的YES)，則因為預測區塊colPU的預測模式是Pred_L1，所以運動向量mvCol會被設定成與預測區塊colPU的L1之運動向量亦即MvL1[xPCol][yPCol]相同的值(步驟S3406)，參照索引refIdxCol會被設定成與L1之參照索引RefIdxL1[xPCol][yPCol]相同的值(步驟S3407)，清單ListCol係被設定成L1(步驟S3408)。此處，xPCol、yPCol係為用來表示，不同時間之圖像colPic內的預測區塊colPU之左上像素位置的索引。
另一方面，若預測區塊colPU的L0預測旗標PredFlagL0[xPCol][yPCol]不是0(圖20的步驟S3405的NO)，則判定預測區塊colPU的L1預測旗標 PredFlagL1[xPCol][yPCol]是否為0。若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]是0(步驟S3409的YES)，則運動向量mvCol會被設定成與預測區塊colPU的L0之運動向量亦即MvL0[xPCol][yPCol]相同的值(步驟S3410)，參照索引refIdxCol會被設定成與L0之參照索引RefIdxL0[xPCol][yPCol]相同的值(步驟S3411)，清單ListCol係被設定成L0(步驟S3412)。
若預測區塊colPU的L0預測旗標PredFlagL0[xPCol][yPCol]與若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]都不是0(步驟S3405的NO、步驟S3409的NO)，則因為預測區塊colPU的畫面間預測模式係為雙預測(Pred_BI)，所以從L0、L1的2個運動向量中，選擇出一方(步驟S3413)。
圖21係預測區塊colPU的畫面間預測模式是雙預測(Pred_BI)時的時間合併候補的畫面間預測資訊之導出處理程序的流程圖。
首先，判定所有的參照清單中所登錄之所有圖像的POC是否小於目前編碼或解碼對象圖像之POC(步驟S3501)，若預測區塊colPU的所有參照清單亦即L0及L1中所登錄之所有圖像的POC都是小於目前編碼或解碼對象圖像之POC(步驟S3501的YES)，且LX為L0，亦即有導出編碼或解碼對象圖像的L0之運動向量之預測向量候補的情況下(步驟S3502的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若LX為L1，亦 即有導出編碼或解碼對象圖像的L1之運動向量之預測向量候補的情況下(步驟S3502的NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。另一方面，若預測區塊colPU的所有參照清單L0及L1中所登錄之圖像的POC至少有1者是大於目前編碼或解碼對象圖像之POC(步驟S3501的NO)，且若旗標collocated_from_10_flag為0時(步驟S3503的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若旗標collocated_from_10_flag為1時(步驟S3503的NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。
若選擇預測區塊colPU的L0這邊的畫面間預測資訊(步驟的YES、步驟S3503的YES)，則運動向量mvCol係被設定成與MvL0[xPCol][yPCol]相同的值(步驟S3504)，參照索引refIdxCol係被設定成與RefIdxL0[xPCol][yPCol]相同的值(步驟S3505)，清單ListCol係被設定成L0(步驟S3506)。
若選擇預測區塊colPU的L1這邊的畫面間預測資訊(步驟S2502的NO、步驟S3503的NO)，則運動向量mvCol係被設定成與MvL1[xPCol][yPCol]相同的值(步驟S3507)，參照索引refIdxCol係被設定成與RefIdxL1[xPCol][yPCol]相同的值(步驟S3508)，清單ListCol係被設定成L1(步驟S3509)。
回到圖20，若能從預測區塊colPU取得畫面間預測資訊，則將旗標availableFlagLXCol與旗標 predFlagLXCol皆設成1(步驟S3414)。
接著，將運動向量mvCol予以比例縮放來作為時間合併候補的LX之運動向量mvLXCol(步驟S3415)。此運動向量的比例縮放演算處理程序，使用圖22及圖23來說明。
圖22係圖20的步驟S3415之運動向量之比例縮放演算處理程序的流程圖。
從不同時間之圖像colPic的POC，減去預測區塊colPU的清單ListCol所參照之參照索引refIdxCol所對應之參照圖像的POC而導出圖像間距離td(步驟S3601)。此外，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為前面的情況下，則圖像間距離td係為正的值，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為後面的情況下，則圖像間距離td係為負的值。
td=不同時間之圖像colPic的POC-預測區塊colPU的清單ListCol中所參照之參照圖像的POC
從目前的編碼或解碼對象圖像之POC，減去圖14的步驟S102所導出之時間合併候補的LX之參照索引所對應之參照圖像的POC，而導出圖像間距離tb(步驟 S3602)。此外，若相較於目前之編碼或解碼對象圖像，目前之編碼或解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為前面的情況下，則圖像間距離tb係為正的值，若目前之編碼或解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為後面的情況下，則圖像間距離tb係為負的值。
tb=目前之編碼或解碼對象圖像的POC-時間合併候補的LX之參照索引所對應之參照圖像的POC
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式對mvCol乘以比例縮放係數tb/td以進行比例縮放演算處理(步驟S3605)，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol。
mvLXCol=tb/td * mvCol
又，步驟S3605之比例縮放演算是以整數精度的演算來進行時的例子，示於圖23。圖23的步驟S3606~步驟S3608之處理，係相當於圖22的步驟S3605之處理。
首先，和圖22的流程圖同樣地，導出圖像間距離td與圖像間距離tb(步驟S3601、步驟S3602)。
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則和圖22的流程圖同樣地，將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式而導出變數tx(步驟S3606)。
tx=(16384+Abs(td/2))/td
接著，以下式導出比例縮放係數DistScaleFactor(步驟S3607)。
DistScaleFactor=(tb * tx+32)>>6
接著，藉由下式，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol(步驟S3608)。
mvLXCol=ClipMv(Sign(DistScaleFactor * mvCol) * ((Abs(DistScaleFactor * mvCol)+127)>>8))
接著，針對圖14的步驟S104的將合併候補予以登錄至合併候補清單的方法，詳細說明。圖24係往合併候補清單的合併候補之登錄處理程序的流程圖。在本方式中，係標上優先順位，從優先順位較高者起往合併候補清單mergeCandList登錄預測運動向量之候補，藉此以削減合併索引merge_idx[x0][y0]的編碼量。藉由將優先順位較高 的要素配置在合併候補清單的前方，以削減編碼量。例如，合併候補清單mergeCandList之要素為5個時，將合併候補清單的索引0設成「0」、將索引1設成「10」、將索引2設成「110」、將索引3設成「1110」、將索引4設成「11110」，藉此，表示索引0的編碼量就變成1位元，在索引0中登錄被認為發生頻率較高的要素，藉此以削減編碼量。
合併候補清單mergeCandList係形成清單結構，設置有將表示合併候補清單內部之所在的合併索引、和對應於索引的合併候補當作要素而加以儲存的記憶領域。合併索引的數字是從0開始，合併候補清單mergeCandList的記憶領域中係儲存有合併候補。在以下的處理中，已被登錄在合併候補清單mergeCandList中的合併索引i的要成為合併候補之預測區塊，係以mergeCandList[i]來表示，藉由數列標示來和合併候補清單mergeCandList做區別。
首先，若availableFlagA為1時(步驟S4101的YES)，則在合併候補清單mergeCandList的開頭，登錄合併候補A(步驟S4102)。
接著，若availableFlagB為1時(步驟S4103的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補B(步驟S4104)。
接著，若availableFlagC為1時(步驟S4105的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補C(步驟S4106)。
接著，若availableFlagD為1時(步驟S4107的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補D(步驟S4108)。
接著，若availableFlagE為1時(步驟S4109的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補E(步驟S4110)。
接著，若availableFlagCol為1時(步驟S4111的YES)，則在合併候補清單mergeCandList的最後，登錄合併候補Col(步驟S4112)。
此外，於合併模式下，由於左相鄰之預測區塊A及上相鄰之預測區塊B係經常與編碼或解碼對象之預測區塊一體運動，因此若能取得預測區塊A、B的畫面間預測資訊的情況下，則將合併候補A、B比其他合併候補C,D,E,Col優先地登錄在合併候補清單的前方。
於圖12中，在動態影像編碼裝置的畫面間預測資訊導出部104的編碼資訊選擇部137中，係從合併候補清單中所被登錄的合併候補之中，選擇出合併候補，將合併索引及合併索引所對應之合併候補的畫面間預測資訊，供給至運動補償預測部105。
於合併候補之選擇中，係可使用和預測方法決定部107同樣的方法。對各個合併候補，導出編碼資訊及殘差訊號的編碼量與預測影像訊號和影像訊號之間的編碼失真，決定最少發生編碼量與編碼失真的合併候補。對這些每一合併候補，進行合併模式之編碼資訊亦即合併索引之 語法要素merge_idx的熵編碼，算出編碼資訊的編碼量。然後，對這些每一合併候補以和運動補償預測部105同樣的方法來隨著各合併候補的畫面間預測資訊而將運動補償過之預測影像訊號、與從影像記憶體101所供給之編碼對象之影像訊號的預測殘差訊號所編碼而成的預測殘差訊號的編碼量，予以算出。編碼資訊、亦即合併索引的編碼量與預測殘差訊號的編碼量所加算而成的總發生編碼量，當作評價值。
又，如此將預測殘差訊號進行編碼後，為了評估失真量而進行解碼，算出編碼失真，來作為用來表示因編碼所產生之與原始影像訊號之誤差的比率。藉由將這些總發生編碼量與編碼失真，針對每一合併候補加以比較，以決定較少發生編碼量與編碼失真的編碼資訊。已被決定之編碼資訊所對應的合併索引，是被當成以預測區塊單位之第2語法模態所表示之旗標merge_idx，而被編碼。
此外，此處所算出的發生編碼量，係將編碼過程加以模擬而得到者是比較理想，但亦可簡化成取近似、或概算等等。
另一方面，於圖13中，在動態影像編碼裝置的畫面間預測資訊導出部205的編碼資訊選擇部237中，係從合併候補清單中所被登錄的合併候補之中，選擇出對應於所被供給之合併索引的合併候補，將合併候補的畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。
在以上所述的本實施形態中，係將以切片單位而被登錄至合併候補清單mergeCandList的最終合併候補數finalNumMergeCand，予以設定。以下，將本實施形態分成數個實施例來說明。首先說明本實施形態的實施例1。在本實施形態的實施例1中，係每切片類型地規定在編碼側與解碼側上共通的最終合併候補數finalNumMergeCand。和MPEG-4 AVC/H.264等同樣地，依據本實施形態的裝置、軟體或位元串流，係可定義主要是按照目的及用途而個別定義之表示處理機能之集合的設定檔(profile)和影像尺寸或畫格速率也有關係的表示處理負荷或使用記憶體量等之處理能力的等級(level)，藉由設定檔和等級，來表示裝置或軟體的性能、或位元串流進行解碼之際所必須之性能。亦可隨著設定檔或等級之任一方、或設定檔與等級之組合而對每一切片類型來規定最終合併候補數finalNumMergeCand的值，亦可忽視設定檔或等級而對每一切片類型來規定最終合併候補數finalNumMergeCand的值。例如，僅利用I切片與P切片來進行編碼或解碼的簡單機能之構成的設定檔的時候，將P切片的最終合併候補數finalNumMergeCand規定成3。在利用I切片、P切片還有B切片來進行編碼或解碼的複雜且編碼效率較佳之機能所構成的設定檔的時候，雖然亦可將P切片、及B切片的最終合併候補數finalNumMergeCand皆規定成5，但藉由將P切片之最終合併候補數finalNumMergeCand規定成比B切片之最終合 併候補數finalNumMergeCand還小的數亦即3，就將P切片的合併索引的編碼量抑制成較小，並且，可削減合併索引之編碼或解碼所涉及的處理量。
若切片類型是只能利用L0預測的P切片，則相較於能夠利用L0預測、L1預測、雙預測的B切片，畫面間預測較難選擇因此合併候補清單中所被登錄之合併候補較難獲得，又，合併候補彼此之畫面間預測資訊容易變得相同，因此合併候補清單中所被登錄的合併候補數係容易變小。因此，在P切片上即使將最終合併候補數設定成比B切片還小，編碼效率仍不會降低成B切片那樣，可將合併索引的編碼量抑制成較小，並且，可削減合併索引之編碼或解碼所涉及的處理量。
不是從編碼效率較高的B切片，而是由P切片來進行編碼或解碼的理由之一，就是P切片的處理量較少。尤其是，僅利用I切片與P切片來進行編碼或解碼的簡單機能之構成的設定檔，係被設定成以較少之處理量來進行編碼或解碼，因此將P切片的最終合併候補數finalNumMergeCand設定成較小的數字，合併索引之編碼或解碼所涉及之處理量的削減效果很大。
圖25係本實施形態的實施例1的方法所致之編碼側及解碼側上共通的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖。最終合併候補數finalNumMergeCand係在編碼裝置上被標頭資訊設定部117所設定，在解碼裝置上係被第1編碼位元列解碼部 212所設定。切片類型slice_type為P切片時(圖25的步驟S201的YES)，將最終合併候補數finalNumMergeCand設定成P切片的規定數(本實施形態中係為3)(圖25的步驟S203)。切片類型slice_type為B切片時(圖25的步驟S201的NO、步驟S202的YES)，則將最終合併候補數finalNumMergeCand設定成B切片的規定數(本實施形態中係為5)(圖25的步驟S204)。切片類型slice_type為I切片時(圖25的步驟S201的NO、步驟S202的NO)，則將最終合併候補數finalNumMergeCand設定成0(圖25的步驟S205)。
此外，和最終合併候補數finalNumMergeCand同樣地，亦可隨著設定檔或等級之任一方、或設定檔與等級之組合而對每一切片類型來規定空間合併候補數的上限值maxNumSpatialMergeCand之值，亦可忽視設定檔或等級而對每一切片類型來規定空間合併候補數的上限值maxNumSpatialMergeCand之值。考慮編碼效率和處理量，在重視編碼效率的情況下(設定檔、等級、或切片類型)係將空間合併候補數的上限值maxNumSpatialMergeCand規定成較大值，在重視處理量的情況下係將空間合併候補數的上限值maxNumSpatialMergeCand規定成較小值。
接著說明本實施形態的實施例2。在本實施形態的實施例2中，如圖26的位元串流的編碼及解碼之共通規則的語法規則之一例所示，以切片單位而在切片標頭中設定 表示最終合併候補數finalNumMergeCand的語法要素num_merge_cand。但是，對每一切片類型，規定了最終合併候補數的上限值。可隨應於設定檔與等級之組合而對每一切片類型來規定最終合併候補數的上限值，亦可忽視設定檔或等級而對每一切片類型來規定最終合併候補數的上限值。例如，僅利用I切片與P切片來進行編碼或解碼的簡單機能之構成的設定檔的時候，將P切片的最終合併候補數的上限值規定成3。在利用I切片、P切片還有B切片來進行編碼或解碼的複雜且編碼效率較佳之機能所構成的設定檔的時候，可將P切片、及B切片的最終合併候補數的上限值皆規定成相同數的5，也可將P切片的最終合併候補數的上限值規定成比B切片的最終合併候補數的上限值還小的數字。
圖27係本實施形態的實施例2之方法所致之編碼側上的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖，圖28係本實施形態的實施例2之方法所致之解碼側上的最終合併候補數finalNumMergeCand之設定處理程序的說明用流程圖。最終合併候補數finalNumMergeCand係在編碼裝置上被標頭資訊設定部117所設定，在解碼裝置上係被第1編碼位元列解碼部212所設定。在編碼側，切片類型slice_type為P切片時(圖27的步驟S201的YES)，將最終合併候補數finalNumMergeCand，設定成與所被規定之P切片之上限值相同值或不超過上限值的值(本實施形態中係為3) (圖27的步驟S206)。切片類型slice_type為B切片時(圖27的步驟S201的NO、步驟S202的YES)，則將最終合併候補數finalNumMergeCand設定成與所被規定之B切片之上限值相同值或不超過上限值的值(本實施形態中係為5)(圖27的步驟S207)。切片類型slice_type為I切片時(圖27的步驟S201的NO、步驟S202的NO)，則將最終合併候補數finalNumMergeCand設定成0(圖27的步驟S205)。然後，將以切片單位而被設定的表示最終合併候補數finalNumMergeCand的語法要素numMergeCand，進行熵編碼(圖27的步驟S208)。在解碼側係將位元串流予以解碼而從語法要素numMergeCand導出最終合併候補數finalNumMergeCand(圖28的S209)。
此外，亦可隨應於語法要素max_num_spatial_merge_cand的值，來規定最終合併候補數finalNumMergeCand以及空間合併候補數的上限值maxNumSpatialMergeCand。此情況下，最終合併候補數finalNumMergeCand與空間合併候補數的上限值maxNumSpatialMergeCand係可規定成相同的值，亦可規定成不同的值。隨應於設定檔、等級、或切片類型，考慮編碼效率和處理量，在重視編碼效率的情況下係將空間合併候補數的上限值maxNumSpatialMergeCand規定成較大值，在重視處理量的情況下係將空間合併候補數的上限值maxNumSpatialMergeCand規定成較小值。
或亦可如圖26所示，以切片單位而在切片標頭中設定表示空間合併候補數的上限值maxNumSpatialMergeCand的語法要素max_num_spatial_merge_cand。在編碼側係將語法要素max_num_spatial_merge_cand予以編碼，在解碼側係根據，位元串流解碼所得之語法要素max_num_spatial_merge_cand之值所相應的空間合併候補數的上限值maxNumSpatialMergeCand，來進行解碼處理。此情況下，在編碼側藉由將空間合併候補數的上限值maxNumSpatialMergeCand設定成編碼側之處理能力範圍內，就可控制空間合併候補導出之處理量或合併候補同一判定之處理量。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置 的動態影像收訊裝置。
動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。
100‧‧‧動態影像編碼裝置
101‧‧‧影像記憶體
117‧‧‧標頭資訊設定部
102‧‧‧運動向量偵測部
103‧‧‧差分運動向量算出部
104‧‧‧畫面間預測資訊導出部
105‧‧‧運動補償預測部
106‧‧‧畫面內預測部
107‧‧‧預測方法決定部
108‧‧‧殘差訊號生成部
109‧‧‧正交轉換‧量化部
118‧‧‧第1編碼位元列生成部
110‧‧‧第2編碼位元列生成部
111‧‧‧第3編碼位元列生成部
112‧‧‧多工化部
113‧‧‧逆量化‧逆正交轉換部
114‧‧‧解碼影像訊號重疊部
115‧‧‧編碼資訊儲存記憶體
116‧‧‧解碼影像記憶體

Claims (2)

  1. 一種動態影像解碼裝置，係屬於將編碼位元列予以解碼的動態影像解碼裝置，該編碼位元列係以動態影像之各圖像所分割而成之區塊單位而將前記動態影像予以編碼而成者，其特徵為，具備：解碼部，係將表示畫面間預測資訊之候補之數量及畫面間預測資訊之候補之索引的資訊，予以解碼；和第1畫面間預測資訊導出部，係從解碼對象之預測區塊所相鄰之所定數的區塊，導出第1畫面間預測資訊之候補；和第2畫面間預測資訊導出部，係從與前記解碼對象之預測區塊不同之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近的區塊，導出第2畫面間預測資訊之候補；和畫面間預測資訊候補清單登錄部，係將前記第1畫面間預測資訊之候補和前記第2畫面間預測資訊之候補，登錄至畫面間預測資訊候補清單；和補充部，係當前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補之數目，是未滿前記畫面間預測資訊之候補之數目時，則以前記畫面間預測資訊之候補之數目為上限，將畫面間預測資訊予以補充；和預測部，係從前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補，選擇出1個畫面間預測資訊 之候補，藉由該已選擇之畫面間預測資訊之候補，來進行前記解碼對象之預測區塊的畫面間預測；前記解碼部，係基於前記畫面間預測資訊之候補之數量，而導出前記畫面間預測資訊之候補之索引；並且前記第1畫面間預測資訊導出部，係將前記第1畫面間預測資訊之候補之數量，限制成比前記所定數還小之數量。
  2. 一種動態影像解碼方法，係屬於將編碼位元列予以解碼的動態影像解碼方法，該編碼位元列係以動態影像之各圖像所分割而成之區塊單位而將前記動態影像予以編碼而成者，其特徵為，具有：解碼步驟，係將表示畫面間預測資訊之候補之數量及畫面間預測資訊之候補之索引的資訊，予以解碼；和第1畫面間預測資訊導出步驟，係從解碼對象之預測區塊所相鄰之所定數的區塊，導出第1畫面間預測資訊之候補；和第2畫面間預測資訊導出步驟，係從與前記解碼對象之預測區塊不同之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近的區塊，導出第2畫面間預測資訊之候補；和畫面間預測資訊候補清單登錄步驟，係將前記第1畫面間預測資訊之候補和前記第2畫面間預測資訊之候補，登錄至畫面間預測資訊候補清單；和 補充步驟，係當前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補之數目，是未滿前記畫面間預測資訊之候補之數目時，則以前記畫面間預測資訊之候補之數目為上限，將畫面間預測資訊予以補充；和預測步驟，係從前記畫面間預測資訊候補清單中所被登錄的畫面間預測資訊之候補，選擇出1個畫面間預測資訊之候補，藉由該已選擇之畫面間預測資訊之候補，來進行前記解碼對象之預測區塊的畫面間預測；前記解碼步驟，係基於前記畫面間預測資訊之候補之數量，而導出前記畫面間預測資訊之候補之索引；並且前記第1畫面間預測資訊導出步驟，係將前記第1畫面間預測資訊之候補之數量，限制成比前記所定數還小之數量。
TW106125581A 2011-10-31 2012-10-31 動態影像解碼裝置及動態影像解碼方法 TWI613911B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011239396 2011-10-31
JP2011239397 2011-10-31
JP2012239266A JP2013118624A (ja) 2011-10-31 2012-10-30 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2012239267A JP5942782B2 (ja) 2011-10-31 2012-10-30 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Publications (2)

Publication Number Publication Date
TW201739255A TW201739255A (zh) 2017-11-01
TWI613911B true TWI613911B (zh) 2018-02-01

Family

ID=49033250

Family Applications (6)

Application Number Title Priority Date Filing Date
TW108100090A TWI679876B (zh) 2011-10-31 2012-10-31 動態影像解碼裝置及動態影像解碼方法
TW106125581A TWI613911B (zh) 2011-10-31 2012-10-31 動態影像解碼裝置及動態影像解碼方法
TW106144896A TWI653880B (zh) 2011-10-31 2012-10-31 動態影像編碼裝置及動態影像編碼方法
TW105141423A TWI597973B (zh) 2011-10-31 2012-10-31 Video encoding device, video encoding method and recording medium
TW105120966A TWI569634B (zh) 2011-10-31 2012-10-31 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW101140308A TWI552577B (zh) 2011-10-31 2012-10-31 Motion picture decoding device, dynamic image decoding method, and dynamic image decoding program product

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108100090A TWI679876B (zh) 2011-10-31 2012-10-31 動態影像解碼裝置及動態影像解碼方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW106144896A TWI653880B (zh) 2011-10-31 2012-10-31 動態影像編碼裝置及動態影像編碼方法
TW105141423A TWI597973B (zh) 2011-10-31 2012-10-31 Video encoding device, video encoding method and recording medium
TW105120966A TWI569634B (zh) 2011-10-31 2012-10-31 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW101140308A TWI552577B (zh) 2011-10-31 2012-10-31 Motion picture decoding device, dynamic image decoding method, and dynamic image decoding program product

Country Status (2)

Country Link
US (5) US9686566B2 (zh)
TW (6) TWI679876B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679876B (zh) 2011-10-31 2019-12-11 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置及動態影像解碼方法
CN116708783A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018070632A1 (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR102572286B1 (ko) * 2016-12-05 2023-08-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
KR20210082533A (ko) 2018-12-21 2021-07-05 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI238661B (en) * 2002-07-15 2005-08-21 Thomson Licensing Sa Adaptive weighting of reference pictures in video encoding
TWI274508B (en) * 2004-10-19 2007-02-21 Ali Corp Device and method for computing reference address of motion compensation in image processing
US7646815B2 (en) * 2003-07-15 2010-01-12 Lsi Corporation Intra estimation chroma mode 0 sub-block dependent prediction
CN101779467A (zh) * 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR100961312B1 (ko) * 2002-11-20 2010-06-04 파나소닉 주식회사 동화상 복호화 방법 및 장치
US7145950B2 (en) * 2003-07-14 2006-12-05 Primax Electronics Ltd. Method of motion vector determination in digital video compression
JP2009164880A (ja) * 2008-01-07 2009-07-23 Mitsubishi Electric Corp トランスコーダ及び受信機
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
WO2011048903A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、および、データ構造
EP2548372B1 (en) * 2010-03-16 2023-02-15 InterDigital Madison Patent Holdings, SAS Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding
CN102227132B (zh) * 2011-05-25 2017-04-12 深圳市云宙多媒体技术有限公司 一种运动矢量预测编解码方法、装置及编解码系统
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
TWI679876B (zh) 2011-10-31 2019-12-11 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置及動態影像解碼方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI238661B (en) * 2002-07-15 2005-08-21 Thomson Licensing Sa Adaptive weighting of reference pictures in video encoding
US7646815B2 (en) * 2003-07-15 2010-01-12 Lsi Corporation Intra estimation chroma mode 0 sub-block dependent prediction
TWI274508B (en) * 2004-10-19 2007-02-21 Ali Corp Device and method for computing reference address of motion compensation in image processing
CN101779467A (zh) * 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hirofumi Aoki et al., "Non-CE4: Rate control friendly spatial QP prediction", JCTVC-G1028, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Geneva, CH, 21-30 November, 2011.
Iain E. Richardson, "THE H.264 ADVANCED VIDEO COMPRESSION STANDARD"2010, John Wiley & Sons, Ltd. Hirofumi Aoki et al., "Non-CE4: Rate control friendly spatial QP prediction", JCTVC-G1028, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 7th Meeting: Geneva, CH, 21-30 November, 2011. *
Iain E. Richardson, "THE H.264 ADVANCED VIDEO COMPRESSION STANDARD"2010, John Wiley & Sons, Ltd.

Also Published As

Publication number Publication date
TW201739255A (zh) 2017-11-01
US10171814B2 (en) 2019-01-01
TWI552577B (zh) 2016-10-01
TW201921927A (zh) 2019-06-01
US9906796B2 (en) 2018-02-27
TW201813394A (zh) 2018-04-01
US10250886B2 (en) 2019-04-02
US20140233651A1 (en) 2014-08-21
US20180352237A1 (en) 2018-12-06
US20180139455A1 (en) 2018-05-17
TW201637451A (zh) 2016-10-16
US20170201755A1 (en) 2017-07-13
US10165284B2 (en) 2018-12-25
US9686566B2 (en) 2017-06-20
TWI653880B (zh) 2019-03-11
TW201713118A (zh) 2017-04-01
TWI597973B (zh) 2017-09-01
TWI679876B (zh) 2019-12-11
TW201325255A (zh) 2013-06-16
US20190007689A1 (en) 2019-01-03
TWI569634B (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
TWI613911B (zh) 動態影像解碼裝置及動態影像解碼方法
TWI575935B (zh) Dynamic image decoding device, dynamic image decoding method, dynamic image decoding program
RU2678507C9 (ru) Устройство и способ кодирования движущегося изображения, долговременный носитель записи, на который записана программа кодирования изображения
JP6418300B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6229806B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6644270B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
WO2013065301A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2013098733A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013098732A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013118624A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム