TW201921945A - 動態影像解碼裝置及動態影像解碼方法 - Google Patents

動態影像解碼裝置及動態影像解碼方法 Download PDF

Info

Publication number
TW201921945A
TW201921945A TW108100231A TW108100231A TW201921945A TW 201921945 A TW201921945 A TW 201921945A TW 108100231 A TW108100231 A TW 108100231A TW 108100231 A TW108100231 A TW 108100231A TW 201921945 A TW201921945 A TW 201921945A
Authority
TW
Taiwan
Prior art keywords
prediction
block
candidate
motion information
combined
Prior art date
Application number
TW108100231A
Other languages
English (en)
Other versions
TWI684354B (zh
Inventor
竹原英樹
中村博哉
福島茂
Original Assignee
日商Ｊｖｃ建伍股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｊｖｃ建伍股份有限公司 filed Critical 日商Ｊｖｃ建伍股份有限公司
Priority claimed from JP2012286856A external-priority patent/JP5835208B2/ja
Priority claimed from JP2012286857A external-priority patent/JP5725009B2/ja
Publication of TW201921945A publication Critical patent/TW201921945A/zh
Application granted granted Critical
Publication of TWI684354B publication Critical patent/TWI684354B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

結合運動資訊候補清單生成部(140)，係當用來表示是否導出對編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，係為用來表示要導出對編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊時，則導出對編碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補。結合運動資訊選擇部(141)，係從複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於編碼對象之預測區塊。

Description

動態影像解碼裝置及動態影像解碼方法
本發明係有關於利用運動補償預測的動態影像編碼及解碼技術，尤其是有關於，將運動補償預測中所利用的運動資訊予以編碼及解碼的動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式。
在一般的動態影像壓縮編碼中，會利用運動補償預測。運動補償預測，係將對象影像分割成細小的區塊，將已解碼之影像當作參照影像，基於運動向量所示的運動量，將從對象影像之處理對象區塊移動至參照影像之參照區塊的位置的訊號，當作預測訊號而加以生成的技術。運動補償預測係有，利用1條運動向量而單預測地進行者，和利用2條運動向量而雙預測地進行者。
關於運動向量，係將處理對象區塊所相鄰之已編碼區塊的運動向量當作預測運動向量(亦簡稱為「預測向量」)，求出處理對象區塊之運動向量與預測向量的差分，藉由差分向量當作編碼向量而予以傳輸，以提升壓縮 效率。
在MPEG-4 AVC/H.264(以下簡稱MPEG-4AVC)這類動態影像壓縮編碼中，藉由把進行運動補償預測的區塊尺寸切割成細緻且多樣化，就可進行高精度的運動補償預測。另一方面，縮小區塊尺寸，會造成編碼向量的編碼量變大之問題。
於是，在MPEG-4AVC中，著眼於時間方向的運動的連續性，將與處理對象區塊位於同一位置的處理對象區塊的與某處理對象影像不同之已處理影像亦即參照影像上的區塊所擁有的運動向量，以畫格間距離進行比例縮放而當作處理對象區塊之運動向量來利用，不傳輸編碼向量即實現運動補償預測的時間直接模式所致之運動補償預測，係被採用。藉此，運動向量的編碼量會被削減，實現了編碼效率的提升。
又，在專利文獻1中係揭露，著眼於空間方向的運動的連續性，將處理對象區塊所相鄰之已處理區塊所擁有的運動向量，當作處理對象區塊之運動向量來利用，而不傳輸編碼向量即實現運動補償預測的方法。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開平10-276439號公報
如上述的MPEG-4AVC所定義的時間直接模式所致之 運動向量之導出中，在導出之際需要比例縮放，因此需要複雜的演算。又，在專利文獻1所記載的方法中，將處理對象預測區塊所相鄰之已處理區塊所擁有的運動向量，當作處理對象預測區塊之運動向量來利用，將相鄰之複數預測區塊整批進行運動補償預測的時候，有時會無法進行平行的運動補償預測處理。
本發明係有鑑於此種狀況而研發，其目的在於提供一種動態影像編碼及動態影像解碼技術，可高效率地實現將處理對象預測區塊所相鄰之已處理區塊所擁有的運動向量，利用於處理對象預測區塊之運動向量生成，同時，將相鄰之複數預測區塊整批進行運動補償預測之運動補償預測的平行處理。
為了解決上記課題，本發明的某個樣態的動態影像編碼裝置，係屬於將由1個以上之預測區塊所成的編碼區塊予以編碼的動態影像編碼裝置，其特徵為，具備：結合運動資訊候補生成部(140)，係用來表示是否導出對前記編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，係為用來表示要導出對前記編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊時，則導出對前記編碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇部(141)，係從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於編碼對象之預測區塊；和編碼部(104)，係將用來特定已被選擇 之前記1個結合運動資訊候補所需的索引，當成候補特定索引而予以編碼。
本發明的另一樣態，係為動態影像編碼裝置。該裝置係屬於基於分割類型而將編碼區塊分割成複數個預測區塊而進行運動補償預測的動態影像編碼裝置，其特徵為，具備：結合運動資訊候補生成部(140)，係隨應於分割類型而生成，在編碼區塊內的任一預測區塊中均共通利用之複數結合運動資訊候補；和結合運動資訊選擇部(141)，係從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，視為編碼對象之預測區塊的運動資訊；和編碼部(104)，係將用來特定前記已被選擇之結合運動資訊候補所需的索引，當成候補特定索引而予以編碼。
本發明的另一其他樣態，係為動態影像編碼方法。該方法係屬於將由1個以上之預測區塊所成的編碼區塊予以編碼的動態影像編碼方法，其特徵為，具備：結合運動資訊候補生成步驟，係用來表示是否導出對前記編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，係為用來表示要導出對前記編碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊時，則導出對前記編碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇步驟，係從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於編碼對象之預測區塊；和編 碼步驟，係將用來特定已被選擇之前記1個結合運動資訊候補所需的索引，當成候補特定索引而予以編碼。
本發明的某個樣態的動態影像解碼裝置，係屬於將由1個以上之預測區塊所成的解碼區塊予以解碼的動態影像解碼裝置，其特徵為，具備：解碼部(201)，係從用來特定在解碼對象之預測區塊上所利用之結合運動資訊候補所需的索引被當成候補特定索引所被編碼而成的編碼列，解碼出前記候補特定索引；和結合運動資訊候補生成部(230)，係用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，係為用來表示要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊時，則導出對前記解碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇部(231)，係基於前記候補特定索引而從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於前記解碼對象之預測區塊。
本發明的另一樣態，係為動態影像解碼裝置。該裝置係屬於基於分割類型而將解碼區塊分割成複數預測區塊而進行運動補償預測的動態影像解碼裝置，其特徵為，具備：解碼部(201)，係從用來特定在解碼對象之預測區塊上所利用之結合運動資訊候補所需的索引被當成候補特定索引所被編碼而成的編碼列，解碼出前記候補特定索引；和結合運動資訊候補生成部(230)，係隨應於分割 類型而生成，在編碼區塊內的任一預測區塊中均共通利用之複數結合運動資訊候補；和結合運動資訊選擇部(231)，係基於前記候補特定索引而從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，視為解碼對象之預測區塊的運動資訊。
本發明的另一其他樣態，係為動態影像解碼方法。該方法係屬於將由1個以上之預測區塊所成的解碼區塊予以解碼的動態影像解碼方法，其特徵為，具備：解碼步驟，係從用來特定在解碼對象之預測區塊上所利用之結合運動資訊候補所需的索引被當成候補特定索引所編碼而成的編碼列，解碼出前記候補特定索引；和結合運動資訊候補生成步驟，係用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，係為用來表示要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊時，則導出對前記解碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇步驟，係基於前記候補特定索引而從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於前記解碼對象之預測區塊。
此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的樣態而言皆為有效。
若依據本發明，則可高效率地實現將處理對象預測區 塊所相鄰之已處理區塊所擁有的運動向量，利用於處理對象預測區塊之運動向量生成，同時，將相鄰之複數預測區塊整批進行運動補償預測之運動補償預測的平行處理。
100‧‧‧動態影像編碼裝置
101‧‧‧預測區塊影像取得部
102‧‧‧減算部
103‧‧‧預測誤差編碼部
104‧‧‧編碼列生成部
105‧‧‧預測誤差解碼部
106‧‧‧運動補償部
107‧‧‧加算部
108‧‧‧運動向量偵測部
109‧‧‧運動資訊生成部
110‧‧‧畫格記憶體
111‧‧‧運動資訊記憶體
120‧‧‧預測向量模式決定部
121‧‧‧合併模式決定部
122‧‧‧預測編碼模式決定部
130‧‧‧預測向量候補清單生成部
131‧‧‧預測向量決定部
140‧‧‧結合運動資訊候補清單生成部
141‧‧‧結合運動資訊選擇部
150‧‧‧空間預測向量候補生成部
151‧‧‧時間預測向量候補生成部
152‧‧‧冗長預測向量候補刪除部
153‧‧‧預測向量候補補充部
160‧‧‧空間結合運動資訊候補生成部
161‧‧‧時間結合運動資訊候補生成部
162‧‧‧冗長結合運動資訊候補刪除部
163‧‧‧第1結合運動資訊候補補充部
164‧‧‧第2結合運動資訊候補補充部
165‧‧‧候補區塊設定部
166‧‧‧代替結合運動資訊候補補充部
200‧‧‧動態影像解碼裝置
201‧‧‧編碼列解析部
202‧‧‧預測誤差解碼部
203‧‧‧加算部
204‧‧‧運動資訊再生部
205‧‧‧運動補償部
206‧‧‧畫格記憶體
207‧‧‧運動資訊記憶體
210‧‧‧編碼模式判定部
211‧‧‧運動向量再生部
212‧‧‧結合運動資訊再生部
230‧‧‧結合運動資訊候補清單生成部
231‧‧‧結合運動資訊選擇部
[圖1]圖1(a)、(b)係編碼區塊的說明圖。
[圖2]圖2(a)~(d)係預測區塊尺寸類型的說明圖。
[圖3]預測區塊尺寸類型的說明圖。
[圖4]預測編碼模式的說明圖。
[圖5]合併索引與編碼列之關係的說明圖。
[圖6]預測區塊的語法之一例的說明圖。
[圖7]實施形態1所述之動態影像編碼裝置之構成的圖示。
[圖8]圖7的運動資訊生成部之構成的圖示。
[圖9]圖8的合併模式決定部之構成的說明圖。
[圖10]圖9的結合運動資訊候補清單生成部之構成的說明圖。
[圖11]圖9的結合運動資訊候補清單生成部之動作的流程圖。
[圖12]預測區塊尺寸類型是2N×2N的預測區塊的候補區塊群的說明圖。
[圖13]針對預測區塊尺寸類型不是2N×2N的編碼區塊中的預測區塊，適用了與預測區塊尺寸類型是2N×2N 的編碼區塊的預測區塊相同位置關係時的候補區塊群的圖示。
[圖14]實施形態1中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係之一例的說明圖。
[圖15]圖10的空間結合運動資訊候補生成部之動作的說明用流程圖。
[圖16]圖10的時間結合運動資訊候補生成部之動作的說明用流程圖。
[圖17]圖10的第1結合運動資訊候補補充部之動作的流程圖。
[圖18]組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的說明圖。
[圖19]圖10的第2結合運動資訊候補補充部之動作的流程圖。
[圖20]實施形態1所述之動態影像解碼裝置之構成的圖示。
[圖21]圖20的運動資訊再生部之構成的圖示。
[圖22]圖21的結合運動資訊再生部之構成的圖示。
[圖23]實施形態2中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係的說明圖。
[圖24]不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例時，預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關 係的說明圖。
[圖25]實施形態3中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係的說明圖。
[圖26]實施形態3的結合運動資訊候補清單生成部之動作的說明用流程圖。
[圖27]最大編碼區塊下限線與時間候補區塊群的說明圖。
[圖28]實施形態4中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係的說明圖。
[圖29]實施形態4的結合運動資訊候補清單生成部之構成的說明圖。
[圖30]實施形態4的結合運動資訊候補清單生成部之動作的說明用流程圖。
[圖31]實施形態5的結合運動資訊候補清單生成部之構成的說明圖。
[圖32]實施形態5的結合運動資訊候補清單生成部之動作的說明用流程圖。
[圖33]預測向量模式決定部之構成。
[圖34]預測向量候補清單生成部之構成的說明圖。
[圖35]預測向量候補清單生成部之動作的說明用流程圖。
[圖36]運動向量再生部之構成的說明圖。
首先說明作為本發明的實施形態之前提的技術。
目前，以MPEG(Moving Picture Experts Group)等之編碼方式為依據的裝置及系統，已經普及。在此種編碼方式中，是將時間軸上連續的複數影像，以數位訊號的資訊的方式來對待。此時，為了高效率的資訊播送、傳輸或積存等目的，將影像分割成複數區塊而利用時間方向之冗長性的運動補償預測、及利用空間方向之冗長性的離散餘弦轉換等，會使用這類正交轉換而進行壓縮編碼。
在2003年，由國際標準化機構(ISO)與國際電氣標準會議(IEC)之聯合技術委員會(ISO/IEC)，和國際電氣通訊聯合電氣通訊標準化部門(ITU-T)的共同作業，一種稱作MPEG-4 AVC/H.264的編碼方式(在ISO/IEC中稱作14496-10、在ITU-T中編號為H.264之規格號碼。以下稱之為MPEG-4AVC)係被制定成為國際標準。在MPEG-4AVC中，基本上是將處理對象區塊的複數相鄰區塊之運動向量的中央值，當作預測向量。當預測區塊尺寸並非正方形時且處理對象區塊的特定之相鄰區塊的參照索引與處理對象區塊的參照索引一致時，則將該特定之相鄰區塊的運動向量，當作預測向量。
目前，由國際標準化機構(ISO)與國際電氣標準會議(IEC)之聯合技術委員會(ISO/IEC)，和國際電氣通訊聯合電氣通訊標準化部門(ITU-T)的共同作業，一種稱作HEVC的編碼方式的標準化，正在研討中。
在HEVC的標準化中，將複數相鄰區塊與已解碼之另 一影像的區塊當作候補區塊，從這些候補區塊所構成的候補區塊群中，選擇出1個候補區塊，將已被選擇之候補區塊的資訊予以編碼及解碼的合併模式，係被討論。
[實施形態1] (編碼區塊)
在本實施形態中，係已被輸入之影像訊號係被分割成最大編碼區塊單位，將已被分割之最大編碼區塊，以逐線掃描順序進行處理。編碼區塊係呈現階層構造，考慮編碼效率等而依序做4分割，藉此而可變成更小的編碼區塊。此外，已被4分割之編碼區塊，係以曲折掃描(Zig Zag Scan)順序而被編碼。無法變得更小的編碼區塊，稱作最小編碼區塊。編碼區塊係為編碼的單位，最大編碼區塊若分割次數為0時也是視為編碼區塊。在本實施形態中，係假設最大編碼區塊為64像素×64像素，最小編碼區塊為8像素×8像素。
圖1(a)、(b)係編碼區塊的說明圖。在圖1(a)的例子中，編碼區塊係被分割成10個。CU0、CU1及CU9係為32像素×32像素的編碼區塊，CU2、CU3及CU8係為16像素×16像素的編碼區塊，還有CU4、CU5、CU6及CU7係為8像素×8像素的編碼區塊。在圖1(b)的例子中，編碼區塊係被分割成1個。
(預測區塊)
在本實施形態中，編碼區塊係還會再被分割成預測區塊(亦稱作分割區)。編碼區塊係藉由預測區塊尺寸類型(亦稱作「分割類型」或分割區類型)而被分割成1個以上的預測區塊。圖2(a)~(d)係預測區塊尺寸類型的說明圖。圖2(a)係表示未分割編碼區塊的2N×2N，圖2(b)係表示水平2分割的2N×N，圖2(c)係表示垂直2分割的N×2N，及圖2(d)係表示水平與垂直4分割的N×N。2N×2N係由1個預測區塊0所成，2N×N和N×2N係由2個的預測區塊0和預測區塊1所成，N×N係由4個的預測區塊0、預測區塊1、預測區塊2、預測區塊3所成。依照預測區塊0、預測區塊1、預測區塊2、預測區塊3之順序而被編碼。
圖3係編碼區塊的分割次數和預測區塊尺寸類型所致之預測區塊尺寸的說明圖。本實施形態中的預測區塊尺寸，係存在有從CU分割次數為0且預測區塊尺寸類型為2N×2N的64像素×64像素，到CU分割次數為3且預測區塊尺寸類型N×N的4像素×4像素為止的13種預測區塊尺寸。例如，亦可將編碼區塊非對稱地而水平或垂直地做2分割。
在本實施形態中，雖然假設最大編碼區塊為64像素×64像素，最小編碼區塊為8像素×8像素，但不限定於此一組合。又，雖然將預測區塊的分割模態示於圖2(a)~(d)，但只要有被分割成1個以上的組合即可，並非限定於此。
(預測編碼模式)
在本實施形態中，係可將運動補償預測或編碼向量數，對每一預測區塊做切換。此處，關於把運動補償預測與編碼向量數建立關連而成的預測編碼模式之一例，使用圖4來簡單說明。圖4係預測編碼模式的說明圖。
圖4所示的預測編碼模式中，係有：運動補償預測之預測方向為單預測(L0預測)且編碼向量數為1的PredL0、運動補償預測之預測方向為單預測(L1預測)且編碼向量數為1的PredL1、運動補償預測之預測方向為雙預測(BI預測)且編碼向量數為2的PredBI、及運動補償預測之預測方向為單預測(L0預測/L1預測)或雙預測(BI預測)且編碼向量數為0的合併模式(MERGE)。又，還有不實施運動補償預測的預測編碼模式亦即畫面內模式(Intra)。此處，PredL0、PredL1、及PredBI係為預測向量模式。
在合併模式中，預測方向係可能是L0預測/L1預測/BI預測之任一者，但這是因為，合併模式的預測方向是直接繼承從候補區塊群所選擇出來之候補區塊的預測方向，或是從已解碼之資訊所導出的緣故。又，在合併模式下，編碼向量係不被編碼。這是因為，合併模式的編碼向量是直接繼承從候補區塊群所選擇出來之候補區塊的運動向量，或是藉由預先制定的規則而被導出的緣故。
(參照索引)
在本實施形態中，為了提升運動補償預測之精度，在運動補償預測時，可從複數參照影像之中，選擇出最佳的參照影像。因此，將運動補償預測時所利用之參照影像，當作參照影像索引，而連同編碼向量一起編碼。運動補償預測時所被利用的參照影像索引，係為0以上之數值。若運動補償預測是單預測，則參照索引係被利用1個，若運動補償預測是雙預測，則會利用2個參照索引(圖4)。
在合併模式下，參照索引係不被編碼。這是因為，合併模式的參照索引是直接繼承從候補區塊群所選擇出來之候補區塊的參照索引，或是藉由預先制定的規則而被導出的緣故。
(參照索引清單)
在本實施形態中，將運動補償預測時所能利用之1個以上的參照影像，事先登錄在參照索引清單內，藉由參照索引來表示已被登錄在參照索引清單內的參照影像，就可確定參照影像而在運動補償預測時進行利用。在參照索引清單中，係有參照索引清單L0(亦稱作L0預測之參照索引清單)和參照索引清單L1(亦稱作L1預測之參照索引清單)。當運動補償預測是單預測時，則會利用使用了參照索引清單L0之中之參照影像的L0預測、或使用了參照索引清單L1之中之參照影像的L1預測之任一者。雙預測時係利用，利用了將參照索引清單L0和參照索引清單L1 這2者的BI預測。各參照索引清單中所能登錄的參照影像的最大數，係為16。
(合併索引)
在本實施形態中，若為合併模式，則將處理對象影像內的複數相鄰區塊及已編碼之另一影像內的與處理對象之預測區塊位於同一位置的同一位置預測區塊內和位於同一位置預測區塊周邊的區塊，當作候補區塊群，從候補區塊群之中，選擇出具有最佳預測編碼模式、運動向量、及參照索引的候補區塊，將用來表示已選擇之候補區塊的合併索引，予以編碼及解碼。只有在合併模式時，才會利用1個合併索引(圖4)。合併索引的最大個數(亦稱作合併候補最大數)係為5，合併索引係為0至4的整數。此處，雖然將合併索引的最大數設成5，但只要2以上即可，並非限定於此。
以後，將合併索引之對象的候補區塊的運動資訊，稱作結合運動資訊候補，將結合運動資訊候補的集合體稱作結合運動資訊候補清單。以下，所謂運動資訊係包含有預測方向、運動向量、及參照索引。
接著，說明合併索引與編碼列之關係。圖5係合併索引與編碼列之關係的說明圖。合併索引為0時的編碼列係為'0'，合併索引為1時的編碼列係為'10'，合併索引為2時的編碼列係為'110'，合併索引為3時的編碼列係為'1110'，合併索引為4時的編碼列係為'1111'，合併索引越 大則編碼列會被設定得越長。因此，藉由對選擇率高的候補區塊指派較小的合併索引，就可提升編碼效率。
接著說明，結合運動資訊候補清單與合併索引之關係。合併索引0係表示結合運動資訊候補清單的最初之(第0個)結合運動資訊候補。以下，合併索引m係表示結合運動資訊候補清單的第m個結合運動資訊候補。此處，m係為0至(合併候補最大數-1)的整數。
(預測向量索引)
在本實施形態中，為了提升預測向量之精度，將處理對象影像內的複數相鄰區塊及已編碼之另一影像的與處理對象區塊位於同一位置的同一位置預測區塊內和位於同一位置預測區塊周邊的區塊，當作候補區塊群，從候補區塊群選擇出具有最佳運動向量來作為預測向量的候補區塊，將用來表示已選擇之候補區塊的預測向量索引，予以編碼及解碼。若運動補償預測是單預測，則預測向量索引係被利用1個，若運動補償預測是雙預測，則會利用2個預測向量索引(圖4)。預測向量索引的最大數(亦稱作預測向量候補最大數)係為2，預測向量索引係為0或1之整數。此處，雖然將預測向量候補最大數設成2，但只要2以上即可，並非限定於此。
接著，說明預測向量索引與編碼列之關係。預測向量索引的編碼列係當預測向量索引為0時則編碼列是'0'，預測向量索引為1時的編碼列係為'1'。此外，預測向量候補 最大數為3以上時係以和合併索引同樣之規則(索引越大則編碼列越長)來指派編碼列。
以後，將預測向量索引之對象的候補區塊的運動向量稱作預測向量候補，將預測向量候補的集合體稱作預測向量候補清單。
(語法)
說明本實施形態所述之預測區塊之語法之一例。圖6係本實施形態所述之語法的說明圖。圖6係表示編碼樹(Coding Tree)、編碼區塊(Coding Unit)、及預測區塊(Prediction Unit)的語法構成之一例。在編碼樹中，編碼區塊的分割資訊會被管理。在編碼樹中係設置有split_coding_unit_flag，若split_coding_unit_flag為1則編碼樹係被分割成4個編碼樹。若split_coding_unit_flag為0則編碼樹就會成為編碼區塊(Coding Unit)。在編碼區塊中係設置有略過模式旗標(skip_flag)、預測模式(pred_mode)和預測區塊尺寸類型(part_mode)，隨應於略過模式旗標和預測區塊尺寸類型而被分割成1個或2個或4個預測區塊。預測模式係表示是否為進行Intra預測(畫面內預測)之編碼區塊還是進行畫面間預測(運動補償預測)的編碼區塊。若略過模式旗標為1則為略過模式。略過模式係具有1個預測區塊。編碼區塊(編碼樹)的分割次數係亦稱作編碼區塊(編碼樹)的深度。
在預測區塊中係設置有：合併旗標(merge_flag)、 合併索引(merge_idx)、畫面間預測類型(inter_pred_type)、L0預測的參照索引(ref_idx_l0)、L0預測的差分向量(mvd_l0[0]、mvd_l0[1])、L0預測的預測向量索引(mvp_idx_l0)、L1預測的參照索引(ref_idx_l1)、L1預測的差分向量(mvd_l1[0]、mvd_l1[1])、及L1預測的預測向量索引(mvp_idx_l1)。差分向量的[0]係表示水平成分，[1]係表示垂直成分。
此處，inter_pred_type係表示運動補償預測之預測方向(亦稱作畫面間預測類型)，係有Pred_L0(L0預測的單預測)、Pred_L1(L1預測的單預測)及Pred_BI(BI預測的雙預測)這3種類。當inter_pred_type是Pred_L0或Pred_BI時，係被設置有關於L0預測之資訊，當inter_pred_type是Pred_L1或Pred_BI時，係被設置有關於L1預測之資訊。在P圖像(P切片)上由於inter_pred_type係一律為Pred_L0，因此inter_pred_type係被省略。
又，略過模式的情況下，預測區塊係為進行畫面間預測之編碼區塊，作為預測編碼模式係為合併模式。因此，略過模式的情況下係設置有合併索引。
此外，雖然本實施形態所述之語法是設定成如圖6所示，但只要編碼區塊或預測區塊是具有複數區塊尺寸，合併模式與預測向量模式是能夠利用即可，並非限定於此。
以下，連同圖式來說明本發明的理想實施形態所述之動態影像編碼裝置、動態影像編碼方法及動態影像編碼程 式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式之細節。此外，圖式的說明中，對同一要素係賦予同一符號，並省略重複說明。
(動態影像編碼裝置100之構成)
圖7係圖示本實施形態1所述的動態影像編碼裝置100之構成。動態影像編碼裝置100係為將動態影像訊號，以實施運動補償預測之預測區塊單位來進行編碼的裝置。編碼區塊的分割、略過模式的決定、預測區塊尺寸類型的決定、預測區塊尺寸與預測區塊在編碼區塊內之位置(亦稱作預測區塊的位置資訊或預測區塊號碼)的決定、預測編碼模式是否為畫面內的決定，係由未圖示的上位編碼控制部所決定，在實施形態1中係針對預測編碼模式不是畫面內的情形加以說明。又，實施形態1中是針對對應於雙預測的B圖像(B切片)來說明，但針對不是對應於雙預測的P圖像(P切片)，係只要省略L1預測即可。
動態影像編碼裝置100，係由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體所實現。動態影像編碼裝置100，係藉由上記的構成要素的作動，而實現以下說明的機能性構成要素。此外，關於處理對象之預測區塊的位置資訊、預測區塊尺寸及運動補償預測之預測方向，係在動態影像編碼裝置100內被共用，而未圖示。
實施形態1的動態影像編碼裝置100係含有：預測區 塊影像取得部101、減算部102、預測誤差編碼部103、編碼列生成部104、預測誤差解碼部105、運動補償部106、加算部107、運動向量偵測部108、運動資訊生成部109、畫格記憶體110、及運動資訊記憶體111。
(動態影像編碼裝置100的機能與動作)
以下，說明各部的機能與動作。預測區塊影像取得部101，係基於預測區塊的位置資訊與預測區塊尺寸，從端子10所供給的影像訊號，取得處理對象之預測區塊的影像訊號，將預測區塊的影像訊號，供給至減算部102、運動向量偵測部108及運動資訊生成部109。
運動向量偵測部108，係從預測區塊影像取得部101所供給之影像訊號及內部所記憶之相當於複數參照影像之影像訊號，偵測出L0預測與L1預測各自的運動向量與表示參照影像之參照影像索引。將該當L0預測和L1預測的運動向量、及該當L0預測和L1預測的參照索引，供給至運動資訊生成部109。此處，雖然運動向量偵測部108係利用內部所記憶的相當於複數參照影像的影像訊號來作為參照影像，但亦可利用畫格記憶體110中所記憶的參照影像。
一般的運動向量之偵測方法，係針對從與對象影像之影像訊號同一位置起移動了所定之移動量的參照影像的預測訊號而算出誤差評價值，將誤差評價值為最小的移動量，當作運動向量。若參照影像為複數時，則針對各參照 影像偵測出運動向量，將誤差評價值呈最小的參照影像予以選擇。作為誤差評價值，係可利用表示絕對差分和的SAD(Sum of Absolute Difference)或表示平方誤差平均的MSE(Mean Square Error)等。又，亦可將運動向量編碼量加算至誤差評價值來評估。
運動資訊生成部109，係根據運動向量偵測部108所供給之L0預測與L1預測之運動向量及L0預測與L1預測之參照索引、運動資訊記憶體111所供給之候補區塊群、參照索引所示的畫格記憶體110內的參照影像、及預測區塊影像取得部101所供給的影像訊號，來決定預測編碼模式。
基於已被決定之預測編碼模式，而將合併旗標、合併索引、運動補償預測之預測方向、L0預測與L1預測的參照索引、L0預測與L1預測的差分向量及L0預測與L1預測的預測向量索引，因應需要而供給至編碼列生成部104。將運動補償預測之預測方向、L0預測與L1預測的參照索引、及L0預測和L1預測的運動向量，供給至運動補償部106及運動資訊記憶體111。至於運動資訊生成部109之細節，將於後述。
運動補償部106，係若運動資訊生成部109所供給之運動補償預測之預測方向是LN預測，則將運動資訊生成部109所供給之LN預測之參照索引所示的畫格記憶體110內的參照影像，基於運動資訊生成部109所供給之LN預測之運動向量，進行運動補償，生成LN預測之預 測訊號。N係為0或1。此處，若運動補償預測之預測方向是雙預測，則L0預測與L1預測之預測訊號的平均值就成為預測訊號。此外，亦可將L0預測與L1預測之預測訊號予以加權。運動補償部106，係將該當預測訊號，供給至減算部102。
減算部102，係將預測區塊影像取得部101所供給之影像訊號與運動補償部106所供給之預測訊號，進行減算，以算出預測誤差訊號，將該當預測誤差訊號供給至預測誤差編碼部103。
預測誤差編碼部103，係對於減算部102所供給的預測誤差訊號，進行正交轉換或量化等之處理以生成預測誤差編碼資料，將該當預測誤差編碼資料供給至編碼列生成部104及預測誤差解碼部105。
編碼列生成部104，係將預測誤差編碼部103所供給之預測誤差編碼資料、以及運動資訊生成部109所供給之合併旗標、合併索引、運動補償預測之預測方向(畫面間預測類型)、L0預測與L1預測的參照索引、L0預測與L1預測的差分向量及L0預測與L1預測的預測向量索引，按照圖6所示之語法的順序來進行熵編碼以生成編碼列，將該當編碼列當作編碼串流而供給至端子11。熵編碼係藉由包含算術編碼或霍夫曼編碼等之可變長度編碼的方法來實施。
又，編碼列生成部104，係將動態影像編碼裝置100上所利用的編碼區塊之分割資訊、預測區塊尺寸類型、及 預測編碼模式，和定義有用來決定編碼串流之特性之參數群的SPS(Sequence Parameter Set)、定義有用來決定圖像之特性之參數群的PPS(Picture Parameter Set)、或定義有用來決定切片之特性之參數群的切片標頭等，一起多工化至編碼串流中。
預測誤差解碼部105，係對於預測誤差編碼部103所供給之預測誤差編碼資料，進行逆量化或逆正交轉換等之處理以生成預測誤差訊號，將該當預測誤差訊號供給至加算部107。加算部107，係將預測誤差解碼部105所供給之預測誤差訊號、和運動補償部106所供給之預測訊號，進行加算，以生成解碼影像訊號，將該當解碼影像訊號供給至畫格記憶體110。
畫格記憶體110係將加算部107所供給之解碼影像訊號，加以記憶。又，針對影像全體之解碼已經完成的解碼影像，係視為參照影像，而記憶1以上之所定影像數。畫格記憶體110，係將所記憶之參照影像訊號，供給至運動補償部106及運動資訊生成部109。記憶參照影像的記憶領域，係以FIFO(First In First Out)方式而被控制。
運動資訊記憶體111，係將運動資訊生成部109所供給之運動資訊，以最小預測區塊尺寸單位，記憶所定之影像數。將處理對象之預測區塊的相鄰區塊之運動資訊，視為空間候補區塊群。
又，運動資訊記憶體111，係將與處理對象之預測區塊位於同一位置的ColPic上的同一位置預測區塊內和其 周邊區塊的運動資訊，視為時間候補區塊群。運動資訊記憶體111，係將空間候補區塊群與時間候補區塊群當作候補區塊群而供給至運動資訊生成部109。運動資訊記憶體111，係與畫格記憶體110同步，以FIFO(First In First Out)方式而被控制。
此處，所謂ColPic，係指有別於處理對象之預測區塊的某個影像的另一已解碼之影像，且在畫格記憶體110中當成參照影像而被記憶。在實施形態1中，ColPic係為處理對象影像的前一個已解碼之參照影像。此外，雖然在實施形態1中，ColPic係設為處理對象影像的前一個已解碼之參照影像，但只要是已解碼之影像即可，例如，亦可為顯示順序上前一個參照影像或顯示順序上後一個參照影像，亦可在編碼串流中做指定。
此處，說明運動資訊記憶體111中的運動資訊之管理方法。運動資訊係以最小預測區塊單位而被記憶在各記憶區域中。各記憶區域中係至少記憶著：預測方向、L0預測的運動向量、L0預測的參照索引、L1預測的運動向量、及L1預測的參照索引。
此外，若預測編碼模式是畫面內模式，則作為L0預測與L1預測之運動向量是記憶著(0,0)，作為L0預測與L預測之參照索引是記憶著「-1」。以後，運動向量(H、V)係為，H是表示水平成分、V是表示垂直成分。此外，參照索引的「-1」係為只要是能夠判定其為不實施運動補償預測之模式，則可為任意之值。此後的說明中， 單純表現為區塊的時候，若沒有特別聲明，則是代表最小的預測區塊單位。又，即使在領域外之區塊的情況下，也是和畫面內模式同樣地，作為L0預測與L1預測之運動向量是記憶著(0,0)，作為L0預測與L1預測之參照索引是記憶著「-1」。若LX方向(X為0或1)為有效則LX方向的參照索引係為0以上，若LX方向為無效(非有效)則LX方向的參照索引係為「-1」。
(運動資訊生成部109之構成)
接著說明運動資訊生成部109的詳細構成。圖8係圖示運動資訊生成部109之構成。運動資訊生成部109係含有：預測向量模式決定部120、合併模式決定部121及預測編碼模式決定部122。端子12係連接至運動資訊記憶體111，端子13係連接至運動向量偵測部108，端子14係連接至畫格記憶體110，端子15係連接至預測區塊影像取得部101，端子16係連接至編碼列生成部104，端子50係連接至運動補償部106，及端子51係連接至運動資訊記憶體111。
(運動資訊生成部109的機能與動作)
以下，說明各部的機能與動作。預測向量模式決定部120，係根據端子12所供給之候補區塊群、端子13所供給之L0預測與L1預測之運動向量及L0預測與L1預測之參照索引、端子14所供給之參照索引所示之參照影 像、及端子15所供給之影像訊號，來決定畫面間預測類型，依照畫面間預測類型，選擇L0預測與L1預測之預測向量索引而算出L0預測與L1預測之差分向量，並且算出預測誤差，算出位元率失真評價值。然後，將基於該當畫面間預測類型的運動資訊、差分向量、預測向量索引、及位元率失真評價值，供給至預測編碼模式決定部122。
合併模式決定部121，係根據端子12所供給之候補區塊群、端子14所供給之參照影像、及端子15所供給之影像訊號，來生成結合運動資訊候補清單，從該當結合運動資訊候補清單之中選擇出1個結合運動資訊候補並決定合併索引，算出位元率失真評價值。然後，將該當結合運動資訊候補之運動資訊、該當合併索引及該當位元率失真評價值，供給至預測編碼模式決定部122。合併模式決定部121的細節，將於後述。
預測編碼模式決定部122，係將預測向量模式決定部120所供給之位元率失真評價值、和合併模式決定部121所供給之位元率失真評價值，進行比較，然後決定合併旗標。
若預測向量模式位元率失真評價值未滿合併模式位元率失真評價值，則將合併旗標設定成「0」。預測編碼模式決定部122，係將該當合併旗標、預測向量模式決定部120所供給之畫面間預測類型、參照索引、差分向量和預測向量索引，供給至端子16，將預測向量模式決定部120所供給之運動資訊，供給至端子50及端子51。
若合併模式位元率失真評價值是預測向量模式位元率失真評價值以下，則將合併旗標設定成「1」。預測編碼模式決定部122，係將該當合併旗標及合併模式決定部121所供給之合併索引，供給至端子16，將合併模式決定部121所供給之運動資訊，供給至端子50及端子51。此外，位元率失真評價值的具體算出方法係不是本發明的重點因此省略詳細說明，但從預測誤差與編碼量算出每一編碼量的預測誤差量，位元率失真評價值係為越小則帶有越高編碼效率之特性的評價值。因此，藉由選擇位元率失真評價值較小的預測編碼模式，就可提升編碼效率。
(合併模式決定部121之構成)
接著說明合併模式決定部121的詳細構成。圖9係用來說明合併模式決定部121之構成的圖。合併模式決定部121係含有：結合運動資訊候補清單生成部140及結合運動資訊選擇部141。結合運動資訊候補清單生成部140，係將在實施形態1所述之動態影像編碼裝置100所生成之編碼列加以解碼的動態影像解碼裝置200中也被同樣設置，在動態影像編碼裝置100與動態影像解碼裝置200中生成同一結合運動資訊清單。
(合併模式決定部121的機能與動作)
以下，說明各部的機能與動作。結合運動資訊候補清單生成部140，係根據端子12所供給之候補區塊群而生 成含有合併候補最大數之結合運動資訊候補的結合運動資訊候補清單，將該當結合運動資訊候補清單，供給至結合運動資訊選擇部141。關於結合運動資訊候補清單生成部140之詳細構成，將於後述。
結合運動資訊選擇部141，係從結合運動資訊候補清單生成部140所供給之結合運動資訊候補清單之中，選擇出最佳的結合運動資訊候補，決定表示已被選擇之結合運動資訊候補的資訊亦即合併索引，將該當合併索引供給至端子17。
此處，說明最佳之結合運動資訊候補的選擇方法。根據基於結合運動資訊候補之預測方向、運動向量及參照索引而進行運動補償預測所得之由端子14所供給之參照影像、和端子15所供給之影像訊號，來算出預測誤差量。合併索引的編碼量、和該當預測誤差量而算出位元率失真評價值，位元率失真評價值呈最小之結合運動資訊候補，會被當成最佳結合運動資訊候補而選擇。
(結合運動資訊候補清單生成部140之構成)
接著說明，結合運動資訊候補清單生成部140的詳細構成。圖10係結合運動資訊候補清單生成部140之構成的說明圖。端子19係連接至結合運動資訊選擇部141。結合運動資訊候補清單生成部140係含有：空間結合運動資訊候補生成部160、時間結合運動資訊候補生成部161、冗長結合運動資訊候補刪除部162、第1結合運動 資訊候補補充部163、及第2結合運動資訊候補補充部164。以下雖然記載為「生成」結合運動資訊候補，但亦可改說是「導出」。
(結合運動資訊候補清單生成部140的機能與動作)
以下，說明各部的機能與動作。圖11係結合運動資訊候補清單生成部140之動作的說明用流程圖。首先，結合運動資訊候補清單生成部140，係將結合運動資訊候補清單予以初期化(S100)。已被初期化之結合運動資訊候補清單中係不存在有結合運動資訊候補。
接著，空間結合運動資訊候補生成部160，係根據端子12所供給之候補區塊群而生成0個至空間結合運動資訊候補最大數的空間結合運動資訊候補然後追加至結合運動資訊候補清單(S101)，將該當結合運動資訊候補清單和候補區塊群，供給至時間結合運動資訊候補生成部161。空間結合運動資訊候補生成部160的詳細動作，將於後述。又，關於空間結合運動資訊候補最大數，也將於後述。
接著，時間結合運動資訊候補生成部161，係根據空間結合運動資訊候補生成部160所供給之候補區塊群來生成0個至時間結合運動資訊候補最大數的時間結合運動資訊候補然後追加至空間結合運動資訊候補生成部160所供給之結合運動資訊候補清單(S102)，將該當結合運動資訊候補清單，供給至冗長結合運動資訊候補刪除部162。 時間結合運動資訊候補生成部161的詳細動作，將於後述。又，關於時間結合運動資訊候補最大數，也將於後述。
接著，冗長結合運動資訊候補刪除部162，係檢查時間結合運動資訊候補生成部161所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補，若有同一運動資訊的結合運動資訊候補是複數存在時，則留下1個結合運動資訊候補而刪除其他結合運動資訊候補(S103)，將該當結合運動資訊候補清單，供給至第1結合運動資訊候補補充部163。此處，該當結合運動資訊候補清單中所被登錄的結合運動資訊候補，係為全部都是不同的結合運動資訊候補。
接著，第1結合運動資訊候補補充部163，係根據冗長結合運動資訊候補刪除部162所供給之結合運動資訊候補清單中所登錄的結合運動資訊候補，生成0個至2個的第1補充結合運動資訊候補然後追加至結合運動資訊候補清單(S104)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補補充部164。第1結合運動資訊候補補充部163的詳細動作，將於後述。
接著，第2結合運動資訊候補補充部164，係生成第2補充結合運動資訊候補並追加至該當結合運動資訊候補清單(S105)直到從第1結合運動資訊候補補充部163所供給之已被登錄在結合運動資訊候補清單中的結合運動資訊候補的數目到達合併候補最大數為止，將該當結合運動 資訊候補清單供給至端子19。第2結合運動資訊候補補充部164的詳細動作，將於後述。
此處，雖然設計成，空間結合運動資訊候補生成部160與時間結合運動資訊候補生成部161係分別生成空間結合運動資訊候補與時間結合運動資訊候補並追加至結合運動資訊候補清單，但亦可設計成，空間結合運動資訊候補生成部160與時間結合運動資訊候補生成部161係僅分別生成空間結合運動資訊候補與時間結合運動資訊候補，根據冗長結合運動資訊候補刪除部162的前一個所生成之候補來生成結合運動資訊候補清單。
(關於2N×2N候補區塊群)
以下，說明預測區塊的候補區塊群。首先，說明預測區塊尺寸類型是2N×2N的預測區塊。圖12係預測區塊尺寸類型是2N×2N的預測區塊的候補區塊群的說明圖。圖12中係表示預測區塊尺寸為16像素×16像素的例子。此外，後述的時間候補區塊H及I，係同樣存在於後述之空間候補區塊A~E所存在之圖像的另一已解碼圖像的另外的圖像中，但為了易於理解及說明，在圖12中係和空間候補區塊A~E一起被圖示。
空間候補區塊群係為，預測區塊左下像素之左方位置的區塊A、預測區塊右上像素之上方位置的區塊B、預測區塊右上像素之右斜上方位置的區塊C、預測區塊左下像素之左斜下方位置的區塊E、及預測區塊左上像素之左斜 上方位置的區塊D。如此，空間候補區塊群係基於預測區塊的位置與大小而被決定。時間候補區塊群，係為ColPic的所定領域之代表區塊亦即區塊H與區塊I的這2個。令處理對象之預測區塊的左上像素位置為(x,y)，令處理對象之預測區塊的寬度與高度分別為PUW、PUH，則將((((x+PUW)>>4)<<4),(((y+PUH)>>4)<<4))的像素之位置當作區塊左上之像素位置而含有的ColPic上的區塊，令作時間候補區塊H。此處，>>係為右方向的位元平移，<<係為左方向的位元平移。
同樣地，將(x+(PUW>>1),y+(PUH>>1))的像素之位置當作區塊左上之像素位置而含有的ColPic上的區塊，令作時間候補區塊I。如此，時間候補區塊群係基於預測區塊的位置與大小而被決定。如此，藉由將時間候補區塊設成ColPic的所定領域(此處係為16像素×16像素)的代表區塊，就可削減ColPic所應記憶的運動向量或參照索引。藉由削減1影像中所記憶的運動向量和參照索引，就可將複數已解碼影像當作ColPic的對象，因此具有提升預測效率的效果。
此處，由於預測區塊尺寸類型是2N×2N的編碼區塊係由1個預測區塊所構成，因此候補區塊相對於預測區塊尺寸類型是2N×2N之預測區塊的位置，係等於候補區塊相對於編碼區塊的位置，候補區塊的位置係落在編碼區塊之外。
此處，雖然將區塊A設成預測區塊的左下，但只要銜 接於預測區塊的左邊即可，並非限定於此。又，雖然將區塊B設成預測區塊的右上，但只要銜接於預測區塊的上邊即可，並非限定於此。又，雖然是將時間候補區塊群假設為區塊H與區塊I這2個，但並非限定於此。
(對2N×2N以外之候補區塊群適用與2N×2N相同位置關係的適用例)
接著說明，針對預測區塊尺寸類型不是2N×2N的編碼區塊中的預測區塊，適用了與預測區塊尺寸類型是2N×2N的編碼區塊的預測區塊相同位置關係的例子。圖13係針對預測區塊尺寸類型不是2N×2N的編碼區塊中的預測區塊，適用了與預測區塊尺寸類型是2N×2N的編碼區塊的預測區塊相同位置關係時的候補區塊群的圖示。在圖13中係和圖12同樣地，時間候補區塊H及I係存在於後述之空間候補區塊A~E所存在之圖像的另一已解碼圖像的另外的圖像中，但為了易於理解及說明，而和空間候補區塊A~E一起被圖示。圖13(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的候補區塊群。圖13中係表示預測區塊尺寸為16 像素×16像素的例子。此外，時間候補區塊群係和預測區塊尺寸類型為2N×2N時同樣地被導出，在圖13中表示區塊H的位置。如此，預測區塊尺寸類型不是2N×2N的編碼區塊中所含的預測區塊上，候補區塊群是對每一預測區塊基於預測區塊的位置與大小而被決定。
此處，預測區塊尺寸類型是N×2N的預測區塊1的情況下(圖13(b))，區塊A係位於同一編碼區塊的預測區塊0的內部，為了獲得區塊A的運動資訊，在處理預測區塊1之前，預測區塊0的運動資訊就必須先確定，作為預測區塊1的候補區塊是利用了區塊A的情況下，無法同時處理預測區塊0與預測區塊1。又，由於最大編碼區塊是按照逐線掃描順序、編碼區塊是按照曲折掃描順序而進行，因此區塊E一定是未處理區塊。同樣地，預測區塊尺寸類型是2N×N的預測區塊1的情況下(圖13(d))，區塊B係位於同一編碼區塊的預測區塊0的內部，區塊C一定是未處理區塊。至於預測區塊尺寸類型是N×N的預測區塊1(圖13(f))、預測區塊2(圖13(g))、預測區塊3(圖13(h))時也是，針對位於同一編碼區塊內部的區塊和必為未處理之區塊，分別示於圖13之中。
針對預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2，非位於同一編碼區塊內且必定不是未處理之候補區塊的數目係為3；針對預測區塊尺寸類型是N×N的預測 區塊3，非位於同一編碼區塊內且必定不是未處理之候補區塊的數目係為0。候補區塊的減少係會牽連到預測效率的降低。
(候補區塊的位置關係)
圖14係實施形態1中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係之一例的說明圖。關於時間候補區塊群係和圖13相同。圖14(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的空間候補區塊群。圖14中係表示預測區塊尺寸為16像素×16像素的例子。
此處，將位於同一編碼區塊的其他預測區塊之內部的區塊，置換成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊。亦即，預測區塊尺寸類型是N×2N的預測區塊1的情況下(圖14(b))，將區塊A設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊A。預測區塊尺寸類型是2N×N的預測區塊1的情況下(圖14(d))，將區塊B設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊B。預測區塊尺寸類型是N×N 的預測區塊1的情況下(圖14(f))，將區塊A與區塊E設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊A與區塊E。預測區塊尺寸類型是N×N的預測區塊2的情況下(圖14(g))，將區塊B與區塊C設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊B與區塊C。預測區塊尺寸類型是N×N的預測區塊3的情況下(圖14(h))，將區塊A、區塊B與區塊D設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊A、區塊B與區塊D。
針對預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3，有效之候補區塊的數目係為5。
如以上所述，將同一編碼區塊的其他預測區塊中所含之候補區塊，設成在編碼區塊所擁有之預測區塊尺寸之中預測區塊尺寸呈最大之預測區塊尺寸類型是2N×2N的預測區塊的候補區塊，藉此，就可消除在編碼區塊中所含之預測區塊間的運動資訊之依存關係，可將編碼區塊中所含之複數預測區塊予以同時處理。
(空間結合運動資訊候補生成部160的詳細動作)
接著說明空間結合運動資訊候補生成部160的詳細動作。圖15係空間結合運動資訊候補生成部160之動作的 說明用流程圖。空間結合運動資訊候補生成部160，係按照候補區塊群之空間候補區塊群中所含之候補區塊亦即區塊A、區塊B、區塊C、區塊E、區塊D之順序，重複進行以下處理(S110至S114)。
首先，檢查候補區塊是否有效(S111)。所謂候補區塊是有效，係為候補區塊的L0預測與L1預測之參照索引的至少一方是0以上。若候補區塊是有效(S111之Y)，則將候補區塊之運動資訊，當作空間結合運動資訊候補而追加至結合運動資訊候補清單(S112)。若候補區塊並非有效(S111的N)，則檢查下個候補區塊(S114)。接在步驟S112之後，檢查結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目是否為空間結合運動資訊候補最大數(S113)。此處，假設空間結合運動資訊候補最大數為4。若結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目不是空間結合運動資訊候補最大數(S113的N)，則檢查下個候補區塊(S114)。若結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目是空間結合運動資訊候補最大數(S113的Y)，則結束處理。
此處，雖然是為了使得與處理對象區塊之接線較長的一般認為與處理對象區塊之相關性較高的區塊A與區塊B的運動資訊，能被優先登錄至結合運動資訊候補清單，而將處理的順序，設計成區塊A、區塊B、區塊C、區塊E、區塊D，但只要能夠以與處理對象區塊相關性高之順 序或作為候補區塊而選擇機率較高之順序，來把結合運動資訊候補登錄至結合運動資訊候補清單即可，並非限定於此。例如，亦可設計成，預測區塊尺寸類型是N×2N的預測區塊1時，係為區塊B、區塊C、區塊E、區塊D、區塊A之順序；預測區塊尺寸類型是2N×N的預測區塊1時，係為區塊A、區塊C、區塊E、區塊D、區塊B之順序；預測區塊尺寸類型是N×N的預測區塊1時，係為區塊B、區塊C、區塊D、區塊A、區塊E之順序；預測區塊尺寸類型是N×N的預測區塊2時，係為區塊A、區塊E、區塊D、區塊B、區塊C之順序，預測區塊尺寸類型是N×N的預測區塊3時，係為區塊C、區塊E、區塊A、區塊B、區塊D之順序。如此，藉由以靠近於處理對象之預測區塊的順序而對結合運動資訊候補清單進行追加，就可防止對靠近處理對象之預測區塊的區塊指派較大的合併索引，可提升編碼效率。又，雖然將空間結合運動資訊候補最大數設成4，但空間結合運動資訊候補最大數係只要是1以上且合併候補最大數以下即可，並非限定於此。
(時間結合運動資訊候補生成部161的詳細動作)
接著說明時間結合運動資訊候補生成部161的詳細動作。圖16係時間結合運動資訊候補生成部161之動作的說明用流程圖。針對L0預測與L1預測的各預測方向LX，重複進行以下處理(S120至S127)。此處，X係為0或1。又，候補區塊群的時間候補區塊群中所含之候補 區塊亦即區塊H、區塊I之順序，重複進行以下處理(S121至S126)。
時間結合運動資訊候補生成部161，係檢查候補區塊的LN預測是否有效(S122)。此處，N係為0或1。此處N係和X相同。所謂候補區塊的LN預測是有效，係為候補區塊的LN預測之參照索引是0以上。若候補區塊的LN預測是有效(S122之Y)，則將候補區塊的LN預測之運動向量，當作基準運動向量(S123)。若候補區塊的LN預測並非有效(S122的N)，則略過步驟123至步驟126而檢查下個候補區塊(S126)。
接在步驟S123之後，決定時間結合運動資訊候補的LX預測之參照影像(S124)。此處，時間結合運動資訊候補的LX預測之參照影像，係為LX預測之參照索引0的參照影像。此處雖然是將時間結合運動資訊候補的LX預測之參照影像，設成LX預測之參照索引0的參照影像，但只要不依存於編碼區塊內的其他預測區塊之值即可，並非限定於此。接著，將基準運動向量進行比例縮放使得處理對象影像與時間結合運動資訊候補的LX預測之參照影像的距離相符，而算出時間結合運動資訊候補的LX預測之運動向量(S125)，處理下個預測方向(S127)。時間結合運動資訊候補的LX預測之運動向量的具體算出式，係於後述。在針對L0預測與L1預測結束處理的步驟S127之後，檢查時間結合運動資訊候補的L0預測與L1預測之至少一方的預測是否有效(S128)。若 時間結合運動資訊候補的L0預測與L1預測之至少一方的預測是有效(S128的Y)，則決定時間結合運動資訊候補的畫面間預測類型，將該當時間結合運動資訊候補，追加至結合運動資訊候補清單(S129)。此處，畫面間預測類型的決定，係若只有L0預測有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_L0，若只有L1預測有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_L1，若L0預測與L1預測雙方都有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_BI。
接著說明，時間結合運動資訊候補的LX預測之運動向量的算出式。令具有時間候補區塊之ColPic與時間候補區塊為LX預測之運動補償預測中所參照之圖像的ColRefLXPic的影像間距離為td，令時間結合運動資訊候補的LX預測之參照影像RefLXPic與處理對象影像CurPic的影像間距離為tb，令LX預測之基準運動向量為mvLX，則時間結合運動資訊候補的LX預測之運動向量mvLXCol係可藉由式1而算出。由式1可知，時間結合運動資訊候補的LX預測之運動向量的算出時，係需要用來算出tb與td所需的減算、除算、及乘算。
mvLXCol=tb/td * mvLX； 式1
式1係為了簡化浮動小數點演算而設計成整數演算的情況下，係亦可例如式2至式4般地予以展開來利用。Abs(v)係為算出值v之絕對值的函數，Clip3(uv,lv,v)係將值v限制在下限lv至上限uv用的函數，Sign (v)係為若值v為0以上則回送1若值v小於0則回送-1的函數。
tx=(16384+Abs(td/2))/td； 式2
DistScaleFactor=Clip3(-1024,1023,(tb * tx+32)>>6)； 式3
mvLXCol=Sign(DistScaleFactor*mvLX)*((Abs(DistScaleFactor*mvLX)+127)>>8)； 式4
此處，將結合運動資訊候補清單中所能登錄之時間結合運動資訊候補的最大數亦即時間結合運動資訊候補最大數，設成1。因此，圖16中雖然省略說明空間結合運動資訊候補生成部160之動作流程圖亦即相當於圖14所示之步驟S115的處理，但當時間結合運動資訊候補最大數為2以上時，係亦可在步驟S129之後追加相當於步驟S115之處理。
此處，雖然令N係和X相同，但N亦可和X不同，並非限定於此。
(第1結合運動資訊候補補充部163的詳細動作)
接著說明第1結合運動資訊候補補充部163的詳細動作。圖17係第1結合運動資訊候補補充部163之動作的說明用流程圖。首先，根據所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與合併候補最大數(MaxNumMergeCand)，將生成第1補充結合運動資訊候補的最大數MaxNumGenCand，由式5予以算出(S170)。
MaxNumGenCand=MaxNumMergeCand-NumCandList；(NumCandList>1)MaxNumGenCand=0；(NumCandList<=1) 式5
接著，檢查MaxNumGenCand是否大於0(S171)。 若MaxNumGenCand並非大於0(S171的N)，則結束處理。若MaxNumGenCand大於0(S171的Y)，則進行以下處理。首先，決定組合檢查次數loopTimes。loopTimes係設定成NumCandList×NumCandList。但是，loopTimes超過8時則loopTimes係限制成8(S172)。此處，loopTimes係為0至7的整數。重複進行以下的處理loopTimes次(S172至S180)。決定結合運動資訊候補M與結合運動資訊候補N之組合(S173)。此處，說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係。圖18係用來說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的圖。如圖18所示，M與N係不同值，M與N的合計值是被設定成由小而大之順序。檢查是否為結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174)。若結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174的Y)，則檢查結合運動資訊候補M的L0預測之參照影像和運動向量，是否和結合運動資訊候補N的L1預測之參照影像和運動向量不同(S175)。若並非結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174的N)，則處理下個組合。若結合運動資訊候補M的L0預測之參照影像與結合運動資訊候補N的L1預測之參照影像不同(S175的Y)，則將結合運動資訊候補M的L0預測之運動向量與參照影像與結合運動資訊候 補N的L1預測之運動向量與參照影像進行組合，生成畫面間預測類型為Pred_BI的雙結合運動資訊候補(S176)。此處，作為第1補充結合運動資訊候補，將某結合運動資訊候補的L0預測與和其不同之結合運動資訊候補的L1預測之運動資訊加以組合而生成雙結合運動資訊。若結合運動資訊候補M的L0預測之參照影像與結合運動資訊候補N的L1預測之參照影像相同(S175的N)，則處理下個組合。接續於步驟S176，將雙結合運動資訊候補追加至結合運動資訊候補清單(S178)。接續於步驟S178之後，檢查已生成之雙結合運動資訊的數目是否為MaxNumGenCand(S179)。若已被生成之雙結合運動資訊的數目是MaxNumGenCand(S179的Y)，則結束處理。若已被生成之雙結合運動資訊的數目不是MaxNumGenCand(S179的N)，則處理下個組合。
此處，雖然是將第1補充結合運動資訊候補設計成，將已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量與參照影像，與另一結合運動資訊候補的L1預測之運動向量與參照影像進行組合，成為運動補償預測之方向為雙向的雙結合運動資訊候補，但並非限定於此。例如，亦可為對已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量與L1預測之運動向量加上+1等偏置值而成的運動補償預測之方向為雙向的結合運動資訊候補、對已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的 L0預測之運動向量或L1預測之運動向量加上+1等偏置值而成的運動補償預測之方向為單向的結合運動資訊候補。作為第1補充結合運動資訊候補的另一例，亦可將已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量當作基準而將L1預測之運動向量進行比例縮放而求出，將其予以組合以生成運動補償預測之方向為雙向的新的結合運動資訊候補。又，亦可將它們做任意組合。
此處，第1補充結合運動資訊候補，係當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有微妙的偏差時，將已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊予以修正而生成新的有效的結合運動資訊候補，藉此就可提高編碼效率。
(第2結合運動資訊候補補充部164的詳細動作)
接著說明第2結合運動資訊候補補充部164的詳細動作。圖19係第2結合運動資訊候補補充部164之動作的說明用流程圖。首先，根據第1結合運動資訊候補補充部163所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與合併候補最大數(MaxNumMergeCand)，將生成第1補充結合運動資訊候補的最大數MaxNumGenCand，由式6予以算出(S190)。
MaxNumGenCand=MaxNumMergeCand-NumCandList； 式6
接著，將以下的處理，針對i重複進行MaxNumGenCand次(S191至S195)。此處，i係為0至MaxNumGenCand-1的整數。生成L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的畫面間預測類型為Pred_BI的第2補充結合運動資訊候補(S192)。將第2補充結合運動資訊候補追加至結合運動資訊候補清單(S194)。處理下個i(S195)。
此處，將第2補充結合運動資訊候補設成，L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的畫面間預測類型為Pred_BI的結合運動資訊候補。這是因為，在一般的動態影像中，L0預測之運動向量與L1預測之運動向量為(0,0)的結合運動資訊候補的發生頻率在統計上較高的緣故。不依存於已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊，只要是統計上利用頻率較高的結合運動資訊候補即可，並非限定於此。例如，L0預測或L1預測之運動向量係亦可分別是(0,0)以外的向量值，亦可設定成L0預測與L1預測的參照索引不同。又，亦可將第2補充結合運動資訊候補，當成已編碼之影像或已編碼之影像之一部分的發生頻率較高的運動資訊，編碼在編碼串流中加以傳輸而設定。此外，此處雖然說明B圖像，但若為P圖像的情況，係以L0預測之運動向量為 (0,0)，生成畫面間預測類型為Pred_L0的第2補充結合運動資訊候補。
此處，藉由設定不依存於被當成第2補充結合運動資訊候補而登錄在結合運動資訊候補清單中之結合運動資訊候補的結合運動資訊候補，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補為0個時，就可利用合併模式，可提升編碼效率。又，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有所不同的情況下，藉由生成新的結合運動資訊候補來擴展選項的幅度，就可提升編碼效率。
(動態影像解碼裝置200之構成)
接著，說明實施形態1的動態影像解碼裝置。圖20係實施形態1所述之動態影像解碼裝置200之構成的圖示。動態影像解碼裝置200，係為將動態影像編碼裝置100所編碼之編碼列予以解碼以生成再生影像的裝置。
動態影像解碼裝置200，係由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體所實現。動態影像解碼裝置200，係藉由上記的構成要素的作動，而實現以下說明的機能性構成要素。編碼區塊的分割、略過模式的決定、預測區塊尺寸類型的決定、預測區塊尺寸與預測區塊在編碼區塊內之位置(預測區塊的位置資訊)的決定、預測編碼模式是否為畫面內的決定，係由未圖示的上位之控制部所決定，此處係係針對 預測編碼模式不是畫面內的情形加以說明。此外，關於解碼對象之預測區塊的位置資訊、預測區塊尺寸，係在動態影像解碼裝置200內被共用，而未圖示。
實施形態1的動態影像解碼裝置200係具備：編碼列解析部201、預測誤差解碼部202、加算部203、運動資訊再生部204、運動補償部205、畫格記憶體206及運動資訊記憶體207。
(動態影像解碼裝置200之動作)
以下，說明各部的機能與動作。編碼列解析部201，係將端子30所供給之編碼列予以解析而將預測誤差編碼資料、合併旗標、合併索引、運動補償預測之預測方向(畫面間預測類型)、參照索引、差分向量、及預測向量索引，依照語法而進行熵解碼。熵解碼係藉由包含算術編碼或霍夫曼編碼等之可變長度編碼的方法來實施。然後，將該當預測誤差編碼資料供給至預測誤差解碼部202，將該當合併旗標、該當合併索引、該當畫面間預測類型、該當參照索引、該當差分向量、及該當預測向量索引，供給至運動資訊再生部204。
又，編碼列解析部201，係將動態影像解碼裝置200上所利用的編碼區塊之分割資訊、預測區塊尺寸類型、及預測編碼模式，和定義有用來決定編碼串流之特性之參數群的SPS(Sequence Parameter Set)、定義有用來決定圖像之特性之參數群的PPS(Picture Parameter Set)、或定 義有用來決定切片之特性之參數群的切片標頭等，一起從編碼串流中解碼出來。
運動資訊再生部204，係根據編碼列解析部201所供給之合併旗標、合併索引、畫面間預測類型、參照索引、差分向量、及預測向量索引，和運動資訊記憶體207所供給之候補區塊群，而再生出運動資訊，將該當運動資訊供給至運動補償部205及運動資訊記憶體207。運動資訊再生部204之詳細構成，將於後述。
運動補償部205，係基於運動資訊再生部204所供給之運動資訊，將畫格記憶體206內的參照索引所示的參照影像，基於運動向量進行運動補償，以生成預測訊號。若預測方向為雙預測，則將L0預測與L1預測之預測訊號進行平均後的訊號加以生成來作為預測訊號，將該當預測訊號供給至加算部203。
預測誤差解碼部202，係對於編碼列解析部201所供給之預測誤差編碼資料，進行逆量化或逆正交轉換等之處理以生成預測誤差訊號，將該當預測誤差訊號供給至加算部203。
加算部203，係將預測誤差解碼部202所供給之預測誤差訊號、和運動補償部205所供給之預測訊號，進行加算，以生成解碼影像訊號，將該當解碼影像訊號供給至畫格記憶體206及端子31。
畫格記憶體206及運動資訊記憶體207，係具有和動態影像編碼裝置100的畫格記憶體110及運動資訊記憶體 111相同之機能。畫格記憶體206係將加算部203所供給之解碼影像訊號，加以記憶。運動資訊記憶體207，係將運動資訊再生部204所供給之運動資訊，以最小預測區塊尺寸單位，加以記憶。
(運動資訊再生部204之詳細構成)
接著說明運動資訊再生部204的詳細構成。圖21係圖示運動資訊再生部204之構成。運動資訊再生部204係含有：編碼模式判定部210、運動向量再生部211及結合運動資訊再生部212。端子32係連接至編碼列解析部201，端子33係連接至運動資訊記憶體207，端子34係連接至運動補償部205，端子36係連接至運動資訊記憶體207。
(運動資訊再生部204的詳細動作)
以下，說明各部的機能與動作。編碼模式判定部210，係判定編碼列解析部201所供給之合併旗標係為「0」還是「1」。若合併旗標為「0」，則將編碼列解析部201所供給之畫面間預測類型、參照索引、差分向量、及預測向量索引，供給至運動向量再生部211。若合併旗標為「1」，則將編碼列解析部201所供給之合併索引，供給至結合運動資訊再生部212。
運動向量再生部211，係根據編碼模式判定部210所供給之畫面間預測類型、參照索引、差分向量、及預測向 量索引，和端子33所供給之候補區塊群，再生出運動向量而生成運動資訊，供給至端子34及端子36。
結合運動資訊再生部212，係根據端子33所供給之候補區塊群而生成結合運動資訊候補清單，從該當結合運動資訊候補清單中選擇出藉由編碼模式判定部210所供給之合併索引所示的結合運動資訊候補之運動資訊，而供給至端子34及端子36。
(結合運動資訊再生部212的詳細構成)
接著說明結合運動資訊再生部212的詳細構成。圖22係圖示結合運動資訊再生部212之構成。結合運動資訊再生部212，係含有結合運動資訊候補清單生成部230及結合運動資訊選擇部231。端子35係連接至編碼模式判定部210。
(結合運動資訊再生部212的詳細動作)
以下，說明各部的機能與動作。結合運動資訊候補清單生成部230係具有和動態影像編碼裝置100之結合運動資訊候補清單生成部140相同的機能，藉由和動態影像編碼裝置100的結合運動資訊候補清單生成部140相同的動作而生成結合運動資訊候補清單，將該當結合運動資訊候補清單，供給至結合運動資訊選擇部231。
結合運動資訊選擇部231，係從結合運動資訊候補清單生成部230所供給之結合運動資訊候補清單之中，選擇 出端子35所供給之合併索引所表示的結合運動資訊候補而決定結合運動資訊，將該當結合運動資訊的運動資訊，供給至端子34及端子36。
如以上，動態影像解碼裝置200係可動態影像編碼裝置100所編碼之編碼列予以解碼而生成再生影像。
[實施形態2]
以下，說明實施形態2。與實施形態1係為，針對預測區塊尺寸類型是2N×2N以外的預測區塊，在空間結合運動資訊候補生成部160中所利用的空間候補區塊群，有所不同。以下說明實施形態2的預測區塊尺寸類型是2N×2N以外的預測區塊的空間候補區塊群。
圖23係實施形態2中的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群的位置關係的說明圖。圖23(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的空間候補區塊群。圖23中係表示預測區塊尺寸為16像素×16像素的例子。如此，預測區塊尺寸類型不是2N×2N的編碼區塊中所含的預測區塊上，候補區塊群是對每一預測區塊基於預測區 塊的位置與大小而被決定。
此處，除了前記的第1例以外，必為未處理之區塊也視置換成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊。亦即，預測區塊尺寸類型是N×2N的預測區塊1的情況下(圖23(b))，將區塊E設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊E。預測區塊尺寸類型是2N×N的預測區塊1的情況下(圖23(d))，將區塊C設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊C。預測區塊尺寸類型是N×N的預測區塊3的情況下(圖23(h))，將區塊C與區塊E設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊的區塊C與區塊E。
如以上所述，藉由將必為未處理之候補區塊，設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊，可將必為未處理之候補區塊變成有可能有效的候補區塊，藉由增加合併模式的選擇範圍，可提升合併模式的選擇率，可提升編碼效率。將已替換之候補區塊之運動資訊與其他結合運動資訊候補之運動資訊進行組合以生成新的運動資訊，或將已替換之候補區塊之運動資訊予以修正，將選擇率相對於第2補充結合運動資訊候補為較高的第1補充結合運動資訊候補，追加至結合運動資訊候補清單，藉此，可提高編碼效率。尤其是，在利用雙結合運動資訊候補時，係至少需要2個結合運動資訊候補，因此當結合運動資訊候補清單中已替換之候補區塊以外的結合運動資訊候 補是只有登錄1個的情況下，已替換之候補區塊之運動資訊就會有效地發揮作用。
又，於空間結合運動資訊候補生成部160的動作中，雖然是將對結合運動資訊候補清單的登錄順序設定成區塊A、區塊B、區塊C、區塊E、區塊D，但亦可變形如下。
亦可設計成，預測區塊尺寸類型是N×2N的預測區塊1時，係為區塊B、區塊C、區塊D、區塊A、區塊E之順序；預測區塊尺寸類型是2N×N的預測區塊1時，係為區塊A、區塊E、區塊D、區塊B、區塊C之順序；預測區塊尺寸類型是N×N的預測區塊1時，係為區塊B、區塊C、區塊D、區塊A、區塊E之順序；預測區塊尺寸類型是N×N的預測區塊2時，係為區塊A、區塊E、區塊D、區塊B、區塊C之順序。如此，藉由以靠近於處理對象之預測區塊的順序而對結合運動資訊候補清單進行追加，就可防止對靠近處理對象之預測區塊的區塊指派較大的合併索引，可提升編碼效率。
[實施形態3]
首先說明，不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例。與實施形態1係為，預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群與時間候補區塊群，有所不同。以下說明，不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例的預測區塊尺寸類型是2N×2N 以外的預測區塊的空間候補區塊群與時間候補區塊群。在本例中，係將不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊，設成預測區塊尺寸類型是2N×2N的預測區塊的候補區塊。
圖24係不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例時，預測區塊尺寸類型是2N×2N以外的預測區塊與候補區塊群的位置關係的說明圖。在圖24中，時間候補區塊H及I係存在於後述之空間候補區塊A~E所存在之圖像的另一已解碼圖像的另外的圖像中，但為了易於理解及說明，而和空間候補區塊A~E一起被圖示。圖24(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的空間候補區塊群。圖24中係表示預測區塊尺寸為16像素×16像素的例子。作為預測區塊尺寸類型是2N×2N以外的預測區塊的時間候補區塊群，是利用如圖24所示般地視為預測區塊尺寸類型是2N×2N之預測區塊而導出的時間候補區塊群。
如以上所述，不依存於預測區塊尺寸類型，候補區塊係為預測尺寸類型是2N×2N的預測區塊的候補區塊。換 言之，不依存於預測區塊尺寸類型，設成預測區塊尺寸類型是2N×2N時的候補區塊，是在編碼區塊的所有預測區塊中，被共通地利用。亦即，若依據結合運動資訊候補清單生成部140及230，則若候補區塊相同則生成相同的結合運動資訊候補清單，因此不依存於預測區塊尺寸類型，可將預測區塊尺寸類型是2N×2N時所被導出的結合運動資訊候補清單，在編碼區塊的所有預測區塊中，共通地加以利用。藉此，在預測區塊尺寸類型確定前就可確定候補區塊，可確定結合運動資訊候補清單。又，當編碼區塊被分割成複數預測區塊時，由於不需要對每一預測區塊導出候補區塊，因此可將生成圖11所示之結合運動資訊候補清單的次數，削減成1/2(2分割的時候)或是1/4(4分割的時候)。又，可將編碼區塊的預測區塊，平行地加以處理。
以下，說明實施形態3的另一例。與實施形態1係為，針對預測區塊尺寸類型是2N×2N以外的預測區塊，在空間結合運動資訊候補生成部160中所利用的空間候補區塊群與時間候補區塊群與結合運動資訊候補清單生成部140的動作，有所不同。以下說明實施形態3的預測區塊尺寸類型是2N×2N以外的預測區塊的空間候補區塊群與時間候補區塊群。
此處，當預測區塊是被分割成複數時，是利用預測區塊0的候補區塊，來作為編碼區塊內的所有預測區塊的候補區塊。
圖25係實施形態3中的預測區塊尺寸類型是2N×2N以外的預測區塊與候補區塊群的位置關係的說明圖。在圖25中，時間候補區塊H及I係存在於後述之空間候補區塊A~E所存在之圖像的另一已解碼圖像的另外的圖像中，但為了易於理解及說明，而和空間候補區塊A~E一起被圖示。圖25(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的空間候補區塊群與時間候補區塊群。圖25中係表示預測區塊尺寸為16像素×16像素的例子。作為預測區塊尺寸類型是2N×2N以外的預測區塊的時間候補區塊群，是利用如圖25所示般地視為預測區塊0而導出的時間候補區塊群。
接著說明，結合運動資訊候補清單生成部140的動作。圖26係實施形態3的結合運動資訊候補清單生成部140之動作的說明用流程圖。與實施形態1的結合運動資訊候補清單生成部140之動作的圖11係為，追加了步驟S106及步驟S107，這點有所不同。說明與實施形態1不同的步驟S106與步驟S107。檢查是否為預測區塊0(S106)。若為預測區塊0(S106的Y)，則進行步驟S100至S105之處理然後結束處理。若非預測區塊0 (S106的N)，則利用預測區塊0的結合運動資訊候補清單來作為處理對象之預測區塊的結合運動資訊候補清單(S107)，結束處理。
如以上所述，當編碼區塊是被分割成複數時，藉由利用預測區塊0的候補區塊來作為編碼區塊內的所有預測區塊的候補區塊，當編碼區塊被分割成複數預測區塊時，就不需要生成預測區塊0以外的預測區塊的結合運動資訊候補清單，因此可將生成圖11所示之結合運動資訊候補清單的次數，削減成1/2(2分割的時候)或是1/4(4分割的時候)。亦即，可將用預測區塊0所導出的結合運動資訊候補清單，在編碼區塊的任一預測區塊中，都能共通地利用之。又，若預測區塊尺寸類型確定，則在預測區塊的位置確定前就可生成結合運動資訊候補清單，可使電路設計或軟體設計變得有彈性，可削減電路規模或軟體規模。又，可將編碼區塊的預測區塊，平行地加以處理。
再者，將預測區塊尺寸類型是2N×2N以外的預測區塊的候補區塊之位置，設成與預測區塊尺寸類型是2N×2N以外的預測區塊不同的候補區塊之位置，藉此就可提高預測區塊尺寸類型是2N×2N以外的預測區塊的選擇機率，可較上記的不依存於預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例，更加提升編碼效率。再者，預測區塊0係不含同一編碼區塊的其他預測區塊中所含之候補區塊及必為未處理之候補區塊，因此可提高結合運動資訊候補成為有效的機率而提升預測效率。此 外，編碼效率最高的略過模式係和預測區塊尺寸類型為2N×2N同等，因此不受本實施形態所致之影響。
在實施形態3中作為編碼區塊之代表區塊係利用編碼區塊內的最初之預測區塊亦即預測區塊0，但並非限定於此。例如，亦可為在編碼區塊內最初利用合併模式的預測區塊。此時，S106與S107係變成如下。檢查在編碼區塊內是否已經生成結合運動資訊候補清單(S106)。若在編碼區塊內還沒有生成結合運動資訊候補清單(S106的Y)，則進行步驟S100至S105之處理然後結束處理。若在編碼區塊內已經生成結合運動資訊候補清單(S106的N)，則在編碼區塊內結合運動資訊候補清單是利用已經生成的結合運動資訊候補清單(S107)，結束處理。
如以上所述，將編碼區塊內最初利用合併模式之預測區塊的結合運動資訊候補清單也利用於編碼區塊內的其他預測區塊上，藉此，至少可以提升最初利用合併模式之預測區塊的預測效率。又，作為編碼區塊之代表區塊係亦可利用編碼區塊內的最後之預測區塊(2分割時係為預測區塊1、4分割時係為預測區塊3)。此情況下，將時間候補區塊群的位置，設成與預測區塊尺寸類型是2N×2N以外的預測區塊不同的候補區塊之位置，藉此就可提高預測區塊尺寸類型是2N×2N以外的預測區塊的選擇機率，可提升預測效率。
又，如實施形態2所述，可使對結合運動資訊候補清單之追加順序，變成接近於處理對象之預測區塊的順序。
[實施形態3的變形例1]
以下，說明實施形態3的變形例1。與實施形態3係為，以最大編碼區塊下限線來限制時間候補區塊群，這點有所不同。說明以最大編碼區塊下限線的時間候補區塊群之限制。圖27係最大編碼區塊下限線與時間候補區塊群的說明圖。如圖27所示，最大編碼區塊下限線係為含有最大編碼區塊之最下部之像素的線。藉由限制成不利用最大編碼區塊下限線以下之區塊，在動態影像編碼裝置100及動態影像解碼裝置200中，可削減時間候補區塊群所需的暫時記憶領域之容量。
針對預測區塊尺寸類型不是2N×2N的編碼區塊中的預測區塊，適用了與預測區塊尺寸類型是2N×2N的編碼區塊的預測區塊相同位置關係時，在有設置最大編碼區塊下限線的情況下，圖27的最大編碼區塊下限線所銜接之預測區塊尺寸類型是2N×N的預測區塊1的時間候補區塊(H1)的位置，就變成無法利用。
可是，如實施形態3那樣，當預測區塊是被分割成複數時，藉由利用預測區塊0的候補區塊，來作為編碼區塊內的所有預測區塊的候補區塊，會變成利用時間候補區塊(H0)來作為時間候補區塊群，因此可使時間候補區塊變成有效，可提升預測效率。這在預測區塊尺寸類型是N×N的預測區塊2預測區塊3也同樣如此。
[實施形態4]
以下，說明實施形態4。與實施形態1係為，預測區塊尺寸類型是2N×2N以外的預測區塊的空間候補區塊群與時間候補區塊群與結合運動資訊候補清單生成部140之構成與動作，有所不同。以下說明實施形態4的預測區塊尺寸類型是2N×2N以外的預測區塊與空間候補區塊群與時間候補區塊群。
此處，將空間候補區塊群設計成，適用了與預測區塊尺寸類型是2N×2N的編碼區塊的預測區塊相同的位置關係。作為時間候補區塊群，係利用視為預測區塊0而導出的時間候補區塊群。
圖28係實施形態4中的預測區塊尺寸類型是2N×2N以外的預測區塊與候補區塊群的位置關係的說明圖。在圖28中，時間候補區塊H及I係存在於後述之空間候補區塊A~E所存在之圖像的另一已解碼圖像的另外的圖像中，但為了易於理解及說明，而和空間候補區塊A~E一起被圖示。圖28(a)至(h)係分別圖示了預測區塊尺寸類型是N×2N的預測區塊0、預測區塊尺寸類型是N×2N的預測區塊1、預測區塊尺寸類型是2N×N的預測區塊0、預測區塊尺寸類型是2N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊0、預測區塊尺寸類型是N×N的預測區塊1、預測區塊尺寸類型是N×N的預測區塊2、預測區塊尺寸類型是N×N的預測區塊3時的空間候補區塊群。圖28中係表示預測區塊尺寸為16像素×16像 素的例子。作為預測區塊尺寸類型是2N×2N以外的預測區塊的時間候補區塊群，是利用如圖28所示般地視為預測區塊0而導出的時間候補區塊群。當然，作為預測區塊尺寸類型是2N×2N以外的預測區塊的時間候補區塊群，也可利用視為預測區塊尺寸類型是2N×2N之預測區塊而導出的時間候補區塊群。
接著說明，結合運動資訊候補清單生成部140的構成與動作。圖29係實施形態4的結合運動資訊候補清單生成部140之構成的說明圖。與實施形態1係為，時間結合運動資訊候補生成部161的位置是被設置在第1結合運動資訊候補補充部163的後段，這點有所不同。圖30係實施形態4的結合運動資訊候補清單生成部140之動作的說明用流程圖。與實施形態1的結合運動資訊候補清單生成部140之動作的圖11係為，追加了步驟S106及步驟S108，步驟S102的位置，是有所不同。說明與實施形態1的不同點。
空間結合運動資訊候補生成部160，係根據端子12所供給之候補區塊群而生成0個至空間結合運動資訊候補最大數的空間結合運動資訊候補然後追加至結合運動資訊候補清單(S101)，將該當結合運動資訊候補清單和候補區塊群，供給至冗長結合運動資訊候補刪除部162。
接著，冗長結合運動資訊候補刪除部162，係檢查空間結合運動資訊候補生成部160所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補，若有同一運動資 訊的結合運動資訊候補是複數存在時，則留下1個結合運動資訊候補而刪除其他結合運動資訊候補(S103)，將該當結合運動資訊候補清單，供給至第1結合運動資訊候補補充部163。
接著，第1結合運動資訊候補補充部163，係根據冗長結合運動資訊候補刪除部162所供給之結合運動資訊候補清單中所登錄的結合運動資訊候補，生成0個至2個的第1補充結合運動資訊候補然後追加至結合運動資訊候補清單(S104)，將該當結合運動資訊候補清單與候補區塊群，供給至時間結合運動資訊候補生成部161。
接著，時間結合運動資訊候補生成部161係檢查處理對象之預測區塊是否為預測區塊0(S106)。若處理對象之預測區塊是預測區塊0(S106的Y)，則從冗長結合運動資訊候補刪除部162所供給之候補區塊群，生成出0個至時間結合運動資訊候補最大數的時間結合運動資訊候補，追加至從冗長結合運動資訊候補刪除部162所供給之結合運動資訊候補清單(S102)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補補充部164。若處理對象之預測區塊不是預測區塊0(S106的N)，則將候補區塊0的時間結合運動資訊候補，追加至結合運動資訊候補清單(S108)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補補充部164。
接著，第2結合運動資訊候補補充部164，係生成第2補充結合運動資訊候補並追加至該當結合運動資訊候補 清單(S105)直到從時間結合運動資訊候補生成部161所供給之已被登錄在結合運動資訊候補清單中的結合運動資訊候補的數目到達合併候補最大數為止，將該當結合運動資訊候補清單供給至端子19。
如以上所述，將預測區塊尺寸類型是2N×2N以外的預測區塊的空間候補區塊群，適用了與預測區塊尺寸類型是2N×2N之編碼區塊的預測區塊相同的位置關係，將時間候補區塊群設成預測區塊0的時間候補區塊群，藉此，若預測區塊尺寸類型確定，就可確定時間候補區塊群。亦即，可將用預測區塊0所導出的時間結合運動資訊候補，在編碼區塊的任一預測區塊中，都能共通地利用之。另一方面，空間候補區塊群，係對每一預測區塊基於預測區塊的位置與大小而被決定。空間結合運動資訊候補之導出，係由於候補區塊之運動資訊是被直接利用因而不需要演算，處理時間較短，但時間結合運動資訊候補的導出係需要像是式1或式2至式4這樣的向量演算處理，有決定畫面間預測類型之處理存在，因此處理時間會變長。
於是，藉由在結合運動資訊候補清單生成所需之處理中，將最需要處理時間的時間結合運動資訊候補之導出，以編碼區塊設成1次，就可縮短預測區塊被分割成複數之情況下的處理時間。
再者，藉由利用處理對象之預測區塊所相鄰之區塊來作為空間結合運動資訊候補，可提高預測區塊尺寸類型是2N×2N以外的預測區塊的選擇機率，可較上記的不依存於 預測區塊尺寸類型而將編碼區塊內之預測區塊之候補區塊設成共通之一例，更加提升編碼效率。又，由於是利用ColPic的所定領域的代表區塊來作為時間候補區塊群，因此相較於空間候補區塊群，時間候補區塊群的精度係變得相對較低，所以即使降低時間候補區塊群的精度，仍可抑制預測效率的降低。
此處，雖然是設計成，時間結合運動資訊候補的導出時間是，遠比空間結合運動資訊候補的導出、冗長結合運動資訊候補刪除部162的動作、第1結合運動資訊候補補充部163的動作都來得長，而將結合運動資訊候補清單生成部140的動作設計成圖30，但例如，亦可為了預測效率優先而將S106、S102、及S108搬移至S101或S103的後段，為了處理效率優先而將S106、S102、及S108設置在S105的後段。將S106、S102、及S108設置在S105的後段的情況下，從第2結合運動資訊候補補充部164所輸出的已被登錄在結合運動資訊候補清單中的結合運動資訊候補的數目，係設成比合併候補最大數少1的數目。
此處，雖然重視預測效率而將空間候補區塊群設計成，適用了與預測區塊尺寸類型是2N×2N的編碼區塊的預測區塊相同的位置關係，但亦可為了實現編碼區塊內的預測區塊的平行處理，而將同一編碼區塊的其他預測區塊中所含之候補區塊係不當成候補區塊來利用，或將空間候補區塊群與其他實施形態進行組合等等，利用視為預測區塊0而導出的時間候補區塊群來作為時間候補區塊群。
又，此處係將預測區塊尺寸類型是2N×2N以外的預測區塊的時間候補區塊群，設計成以編碼區塊內的最初之預測區塊亦即預測區塊0所導出的時間候補區塊群，但並非限定於此。例如，亦可設計成預測區塊尺寸類型是2N×2N時的預測區塊的時間候補區塊群，也可設計成編碼區塊內的最後之預測區塊(2分割時係為預測區塊1、4分割時係為預測區塊3)的時間候補區塊群。在設計成預測區塊尺寸類型是2N×2N時的預測區塊的時間候補區塊群的情況下，係可在預測區塊尺寸類型或預測區塊之位置確定之前就生成時間候補區塊群，因此可使電路設計或軟體設計變得有彈性，可削減電路規模或軟體規模。
[實施形態5]
以下，說明實施形態5。與實施形態1係為結合運動資訊候補清單生成部140之構成與動作有所不同，編碼列生成部104和編碼列解析部201的動作有所不同。
首先說明，結合運動資訊候補清單生成部140的構成。圖31係實施形態5的結合運動資訊候補清單生成部140之構成的說明圖。與圖10的實施形態1的結合運動資訊候補清單生成部140係為，候補區塊設定部165是被追加在空間結合運動資訊候補生成部160的前段，這點有所不同。此處，預測效率優先的候補區塊配置還是平行處理或處理時間縮短等之處理效率優先的候補區塊配置，是藉由旗標等來切換之。
接著說明，結合運動資訊候補清單生成部140的動作。圖32係實施形態5的結合運動資訊候補清單生成部140之動作的說明用流程圖。與圖11的實施形態1的結合運動資訊候補清單生成部140之動作係為，在步驟S100的前段，追加了步驟S106至S108，這點有所不同。針對步驟S106至步驟S108加以說明。首先，判定cu_dependent_flag是否為1(S106)。若cu_dependent_flag為1(S106的Y)，則設成預測效率優先的區塊配置(S107)。所謂預測效率優先的區塊配置，係例如，將預測區塊尺寸類型是2N×2N以外的預測區塊的候補區塊群，設成適用了與預測區塊尺寸類型是2N×2N之預測區塊相同之位置關係的只由如圖12所示之處理對象之預測區塊所相鄰之候補區塊所成的區塊配置。若cu_dependent_flag為0(S106的N)，則設成處理效率優先的區塊配置(S108)。所謂處理效率優先的區塊配置，係為例如圖14、圖23、圖24、圖25、或圖28所示的含有不與處理對象之預測區塊相鄰之候補區塊的區塊配置。接續於步驟S107或步驟S108，實施步驟S100以後的處理。此處，在本實施形態中係切換著，根據例如圖12所示的預測效率優先的區塊配置，而對編碼區塊的每一預測區塊，基於其位置和大小來進行候補區塊群的決定及結合運動資訊候補清單的生成，或是根據例如圖24或圖25所示的處理效率優先的區塊配置，從編碼區塊的所有預測區塊中所被共通利用的候補區塊來進行結合運動資訊候補清 單之生成。
在動態影像編碼裝置100中，enable_cu_parallel_flag為0還是1，是被動態影像編碼裝置100的更上層所設定。此處，雖然設計成，圖32所示之動作是以結合運動資訊候補清單生成部140來實施，但亦可由動態影像編碼裝置100的更上層來設定。
編碼列生成部104，係將cu_dependent_flag予以多工化至SPS、PPS、切片標頭等編碼區塊以外的位置。編碼列解析部201，係將已被多工化至SPS、PPS、切片標頭等編碼區塊以外之位置的cu_dependent_flag予以解碼，供給至運動資訊再生部204。
藉由將cu_dependent_flag多工化至編碼串流中，就可容易判斷是否為預測效率優先的編碼串流。又，可將預測效率優先的區塊配置所致之編碼串流和處理效率優先的區塊配置所致之編碼串流，以共通的解碼裝置加以解碼。針對只會將cu_dependent_flag解碼成0或1之任一者的解碼裝置，係例如，以運用規定或像是MPEG-4AVC的將編碼工具予以分類的設定檔等，將cu_dependent_flag固定成0或1之任一者而生成編碼串流，藉由忽視或暗示性地設定cu_dependent_flag，就可將編碼串流正確地解碼。又，將cu_dependent_flag多工化至編碼區塊的更上位的標頭中，就可削減圖32所示的動作。
此處，雖然藉由cu_dependent_flag來切換預測效率優先的區塊配置與處理效率優先的區塊配置，但亦可為， 例如，當編碼區塊的分割次數是所定次數以上時係設成處理效率優先的區塊配置，編碼區塊並非所定臨界尺寸以上時則設成預測效率優先的區塊配置等，或編碼區塊是所定臨界尺寸以下時係設成處理效率優先的區塊配置，編碼區塊並非所定臨界尺寸以下時則設成預測效率優先的區塊配置等等。又，藉由將所定臨界尺寸設成最小編碼區塊尺寸亦即8×8，可以僅在處理量最為增加時才做適用，可使處理量與預測效率取得最佳平衡。此時，於步驟S108中，會變成判定編碼區塊是否為所定臨界尺寸。編碼區塊係當編碼區塊的分割次數是所定次數以上(或所定臨界尺寸以下)時就設成處理效率優先的區塊配置，編碼區塊係當編碼區塊的分割次數不是所定次數以上(或所定臨界尺寸以下)時就設成預測效率優先的區塊配置，藉此就可容易地調節預測效率與處理量。此外，亦可將所定臨界尺寸或所定次數，多工化至SPS、PPS、切片標頭等編碼區塊以外的位置。又，若enable_cu_parallel_flag為1則定義所定臨界尺寸或所定次數，若enable_cu_parallel_flag為0則未定義所定臨界尺寸或所定次數以此種意義來利用enable_cu_parallel_flag而將其多工化至編碼串流中，藉此就可更有彈性地調節處理量與預測效率。亦即，藉由將enable_cu_parallel_flag設成0，就忽視所定臨界尺寸或所定次數，總是設成預測效率優先的區塊配置；藉由將enable_cu_parallel_flag設成1，就隨著所定臨界尺寸或所定次數，來切換預測效率和處理效率，就可使處理量與預 測效率取得最佳平衡。
[實施形態6]
以下，說明實施形態6。詳細說明實施形態3的動態影像編碼裝置100的預測向量模式決定部120之構成與運動向量再生部211之動作。以下說明預測向量模式決定部120的詳細構成。
(預測向量模式決定部120之構成)
接著說明預測向量模式決定部120的詳細構成。圖33係預測向量模式決定部120之構成。預測向量模式決定部120係含有：預測向量候補清單生成部130及預測向量決定部131。端子17係連接至預測編碼模式決定部122。
預測向量候補清單生成部130，係將在實施形態6所述之動態影像編碼裝置100所生成之編碼列加以解碼的動態影像解碼裝置200內的運動向量再生部211之中也被同樣設置，生成在動態影像編碼裝置100與動態影像解碼裝置200中均為相同的預測向量候補清單。
(預測向量模式決定部120之動作)
以下說明預測向量模式決定部120的動作。
首先，針對L0預測，進行以下的處理。以下，令X為0。預測向量候補清單生成部130，係將端子13所供給 之LX預測的參照索引，予以取得。根據端子12所供給之候補區塊群與LX預測之參照索引，生成含有預測向量候補最大數之預測向量候補的LX預測之預測向量候補清單。預測向量候補清單生成部130，係將該當LX預測之預測向量候補清單，供給至預測向量決定部131。
預測向量決定部131，係從預測向量候補清單生成部130所供給之LX預測之預測向量候補清單中，選擇出1個預測向量候補來作為LX預測之預測向量，決定該當LX預測之預測向量索引。
預測向量決定部131，係從端子13所供給之LX預測之運動向量減去LX預測之預測向量而算出LX預測之差分向量，將該當LX預測之差分向量與該當LX預測之預測向量索引，予以輸出。
預測向量決定部131，係根據端子15所供給之影像訊號、和將端子14所供給之參照影像基於端子13所供給之LX預測之運動向量及LX預測之參照索引而進行運動補償預測所成之LX預測之預測訊號，算出預測誤差量，從該當預測誤差量，和LX預測之差分向量、LX預測的參照索引、及LX預測之預測向量索引的編碼量，算出Pred_LX的速率失真評價值。
接著，將X設成1而針對L1預測進行與L0預測相同的處理。
接著，預測向量決定部131，係由從端子15所供給之影像訊號、和將L0預測之預測訊號及L1預測之預測訊 號所平均而成的BI預測之預測訊號，算出預測誤差量，從該當預測誤差量，和L0預測與L1預測的差分向量、L0預測與L1預測的參照索引、及L0預測與L1預測的預測向量索引的編碼量，算出Pred_BI的速率失真評價值。
預測向量決定部131，係將Pred_L0的速率失真評價值、Pred_L1的速率失真評價值、及Pred_BI的速率失真評價值，進行比較，將最小速率失真評價值的預測編碼模式，選擇出1個。然後，將基於預測編碼模式的運動資訊、差分向量、預測向量索引、及位元率失真評價值，供給至預測編碼模式決定部122。此外，若預測編碼模式是Pred_L0，則L1預測的運動向量係為(0,0)、L1預測的參照索引係為「-1」；若預測編碼模式是Pred_L1，則L0預測的運動向量係為(0,0)、L0預測的參照索引係為「-1」。
(預測向量候補清單生成部130之構成)
接著說明，預測向量候補清單生成部130的詳細構成。圖34係預測向量候補清單生成部130之構成的說明圖。端子18係連接至預測向量決定部131。預測向量候補清單生成部130係含有：空間預測向量候補生成部150、時間預測向量候補生成部151、冗長預測向量候補刪除部152、及預測向量候補補充部153。
(預測向量候補清單生成部130之動作)
以下，說明各部的機能與動作。預測向量候補清單生成部130係因應需要，而生成L0預測之預測向量候補清單和L1預測之預測向量候補清單。以下，以LX預測來說明。X係設為0或1。圖35係預測向量候補清單生成部130之動作的說明用流程圖。
首先，預測向量候補清單生成部130係將LX預測之預測向量資訊候補清單予以初期化(S200)。已被初期化的LX預測之預測向量候補清單中，係不存在有預測向量候補。
將從端子12所供給之空間候補區塊群中所含之候補區塊，分成第1群組的區塊E與區塊A，第2群組的區塊C、區塊B、及區塊D的2群組，按照第1群組、第2群組之順序，重複以下的處理(S201至S203)。
此處，端子12所供給之候補區塊群，針對2N×2N的候補區塊群係與合併模式相同，針對2N×2N以外之候補區塊群係設為適用了與2N×2N相同位置關係的候補區塊群。又，假設端子13所供給之LX預測之參照索引、端子12所供給之候補區塊群、及LX預測之預測向量資訊候補清單係在預測向量候補清單生成部130內部被共用來說明。
空間預測向量候補生成部150，係從第i群組(i係為1或2)之候補區塊群而生成0個或1個LX預測之空間預測向量候補，將該當LX預測之空間預測向量候補，追加至LX預測之預測向量候補清單(S202)，將該當LX 預測之預測向量候補清單與候補區塊群，供給至時間預測向量候補生成部151。
此處，說明空間預測向量候補的具體導出方法。針對第1群組及第2群組，重複以下的處理。第1群組係依序檢查區塊E、區塊A來作為候補區塊，第2群組係依序檢查區塊C、區塊B、區塊D來作為候補區塊。
針對各候補區塊，按照L0預測、L1預測之順序而進行以下的處理。以下，將各候補區塊的L0預測、L1預測，以LN預測來說明。
檢查候補區塊的LN預測之參照索引所示的參照影像，是否和端子13所供給之LX預測之參照索引所示的參照影像相同。
若候補區塊的LN預測之參照索引所示的參照影像，是和端子13所供給之LX預測之參照索引所示的參照影像相同，則將候補區塊的LN預測之運動向量當作空間預測向量候補而結束處理。
若候補區塊的LN預測之參照索引所示的參照影像不是和端子13所供給之LX預測之參照索引所示的參照影像相同，則檢查下個LN預測或下個候補區塊。
若所有的候補區塊都完成檢查，則結束處理。
如以上所述，從各群組導出0個或1個空間預測向量候補，作為LX預測是導出0個至2個空間預測向量候補。
接著，時間預測向量候補生成部151係從時間候補區 塊群生成0個或1個LX預測之時間預測向量候補，將該當LX預測之時間預測向量候補，追加至LX預測之預測向量候補清單(S204)，將該當LX預測之預測向量候補清單與候補區塊群，供給至預測向量候補補充部153。
此處，說明時間預測向量候補的具體導出方法。
將時間候補區塊群，按照區塊H、區塊I之順序來進行檢查來作為候補區塊。
針對各候補區塊，按照L0預測、L1預測之順序而進行以下的處理。以下，將各候補區塊的L0預測、L1預測，以LN預測來說明。
檢查候補區塊的LN預測是否有效。所謂候補區塊的LN預測是有效，係為參照索引是0以上。
若候補區塊的LN預測是有效，則將候補區塊的LN預測之運動向量，當作基準運動向量而導出時間預測向量候補然後結束處理。關於時間預測向量候補的導出方法，將於後述。
候補區塊的LN預測若為有效，則檢查下個候補區塊。
若所有的候補區塊都完成檢查，則結束處理。
此處，說明時間預測向量候補的導出方法。令具有時間候補區塊之ColPic與時間候補區塊為LN預測之運動補償預測中所參照之圖像的ColRefLXPic的影像間距離為td，令LX預測之參照索引所示的參照影像RefLXPic與處理對象影像CurPic的影像間距離為tb，令LX預測之基準 運動向量為mvLX，時間預測向量候補mvLXCol係藉由式1而被算出。
冗長預測向量候補刪除部152係檢查由時間預測向量候補生成部151所供給之LX預測之預測向量候補清單中所被登錄的預測向量候補，若有複數個具有同一向量的預測向量候補存在時，則留下1個預測向量候補而刪除其他預測向量候補，若LX預測之預測向量候補清單中所被登錄之預測向量候補數超過了預測向量候補最大數，則將LX預測之預測向量候補清單的後方的預測向量候補予以刪除，以使得LX預測之預測向量候補清單中所被登錄之預測向量候補數變成預測向量候補最大數以下(S205)，將該當LX預測之預測向量候補清單，供給至預測向量候補補充部153。此處，該當LX預測之預測向量候補清單中所被登錄的結合運動資訊候補，係變成全部都是不同的結合運動資訊候補。
預測向量候補補充部153係生成預測向量補充候補，以使得由冗長預測向量候補刪除部152所供給之LX預測之預測向量候補清單中所被登錄的預測向量候補數達到預測向量候補最大數的方式，將該當預測向量補充候補追加至LX預測之預測向量候補清單中(S206)，供給至端子18。假設預測向量補充候補係為運動向量(0,0)。此處，雖然將預測向量補充候補設成運動向量(0,0)，但亦可為(1,1)等之所定值，亦可為將空間預測向量候補的水平成分或垂直成分設成+1或-1等而成的運動向量。
此處，將從端子12所供給之空間候補區塊群中所含之候補區塊分成2群組，可從各群組分別選擇出1個空間預測運動向量候補，但亦可設計成分成1個群組而選擇出2個空間預測運動向量候補。
以下，說明運動向量再生部211的詳細構成。
(運動向量再生部211之詳細構成)
接著，說明運動向量再生部211的詳細構成。圖36係運動向量再生部211之構成的說明圖。運動向量再生部211係含有：預測向量候補清單生成部220、預測向量選擇部221及加算部222。端子35係連接至編碼模式判定部210。
(運動向量再生部211之詳細動作)
以下，說明各部的機能與動作。運動向量再生部211，係若由端子35所供給之畫面間預測類型是L0預測，則針對L0預測進行運動向量的算出，若畫面間預測類型是L1預測，則針對L1預測進行運動向量的算出，若畫面間預測類型是BI預測，則針對L0預測與L1預測進行運動向量的算出。各LX預測之運動向量的算出係進行如下。
運動向量再生部211，係根據端子35所供給之LX預測之參照索引及端子33所供給之候補區塊群，來生成LX預測之預測向量候補清單。從該當LX預測之預測向量清 單中，將LX預測之預測向量索引所示之預測向量候補，當作LX預測之預測向量而加以選擇，將LX預測之預測向量與LX預測之差分向量進行加算而算出LX預測之運動向量。
該當LX預測之運動向量與畫面間預測類型係被組合而生成運動資訊，被供給至端子34及端子36。
如以上所述，在合併候補最大數為5而候補數相對較多的合併模式下，針對2N×2N以外的候補區塊群係利用預測區塊0的候補區塊來作為編碼區塊內的所有預測區塊的候補區塊，藉此，可將結合運動資訊候補清單在編碼區塊內做共通化而可使候補選擇所需處理平行化，在預測向量候補最大數為2而候補數相對較少的預測向量模式下，針對2N×2N以外之候補區塊群係利用適用了與2N×2N相同位置關係的候補區塊群，將預測效率最佳化，藉此可使處理效率與預測效率良好平衡。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之 編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。
動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。
[產業上利用之可能性]
本發明係可利用於，將運動補償預測中所利用之運動資訊進行編碼及解碼的動態影像編碼及解碼技術。

Claims (2)

  1. 一種動態影像解碼裝置，係屬於將由1個以上之預測區塊所成的解碼區塊予以解碼的動態影像解碼裝置，其特徵為，具備：解碼部，係從用來特定在解碼對象之預測區塊上所利用之結合運動資訊候補所需的索引被當成候補特定索引所編碼而成的編碼列，解碼出前記候補特定索引；和結合運動資訊候補生成部，係在用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，是表示要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊的情況下，則導出對前記解碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇部，係基於前記候補特定索引而從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於前記解碼對象之預測區塊；前記結合運動資訊候補生成部，係在用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，是表示不要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊的情況下，則基於前記解碼對象之預測區塊的大小與位置，而導出前記複數結合運動資訊候補； 前記複數結合運動資訊候補係含有：從與解碼對象之預測區塊的某個圖像不同的另一已解碼圖像之預測區塊所導出的運動資訊。
  2. 一種動態影像解碼方法，係屬於將由1個以上之預測區塊所成的解碼區塊予以解碼的動態影像解碼方法，其特徵為，具有：解碼步驟，係從用來特定在解碼對象之預測區塊上所利用之結合運動資訊候補所需的索引被當成候補特定索引所編碼而成的編碼列，解碼出前記候補特定索引；和結合運動資訊候補生成步驟，係在用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，是表示要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊的情況下，則導出對前記解碼區塊內的所有預測區塊共通利用之複數結合運動資訊候補；和結合運動資訊選擇步驟，係基於前記候補特定索引而從前記複數結合運動資訊候補中選擇出1個結合運動資訊候補，將已被選擇之前記1個結合運動資訊候補，利用於前記解碼對象之預測區塊；前記結合運動資訊候補生成步驟，係在用來表示是否導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊，是表示不要導出對前記解碼區塊內的所有預測區塊共通利用之結合運動資訊候補的資訊的情況 下，則基於前記解碼對象之預測區塊的大小與位置，而導出前記複數結合運動資訊候補；前記複數結合運動資訊候補係含有：從與解碼對象之預測區塊的某個圖像不同的另一已解碼圖像之預測區塊所導出的運動資訊。
TW108100231A 2011-12-28 2012-12-28 動態影像解碼裝置及動態影像解碼方法 TWI684354B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011-288985 2011-12-28
JP2011288985 2011-12-28
JP2011-288984 2011-12-28
JP2011288984 2011-12-28
JP2012-286857 2012-12-28
JP2012286856A JP5835208B2 (ja) 2011-12-28 2012-12-28 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2012-286856 2012-12-28
JP2012286857A JP5725009B2 (ja) 2011-12-28 2012-12-28 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム

Publications (2)

Publication Number Publication Date
TW201921945A true TW201921945A (zh) 2019-06-01
TWI684354B TWI684354B (zh) 2020-02-01

Family

ID=49479684

Family Applications (5)

Application Number Title Priority Date Filing Date
TW108146494A TWI720750B (zh) 2011-12-28 2012-12-28 動態影像編碼裝置及動態影像編碼方法
TW108100231A TWI684354B (zh) 2011-12-28 2012-12-28 動態影像解碼裝置及動態影像解碼方法
TW105136466A TWI600315B (zh) 2011-12-28 2012-12-28 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TW106128618A TWI653878B (zh) 2011-12-28 2012-12-28 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TW101151071A TW201334565A (zh) 2011-12-28 2012-12-28 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108146494A TWI720750B (zh) 2011-12-28 2012-12-28 動態影像編碼裝置及動態影像編碼方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW105136466A TWI600315B (zh) 2011-12-28 2012-12-28 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TW106128618A TWI653878B (zh) 2011-12-28 2012-12-28 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TW101151071A TW201334565A (zh) 2011-12-28 2012-12-28 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式

Country Status (7)

Country Link
US (6) US10271063B2 (zh)
EP (1) EP2800370A4 (zh)
CN (5) CN104025587B (zh)
BR (2) BR122020014280B1 (zh)
RU (5) RU2589297C9 (zh)
TW (5) TWI720750B (zh)
WO (1) WO2013099285A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
HUE061303T2 (hu) * 2010-05-04 2023-06-28 Lg Electronics Inc Eljárás és berendezés videojel kódolására és dekódolására
CN107105279B (zh) * 2011-09-23 2020-03-06 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) * 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
WO2016153146A1 (ko) * 2015-03-23 2016-09-29 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
US11095892B2 (en) * 2016-09-20 2021-08-17 Kt Corporation Method and apparatus for processing video signal
US10291928B2 (en) * 2017-01-10 2019-05-14 Blackberry Limited Methods and devices for inter-prediction using motion vectors for video coding
CN116866553A (zh) 2017-01-16 2023-10-10 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
CN108989799B (zh) * 2017-06-02 2022-03-08 阿里巴巴集团控股有限公司 一种编码单元参考帧的选择方法、装置及电子设备
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019078664A1 (ko) * 2017-10-20 2019-04-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11044466B2 (en) 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
CN111819857B (zh) * 2018-03-14 2024-08-23 联发科技股份有限公司 用于视频编解码的优化分割结构的方法和装置
WO2019204386A1 (en) 2018-04-20 2019-10-24 Huawei Technologies Co., Ltd. Line buffer for spatial motion vector predictor candidates
CN110662072B (zh) * 2018-06-29 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、装置及可读存储介质
CN118714295A (zh) 2018-07-27 2024-09-27 三星电子株式会社 对图像进行编码和解码的方法和装置
WO2020084552A1 (en) * 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
US11172214B2 (en) * 2018-12-21 2021-11-09 Qualcomm Incorporated Derivation of processing area for parallel processing in video coding
US11032560B2 (en) * 2019-01-17 2021-06-08 Tencent America LLC Method and apparatus for video coding without updating the HMVP table
CN113424535A (zh) * 2019-02-13 2021-09-21 北京字节跳动网络技术有限公司 基于运动矢量预测表的历史更新
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
US11418807B2 (en) * 2019-03-15 2022-08-16 Tencent America LLC Temporal motion vector derivation in shared merge region at picture boundary
US11528504B2 (en) * 2019-07-11 2022-12-13 Qualcomm Incorporated Motion vector prediction with motion information collecting buffer
US11418810B2 (en) * 2020-09-21 2022-08-16 Tencent America LLC Methods of inter picture motion prediction for multi-view video compression

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637996B2 (ja) 1997-03-28 2005-04-13 シャープ株式会社 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
DE60312960T2 (de) * 2002-02-01 2007-12-13 Matsushita Electric Industrial Co., Ltd., Kadoma Kodierungsverfahren und Dekodierungsverfahren für bewegliche Bilder
AU2003281133A1 (en) * 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
JP4113059B2 (ja) * 2003-07-28 2008-07-02 株式会社東芝 字幕信号処理装置、字幕信号処理方法及び字幕信号処理プログラム
FR2860678A1 (fr) * 2003-10-01 2005-04-08 Thomson Licensing Sa Procede de codage differentiel
JP2005117196A (ja) * 2003-10-03 2005-04-28 Matsushita Electric Ind Co Ltd 映像符号化方法
KR100970726B1 (ko) * 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법
JP2005245503A (ja) * 2004-03-01 2005-09-15 Toshiba Corp 超音波診断装置、画像表示装置及び画像表示方法
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
RU2336661C2 (ru) * 2005-04-19 2008-10-20 Самсунг Электроникс Ко., Лтд. Способ и устройство адаптивного выбора контекстной модели для кодирования по энтропии
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
CN100466739C (zh) * 2005-10-12 2009-03-04 华为技术有限公司 Cabac解码系统及方法
JP4790446B2 (ja) * 2006-03-01 2011-10-12 三菱電機株式会社 動画像復号装置及び動画像符号化装置
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
RU2427976C2 (ru) * 2006-07-28 2011-08-27 Кабусики Кайся Тосиба Способ и устройство для кодирования и декодирования изображения
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
WO2008126843A1 (ja) * 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JPWO2009041215A1 (ja) * 2007-09-25 2011-01-20 シャープ株式会社 動画像符号化装置及び動画像復号装置
KR101403343B1 (ko) * 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
KR100949475B1 (ko) * 2007-12-28 2010-03-29 세종대학교산학협력단 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
JP2009164880A (ja) 2008-01-07 2009-07-23 Mitsubishi Electric Corp トランスコーダ及び受信機
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
DK3567852T3 (da) * 2009-03-23 2023-01-16 Ntt Docomo Inc Billedforudsigelsesafkodningsindretning og billedforudsigelsesafkodningsfremgangsmåde
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP2010288080A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
WO2011126340A2 (ko) * 2010-04-08 2011-10-13 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding

Also Published As

Publication number Publication date
CN104025587A (zh) 2014-09-03
TW201743616A (zh) 2017-12-16
US10631001B2 (en) 2020-04-21
BR122020014280B1 (pt) 2022-05-10
CN107888914B (zh) 2020-05-22
TWI563832B (zh) 2016-12-21
US10448044B2 (en) 2019-10-15
CN104025587B (zh) 2017-08-29
TW202017379A (zh) 2020-05-01
BR112014013977A2 (pt) 2017-06-13
BR112014013977B1 (pt) 2022-05-17
US20160323597A1 (en) 2016-11-03
RU2668523C1 (ru) 2018-10-01
RU2687218C1 (ru) 2019-05-07
CN107592542B (zh) 2020-05-22
RU2668523C9 (ru) 2019-05-30
CN107888914A (zh) 2018-04-06
US10820011B1 (en) 2020-10-27
RU2628185C9 (ru) 2018-02-06
US20200236386A1 (en) 2020-07-23
WO2013099285A1 (ja) 2013-07-04
RU2628185C1 (ru) 2017-08-15
RU2687218C9 (ru) 2019-11-05
RU2014130469A (ru) 2016-02-20
CN107888913B (zh) 2020-05-22
US20200007886A1 (en) 2020-01-02
CN107707912A (zh) 2018-02-16
US10271063B2 (en) 2019-04-23
RU2589297C2 (ru) 2016-07-10
RU2697927C9 (ru) 2021-04-22
EP2800370A4 (en) 2015-08-19
US20140355687A1 (en) 2014-12-04
CN107888913A (zh) 2018-04-06
US10778998B2 (en) 2020-09-15
TWI720750B (zh) 2021-03-01
TW201334565A (zh) 2013-08-16
RU2589297C9 (ru) 2017-01-23
EP2800370A1 (en) 2014-11-05
TW201717635A (zh) 2017-05-16
CN107592542A (zh) 2018-01-16
TWI653878B (zh) 2019-03-11
TWI600315B (zh) 2017-09-21
US20190215528A1 (en) 2019-07-11
TWI684354B (zh) 2020-02-01
RU2697927C1 (ru) 2019-08-21
BR112014013977A8 (pt) 2021-03-02
CN107707912B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
TWI653878B (zh) 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
TWI658725B (zh) 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP6065088B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5843032B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5725009B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5843042B1 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム