TW201304556A - 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置 - Google Patents

Abstract

本發明之圖像編碼方法包含有：決定步驟，係決定合併候選之最大數者；第1導出步驟，係根據與編碼對象區塊空間性或時間性鄰接之各區塊，導出多數第1合併候選者；判斷步驟，係判斷多數第1合併候選之數是否小於最大數者；第2導出步驟，係於判斷多數第1合併候選之數小於最大數時，將多數第1合併候選組合，導出2方向預測之第2合併候選者；選擇步驟，係由多數第1合併候選及第2合併候選之中，選擇在編碼對象區塊之編碼所使用之合併候選者；及編碼步驟，係使用所決定之最大數，而將用以界定所選擇之合併候選之索引進行編碼，且將已編碼之索引附加於位元流者。

Description

圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置 技術領域

本發明係有關於圖像編碼方法及圖像解碼方法。

背景技術

在動態圖像編碼處理中，一般是利用動態圖像具有之空間方向及時間方向之冗長性而進行資訊量之壓縮。在此一般以利用空間方向之冗長性之方法而言，是利用變成頻率區域之變換。又，以利用時間方向之冗長性之方法而言，則是採用圖片間預測(以下稱為「間預測」)編碼處理。在間預測編碼處理中，當將某圖片進行編碼時，使用對編碼對象圖片於顯示時間順序上位於前方或後方之已編碼完畢之圖片，作為參考圖片。接著，藉編碼對象圖片相對於其參考圖片之移動檢測，而導出移動向量。接著，藉算出根據所導出之移動向量而進行動量補償所得到之預測圖像資料、與編碼對象圖片之圖像資料之差值，而移除時間方向之冗長性(例如參考非專利文獻1)。在此，在移動檢測中，算出編碼圖片內之編碼對象區塊與參考圖片內之區塊之差值，將差值最小之參考圖片內之區塊決定為參考區塊。接著，使用編碼對象區塊與參考區塊而檢測移動向量。

先行技術文獻 [非專利文獻]

[非專利文獻1] ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」、2010年3月[非專利文獻2] JCT-VC,“WD3:Working Draft 3 of High-Efficiency Video Coding”,JCTVC-E603,March 2011.

發明概要

惟，在上述習知技術中，在使用有間預測之圖像編碼及解碼中，希望能提昇編碼效率。

在此，本發明之目的係於提供圖像編碼方法及圖像解碼方法，在使用有間預測之圖像編碼及解碼中可提昇編碼效率者。

本發明一態樣之圖像編碼方法係將圖像依每區塊進行編碼而產生位元流之方法，包含有以下步驟，即：決定步驟，係決定合併候選之最大數，該合併候選為編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選小於前述最大數時，將所導出之前述第1合併候選組合，導出2方向預測之第2合併候選者；選擇步驟，係 由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述編碼對象區塊之編碼所使用之合併候選者；及編碼步驟，係使用所決定之前述最大數，將用以界定所選擇之前述合併候選之索引進行編碼，且將已編碼之前述索引附加於前述位元流者。

此外，其等一般或具體的態樣亦可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM(Compact Disc Read Only Memory)等記錄媒體予以實現，亦可以系統、方法、積體電路、電腦程式及記錄媒體之任意組合予以實現。

依本發明之一態樣，就能在使用有間預測之圖像編碼及解碼中提昇編碼效率者。

圖式簡單說明

第1A圖係用以說明B圖片中之參考圖片列表一例之圖。

第1B圖係顯示B圖片中之預測方向0之參考圖片列表一例之圖。

第1C圖係顯示B圖片中之預測方向1之參考圖片列表一例之圖。

第2圖係用以說明時間預測移動向量模式中之移動向量之圖。

第3圖係顯示合併模式中所使用之鄰接區塊之移動向量一例之圖。

第4圖係用以說明合併區塊候選列表一例之圖。

第5圖係顯示合併區塊候選尺寸與分配至合併區塊索引 之位元列之關係圖。

第6圖係顯示使用合併模式時之編碼處理一例之流程圖。

第7圖係顯示使用合併模式時之解碼處理一例之流程圖。

第8圖係顯示將合併區塊索引附加於位元流時之語法之圖。

第9圖係顯示實施形態1之圖像編碼裝置之構成方塊圖。

第10圖係顯示實施形態1之圖像編碼裝置之處理動作之流程圖。

第11圖(a)(b)係顯示實施形態1中之合併區塊候選列表一例之圖。

第12圖係顯示實施形態1中之合併區塊候選及合併區塊候選列表尺寸之算出處理之流程圖。

第13圖係顯示實施形態1中判斷合併區塊候選是否為可合併候選數，且將可合併候選數更新之處理之流程圖。

第14圖係顯示實施形態1中之組合合併區塊候選之追加處理之流程圖。

第15圖係顯示有關實施形態1中是否有組合合併區塊候選存在之判斷處理之流程圖。

第16圖係顯示實施形態1中有關合併區塊候選之選擇之處理之流程圖。

第17圖係顯示實施形態2之圖像編碼裝置之構成方塊圖。

第18圖係顯示實施形態2之圖像編碼裝置之處理動作之流程圖。

第19圖係顯示實施形態3之圖像解碼裝置之構成方塊圖。

第20圖係顯示實施形態3之圖像解碼裝置之處理動作之流程圖。

第21圖係顯示實施形態4之圖像解碼裝置之構成方塊圖。

第22圖係顯示實施形態4之圖像解碼裝置之處理動作之流程圖。

第23圖係顯示實施形態5之圖像編碼裝置之構成方塊圖。

第24圖係顯示實施形態5之圖像編碼裝置之處理動作之流程圖。

第25圖(a)(b)係顯示實施形態5中之合併區塊候選列表一例之圖。

第26圖係顯示實施形態5中之合併區塊候選及合併區塊候選列表尺寸之算出處理之流程圖。

第27圖係顯示實施形態5中之可合併候選數之更新處理之流程圖。

第28圖係顯示實施形態5中之新候選之追加處理之流程圖。

第29圖係顯示實施形態6之圖像編碼裝置之構成方塊圖。

第30圖係顯示實施形態6之圖像編碼裝置之處理動作之流程圖。

第31圖係顯示實施形態7之圖像解碼裝置之構成方塊圖。

第32圖係顯示實施形態7之圖像解碼裝置之處理動作之流程圖。

第33圖係顯示實施形態7中之合併區塊候選列表尺寸之設定處理之流程圖。

第34圖係顯示實施形態7之合併區塊候選之算出處理之流程圖。

第35圖係顯示將合併區塊索引附加於位元流時之語法一例之圖。

第36圖係顯示將合併區塊候選列表尺寸固定在合併區塊候選數之最大值時之語法一例之圖。

第37圖係顯示實施形態8之圖像解碼裝置之構成方塊圖。

第38圖係顯示實施形態8之圖像解碼裝置之處理動作之流程圖。

第39圖係實現內容發送服務之內容供給系統之整體構成圖。

第40圖係數位播放用系統之整體構成圖。

第41圖係顯示電視機之構成例之方塊圖。

第42圖係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第43圖係顯示光碟之記錄媒體之構成例之圖。

第44A圖係顯示行動電話機一例之圖。

第44B圖係顯示行動電話機之構成例之方塊圖。

第45圖係顯示多工資料之構成圖。

第46圖係模式地顯示各串流如何在多工資料進行多工處理之圖。

第47圖係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。

第48圖係顯示多工資料中之TS封包及原始封包之構造圖。

第49圖係顯示PMT之資料構成圖。

第50圖係顯示多工資料資訊之內部構成圖。

第51圖係顯示串流屬性資訊之內部構成圖。

第52圖係顯示識別影像資料之步驟圖。

第53圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

第54圖係顯示將驅動頻率進行切換之構成圖。

第55圖係顯示識別影像資料且切換驅動頻率之步驟圖。

第56圖係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。

第57A圖係顯示共有訊號處理部之模組一構成例之圖。

第57B圖係顯示共有訊號處理部之模組之另一構成例之圖。

用以實施發明之形態

(成為本發明之基礎之知見)

在業已標準化且被稱為H.264之動態圖像編碼方式中，為了進行資訊量之壓縮，而使用有稱為I圖片、P圖片、B圖片之三種圖片型式。

I圖片係不以間預測編碼處理進行編碼。即，I圖片係以圖片內預測(以下稱為「內預測」)編碼處理進行編碼者。P圖片係參考於顯示時間順序上位於編碼對象圖片前方或後方之已經編碼完畢之一個圖片而進行間預測編碼者。B圖片係參考於顯示時間順序上位於編碼對象圖片前方或後方之已經編碼完畢之2個圖片而進行間預測編碼者。

在間預測編碼中，產生用以界定參考圖片之參考圖片列表。參考圖片列表係指對在間預測參考之已編碼完畢之參考圖片分配有參考圖片索引之列表。例如，在B圖片中，因為能參考2個圖片進行編碼，因此產生2個參考圖片列表(L0、L1)。

第1A圖係用以說明B圖片中之參考圖片列表一例之圖。第1B圖係顯示雙向預測中之預測方向0之參考圖片列表0(L0)一例。在此，在參考圖片列表0中，參考圖片索引0之值0係分配於顯示順序2之參考圖片0。又，參考圖片索引0之值1係分配於顯示順序1之參考圖片1。又，參考圖片索引0之值2係分配於顯示順序0之參考圖片2。即，對編碼對象圖片，在顯示順序上時間上愈接近之參考圖片索引，分配有值愈小之參考圖片索引。

另一方面，第1C圖係顯示雙向預測中之預測方向1之參考圖片列表1(L1)一例。在此，在參考圖片列表1中，參考圖片索引1之值0分配於顯示順序1之參考圖片1。又，參考圖片索引1之值1分配於顯示順序2之參考圖片0。又，參考圖片索引2之值2分配於顯示順序0之參考圖片2。

如此，就可以對各參考圖片分配依每預測方向而異之參考圖片索引之值(第1A圖所示之參考圖片0、1)、或相同參考圖片之值者(第1A圖所示之參考圖片2)。

又，在被稱為H.264之動態圖像編碼方式(非專利文獻1)中，以B圖片中之各編碼對象區塊之間預測之編碼模式而言使用有移動向量檢測模式。在移動向量檢測模式，是將預測圖像資料與編碼對象區塊之圖像資料之差值及產生預測圖像資料所使用之移動向量進行編碼者。又，在移動向量檢測模式，對於預測方向能選擇雙向預測及單向預測。在雙向預測中，參考位於編碼對象圖片前方或後方之已經編碼完畢之2個圖片，而產生預測圖像。在單向預測中，參考位於前方或後方之已經編碼完畢之一個圖片，而產生預測圖像。

又，在被稱為H.264之動態圖像編碼方式中，在B圖片之編碼中，當要導出移動向量時，可選擇稱為時間預測移動向量模式之編碼模式。使用第2圖說明時間預測移動向量模式中之間預測編碼方法。第2圖係用以說明時間預測移動向量模式中之移動向量之圖。具體而言，第2圖係顯示以時間預測移動向量模式而將圖片B2之區塊a進行編碼之形態。

在此，利用在位於圖片B2後方之參考圖片之圖片P3內且位於與圖片a相同之位置之區塊b(以下稱為「共置(co-located)區塊」)之編碼所使用之移動向量vb。移動向量vb係於區塊b參考圖片P1而進行編碼時所使用之移動向量。

使用與移動向量vb平行之移動向量，而由成為前方參考圖片之圖片P1與成為後方參考圖片之圖片P3取得區塊a用之2個參考區塊。接著，根據所取得之2個參考區塊進行2方向預測，使區塊a予以編碼。即，在將區塊a進行編碼時所使用之移動向量係相對於圖片P1，是指移動向量va1，相對於圖片P3，是指移動向量va2。

又，對於B圖片或P圖片中之各編碼對象區塊之間預測模式乃檢討著合併模式(非專利文獻2)。在合併模式中，複製已於編碼對象區塊之鄰接區塊之編碼所使用之預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼。此時，將複製所使用之鄰接區塊之索引等附加在位元流。藉此，構成為可在解碼側時選擇已在編碼使用過之移動方向、移動向量及參考圖片索引者。參考第3圖，說明一具體例。

第3圖係顯示在合併模式中所使用之鄰接區塊之移動向量一例之圖。在第3圖中，鄰接區塊A係指編碼對象區塊之左邊鄰接之編碼完畢區塊。鄰接區塊B為編碼對象區塊之上邊鄰接之編碼完畢區塊。鄰接區塊C為編碼對象區塊之右上邊鄰接之編碼完畢區塊。鄰接區塊D為編碼對象區塊之左下邊鄰接之編碼完畢區塊。

又，鄰接區塊A為已藉預測方向0之單向預測進行編碼之區塊。鄰接區塊A係具有預測方向0之移動向量MvL0_A，作為相對於預測方向0之參考圖片索引RefL0_A所示之參考圖片之移動向量。在此，MvL0表示參考藉參考圖片列表0(L0)所界定之參考圖片之移動向量。又，MvL1表示參考藉參考圖片列表1(L1)所界定之參考圖片之移動向量。

又，鄰接區塊B為已藉預測方向1之單向預測所編碼之區塊。鄰接區塊B係具有預測方向1之移動向量MvL1_B，作為相對於預測方向1之參考圖片索引RefL1_B所示之參考圖片之移動向量。

又，鄰接區塊C為已藉內預測進行編碼之區塊。

又，鄰接區塊D係已藉預測方向0之單向預測進行編碼之區塊。鄰接區塊D係具有預測方向0之移動向量MvL0_D，作為相對於預測方向0之參考圖片索引RefL0_D所示之參考圖片之移動向量。

在如此情況下，亦能由例如使用鄰接區塊A~D之預測方向、移動向量及參考圖片索引、與使用共置區塊所求得之時間預測移動向量模式所得到之預測方向、移動向量及參考圖片索引之中，選出編碼效率最佳者，作為編碼對象區塊之預測方向、移動向量及參考圖片索引。接著，將表示所選擇之預測方向、移動向量及參考圖片索引之區塊之合併區塊索引附加在位元流。

例如，在選擇了鄰接區塊A時，編碼對象區塊係使用預 測方向0之移動向量MvL0_A及參考圖片索引RefL0_A進行編碼。接著，只將表示使用有如第4圖所示之鄰接區塊A之情況之合併區塊索引之值0附加在位元流。藉此，可減少預測方向、移動向量及參考圖片索引之資訊量。

又，如第4圖所示，在合併模式中，不能被使用在編碼處理之候選(以下稱為「不可合併候選」)，或預測方向、移動向量及參考圖片索引之組合相互一致之候選(以下稱為「重複候選」)係由合併區塊候選刪除。

如此，藉刪減合併區塊候選數，可刪減分配至合併區塊索引之編碼量。在此，不能合併之情況係指：合併區塊候選表示：(1)業經內預測編碼之區塊；(2)位於含有編碼對象區塊之切片或圖片境界之外之區塊；或(3)尚未進行編碼之區塊等。

在第4圖之例中，鄰接區塊C係業經內預測編碼者。為此，合併區塊索引3之合併區塊候選為不可合併候選，而由合併區塊候選列表刪除者。又，鄰接區塊D係與鄰接區塊A之預測方向、移動向量、及參考圖片索引一致。為此，合併區塊索引4之合併區塊候選係由合併區塊候選列表刪除者。結果最後，合併區塊候選數成為3，合併區塊候選列表之列表尺寸係設定為3。

合併區塊索引係因應合併區塊候選列表尺寸之大小，如第5圖所示，分配有位元列，進行可變長度編碼者。如此，在合併模式中，藉使分配至合併模式索引之位元列依照合併區塊候選列表尺寸之大小變化，來刪減編碼量。

第6圖係顯示使用合併模式時之編碼處理一例之流程圖。在步驟S1001中，由鄰接區塊及共置區塊取得合併區塊候選之移動向量、參考圖片索引及預測方向。在步驟S1002中，由合併區塊候選刪除重複候選及不可合併候選。在步驟S1003中，業經刪除處理後之合併區塊候選數係設定成合併區塊候選列表尺寸。在步驟S1004中，決定在編碼對象區塊之編碼使用之合併區塊索引。在步驟S1005中，所決定之合併區塊索引係使用藉合併區塊候選列表尺寸所決定之位元列，進行可變長度編碼。

第7圖係顯示使用合併模式時之解碼處理一例之流程圖。在步驟S2001中，由鄰接區塊及共置區塊取得合併區塊候選之移動向量、參考圖片索引及預測方向。在步驟S2002中，由合併區塊候選刪除重複候選及不可合併候選。在步驟S2003中，將經過刪除處理之合併區塊候選數設定為合併區塊候選列表尺寸。在步驟S2004中，由位元流，使用合併區塊候選列表尺寸，而將在解碼對象區塊之解碼使用之合併區塊索引進行解碼。在步驟S2005中，使用已解碼之合併區塊索引所示之合併區塊候選，產生預測圖像，進行解碼處理。

第8圖係顯示將合併區塊索引附加於位元流時之語法。在第8圖中，merge_idx表示合併區塊索引。merge_flag表示合併旗標。NumMergeCand表示合併區塊候選列表尺寸。在該NumMergeCand設定有從合併區塊候選刪除不可合併候選及重複候選後之合併區塊候選數。

如上，使用合併模式而將圖像進行編碼或解碼。

惟，在上述合併模式中，在於將編碼對象區塊進行編碼時之預測方向係依賴於合併區塊候選之預測方向。因此，例如當全部的合併區塊候選為業經1方向預測編碼之區塊時，在合併模式中，編碼對象區塊只能以1方向預測進行編碼。即，就算是比起1方向預測，以2方向預測進行編碼者較能將編碼對象區塊有效率地進行編碼時，亦只能以1方向預測將編碼對象區塊進行編碼，有降低編碼效率之情況。

在此，本發明一態樣之圖像編碼方法係將圖像依每區塊進行編碼而產生位元流者，包含有：決定步驟，係決定合併候選之最大數，該合併候選為編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選小於前述最大數時，將所導出之前述第1合併候選組合，導出2方向預測之第2合併候選者；選擇步驟，係由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述編碼對象區塊之編碼所使用之合併候選者；及編碼步驟，係使用所決定之前述最大數，將用以界定所選擇之前述合併候選之索引進行編碼，且將已編碼之前述索引附加於前述位元流者。

依此，可將已根據與編碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中，未含有2方向預測之合併候選時，亦能重新導出2方向預測之第2合併候選。結果，能增加可選作為合併候選之預測方向、移動向量及參考圖片索引之組合之種類，能提昇編碼效率。

又，當判斷第1合併候選小於最大數時，可導出第2合併候選。因此，在不超過最大數之範圍內增加合併候選之數量，能提昇編碼效率。

進而，可使用已決定之最大數而將用以界定合併候選之索引進行編碼。即，可不依賴實際所導出之合併候選之數，將索引進行編碼。因此，即使在漏失了要導出合併候選時所需之資訊(例如共置區塊等之資訊)時，亦可在解碼側將索引進行解碼，可提昇抗錯性。又，在解碼側，可不依賴實際所導出之合併候選之數之狀態下將索引進行解碼。即，在解碼側，能無須等待合併候選之導出處理，就能進行索引之解碼處理。即，可產生能將合併候選之導出處理與索引之解碼處理並行進行之位元流。

例如，在前述第2導出步驟中，亦可將前述多數第1合併候選中之一個第1合併候選所含之第1預測方向之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向之移動向量及參考圖片索引組合，導出前述第2合併候選。

依此，將2個第1合併候選所含之相異的2個預測方向之 移動向量及參考圖片索引予以組合，就能導出2方向預測之第2合併候選。

例如，在前述第1導出步驟中，亦可使預測方向、移動向量及參考圖片索引之組合不相重複，而導出前述多數第1合併候選者。

依此，可使預測方向、移動向量及參考圖片索引之組合不相重複，而導出多數第1合併候選。結果可使第2合併候選之數增加，可增加能選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類。因此，可進一步提昇編碼效率。

例如，在前述第1導出步驟中，亦可在與前述編碼對象區塊空間性鄰接之區塊之中，導出除業經內預測編碼之區塊、位於含有前述編碼對象區塊之切片或者是圖片境界之外之區塊、及尚未進行編碼之區塊以外之區塊之編碼所使用之預測方向、移動向量及參考圖片索引，作為前述第1合併候選。

依此，為得到合併候選，可由適當的區塊導出第1合併候選。

例如，在前述編碼步驟中，進而將顯示所決定之前述最大數之資訊附加在前述位元流。

依此，可將顯示所決定之最大數之資訊附加在位元流。因此，可以適當的單位切換最大數，可提昇編碼效率。

例如，前述圖像編碼方法亦可更包含有：切換步驟，係將編碼處理切換成依據第1規格之第1編碼處理或依據第 2規格之第2編碼處理者；及附加步驟，係將顯示所切換之前述編碼處理所依據之前述第1規格或前述第2規格之識別資訊附加在前述位元流者；當前述編碼處理係切換成前述第1編碼處理時，執行前述決定步驟、前述第1導出步驟、前述判斷步驟、前述第2導出步驟、前述選擇步驟、及前述編碼步驟作為前述第1編碼處理。

依此，可切換依據第1規格之第1編碼處理及依據第2規格之第2編碼處理。

又，本發明一態樣之圖像解碼方法係將位元流所含之編碼圖像依每區塊進行解碼之圖像解碼方法，包含有：決定步驟，係決定合併候選之最大數，該合併候選為解碼對象區塊之解碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述解碼對象區塊空間性或時間性鄰接之各區塊之解碼所使用之預測方向、移動向量及參考圖片索引導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選之數小於前述最大數時，將所導出之前述第1合併候選組合，導出2方向預測之第2合併候選者；解碼步驟，係使用所決定之前述最大數，將已附加於前述位元流之已編碼且用以界定合併候選之索引進行解碼者；及選擇步驟，係根據已解碼之前述索引，由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述解碼對象區塊之解碼所使用之合併候選者。

依此，可將已根據與解碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中，未含有2方向預測之合併候選時，亦能重新導出2方向預測之第2合併候選。結果，能增加可選作為合併候選之預測方向、移動向量及參考圖片索引之組合之種類，能將已提昇編碼效率之位元流適當地進行解碼者。

又，當判斷第1合併候選小於最大數時，可導出第2合併候選。因此，在不超過最大數之範圍內增加合併候選之數量，能將已進一步提昇編碼效率之位元流適當地進行解碼者。

進而，可使用已決定之最大數而將用以界定合併候選之索引進行解碼。即，可不依賴實際所導出之合併候選之數，將索引進行解碼。因此，即使在漏失了要導出合併候選時所需之資訊(例如共置區塊等之資訊)時，亦可將索引進行解碼，可提昇抗錯性。又，可不依賴實際所導出之合併候選之數之狀態下將索引進行解碼。即，能無須等待合併候選之導出處理，就能進行索引之解碼處理。即，可將合併候選之導出處理與索引之解碼處理並行進行。

例如，在前述第2導出步驟中，亦可將前述多數第1合併候選中之一個第1合併候選所含之第1預測方向之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向之移動向量及參考圖片索引組合，導出前述第2合併候選。

依此，將2個1合併候選所含之相異的2個預測方向之移動向量及參考圖片索引予以組合，就能導出2方向預測之第2合併候選。

例如，在前述第1導出步驟中，亦可使預測方向、移動向量及參考圖片索引之組合不相重複，而導出前述多數第1合併候選者。

依此，可使預測方向、移動向量及參考圖片索引之組合不相重複，而導出多數第1合併候選。結果可使第2合併候選之數增加，可增加能選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類。因此，可將已進一步提昇編碼效率之位元流適當地進行解碼者。

例如，在前述第1導出步驟中，亦可在與前述解碼對象區塊空間性鄰接之區塊之中，導出除業經內預測解碼之區塊、位於含有前述解碼對象區塊之切片或者是圖片境界之外之區塊、及尚未進行解碼之區塊以外之區塊之解碼所使用之預測方向、移動向量及參考圖片索引，作為前述第1合併候選。

依此，為得到合併候選，可由適當的區塊導出第1合併候選。

例如，在前述決定步驟中，亦可根據已附加於前述位元流之顯示最大數之資訊決定前述最大數。

依此，可根據已附加在位元流之資訊而決定最大數。因此可以適當的單位將最大數切換，而將業已編碼之圖像進行解碼。

例如，前述圖像解碼方法亦可更包含有切換步驟，因應已附加在前述位元流之顯示第1規格或第2規格之識別資訊，而將解碼處理切換成依據前述第1規格之第1解碼處理或依據前述第2規格之第2解碼處理者；當前述解碼處理係切換成前述第1解碼處理時，執行前述決定步驟、前述第1導出步驟、前述判斷步驟、前述第2導出步驟、前述解碼步驟、及前述選擇步驟作為前述第1解碼處理。

依此，可切換依據第1規格之第1解碼處理及依據第2規格之第2解碼處理。

此外，其等全體或具體的態樣亦可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體予以實現，亦可以系統、方法、積體電路、電腦程式或記錄媒體之任意組合實現者。

以下針對本發明一形態之圖像編碼裝置及圖像解碼裝置，一邊參考附圖一邊具體說明。

又，以下說明之實施形態任一者都是顯示本發明一具體例者。以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟之順序等只是一例，主旨不在於限定本發明者。又，在以下實施形態中之構成要素之中，將未記載於顯示最上位概念之獨立請求項之構成要素，當作為任意的構成要素予以說明。

又，在此，1方向預測(單向預測)意指只參考第1參考圖片列表(參考圖片列表0)及第2參考圖片列表(參考圖片列表1)之預測。2方向預測(雙向預測)意指參考第1參考圖片列表 及第2參考圖片列表兩者之預測。

此外，2方向預測未必要是參考前方或後方之參考圖片之預測。即，2方向預測亦可為參考2個同一方向(前方或者是後方)之參考圖片之預測。

(實施形態1)

第9圖係顯示實施形態1之圖像編碼裝置之構成方塊圖。圖像編碼裝置100係將圖像依每區塊進行編碼而產生位元流。

圖像編碼裝置100，如第9圖所示，包含有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部105、加法部106、區塊記憶體107、框記憶體108、內預測部109、間預測部110、間預測控制部111、圖片型式決定部112、開關113、合併區塊候選算出部114、colPic記憶體115、及可變長度編碼部116。

減法部101係依每區塊由輸入圖像列所含之輸入圖像資料減去預測圖像資料，產生預測誤差資料。

正交變換部102係對所產生之預測誤差區塊，進行由圖像區域變換成頻率區域之變換。

量化部103係對已變換成頻率區域之預測誤差資料進行量化處理。

反量化部104係對業經量化部103進行量化處理之預測誤差資料進行反量化處理。

反正交變換部105係對業經反量化處理之預測誤差資料，進行由頻率區域變換至圖像區域之變換。

加法部106係依每區塊將預測圖像資料與藉反正交變換部105進行反量化處理之預測誤差資料相加，而產生再構成圖像資料。

區塊記憶體107係將再構成圖像資料以區塊單位予以保存。

框記憶體108係將再構成圖像資料以框單位予以保存。

圖片型式決定部112係決定是否以I圖片、B圖片、及P圖片之任一種圖片型式而將輸入圖像資料進行編碼。接著，圖片型式決定部112產生顯示所決定之圖片型式之圖片型式資訊。

內預測部109係使用區塊記憶體107所保存之區塊單位之再構成圖像資料進行內預測，而產生編碼對象區塊之內預測圖像資料。

間預測部110係使用框記憶體108所保存之框單位之再構成圖像資料與藉移動檢測等所導出之移動向量進行間預測，產生編碼對象區塊之間預測圖像資料。

開關113係於編碼對象區塊進行內預測編碼時，將藉內預測部109所產生之內預測圖像資料作為編碼對象區塊之預測圖像資料，而輸出至減法部101及加法部106。另一方面，開關113係於編碼對象區塊進行間預測編碼時，將藉間預測部110所產生之間預測圖像資料作為編碼對象區塊之預測圖像資料，而輸出至減法部101及加法部106。

合併區塊候選算出部114係使用編碼對象區塊之鄰接區塊之移動向量等及colPic記憶體115所儲存之共置區塊之 移動向量等(colPic資訊)，導出多數合併區塊候選。進而，合併區塊候選算出部114係將所導出之多數合併區塊候選追加至合併區塊候選列表。

又，合併區塊候選算出部114係以後述之方法，將所導出之相異之合併區塊候選所具有之預測方向0之移動向量及參考圖片索引、及預測方向1之移動向量及參考圖片索引組合，導出2方向預測之合併區塊候選(以下稱為「組合合併區塊候選」)，作為新候選。接著，合併區塊候選算出部114係將所導出之組合(combined)合併區塊候選作為新的合併區塊候選，追加至合併區塊候選列表。進而，合併區塊候選算出部114係算出合併區塊候選數。

又，合併區塊候選算出部114係對所導出之各合併區塊候選分配合併區塊索引之值。接著，合併區塊候選算出部114係將合併區塊候選及合併區塊索引傳送至間預測控制部111。又，合併區塊候選算出部114係將所算出之合併區塊候選數傳送至可變長度編碼部116。

間預測控制部111係於使用藉移動檢測所導出之移動向量之預測模式(移動檢測模式)與使用由合併區塊候選所導出之移動向量之預測模式(合併模式)之中選擇可得到最小的預測誤差之預測模式。又，間預測控制部111係將表示預測模式是否為合併模式之合併旗標傳送至可變長度編碼部116。又，間預測控制部111係於選擇了合併模式作為預測模式時，將與所決定之合併區塊候選對應之合併區塊索引傳送至可變長度編碼部116。進而，間預測控制部111係 將含有編碼對象區塊之移動向量等之colPic資料轉送至colPic記憶體115。

可變長度編碼部116係對業經量化處理之預測誤差資料與合併旗標及圖片型式資訊進行可變長度編碼處理，而產生位元流。又，可變長度編碼部116係將合併區塊候選數設定為合併區塊候選列表尺寸。又，可變長度編碼部116係於在編碼所使用之合併區塊索引分配與合併區塊候選列表尺寸對應之位元列，且對所分配之位元列進行可變長度編碼。

第10圖係顯示實施形態1之圖像編碼裝置100之處理動作之流程圖。

在步驟S101中，合併區塊候選算出部114係由編碼對象區塊之鄰接區塊及共置區塊導出合併區塊候選。又，合併區塊候選算出部114係以後述之方法算出合併區塊候選列表尺寸。

例如，在如第3圖般之形態中，合併區塊候選算出部114係選擇鄰接區塊A~D作為合併區塊候選。進而，合併區塊候選算出部114係算出具有藉時間預測模式而由共置區塊之移動向量所算出之移動向量、參考圖片索引及預測方向之共置合併區塊，作為合併區塊候選。

合併區塊候選算出部114，如第11圖(a)所示，對各合併區塊候選分配合併區塊索引。接著，合併區塊候選算出部114係以後述之方法，進行不可合併候選及重複候選之刪除、及新的組合合併區塊候選的追加，算出如第11圖(b)所 示之合併區塊候選列表及合併區塊候選列表尺寸。

合併區塊索引之值愈小而分配愈短之編碼。即，當合併區塊索引之值小時，合併區塊索引所需之資訊量愈少。

另一方面，合併區塊索引之值愈大，合併區塊索引所需之資訊量愈多。因此，對於具有精度愈高之移動向量及參考圖片索引之可能性高之合併區塊候選分配值小之合併區塊索引，編碼效率會變高。

在此，合併區塊候選算出部114，例如亦可就每一合併區塊候選計算選作為合併區塊之次數，對於其次數多之區塊，分配值小之合併區塊索引。具體來說能考慮到，在鄰接區塊先界定好所選擇之合併區塊，當對象區塊之編碼處理時，將相對於所界定之合併區塊之合併區塊索引之值縮小。

此外，合併區塊候選係於不具移動向量等之資訊時(諸如業經內預測編碼之區塊時、位於圖片或切片之境界之外之區塊時、或者是未進行編碼之區塊時)，不能被利用在編碼。

在本實施形態中，不能利用在編碼處理之合併區塊候選稱為不可合併候選。又，將可利用在編碼處理之合併區塊候選稱為可合併候選。又，在多數合併區塊候選中，將其他任一合併區塊候選與移動向量、參考圖片索引及預測方向全部一致之候選稱為重複候選。

在第3圖之型態中，鄰接區塊C係指已藉內預測進行編碼之區塊，因此當作為不可合併候選。又，鄰接區塊D係與 鄰接區塊A之移動向量、參考圖片索引及預測方向全部一致，因此當作為重複候選。

在步驟S102中，間預測控制部111係以後述之方法，比較使用藉移動檢測所導出之移動向量所產生之預測圖像之預測誤差、與使用由合併區塊候選所得到之移動向量所產生之預測圖像之預測誤差，選擇預測模式。在此，如果所選擇之預測模式為合併模式時，間預測控制部111係將合併旗標設定為1，如果不是時，則將合併旗標設定為0。

在步驟S103中，判斷合併旗標是否為1(即，預測模式是否為合併模式)。

在此，如果步驟S103之判斷結果為真時(S103之是)，在步驟S104中，可變長度編碼部116係將合併旗標附加在位元流。進而，在步驟S105中，可變長度編碼部116係對於編碼所使用之合併區塊候選之合併區塊索引分配與如第5圖所示之合併區塊候選列表尺寸對應之位元列。接著可變長度編碼部116係對所分配之位元列進行可變長度編碼。

另一方面，如果步驟S103之判斷結果是偽時(S103之否)，在步驟S106中，可變長度編碼部116係將合併旗標及移動檢測向量模式之資訊附加在位元流。

在本實施形態中，如第11圖(a)所示，對於與鄰接區塊A對應之合併區塊索引之值是分配「0」。又，對於與鄰接區塊B對應之合併區塊索引之值是分配「1」。又，對於與共置合併區塊對應之合併區塊索引之值是分配「2」。又，對於與鄰接區塊C對應之合併區塊索引之值是分配「3」。又，對 於與鄰接區塊D對應之合併區塊索引之值是分配「4」。

此外，合併區塊索引之值之分配方式未必要限於此例。例如，可變長度編碼部116亦可在使用後述之方法而追加有新的組合合併區塊候選等時候，對原來的合併區塊候選分配小的值，對新的組合合併區塊候選分配大的值。即，可變長度編碼部116亦可優先對原來的合併區塊候選分配值小之合併區塊索引。

又，合併區塊候選未必限定於鄰接區塊A~D之位置。例如亦可將位於左下邊鄰接區塊D之上之鄰接區塊等作為合併區塊候選使用。又，未必要將全部的鄰接區塊作為合併區塊候選使用。例如亦可只有鄰接區塊A、B作為合併區塊候選使用。

又，在本實施形態中，在第10圖之步驟S105中，可變長度編碼部116係將合併區塊索引附加於位元流，但未必要將合併區塊索引附加在位元流。例如，可變長度編碼部116係於合併區塊候選列表尺寸為「1」時，亦可不將合併區塊索引附加在位元流。藉此，可減少合併區塊索引之資訊量。

第12圖係顯示第10圖之步驟S101之詳細處理之流程圖。具體來說，第12圖係表示算出合併區塊候選及合併區塊候選列表尺寸之方法。以下針對第12圖予以說明。

在步驟S111中，合併區塊候選算出部114係以後述之方法判斷合併區塊候選[N]是否為可合併候選。

在此，N為用以表示各合併區塊候選之索引值。在本實施形態中，N取0至4之數值。具體來說，合併區塊候選[0] 係分配第3圖之鄰接區塊A。又，合併區塊候選[1]係分配第3圖之鄰接區塊B。又，合併區塊候選[2]係分配共置合併區塊。又，合併區塊候選[3]係分配第3圖之鄰接區塊C。又，合併區塊候選[4]係分配第3圖之鄰接區塊D。

在步驟S112中，合併區塊候選算出部114係取得合併區塊候選[N]之移動向量、參考圖片索引及預測方向，追加至合併區塊候選列表。

在步驟S113中，合併區塊候選算出部114，如第11圖所示，從合併區塊候選列表搜尋不可合併候選及重複候選，且予以刪除。

在步驟S114中，合併區塊候選算出部114係以後述之方法，將新組合合併區塊候選追加至合併區塊候選列表。在此，在追加新組合合併區塊候選時，合併區塊候選算出部114亦可進行合併區塊索引之值之再分配，讓原有之合併區塊候選優先分配值小之合併區塊索引者。即，合併區塊候選算出部114亦可進行合併區塊索引之值之再分配，而將值大之合併區塊索引分配於新零合併區塊候選者。藉此，可減少合併區塊索引之編碼量。

在步驟S115中，合併區塊候選算出部114係將追加組合合併區塊後之合併區塊候選數設定為合併區塊候選列表尺寸。在第11圖之例中，藉後述之方法，合併區塊候選數被算出是「5」，在合併區塊候選列表尺寸設定「5」。

此外，在步驟S114中之新組合合併區塊候選係指以後述之方法，且當合併區塊候選數未達最大合併區塊候選數 時，新追加至合併區塊候選之候選者。如此，當合併區塊候選數未達最大合併區塊候選數時，圖像編碼裝置100係追加2方向預測用之新組合合併區塊候選，藉此提昇編碼效率。

第13圖係顯示第12圖之步驟S111之詳細處理之流程圖。具體來說，第13圖係表示判斷合併區塊候選[N]是否為可合併候選，將可合併候選數更新之方法。以下針對第13圖進行說明。

在步驟S121中，合併區塊候選算出部114係判斷合併區塊候選[N]是否為(1)業經內預測編碼之區塊、或(2)位於含有編碼對象區塊之切片或圖片境界之外之區塊、或(3)尚未進行編碼之區塊。

在此，如果步驟S121之判斷結果為真時(S121的是)，在步驟S122中，合併區塊候選算出部114係將合併區塊候選[N]設定為不可合併候選。另一方面，如果步驟S121之判斷結果為偽時(S121之否)，在步驟S123中，合併區塊候選算出部114係將合併區塊候選[N]設定為可合併候選。

第14圖係顯示第12圖之步驟S114之詳細處理之流程圖。具體來說，第14圖係表示追加組合合併區塊候選之方法。以下針對第14圖予以說明。

在步驟S131中，合併區塊候選算出部114係判斷合併區塊候選數是否小於最大合併區塊候選數。即，合併區塊候選算出部114判斷合併區塊候選數是否未達最大合併區塊候選數。

在此，當步驟S131之判斷結果為真時(S131之是)，在步驟S132中，合併區塊候選算出部114係以後述之方法判斷是否有作為合併區塊候選且可追加至合併區塊候選列表之新組合合併區塊候選存在。在此，當步驟S132之判斷結果為真時(S132之是)，在步驟S133中，合併區塊候選算出部114係於新組合合併區塊候選分配合併區塊索引之值，在合併區塊候選列表追加新組合合併區塊候選。進而，在步驟S134中，合併區塊候選算出部114係於合併區塊候選數加1。在步驟S132之判斷結果為偽時(S132之否)，為算出下一個組合合併區塊候選，而回到步驟S131之處理。

另一方面，當步驟S131之判斷結果為偽時(S131或S132之否)，結束新組合合併區塊候選追加處理。即，當合併區塊候選數已達最大合併區塊候選數時，就結束新組合合併區塊候選追加處理。

第15圖係顯示第14圖之步驟S132之詳細處理之流程圖。具體來說，第15圖係顯示判斷是否有組合合併區塊候選存在之方法。以下針對第15圖予以說明。

在步驟S141中，合併區塊候選算出部114係將合併區塊候選索引idx1、idx2更新。合併區塊候選索引idx1、idx2是用以於判斷是否將分配有合併區塊候選索引idx1、idx2之合併區塊候選[idx1]及合併區塊候選[idx2]之移動向量及參考圖片索引組合，產生組合合併區塊候選之索引。

例如，首先合併區塊候選算出部114將合併區塊候選索引idx1、idx2更新為「0」、「1」。接著，合併區塊候選算 出部114進行步驟S142至S149之處理，判斷是否能使用合併區塊候選列表所含之合併區塊候選[0]之移動向量及參考圖片索引、與合併區塊候選[1]之移動向量及參考圖片索引，產生組合合併區塊候選，藉此判斷有無組合合併區塊候選。

接著，其次，在判斷有無組合合併區塊候選之際，合併區塊候選算出部114係將合併區塊候選索引idx1、idx2更新為「0」、「2」。接著，合併區塊候選算出部114進行步驟S142至S149之處理，判斷是否能使用合併區塊候選列表所含之合併區塊候選[0]之移動向量及參考圖片索引與合併區塊候選[2]之移動向量及參考圖片索引，產生組合合併區塊候選，藉此判斷有無組合合併區塊候選。

進而，在判斷有無下一個組合合併區塊候選之際，合併區塊候選算出部114係將合併區塊候選索引idx1、idx2更新為例如「0」、「3」。

如上，在每次判斷有無組合合併區塊候選時，合併區塊候選算出部114係於步驟S141中，一邊按序更新合併區塊候選索引idx1、idx2，一邊進行步驟S142至步驟S149之處理，藉此判斷有無組合合併區塊候選。

此外，合併區塊候選索引idx1、idx2之更新順序並無須限定於上述順序。即，只要是使用業已導出之合併區塊候選之全部的組合，能進行有無組合合併區塊候選之判斷之順序時，任何順序亦無妨。

其次，在步驟S142中，合併區塊候選算出部114係判斷(1)合併區塊候選索引idx1及idx2是否為相同值，且(2)合併 區塊候選[idx1]是否不是組合合併區塊候選，且(3)合併區塊候選[idx2]是否不是組合合併區塊候選。

在此，倘步驟S142之判斷結果為真時(S142之是)，在步驟S143中，合併區塊候選算出部114判斷(1)合併區塊候選[idx1]及合併區塊候選[idx2]之預測方向是否不同，或(2)合併區塊候選[idx1]及合併區塊候選[idx2]是否都是2方向預測者。在此，倘步驟S143之判斷結果為真時(S143之是)，在步驟S144中，合併區塊候選算出部114判斷(1)合併區塊候選[idx1]是否為預測方向0或2方向預測，且(2)合併區塊候選[idx2]是否為預測方向1或2方向預測。即，合併區塊候選算出部114判斷合併區塊候選[idx1]是否至少具有預測方向0之移動向量，且合併區塊候選[idx2]是否至少具有預測方向1之移動向量。

在此，若步驟S144之判斷結果為真時(S144之是)，在步驟S145a中，合併區塊候選算出部114係將合併區塊候選[idx1]之預測方向0之移動向量及參考圖片索引分配於組合合併區塊之預測方向0。進而，在步驟S146a中，合併區塊候選算出部114係將合併區塊候選[idx2]之預測方向1之移動向量及參考圖片索引分配於組合合併區塊之預測方向1。藉此，合併區塊候選算出部114係算出2方向預測之組合合併區塊。

另一方面，若步驟S144之判斷結果為偽時(S144之否)，在步驟S145b中，合併區塊候選算出部114係將合併區塊候選[idx2]之預測方向0之移動向量及參考圖片索引分配 於組合合併區塊之預測方向0。進而，在步驟S146b中，合併區塊候選算出部114係將合併區塊候選[idx1]之預測方向1之移動向量及參考圖片索引分配於組合合併區塊之預測方向1。藉此，合併區塊候選算出部114係算出2方向預測之組合合併區塊。

在步驟S147中，合併區塊候選算出部114係判斷具有與所算出之組合合併區塊相同之移動向量、參考圖片索引及預測方向之合併區塊候選是否存在於合併區塊候選列表內。即，合併區塊候選算出部114係判斷組合合併區塊是否不是重複候選。

在此，若步驟S147之判斷結果為真時(S147之是)，在步驟S148中，合併區塊候選算出部114判斷有組合合併區塊候選存在。

若步驟S142、步驟S143及步驟S147之判斷結果都為偽時(S142、S143或S147之否)，在步驟S149中，合併區塊候選算出部114判斷沒有組合合併區塊候選存在。

第16圖係顯示第10圖之步驟S102之詳細處理之流程圖。具體來說，第16圖係顯示與合併區塊候選之選擇有關之處理。以下針對第16圖予以說明。

在步驟S151中，間預測控制部111係於合併區塊候選索引設定0，在最小預測誤差設定移動向量檢測模式之預測誤差(成本)，在合併旗標設定0。在此，對於成本，例如以R-D最佳模型之下列的式子算出者。

(式1)Cost=D+λ×R

在式1中，D表示編碼變形。例如採用利用以某移動向量所產生之預測圖像而將編碼對象區塊進行編碼及解碼而所得到之像素值與編碼對象區塊之原像素值間之差值絕對值和值等等，當作為D。又，R表示發生編碼量。使用將在產生預測圖像上所採用之移動向量進行編碼時所需要之編碼量等，當作為R。又，λ表示拉格朗(Lagrange)之未定乘數。

在步驟S152中，間預測控制部111係判斷合併區塊候選索引之值是否小於編碼對象區塊之合併區塊候選數。即，間預測控制部111判斷是否還有尚未進行以下之步驟S153~步驟S155之處理之合併區塊候選存在。

在此，如果步驟S152之判斷結果為真時(S152之是)，在步驟S153中，間預測控制部111係算出分配有合併區塊候選索引之合併區塊候選之成本。其次，在步驟S154中，間預測控制部111係判斷所算出之合併區塊候選之成本是否小於最小預測誤差者。

在此，如果在步驟S154之判斷結果為真時(S154之是)，在步驟S155中，間預測控制部111係將最小預測誤差、合併區塊索引、及合併旗標之值予以更新。另一方面，如果在步驟S154之判斷結果為偽時(步驟S154之否)，間預測控制部111不將最小預測誤差、合併區塊索引、及合併旗標之值更新。

在步驟S156中，間預測控制部111係於合併區塊候選索引之值加1，反覆進行步驟S152至步驟S156之處理。

另一方面，如果在步驟S152之判斷結果為偽時(在步驟S152之否)，即，已沒有了未處理之合併區塊候選時，在步驟S157中，間預測控制部111確定最後所設定之合併旗標及合併區塊索引之值。

如此，依本實施形態之圖像編碼裝置100，根據已經導出之合併區塊候選，重新算出2方向預測之合併區塊候選，藉此可提昇編碼效率。更具體來說，圖像編碼裝置100係根據由鄰接區塊及共置區塊所算出之多數合併區塊候選，將一個合併區塊候選之預測方向0之移動向量及參考圖片索引與另一個合併區塊候選之預測方向1之移動向量及參考圖片索引組合，藉此能算出2方向預測之合併區塊候選(組合合併區塊候選)。接著，圖像編碼裝置100將照此算出之組合合併區塊候選追加至合併區塊候選列表，藉此提昇編碼效率。又，圖像編碼裝置100將不可合併候選或重複候選從合併區塊候選列表刪除後，再將組合合併區塊候選追加至合併區塊候選列表，藉此可在不增加最大合併區塊候選數之狀態下提昇編碼效率。

此外，在本實施形態中，顯示在合併模式中始終將合併旗標附加在位元流之例，但不限於此。例如，亦可因應編碼對象區塊之間預測所使用之區塊形狀等，強制選擇合併模式者。此時，亦可不將合併旗標附加在位元流者，藉此減少資訊量者。

此外，在本實施形態中，顯示了使用合併模式之例，即，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但並不限於此。例如亦可使用跳越合併模式。在跳越合併模式中，使用如第11圖(b)所示之所作成之合併區塊候選列表，與合併模式同樣，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者。結果，倘若編碼對象區塊的所有預測誤差資料為0時，將跳越旗標設定為1，且將跳越旗標及合併區塊索引附加在位元流者。又，如果預測誤差資料不是0時，將跳越旗標設定為0，並將跳越旗標、合併旗標、合併區塊索引及預測誤差資料附加在位元流。

此外，在本實施形態中，顯示了使用合併模式之例，即，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但並不限於此。例如亦可不妨使用第11圖(b)所示之所作成之合併區塊候選列表，將移動向量檢測模式之移動向量進行編碼者。即，亦可不妨由移動向量檢測模式之移動向量減去以合併區塊索引所指定之合併區塊候選之移動向量，藉此求出差值。接著，將所求到之差值及合併區塊索引附加在位元流者。

又，亦可藉由移動檢測模式之參考圖片索引RefIdx_ME與合併區塊候選之參考圖片索引RefIdx_Merge，將合併區塊候選之移動向量MV_Merge進行定標，由移動檢測模式之 移動向量減去定標後之合併區塊候選之移動向量scaledMV_Merge，求出差值。接著，將所求出之差值及合併區塊索引附加在位元流，亦無妨。如下顯示定標之式之例。

(式2)scaledMV_Merge=MV_Merge×(POC(RefIdx_ME)-curPOC)/(POC(RefIdx_Merge)-curPOC)

在此，POC(RefIdx_ME)表示參考圖片索引RefIdx_ME所示之參考圖片之顯示順序。POC(RefIdx_Merge)表示參考圖片索引RefIdx_Merge所示之參考圖片之顯示順序。curPOC表示編碼對象圖片之顯示順序。

(實施形態2)

在上述實施形態1中，合併區塊候選算出部114係於第15圖之步驟S147中，判斷所算出之組合合併區塊是否為重複候選，但未必要如此判斷。例如步驟S147之判斷亦可省略。藉此，圖像編碼裝置100可減少導出合併區塊候選之處理量。

又，在上述實施形態1中，構成為到合併區塊候選數到達最大合併區塊候選數為止，將組合合併區塊候選追加至合併區塊候選列表者，但未必限於此。例如，亦不妨在第14圖之步驟S131中，合併區塊候選算出部114判斷合併區塊候選數是否已到達比最大合併區塊候選數小且已事先訂定之極限值者。藉此，圖像編碼裝置100可減少合併區塊候選列表導出之處理量。

又，在上述實施形態1中，只要合併區塊候選數到達最 大合併區塊候選數時，就結束組合合併區塊候選之追加者，但未必限於此。例如，在第14圖之步驟S131中，合併區塊候選算出部114不判斷合併區塊候選數是否已到達最大合併區塊候選數，而是在合併區塊候選列表追加組合合併區塊候選，直到已沒有新的組合合併區塊候選為止，亦無妨。藉此，圖像編碼裝置100可擴大合併區塊候選之選擇的幅度，可提昇編碼效率。

將如上之實施形態1之圖像編碼裝置之變形例，作為實施形態2之圖像編碼裝置，並具體說明如下。

第17圖係顯示實施形態2之圖像編碼裝置200之構成方塊圖。該圖像編碼裝置200係將圖像依每區塊進行編碼，而產生位元流。圖像編碼裝置200包含有合併候選導出部210、預測控制部220及編碼部230。

合併候選導出部210係對應於上述實施形態1中之合併區塊候選算出部114。合併候選導出部210係導出合併候選。接著，合併候選導出部210，例如產生在所導出之各合併候選對應有用以界定該合併候選之索引(以下稱為「合併索引」)之合併候選列表。

合併候選係指在編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選。即，合併候選至少包括一組預測方向、移動向量及參考圖片索引之組合(set)。

此外，合併候選係對應於實施形態1之合併區塊候選。合併候選列表係與合併區塊候選列表相同。

如第17圖所示，合併候選導出部210具有第1導出部211 及第2導出部212。

第1導出部211係根據已在與編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選。接著，第1導出部211例如將如此導出之各第1合併候選對應於合併索引，並登錄於合併候選列表。

空間性鄰接之區塊係指含有編碼對象區塊之圖片內之區塊，且為鄰接於編碼對象區塊之區塊。具體來說，空間性鄰接之區塊例如為第3圖所示之鄰接區塊A~D。

時間性鄰接之區塊係指與含有編碼對象區塊之圖片不同之圖片所含之區塊，且為與編碼對象區塊對應之區塊。具體來說，時間性鄰接之區塊例如為共置區塊。

此外，時間性鄰接之區塊未必一定是與編碼對象區塊相同位置之區塊(共置區塊)。例如時間性鄰接之區塊亦可為鄰接於共置區塊之區塊。

此外，第1導出部211例如亦可導出在與編碼對象區塊空間性鄰接之區塊之中除不可合併區塊之外之區塊之編碼所使用之預測方向、移動向量及參考圖片索引，作為第1合併候選。不可合併區塊係指業經內預測編碼之區塊、位於含有編碼對象區塊之切片或圖片境界之外之區塊、或尚未進行編碼之區塊。藉此，第1導出部211為了得到合併候選，而由適當的區塊導出第1合併候選。

第2導出部212係將所導出之多數第1合併候選組合，導出第2合併候選。具體來說，第2導出部212，例如將多數第 1合併候選中之一個第1合併候選所含之第1預測方向(預測方向0)之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向(預測方向1)之移動向量及參考圖片索引組合，導出第2合併候選。更具體來說，第2導出部212例如和實施形態1中之組合合併區塊候選之導出(第15圖等)同樣地導出第2合併候選。

進而，第2導出部212，例如將如此導出之第2合併候選對應於合併索引，且登錄於合併候選列表。此時，第2導出部212係與實施形態1同樣，亦可將第2合併候選登錄於合併候選列表，俾於第1合併候選分配其值比第2合併候選小之合併索引者。藉此，圖像編碼裝置200係於選擇第1合併候選作為編碼所使用之合併候選之可能性，較第2合併候選更高時，可減少編碼量，可提昇編碼效率。

預測控制部220係由所導出之第1合併候選及第2合併候選之中，選擇在編碼對象區塊之編碼所使用之合併候選。即，預測控制部220係由合併候選列表，選擇在編碼對象區塊之編碼所使用之合併候選。

編碼部230係將用以界定所選擇之合併候選之索引(合併索引)附加在位元流。例如，編碼部230係使用所導出之第1合併候選之數與第2合併候選之數的和值(合併候選數)，將合併索引進行編碼，且將已進行編碼之合併索引附加在位元流。

其次，針對如上構成之圖像編碼裝置200之各種動作予以說明。

第18圖係顯示實施形態2之圖像編碼裝置200之處理動作之流程圖。

首先，第1導出部212係導出多數第1合併候選(S201)。接著，第2導出部212係導出第2合併候選(S202)。

接著，預測控制部220係由第1合併候選及第2合併候選之中，選擇在編碼對象區塊之編碼所使用之合併候選(S203)。例如預測控制部220係與實施形態1同樣，由合併候選列表選擇式1所示之成本成為最小之合併候選。

最後，編碼部230係將用以界定所選擇之合併候選之索引附加在位元流(S204)。

如上，依本實施形態之圖像編碼裝置200，將已根據與編碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，就可導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中未含有2方向預測之合併候選時，圖像編碼裝置200亦能重新導出2方向預測之第2合併候選。結果，圖像編碼裝置200能增加可選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類，能提昇編碼效率。

(實施形態3)

第19圖係顯示實施形態3之圖像解碼裝置300之構成方塊圖。該圖像解碼裝置300係對應於實施形態1之圖像編碼裝置100之裝置。圖像解碼裝置300例如將藉實施形態1之圖像編碼裝置100所產生之位元流所含之編碼圖像依每區塊進行解碼。

圖像解碼裝置300，如第19圖所示，包含有：可變長度解碼部301、反量化部302、反正交變換部303、加法部304、區塊記憶體305、框記憶體306、內預測部307、間預測部308、間預測控制部309、開關310、合併區塊候選算出部311、及colPic記憶體312。

可變長度解碼部301係對所輸入之位元流，進行可變長度解碼處理，產生圖片型式資訊、合併旗標、及量化係數。又，可變長度解碼部301係使用合併區塊候選算出部311所算出之合併區塊候選數，進行合併區塊索引之可變長度解碼處理。

反量化部302係對藉可變長度解碼處理所得到之量化係數進行反量化處理。

反正交變換部303係藉將已藉反量化處理而所得到之正交變換係數進行由頻率區域到圖像區域之變換，產生預測誤差資料。

區塊記憶體305係將使預測誤差資料與預測圖像資料相加而所產生之解碼圖像資料以區塊單位保存。

框記憶體306係將解碼圖像資料以框單位保存。

內預測部307係使用區塊記憶體305所保存之區塊單位之解碼圖像資料進行內預測，而產生解碼對象區塊之預測圖像資料。

間預測部308係使用框記憶體306所保存之框單位之解碼圖像資料進行間預測，產生解碼對象區塊之預測圖像資料。

開關310係於解碼對象區塊進行內預測解碼時，將藉內預測部307所產生之內預測圖像資料作為解碼對象區塊之預測圖像資料，而輸出至加法部304。另一方面，開關310係於解碼對象區塊進行間預測解碼時，將藉間預測部308所產生之間預測圖像資料作為解碼對象區塊之預測圖像資料，而輸出至加法部304。

合併區塊候選算出部311係使用解碼對象區塊之鄰接區塊之移動向量等及colPic記憶體312所儲存之共置區塊之移動向量等(colPic資訊)，導出多數合併區塊候選。進而，合併區塊候選算出部311係將所導出之合併區塊候選追加至合併區塊候選列表。

又，合併區塊候選算出部311係以後述之方法，導出具有相互不同之合併區塊候選所具有之預測方向0之移動向量及參考圖片索引、與預測方向1之移動向量及參考圖片索引組合，藉此導出組合合併區塊候選，作為新候選。接著，合併區塊候選算出部311係將所導出之組合合併區塊候選重新追加至合併區塊候選列表。進而，合併區塊候選算出部311算出合併區塊候選數。

又，合併區塊候選算出部311係對各合併區塊候選分配置合併區塊索引之值。接著，合併區塊候選算出部311係將分配有合併區塊索引之值之合併區塊候選傳送至間預測控制部309。又，合併區塊候選算出部311係將所算出之合併區塊候選數傳送至可變長度解碼部301。

間預測控制部309係於業已解碼之合併旗標為「0」時， 使用移動向量檢測模式之資訊，在間預測部308產生間預測圖像。另一方面，如果合併旗標為「1」時，間預測控制部309係由多數合併區塊候選，且根據已解碼之合併區塊索引，決定間預測所使用之移動向量、參考圖片索引及預測方向。接著，間預測控制部309係使用所決定之移動向量、參考圖片索引及預測方向，在間預測部308產生間預測圖像。又，間預測控制部309係將含有解碼對象區塊之移動向量等之colPic資訊轉送至colPic記憶體312。

最後，加法部304係將預測圖像資料與預測誤差資料相加，而產生解碼圖像資料。

第20圖係顯示實施形態3之圖像解碼裝置300之處理動作之流程圖。

在步驟S301中，可變長度解碼部301係將合併旗標進行解碼。

在步驟S302中，如果合併旗標為「1」時(S302之是)，在步驟S303中，合併區塊候選算出部311係以與第10圖之步驟S101同樣之方法產生合併區塊候選。又，合併區塊候選算出部311係算出合併區塊候選數，作為合併區塊候選列表尺寸。

在步驟S304中，可變長度解碼部301係使用合併區塊候選列表尺寸，將位元流中之合併區塊索引進行可變長度解碼。

在步驟S305中，間預測控制部309係使用已解碼之合併區塊索引所示之合併區塊候選之移動向量、參考圖片索引 及預測方向，於間預測部308產生間預測圖像。

在步驟S302中，如果合併旗標為「0」時(S302之否)，在步驟S306中，間預測部308係使用已藉可變長度解碼部301進行解碼之移動向量檢測模式之資訊，產生間預測圖像。

此外，當在步驟S303所算出之合併區塊候選列表尺寸為「1」時，合併區塊索引不予以解碼而推定為「0」，亦無妨。

如此，依實施形態3之圖像解碼裝置300，根據業已導出之合併區塊候選，重新算出2方向預測之合併區塊候選，藉此可將已提昇編碼效率之位元流適當地進行解碼。更具體來說，圖像解碼裝置300係根據由鄰接區塊及共置區塊所算出之多數合併區塊候選，將一個合併區塊候選之預測方向0之移動向量及參考圖片索引與另一個合併區塊候選之預測方向1之移動向量及參考圖片索引組合，藉此能算出2方向預測之合併區塊候選(組合合併區塊候選)。接著，圖像解碼裝置300將照此算出之組合合併區塊候選追加至合併區塊候選列表，藉此能將已提昇編碼效率之位元流適當地進行解碼。

又，圖像解碼裝置300將不可合併候選或重複候選從合併區塊候選列表刪除後再將組合合併區塊候選追加至合併區塊候選列表，藉此可在不增加最大合併區塊候選數之狀態下能將已提昇編碼效率之位元流適當地進行解碼。

(實施形態4)

在上述實施形態3中之圖像解碼裝置係具備如第19圖所示之構成要素，但未必要具有全部的構成要素。將實施形態3之圖像解碼裝置之變形例當作為實施形態4之圖像解碼裝置，如下具體說明之。

第21圖係顯示實施形態4之圖像解碼裝置400之構成方塊圖。該圖像解碼裝置400係對應於實施形態2之圖像編碼裝置200之裝置。圖像解碼裝置400例如將藉實施形態2之圖像編碼裝置200所產生之位元流所含之編碼圖像依每區塊進行解碼。

如第21圖所示，圖像解碼裝置400包含有合併候選導出部410、解碼部420及預測控制部430。

合併候選導出部410係對應於上述實施形態3中之合併區塊候選算出部311。合併候選導出部410係導出合併候選。接著，合併候選導出部410，例如產生在所導出之各合併候選對應有用以界定該合併候選之索引(合併索引)之合併候選列表。

如第21圖所示，合併候選導出部410具有第1導出部411及第2導出部412。

第1導出部411係與實施形態2之第1導出部211同樣，導出多數第1合併候選。具體來說，第1導出部411係根據已於與解碼對象區塊空間性或時間性鄰接之各區塊之解碼所使用之預測方向、移動向量及參考圖片索引，導出各第1合併候選。接著，第1導出部411例如將如此導出之各第1合併候選對應於合併索引，並登錄於合併候選列表。

第2導出部412係將所導出之第1合併候選組合，導出2方向預測之第2合併候選。具體來說，第2導出部412係與實施形態2中之第2導出部212同樣地導出第2合併候選。接著，第2導出部212，例如將如此導出之第2合併候選對應於合併索引，並登錄於合併候選列表。

更具體來說，第2導出部412，例如將多數第1合併候選中之一個第1合併候選所含之第1預測方向(預測方向0)之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向(預測方向1)之移動向量及參考圖片索引組合，導出2方向預測之第2合併候選

解碼部420係由位元流取得用以界定合併候選之索引。例如，解碼部420係使用所導出之第1合併候選之數及第2合併候選之數之和值(合併候選數)，而將附加在位元流之已編碼之合併索引進行解碼，藉此取得合併索引。

預測控制部430係根據所取得之索引，由所導出之第1合併候選及第2合併候選之中，選擇在解碼對象區塊之解碼所使用之合併候選。即，預測控制部430係由合併候選列表，選擇在解碼對象區塊之解碼使用之合併候選。

其次，針對如上構成之圖像解碼裝置400之各種動作予以說明。

第22圖係顯示實施形態4之圖像解碼裝置400之處理動作之流程圖。

首先，第1導出部411係導出第1合併候選(S401)。接著，第2導出部412係導出第2合併候選(S402)。再者，解碼部420 係由位元流取得合併索引(S403)。

最後，預測控制部430係根據所取得之索引，由第1合併候選及第2合併候選之中，選擇在解碼對象區塊之解碼所使用之合併候選(S404)。

如上，依本實施形態之圖像解碼裝置400，可將已根據與解碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，就可導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中未含有2方向預測之合併候選時，圖像解碼裝置400亦能重新導出2方向預測之第2合併候選。結果，圖像解碼裝置400能增加可選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類，能將已提昇編碼效率之位元流適當地進行解碼。

(實施形態5)

在實施形態5中，合併區塊候選列表尺寸之導出方法係與實施形態1不同。針對本實施形態之合併區塊候選列表尺寸之導出方法進行詳細說明。

在實施形態1之合併模式中，在將合併區塊索引進行編碼或解碼時所使用之合併區塊候選列表尺寸設定合併區塊候選數。該合併區塊候選數係於使用含有共置區塊等之參考圖片資訊，將不可合併候選或重複候選刪除後而所得到者。

為此，當在圖像編碼裝置與圖像解碼裝置於合併區塊候選數發生了不一致時等情況時，在圖像編碼裝置與圖像解碼裝置於分配至合併區塊索引之位元列發生不一致。結 果圖像解碼裝置會有不能正確地將位元流進行解碼之情況。

例如，當藉傳送路等所發生之封包漏失等而有作為共置區塊予以參考之參考圖片之資訊有所漏失時，造成共置區塊之移動向量或參考圖片索引不明。為此，由共置區塊所產生之合併區塊候選之資訊變成不明。在如此情況下，變成在解碼時不能由合併區塊候選正確地刪除不可合併候選或重複候選。結果圖像解碼裝置不能正確地求出合併區塊候選列表尺寸，不能正常地將合併區塊索引進行解碼。

在此，本實施形態之圖像編碼裝置，可藉不依賴於含有共置區塊等之參考圖片資訊之方法，算出在將合併區塊索引進行編碼或解碼時使用之合併區塊候選列表尺寸。為此，圖像編碼裝置能提高抗錯性。

第23圖係顯示實施形態5之圖像編碼裝置500之構成方塊圖。又，在第23圖中，針對與第9圖同樣之構成要素附上同一符號，且省略說明。

圖像編碼裝置500，如第23圖所示，包含有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部105、區塊記憶體107、框記憶體108、內預測部109、間預測部110、間預測控制部111、圖片型式決定部112、開關113、合併區塊候選算出部514、colPic記憶體115、及可變長度編碼部516。

合併區塊候選算出部514係使用編碼對象區塊之鄰接區塊之移動向量等及colPic記憶體115所儲存之共置區塊之 移動向量等(colPic資訊)，導出合併模式之合併區塊候選。接著，合併區塊候選算出部514係將以後述之方法，算出可合併候選數。

又，合併區塊候選算出部514對所導出之合併區塊候選，分配合併區塊索引之值。接著，合併區塊候選算出部514係將合併區塊候選及合併區塊索引傳送至間預測控制部111。又，合併區塊候選算出部514係將所算出之可合併候選數傳送至可變長度編碼部516。

可變長度編碼部516係對業經量化處理之預測誤差資料、合併旗標及圖片型式資訊進行可變長度編碼處理，而產生位元流。又，可變長度編碼部516係將可合併候選數設定為合併區塊候選列表尺寸。又，可變長度編碼部516係於在編碼所使用之合併區塊索引分配與合併區塊候選列表尺寸對應之位元列，而進行可變長度編碼。

第24圖係顯示實施形態5之圖像編碼裝置500之處理動作之流程圖。此外，在第24圖中，針對與第10圖同樣之步驟附上同一符號，且適度地省略說明。

在步驟S501中，合併區塊候選算出部514係由編碼對象區塊之鄰接區塊及共置區塊導出合併區塊候選。又，合併區塊候選算出部514係以後述之方法算出合併區塊候選列表尺寸。

例如，在如第3圖般之形態中，合併區塊候選算出部514係選擇鄰接區塊A~D作為合併區塊候選。進而，合併區塊候選算出部514係由共置區塊之移動向量算出具有藉時間 預測模式所算出之移動向量等之共置合併區塊，作為合併區塊候選。

合併區塊候選算出部514，如第25圖(a)所示，對各合併區塊候選分配合併區塊索引。接著，合併區塊候選算出部514係以後述之方法，進行不可合併候選及重複候選之刪除、及新候選的追加，算出如第25圖(b)所示之合併區塊候選列表及合併區塊候選列表尺寸。

合併區塊索引之值愈小，分配愈短之編碼。即，當合併區塊索引之值小時，合併區塊索引所需之資訊量愈少。

另一方面，合併區塊索引之值愈大，合併區塊索引所需之資訊量愈多。因此，對於具有精度愈高之移動向量及參考圖片索引之可能性高之合併區塊候選分配值小之合併區塊索引，編碼效率就會變高。

在此，合併區塊候選算出部514，例如亦可就每一合併區塊候選計算選作為合併區塊之次數，對於其次數多之區塊，分配值小之合併區塊索引。具體來說能考慮到，在鄰接區塊先界定好所選擇之合併區塊，當對象區塊進行編碼時，使相對於所界定之合併區塊之合併區塊索引之值變小。

此外，合併區塊候選係於不具移動向量等之資訊時(諸如業經內預測編碼之區塊時、位於圖片或切片之境界之外之區塊時、或者是未進行編碼之區塊時)，該合併區塊候選不能被利用在編碼處理。

在本實施形態中，不能利用在編碼處理之合併區塊候選稱為不可合併候選。又，將可利用在編碼處理之合併區 塊候選稱為可合併候選。又，在多數合併區塊候選中，將移動向量、參考圖片索引及預測方向全部與其他任一合併區塊候選一致之候選稱為重複候選。

在第3圖之型態中，鄰接區塊C係指已藉內預測進行編碼之區塊，因此當作為不可合併候選。又，鄰接區塊D係與鄰接區塊A之移動向量、參考圖片索引及預測方向全部一致，因此當作為重複候選。

在步驟S102中，間預測控制部111係以後述之方法，比較使用藉移動檢測所導出之移動向量所產生之預測圖像之預測誤差、與使用由合併區塊候選所得到之移動向量所產生之預測圖像之預測誤差，選擇預測模式。在此，如果所選擇之預測模式為合併模式時，間預測控制部111係將合併旗標設定為1，如果不是時，則將合併旗標設定為0。

在步驟S103中，判斷合併旗標是否為1(即，預測模式是否為合併模式)。

在此，如果步驟S103之判斷結果為真時(S103之是)，在步驟S104中，可變長度編碼部516係將合併旗標附加在位元流。進而，在步驟S505中，可變長度編碼部516係對於編碼所使用之合併區塊候選之合併區塊索引分配與如第5圖所示之合併區塊候選列表尺寸對應之位元列。接著，可變長度編碼部516係對所分配之位元列進行可變長度編碼。

另一方面，如果步驟S103之判斷結果是偽時(S103之否)，在步驟S106中，可變長度編碼部516係將合併旗標及移動檢測向量模式之資訊附加在位元流。

在本實施形態中，如第25圖(a)所示，合併區塊索引之值是分配「0」，作為與鄰接區塊A對應之合併區塊索引之值。又，分配「1」，作為與鄰接區塊B對應之合併區塊索引之值。又，分配「2」，作為與共置合併區塊對應之合併區塊索引之值。又，分配「3」，作為與鄰接區塊C對應之合併區塊索引之值。又，分配「4」，作為與鄰接區塊D對應之合併區塊索引之值。

此外，合併區塊索引之值之分配方式未必要限於此。例如，可變長度編碼部516亦可使用實施形態1所記述之方法而追加有新候選，或使用後述之方法追加了新候選時等時候，對原來的合併區塊候選分配小的值，對新候選分配大的值。即，可變長度編碼部516亦可優先對原來的合併區塊候選分配值小之合併區塊索引，亦無妨。

又，合併區塊候選未必限定於鄰接區塊A~D之位置。例如亦可將位於左下邊鄰接區塊D之上之鄰接區塊等作為合併區塊候選使用。又，未必要將全部的鄰接區塊作為合併區塊候選使用。例如亦可只有鄰接區塊A、B作為合併區塊候選使用。

又，在本實施形態中，在第24圖之步驟S505中，可變長度編碼部516係將合併區塊索引附加於位元流，但未必要將合併區塊索引附加在位元流。例如，可變長度編碼部516係於合併區塊候選列表尺寸為1時，亦可不將合併區塊索引附加在位元流。藉此，可減少合併區塊索引之資訊量。

第26圖係顯示第24圖之步驟S501之詳細處理之流程 圖。具體來說，第26圖係表示算出合併區塊候選及合併區塊候選列表尺寸之方法。以下針對第26圖予以說明。

在步驟S511中，合併區塊候選算出部514係以後述之方法判斷合併區塊候選[N]是否為可合併候選。接著，合併區塊候選算出部514係依照判斷結果而將可合併候選數更新。

在此，N為用以表示各合併區塊候選之索引值。在本實施形態中，N取0至4之數值。具體來說，對合併區塊候選[0]係分配第3圖之鄰接區塊A。又，對合併區塊候選[1]係分配第3圖之鄰接區塊B。又，對合併區塊候選[2]係分配共置合併區塊。又，對合併區塊候選[3]係分配第3圖之鄰接區塊C。又，對合併區塊候選[4]係分配第5圖之鄰接區塊D。

在步驟S512中，合併區塊候選算出部514係取得合併區塊候選[N]之移動向量、參考圖片索引及預測方向，追加至合併區塊候選列表。

在步驟S513中，合併區塊候選算出部514，如第25圖所示，從合併區塊候選列表搜尋不可合併候選及重複候選，且予以刪除。

在步驟S514中，合併區塊候選算出部514係以實施形態1所記述之方法或後述之方法，將新候選追加至合併區塊候選列表。在此，在追加新候選時，合併區塊候選算出部514亦可進行合併區塊索引之值之再分配，讓原有之合併區塊候選優先分配值小之合併區塊索引者。即，合併區塊候選算出部514亦可進行合併區塊索引之值之再分配，而將值大之合併區塊索引分配於新候選者。藉此，可減少合併區塊 索引之編碼量。

在步驟S515中，合併區塊候選算出部514係將在步驟S511所算出之可合併候選數設定為合併區塊候選列表尺寸。在第25圖之例中，藉後述之方法，可合併候選數被算出是「4」，在合併區塊候選列表尺寸設定「4」。

此外，在步驟S514中之新候選係指以實施形態1之方法或後述之方法，且當合併區塊候選數未達可合併候選數時，新追加至合併區塊候選之候選者。例如，新候選係組合合併區塊候選。又，例如，新候選可為第3圖中之位於左下邊鄰接區塊D之上之鄰接區塊。又，新候選例如亦可為與共置區塊之鄰接區塊A~D對應之區塊。又，新候選亦可為例如參考圖片之畫面全體或一定領域中具有移動向量、參考圖片索引及預測方向之統計值等之區塊。如此，當合併區塊候選數未達可合併候選數時，合併區塊候選算出部514係追加具有新的移動向量、參考圖片索引及預測方向之新候選，藉此提昇編碼效率。

第27圖係顯示第26圖之步驟S511之詳細處理之流程圖。具體來說，第27圖係表示判斷合併區塊候選[N]是否為可合併候選，將可合併候選數更新之方法。以下針對第27圖進行說明。

在步驟S521中，合併區塊候選算出部514係判斷合併區塊候選[N]是否為(1)業經內預測進行編碼之區塊、或(2)位於含有編碼對象區塊之切片或圖片境界之外之區塊、或(3)尚未進行編碼之區塊。

在此，如果步驟S521之判斷結果為真時(S521的是)，在步驟S522中，合併區塊候選算出部514係將合併區塊候選[N]設定為不可合併候選。另一方面，如果步驟S521之判斷結果為偽時(S521之否)，在步驟S523中，合併區塊候選算出部514係將合併區塊候選[N]設定為可合併候選。

在步驟S524中，合併區塊候選算出部514係判斷合併區塊候選[N]是否為可合併候選或者是共置合併區塊候選。在此，步驟S524之判斷結果為真時(S524之是)，在步驟S525中，合併區塊候選算出部514係於合併區塊候選數加1，將合併區塊候選數更新。另一方面，如果步驟S524之判斷結果為偽時(S524之否)，合併區塊候選算出部514不將可合併候選數更新。

如此，當合併區塊候選為共置合併區塊時，合併區塊候選算出部514不管共置區塊是可合併候選或者是不可合併候選，都在可合併候選數加1。藉此，即使在因封包漏失等緣故遺失共置合併區塊之資訊時，亦不會在圖像編碼裝置與圖像解碼裝置上於可合併候選數發生有不一致的情況。

該可合併候選數係於第26圖之步驟S515中，設定為合併區塊候選列表尺寸。進而，在第24圖之步驟S505中，合併區塊候選列表尺寸係使用在合併區塊索引之可變長度編碼處理。藉此，即使漏失含有共置區塊等之參考圖片資訊時，圖像編碼裝置500亦可產生可將合併區塊索引正常解碼之位元流。

第28圖係顯示第26圖之步驟S514之詳細處理之流程圖。具體來說，第28圖係表示追加新候選之方法。以下針對第28圖予以說明。

在步驟S531中，合併區塊候選算出部514係判斷合併區塊候選數是否小於可合併候選數。即，合併區塊候選算出部514判斷合併區塊候選數是否未達可合併候選數。

在此，當步驟S531之判斷結果為真時(S531之是)，在步驟S532中，合併區塊候選算出部114係判斷是否有作為合併區塊候選且可追加至合併區塊候選列表之新候選存在。在此，當步驟S532之判斷結果為真時(S532之是)，在步驟S533中，合併區塊候選算出部514係於新候選分配合併區塊索引之值，在合併區塊候選列表追加新候選。進而，在步驟S534中，在合併區塊候選數加1。

另一方面，當步驟S531或步驟S532之判斷結果為偽時(S531或S532之否)，結束新候選追加處理。即，當合併區塊候選數已達可合併候選數時，或沒有新候選存在時，就結束新候選追加處理。

如此，依本實施形態之圖像編碼裝置500，可藉不依賴於含有共置區塊等之參考圖片資訊之方法，算出在將合併區塊索引進行編碼或解碼時使用之合併區塊候選列表尺寸。藉此，圖像編碼裝置500能提高抗錯性。

更具體來說，本實施形態之圖像編碼裝置500不管共置合併區塊是不是可合併候選，只要合併區塊候選為共置合併區塊時，始終在可合併候選數加1。接著，圖像編碼裝置 500使用照此算出之可合併候選數，決定分配至合併區塊索引之位元列。藉此，圖像編碼裝置500即使在漏失含有共置區塊之參考圖片資訊時，亦可產生可將合併區塊索引正常地解碼之位元流。

又，本實施形態之圖像編碼裝置500係於合併區塊候選數未達可合併候選數時，追加具有新的移動向量、參考圖片索引及預測方向之新候選，作為合併區塊候選，藉此可提昇編碼效率。

此外，在本實施形態中顯示了在合併模式中始終將合併旗標附加在位元流之例，但未必限於此。例如，亦可構成為因應在編碼對象區塊之間預測所使用之區塊形狀等，強制選擇合併模式者。在該形態中，不將合併旗標附加在位元流，以減少資訊量者，亦無妨。

此外，在本實施形態中是顯示了使用合併模式，該合併模式係由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但未必限於此。例如，亦可使用跳越合併模式。在跳越合併模式中，使用如第25圖(b)所作成之合併區塊候選列表，與合併模式同樣，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼。結果如果編碼對象區塊之全部的預測誤差資料為0時，將跳越旗標設定為1，將跳越旗標及合併區塊索引附加於位元流。又，如果預測誤差資料不是0時，將跳越旗標設定為0，將跳越旗標、合併旗標、合併區塊索引及預測誤差資料附加 在位元流。

此外，在本實施形態中是顯示了使用合併模式，該合併模式係由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但未必限於此。例如使用如第25圖(b)所作成之合併區塊候選列表，將移動向量檢測模式之移動向量進行編碼者，亦無妨。即，藉由移動向量檢測模式之移動向量減去以合併區塊索引所指定之合併區塊候選之移動向量，求出差值。接著，將所求出之差值及合併區塊索引附加在位元流，亦無妨。

又，亦可使用移動檢測模式之參考圖片索引RefIdx_ME與合併區塊候選之參考圖片索引RefIdx_Merge，將合併區塊候選之移動向量MV_Merge如式2所示進行定標，由移動檢測模式之移動向量減去定標後之合併區塊候選之移動向量scaledMV_Merge，求出差值。接著，將所求出之差值及合併區塊索引附加在位元流，亦無妨。

(實施形態6)

在上述實施形態5中，圖像編碼裝置不管共置合併區塊是否為可合併候選，只要合併區塊候選是共置合併區塊時，使用始終加1而所算出之可合併候選數，決定分配於合併區塊索引之位元列。惟，圖像編碼裝置係於例如第27圖之步驟S524中，亦可對於共置合併區塊以外之合併區塊候選，亦使用一定始終加1而所算出之可合併候選數，決定分配於合併區塊索引之位元列。即，圖像編碼裝置係使用固定在合併區塊候選數之最大值N之合併區塊候選列表尺 寸，在合併區塊索引分配位元列，亦無妨。即，圖像編碼裝置係將全部的合併區塊候選視為可合併候選，且將合併區塊候選列表尺寸固定於合併區塊候選數之最大值N，將合併區塊索引進行編碼，亦無妨。

例如，在上述實施形態5中，由於合併區塊候選數之最大值N為5(鄰接區塊A、鄰接區塊B、共置合併區塊、鄰接區塊C、鄰接區塊D)，圖像編碼裝置係始終在合併區塊候選列表尺寸設定為5，將合併區塊索引進行編碼，亦無妨。又，例如當合併區塊候選數之最大值N為4(鄰接區塊A、鄰接區塊B、鄰接區塊C、鄰接區塊D)時，圖像編碼裝置始終在合併區塊候選列表尺寸設定4，將合併區塊索引進行編碼，亦無妨。

如此，圖像編碼裝置係因應合併區塊候選數之最大值，決定合併區塊候選列表尺寸，亦無妨。藉此，圖像解碼裝置之可變長度解碼部便可產生不參考鄰接區塊或共置區塊之資訊而將位元流中之合併區塊索引進行解碼之位元流，可減少可變長度解碼部之處理量。

將如上之實施形態5之圖像編碼裝置之變形例，作為實施形態6之圖像編碼裝置，具體說明如下。

第29圖係顯示實施形態6之圖像編碼裝置600之構成方塊圖。該圖像編碼裝置600係將圖像依每區塊進行編碼，而產生位元流。圖像編碼裝置600包含有合併候選導出部610、預測控制部620及編碼部630。

合併候選導出部610係對應於上述實施形態5中之合併 區塊候選算出部514。合併候選導出部610係導出合併候選。接著，合併候選導出部610，例如產生在所導出之各合併候選對應有用以界定該合併候選之索引之合併候選列表。

如第29圖所示，合併候選導出部610具有決定部611、第1導出部612、界定部613、判斷部614及第2導出部615。

決定部611係決定合併候選之最大數。即，決定部611係決定合併區塊候選數之最大數N。

例如，決定部611係根據輸入圖像列(順序、圖片、切片或區塊等)之特徵，決定合併候選之最大數。又例如，決定部611亦可將已事先訂定之數決定為合併候選之最大數。

第1導出部612係根據已於與編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選。在此，第1導出部612係於使第1合併候選之數不超過最大數之狀態下導出第1合併候選。接著，第1導出部212例如將如此導出之各第1合併候選對應於合併索引，並登錄於合併候選列表。

此外，第1導出部612例如亦可導出在與編碼對象區塊空間性鄰接之區塊之中除不可合併區塊之外之區塊之編碼所使用之預測方向、移動向量及參考圖片索引，作為第1合併候選。不可合併區塊係指業經內預測編碼之區塊、位於含有編碼對象區塊之切片或圖片境界之外之區塊、或尚未進行編碼之區塊。藉此，第1導出部612為了得到合併候選，而由適當的區塊導出第1合併候選。

界定部613係由所導出之多數第1合併候選之中，界定預測方向、移動向量及參考圖片索引與其他的第1合併候選重複之第1合併候選(重複候選)。接著，界定部613係由合併候選列表刪除所界定之重複候選。

判斷部614係判斷第1合併候選之數是否小於已決定之最大數。在此，判斷部614係判斷除所界定之重複的第1合併候選以外之第1合併候選之數是否小於所決定之最大數。

第2導出部615係於判斷第1合併候選之數小於所決定之最大數時，將多數第1合併候選組合，導出2方向預測之第2合併候選。具體來說，第2導出部615係將第1合併候選之數與第2合併候選之數之和不超過最大數，而導出第2合併候選。在此，第2導出部615係使除重複候選以外之第1合併候選之數與第2合併候選之數之和值不超過最大數，而導出第2合併候選。具體來說，第2導出部615例如與實施形態1中之組合合併區塊候選之導出(第15圖等)同樣，導出第2合併候選。

更具體來說，第2導出部615，例如將多數第1合併候選中之一個第1合併候選所含之第1預測方向(預測方向0)之移動向量及參考圖片索引及另一個第1合併候選所含之第2預測方向(預測方向1)之移動向量及參考圖片索引組合，導出2方向預測之第2合併候選。

接著，第2導出部615例如將如此導出之第2合併候選對應於合併索引，並登錄於合併候選列表。此時，第2導出部615亦可對第1合併候選分配比第2合併候選小之值之合併 索引，將第2合併候選登錄於合併候選列表。藉此，圖像編碼裝置600係於比起第2合併候選而選擇第1合併候選作為在編碼所使用之合併候選之可能性較高時，可減少編碼量，可提昇編碼效率。

此外，第2導出部615未必要使第1合併候選之數與第2合併候選之數之和值與所決定之最大數一致，而導出第2合併候選。當第1合併候選之數與第2合併候選之數之和值小於所決定之最大數時，例如亦可有合併候選不對應之合併索引之值存在。

預測控制部620係由第1合併候選及第2合併候選之中，選擇在編碼對象區塊之編碼所使用之合併候選。即，預測控制部620係由合併候選列表，選擇在編碼對象區塊之編碼所使用之合併候選。

編碼部630係使用所決定之最大數而將用以界定所選擇之合併候選之索引(合併索引)進行編碼。具體來說，編碼部630，如第29圖所示，將已分配於所選擇之合併候選之索引值之位元列進行可變長度編碼。進而，編碼部630係將業已編碼之索引附加在位元流。

在此，編碼部630進而亦可將顯示藉決定部611所決定之最大數之資訊附加在位元流。具體來說，編碼部630亦可將顯示最大數之資訊寫入諸如切片標頭等。藉此，可以適當的單位切換最大數，可提昇編碼效率。

此外，編碼部630未必要將顯示最大數之資訊附加於位元流。例如，當最大數已藉規格所決定時，或最大數與既 定值相同等時候，編碼部630亦可不將顯示最大數之資訊附加在位元流。

其次，針對如上構成之圖像編碼裝置600之各種動作予以說明。

第30圖係顯示實施形態6之圖像編碼裝置600之處理動作之流程圖。

首先，決定部611係決定合併候選之最大數(S601)。第1導出部612係導出多數第1合併候選(S602)。界定部613係界定預測方向、移動向量及參考圖片索引與其他的第1合併候選重複之第1合併候選(重複候選)(S603)。

判斷部614係判斷除重複候選以外之第1合併候選之數是否小於所決定之最大數(S604)。在此，當判斷除重複候選以外之第1合併候選之數小於所決定之最大數時(S604之是)，第2導出部615係將多數第1合併候選組合，導出2方向預測之第2合併候選(S605)。另一方面，當未判斷除重複候選之外之第1合併候選之數小於所決定之最大數時(S604之否)，第2導出部615不導出第2合併候選。其等步驟S604及步驟S605係相當於實施形態5中之步驟S514。

預測控制部620係由第1合併候選及第2合併候選之中，選擇在編碼對象區塊之編碼所使用之合併候選(S606)。例如預測控制部220係與實施形態1同樣，由合併候選列表選擇式1所示之成本成為最小之合併候選。

編碼部630係使用所決定之最大數，將用以界定所選擇之合併候選之索引進行編碼(S607)。進而，編碼部630係將 業已編碼之索引附加在位元流。

如上，依本實施形態之圖像編碼裝置600，可將已根據與編碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中，未含有2方向預測之合併候選時，圖像編碼裝置600亦能重新導出2方向預測之第2合併候選。結果，圖像編碼裝置600能增加可選作為合併候選之預測方向、移動向量及參考圖片索引之組合之種類，能提昇編碼效率。

進而，依本實施形態之圖像編碼裝置600，可使用所決定之最大數而將用以界定合併候選之索引進行編碼。即，可在不依賴實際導出之合併候選之數之狀態下，而將索引進行編碼。因此，即使在漏失了在導出合併候選時所需之資訊(例如共置區塊等之資訊)時，亦可在解碼側將索引進行解碼，可提昇抗錯性。又，在解碼側，可在不依賴實際導出之合併候選之數之狀態下將索引進行解碼。即，在解碼側，無須等待合併候選之導出處理，即可進行索引之解碼處理。即，可產生使合併候選之導出處理與索引之解碼處理能並行進行之位元流。

進而，依本實施形態之圖像編碼裝置600，當判斷為第1合併候選之數小於最大數時，可導出第2合併候選。因此，可在不超過最大數之範圍內將合併候選之數增加，可提昇編碼效率。

又，依本實施形態之圖像編碼裝置600，可因應除重複 之第1合併候選之外之第1合併候選之數而導出第2合併候選。結果，可將第2合併候選之數增加，可增加能作為合併候選而所選擇之預測方向、移動向量及參考圖片索引之組合之種類。因此能進一步提昇編碼效率。

此外，在本實施形態中，圖像編碼裝置600具有界定部613，但未必要具備界定部613。即，在第30圖所示之流程中未必要含有步驟S603。在如此情況下，圖像編碼裝置600亦可使用所決定之最大數而將用以界定合併候選之索引進行編碼，因此可提昇抗錯性。

又，在本實施形態中，如第30圖所示，在第1導出部612導出了第1合併候選之後界定部613界定了重複候選，但未必要照此按順序進行處理。例如，第1導出部612係於導出第1合併候選之過程中，亦可界定重複候選，使所界定之重複候選不包括在第1合併候選，而導出第1合併候選。即，第1導出部612亦可導出預測方向、移動向量及參考圖片索引之組合不與已經導出之第1合併候選重複之合併候選，作為第1合併候選。更具體來說，例如當已導出了根據左邊鄰接區塊之合併候選作為第1合併候選時，只要根據上邊鄰接區塊之合併候選不與根據左邊鄰接區塊之合併候選重複時，第1導出部612亦可導出根據上邊鄰接區塊之合併候選作為第1合併候選。

即，第1導出部612亦可使預測方向、移動向量及參考圖片索引之組合不相互重複，而導出多數第1合併候選。藉此，第1導出部612可由第1合併候選排除預測方向、移動向 量及參考圖片索引之組合與已導出之第1合併候選重複之合併候選。結果圖像編碼裝置600可使第2合併候選之數增加，可增加能選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類。因此，第1導出部612可進一步提昇編碼效率者。

(實施形態7)

在實施形態7中，合併區塊候選列表尺寸之導出方法係與實施形態3不同。針對本實施形態中之合併區塊候選列表尺寸之導出方法進行詳細說明。

第31圖係顯示實施形態7之圖像解碼裝置700之構成方塊圖。此外，在第31圖中，針對與第19圖同樣之構成要素附上相同符號，且省略說明。

該圖像解碼裝置700係對應於實施形態5之圖像編碼裝置500之裝置。圖像解碼裝置700例如將藉實施形態5之圖像編碼裝置500所產生之位元流所含之編碼圖像依每區塊進行解碼。

圖像解碼裝置700，如第31圖所示，包含有：可變長度解碼部701、反量化部302、反正交變換部303、加法部304、區塊記憶體305、框記憶體306、內預測部307、間預測部308、間預測控制部309、開關310、合併區塊候選算出部711、及colPic記憶體312。

可變長度解碼部701係對所輸入之位元流，進行可變長度解碼處理，產生圖片型式資訊、合併旗標、及量化係數。又，可變長度解碼部701係使用後述之可合併候選數，進行 合併區塊索引之可變長度解碼處理。

合併區塊候選算出部711係以後述之方法，使用解碼對象區塊之鄰接區塊之移動向量等及colPic記憶體312所儲存之共置區塊之移動向量等(colPic資訊)，導出合併模式之合併區塊候選。又，合併區塊候選算出部711係將所導出之各合併區塊候選分配合併區塊索引之值。接著，合併區塊候選算出部711係將合併區塊候選及合併區塊索引傳送至間預測控制部309。

第32圖係顯示實施形態7之圖像解碼裝置之處理動作之流程圖。

在步驟S701中，可變長度解碼部701係將合併旗標進行解碼。

在步驟S702中，如果合併旗標為「1」時(S702之是)，在步驟S703中，合併區塊候選算出部711係以後述之方法，算出可合併候選數。接著，合併區塊候選算出部711係將所算出之可合併候選數設定為合併區塊候選列表尺寸。

接著，在步驟S704中，可變長度解碼部701係使用合併區塊候選列表尺寸，將位元流中之合併區塊索引進行可變長度解碼。在步驟S705中，合併區塊候選算出部711係以實施形態1或者是實施形態3所記述之方法或後述之方法，由解碼對象區塊之鄰接區塊及共置區塊產生合併區塊候選。

在步驟S706中，間預測控制部309係使用已解碼之合併區塊索引所示之合併區塊候選之移動向量、參考圖片索引及預測方向，於間預測部308產生間預測圖像。

在步驟S702中，如果合併旗標為「0」時(S702之否)，在步驟S707中，間預測部308係使用已藉可變長度解碼部701解碼之移動向量檢測模式之資訊，產生間預測圖像。

此外，當在步驟S703所算出之合併區塊候選列表尺寸為「1」時，合併區塊索引不予以解碼而推定為「0」，亦無妨。

第33圖係顯示第32圖之步驟S703之詳細處理之流程圖。具體來說，第33圖係表示判斷合併區塊候選[N]是否為可合併候選，算出可合併候選數之方法。以下針對第33圖予以說明。

在步驟S711中，合併區塊候選算出部711係判斷合併區塊候選[N]為(1)業經內預測解碼之區塊、或(2)位於含有解碼對象區塊之切片或圖片境界之外之區塊、或(3)尚未進行解碼之區塊。

在此，如果步驟S711之判斷結果為真時(S711的是)，在步驟S712中，合併區塊候選算出部711係將合併區塊候選[N]設定為不可合併候選。另一方面，如果步驟S711之判斷結果為偽時(S711之否)，在步驟S713中，合併區塊候選算出部711係將合併區塊候選[N]設定為可合併候選。

在步驟S714中，合併區塊候選算出部711係判斷合併區塊候選[N]是可合併候選或者是共置合併區塊候選。在此，步驟S714之判斷結果為真時(S714之是)，在步驟S715中，合併區塊候選算出部711係於合併區塊候選數加1，將合併區塊候選數更新。另一方面，如果步驟S714之判斷結果為 偽時(S314之否)，合併區塊候選算出部711不將可合併候選數更新。

如此，當合併區塊候選為共置合併區塊時，合併區塊候選算出部711不管共置區塊是可合併候選或者是不可合併候選，都在可合併候選數加1。藉此，即使在因封包漏失等緣故遺失共置合併區塊之資訊時，在圖像編碼裝置與圖像解碼裝置上可合併候選數亦不會發生不一致的情況。

該可合併候選數係於第32圖之步驟S703中，設定為合併區塊候選列表尺寸。進而，在第32圖之步驟S704中，合併區塊候選列表尺寸係使用在合併區塊索引之可變長度解碼處理。藉此，即使遺失含有共置區塊等之參考圖片資訊時，圖像解碼裝置700亦可將合併區塊索引正常地進行解碼。

第34圖係顯示第32圖之步驟S705之詳細處理之流程圖。具體來說，第34圖係表示算出合併區塊候選之方法。以下針對第34圖予以說明。

在步驟S721中，合併區塊候選算出部711係取得合併區塊候選[N]之移動向量、參考圖片索引及預測方向，追加至合併區塊候選列表。

在步驟S722中，合併區塊候選算出部711，如第25圖所示，從合併區塊候選列表搜尋不可合併候選及重複候選，且予以刪除。

在步驟S723中，合併區塊候選算出部711係以實施形態1或者是實施形態3所記述之方法，或與第28圖同樣之方法 將新候選追加至合併區塊候選列表。

第35圖係表示將合併區塊索引附加在位元流時之語法之一例。在第35圖中，merge_idx表示合併區塊索引，merge_flag表示合併旗標。NumMergeCand表示合併區塊候選列表尺寸，在本實施形態中，設定以第33圖之處理過程所算出之可合併候選數。

如此，依本實施形態之圖像解碼裝置700，可以不依賴含有共置區塊等之參考圖片資訊之方法，算出在將合併區塊索引進行編碼或解碼時使用之合併區塊候選列表尺寸。藉此，圖像解碼裝置700可將已提昇抗錯性之位元流適當地進行解碼者。

更具體來說，本實施形態之圖像解碼裝置700不管共置合併區塊是否為可合併候選，只要合併區塊候選是共置合併區塊，就始終在可合併候選數加1。接著，圖像解碼裝置700係使用如此算出之可合併候選數，決定分配於合併區塊索引之位元列。藉此，圖像解碼裝置700即使在漏失含有共置區塊之參考圖片資訊時，亦可將合併區塊索引正常地進行解碼。

又，本實施形態之圖像解碼裝置700係於合併區塊候選數未達可合併候選數時，追加具有新的移動向量、參考圖片索引及預測方向之新候選，作為合併區塊候選，便可將已提昇編碼效率之位元流適當地解碼。

(實施形態8)

在上述實施形態7中，圖像解碼裝置不管共置合併區塊 是否為可合併候選，只要合併區塊候選是共置合併區塊時，使用始終加1而算出之可合併候選數，決定分配於合併區塊索引之位元列。惟，圖像解碼裝置例如在第33圖之步驟S714中，亦可對於共置合併區塊以外之合併區塊候選，使用一定始終加1而算出之可合併候選數，決定分配於合併區塊索引之位元列。即，圖像解碼裝置亦可使用固定為合併區塊候選數之最大值N之合併區塊候選列表尺寸，對合併區塊索引分配位元列者。即，圖像解碼裝置亦可將全部的合併區塊候選視為可合併候選，且將合併區塊候選列表尺寸固定在合併區塊候選數之最大值N，將合併區塊索引進行解碼者。

例如，在上述實施形態7中，由於合併區塊候選數之最大值N為5(鄰接區塊A、鄰接區塊B、共置合併區塊、鄰接區塊C、鄰接區塊D)，圖像解碼裝置係始終在合併區塊候選列表尺寸設定為5，將合併區塊索引進行解碼，亦無妨。藉此，圖像解碼裝置之可變長度解碼部能在不參考鄰接區塊或共置區塊之資訊之狀態下，而將位元流中之合併區塊索引進行解碼者。結果例如可將第33圖之步驟S714及步驟S715之處理等予以省略，可減少可變長度解碼部之處理量。

第36圖係顯示將合併區塊候選列表尺寸固定在合併區塊候選數之最大值時之語法一例。如第36圖所示，當將合併區塊候選列表尺寸固定在合併區塊候選數之最大值時，可由語法刪除NumMergeCand。

將如上之實施形態7之圖像解碼裝置之變形例當作為 實施形態8之圖像解碼裝置，如下具體說明之。

第37圖係顯示實施形態8之圖像解碼裝置800之構成方塊圖。該圖像解碼裝置800係將位元流所含之編碼圖像依每區塊進行解碼。具體來說，圖像解碼裝置800例如將藉實施形態6之圖像編碼裝置600所產生之位元流所含之編碼圖像依每區塊進行解碼。圖像解碼裝置800包含有合併候選導出部810、解碼部820及預測控制部830。

合併候選導出部810係對應於上述實施形態7中之合併區塊候選算出部711。合併候選導出部810係導出合併候選。接著，合併候選導出部810，例如產生在所導出之各合併候選對應有用以界定該合併候選之索引(合併索引)之合併候選列表。

如第37圖所示，合併候選導出部810具有決定部811、第1導出部812、界定部813、判斷部814及第2導出部815。

決定部811係決定合併候選之最大數。即，決定部811係決定合併區塊候選數之最大值N。

例如，決定部811係以與實施形態6之決定部611同樣之方法，決定合併候選之最大數。又例如，決定部811亦可根據附加在位元流之顯示最大數之資訊，決定最大數者。藉此，圖像解碼裝置800可以適當的單位切換最大數，將已編碼之圖像進行解碼者。

此外，在此，決定部811具有合併候選導出部810，但亦可設置於解碼部820。

第1導出部812係與實施形態6之第1導出部612同樣，導 出多數第1合併候選。具體來說，第1導出部812，根據已於與解碼對象區塊空間性或時間性鄰接之區塊之解碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選。接著，第1導出部812例如將如此導出之第1合併候選對應於合併索引，並登錄於合併候選列表。

此外，第1導出部812例如亦可導出在與解碼對象區塊空間性鄰接之區塊之中除不可合併區塊以外之區塊之解碼處理所使用之預測方向、移動向量及參考圖片索引，作為第1合併候選。藉此，第1導出部812為了得到合併候選，可由適當的區塊導出第1合併候選。

界定部813係由已導出之多數第1合併候選之中，界定預測方向、移動向量及參考圖片索引與其他的第1合併候選重複之第1合併候選(重複候選)。接著，界定部813係由合併候選列表刪除所界定之重複候選。

判斷部814係判斷第1合併候選之數是否小於已決定之最大數。在此，判斷部814係判斷除所界定之重複的第1合併候選以外之第1合併候選之數是否小於所決定之最大數。

第2導出部815係於判斷第1合併候選之數小於所決定之最大數時，將多數第1合併候選組合，導出2方向預測之第2合併候選。具體來說，第2導出部815係與實施形態6之第2導出部615同樣，導出第2合併候選。例如，第2導出部815將第1合併候選之數與第2合併候選之數之和不超過最大數，而導出第2合併候選。在此，第2導出部815係使除重複候選以外之第1合併候選之數與第2合併候選之數之和值 不超過最大數，而導出第2合併候選。

更具體來說，第2導出部815，例如將多數第1合併候選中之一個第1合併候選所含之第1預測方向(預測方向0)之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向(預測方向1)之移動向量及參考圖片索引組合，導出第2合併候選。

接著，第2導出部815例如將如此導出之第2合併候選對應於合併索引，並登錄於合併候選列表。此時，第2導出部815亦可對第1合併候選分配比第2合併候選小之值之合併索引，將第2合併候選登錄於合併候選列表。藉此，圖像解碼裝置800可將已提昇編碼效率之位元流適當地進行解碼。

此外，第2導出部815未必要使第1合併候選之數與第2合併候選之數之和值與所決定之最大數一致，而導出第2合併候選。當第1合併候選之數與第2合併候選之數之和小於所決定之最大數時，例如亦可有合併候選不對應之合併索引之值存在。

解碼部820係使用所決定之最大數，而將附加在位元流之已編碼且用以界定合併候選之索引進行解碼。

預測控制部830係根據所解碼之索引，由第1合併候選及第2合併候選之中，選擇在解碼對象區塊之解碼處理所使用之合併候選。即，預測控制部830係由合併候選列表，選擇在解碼對象區塊之解碼處理使用之合併候選。

其次，針對如上構成之圖像解碼裝置800之各種動作予以說明。

第38圖係顯示實施形態8之圖像解碼裝置800之處理動作之流程圖。

首先，決定部811係決定合併候選之最大數(S801)。第1導出部812係導出第1合併候選(S802)。界定部813係於導出了多數第1合併候選時，界定預測方向、移動向量及參考圖片索引與其他的第1合併候選重複之第1合併候選(重複候選)(S803)。

判斷部814係判斷除重複候選以外之第1合併候選之數是否小於所決定之最大數(S804)。在此，當判斷除重複候選以外之第1合併候選之數小於所決定之最大數時(S804之是)，第2導出部815係導出第2合併候選(S805)。另一方面，當未判斷除重複候選以外之第1合併候選之數小於所決定之最大數時(S804之否)，第2導出部815不導出第2合併候選。

解碼部820係使用所決定之最大數，將已附加在位元流之已編碼且用以界定合併候選之索引進行解碼(S806)。

預測控制部830係根據已解碼之索引，由第1合併候選及第2合併候選之中，選擇在解碼對象區塊之解碼處理所使用之合併候選(S807)。例如預測控制部830係與實施形態1同樣，由合併候選列表選擇式1所示之成本成為最小之合併候選。

此外，在此，索引之解碼處理(S806)是在導出了合併候選後才進行者，但未必要照如此順序進行。例如，亦可在索引之解碼處理(S806)之後進行合併候選之導出處理(S802~S805)。又，索引之解碼處理(S806)與合併候選之導 出處理(S802~S805)亦可並行處理。藉此，可提高解碼之處理速度。

如上，依本實施形態之圖像解碼裝置800，可將已根據與解碼對象區塊空間性或時間性鄰接之各區塊所導出之多數第1合併候選組合，導出2方向預測之第2合併候選。尤其是在多數第1合併候選之中，未含有2方向預測之合併候選時，圖像解碼裝置800亦能重新導出2方向預測之第2合併候選。結果，圖像解碼裝置800能增加可選作為合併候選之預測方向、移動向量及參考圖片索引之組合之種類，能將已提昇編碼效率之位元流適當地進行解碼。

進而，依本實施形態之圖像解碼裝置800，使用所決定之最大數而將用以界定合併候選之索引進行解碼。即，可在不依賴實際導出之合併候選之數之狀態下，而將索引進行解碼。因此，即使在漏失了在導出合併候選時所需之資訊(例如共置區塊等之資訊)時，圖像解碼裝置800亦可將索引進行解碼，可提昇抗錯性。進而，圖像解碼裝置800無須等待合併候選之導出處理，即可進行索引之解碼處理，且，可使合併候選之導出處理與索引之解碼處理能並行進行。

進而，依本實施形態之圖像解碼裝置800，當判斷為第1合併候選之數小於最大數時，可導出第2合併候選。因此，圖像解碼裝置800可在不超過最大數之範圍內將合併候選之數增加，可將已提昇編碼效率之位元流適當地進行解碼。

又，依本實施形態之圖像解碼裝置800，可因應除重複之第1合併候選以外之第1合併候選之數，而導出第2合併候 選。結果，圖像解碼裝置800可將第2合併候選之數增加，可增加能作為合併候選而所選擇之預測方向、移動向量及參考圖片索引之組合之種類。因此圖像解碼裝置800可將進一步提昇了編碼效率之位元流適當地解碼。

此外，在本實施形態中，圖像解碼裝置800具有界定部813，但與實施形態6同樣，未必要具備界定部813。即，在第38圖所示之流程中未必要含有步驟S803。在如此情況下，圖像解碼裝置800亦可使用所決定之最大數而將用以界定合併候選之索引進行解碼，因此可提昇抗錯性。

又，在本實施形態中，如第38圖所示，在第1導出部812導出了第1合併候選之後界定部813界定了重複候選，但未必要如此按順序進行處理。例如，第1導出部812亦可導出預測方向、移動向量及參考圖片索引之組合不與已導出之第1合併候選重複之合併候選，作為第1合併候選。即，第1導出部812可使預測方向、移動向量及參考圖片索引之組合不相互重複，而導出多數第1合併候選。藉此，第1導出部812可由第1合併候選排除預測方向、移動向量及參考圖片索引之組合與已導出之第1合併候選重複之合併候選。結果圖像解碼裝置800可使第2合併候選之數增加，可增加能選擇作為合併候選之預測方向、移動向量及參考圖片索引之組合的種類。因此，圖像解碼裝置800能將已進一步提昇編碼效率之位元流適當地進行解碼。

以上是根據實施形態，說明了本發明之一個或多數態樣之圖像編碼裝置及圖像解碼裝置，但本發明並非限定於 該實施形態者。只要不脫離本發明旨趣，熟悉技藝之人士將可思及之各種變形實施在本實施形態者或將不同實施形態中之構成要素組合而構築成之形態亦可包括在本發明一個或多數態樣之範圍內。

此外，在上述各實施形態中，各構成要素能以專用的硬體所構成，或亦可藉執行適於各構成要素之軟體程式而予以實現。各構成要素亦可藉由CPU或處理器等之程式執行部讀出記錄在硬碟或半導體記憶體等之記錄媒體之軟體程式且執行之，而予以實現。在此，實現上述各實施形態之圖像編碼裝置或圖像解碼裝置等之軟體係如下之程式。

即，該程式係使電腦執行圖像編碼方法者，該圖像編碼方法係藉將圖像依每區塊進行編碼而產生位元流者，包含有：決定步驟，係決定合併候選之最大數，該合併候選為編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選之數小於前述最大數時，將所導出之前述多數第1合併候選組合，導出2方向預測之第2合併候選者；選擇步驟，係由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述編碼對象區塊之編碼所使用之合併候選者；及編碼步驟，係使用所決定之前述最大數， 將用以界定所選擇之前述合併候選之索引進行編碼，且將已編碼之前述索引附加於前述位元流者。

或，該程式係使電腦執行圖像解碼方法者，該圖像解碼方法係將位元流所含之編碼圖像依每區塊進行解碼者，包含有：決定步驟，係決定合併候選之最大數，該合併候選為解碼對象區塊之解碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述解碼對象區塊空間性或時間性鄰接之各區塊之解碼所使用之預測方向、移動向量及參考圖片索引導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選之數小於前述最大數時，將所導出之前述第1合併候選組合，導出2方向預測之第2合併候選者；解碼步驟，係使用所決定之前述最大數，將已附加於前述位元流之已編碼且用以界定合併候選之索引進行解碼者；及選擇步驟，係根據已解碼之前述索引，由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述解碼對象區塊之解碼所使用之合併候選者。

(實施形態9)

藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，就可在獨立的電腦系統上簡單實施上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式 者即可。

進而在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該應用例之系統。該系統係以具有使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置者為特徵所在。針對系統中之其他構成，能因應情況而做適當的變更。

第39圖係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。

惟，內容供給系統ex100不限定於如第39圖之構成，亦可連接組合任一種要素構成者。又，亦可使各機器直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接者。又，各機器亦可經由近距離無線等而直接相連接者。

相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動畫攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標) (Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。

在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明一態樣之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而將所傳送之內容資料進行串流發送。對於客戶，有諸如可將業經上述編碼處理之資料進行解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料解碼處理後予以再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能者)。

此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116 所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。

又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可將以該相機所取得之動畫資料傳送者。此時之動畫資料係以行動電話機ex114所具有之LSIex500進行編碼處理之資料。

又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人播放。

又，不限於內容供給系統ex100之例，如第40圖所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中， 可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明一態樣之圖像編碼裝置進行編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置而不是在機上盒安裝者。

第41圖係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係 將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312之外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控 制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303進行多工處理，並輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料之外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不限於進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在第42圖。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀取資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將藉內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅 動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

第43圖係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行 將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車用導航系統ex211等之顯示裝置將動畫再生。此外，車用導航系統ex211之構成可考慮如第41圖所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。

第44A圖係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於與基地台ex110之間接送電波之天線ex350、可攝影影像、靜態圖像之相機部ex365、及顯示以相機部ex365所攝影之影像、將天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有：具有操作鍵部ex366之本體部、諸如用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態影像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部 ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話機ex114之構成例，使用第44B圖予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。

行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話機ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明一態樣之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將業已編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

在資料通訊模式時，接收連到網頁等之動態圖像檔案之資料時，或在接收附有影像或聲音之電子郵件時，為了將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370，而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將影像訊號進行解碼(即，作為本發明一態樣之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網頁之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，還有只具編碼器之傳送終端機、只有解碼器之接收終端機等共三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料之外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態10)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異規格之動態圖像編碼方法或裝置，產生影像資料者。

在此，在產生有依據各自不同規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

第45圖係顯示多工資料之構成圖。如第45圖所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像，聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之 MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。

第46圖係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進而變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

第47圖係進一步詳細顯示在PES封包列中如何儲存視訊流。第47圖中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如第47圖之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS, Decoding Time-Stamp)。

第48圖係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送至解碼器之PID濾波器之轉送開始時間。多工資料中，如第48圖下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流之外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS‧DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包 轉送至解碼器之ATS對應之STC時間之資訊。

第49圖詳細說明PMT之資料構造之圖。PMT之前頭係配置有記有該PMT所含之資料之長度等之PMT標頭。在其後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符有於多工資料所存在之串流數這樣多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如第50圖所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如第50圖所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於多工資料末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如第51圖所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊 流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、是對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中設置相對於PMT所含之串流型式或視訊流屬性資訊，設定固有資訊之步驟或手法，固有資訊係顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在第52圖。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態 所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。

如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態11)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在第53圖顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部 ex501之控制，所儲存之資料因應處理量或處理速度而適當地分成多次等，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係於上述各實施形態所說明之編碼處理。在訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入記錄媒體ex215。在進行多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。

此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於一個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。

又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制部ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊號處理部ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPUex502之構成者。

另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超 級(Super)LSI、超(Ultra)LSI。

又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。

進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。

(實施形態12)

在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼之情況相比，處理量更為增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。

為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。第54圖係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將 驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料解碼者。

更具體來說，驅動頻率切換部ex803係由第53圖之CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於第53圖之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態10所記載之識別資訊者。有關於識別資訊，不限於實施形態10所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等之外部訊號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，考慮到利用例如根據如第56圖所示之影像資料之規格與驅動頻率對應之查找表進行者。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參考該 查找表，即可選擇驅動頻率者。

第55圖係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。

進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於 以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。

進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於在處理上有餘裕，因此亦可考慮將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。該情況係與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。

(實施形態13)

在電視機或行動電話機等上述機器暨系統上輸入有依據不同規格之多數影像資料之情況。如此，為於有依據不同規格之多數影像資料輸入之情況下亦能解碼，有必要使LSIex500之訊號處理部ex507對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就有造成LSIex500之電路規模變大，又，成本增加之課題衍生。

為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部、與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在第57A圖之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、動量補償等之處理中，處理內容有局部共通者。考慮一種構成，其針對共通之處理內容係共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明一態樣所特有之其他處理內容則使用專用之解碼處理部ex901之構成。尤其是本發明係於動量補償有特徵，所以例如針對動量補償，使用專用之解碼處理器ex901，針對除此之外之熵解碼、解塊濾波器、反量化任一者或全部的處理，則考慮共有解碼處理部。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼 處理部之構成。

又，將處理局部共有之另一例顯示在第57B圖之ex1000。在該例中，使用與本發明一態樣所特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、與本發明一態樣之動態圖像解碼方法與另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為針對本發明一態樣或其他習知規格特有之處理內容特殊設計者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此便能將LSI之電路規模縮小、降低成本者。

產業之可利用性

本發明一態樣之圖像編碼方法及圖像解碼方法能有利地運用在動態圖像之編碼方法及解碼方法。

100,200,500,600‧‧‧圖像編碼裝置

101‧‧‧減法部

102‧‧‧正交變換部

103‧‧‧量化部

104,302‧‧‧反量化部

105,303‧‧‧反正交變換部

106,304‧‧‧加法部

107,305‧‧‧區塊記憶體

108,306‧‧‧框記憶體

109,307‧‧‧內預測部

110,308‧‧‧間預測部

111,309‧‧‧間預測控制部

112‧‧‧圖片型式決定部

113,310‧‧‧開關

114,311,514,711‧‧‧合併區塊候選算出部

115,312‧‧‧colPic記憶體

116,516‧‧‧可變長度編碼部

210,410,610,810‧‧‧合併候選導出部

211,411,612,812‧‧‧第1導出部

212,412,615,815‧‧‧第2導出部

220,430,620,830‧‧‧預測控制部

230,630‧‧‧編碼部

300,400,700,800‧‧‧圖像解碼裝置

301,701‧‧‧可變長度解碼部

420,820‧‧‧解碼部

611,811‧‧‧決定部

613,813‧‧‧界定部

614,814‧‧‧判斷部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex107‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧行動電話機

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車

ex211‧‧‧車用導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236,ex239,ex242,ex245‧‧‧PES封包列

ex237,ex240,ex243,ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801,ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900,ex1000‧‧‧構成

ex901,ex902,ex1001~ex1003‧‧‧解碼處理部

第1A圖係用以說明B圖片中之參考圖片列表一例之圖。

第1B圖係顯示B圖片中之預測方向0之參考圖片列表一例之圖。

第1C圖係顯示B圖片中之預測方向1之參考圖片列表一例之圖。

第2圖係用以說明時間預測移動向量模式中之移動向量之圖。

第3圖係顯示合併模式中所使用之鄰接區塊之移動向量一例之圖。

第4圖係用以說明合併區塊候選列表一例之圖。

第5圖係顯示合併區塊候選尺寸與分配至合併區塊索引之位元列之關係圖。

第6圖係顯示使用合併模式時之編碼處理一例之流程圖。

第7圖係顯示使用合併模式時之解碼處理一例之流程圖。

第8圖係顯示將合併區塊索引附加於位元流時之語法之圖。

第9圖係顯示實施形態1之圖像編碼裝置之構成方塊圖。

第10圖係顯示實施形態1之圖像編碼裝置之處理動作之流程圖。

第11圖(a)(b)係顯示實施形態1中之合併區塊候選列表一例之圖。

第12圖係顯示實施形態1中之合併區塊候選及合併區塊候選列表尺寸之算出處理之流程圖。

第13圖係顯示實施形態1中判斷合併區塊候選是否為可合併候選數，且將可合併候選數更新之處理之流程圖。

第14圖係顯示實施形態1中之組合合併區塊候選之追加處理之流程圖。

第15圖係顯示有關實施形態1中是否有組合合併區塊候選存在之判斷處理之流程圖。

第16圖係顯示實施形態1中有關合併區塊候選之選擇之處理之流程圖。

第17圖係顯示實施形態2之圖像編碼裝置之構成方塊圖。

第18圖係顯示實施形態2之圖像編碼裝置之處理動作之流程圖。

第19圖係顯示實施形態3之圖像解碼裝置之構成方塊圖。

第20圖係顯示實施形態3之圖像解碼裝置之處理動作之流程圖。

第21圖係顯示實施形態4之圖像解碼裝置之構成方塊圖。

第22圖係顯示實施形態4之圖像解碼裝置之處理動作之流程圖。

第23圖係顯示實施形態5之圖像編碼裝置之構成方塊圖。

第24圖係顯示實施形態5之圖像編碼裝置之處理動作之流程圖。

第25圖(a)(b)係顯示實施形態5中之合併區塊候選列表一例之圖。

第26圖係顯示實施形態5中之合併區塊候選及合併區塊候選列表尺寸之算出處理之流程圖。

第27圖係顯示實施形態5中之可合併候選數之更新處理之流程圖。

第28圖係顯示實施形態5中之新候選之追加處理之流程圖。

第29圖係顯示實施形態6之圖像編碼裝置之構成方塊圖。

第30圖係顯示實施形態6之圖像編碼裝置之處理動作之流程圖。

第31圖係顯示實施形態7之圖像解碼裝置之構成方塊圖。

第32圖係顯示實施形態7之圖像解碼裝置之處理動作之流程圖。

第33圖係顯示實施形態7中之合併區塊候選列表尺寸之設定處理之流程圖。

第34圖係顯示實施形態7之合併區塊候選之算出處理之流程圖。

第35圖係顯示將合併區塊索引附加於位元流時之語法一例之圖。

第36圖係顯示將合併區塊候選列表尺寸固定在合併區塊候選數之最大值時之語法一例之圖。

第37圖係顯示實施形態8之圖像解碼裝置之構成方塊圖。

第38圖係顯示實施形態8之圖像解碼裝置之處理動作之流程圖。

第39圖係實現內容發送服務之內容供給系統之整體構成圖。

第40圖係數位播放用系統之整體構成圖。

第41圖係顯示電視機之構成例之方塊圖。

第42圖係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第43圖係顯示光碟之記錄媒體之構成例之圖。

第44A圖係顯示行動電話機一例之圖。

第44B圖係顯示行動電話機之構成例之方塊圖。

第45圖係顯示多工資料之構成圖。

第46圖係模式地顯示各串流如何在多工資料進行多工處理之圖。

第47圖係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。

第48圖係顯示多工資料中之TS封包及原始封包之構造圖。

第49圖係顯示PMT之資料構成圖。

第50圖係顯示多工資料資訊之內部構成圖。

第51圖係顯示串流屬性資訊之內部構成圖。

第52圖係顯示識別影像資料之步驟圖。

第53圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

第54圖係顯示將驅動頻率進行切換之構成圖。

第55圖係顯示識別影像資料且切換驅動頻率之步驟圖。

第56圖係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。

第57A圖係顯示共有訊號處理部之模組一構成例之圖。

第57B圖係顯示共有訊號處理部之模組之另一構成例之圖。

S601~S607‧‧‧步驟

Claims (15)

1. 一種圖像編碼方法，係藉由將圖像依每區塊進行編碼而產生位元流之方法，包含有以下步驟：決定步驟，係決定合併候選之最大數，該合併候選為編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選小於前述最大數時，將所導出之前述多數第1合併候選進行組合，導出2方向預測之第2合併候選者；選擇步驟，係由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述編碼對象區塊之編碼所使用之合併候選者；及編碼步驟，係使用所決定之前述最大數，將用以界定所選擇之前述合併候選之索引進行編碼，且將已編碼之前述索引附加於前述位元流者。
2. 如申請專利範圍第1項之圖像編碼方法，其係於前述第2導出步驟中，將前述多數第1合併候選中之一個第1合併候選所含之第1預測方向之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向之移動向量及參 考圖片索引進行組合，導出前述第2合併候選。
3. 如申請專利範圍第1項之圖像編碼方法，其係於前述第1導出步驟中，使預測方向、移動向量及參考圖片索引之組合不相重複，而導出前述多數第1合併候選。
4. 如申請專利範圍第1項之圖像編碼方法，其係於前述第1導出步驟中，在與前述編碼對象區塊空間性鄰接之區塊之中，導出除業經內預測進行編碼之區塊、位於含有前述解碼對象區塊之切片或者是圖片境界之外之區塊、及尚未進行編碼之區塊以外之區塊之編碼所使用之預測方向、移動向量及參考圖片索引，作為前述第1合併候選。
5. 如申請專利範圍第1~4項中任一項之圖像編碼方法，其係於前述編碼步驟中，進而將顯示所決定之前述最大數之資訊附加在前述位元流。
6. 如申請專利範圍第1項之圖像編碼方法，其更具有：切換步驟，係將編碼處理切換成依據第1規格之第1編碼處理、或依據第2規格之第2編碼處理者；及附加步驟，係將顯示業經切換後之前述編碼處理所依據之前述第1規格或前述第2規格之識別資訊附加在前述位元流者；當前述編碼處理被切換成前述第1編碼處理時，執行前述決定步驟、前述第1導出步驟、前述判斷步驟、前述第2導出步驟、前述選擇步驟、及前述編碼步驟作為前述第1編碼處理。
7. 一種圖像編碼裝置，係藉由將圖像依每區塊進行編碼而 產生位元流者，包含有：決定部，係決定合併候選之最大數，該合併候選為編碼對象區塊之編碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出部，係根據已於與前述編碼對象區塊空間性或時間性鄰接之各區塊之編碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選者；判斷部，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出部，係於判斷所導出之前述多數第1合併候選小於前述最大數時，將所導出之前述多數第1合併候選進行組合，導出2方向預測之第2合併候選者；預測控制部，係由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述編碼對象區塊之編碼所使用之合併候選者；及編碼部，係使用所決定之前述最大數，將用以界定所選擇之前述合併候選之索引進行編碼，且將已編碼之前述索引附加於前述位元流者。
8. 一種圖像解碼方法，係將位元流所含之編碼圖像依每區塊進行解碼者，包含有下列步驟：決定步驟，係決定合併候選之最大數，該合併候選為解碼對象區塊之解碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出步驟，係根據已於與前述解碼對象區塊空間 性或時間性鄰接之各區塊之解碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選者；判斷步驟，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者；第2導出步驟，係於判斷所導出之前述多數第1合併候選之數小於前述最大數時，將所導出之前述第1合併候選進行組合，導出2方向預測之第2合併候選者；解碼步驟，係使用所決定之前述最大數，將已附加於前述位元流之已編碼且用以界定合併候選之索引進行解碼者；及選擇步驟，係根據已解碼之前述索引，由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述解碼對象區塊之解碼所使用之合併候選者。
9. 如申請專利範圍第8項之圖像解碼方法，其係於前述第2導出步驟中，將前述多數第1合併候選中之一個第1合併候選所含之第1預測方向之移動向量及參考圖片索引、與另一個第1合併候選所含之第2預測方向之移動向量及參考圖片索引進行組合，導出前述第2合併候選。
10. 如申請專利範圍第8項之圖像解碼方法，其係於前述第1導出步驟中，使預測方向、移動向量及參考圖片索引之組合不相重複，而導出前述多數第1合併候選。
11. 如申請專利範圍第8項之圖像解碼方法，其係於前述第1導出步驟中，在與前述解碼對象區塊空間性鄰接之區塊之中，導出除業經內預測進行解碼之區塊、位於含有前 述解碼對象區塊之切片或者是圖片境界之外之區塊、及尚未進行解碼之區塊以外之區塊之解碼所使用之預測方向、移動向量及參考圖片索引，作為前述第1合併候選。
12. 如申請專利範圍第8~11項中任一項之圖像解碼方法，其係於前述決定步驟中，根據已附加於前述位元流之顯示最大數之資訊，決定前述最大數。
13. 如申請專利範圍第8項之圖像解碼方法，其更具有切換步驟，因應已附加於前述位元流且顯示第1規格或第2規格之識別資訊，而將解碼處理切換成依據第1規格之第1解碼處理、或依據前述第2規格之第2解碼處理者；當前述編碼處理被切換成前述第1解碼處理時，執行前述決定步驟、前述第1導出步驟、前述判斷步驟、前述第2導出步驟、前述解碼步驟、及前述選擇步驟作為前述第1解碼處理。
14. 一種圖像解碼裝置，係將位元流所含之編碼圖像依每區塊進行解碼者，包含有：決定部，係決定合併候選之最大數，該合併候選為解碼對象區塊之解碼所使用之預測方向、移動向量及參考圖片索引之候選者；第1導出部，係根據已於與前述解碼對象區塊空間性或時間性鄰接之各區塊之解碼所使用之預測方向、移動向量及參考圖片索引，導出多數第1合併候選者；判斷部，係判斷所導出之前述多數第1合併候選之數是否小於前述最大數者； 第2導出部，係於判斷所導出之前述多數第1合併候選之數小於前述最大數時，將所導出之前述第1合併候選進行組合，導出2方向預測之第2合併候選者；解碼部，係使用所決定之前述最大數，將已附加於前述位元流之已編碼且用以界定合併候選之索引進行解碼者；及預測控制部，係根據已解碼之前述索引，由所導出之前述多數第1合併候選及前述第2合併候選之中，選擇在前述解碼對象區塊之解碼所使用之合併候選者。
15. 一種圖像編碼解碼裝置，包含有：如申請專利範圍第7項之圖像編碼裝置；及如申請專利範圍第14項之圖像解碼裝置。