TW201404175A - 動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置、及動態圖像編碼解碼裝置 - Google Patents

動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置、及動態圖像編碼解碼裝置 Download PDF

Info

Publication number
TW201404175A
TW201404175A TW102107504A TW102107504A TW201404175A TW 201404175 A TW201404175 A TW 201404175A TW 102107504 A TW102107504 A TW 102107504A TW 102107504 A TW102107504 A TW 102107504A TW 201404175 A TW201404175 A TW 201404175A
Authority
TW
Taiwan
Prior art keywords
motion vector
prediction
picture
vector
decoding
Prior art date
Application number
TW102107504A
Other languages
English (en)
Other versions
TWI594620B (zh
Inventor
Toshiyasu Sugio
Takahiro Nishi
Youji Shibahara
Kyoko Tanikawa
Hisao Sasai
Toru Matsunobu
Kengo Terada
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201404175A publication Critical patent/TW201404175A/zh
Application granted granted Critical
Publication of TWI594620B publication Critical patent/TWI594620B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本發明之動態圖像編碼方法包含有以下步驟：旗標編碼步驟(S111)，將顯示時間動態向量預測是否被用的第1旗標進行編碼；及第1參數編碼步驟(S113)，當前述第1旗標顯示前述時間動態向量預測被使用時(S112為「是」)，將用以算出時間預測動態向量的第1參數編碼，又，當前述第1旗標顯示前述時間動態向量預測不被使用時(S112為「否」)，不將前述第1參數編碼(S116)。

Description

動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置、及動態圖像編碼解碼裝置 發明領域
本發明係有關於動態圖像編碼方法及動態圖像解碼方法者。
發明背景
在動態圖像編碼處理中，一般而言，係利用動態圖像所具有之空間方向及時間方向的冗餘性來進行資訊量的壓縮。在此，一般而言，利用空間方向之冗餘性的方法，係使用往頻域的變換。又，利用時間方向之冗餘性的方法，係使用圖片間預測(以下，稱為間預測)編碼處理(例如，參照非專利文獻1)。
先行技術文獻 非專利文獻
非專利文獻1 ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」，2010年3月
發明概要
在如這樣的動態圖像編碼方法及動態圖像解碼方法中，希望能提升編碼效率。
因此，本發明之目的在於提供一種可提升編碼效率的動態圖像編碼方法及動態圖像解碼方法。
為了達成上述目的，本發明一態樣之動態圖像編碼方法，係將編碼對象圖片所含的編碼對象區塊，進行使用了動態向量的間預測編碼者，該動態圖像編碼方法之步驟如下：旗標編碼步驟，係將如下之第1旗標編碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，進行：參數編碼步驟，係將用以算出前述時間預測動態向量的第1參數編碼者；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的複數之第1預測動態向量候補導出者；第1動態向量編碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則進行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出者；第2動態向量編碼步驟，係使用前述複數之第2預測動態向量候補中之1 個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數編碼。
另外，該等之全般的或具體的態樣可由系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。
本發明可提供一種可將編碼效率提升的動態圖像編碼方法及動態圖像解碼方法。
100‧‧‧動態圖像編碼裝置
101‧‧‧減算部
102‧‧‧正交變換部
103‧‧‧量化部
104‧‧‧逆量化部
105‧‧‧逆正交變換部
106‧‧‧加算部
107‧‧‧區塊記憶體
108‧‧‧訊框記憶體
109‧‧‧內預測部
110‧‧‧間預測部
111‧‧‧開關
112‧‧‧間預測控制部
113‧‧‧圖片形式決定部
114‧‧‧時間預測動態向量算出部
115‧‧‧colPic記憶體
116‧‧‧全體向量保存部
117‧‧‧co-located資訊決定部
118‧‧‧可變長編碼部
200‧‧‧動態圖像解碼裝置
201‧‧‧可變長解碼部
202‧‧‧逆量化部
203‧‧‧逆正交變換部
204‧‧‧加算部
205‧‧‧區塊記憶體
206‧‧‧訊框記憶體
207‧‧‧內預測部
208‧‧‧間預測部
209‧‧‧開關
210‧‧‧間預測控制部
211‧‧‧時間預測動態向量算出部
212‧‧‧colPic記憶體
300‧‧‧動態圖像編碼裝置
310‧‧‧第1編碼部
320‧‧‧第2編碼部
400‧‧‧動態圖像解碼裝置
410‧‧‧第1解碼部
420‧‧‧第2解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex104‧‧‧電話線路網
ex106~ex110‧‧‧基地台
ex107‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧相機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex117‧‧‧麥克風
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex210‧‧‧車輛
ex211‧‧‧車輛導航系統
ex215、ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遙控器
ex230‧‧‧資訊軌道
ex231‧‧‧記錄區塊
ex232‧‧‧內周區
ex233‧‧‧資料記錄區
ex234‧‧‧外周區
ex235‧‧‧視訊流
ex238‧‧‧聲訊流
ex236、ex239、ex242、ex245‧‧‧PES封包列
ex237、ex240、ex243、ex246‧‧‧TS封包
ex241‧‧‧表達圖形流
ex244‧‧‧交互圖形流
ex247‧‧‧多工資料
ex300‧‧‧電視機
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/解多工部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧介面部
ex318、ex319‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解調部
ex353‧‧‧多工/解多工部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧相機I/F部
ex364‧‧‧插槽部
ex365‧‧‧相機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學磁頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧光碟馬達
ex406‧‧‧伺服器控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧記憶體
ex512‧‧‧驅動頻率控制部
ex801、ex802‧‧‧解碼處理部
ex803‧‧‧驅動頻率切換部
ex900‧‧‧構成
ex901、ex902、ex1001~ex1003‧‧‧解碼處理部
S11-S17、S21-27、S31-S32、S41-S51、S61-S71、S81-S87、S91-S93、S101-S104、S111-S118、S201-S204、S211-S218、exS100-exS103、exS200-exS203‧‧‧步驟
圖1係顯示時間動態向量預測中之動態向量的說明圖。
圖2係實施形態1之動態圖像編碼裝置的方塊圖。
圖3係顯示實施形態1之動態圖像編碼方法之處理流程概要的圖。
圖4係顯示實施形態1之預測動態向量候補之例的圖。
圖5係顯示實施形態1之將預測動態向量索引進行可變長度編碼之際之碼(code)表之例的圖。
圖6係顯示實施形態1之預測動態向量候補之決定流程的圖。
圖7係顯示實施形態1之對於colPic記憶體及全體向量保存部之讀寫處理的概念圖。
圖8A係顯示實施形態1之圖3之步驟S11的詳細處理流 程的圖。
圖8B係顯示實施形態1之其他圖片可參考之B圖片之例的圖。
圖9係顯示實施形態1之圖3之步驟S17之詳細處理流程的圖。
圖10係顯示實施形態1之圖3之步驟S13及步驟S14之詳細處理流程的圖。
圖11A係顯示實施形態1之使用前方參考動態向量來將預測動態向量候補導出之方法之一例的圖。
圖11B係顯示實施形態1之使用後方參考動態向量來將預測動態向量候補導出之方法之一例的圖。
圖12A係顯示實施形態1之使用後方參考動態向量來將預測動態向量候補導出之方法之一例的圖。
圖12B係顯示實施形態1之使用前方參考動態向量來將預測動態向量候補導出之方法之一例的圖。
圖13係顯示實施形態1之動態圖像編碼方法之處理流程的圖。
圖14係顯示實施形態1之動態圖像編碼方法之處理流程的圖。
圖15係實施形態2之動態圖像解碼裝置的方塊圖。
圖16係顯示實施形態2之動態圖像解碼方法之處理流程概要的圖。
圖17係顯示實施形態2之動態圖像解碼方法中之位元流之語法之一例的圖。
圖18係顯示實施形態2之動態圖像解碼方法之處理流程的圖。
圖19A係顯示實施形態2之語法例的圖。
圖19B係顯示實施形態2之語法例的圖。
圖20係顯示實施形態2之語法例的圖。
圖21係顯示實施形態2之動態圖像解碼方法之處理流程的圖。
圖22係實施形態1變形例之動態圖像編碼裝置的方塊圖。
圖23係顯示實施形態1變形例之動態圖像編碼方法之動作的流程圖。
圖24係顯示實施形態2變形例之包含基本視角及從屬視角的圖像之一例的圖。
圖25係實施形態2變形例之動態圖像解碼裝置的方塊圖。
圖26係實現內容配送服務之內容供給系統的全體構成圖。
圖27係數位放送用系統的全體構成圖。
圖28係顯示電視之構成例的方塊圖。
圖29係顯示對記錄媒體(光碟)寫入資訊之資訊再生/記錄部之構成例的方塊圖。
圖30係顯示記錄媒體(光碟)之構造例的圖。
圖31A係顯示行動電話之一例的圖。
圖31B係顯示行動電話之構成例的方塊圖。
圖32係顯示多工資料之構成的圖。
圖33係模式性地顯示各串流在多工資料中是如何被多工的圖。
圖34係更詳細地顯示視訊流是如何被儲存於PES封包列的圖。
圖35係顯示多工資料中之TS封包與資源封包之構造的圖。
圖36係顯示PMT之資料構成的圖。
圖37係顯示多工資料資訊之內部構成的圖。
圖38係顯示串流屬性資訊之內部構成的圖。
圖39係顯示識別影像資料之步驟的圖。
圖40係顯示可實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之構成例的方塊圖。
圖41係顯示切換驅動頻率之構成的圖。
圖42係顯示識別影像資料而切換驅動頻率之步驟的圖。
圖43係顯示影像資料之規格與驅動頻率相對應之查找表之一例的圖。
圖44A係顯示將信號處理部之模組共有化之構成之一例的圖。
圖44B係顯示將信號處理部之模組共有化之構成之其他例的圖。
用以實施發明之形態 (成為本發明基礎之知識)
本發明人發現關於習知技術，有以下的問題產生。
在間預測編碼處理中，動態圖像編碼裝置在將某圖片編碼時，將相對於編碼對象圖片在顯示順序(顯示時間順序)上位於前方或後方的編碼完畢圖片，使用為參考圖片。然後，動態圖像編碼裝置藉由編碼對象圖片對於該參考圖片之動態檢測，導出動態向量，算出根據動態向量進行動態補償而得到的預測圖像資料、與編碼對象圖片之圖像資料間的差分，藉此，除去時間方向之冗餘性。在此，動態圖像編碼裝置在動態檢測中，算出編碼圖片內之編碼對象區塊與參考圖片內之區塊間的差分值，將差分值最小之參考圖片內的區塊選擇為參考區塊。並且，動態圖像編碼裝置使用編碼對象區塊與參考區塊，來檢測動態向量。
在已標準化之稱為H.264的動態圖像編碼方式中，為了壓縮資訊量，使用I圖片、P圖片、B圖片等3種圖片形式。I圖片係不進行間預測編碼處理的圖片，亦即，係僅進行圖片內預測(以下，稱為內預測(intra-prediction))編碼處理的圖片。P圖片係在顯示順序上，僅參考位於編碼對象圖片之前方或後方已編碼完畢之1個圖片而進行間預測編碼的圖片。B圖片係在顯示順序上，參考位於編碼對象圖片之前方或後方已編碼完畢之2個圖片而進行間預測編碼的圖片。
又，在稱為H.264之動態圖像編碼方式中，B圖片中各編碼對象區塊之間預測的編碼模式，係使用動態向量檢測模式，該動態向量檢測模式係將預測圖像資料及編碼對象區塊間之圖像資料的差分值、以及使用於預測圖像資料生成的動態向量進行編碼者。在動態向量檢測模式中，動態圖像編碼裝置可選擇雙方向預測或單方向預測中任一者，來作為預測方向，雙方向預測係參考位於編碼對象圖片前方或後方之已編碼完畢的2個圖片來生成預測圖像者；而單方向預測則係參考位於前方或後方之已編碼完畢的1個圖片來生成預測圖像者。
又，在稱為H.264的動態圖像編碼方式中，動態圖像編碼裝置在B圖片之編碼中，將動態向量導出之際，可選擇稱為時間動態向量預測(時間預測動態向量模式、或時間域直接模式)的編碼模式。又，將藉由時間動態向量預測所生成之預測動態向量(預測動態向量候補)稱為時間預測動態向量。
使用圖1來說明時間動態向量預測中之間預測編碼方法。圖1係顯示時間動態向量預測之動態向量的說明圖，顯示了將圖片B2之區塊a以時間動態向量預測進行編碼的情形。
此時，係利用位於圖片B2之後方的參考圖片、即圖片P3中與區塊a位於相同位置的區塊b之動態向量vb。動態向量vb係將區塊b編碼時所使用的動態向量，參考了圖片P1。並且，動態圖像編碼裝置使用與動態向量vb平行 的動態向量，從前方向參考圖片之圖片P1、及後方參考圖片之圖片P3，取得參考區塊，進行2方向預測，藉此來將區塊a編碼。亦即，在將區塊a編碼時所使用的動態向量，對圖片P1而言為動態向量va1，對圖片P3而言為動態向量va2。
然而，在如此之時間動態向量預測中，具有在算出時間預測動態向量時所利用之動態向量等資訊的參考圖片資訊，例如，在因為串流配信等中之封包遺失等而散佚時，無法算出正確的時間預測動態向量，而因此於解碼圖像產生劣化。此外，由於對參考該解碼圖像的圖片傳播錯誤(error)之訊息，結果，解碼處理也可能會停止。例如，當圖1之參考圖片P3的資訊散佚時，會無法算出圖片B2的時間預測動態向量。結果，可能會無法將圖片B2正確地解碼，而使解碼處理停止。
是故，在本實施形態中，係對可有效地防止解碼處理中之錯誤傳播的動態圖像編碼方法及動態圖像解碼方法進行說明。
又，在如此之動態圖像編碼方法及動態圖像解碼方法中，希望可提升編碼效率。
是故，在本實施形態中，係對可提升編碼效率的動態圖像編碼方法及動態圖像解碼方法進行說明。
本發明一態樣之動態圖像編碼方法，係將編碼對象圖片所含的編碼對象區塊，進行使用了動態向量的間預測編碼者，該動態圖像編碼方法之步驟如下：旗標編碼 步驟，係將如下之第1旗標編碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，進行：參數編碼步驟，係將用以算出前述時間預測動態向量的第1參數編碼者；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的複數之第1預測動態向量候補導出者；第1動態向量編碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則進行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出者；第2動態向量編碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數編碼。
據此，該動態圖像編碼方法在不使用時間動態向量預測時，不將不需要的第1參數編碼。藉此，該動態圖像編碼方法可提升編碼效率。
例如，前述第1參數亦可包含用以將前述編碼完畢圖片特定的參數。
例如，前述第1參數亦可包含參考圖片索引，該 參考圖片索引係用來在以用於將前述編碼對象圖片編碼的參考圖片列表所示之複數圖片中，特定出前述編碼完畢圖片者。
例如，前述第1參數亦可包含如下之旗標：該旗標係顯示為了在用於將前述編碼對象圖片編碼的複數之參考圖片列表中特定出前述編碼完畢圖片，要使用何參考圖片列表者。
例如，在前述第1或第2候補導出步驟中，亦可將代替前述時間預測動態向量的代替向量，包含於前述複數之第1預測動態向量或前述複數之第2預測動態向量。
據此，該動態圖像編碼方法可抑制編碼效率變差。
例如，前述動態圖像編碼方法亦可係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行編碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第1候補導出步驟中，當前述編碼對象圖片屬於前述從屬視角、並且係GOP(Group Of Pictures：圖片群組)最前頭的圖片時，將前述視差向量作為前述代替向量，包含於前述複數之第1預測動態向量。
據此，該動態圖像編碼方法可抑制編碼效率變差。
例如，前述動態圖像編碼方法亦可係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行編 碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第2候補導出步驟中，將前述視差向量作為前述代替向量，包含於前述複數之第2預測動態向量。
據此，該動態圖像編碼方法可抑制編碼效率變差。
又，本發明一態樣之動態圖像解碼方法，係將解碼對象圖片所含的解碼對象區塊，進行使用了動態向量的間預測解碼者，該動態圖像解碼方法之步驟如下：旗標解碼步驟，係將如下之第1旗標解碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述解碼對象圖片不同的解碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，進行：參數解碼步驟，係將用以算出前述時間預測動態向量的第1參數解碼者；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的前述複數之第1預測動態向量候補導出者；第1動態向量解碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼者；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則進行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出者；第2動態向量解碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於 前述解碼對象區塊之間預測解碼的動態向量進行解碼者，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數解碼。
據此，該動態圖像解碼方法在不使用時間動態向量預測時，不將不需要的第1參數解碼。藉此，該動態圖像解碼方法可提升編碼效率。
例如，前述第1參數亦可包含用以將前述解碼完畢圖片特定的參數。
例如，前述第1參數亦可包含參考圖片索引，該參考圖片索引係用來在以用於將前述解碼對象圖片解碼的參考圖片列表所示之複數圖片中，特定出前述解碼完畢圖片者。
例如，前述第1參數亦可包含如下之旗標：該旗標係顯示為了在用於將前述解碼對象圖片解碼的複數之參考圖片列表中特定出前述編碼完畢圖片，要使用何參考圖片列表者。
例如，在前述第1或第2候補導出步驟中，亦可將代替前述時間預測動態向量的代替向量，包含於前述複數之第1預測動態向量或前述複數之第2預測動態向量。
據此，該動態圖像解碼方法可抑制編碼效率變差。
例如，前述動態圖像解碼方法亦可係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行解碼的方法，更包含有將相當於前述基本視角與前述從屬視 角間之視差的視差向量生成的視差向量生成步驟，且在前述第1候補導出步驟中，當前述解碼對象圖片屬於前述從屬視角、並且係GOP(Group Of Pictures)最前頭的圖片時，將前述視差向量作為前述代替向量，包含於前述複數之第1預測動態向量。
據此，該動態圖像解碼方法可抑制編碼效率變差。
例如，前述動態圖像解碼方法亦可係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行解碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第2候補導出步驟中，將前述視差向量作為前述代替向量，包含於前述複數之第2預測動態向量。
據此，該動態圖像解碼方法可抑制編碼效率變差。
又，本發明一態樣之動態圖像編碼裝置，係具備有控制電路、及與前述控制電路電性連接的記憶裝置，並且將編碼對象圖片所含的編碼對象區塊，進行使用了動態向量的間預測編碼者，前述控制電路執行如下之步驟：旗標編碼步驟，係將如下之第1旗標編碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，執行：參數編 碼步驟，係將用以算出前述時間預測動態向量的第1參數編碼者；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的前述複數之第1預測動態向量候補導出者；第1動態向量編碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則執行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出者；第2動態向量編碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼者，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數編碼。
據此，該動態圖像編碼裝置在不使用時間動態向量預測時，不將不需要的第1參數解碼。藉此，該動態圖像編碼裝置可提升編碼效率。
又，本發明一態樣之動態圖像解碼裝置，係具備有控制電路、及與前述控制電路電性連接的記憶裝置，並且將解碼對象圖片所含的解碼對象區塊，進行使用了動態向量的間預測解碼者，前述控制電路執行如下之步驟：旗標解碼步驟，係將如下之第1旗標解碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述解碼對象圖片不同的解碼完畢圖片中所含的區塊之動態向量；當前述第1 旗標顯示前述時間動態向量預測被使用時，執行：參數解碼步驟，係將用以算出前述時間預測動態向量的第1參數解碼者；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的前述複數之第1預測動態向量候補導出者；第1動態向量解碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼者；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則執行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出者；第2動態向量解碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼者，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數解碼。
據此，該動態圖像解碼裝置在不使用時間動態向量預測時，不將不需要的第1參數解碼。藉此，該動態圖像解碼裝置可提升編碼效率。
又，本發明一態樣之動態圖像編碼解碼裝置，具備有前述動態圖像編碼裝置、及前述動態圖像解碼裝置。
另外，該等之全般性或具體的態樣可藉由系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。
以下，參考圖式說明本發明之實施形態。
另外，以下所說明之實施形態，皆顯示本發明之一具體例。以下之實施形態所示之數值、形狀、材料、構成要素、構成要素之配置及接續形態、步驟、步驟之順序等，皆為一例，並非限定申請專利範圍之主旨。又，在以下之實施形態中的構成要素中，關於顯示最上位概念的獨立請求項中未記載的構成要素，係作為任意之構成要素來進行說明。
(實施形態1)
圖2係顯示使用了實施形態1之動態圖像編碼方法的動態圖像編碼裝置之構成的方塊圖。
動態圖像編碼裝置100如圖2所示，具備有：減算部101、正交變換部102、量化部103、逆量化部104、逆正交變換部105、加算部106、區塊記憶體107、訊框記憶體108、內預測部109、間預測部110、開關111、間預測控制部112、圖片形式決定部113、時間預測動態向量算出部114、colPic記憶體115、全體向量保存部116、co-located資訊決定部117及可變長度編碼部118。
減算部101從裝置外部取得包含編碼對象區塊的輸入圖像列，從開關111取得預測區塊，並從編碼對象區塊減去預測區塊，藉此來生成殘差區塊，將所生成之殘差區塊輸出至正交變換部102。
正交變換部102將從減算部101取得的殘差區塊，從圖像區域變換至頻域，藉此來生成變換係數，並將 所生成之變換係數輸出至量化部103。量化部103將從量化部103取得的變換係數量化，藉此來生成量化係數，並將所生成之量化係數輸出至逆量化部104及可變長度編碼部118。
逆量化部104將從量化部103取得的量化係數逆量化，藉此將變換係數復原，並將所復原之變換係數輸出至逆正交變換部105。逆正交變換部105將從逆量化部104取得之經復原的變換係數由頻域變換至圖像領域，藉此將殘差區塊復原，並將所復原之殘差區塊輸出至加算部106。
加算部106將從逆正交變換部105取得的經復原之殘差區塊、與從開關111取得的預測區塊進行加算，藉此將編碼對象區塊復原，並將所復原之編碼對象區塊輸出至區塊記憶體107及訊框記憶體108。區塊記憶體107將經復原之輸入圖像列以區塊單位進行保存。訊框記憶體108將經復原之輸入圖像列以訊框單位進行保存。
圖片形式決定部113決定以I圖片、B圖片、及P圖片中之何圖片形式將輸入圖像列編碼，並生成顯示所決定之圖片形式的圖片形式資訊。然後，圖片形式決定部113將所生成之圖片形式資訊，輸出至開關111、間預測控制部112、co-located資訊決定部117、及可變長度編碼部118。
內預測部109使用保存在區塊記憶體107的區塊單位之經復原之輸入圖像列，於編碼對象區塊進行內預 測，藉此，生成預測區塊，並將所生成之預測區塊輸出至開關111。間預測部110使用保存在訊框記憶體108的訊框單位之經復原之輸入圖像列、及藉由動態檢測所導出之動態向量，於編碼對象區塊進行間預測，藉此，生成預測區塊，並將所生成之預測區塊輸出至開關111。
開關111將在內預測部109所生成的預測區塊、或在間預測部110所生成的預測區塊，輸出至減算部101及加算部106。例如，開關111將2個預測區塊中，編碼成本較小者之預測區塊進行輸出。
co-located資訊決定部117決定是否禁止使用co-located區塊。並且，co-located資訊決定部117依每圖片生成顯示決定結果的co-located使用禁止旗標，將所生成之co-located使用禁止旗標輸出至時間預測動態向量算出部114及可變長度編碼部118。該co-located使用禁止旗標係包含於位元流(典型而言，係圖片標頭或片段標頭)。另外，在本實施形態中，係使用co-located使用禁止旗標，來禁止co-located區塊的使用，藉此，禁止算出使用了co-located區塊之資訊的時間預測動態向量，且不追加於預測動態向量候補，但並不一定限定於此。例如，也可直接準備顯示是否允許使用了co-located區塊資訊之時間預測動態向量的旗標(enable_temporal_mvp_flag)等，而將該旗標包含於位元流(典型而言，係圖片標頭或片段標頭)亦無妨。
又，co-located資訊決定部117係依顯示順序， 將較編碼對象圖片位於前方的圖片中所含之區塊(以下，稱為前方參考區塊)、或較編碼對象圖片位於後方的圖片中所含之區塊(以下，稱為後方參考區塊)中之任一者，決定為co-located區塊。換言之，前方參考區塊係以參考圖片列表L0所特定之參考圖片中所含的區塊。又，後方參考區塊係以參考圖片列表L1所特定之參考圖片中所含的區塊。另外，在本實施形態中，係顯示了於參考圖片列表L0包含前方參考區塊、於參考圖片列表L1包含後方參考區塊之例，但並不一定限定於此。例如，也可如於參考圖片列表L0包含前方參考區塊、於參考圖片列表L1包含前方參考區塊的情況般，於兩方之參考圖片列表包含同一方向的參考區塊，亦可於2個參考圖片列表包含反方向的參考區塊。
並且，co-located資訊決定部117依每圖片生成顯示決定結果的co-located參考方向旗標(collocated_from_l0_flag)，並將所生成之co-located參考方向旗標輸出至時間預測動態向量算出部114及可變長度編碼部118。該co-located參考方向旗標係包含在位元流(典型而言，係圖片標頭或片段標頭)。例如，當collocated_from_l0_flag之值為1時，從參考圖片列表L0算出co-located區塊，而當collocated_from_0_flag之值為0時，從參考圖片列表L1算出co-located區塊。另外，當於co-located使用禁止旗標設定為顯示「禁止」之值時(例如，enable_temporal_mvp_flag之值為0時)，亦可省略co-located參考 方向旗標(collocated_from_l0_flag)。詳細的方法如後述。
在此，co-located區塊係指：與包含編碼對象區塊之編碼對象圖片不同的圖片內之區塊，並且，在圖片內的位置與編碼對象區塊為相同位置的區塊。例如，在因應了co-located參考方向旗標之值而決定的參考圖片列表所含的複數圖片中，使用參考圖片索引之值為co-located參考圖片索引(collocated_ref_idx)之值的圖片，來作為co-located圖片。並且，使用co-located圖片內與編碼對象區塊為相同位置的區塊來作為co-located區塊。
在此，co-located參考圖片索引(collocated_ref_idx)係：從因應co-located參考方向旗標之值而決定的參考圖片列表中所含的複數圖片，指定co-located圖片的索引值。collocated_ref_idx係包含於位元流(典型而言，為圖片標頭或片段標頭)。
例如，co-located資訊決定部117在將參考圖片列表L1之與參考圖片索引0對應的圖片指定為co-located圖片時，於co-located參考方向旗標(collocated_from_l0_flag)設定為值0，於co-located參考圖片索引collocated_ref_idx設定為值0。另外，co-located資訊決定部117當在co-located使用禁止旗標設定了顯示「禁止」的值時(例如，當enable_temporal_mvp_flag之值為0時)，亦可省略co-located參考圖片索引(collocated_ref_idx)。詳細的方法如後述。又，另外，編碼對象區塊與co-located區塊在各圖片內的位置，亦可不用嚴格地須為一致。例如，co -located資訊決定部117亦可將與編碼對象圖片不同的圖片內之編碼對象區塊相同位置之區塊周邊的(鄰接)區塊，設定為co-located區塊。
時間預測動態向量算出部114因應從co-located資訊決定部117取得的co-located使用禁止旗標之值，使用儲存於colPic記憶體115的co-located區塊之動態向量等colPic資訊、或儲存於全體向量保存部的colPic圖片之全體動態向量，來導出作為預測動態向量之候補的預測動態向量候補。
具體而言，當co-located禁止旗標為ON(禁止)時，時間預測動態向量算出部114將從全體向量保存部116讀取出的全體動態向量(代替向量)，追加於預測動態向量候補。另一方面，當co-located禁止旗標為OFF(許可)時，時間預測動態向量算出部114把使用從colPic記憶體115讀取出的colPic資訊而算出的時間預測動態向量，追加於預測動態向量候補。
又，時間預測動態向量算出部114對於作為候補而追加的預測動態向量，分配預測動態向量索引之值。並且，時間預測動態向量算出部114將作為候補而追加的預測動態向量與預測動態向量索引，輸出至間預測控制部112。另一方面，當co-located區塊沒有動態向量時，時間預測動態向量算出部114中止時間動態向量預測的動態向量導出、或者將動態量為0的向量作為預測動態向量候補而導出。又，時間預測動態向量算出部114將全體動態 向量輸出至可變長度編碼部118。
間預測控制部112決定：從複數之預測動態向量候補中，使用與藉由動態檢測而導出的動態向量間的誤差最小的預測動態向量，來進行動態向量之編碼。在此，誤差係例如：顯示預測動態向量候補與藉由動態檢測而導出的動態向量間的差分值者。
又，間預測控制部112依每區塊而特定出與已決定之預測動態向量對應的預測動態向量索引。並且，間預測控制部112將預測動態向量索引、以及動態向量與預測動態向量間的差分值，輸出至可變長度編碼部118。又，間預測控制部112將包含編碼對象區塊之動態向量等的colPic資訊，轉送至colPic記憶體115。又，間預測控制部112將編碼區塊之動態向量等轉送至全體向量保存部116。
colPic記憶體115將包含編碼對象區塊之動態向量等的colPic資訊，儲存為下個圖片編碼時之預測動態向量用。全體向量保存部116從圖片所含的複數之編碼對象區塊的動態向量，算出全體動態向量，儲存為下個圖片編碼時之預測動態向量用。
可變長度編碼部118將從量化部103取得的量化係數、從間預測控制部112取得的預測動態向量索引及動態向量與預測動態向量間的差分值、從圖片形式決定部113取得的圖片形式資訊、從co-located資訊決定部117取得的co-located使用禁止旗標(或enable_temporal_mvp_flag)、co-located參考方向旗標(collocated_from_l0_ flag)、及co-located參考圖片索引(collocated_ref_idx)、從時間預測動態向量算出部114取得的全體動態向量，進行可變長度編碼，藉此來生成位元流。
圖3係顯示實施形態1之動態圖像編碼方法之處理流程概要的圖。
co-located資訊決定部117在以時間動態向量預測導出預測動態向量候補時，用後述的方法，決定包含co-located使用禁止旗標、co-located參考方向旗標、及co-located參考圖片索引等的co-located資訊(S11)。
接著，時間預測動態向量算出部114判定co-located使用禁止旗標是否為ON(禁止)(或enable_temporal_mvp_flag之值為0)(S12)。並且，若判定結果為真(S12為「是」)，則時間預測動態向量算出部114從全體向量保存部116讀取出全體動態向量，將讀取出的全體動態向量附屬於圖片標頭等之標頭資訊(S13)。
然後，時間預測動態向量算出部114將全體動態向量，作為時間預測動態向量的代替向量，追加於預測動態向量候補(S14)。又，時間預測動態向量算出部114對於追加於候補的預測動態向量分配預測動態向量索引之值。
另一方面，若co-located使用禁止旗標為OFF(S12為「否」)(或enable_temporal_mvp_flag之值為1)，則時間預測動態向量算出部114因應co-located資訊，從colPic記憶體讀取包含co-located區塊之參考動態向量等的colPic資訊，使用co-located區塊之參考動態向量，算 出時間預測動態向量，並將所算出的時間預測動態向量追加於預測動態向量候補(S17)。又，時間預測動態向量算出部114對於已追加於候補的預測動態向量分配預測動態向量索引之值。
一般而言，當預測動態向量索引之值較小時，所需的資訊量較少。另一方面，當預測動態向量索引之值較大時，所需的資訊量較大。因此，對於成為精準度較高之動態向量的可能性高的預測動態向量，分配較小的預測動態向量索引，則編碼效率會提高。
接著，間預測部110使用藉由動態檢測所導出的動態向量來進行間預測，藉此，生成編碼對象區塊之預測區塊。並且，減算部101、正交變換部102、量化部103、及可變長度編碼部118，使用間預測部110所生成的預測區塊，將編碼對象區塊編碼。
又，間預測控制部112在複數之預測動態向量候補中，使用與動態向量之誤差為最小的預測動態向量候補之預測動態向量，將動態向量編碼。間預測控制部112例如，將複數之預測動態向量候補分別和藉由動態檢測而導出之動態向量間的差分值，算出來作為誤差，並將所算出之誤差中誤差最小的預測動態向量候補，決定為進行動態向量編碼時使用的預測動態向量。
並且，間預測控制部112將與已選擇之預測動態向量對應的預測動態向量索引、及動態向量與預測動態向量間的誤差資訊，輸出至可變長度編碼部118。可變長度 編碼部118將從間預測控制部112取得的預測動態向量索引及誤差資訊進行可變長度編碼，使經過可變長度編碼的預測動態向量索引及誤差資訊包含於位元流(S15)。
接著，間預測控制部112將包含使用於間預測之動態向量等的colPic資訊，保存於colPic記憶體115。為了算出編碼對象區塊之時間預測動態向量，在colPic記憶體115，儲存有參考圖片之動態向量、參考圖片索引值、及預測方向等。又，間預測控制部112將使用於間預測的動態向量等，保存於全體向量保存部116(S16)。
圖4顯示預測動態向量候補之例。動態向量A(MV_A)係位於編碼對象區塊左鄰的鄰接區塊A之動態向量。動態向量B(MV_B)係位於編碼對象區塊上鄰的鄰接區塊B之動態向量。動態向量C(MV_C)係位於編碼對象區塊右上鄰的鄰接區塊C之動態向量。又，Median(中數)(MV_A,MV_B,MV_C)表示動態向量A、B、C的中間值。在此，中間值係使用例如以下之式1~式3而導出。
【數1】Median(x,y,z)=x+y+z-Min(x,Min(y,z))-Max(x,Max(y,z))...(式1)
預測動態向量索引之值：與Median(MV_A，MV_B，MV_C)對應的值為0，與動態向量A對應的值為1，與動態向量B對應的值為2，與動態向量C對應的值為3，與時間預測動態向量(或代替向量)對應的值為4。另外，預測動態向量索引的分配方法，並不限於此例。
圖5表示將預測動態向量索引進行可變長度編碼時所使用的碼(code)表之例。在圖5之例中，從預測動態向量索引之值較小者開始，依序分配有碼長較短的碼。如此，對於預測精準度佳的可能性較高的預測動態向量候補，分配較小的預測動態向量索引，藉此，可提升編碼效率。
圖6係顯示間預測控制部112中之預測動態向量候補之決定流程的圖。藉由如圖6所示之流程，間預測控制部112把與藉由動態檢測所導出之動態向量間的誤差為最小的預測動態向量候補，決定為將動態向量編碼時所使用的預測動態向量。並且，動態向量與預測動態向量間的誤差資訊、顯示已決定之預測動態向量的預測動態向量索引，係進行可變長度編碼而包含在位元流。
具體而言，首先，間預測控制部112將預測動態向量候補索引mvp_idx、及最小動態向量誤差初始化(S21)。接著，間預測控制部112將預測動態向量候補索引mvp_idx、與預測動態向量候補數(圖4所示之表的紀錄數)進行比較(S22)。
若mvp_idx<預測動態向量候補數(S22為 「是」)，則間預測控制部112將複數之預測動態向量候補中以現在之mvp_idx之值所特定的預測動態向量候補之動態向量誤差(誤差資訊)算出(S23)。例如，間預測控制部112從使用於編碼對象區塊之編碼的動態向量，減去圖4之預測動態向量索引=0的預測動態向量候補，藉此來算出動態向量誤差。
然後，間預測控制部112將在步驟S23所算出之動態向量誤差，與最小動態向量誤差進行比較(S24)。若動態向量誤差<最小動態向量誤差(S24為「是」)，則間預測控制部112將在步驟S23所算出之動態向量誤差設定(重寫)於最小動態向量誤差，將現在的mvp_idx設定(重寫)於預測動態向量索引(S25)。另一方面，若動態向量誤差≧最小動態向量誤差(S24為「否」)，則跳過步驟S25。
並且，間預測控制部112將mvp_idx增量1(S26)，將上述之各處理(步驟S22~步驟S26)反覆執行預測動態向量候補之數次。然後，間預測控制部112在mvp_idx=預測動態向量候補數(S22為「否」)的時點，將設定於最小動態向量誤差及預測動態向量索引的值，輸出至可變長度編碼部118，結束圖6的處理(S27)。
圖7係顯示對圖2所示之colPic記憶體115、及全體向量保存部116的讀寫處理的概念圖。在圖7中，co-located圖片colPic所含的co-located區塊所具有的預測方向1之動態向量mvCol1、及預測方向2之動態向量mvCol2，係儲存於colPic記憶體115及全體向量保存部 116。
在此，在將編碼對象區塊進行編碼時，包含儲存在colPic記憶體115之動態向量等的colPic資訊、或全體向量保存部116的全體動態向量，係因應co-located使用禁止旗標而被讀出，且追加至預測動態向量候補。
預測動態向量候補係使用於編碼對象區塊之動態向量編碼。另外，在本實施形態1中，係使用預測方向1為前方參考、預測方向2為後方參考之例來進行說明，但亦可係：預測方向1為後方參考、且預測方向2為前方參考；預測方向1及預測方向2兩者皆為前方參考、或後方參考。另外，顯示了預測方向1使用了參考圖片列表L0、預測方向2使用了參考圖片列表L1的預測的情況之例。
在全體向量保存部116，儲存全體動態向量，該全體動態向量係從構成編碼對象圖片的複數編碼對象區塊之動態向量所算出者。例如，全體動態向量係編碼對象圖片全體在間預測編碼時之動態向量每一預測方向的平均值等。另外，在本實施形態1中，係顯示了將構成編碼對象圖片的複數編碼對象區塊之動態向量的平均值使用作為全體向量之例，但並不一定限定於此。
例如，全體動態向量亦可為構成編碼對象圖片的複數編碼對象區塊在間預測編碼時之動態向量的中間值、或加權平均值。或者，全體動態向量亦可為構成編碼對象圖片的複數編碼對象區塊在間預測編碼時之動態向量中，出現頻率最高的動態向量。或者，全體動態向量亦可 為構成編碼對象圖片的複數編碼對象區塊在間預測編碼時之動態向量中，參考了在顯示順序上最近圖片的動態向量。
圖8A係顯示圖3之步驟S11之詳細處理流程的圖。以下，說明圖8A。
首先，co-located資訊決定部117判定是否對於編碼對象圖片進行使用了co-located區塊的時間動態向量預測(S31)。然後，co-located資訊決定部117依每圖片生成表示是否已許可使用co-located區塊(時間動態向量預測)的co-located使用禁止旗標(或enable_temporal_mvp_flag)，並將所生成的co-located使用禁止旗標輸出至可變長度編碼部118。
例如，在串流配信等之際，為了抑制因時間動態向量預測而起之解碼錯誤傳播，考慮以某一定間隔使co-located使用禁止旗標為ON。實現上述之例，可考慮如下之方法：準備計數編碼完畢之編碼對象圖片張數的計數器，若編碼完畢張數小於某閾值，則將co-located使用禁止旗標設定為OFF，而若編碼完畢張數為閾值以上，則將co-located使用禁止旗標設定為ON，並將計數器重設為0。
又，例如，可考慮如下等方法：在可成為參考對象的圖片(例如，P圖片、及其他圖片可參考的B圖片)中，將co-located使用禁止旗標設定為ON，而在無法成為參考對象的非參考圖片(例如，其他圖片不能參考的B圖 片)中，使co-located使用禁止旗標為OFF，藉此，來抑制解碼錯誤傳播。如此，對於其他圖片可參考的圖片，使co-located使用禁止旗標為ON，藉此，可有效地抑制解碼錯誤的傳播。
接著，co-located資訊決定部117將前方參考區塊、或後方參考區塊中之一者決定為co-located區塊(S32)。例如，co-located資訊決定部117在前方參考圖片所含的co-located區塊(前方參考區塊)、與後方參考圖片所含的co-located區塊(後方參考區塊)之中，把與編碼對象圖片在顯示順序上距離較近的圖片中所含者，選擇為co-located區塊。並且，co-located資訊決定部117依每圖片(或片段)生成：顯示co-located區塊為前方參考區塊或後方參考區塊的co-located參考方向旗標、及用以指定co-located圖片的co-located參考圖片索引，並將所生成的co-located參考方向旗標、及co-located參考圖片索引輸出至可變長度編碼部118。
圖8B顯示了其他圖片可參考的B圖片之例。在圖8B之例中，定義了具有複數層(layer)的參考構造。串流最前頭的圖片係設定為I圖片，最前頭之I圖片以外的圖片，則設定為B圖片。又，在複數之層中屬於高階(level)之層的圖片，參考屬於同一階之層的圖片、或屬於較該層為低階之層的圖片。
例如，在圖8B中，屬於層3的圖片B1，參考屬於層0的圖片I0、及屬於層2的圖片Br2。又，屬於最低階 之層0的Bf8，則參考屬於同一層的圖片I0。在此，屬於最低階之層0的圖片，僅參考顯示順序上為前方的圖片。在如此之參考構造中，可考慮：對屬於其他圖片可參考之可能性較高之層0的圖片，使co-located使用禁止旗標為ON。
圖9係圖3之步驟S17之詳細處理流程。以下，說明圖9。
首先，時間預測動態向量算出部114從colPic記憶體115，讀取出包含預測方向1之參考動態向量、及預測方向2之參考動態向量等的colPic資訊(S41)。接著，時間預測動態向量算出部114判斷：colPic資訊所含的co-located區塊是否具有2個以上的動態向量(S42)。亦即，時間預測動態向量算出部114判斷co-located區塊是否具有前方參考動態向量(mvL0)、與後方參考動態向量(mvL1)。
co-located區塊被判斷為具有2個以上的動態向量時(S42為「是」)，時間預測動態向量算出部114判斷co-located區塊是否為後方參考區塊(S43)。亦即，時間預測動態向量算出部114判斷：包含co-located區塊的圖片是否較編碼對象圖片在顯示順序上位於後方。
接著，當判斷為co-located區塊係後方參考區塊時(S43為「是」)，時間預測動態向量算出部114使用co-located區塊之前方參考動態向量(參考圖片列表L0中相對於參考圖片之動態向量mvL0)，藉由時間動態向量預測，將時間預測動態向量導出(S44)。然後，時間預測動態 向量算出部114將在步驟S44所算出之時間預測動態向量，追加於預測動態向量候補(S45)。
另一方面，當判斷為co-located區塊係前方參考區塊時(S43為「否」)，時間預測動態向量算出部114使用co-located區塊之後方參考動態向量(參考圖片列表L1中相對於參考圖片之動態向量mvL1)，藉由時間動態向量預測，將時間預測動態向量導出(S46)，並將所導出之時間預測動態向量追加於預測動態向量候補(S45)。
另一方面，當co-located區塊被判斷為僅具有前方參考動態向量、及後方參考動態向量中任一者時(S42為「否」)，時間預測動態向量算出部114判斷co-located區塊是否具有前方參考動態向量(S47)。當判斷為co-located區塊具有前方參考動態向量時(S47為「是」)，時間預測動態向量算出部114使用co-located區塊之前方參考動態向量，將編碼對象區塊之時間預測動態向量導出(S48)，並將所導出之時間預測動態向量追加於預測動態向量候補(S45)。
另一方面，當co-located區塊被判斷為不具有前方參考動態向量時(S47為「否」)，時間預測動態向量算出部114判斷co-located區塊是否具有後方參考動態向量(S49)。在判斷為co-located區塊具有後方參考動態向量時(S49為「是」)，時間預測動態向量算出部114使用後方參考動態向量，將編碼對象區塊之時間預測動態向量導出(S50)，並將所導出之時間預測動態向量追加於預測動態向 量候補(S45)。
又另一方面，當判斷為co-located區塊不具有後方參考動態向量時(S49為「否」)，時間預測動態向量算出部114不將時間預測動態向量追加於預測動態向量候補，結束圖9的處理(S51)。或者，時間預測動態向量算出部114亦可將動態量為0的動態向量作為co-located區塊之時間預測動態向量，追加於預測動態向量候補，來代替步驟S51的處理。
另外，在圖9的處理流程中，時間預測動態向量算出部114係在步驟S47中，判斷co-located區塊是否具有前方參考動態向量，而在步驟S49中，判斷co-located區塊是否具有後方參考動態向量，但並不限於此流程。例如，時間預測動態向量算出部114亦可先判斷co-located區塊是否具有後方參考動態向量，然後再判斷co-located區塊是否具有前方參考動態向量。
圖10係圖3之步驟S13及步驟S14的詳細處理流程。以下，說明圖10。
首先，時間預測動態向量算出部114從全體向量保存部116，讀取出包含預測方向1之全體動態向量、及預測方向2之全體動態向量等的全體動態向量資訊之至少一者(S61)。接著，時間預測動態向量算出部114判斷全體動態向量資訊是否具有2個以上之動態向量(S62)。亦即，時間預測動態向量算出部114判斷前方參考動態向量(mvL0)與後方參考動態向量(mvL1)是否包含在全體動態向量資 訊。
當判斷為全體動態向量資訊具有2個以上之動態向量時(S62為「是」)，時間預測動態向量算出部114判斷co-located參考方向是否為後方參考區塊(S63)。當判斷為co-located參考方向係後方參考區塊時(S63為「是」)，時間預測動態向量算出部114選擇全體動態向量資訊所含之前方參考動態向量(S64)。
並且，時間預測動態向量算出部114將已選擇的全體動態向量，附加於圖片標頭等的標頭資訊(輸出至可變長度編碼部118)，並且追加於編碼對象區塊之預測動態向量候補(S65)。另外，時間預測動態向量算出部114把用來將已選擇之全體動態向量所參考的(更具體而言：使用於算出全體動態向量之複數動態向量所參考的)參考圖片特定的資訊，附加於標頭資訊。此資訊係使用圖11A~圖12B而被利用在後述之定標處理中。
另一方面，當判斷為co-located參考方向係前方參考區塊時(S63為「否」)，時間預測動態向量算出部114選擇全體動態向量資訊所含之後方參考動態向量(S66)。並且，時間預測動態向量算出部114將已選擇之全體動態向量，附加於圖片標頭等之標頭資訊，並且追加於編碼對象區塊之預測動態向量候補(S65)。
又，當判斷為全體動態向量資訊僅具有前方參考動態向量、及後方參考動態向量中之任一者時(S62為「否」)，時間預測動態向量算出部114判斷全體動態向量 資訊是否具有前方參考動態向量(S67)。
當判斷為全體動態向量資訊具有前方參考動態向量時(S67為「是」)，時間預測動態向量算出部114選擇全體動態向量資訊所含之前方參考動態向量(S68)。然後，時間預測動態向量算出部114將已選擇之全體動態向量，附加於圖片標頭等之標頭資訊，並且追加於編碼對象區塊之預測動態向量候補(S65)。
另一方面，當判斷為全體動態向量資訊不具有前方參考動態向量時(S67為「否」)，時間預測動態向量算出部114判斷全體動態向量資訊是否具有後方參考動態向量(S69)。當判斷為全體動態向量資訊具有後方參考動態向量時(S69為「是」)，時間預測動態向量算出部114選擇全體動態向量資訊所含之後方參考動態向量(S70)。然後，時間預測動態向量算出部114將已選擇之全體動態向量，附加於圖片標頭等之標頭資訊，並且追加於編碼對象區塊之預測動態向量候補(S65)。
另一方面，當判斷為全體動態向量資訊不具有後方參考動態向量時(S69為「否」)，時間預測動態向量算出部114不將時間預測動態向量追加於預測動態向量候補，或者將全體動態向量設定為0(S71)。然後，時間預測動態向量算出部114將已設定之全體動態向量，附加於圖片標頭等之標頭資訊，並且追加於編碼對象區塊之預測動態向量候補(S65)。
另外，在圖10之處理流程中，時間預測動態向 量算出部114係在步驟S67中，判斷全體動態向量是否具有前方參考動態向量，在步驟S69中，判斷全體動態向量是否具有後方參考動態向量，但並不限於此流程。例如，時間預測動態向量算出部114亦可先判斷全體動態向量是否具有後方參考動態向量，然後再判斷全體動態向量是否具有前方參考動態向量。
又，在圖10之步驟S63~步驟S66中，係說明了如下之例：時間預測動態向量算出部114藉由co-located參考方向旗標，來決定要選擇全體動態向量mvL0、及mvL1中何者；但並不限定於此。例如，時間預測動態向量算出部114亦可於參考圖片列表L0之預測動態向量候補，選擇全體動態向量mvL0，而於參考圖片列表L1之預測動態向量的候補，選擇全體動態向量mvL1。藉此，當使用全體動態向量時，由於無須將co-located參考方向旗標附加於標頭，故可更提升編碼效率。
接著，詳細說明將時間預測動態向量追加於預測動態向量候補時的定標方法。另外，由於將全體動態向量追加於預測動態向量候補時的定標方法，係使用全體動態向量來作為輸入，以代替co-located區塊之動態向量，除了此點以外皆共通，故省略說明。
圖11A顯示了：當co-located區塊為後方參考區塊，且具有前方參考動態向量與後方參考動態向量時，使用前方參考動態向量，藉由時間動態向量預測，導出預測動態向量候補(時間預測動態向量)的方法。具體而言，使 用前方參考動態向量，藉由以下之式4，將預測動態向量候補(TemporalMV)導出。
TemporalMV=mvL0×(B2-B0)/(B4-B0)...(式4)
在此，(B2-B0)表示圖片B2與圖片B0間之顯示時間的時間差資訊。同樣地，(B4-B0)表示圖片B4與圖片B0之顯示時間的時間差資訊。
圖11B顯示了：使用後方參考動態向量，藉由時間動態向量預測，將預測動態向量候補(時間預測動態向量)導出的方法。具體而言，使用後方參考動態向量，藉由以下之式5，將預測動態向量候補導出。
TemporalMV=mvL1×(B2-B0)/(B4-B8)...(式5)
圖12A顯示了：當co-located區塊為前方參考區塊，且具有前方參考動態向量與後方參考動態向量時，使用後方參考動態向量，藉由時間動態向量預測，將預測動態向量候補(時間預測動態向量)導出的方法。具體而言，使用後方參考動態向量，藉由以下之式6，將預測動態向量候補導出。
TemporalMV=mvL1×(B6-B8)/(B4-B8)...(式6)
圖12B顯示了：使用前方參考動態向量，藉由時間動態向量預測，將預測動態向量候補(時間預測動態向量)導出的方法。使用後方參考動態向量，藉由以下之式7，將預測動態向量候補導出。
TemporalMV=mvL0×(B6-B8)/(B4-B0)...(式7)
如此，在本實施形態1中，動態圖像編碼裝置 100係以某一定間隔，將使用了參考圖片每編碼處理單位之動態向量的時間動態向量預測設定為OFF，將參考圖片全體之動態向量附加於標頭資訊，來取而代之，並使用已定標之全體向量來進行編碼對象圖片之動態向量之編碼。藉此，可一面抑制編碼效率變差，一面防止解碼錯誤的傳播。
更具體而言，動態圖像編碼裝置100在co-located使用禁止旗標為ON時，將從全體向量保存部116讀取出之全體向量，追加於編碼對象區塊之預測動態向量候補，並且附屬於圖片標頭等之標頭資訊。藉此，即使在解碼時參考圖片已散佚的情況下，動態圖像解碼裝置亦可無解碼錯誤地將位元流解碼。如此，可抑制錯誤傳播。
又，動態圖像編碼裝置100在co-located使用禁止旗標為OFF的情況下，由於可因應co-located參考方向旗標，來選擇最適合編碼對象區塊的預測動態向量，故可提升壓縮效率。特別是，動態圖像編碼裝置100在co-located區塊為前方參考區塊的情況下，藉由使用後方參考動態向量，可減少預測誤差。後方參考動態向量係從包含co-located區塊的圖片，指出包含編碼對象區塊的圖片之方向之參考圖片的動態向量，接近最適當動態向量的機率較高。所以，預測誤差會變小。
另一方面，前方參考動態向量係從包含co-located區塊的圖片，與包含編碼對象區塊的圖片所位在之方向為反方向的動態向量，接近最適當動態向量的機率較 低。所以，預測誤差會變大。又，co-located區塊為後方參考區塊的情況也同樣地，前方參考動態向量接近最適當動態向量的機率較高。所以，預測誤差會變小。
另外，在本實施形態1中，動態圖像編碼裝置100在co-located區塊具有2個以上之動態向量時，係以co-located區塊為後方參考區塊或前方參考區塊，來切換使用於算出編碼對象區塊之時間預測動態向量的co-located區塊之動態向量，但並不限定於此。
例如，動態圖像編碼裝置100亦可使用將與包含co-located區塊之圖片在時間上較近的參考圖片作為參考的動態向量(時間上的距離較短的動態向量)，來算出時間預測動態向量。在此，時間上的距離係例如在顯示順序上，因應包含co-located區塊的圖片、與co-located區塊所參考的參考圖片間之圖片數來決定該距離。
又，在本實施形態1中，動態圖像編碼裝置100在co-located區塊具有2個以上之動態向量時，係以co-located區塊為後方參考區塊、或前方參考區塊，來切換使用於算出編碼對象區塊之時間預測動態向量的co-located區塊之動態向量，但並不限定於此。例如，動態圖像編碼裝置100亦可在co-located區塊的2個動態向量中，使用大小較小的動態向量來算出時間預測動態向量。在此，動態向量的大小指的是動態向量的絕對值等。
又，在本實施形態1中，動態圖像編碼裝置100在co-located使用禁止旗標為ON的情況下，係將從全體 向量保存部116讀取出之全體向量，作為時間預測動態向量的代替向量，追加於預測動態向量候補，但並不限定於此。例如，動態圖像編碼裝置100亦可總是將值0之動態向量作為全體動態向量，追加於預測動態向量候補(亦即，將動態量為0之動態向量作為代替向量而追加於預測動態向量候補)。此時，動態圖像編碼裝置100可不使全體動態向量附屬於標頭資訊等。又，動態圖像編碼裝置100在co-located使用禁止旗標為ON的情況下，常時性地不將時間預測動態向量追加於預測動態向量候補亦無妨。藉由不將時間預測動態向量追加於預測動態向量候補，可提升編碼效率。
又，在本實施形態1中，動態圖像編碼裝置100係對於全部的圖片附加co-located使用禁止旗標，但亦可僅對特定的圖片進行附加。例如，動態圖像編碼裝置100僅對其他圖片可參考的圖片(P圖片、其他圖片可參考的B圖片、在具有複數層之參考構造中屬於最低階的圖片)附加co-located使用禁止旗標，對於其他圖片不參考的圖片則不附加co-located使用禁止旗標。如此，動態圖像編碼裝置100僅對於特定的圖片附加co-located使用禁止旗標，藉此，可提升編碼效率，並且可抑制解碼錯誤傳播。
又，在本實施形態1中，動態圖像編碼裝置100係依每圖片來附加co-located使用禁止旗標，但亦可依由複數區塊所構成的每片段，來附加co-located使用禁止旗標。藉由依每片段來附加co-located使用禁止旗標，可提 升全體向量的預測精準度。
又，在本實施形態1中，動態圖像編碼裝置100係對於全部的圖片附加co-located使用禁止旗標，但亦可不附加co-located使用禁止旗標，而是根據圖片形式來判斷不將時間預測動態向量追加於預測動態向量候補。例如，動態圖像編碼裝置100亦可在其他圖片可參考的圖片(P圖片、其他圖片可參考的B圖片、在具有複數層之參考構造中屬於最低階的圖片)中，不將時間預測動態向量追加於預測動態向量候補，而將全體向量追加於預測動態向量候補。如此，藉由根據圖片形式，來判斷是否將時間預測動態向量追加於預測動態向量候補，可省去co-located使用禁止旗標，故可提升編碼效率。
又，動態圖像編碼裝置100在不使時間預測動態向量包含於預測動態向量候補時，藉由不使不需要的旗標包含在位元流，可提升編碼效率。具體的例子，使用圖13來進行說明。圖13係圖3之S11的詳細流程，係顯示決定co-located資訊之流程的變形例的圖。
首先，動態圖像編碼裝置100以與圖8A同樣的方法來決定co-located使用禁止旗標之值，並將顯示所決定之值的co-located使用禁止旗標進行編碼(S101)。另外，在此，說明使用以下旗標來作為co-located使用禁止旗標之例：顯示是否許可使用了co-located區塊之資訊的時間預測動態向量的旗標(enable_temporal_mvp_flag)。
接著，動態圖像編碼裝置100判定enable_teporal_mvp_flag是否為1(S102)。當enable_teporal_mvp_flag為1時(S102為「是」)，動態圖像編碼裝置100以與圖8A之S32同樣的方法，決定co-located參考方向旗標及co-located參考圖片索引之值，並將其等分別編碼(S103及S104)。
另一方面，當enable_teporal_mvp_flag為0時(S102為「否」)，動態圖像編碼裝置100不將co-located參考方向旗標及co-located參考圖片索引編碼。如此，動態圖像編碼裝置100在不使時間預測動態向量包含於預測動態向量候補的情況下(enable_teporal_mvp_flag為0時)，不將不需要的co-located參考方向旗標及co-located參考圖片索引附加於位元流。藉此，動態圖像編碼裝置100可提升編碼效率。
如以上，本實施形態之動態圖像編碼裝置100進行如圖14所示之動態圖像編碼處理。
動態圖像編碼裝置100將編碼對象圖片所含之編碼對象區塊，進行使用了動態向量的間預測編碼。
首先，動態圖像編碼裝置100生成如下之旗標：顯示使用時間預測動態向量的時間動態向量預測是否被使用(許可或禁止時間動態向量預測)的第1旗標(co-located使用禁止旗標)，而該時間預測動態向量係與編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量，且動態圖像編碼裝置100將所生成之第1旗標編碼(S111)。又，動 態圖像編碼裝置100將經編碼之第1旗標附加於位元流。
接著，動態圖像編碼裝置100判定第1旗標是否顯示時間動態向量預測被使用(被許可)(S112)。
當第1旗標顯示時間動態向量預測被使用(被許可)時(S112為「是」)，動態圖像編碼裝置100生成用以將時間預測動態向量算出的第1參數，並將所生成之第1參數編碼(S113)。然後，動態圖像編碼裝置100將經編碼之第1參數附加於位元流。
具體而言，該第1參數包含用以將動態向量之參考對象、即編碼完畢圖片(co-located圖片)特定的參數。更具體而言，第1參數包含有參考圖片索引(collocated_ref_idx)，該參考圖片索引係用來在以用於將編碼對象圖片編碼之參考圖片列表所表示的複數圖片中，將上述編碼完畢圖片(co-located圖片)特定者。又，第1參數為了在使用於將編碼對象圖片編碼的複數參考圖片列表中，將上述編碼完畢圖片(co-located圖片)特定出，包含有顯示使用何參考圖片列表的旗標(collocated_from_l0_flag)。
在此，各參考圖片列表顯示複數的參考圖片(編碼完畢圖片)。又，在各參考圖片列表中，複數的參考圖片係以參考圖片索引來表示。動態圖像編碼裝置100從複數的參考圖片列表，選擇以上述旗標(collocated_from_l0_flag)所示之參考圖片列表，從已選擇之參考圖片列表中所含的複數參考圖片，將具有上述參考圖片索引(collocated_ref_idx)的圖片特定為上述編碼完畢圖片(co -located圖片)。
接著，動態圖像編碼裝置100使用第1參數來生成時間預測動態向量，並將包含所生成之時間預測動態向量的複數之第1預測動態向量候補導出(S114)。
然後，動態圖像編碼裝置100使用複數之第1預測動態向量候補中之1個，將使用於編碼對象區塊之間預測編碼的動態向量進行編碼(S115)。具體而言，動態圖像編碼裝置100在複數之第1預測動態向量候補中，選擇與使用於編碼對象區塊之間預測編碼的動態向量間之差分最小的第1預測動態向量候補，使用所選擇之第1預測動態向量候補，將上述動態向量編碼。更具體而言，動態圖像編碼裝置100將所選擇之第1預測動態向量候補、與上述動態向量間的差分進行編碼。
又，動態圖像編碼裝置100藉由使用了上述動態向量的間編碼來將編碼對象區塊編碼。然後，動態圖像編碼裝置100將經編碼之動態向量(差分)、及經編碼之編碼對象區塊附加於位元流。
另一方面，當第1旗標顯示時間動態向量預測不被使用(被禁止)時(S112為「否」)，動態圖像編碼裝置100不將上述第1參數編碼(S116)。也就是說，動態圖像編碼裝置100不生成第1旗標。又，動態圖像編碼裝置100不將第1旗標附加於位元流。
又，動態圖像編碼裝置100將不含時間預測動態向量的複數之第2預測動態向量候補導出(S117)。
接著，動態圖像編碼裝置100使用複數之第2預測動態向量候補中之1個，將使用於編碼對象區塊之間預測編碼的動態向量進行編碼(S118)。另外，此處理之具體例，與將上述步驟S115中複數之第1預測動態向量候補，置換成複數之第2預測動態向量候補的情況之處理相同。
另外，上述步驟S111係藉由動態圖像編碼裝置100所含之旗標編碼部來執行。又，步驟S113及S116係藉由動態圖像編碼裝置100所含之參數編碼部來執行。步驟S114及S117係藉由動態圖像編碼裝置100所含之候補導出部來執行。步驟S115及S118係藉由動態圖像編碼裝置100所含之動態向量編碼部來執行。
在此旗標編碼部的機能係例如藉由如圖2所示之co-located資訊決定部117及可變長度編碼部118等來實現。又，參數編碼部的機能係藉由如圖2所示之co-located資訊決定部117及可變長度編碼部118等來實現。候補導出部的機能係藉由如圖2所示之間預測控制部112及時間預測動態向量算出部114來實現。動態向量編碼部的機能係藉由如圖2所示之減算部101、間預測部110、間預測控制部112、及可變長度編碼部118等來實現。
又，第1旗標(co-located使用禁止旗標)及第1參數(collocated_from_l0_flag及collocated_ref_idx)係依每圖片或片段來生成及編碼。也就是說，此第1旗標及第1參數係包含於位元流之圖片標頭或片段標頭。另外，第1旗標與第1參數，亦可依每不同的單位(圖片或片段)來生 成。例如，第1旗標以圖片單位來生成，第1參數則以片段單位來生成。
此外，第1旗標及第1參數中之至少一者，亦可依每複數圖片來進行生成及編碼。也就是，第1旗標及第1參數中之至少一者，亦可包含在位元流的PPS(圖片參數組)或SPS(序列參數組)。
另外，第1旗標亦可階層性地包含在片段、圖片、及複數之圖片(序列)的單位中之複數單位。例如，動態圖像編碼裝置100依每圖片，生成顯示在該圖片是否使用時間動態向量預測的第1旗標。此外，動態圖像編碼裝置100在第1旗標顯示時間動態向量預測被使用時，更依該圖片所含之每片段，生成顯示在該片段是否使用時間動態向量預測的第2旗標。另一方面，當第1旗標顯示時間動態向量預測不被使用時，動態圖像編碼裝置100不生成每片段的第2旗標。另外，動態圖像編碼裝置100亦可僅在第1旗標顯示時間動態向量預測不被使用時，依該圖片所含之每片段生成第2旗標。又，動態圖像編碼裝置100亦可依每複數圖片生成上述第1旗標，依每圖片或每片段生成上述第2旗標。
(實施形態2)
在本實施形態中，說明將藉由上述動態圖像編碼裝置100所生成之位元流進行解碼的動態圖像解碼裝置200。
圖15係顯示使用了實施形態2之動態圖像解碼方 法的動態圖像解碼裝置200之構成的方塊圖。
在本實施形態2中，把在顯示順序上，較解碼對象圖片位於前方的圖片(以參考圖片列表L0所特定的參考圖片)中所含之區塊，稱為前方參考區塊。又，把在顯示順序上，較解碼對象圖片位於後方的圖片(以參考圖片列表L1所特定的參考圖片)中所含之區塊，稱為後方參考區塊。
動態圖像解碼裝置200如圖15所示，具備有：可變長度解碼部201、逆量化部202、逆正交變換部203、加算部204、區塊記憶體205、訊框記憶體206、內預測部207、間預測部208、開關209、間預測控制部210、時間預測動態向量算出部211、colPic記憶體212。
可變長度解碼部201藉由將經輸入之位元流進行可變長度解碼，來取得圖片形式資訊、預測動態向量索引、co-located使用禁止旗標(或enable_temporal_mvp_flag)、co-located參考方向旗標(collocated_from_l0_flag)、co-located參考圖片索引(collocated_ref_idx)、全體動態向量、及量化係數。可變長度解碼部201將圖片形式資訊輸出至開關209及間預測控制部210，將預測動態向量索引輸出至間預測控制部210，將co-located使用禁止旗標(或enable_temporal_mvp_flag)、co-located參考方向旗標(collocated_from_l0_flag)、co-located參考圖片索引(collocated_ref_idx)、及全體動態向量輸出至時間預測動態向量算出部211，將量化係數輸出至逆量化部 202。
逆量化部202藉由將從可變長度解碼部201所取得的量化係數進行逆量化，來將變換係數復原，並將經復原之變換係數輸出至逆正交變換部203。逆正交變換部203藉由將從逆量化部202取得的經復原之變換係數從頻域變換至圖像區域，來將殘差區塊復原，並將經復原之殘差區塊輸出至加算部204。
加算部204將從逆正交變換部203取得的經復原之殘差區塊、與從開關209取得的預測區塊進行加算，藉此來將解碼區塊復原。然後，加算部204將包含此經復原之解碼區塊的解碼圖像列輸出至裝置外部，並且保存於區塊記憶體205及訊框記憶體206。
區塊記憶體205將從加算部204取得的解碼圖像列，以區塊單位進行保存。訊框記憶體206將從加算部204取得的解碼圖像列，以訊框單位進行保存。
內預測部207使用保存在區塊記憶體205的區塊單位之解碼圖像列來進行內預測，藉此，生成解碼對象區塊之預測區塊，並將所生成之預測區塊輸出至開關209。間預測部208使用保存在訊框記憶體206的訊框單位之解碼圖像列來進行間預測，藉此，生成解碼對象區塊之預測區塊，並將所生成之預測區塊輸出至開關209。開關209將以內預測部207所生成之預測區塊、或以間預測部208所生成之預測區塊，輸出至加算部204。
時間預測動態向量算出部211在從可變長度解碼 部201取得的co-located使用禁止旗標為OFF時，使用儲存在colPic記憶體212的co-located區塊之動態向量等colPic資訊，將時間動態向量預測之預測動態向量候補(時間預測動態向量)導出。另一方面，時間預測動態向量算出部211在co-located使用禁止旗標為ON時，將從可變長度解碼部201取得的全體動態向量，追加至預測動態向量候補。
又，時間預測動態向量算出部211對於已追加於候補的預測動態向量分配預測動態向量索引。然後，時間預測動態向量算出部211將預測動態向量及預測動態向量索引，輸出至間預測控制部210。
又，時間預測動態向量算出部211在co-located區塊不具有動態向量時，將時間動態向量預測所行之動態向量導出中止，或者亦可將動態量為0之動態向量追加至預測動態向量候補。
間預測控制部210從複數之預測動態向量候補中，把與從可變長度解碼部201取得的預測動態向量索引對應的預測動態向量特定出來。然後，間預測控制部210將動態向量與預測動態向量間的誤差資訊，加上已特定的預測動態向量，藉此，將使用於間預測之際的動態向量算出。又，間預測控制部210將包含解碼對象區塊之動態向量等的colPic資訊，保存在colPic記憶體212。
圖16係實施形態2之動態圖像解碼方法的處理流程概要。
首先，可變長度解碼部201以圖片單位，將co-located使用禁止旗標解碼(S81)。接著，可變長度解碼部201判定co-located使用禁止旗標是否為OFF(S82)。若co-located使用禁止旗標為OFF(S82為「是」)，則可變長度解碼部201以圖片單位，將co-located參考方向旗標及co-located參考圖片索引(collocated_ref_idx)解碼(S83)。然後，可變長度解碼部201將已解碼的co-located使用禁止旗標、co-located參考方向旗標及co-located參考圖片索引，輸出至時間預測動態向量算出部211。
接著，時間預測動態向量算出部211以與圖9同樣的方法，因應co-located資訊，從colPic記憶體212將包含co-located區塊之參考動態向量等的colPic資訊讀取出，使用co-located區塊之參考動態向量來生成時間預測動態向量，並將所生成之時間預測動態向量追加至預測動態向量候補(S84)。
另一方面，當co-located使用禁止旗標為ON時(S82為「否」)，時間預測動態向量算出部211從可變長度解碼部201取得儲存於圖片標頭等之標頭資訊的全體動態向量，並將所取得之全體動態向量追加於預測動態向量候補(S87)。
然後，間預測控制部210從複數之預測動態向量候補中，選擇與已解碼之預測動態向量索引對應的預測動態向量(S85)。又，間預測控制部210藉由將預測誤差資訊加上所選擇之預測動態向量來導出動態向量，並將所導出 之動態向量輸出至間預測部208。並且，間預測部208使用所導出之動態向量，藉由間預測來生成解碼對象區塊之預測區塊。
接著，間預測控制部210將包含使用於間預測之動態向量等的colPic資訊，保存在colPic記憶體212(S86)。在colPic記憶體212，為了將解碼對象區塊之時間預測動態向量算出，儲存有參考圖片之動態向量、參考圖片索引值、及預測方向等。
另外，當參考區塊具有2個以上的參考動態向量時，用以算出時間預測動態向量的參考動態向量選擇方法，不限於根據co-located區塊參考方向旗標的方法。例如，動態圖像解碼裝置200亦可算出參考動態向量的時間上的距離，並使用時間上之距離較短的參考動態向量。在此，時間上的距離，係根據在顯示時間中，包含參考區塊之參考圖片、與參考圖片所參考之圖片間的圖片數而算出。又，例如，動態圖像解碼裝置200亦可算出參考動態向量的大小，把使用大小較小的參考動態向量而導出的動態向量作為時間預測動態向量。
圖17係實施形態2之動態圖像解碼方法中位元流之語法的一例。在圖17中，forbid_collocated_flag表示co-located使用禁止旗標，tmv_x表示全體動態向量之水平分量，tmv_y表示全體動態向量之垂直分量，collocated_from_l0_flag表示co-located參考方向旗標。
如圖17所示，當co-located使用禁止旗標 (forbid_collocated_flag)為1時，全體動態向量(tmv_x，tmv_y)係附屬於位元流，並追加於預測動態向量候補。
又，當co-located使用禁止旗標(forbid_collocated_flag)為0時，co-located參考方向旗標(collocated_from_l0_flag)係附屬於位元流。然後，因應co-located參考方向旗標而決定co-located區塊，並使用co-located區塊之參考動態向量來算出時間預測動態向量。另外，在此，若collocated_from_l0_flag為1，係表示：co-located區塊為前方參考區塊，而若為0，則表示：co-located區塊為後方參考區塊，但不一定限定於此。
另外，在本實施形態2中，動態圖像解碼裝置200係在co-located使用禁止旗標為ON時，使用從標頭資訊等所解碼的全體動態向量，但亦可配合編碼方法，總是將值0之全體動態向量追加於預測動態向量候補。此時，由於全體動態向量不附屬於標頭資訊等，故可省略其解碼處理。又，動態圖像解碼裝置200在co-located使用禁止旗標為ON時，亦可常時性地不將時間預測動態向量，追加於預測動態向量候補。
如此，在本實施形態1及2中，動態圖像編碼裝置100係以某一定間隔，將使用了參考圖片每編碼處理單位之動態向量的時間動態向量預測設定為OFF，並將參考圖片的全體之動態向量附加於標頭資訊，以取而代之。並且，動態圖像編碼裝置100使用其而進行編碼對象圖片之 動態向量的編碼，藉此，可一面抑制編碼效率變差，一面可生成防止了解碼錯誤傳播的位元流。又，動態圖像解碼裝置200可將如上述般生成的位元流適當地解碼。
更具體而言，當co-located使用禁止旗標為ON時，動態圖像編碼裝置100把從全體向量保存部116讀取出之全體向量，追加至編碼對象區塊之預測動態向量候補，並且附屬於圖片標頭等之標頭資訊。藉此，即使在解碼時參考圖片已散佚的情況下，動態圖像解碼裝置200亦可無解碼錯誤地將位元流解碼。如此，動態圖像解碼裝置200可將已抑制錯誤傳播的位元流適當地解碼。
又，當co-located使用禁止旗標為OFF時，動態圖像解碼裝置200可因應co-located參考方向旗標，將選擇了最適於編碼對象區塊之預測動態向量的位元流適當地解碼。
另外，在本實施形態1及2中，動態圖像編碼裝置100在co-located使用禁止旗標為ON時，係使用了從全體向量保存部116讀取出之全體向量，但亦可總是將值0之全體動態向量追加於預測動態向量候補。又，動態圖像編碼裝置100亦可在co-located使用禁止旗標為ON時，常時性地不將時間預測動態向量追加於預測動態向量候補。藉由如此般之構成，可減輕動態圖像解碼裝置200的解碼處理。
又，在本實施形態2中，動態圖像解碼裝置200係將全部圖片之co-located使用禁止旗標解碼，但亦可僅 將特定的圖片之co-located使用禁止旗標解碼。例如，動態圖像解碼裝置200僅將其他圖片可參考的圖片(P圖片、其他圖片可參考的B圖片、在具有複數層之參考構造中屬於最低階之層的圖片)之co-located使用禁止旗標解碼，而不將其他圖片不參考的圖片之co-located使用禁止旗標解碼。如此，藉由僅將特定圖片之co-located使用禁止旗標解碼，可減輕解碼處理，並且抑制解碼錯誤傳播。
又，在本實施形態2中，動態圖像解碼裝置200係依每圖片，將co-located使用禁止旗標解碼，但亦可依由複數區塊所構成之每片段，將co-located使用禁止旗標解碼。藉由依每片段將co-located使用禁止旗標解碼，可提升全體向量的預測精準度。
又，在本實施形態2中，動態圖像解碼裝置200係將全部圖片之co-located使用禁止旗標解碼，但亦可根據圖片形式，而不將時間預測動態向量追加於預測動態向量候補。例如，動態圖像解碼裝置200亦可在其他圖片可參考之圖片(P圖片、其他圖片可參考之B圖片、在具有複數層之參考構造中屬於最低階之層的圖片)中，不將時間預測動態向量追加於預測動態向量候補，而將全體動態向量追加於預測動態向量候補。如此，根據圖片形式，來判斷將時間預測動態向量及全體動態向量中之何者，追加於預測動態向量候補，藉此，可減輕解碼處理，並且提升編碼效率。
又，動態圖像編碼裝置100在不使時間預測動態 向量包含於預測動態向量候補時，藉由不使不需要的旗標包含於位元流，可生成提升了編碼效率的位元流。又，動態圖像解碼裝置200可將該位元流適當地解碼。具體之例，使用圖18來說明。圖18係顯示將co-located資訊解碼之流程的變形例的圖。
首先，動態圖像解碼裝置200將co-located使用禁止旗標解碼(S201)。另外，在此，說明將如下之旗標解碼的情況之例：顯示是否許可使用了co-located區塊之資訊的時間預測動態向量的旗標(enable_temporal_mvp_flag)。
接著，動態圖像解碼裝置200判定enable_teporal_mvp_flag是否為1(S202)。當enable_teporal_mvp_flag為1時(S202為「是」)，動態圖像解碼裝置200分別將co-located參考方向旗標及co-located參考圖片索引解碼(S203及S204)。
另一方面，當enable_teporal_mvp_flag為0時(S202為「否」)，動態圖像解碼裝置200不將co-located參考方向旗標及co-located參考圖片索引解碼。如此，動態圖像編碼裝置100在時間預測動態向量不包含在預測動態向量候補時(enable_teporal_mvp_flag為0時)，不將不需要的co-located參考方向旗標及co-located參考圖片索引附加於位元流，藉此，可生成提升了編碼效率的位元流。又，動態圖像解碼裝置200可將此位元流適當地解碼。
圖19A及圖19B係顯示如下情形之語法例的圖： 將顯示是否許可使用了co-located區塊之資訊的時間預測動態向量的co-located使用禁止旗標(enable_temporal_mvp_flag)，附加於PPS(Picture Parameter Set)，並將co-located參考方向旗標(collocated_from_l0_flag)及co-located參考圖片索引(collocated_ref_idx)附加於片段標頭。
在co-located使用禁止旗標之值為1時，允許使用co-located資訊來將時間預測動態向量算出。而當co-located使用禁止旗標之值為0時，禁止使用co-located資訊來將時間預測動態向量算出。
當co-located參考方向旗標之值為1時，從預測方向1之參考圖片列表選擇co-located圖片。而當co-located參考方向旗標之值為0時，從預測方向1之參考圖片列表選擇co-located圖片。
在因應collocated_from_l0_flag之值而決定之參考圖片列表中所含的複數圖片中，選擇參考圖片索引為collocated_ref_idx的圖片來作為co-located圖片。
又，圖20係顯示如下情形之語法例的圖：將顯示是否許可使用了co-located區塊之資訊的時間預測動態向量的co-located使用禁止旗標(enable_temporal_mvp_flag)、co-located參考方向旗標(collocated_from_l0_flag)、及co-located參考圖片索引(collocated_ref_idx)，全部附加於片段標頭。
如圖19B及圖20所示，當enable_temporal_ mvp_flag之值為0時，不將collocated_from_l0_flag及collocated_ref_idx附加於位元流。
如以上，本實施形態之動態圖像解碼裝置200進行如圖21所示之動態圖像解碼處理。
動態圖像解碼裝置200將解碼對象圖片所含之解碼對象區塊，進行使用了動態向量的間預測解碼。
首先，動態圖像解碼裝置200將顯示使用時間預測動態向量的時間動態向量預測是否被使用(許可或禁止時間動態向量預測)的第1旗標(co-located使用禁止旗標)解碼，且該時間預測動態向量係與解碼對象圖片不同之解碼完畢圖片中所含的區塊之動態向量(S211)。也就是，動態圖像解碼裝置200從位元流取得經編碼之第1旗標，將經編碼之第1旗標解碼，藉此來取得第1旗標。
接著，動態圖像解碼裝置200判定第1旗標是否顯示時間動態向量預測被使用(被許可)(S212)。
當第1旗標顯示時間動態向量預測被使用(被許可)時(S212為「是」)，動態圖像解碼裝置200將用以算出時間預測動態向量的第1參數解碼(S213)。具體而言，動態圖像解碼裝置200從位元流取得經編碼之第1參數，將所取得之經編碼的第1參數解碼，藉此，取得第1參數。該第1參數包含用以將動態向量之參考對象、即解碼完畢圖片(co-located圖片)特定出來的參數。更具體而言，第1參數包含如下之參考圖片索引(collocated_ref_idx)：係用以在由用於將解碼對象圖片解碼之參考圖片列表所表示的複數 圖片中，將上述解碼完畢圖片(co-located圖片)特定者。又，為了在使用於將解碼對象圖片解碼的複數參考圖片列表中，將上述解碼完畢圖片(co-located圖片)特定出，第1參數包含有顯示使用何參考圖片列表的旗標(collocated_from_l0_flag)。
然後，動態圖像解碼裝置200使用第1參數，決定時間預測動態向量，並將包含所決定之時間預測動態向量的複數之第1預測動態向量候補導出(S214)。
接著，動態圖像解碼裝置200使用複數之第1預測動態向量候補中之1個，將使用於解碼對象區塊之間預測解碼的動態向量解碼(S215)。具體而言，動態圖像解碼裝置200從位元流，取得經編碼之動態向量(差分值)。然後，動態圖像解碼裝置200藉由將經編碼之動態向量(差分值)解碼，來生成動態向量的差分值。接著，使用複數之第1預測動態向量候補中之1個與動態向量之差分值，來生成動態向量。
又，動態圖像解碼裝置200藉由使用了上述動態向量的間解碼，來將解碼對象區塊解碼。具體而言，動態圖像解碼裝置200從位元流，取得經編碼之對象區塊(差分值)。然後，動態圖像解碼裝置200藉由將經編碼之對象區塊(差分值)解碼，來生成對象區塊的差分值。接著，動態圖像解碼裝置200使用該動態向量與對象區塊之差分值，來將對象區塊復原。
另一方面，當第1旗標顯示時間動態向量預測不 被使用(被禁止)時(S212為「否」)，動態圖像解碼裝置200不將上述第1參數解碼(S216)。也就是，動態圖像解碼裝置200不從位元流取得第1參數。
接著，動態圖像解碼裝置200將不含時間預測動態向量的複數之第2預測動態向量候補導出(S217)。
然後，動態圖像解碼裝置200使用複數之第2預測動態向量候補中之1個，將解碼對象圖片所含之解碼對象區塊進行間解碼(S218)。另外，此處理之具體例，與將上述步驟S215中複數之第1預測動態向量候補，置換成複數之第2預測動態向量候補的情況之處理相同。
另外，上述步驟S211係由動態圖像解碼裝置200所含之旗標解碼部來執行。又，步驟S213及S216係由動態圖像解碼裝置200所含之參數解碼部來執行。步驟S214及S217係由動態圖像解碼裝置200所含之候補導出部來執行。步驟S215及S218係由動態圖像解碼裝置200所含之動態向量解碼部來執行。
在此旗標解碼部的機能例如係由圖15所示之可變長度解碼部201等來實現。又，參數解碼部的機能係由圖15所示之可變長度解碼部201等來實現。候補導出部的機能係由圖15所示之間預測控制部210及時間預測動態向量算出部211來實現。動態向量解碼部的機能係由圖15所示之可變長度解碼部201、間預測部208、及間預測控制部210等來實現。
(變形例)
接著，參照圖22，說明實施形態1變形例之動態圖像編碼裝置300。圖22係實施形態1變形例之動態圖像編碼裝置300的方塊圖。另外，省略與實施形態1之共通点的詳細說明，以不同點為中心進行說明。
動態圖像編碼裝置300如圖22所示，具備有：藉由將基本視角編碼而生成基本位元流的第1編碼部310、及藉由將從屬視角編碼來生成從屬位元流的第2編碼部320。另外，在圖22中，係顯示了動態圖像編碼裝置300將基本位元流與從屬位元流作為獨立的串流而輸出之例，但並不限定於此，動態圖像編碼裝置300亦可將基本位元流與從屬位元流輸出為結合的1條位元流。
第1編碼部310及第2編碼部320的基本構成，與圖2所示之動態圖像編碼裝置100為共通。但是，第2編碼部320除了動態圖像編碼裝置100的機能，還具有參考第1編碼部310之訊框記憶體108等的參考機能。
接著，參照圖23及圖24，說明實施形態1變形例之動態圖像編碼方法。圖23係顯示實施形態1變形例之動態圖像編碼方法的動作的流程圖。圖24係顯示屬於基本視角及從屬視角的圖片之例的圖。
基本視角如圖24所示，包含複數的圖片I11、P12、P13、P14、I15、P16、P17。又，在屬於基本視角的圖片中，GOP(Group Of Pictures)最前頭的圖片I11、I15係I圖片，其以外的圖片P12、P13、P14、P16、P17為P圖片。另外，基本視角係僅參考屬於基本視角的圖片(亦即，內預 測編碼或間預測編碼)而進行編碼、解碼。
又，從屬視角如圖24所示，係以複數的圖片P21、P22、P23、P24、P25、P26、P27構成。又，屬於從屬視角的全部圖片P21、P22、P23、P24、P25、P26、P27，係P圖片。另外，從屬視角係除了屬於從屬視角的圖片之外，還會參考屬於基本視角的與處理對象之圖片對應的圖片(亦即，視角間預測編碼)而進行編碼、解碼。
又，基本視角與從屬視角，係從不同視點來看被攝體的影像。亦即，基本視角及從屬視角彼此相對應的圖片(附加有同一時戳的圖片)，具有水平方向的視差。並且，第2編碼部320可將屬於從屬視角的各圖片，把屬於基本視角的與處理對象之圖片對應的圖像作為參考圖片來進行編碼。以下，參照圖23，說明第2編碼部320之時間預測動態向量算出部114的動作。
首先，時間預測動態向量算出部114判斷在編碼對象區塊編碼之際是否可取得時間預測動態向量(S91)。然後，當無法取得時間預測動態向量時(S91為「是」)，時間預測動態向量算出部114使後述之視差向量包含在預測動態向量候補(S92)。另一方面，當可取得時間預測動態向量時(S91為「否」)，時間預測動態向量算出部114使時間預測動態向量包含在預測動態向量候補(S93)。
在此，無法取得時間預測動態向量的情況，可列舉例如：編碼對象區塊為GOP最前頭之圖片P21、P25的情況。GOP最前頭的圖片P21、P25無法參考在顯示順序上 較該圖片為前的圖片。亦即，當編碼順序與顯示順序一致時，圖片P21、P25可參考的只有基本視角之相對應的圖片I11、I15。
然而，由於圖片I11、I15為I圖片，故不存在有動態向量的資訊。是故，時間預測動態向量算出部114在這種情況下，使保存在全體向量保存部116的視差向量，作為時間預測動態向量之代替向量而包含在預測動態向量候補，並且將視差向量包含在從屬位元流之標頭資訊中。
在此，視差向量係指相當於基本視角與從屬視角間之視差的向量。具體而言，第2編碼部320之間預測控制部112，把在將構成從屬視角之編碼對象圖片的各區塊進行視角間預測編碼時之動態向量(亦即，把基本視角之相對應的圖片使用為參考圖片而編碼時的動態向量)，輸出至全體向量保存部116。然後，全體向量保存部116將從間預測控制部112取得的動態向量之圖片單位的平均值、中位數、或眾數等，作為視差向量而保存。
另外，在圖23之步驟S92中，時間預測動態向量算出部114可選擇以圖片P25所屬的GOP之前的GOP最前頭之圖片P21所算出的視差向量(將圖片I11作為參考圖片的視差向量)，亦可選擇以在其之前被編碼的圖片P24所算出的視差向量(將圖片P14作為參考圖片的視差向量)，來作為從屬視角之圖片P25的視差向量。
又，在圖23之步驟S91中，無法取得時間預測動態向量的情況之具體例不限於上述之例，亦可為編碼對象 圖片之co-located使用禁止旗標為ON的情形。關於co-located使用禁止旗標，由於與實施形態1之說明共通，故省略再度說明。
如此，本發明亦可適用於將構成多視角影像之基本視角及從屬視角進行編碼的情況。亦即，在將屬於從屬視角之編碼對象圖片編碼時的預測動態向量候補，切換包含時間預測動態向量、或者包含作為時間預測動態向量之代替向量的視差向量，藉此，可一面亦可編碼效率變差，一面防止解碼錯誤的傳播。
接著，參照圖25，說明實施形態2變形例之動態圖像解碼裝置400。圖25係實施形態2變形例之動態圖像解碼裝置400的方塊圖。另外，省略與實施形態2之共通點的詳細說明，以不同點為中心進行說明。
動態圖像解碼裝置400如圖25所示，具備有：藉由將基本位元流解碼來生成基本視角的第1解碼部410、及藉由將從屬位元流解碼來生成從屬視角的第2解碼部420。另外，在圖25中，顯示了對於動態圖像解碼裝置400，個別輸入獨立的基本位元流與從屬位元流之例，但並不限定於此，亦可輸入將基本位元流與從屬位元流結合的1條位元流，在動態圖像解碼裝置400內部分割成基本位元流與從屬位元流。
第1解碼部410及第2解碼部420的基本構成，與如圖15所示之動態圖像解碼裝置200共通。但是，第2解碼部420除了動態圖像解碼裝置200的機能，還具有參考第1 解碼部410之訊框記憶體206等的機能。亦即，動態圖像解碼裝置400將動態圖像編碼裝置300所編碼之基本位元流及從屬位元流進行解碼。
並且，動態圖像解碼裝置400之第2解碼部420，可切換：在解碼對象區塊之預測動態向量候補的1個中，包含保存在colPic記憶體212的時間預測動態向量、或是包含從屬位元流之標頭資訊所含的視差向量。另外，第2解碼部420所含之時間預測動態向量算出部211的動作，與圖23之處理相同。
以上，說明了實施形態之動態圖像編碼裝置及動態圖像解碼裝置，但本發明並非限定於該等實施形態者。
又，上述實施形態之動態圖像編碼裝置及動態圖像解碼裝置所含的各處理部，典型而言係以積體電路之LSI來實現。該等可個別地1晶片化，亦可包含一部分或全部地1晶片化。
又，積體電路化不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。
在上述各實施形態中，各構成要素可由專用的硬體來構成，或者亦可藉由執行適於各構成要素之軟體程式來實現。亦可藉由CPU或處理器等之程式執行部，讀出記錄在硬碟或半導體記憶體等記録媒體的軟體程式並執行 而實現各構成要素。
換言之，動態圖像編碼裝置及動態圖像解碼裝置具備控制電路(control circuitry)、及與該控制電路電性連接(可從該控制裝置存取)的記憶裝置(storage)。控制電路包含專用的硬體及程式執行部中之至少一者。又，記憶裝置在控制電路包含程式執行部時，記憶藉由該程式執行部所執行的軟體程式。
此外，本發明可係上述軟體程式，亦可係記錄有上述程式之非暫時性的電腦可讀取之記録媒體。又，上述程式可透過網際網路等傳送媒體而流通，也不言而喻。
又，上述所使用之數字，全為用以具體說明本發明而舉之例，本發明並不限制於所舉例之數字。
另外，方塊圖中之機能區塊的分割僅為一例，亦可將複數之機能區塊實現為一個機能區塊，將一個機能區塊分割成複數，或將一部份的機能移至其他機能區塊。又，亦可將具有類似機能之複數機能區塊的機能，由單一之硬體或軟體並列或分時地進行處理。
又，執行上述動態圖像編碼方法或動態圖像解碼方法所含步驟的順序，係用以具體說明本發明所舉之例，亦可為上述以外之順序。又，上述步驟的一部份，亦可與其他步驟同時(並列)地執行。
以上，已根據實施形態說明了本發明之一個或複數態樣之圖像編碼裝置及動態圖像解碼裝置，但本發明並非限定於該等實施形態者。只要不脫離本發明之旨趣， 將熟悉此項技藝者可想到的各種變形施行於本實施形態者，或者組合不同實施形態中之構成要素而構築成的形態，皆可包含在一個或複數態樣之範圍內。
(實施形態3)
藉由將用以實現為執行在上述各實施形態所示之動畫圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄在記憶媒體，可在將上述各實施形態所示之處理獨立存在之電腦系統中簡單地實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。
進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵。針對系統中之其他構成，可因應情況而適當地變更。
圖26係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114、遊戲機 ex115等各機器。
但是，內容供給系統ex100不限於如圖26之構成，亦可組合任何要素而連接。又，亦可不經由作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。
相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動A(Code Division Multiple Access)方式、W-CDMA(Wideband-Cod電話ex114係指GSM(登錄商標)(Global System for Mobile Communications)方式、CDMe Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。
在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，對於用戶使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理 之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。
又，其等編碼處理及解碼處理一般是在電腦ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話ex114所具有之LSIex500所編碼處理之資料。
又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。
按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。
又，不限於內容供給系統ex100之例，如圖27所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在圖像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該圖像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。
又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在顯示器ex219，藉記錄有多工資料之記錄媒 體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之顯示器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。
圖28係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/解多工部ex303，係將具有已解調之多工資料解多工成圖像資料與聲音資料，或將以訊號處理部ex306所編碼之圖像資料、聲音資料多工者。
又，電視機ex300包含有：具有各將聲音資料、圖像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之圖像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部 ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。
首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之圖像資料在影像訊號處理部ex305使用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、圖像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與圖像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或圖像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像 訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、圖像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與圖像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。
又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、圖像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。
又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。
以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖29。資訊再生/ 記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。
在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。
圖30係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。
在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。
又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮如圖28所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在 電腦ex111或行動電話ex114等實現。
圖31A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影圖像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之圖像解碼之資料之液晶顯示器等之顯示部ex358。行動電話ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。
進而，針對行動電話ex114之構成例，使用圖31B予以說明。行動電話ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。
電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行 動電話ex114起動為可作動之狀態。
行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。
進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。
在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之一態樣之圖像編 碼裝置發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。
多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。
為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將圖像訊號解碼(即，作為本發明之一態樣之圖像解碼裝置發揮)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部 ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。
又，上述行動電話ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。
如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。
又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。
(實施形態4)
亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，生成影像資料者。
在此，在生成有以各為不同之規格為準之複數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是已哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。
為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。
圖32係顯示多工資料之構成圖。如圖32所示，多工資料係將視訊流、聲訊流、演示圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主圖像及副圖像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，演示圖形流表示電影之字幕。在此，主圖像係指顯示在畫面之通常圖像，副圖像係指以小畫面顯示在主圖像中之圖像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。
多工資料所含之各串流係藉PID所識別。例如在於電影之圖像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，演示圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副圖像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之 副聲音所利用之音訊流劃分有0×1A00至0×1A1F。
圖33係模式地顯示多工資料是如何被多工之圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊流所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將演示圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。
圖34係進一步詳細顯示在PES封包列中如何儲存視訊流。圖34中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖34之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。
圖35係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp) 等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖35下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。
又，多工資料所含之TS封包，除了圖像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像．聲音．字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製的複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。
圖36係詳細說明PMT之資料構造之圖。PMT之前頭配置有記著該PMT所含之資料的長度等之PMT標頭。在其之後面配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流形式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這 麼多。
在記錄於記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。
多工資料資訊檔案，如圖37所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。
多工資料資訊，如圖37所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於在多工資料之末端之視訊框之PTS加上一框量之再生間隔者。
串流屬性資訊，如圖38所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、演示圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之圖像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。
在本實施形態中，利用上述多工資料中PMT所 含之串流形式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流形式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與以其他規格為準之影像資料。
又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖39。在步驟exS100中，由多工資料取得PMT所含之串流形式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流形式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流形式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法，從候補選擇參考圖片或動態向量來進行解碼。又，在串流形式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。此係例如：若為顯示了屬性資訊係依據MPEG4-AVC規格為準者的情況下，則不從複數候補進行選擇，而是使用從空間上或時間上隣接的周邊區塊之動 態向量而算出的動態向量來進行解碼。
如此，藉於串流形式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。
(實施形態5)
上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖40顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。
例如在進行編碼處理時，LSIex500係根據包含有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/O ex509，由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處 理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或圖像訊號之編碼。在此圖像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。
此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。
又，在上述說明中，控制部ex501係構成為具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。
此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。
又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。如此之可程式性邏輯裝置，典型來說，可將構成軟體或韌體的程式，藉由負載或是從記憶體等讀入，而可執行上述各實施形態所示之動態圖像編碼方法、或動態圖像解碼方法。
進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。
(實施形態6)
在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之圖像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。
為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準者，因應規格而切換驅動頻率之構成。圖41係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料 為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另一方面，在影像資料為以習知規格為準之圖像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。
更具體地說，驅動頻率切換部ex803係由圖40之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於圖40之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態4所記述之識別資訊。有關於識別資訊，不限於實施形態4所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮根據具有圖43所示之影像資料的規格及驅動頻率之對應關係之查找表進行 者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。
圖42係顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成之時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編碼方法或裝置所生成之時候相比，設定較低的驅動頻率。
進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或LSIex500之裝置之電壓降低設定者。
又，驅動頻率之設定方法係於欲解碼時之處理量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於 上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。
進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。
如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500 或LSIex500之裝置時，隨著省電，可延長電池的壽命。
(實施形態7)
在電視機或行動電話等上述之機器及系統有以不同規格為準之複數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之複數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。
為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於圖44A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量化、解塊(deblocking)濾波器、動態補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明之一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。特別是，本發明之一態樣由於在間預測上具有特徵，故例如關於間預測，使用專用的解碼處理部ex901，關於其外之熵解碼、逆量化、解塊濾波器、動態補償等任一者、或全部的處理，可共用解碼處理部。有關於解碼處理 部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。
又，將使部分處理共有之另一例顯示在圖44B之ex1000。在該例中，係構成為對應於本發明之一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為本發明之一態樣、或其他特殊規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。
如此，本發明之一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。
產業上利用之可能性
本發明可利用於動態圖像編碼裝置及動態圖像解碼裝置。例如，本發明可利用於：電視、數位影像錄影機、車輛導航系統、行動電話、數位照相機及數位影像攝影機等資訊顯示機器及攝影機器。
S111~S118‧‧‧步驟

Claims (17)

  1. 一種動態圖像編碼方法，係將編碼對象圖片所含的編碼對象區塊，進行使用了動態向量的間預測編碼者，該動態圖像編碼方法之步驟如下：旗標編碼步驟，係將如下之第1旗標編碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，進行：參數編碼步驟，係將用以算出前述時間預測動態向量的第1參數編碼；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的複數之第1預測動態向量候補導出；第1動態向量編碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則進行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出； 第2動態向量編碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數編碼。
  2. 如申請專利範圍第1項之動態圖像編碼方法，其中前述第1參數包含用以特定前述編碼完畢圖片的參數。
  3. 如申請專利範圍第2項之動態圖像編碼方法，其中前述第1參數包含參考圖片索引，該參考圖片索引係用來在以用於將前述編碼對象圖片編碼的參考圖片列表所示之複數圖片中，特定出前述編碼完畢圖片者。
  4. 如申請專利範圍第2項之動態圖像編碼方法，其中前述第1參數包含如下之旗標：該旗標係顯示為了在用於將前述編碼對象圖片編碼的複數之參考圖片列表中特定出前述編碼完畢圖片，要使用何參考圖片列表者。
  5. 如申請專利範圍第1項之動態圖像編碼方法，其中在前述第1或第2候補導出步驟中，將代替前述時間預測動態向量的代替向量，包含於前述複數之第1預測動態向量或前述複數之第2預測動態向量。
  6. 如申請專利範圍第5項之動態圖像編碼方法，其中前述動態圖像編碼方法係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行編碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟， 且在前述第1候補導出步驟中，當前述編碼對象圖片屬於前述從屬視角、並且是GOP(Group Of Pictures：圖片群組)最前頭的圖片時，將前述視差向量作為前述代替向量，包含於前述複數之第1預測動態向量。
  7. 如申請專利範圍第5項之動態圖像編碼方法，其中前述動態圖像編碼方法係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行編碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第2候補導出步驟中，將前述視差向量作為前述代替向量，包含於前述複數之第2預測動態向量。
  8. 一種動態圖像解碼方法，係將解碼對象圖片所含的解碼對象區塊，進行使用了動態向量的間預測解碼者，該動態圖像解碼方法之步驟如下：旗標解碼步驟，係將如下之第1旗標解碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述解碼對象圖片不同的解碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，進行：參數解碼步驟，係將用以算出前述時間預測動態向量的第1參數解碼；第1候補導出步驟，係使用前述第1參數，來將 包含前述時間預測動態向量的前述複數之第1預測動態向量候補導出；第1動態向量解碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則進行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出；第2動態向量解碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數解碼。
  9. 如申請專利範圍第8項之動態圖像解碼方法，其中前述第1參數包含用以特定前述解碼完畢圖片的參數。
  10. 如申請專利範圍第9項之動態圖像解碼方法，其中前述第1參數包含參考圖片索引，該參考圖片索引係用來在以用於將前述解碼對象圖片解碼的參考圖片列表所示之複數圖片中，特定出前述解碼完畢圖片者。
  11. 如申請專利範圍第9項之動態圖像解碼方法，其中前述第1參數包含如下之旗標：該旗標係顯示為了在用於將前述解碼對象圖片解碼的複數之參考圖片列表中特定出前述編碼完畢圖片，要使用何參考圖片列表者。
  12. 如申請專利範圍第8項之動態圖像解碼方法，其中在前述第1或第2候補導出步驟中，將代替前述時間預測動態向量的代替向量，包含於前述複數之第1預測動態向量或前述複數之第2預測動態向量。
  13. 如申請專利範圍第12項之動態圖像解碼方法，其中前述動態圖像解碼方法係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行解碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第1候補導出步驟中，當前述解碼對象圖片屬於前述從屬視角、並且是GOP(Group Of Pictures)最前頭的圖片時，將前述視差向量作為前述代替向量，包含於前述複數之第1預測動態向量。
  14. 如申請專利範圍第12項之動態圖像解碼方法，其中前述動態圖像解碼方法係將分別屬於多視角影像中所含之基本視角及從屬視角的圖片進行解碼的方法，更包含有將相當於前述基本視角與前述從屬視角間之視差的視差向量生成的視差向量生成步驟，且在前述第2候補導出步驟中，將前述視差向量作為前述代替向量，包含於前述複數之第2預測動態向量。
  15. 一種動態圖像編碼裝置，係具備有控制電路、及與前述控制電路電性連接的記憶裝置，並且將編碼對象圖片所含的編碼對象區塊，進行使用了動態向量的間預測編碼者， 前述控制電路執行如下之步驟：旗標編碼步驟，係將如下之第1旗標編碼，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述編碼對象圖片不同的編碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，執行：參數編碼步驟，係將用以算出前述時間預測動態向量的第1參數編碼；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的複數之第1預測動態向量候補導出；第1動態向量編碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則執行：第2候補導出步驟，係將不包含前述時間預測動態向量的複數之第2預測動態向量候補導出；第2動態向量編碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述編碼對象區塊之間預測編碼的動態向量進行編碼，又，當前述第1旗標顯示前述時間動態向量預測不 被使用時，不將前述第1參數編碼。
  16. 一種動態圖像解碼裝置，係具備有控制電路、及與前述控制電路電性連接的記憶裝置，並且將解碼對象圖片所含的解碼對象區塊，進行使用了動態向量的間預測解碼者，前述控制電路執行如下之步驟：旗標解碼步驟，係將如下之第1旗標解碼者，該第1旗標係顯示使用時間預測動態向量的時間動態向量預測是否被使用者，而該時間預測動態向量則係與前述解碼對象圖片不同的解碼完畢圖片中所含的區塊之動態向量；當前述第1旗標顯示前述時間動態向量預測被使用時，執行：參數解碼步驟，係將用以算出前述時間預測動態向量的第1參數解碼；第1候補導出步驟，係使用前述第1參數，來將包含前述時間預測動態向量的前述複數之第1預測動態向量候補導出者；第1動態向量解碼步驟，係使用前述複數之第1預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼；而當前述第1旗標顯示前述時間動態向量預測不被使用時，則執行：第2候補導出步驟，係將不包含前述時間預測 動態向量的複數之第2預測動態向量候補導出；第2動態向量解碼步驟，係使用前述複數之第2預測動態向量候補中之1個，將使用於前述解碼對象區塊之間預測解碼的動態向量進行解碼，又，當前述第1旗標顯示前述時間動態向量預測不被使用時，不將前述第1參數解碼。
  17. 一種動態圖像編碼解碼裝置，具備有：如申請專利範圍第15項之動態圖像編碼裝置、及如申請專利範圍第16項之動態圖像解碼裝置。
TW102107504A 2012-03-06 2013-03-04 A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a moving picture coding / decoding apparatus TWI594620B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261607028P 2012-03-06 2012-03-06

Publications (2)

Publication Number Publication Date
TW201404175A true TW201404175A (zh) 2014-01-16
TWI594620B TWI594620B (zh) 2017-08-01

Family

ID=49116288

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102107504A TWI594620B (zh) 2012-03-06 2013-03-04 A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a moving picture coding / decoding apparatus

Country Status (6)

Country Link
US (6) US9479777B2 (zh)
EP (1) EP2824920A4 (zh)
JP (4) JP6421931B2 (zh)
CA (1) CA2866121C (zh)
TW (1) TWI594620B (zh)
WO (1) WO2013132792A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392235B2 (en) * 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US9549177B2 (en) * 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction
WO2013154673A1 (en) * 2012-04-11 2013-10-17 Motorola Mobility Llc Signaling of temporal motion vector predictor (mvp) flag for temporal prediction
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
BR112015000574A2 (pt) * 2012-07-18 2017-08-08 Sony Corp dispositivo e método de processamento de imagem.
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
EP2966868B1 (en) * 2012-10-09 2018-07-18 HFI Innovation Inc. Method for motion information prediction and inheritance in video coding
JP2014241507A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 画像処理装置および方法、プログラム、並びに撮像装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
JP6922215B2 (ja) * 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
CN111385575A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
US20220086475A1 (en) * 2019-01-09 2022-03-17 Lg Electronics Inc. Method and device for signaling whether tmvp candidate is available
AU2020396705A1 (en) * 2019-12-06 2022-07-28 Lg Electronics Inc. Method and apparatus for encoding/decoding image on basis of picture header including information relating to co-located picture, and method for transmitting bitstream
EP4088453A4 (en) 2020-02-14 2023-05-10 Beijing Bytedance Network Technology Co., Ltd. COLOCATED IMAGE INDICATION IN VIDEO BITSTREAMS
CN115398888A (zh) * 2020-03-30 2022-11-25 字节跳动有限公司 对视频编解码中并置图片的约束

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
FR2824988B1 (fr) 2001-05-21 2003-08-01 Thomson Licensing Sa Procede et dispositif de codage video utilisant la norme mpeg4
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
TR201802625T4 (tr) 2001-11-06 2018-03-21 Panasonic Ip Corp America Hareketli resim kodlama usulü ve hareketli resim kod çözme usulü.
HUE045566T2 (hu) 2002-04-19 2020-01-28 Panasonic Ip Corp America Mozgásvektor-számítási eljárás
WO2003098939A1 (en) 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP1383339A1 (en) 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
CA2470717C (en) 2002-11-01 2013-11-26 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and moving picture decoding method
CN1748427A (zh) 2003-02-04 2006-03-15 皇家飞利浦电子股份有限公司 对包含用于通告存在已编码残余运动向量数据的标志的运动向量的预测编码
JP3879741B2 (ja) 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
JP4608953B2 (ja) 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
EP1610560A1 (en) 2004-06-24 2005-12-28 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating and for decoding coded picture data
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
CN101156451A (zh) 2005-04-12 2008-04-02 皇家飞利浦电子股份有限公司 使用基于区域的多次通过运动估计和时间运动矢量候选更新的视频处理
KR100746007B1 (ko) 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
US20080130988A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
RU2368095C1 (ru) 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US20080130990A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20090034857A1 (en) 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080165849A1 (en) 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
JP4542107B2 (ja) 2005-07-22 2010-09-08 三菱電機株式会社 画像復号装置及び画像復号方法
US20080123947A1 (en) 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080130989A1 (en) 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
BRPI0706407B1 (pt) 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
KR101357982B1 (ko) 2006-01-09 2014-02-05 톰슨 라이센싱 멀티-뷰 비디오 코딩을 위한 축소 해상도 갱신 모드를제공하는 방법 및 장치
JP5535485B2 (ja) 2006-01-09 2014-07-02 トムソン ライセンシング 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2007081177A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
FR2897213A1 (fr) 2006-02-08 2007-08-10 Thomson Licensing Sas Procede de codage par blocs d'images d'une sequence d'images video
EP2130374A4 (en) 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
WO2008129500A2 (en) 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
WO2009088976A1 (en) * 2008-01-07 2009-07-16 Thomson Licensing Methods and apparatus for video encoding and decoding using parametric filtering
KR101445791B1 (ko) 2008-05-10 2014-10-02 삼성전자주식회사 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US8693539B2 (en) 2009-03-26 2014-04-08 Panasonic Corporation Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus
CN101557461B (zh) 2009-05-08 2011-05-11 凌阳科技股份有限公司 运动估测中时间关联向量的处理装置及方法
JP5209572B2 (ja) 2009-06-29 2013-06-12 三菱電機株式会社 画像符号化装置及び画像復号装置
KR20110017302A (ko) 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR101356613B1 (ko) 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
US20120207221A1 (en) 2009-10-16 2012-08-16 Tomoko Aono Video coding device and video decoding device
EP2355511A1 (en) 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
EP2355510A1 (en) 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US20110176611A1 (en) 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
JP4746702B1 (ja) * 2010-03-16 2011-08-10 シャープ株式会社 多視点画像符号化装置
US8971400B2 (en) 2010-04-14 2015-03-03 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US9118929B2 (en) 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
SG10201506682SA (en) 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US8824558B2 (en) 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
CN107071461B (zh) 2010-12-14 2019-11-12 M&K控股株式会社 用于解码运动画面的设备
MX2013008691A (es) * 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
US9247261B2 (en) 2011-03-04 2016-01-26 Vixs Systems, Inc. Video decoder with pipeline processing and methods for use therewith
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
JP5958165B2 (ja) 2011-08-12 2016-07-27 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP5768662B2 (ja) 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5821542B2 (ja) 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
WO2013154673A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Signaling of temporal motion vector predictor (mvp) flag for temporal prediction
US9549177B2 (en) 2012-04-11 2017-01-17 Google Technology Holdings LLC Evaluation of signaling of collocated reference picture for temporal prediction

Also Published As

Publication number Publication date
CA2866121A1 (en) 2013-09-12
JP7165889B2 (ja) 2022-11-07
US20190132609A1 (en) 2019-05-02
JP6421931B2 (ja) 2018-11-14
US20210084326A1 (en) 2021-03-18
CA2866121C (en) 2018-04-24
EP2824920A1 (en) 2015-01-14
US9479777B2 (en) 2016-10-25
US20200112742A1 (en) 2020-04-09
US20230140985A1 (en) 2023-05-11
WO2013132792A1 (ja) 2013-09-12
US10560716B2 (en) 2020-02-11
US20160381384A1 (en) 2016-12-29
JP2019033508A (ja) 2019-02-28
US11949907B2 (en) 2024-04-02
JP2023063420A (ja) 2023-05-09
US20130243092A1 (en) 2013-09-19
US11595682B2 (en) 2023-02-28
JP7253709B2 (ja) 2023-04-07
JPWO2013132792A1 (ja) 2015-07-30
EP2824920A4 (en) 2016-02-17
US10880572B2 (en) 2020-12-29
US10212447B2 (en) 2019-02-19
JP2021180499A (ja) 2021-11-18
TWI594620B (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
JP7253709B2 (ja) 動画像復号方法及び動画像符号化方法
TWI593276B (zh) Image encoding method, image encoding device, image decoding method, and image decoding device
CA2836063C (en) Image encoding and decoding method and device for generating predictor sets in high-efficiency video coding
CA2805663C (en) Image coding method, image decoding method, image coding apparatus, image decoding appatarus, and image coding and decoding apparatus
CA2834125C (en) Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
RU2614542C2 (ru) Способ кодирования видео, устройство кодирования видео, способ декодирования видео, устройство декодирования видео и устройство кодирования/декодирования видео
CA2825730C (en) Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CA2850066C (en) An image coding and decoding method using prediction information candidates for prediction unit sub-blocks
TWI538486B (zh) A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a motion picture coding / decoding apparatus
CA2830036A1 (en) Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus and moving picture coding and decoding apparatus
TW201311007A (zh) 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編解碼裝置
TWI581621B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
JP6551894B2 (ja) 動画像復号化方法および動画像復号化装置
WO2012090495A1 (ja) 画像符号化方法および画像復号方法