TWI566584B - A motion vector calculating method, an image coding method, an image decoding method, a motion vector calculating means and a system - Google Patents

Description

移動向量算出方法、圖像編碼方法、圖像解碼方法、移動向量算出裝置及系統 發明領域

本發明係關於移動向量算出方法、使用其移動向量之圖像編碼方法及圖像解碼方法等。

發明背景

在動態圖像之編碼處理，一般利用動態圖像具有之空間方向及時間方向之冗長性進行資訊量的壓縮。在此一般，作為利用空間方向之冗長性的方法，可使用在頻率區域之變換，作為利用時間方向之冗長性的方法，可使用圖片間預測(以後，稱為畫面間預測)。在使用畫面間預測之編碼處理(畫面間預測編碼處理)，當予以編碼某圖片之際，對於編碼對象圖片以顯示時間順序把在前方或後方編碼完結之圖片，作為參考圖片使用。而且，檢測出對於其參考圖片之編碼對象圖片的移動向量，藉由根據其移動向量進行移動補償而獲得之預測圖像資料與編碼對象圖片之圖像資料的差分，而去除時間方向的冗長性。

已經被標準化之，在被稱為H.264之動態圖像編碼方式，因為資訊量的壓縮使用I圖片、P圖片、B圖片之3種類的圖片型式。I圖片，係畫面間預測編碼處理未被進行之圖片，即，使用圖片內預測(以後，稱為畫面內預測)之編碼處理(畫面內預測編碼處理)被進行的圖片。P圖片，係以顯示時間順序，參考在編碼對象圖片之前方或後方已編碼完結 之1個圖片，進行畫面間預測編碼處理的圖片。B圖片，係以顯示時間順序，參考在編碼對象圖片之前方或後方已經編碼完結之2個圖片，進行畫面間預測編碼處理的圖片。

又，在被稱為H.264之動態圖像編碼方式，在B圖片之編碼方面，導出移動向量之際，可選擇稱為時間域直接(temporal direct)之編碼模式(例如，參考非專利文獻1)。在時間域直接模式之畫面間預測編碼處理，使用第1圖予以說明。

第1圖係顯示在時間域直接模式之畫面間預測編碼處理及移動向量算出方法的說明圖。

如此第1圖所示，圖片(編碼對象圖片)B2的區塊(處理對象區塊)Ba，係透過在時間域直接模式之畫面間預測編碼處理而被編碼。此種情況，在圖片B2之後方的參考圖片之圖片P3中之，把與區塊Ba相同位置的區塊Bb編碼之際所使用的移動向量a可被利用。此移動向量a、係區塊Bb被編碼之際所使用的移動向量，參考著圖片(參考圖片)P1。在此，對於區塊Ba，可算出與移動向量a平行之2個移動向量b、c。總之，可取得以顯示時間順序位於較區塊Ba前方之參考圖片P1中的，透過移動向量b顯示之區塊，與以顯示時間順序位於較區塊Ba後方之參考圖片P3中的，透過移動向量c顯示之區塊，透過使用被取得之區塊2方向預測區塊Ba會被編碼。此外，把區塊Ba予以編碼之際所使用之移動向量，係顯示參考圖片P1之前方的移動向量b，與顯示參考圖片P3之後方的移動向量c。

【先行技術文獻】 非專利文獻

非專利文獻1：ITU-T H.264 03/2010

發明概要

然而，在以前的時間域直接模式，利用於時間域直接模式之際的移動向量，即，算出處理對象區塊之移動向量所使用的移動向量，係以顯示時間順序位於處理對象區塊之後方的參考圖片(具體上，係參考區塊)的移動向量，而且，以顯示時間順序被限制在前方之移動向量。

如此，因利用於時間域直接模式之際之移動向量被限制之故，算出最適合處理對象區塊之移動向量變得困難，會發生招致壓縮率降低之課題。

因此，本發明，係為了解決上述課題為目的者，以提供予以導出最適合處理對象區塊之移動向量，同時提高壓縮率之移動向量的算出方法、圖像編碼方法、及圖像解碼方法等為目的。

為了達成上述目的，有關本發明之一形態的移動向量算出方法，係算出被包含在動態圖像之處理對象區塊的移動向量之移動向量算出方法，包含有：選擇步驟，係選擇參考區塊具有之1個的參考移動向量；與算出步驟，係使用在前述選擇步驟被選擇之1個的參考移動向量，算出前述處 理對象區塊的移動向量；前述選擇步驟中，當前述參考區塊具有2個參考移動向量的情況下，根據前述參考區塊在顯示時間順序上在前述處理對象區塊前方或後方，從前述2個參考移動向量選擇1個參考移動向量；當前述參考區塊僅具有1個參考移動向量的情況下，選擇前述1個參考移動向量。

藉由此，根據以顯示時間順序參考區塊在較處理對象區塊前方或在後方，可從2個參考移動向量選擇1個參考移動向量。例如，參考區塊為co-located(同位)區塊，處理對象區塊為編碼對象區塊或解碼對象區塊。又，參考移動向量，為參考區塊的編碼或用以解碼的移動向量。因此，有關本發明之一形態的移動向量算出方法，參考區塊即使具有2個參考移動向量的情況，也因應參考區塊的位置可適當地選擇參考移動向量，例如，將其選擇參考移動向量透過呈比例調整(scaling)，對於處理對象區塊，可算出或導出最適合的移動向量，其結果，可使其處理對象區塊的壓縮率提高。

又，宜在前述選擇步驟中，當前述參考區塊具有朝向前方之前方參考移動向量與朝向後方之後方參考移動向量，作為前述2個參考移動向量的情況下，前述參考區塊若在前述處理對象區塊之後方時，從前述2個參考移動向量選擇前述前方參考移動向量；前述參考區塊若在前述處理對象區塊之前方時，從前述2個參考移動向量選擇前述後方參考移動向量。

藉由此，可確實地選擇適合的參考移動向量。

又，為了達成上述目的，有關本發明之其他形態的移動向量算出方法，係算出被包含在動態圖像之處理對象區塊的移動向量之移動向量算出方法，包含有：選擇步驟，係選擇參考區塊具有之1個的參考移動向量；與算出步驟，係使用在前述選擇步驟被選擇之1個的參考移動向量，算出前述處理對象區塊的移動向量；前述選擇步驟中，當前述參考區塊具有2個參考移動向量的情況下，根據由前述2個參考移動向量分別指示之圖片、與前述參考區塊之間在時間上的接近程度，從前述2個參考移動向量選擇1個參考移動向量；當前述參考區塊僅具有1個參考移動向量的情況下，選擇前述1個參考移動向量。

藉由此，透過根據2個的參考移動向量之分別指示的圖片，與參考區塊之間在時間上的接近程度，從前述2個參考移動向量選擇1個參考移動向量。因此，有關本發明之其他形態的移動向量算出方法，係參考區塊即使具有2個參考移動向量的情況，也因應圖片在時間上的接近程度，可選擇適當的參考移動向量，例如，將其選擇之參考移動向量透過計數，對於處理對象區塊，可算出或導出最適合的移動向量。其結果，可使其處理對象區塊的壓縮率提高。

又，為了達成上述目的，有關本發明之其他形態的移動向量算出方法，係算出被包含在動態圖像之處理對象區塊的移動向量之移動向量算出方法，包含有：選擇步驟，係選擇參考區塊具有之1個的參考移動向量；與算出步驟，係使用在前述選擇步驟被選擇之1個的參考移動向量，算出 前述處理對象區塊的移動向量；前述選擇步驟中，當前述參考區塊具有2個參考移動向量的情況下，根據透過前述2個參考移動向量之各個的大小，從前述2個參考移動向量選擇1個參考移動向量；當前述參考區塊僅具有1個參考移動向量的情況下，選擇前述1個參考移動向量。

藉由此，根據2個的參考移動向量之各個的大小，從2個參考移動向量選擇1個參考移動向量。因此，有關本發明之其他形態的移動向量算出方法，係參考區塊即使具有2個參考移動向量的情況，也因應2個的參考移動向量之大小，可選擇適當的參考移動向量，例如，將其選擇的參考移動向量透過計數，對於處理對象區塊，可算出或導出最適合的移動向量，其結果，可使其處理對象區塊的壓縮率提高。

又，為了達成上述目的，有關本發明之一形態的圖像編碼方法，係將動態圖像編碼之圖像編碼方法，包含有：上述移動向量算出方法的前述選擇步驟及前述算出步驟；與編碼步驟，係使用透過前述算出步驟算出的移動向量把前述處理對象區塊編碼。

藉由此，參考區塊即使具有2個參考移動向量的情況，可使用對於處理對象區塊算出之最適合的移動向量把處理對象區塊予以編碼，可使壓縮率提高。

又，前述圖像編碼方法亦可更包含有：決定步驟，係從在顯示時間順序上較前述處理對象區塊為前方之區塊及為後方之區塊，決定前述參考區塊；產生步驟，係產生位置旗標，該位置旗標顯示在前述決定步驟被決定之前述參 考區塊在前述處理對象區塊之前方或後方；與附加步驟，係將在前述產生步驟產生之前述位置旗標，附加在包含經由前述編碼步驟所編碼之前述處理對象區塊的圖片。

藉由此，因為包含被編碼之處理對象區塊的圖片附加有位置旗標，取得此圖片之圖像解碼裝置，參考區塊位於處理對象區塊的前方或後方，可基於其位置旗標容易予以判斷。因此，圖像解碼裝置，係參考區塊即使具有2個參考移動向量的情況，也可容易選擇適合的參考移動向量，例如，將其選擇的參考移動向量透過計數，對於處理對象(解碼對象)區塊，可算出或導出最適合的移動向量，其結果，可使其以高壓縮率被編碼之處理對象區塊適當地予以解碼。

又，亦可在前述選擇步驟，當前述參考區塊具有朝向前方之前方參考移動向量與朝向後方之後方參考移動向量，作為前述2個參考移動向量的情況下，前述位置旗標若顯示前述參考區塊在前述處理對象區塊之後方時，從前述2個參考移動向量選擇前述前方參考移動向量；前述位置旗標若顯示前述參考區塊在前述處理對象區塊之前方時，從前述2個參考移動向量選擇前述後方參考移動向量。

藉由此，因應其位置旗標，可確實地選擇適合的參考移動向量。

又，亦可在前述編碼步驟，包含有：比較步驟，係將依照在前述算出步驟算出之移動向量的前述處理對象區塊之編碼效率，與依照對於前述處理對象區塊移動檢測出之 移動向量的前述處理對象區塊之編碼效率作比較；移動向量選擇步驟，係根據藉由前述比較步驟之比較結果，在前述算出步驟算出之移動向量、與前述移動檢測出之移動向量之中，選擇編碼效率高之移動向量；與區塊編碼步驟，係依照在移動向量選擇步驟被選擇之移動向量把前述處理對象區塊編碼。

藉由此，對於處理對象區塊透過時間域直接模式算出之移動向量，與對於處理對象區塊移動檢測出之移動向量之中，編碼效率高的被選擇，因為依照其被選擇的移動向量處理對象區塊被編碼，可更提高壓縮率或編碼效率。

又，為了達成上述目的，有關本發明之一形態的圖像解碼方法，係將編碼動態圖像解碼之圖像解碼方法，包含有：如申請專利範圍第1或2項之移動向量算出方法的前述選擇步驟及前述算出步驟；與解碼步驟，係使用透過前述算出步驟算出的移動向量，把包含在前述編碼動態圖像之被編碼的前述處理對象區塊解碼。

藉由此，參考區塊即使具有2個參考移動向量的情況，對於處理對象區塊可使用被算出之最適合的移動向量把處理對象區塊予以解碼，可以高壓縮率編碼之處理對象區塊適當地予以解碼。

又，前述圖像解碼方法，亦可更包含有：取得步驟，係取得附加在包含前述處理對象區塊之圖片的位置旗標；在前述選擇步驟中，當前述參考區塊具有朝向前方之前方參考移動向量與朝向後方之後方參考移動向量，作為前述2 個參考移動向量的情況下，前述位置旗標若顯示前述參考區塊在前述處理對象區塊之後方時，從前述2個參考移動向量選擇前述前方參考移動向量；前述位置旗標若顯示前述參考區塊在前述處理對象區塊之前方時，從前述2個參考移動向量選擇前述後方參考移動向量。

藉由此，包含有處理對象區塊之圖片因為附加有位置旗標，參考區塊係位於處理對象區塊之前方或後方，根據其位置旗標可容易地判斷。因此，參考區塊即使具有2個參考移動向量的情況，因應其位置旗標，可容易地選擇適合的參考移動向量。例如，將其選擇參考移動向量透過計數，對於處理對象(解碼對象)區塊，可算出或導出最適合的移動向量，其結果，可使其以高的壓縮率被編碼之處理對象區塊適當地予以解碼。

此外，本發明，不僅能實現如此的移動向量算出方法、圖像編碼方法及圖像解碼方法，依照其等的方法予以動作之裝置及積體電路，依照其等的方法動作使電腦實行之程式，和作為容納其程式之記錄媒體等也可實現。

根據本發明，為了選擇利用於時間域直接模式之際的移動向量，藉由使用新的判斷基準，予以導出最適合處理對象區塊之移動向量成為可能，並同時可能提高壓縮率。

圖式簡單說明

第1圖係顯示在時間域直接模式之畫面間預測編碼處 理及移動向量算出方法的說明圖。

第2圖係顯示有關本發明使用第1實施形態之圖像編碼方法的圖像編碼裝置之架構的方塊圖。

第3圖係顯示有關本發明第1實施形態之圖像編碼方法的處理流程之概要圖。

第4圖係顯示有關本發明第1實施形態之畫面間預測控制部的畫面間預測模式之決定流程圖。

第5圖係顯示有關本發明第1實施形態之第3圖的步驟S110之詳細處理流程圖。

第6圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例之圖。

第7圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第8圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第9圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第10圖係顯示有關本發明第2實施形態之時間域直接向量之算出的詳細處理流程圖。

第11圖係顯示有關本發明第2實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例 之圖。

第12圖係顯示有關本發明第2實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第13圖係顯示有關本發明第3實施形態之時間域直接向量之算出的詳細處理流程圖。

第14圖係顯示有關本發明第4實施形態之第3圖的步驟S110及S120之詳細處理流程圖。

第15圖係顯示有關本發明使用第5實施形態之圖像解碼方法的圖像解碼裝置之架構的方塊圖。

第16圖係顯示有關本發明第5實施形態之圖像解碼方法的處理流程之概要圖。

第17圖係實現內容發送服務之內容提供系統的整體架構圖。

第18圖係數位廣播用系統的整體架構圖。

第19圖係顯示電視架構例的方塊圖。

第20圖係顯示使光碟之記錄媒體進行資訊的讀取之資訊再生記錄部的架構例方塊圖。

第21圖係顯示光碟之記錄媒體的結構例圖。

第22A圖係顯示行動電話之一例的圖。

第22B圖係顯示行動電話之構成例方塊圖。

第23圖係顯示多工資料的架構圖。

第24圖係顯示各串流在多工資料如何地被多工的示意圖。

第25圖係顯示將視頻串流如何被容納在PES封包(packet)列的更詳細圖。

第26圖係顯示在多工資料方面TS封包與原始封包的結構圖。

第27圖係顯示PMT的資料架構圖。

第28圖係顯示多工資料資訊的內部架構圖。

第29圖係顯示串流屬性資訊的內部架構圖。

第30圖係顯示識別影像資料的步驟圖。

第31圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之架構例的方塊圖。

第32圖係顯示切換驅動頻率的架構圖。

第33圖係顯示識別影像資料、切換驅動頻率的步驟圖。

第34圖係顯示影像資料的規格與驅動頻率對應之一覽表的一例之圖。

第35A圖係顯示將訊號處理部之模組共有化之架構的一例之圖。

第35B圖係顯示將訊號處理部之模組共有化之架構的另一例之圖。

用以實施發明之形態

以下關於本發明之實施形態，一邊參考圖面予以說明。

(第1實施形態)

第2圖係顯示有關本發明使用第1實施形態之圖像編碼方法的圖像編碼裝置之架構的方塊圖。

在本實施形態之圖像編碼裝置100，係如第2圖所示、具備：減法器101、加法器106、正交變換部102、量化部103、逆量化部104、逆正交變換部105、區塊記憶體107、訊框記憶體108、畫面內預測部109、畫面間預測部110、畫面間預測控制部111、圖片型式決定部112、時間域直接向量算出部113、co-located參考方向決定部114、及可變長度編碼部115。

減法器101，係把透過畫面內預測部109或畫面間預測部110所產生之預測圖像資料，藉由從動態圖像之輸入圖像列予以減算，產生預測誤差圖像資料。

正交變換部102，係把預測誤差圖像資料的區域，從圖像區域予以變換至頻率區域。

量化部103，係對於被變換至頻率區域之預測誤差圖像資料的係數列，進行量化處理。

逆量化部104，係對於透過量化部103被量化處理的係數列，進行逆量化處理。

逆正交變換部105，係將被逆量化處理之係數列的區域，從頻率區域予以變換至圖像區域。

加法器106，係把透過逆正交變換部105被變換至圖像區域之係數列的預測誤差圖像資料，藉由加上預測圖像資料，產生再構成圖像資料。

區塊記憶體107，係將再構成圖像資料以區塊狀單位保存，訊框記憶體108，係將再構成圖像資料以訊框單位予以保存。

圖片型式決定部112，係決定將I圖片、B圖片、及P圖片之中以任一的圖片型式把輸入圖像列中之圖片予以編碼，顯示把被決定之圖片型式予以產生圖片型式資訊。

畫面內預測部109，係使用被保存在區塊記憶體107之區塊狀單位的再構成圖像資料，透過把編碼對象(處理對象)區塊予以畫面內預測，產生預測圖像資料。

畫面間預測部110，係使用被保存在訊框記憶體108之訊框狀單位的再構成圖像資料，透過把編碼對象區塊予以畫面間預測，產生預測圖像資料。

co-located參考方向決定部114，係欲決定由編碼對象圖片或編碼對象(處理對象)區塊，以顯示時間順序，包含在位於前方位置之圖片的區塊(以後，稱為前方參考區塊)，及、包含在位於後方位置之圖片的區塊(以後，稱為後方參考區塊)之中任一為co-located區塊。co-located區塊，係成為編碼對象區塊會參考的參考區塊。而且，co-located參考方向決定部114，係把co-located參考方向旗標(位置旗標)以每編碼對象區塊產生，使其附加在編碼對象。在此，所謂co-located區塊，係與包含編碼對象區塊圖片不同之圖片內的區塊，而且，在圖片內之位置，係成為與編碼對象區塊相同之位置的區塊。此外，co-located，係與包含編碼對象區塊圖片不同之圖片內的區塊即可，在圖片內之位置，係與編碼對象區塊不同之位置亦可。

時間域直接向量算出部113，係co-located區塊具有2個以上之移動向量前方參考區塊的情況，其等移動向量之 中，利用以顯示時間順序朝向後方之移動向量(以後，稱為後方參考移動向量)，藉由時間域直接模式，予以導出編碼對象區塊之移動向量。一方面，co-located區塊具有2個以上之移動向量後方參考區塊的情況，時間域直接向量算出部113，係其等移動向量之中，利用以顯示時間順序朝向前方之移動向量(以後，稱為前方參考移動向量)，藉由時間域直接模式，予以導出編碼對象區塊之移動向量。此外，總稱co-located區塊之前方參考移動向量及後方參考移動向量，以下，稱為參考移動向量。又，時間域直接向量算出部113係作為向量算出裝置而構成。

又，co-located區塊僅具有1個參考移動向量的情況，時間域直接向量算出部113，係使用co-located區塊具有之其1個參考移動向量，藉由時間域直接模式，予以導出編碼對象區塊之移動向量。例如，時間域直接向量算出部113，係判斷其1個參考移動向量是否為前方參考移動向量，若為前方參考移動向量的情況，使用前方參考移動向量，藉由時間域直接模式，予以導出編碼對象區塊的移動向量。一方面，其1個參考移動向量非為前方參考移動向量的情況，時間域直接向量算出部113，係使用後方參考移動向量，藉由時間域直接模式，予以導出編碼對象區塊的移動向量。再者，co-located區塊未具有參考移動向量的情況，時間域直接向量算出部113，係基於時間域直接模式中止移動向量的導出，或參考移動向量作為0，予以導出編碼對象區塊的移動向量。

畫面間預測控制部111，係欲決定畫面間預測之際所使用的移動向量。具體上，畫面間預測控制部111，係對於編碼對象區塊，比較移動被檢測出的移動向量，與藉由時間域直接模式被導出的移動向量，決定精度更高的移動向量作為畫面間預測之際所使用的移動向量。又，畫面間預測控制部111，係顯示藉由移動檢測導出移動向量，或藉由時間域直接模式導出移動向量之畫面間預測模式旗標依每一區塊產生，附加在編碼對象區塊。

可變長度編碼部115，由於對被量化處理之係數列、畫面間預測模式旗標、圖片型式資訊、與co-located參考方向旗標，進行可變長度編碼處理，產生編碼動態圖像之位元串流。

第3圖係顯示有關本實施形態之圖像編碼方法的處理流程之概要圖。

時間域直接向量算出部113，係選擇co-located區塊具有之1個的參考移動向量，使用被選擇之1個的參考移動向量，算出編碼對象(編碼對象)區塊的移動向量(步驟S110)。此外，步驟S110，係相當於本發明之移動向量算出方法。具體上，co-located區塊具有2個參考移動向量的情況，co-located區塊根據以顯示時間順序在較編碼對象(處理對象)區塊前方(即，為前方參考區塊)或在後方(即，為後方參考區塊)，從2個參考移動向量選擇1個參考移動向量，co-located區塊僅具有1個參考移動向量的情況，選擇該1個參考移動向量。例如，co-located區塊具有2個以上之參考移 動向量之前方參考區塊的情況，利用後方參考移動向量，藉由時間域直接模式，予以導出編碼對象區塊的移動向量。一方面，co-located區塊具有2個以上之移動向量後方參考區塊的情況，時間域直接向量算出部113，係利用前方參考移動向量，藉由時間域直接模式，予以導出編碼對象區塊之移動向量。此外，藉由時間域直接模式導出之移動向量稱為時間域直接向量。

在此，co-located區塊係有可能如以下決定。即，co-located參考方向決定部114，係將編碼對象區塊的移動向量以時間域直接模式導出之際，把前方參考區塊及後方參考區塊之中的任一決定為co-located區塊。又，例如，co-located參考方向決定部114，係將co-located區塊會顯示為前方參考區塊或後方參考區塊之co-located參考方向旗標以每圖片產生，附加在圖片亦可。此外，把co-located參考方向旗標，不限於以圖片單位附加的情況，以構成圖片之薄片單位附加亦可。

其次，圖像編碼裝置100，係使用被時間域直接向量算出部113算出之移動向量把編碼對象(編碼對象)區塊予以編碼(步驟S120)。具體上，畫面間預測部110，係使用被時間域直接向量算出部113算出之移動向量產生圖像資料。例如，畫面間預測控制部111，係比較移動被檢測出之移動向量，與藉由時間域直接模式被導出之移動向量，予以選擇精度更高的移動向量。再者，畫面間預測部110，係透過使用其選擇之移動向量對於編碼對象區塊進行畫面間預測， 產生預測圖像資料。在此，畫面間預測控制部111，係藉由移動檢測予以導出移動向量，或藉由時間域直接模式予以導出移動向量作為畫面間預測模式而決定，顯示其畫面間預測模式之畫面間預測模式旗標以每區塊產生，使其附加在編碼對象區塊。此外，被移動檢測出之移動向量，稱為移動檢出結果向量。使用如此產生之預測圖像資料，編碼對象(編碼對象)區塊被編碼。

第4圖係顯示在畫面間預測控制部111的畫面間預測模式之決定流程圖。

畫面間預測控制部111，係算出使用移動檢出之移動向量產生的預測圖像資料，與原圖像(編碼對象區塊)之差分資訊的SADinter(步驟S131)。在此，絕對值差的合(Sum of Absolute Difference，SAD)係表示預測圖像資料與原圖像之各畫素的差分絕對值和。又，SADinter係表示使用移動檢出之移動向量產生的預測圖像與原圖像之SAD。畫面間預測控制部111，係算出使用藉由時間域直接模式導出之移動向量產生的預測圖像資料，與原圖像之差分資訊的SADdirect(步驟S132)。在此，SADdirect，係表示使用藉由時間域直接模式導出之移動向量產生的預測圖像資料與原圖像之SAD。

其次，畫面間預測控制部111，係予以比較SADinter與SADdirect(步驟S132)。在此，SADinter較小，即移動檢出結果向量之方精度好的情況(步驟S133的Yes)，畫面間預測控制部111，係作為畫面間預測模式予以利用移動檢出模式 而予以決定(步驟S134)。一方面，SADdirect之方小，即時間域直接向量之精度較好的情況(步驟S133的No)，畫面間預測控制部111，係作為畫面間預測模式予以利用時間域直接模式模式而予以決定(步驟S135)。

最後，畫面間預測控制部111，係顯示所決定之畫面間預測模式的畫面間預測模式旗標以每區塊產生，使其附加在編碼對象區塊。

此外，在本實施形態，使用SAD決定是否利用時間域直接模式，但亦可使用預測圖像資料與原圖像之各畫素的差分平方和之SSD(Sum of Square Difference)。

第5圖係顯示第3圖的步驟S110之詳細處理流程圖。以下，說明關於第5圖。此外，第5圖係本發明之移動向量算出方法的一例。

首先，時間域直接向量算出部113，係co-located區塊是否具有2個以上的參考移動向量，即，予以判斷至少是否具有前方參考移動向量(mvL0)與後方參考移動向量(mvL1)(步驟S121)。在步驟S121方面，若判斷co-located區塊具有2個以上之參考移動向量的情況(步驟S121的Yes)，時間域直接向量算出部113，係co-located區塊的位置是否在後方，即，予以判斷co-located區塊是否為後方參考區塊(步驟S122)。co-located區塊若為後方參考區塊的情況(步驟S122的Yes)，時間域直接向量算出部113，係使用co-located區塊的前方參考移動向量mvL0，藉由時間域直接模式，予以導出編碼對象區塊之移動向量(步驟S123)。一方面，co-located 區塊若為前方參考區塊的情況(步驟S122的No)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向量mvL1，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S124)。

又，在步驟S121方面，若判斷co-located區塊僅具有前方參考移動向量mvL0及後方參考移動向量mvL1之中任一方的情況(步驟S121的No)，時間域直接向量算出部113，係判斷co-located區塊是否具有前方參考移動向量mvL0(步驟S125)。在步驟S125方面，若判斷co-located區塊具有前方參考移動向量mvL0的情況(步驟S125的Yes)，時間域直接向量算出部113，係使用co-located區塊的前方參考移動向量mvL0，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S126)。一方面，在步驟S125方面，若判斷co-located區塊未具有前方參考移動向量mvL0的情況(步驟S125的No)，時間域直接向量算出部113，係予以判斷co-located區塊是否具有後方參考移動向量mvL1(步驟S127)。

在此，在步驟S127方面，若判斷co-located區塊具有後方參考移動向量mvL1的情況(步驟S127的Yes)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向量mvL1，藉由時間域直接模式，導出編碼對象區塊的移動向量(步驟S128)。一方面，在步驟S127方面，若判斷co-located區塊未具有後方參考移動向量mvL1的情況(步驟S127的No)，時間域直接向量算出部113，係藉由時間域直接模式，予以中止導出編碼對象區塊之移動向量。或時間 域直接向量算出部113，係把co-located區塊之參考移動向量作為0，藉由時間域直接模式，予以導出編碼對象區塊的移動向量(步驟S129)。

在第5圖的處理流程，在步驟S125方面，判斷co-located區塊是否具有前方參考移動向量mvL0，在步驟S127方面，雖判斷co-located區塊是否具有後方參考移動向量mvL1，但本發明並不限於此流程。例如，co-located區塊被判斷是否具有後方參考移動向量mvL1，其後，co-located區塊被判斷是否具有前方參考移動向量mvL0亦可。又，如上所述，時間域直接向量算出部113，co-located區塊具有2個參考移動向量的情況，因應co-located區塊的位置，從其2個參考移動向量之中選擇利用於時間域直接模式之1個參考移動向量，co-located區塊僅1個參考移動向量的情況，將其1個參考移動向量，作為利用於時間域直接模式的移動向量而選擇，co-located區塊未具有參考移動向量的情況，基於時間域直接模式中止移動向量的導出。因此，時間域直接向量算出部113，係因應上述各情況，進行適合其情況之處理即可，co-located區塊的狀態是否為其等的情況之判斷(例如，步驟S121、S122、S125、S127)以如何的順序進行均可。

其次，藉由時間域直接模式，關於移動向量的導出方法，詳細予以說明。

第6圖係顯示在本實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例之圖。co-located區塊，係後方參考區塊，具有前方參考移動向量 mvL0與後方參考移動向量mvL1。此種情況，時間域直接向量算出部113，係使用前方參考移動向量mvL0，藉由以下之計算式(第1式)，予以導出編碼對象區塊的移動向量(TMV)

(第1式)TMV=mvL0×(B2-B0)/(B4-B0)

在此，(B2-B0)，係顯示圖片B2與圖片B0之在顯示時間的時間差資訊，(B4-B0)係顯示圖片B4與圖片B0之在顯示時間的時間差資訊。

第7圖係顯示在本實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。co-located區塊，係後方參考區塊，僅具有後方參考移動向量mvL1。此種情況，時間域直接向量算出部113，係使用後方參考移動向量mvL1，藉由以下之計算式(第2式)，予以導出編碼對象區塊的移動向量(TMV)。

(第2式)TMV=mvL1×(B2-B0)/(B4-B8)

第8圖係顯示在本實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。co-located區塊，係前方參考區塊，具有前方參考移動向量mvL0與後方參考移動向量mvL1。此種情況，時間域直接向量算出部113，係使用後方參考移動向量mvL1，藉由以下之計算式(第3式)，予以導出編碼對象區塊的移動向量(TMV)。

(第3式)TMV=mvL1×(B6-B8)/(B4-B8)

第9圖係顯示在本實施形態透過時間域直接模式予以 導出移動向量(時間域直接向量)之方法的另一例之圖。co-located區塊，係前方參考區塊，僅具有前方參考移動向量mvL0。此種情況，時間域直接向量算出部113，係使用前方參考移動向量mvL0，藉由以下之計算式(第4式)，予以導出編碼對象區塊的移動向量(TMV)。

(第4式)TMV=mvL0×(B6-B8)/(B4-B0)

如此，若根據本實施形態，co-located區塊，具有2個以上的參考移動向量之際，因為在編碼對象區塊可導出最適合的移動向量，所以成為可能提高壓縮率。尤其，co-located區塊為前方參考移動區塊的情況，藉由使用後方參考移動向量，可使預測誤差變小。此種情況，後方參考移動向量，係為從包含co-located區塊之圖片，朝向包含編碼對象區塊之方向的移動向量。因此，從後方參考移動向量被導出之移動向量因為會接近最適合移動向量的準確率變高，所以預測誤差變小。一方面，前方參考移動向量，係從包含co-located區塊之圖片，朝向包含編碼對象區塊之圖片方向相反方向的移動向量。因此，從前方參考移動向量被導出之移動向量會接近最適合移動向量的準確率因為變低，所以預測誤差變大。又，co-located區塊為後方參考區塊的情況也係同樣，從前方參考移動向量被導出之移動向量會接近最適合移動向量的準確率因為變高，所以藉由使用其前方參考移動向量，可使預測誤差變小。

(第2實施形態)

在本實施形態方面，co-located區塊具有2個以上的參考 移動向量之際，從包含co-located區塊之圖片予以參考時間上接近之圖片的參考移動向量，即，將時間上距離短的參考移動向量，決定使用於時間域直接模式。在此點方面，本實施形態係與其他實施形態之架構不同。在此，所謂時間上的距離，係因應以時間顯示順序，包含co-located區塊之圖片，與co-located區塊透過參考移動向量予以參考的參考圖片之間的圖片數而決定的距離。亦即，在本實施形態，在第3圖所顯示的處理流程之中的步驟S110之處理與第1實施形態相異。

第10圖係顯示在本實施形態透過時間域直接向量之算出的詳細處理流程圖。以下關於第10圖予以說明。

首先，時間域直接向量算出部113，係co-located區塊是否具有2個以上的參考移動向量，即，予以判斷至少是否具有前方參考移動向量mvL0與後方參考移動向量mvL1(步驟S121)。在步驟S121方面，若判斷co-located區塊具有2個以上之參考移動向量的情況(步驟S121的Yes)，時間域直接向量算出部113，係判斷前方參考移動向量mvL0會予以參考之參考圖片，比後方參考移動向量mvL1會予以參考之參考圖片，在時間上是否更接近包含co-located區塊之圖片(co-located圖片)(步驟S122a)。即，時間域直接向量算出部113，係判斷前方參考移動向量mvL0與後方參考移動向量mvL1之中的那一個在時間上距離較短。在步驟S122a方面，若判斷前方參考移動向量mvL0會予以參考的參考圖片之方，在時間上較包含co-located區塊之圖片接近的情況(步 驟S122a的Yes)，時間域直接向量算出部113，係使用co-located區塊的前方參考移動向量mvL0，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S123)。一方面，在步驟S122a方面，若判斷後方參考移動向量mvL1會予以參考的參考圖片之方，在時間上較包含co-located區塊之圖片接近的情況(步驟S122a的No)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向量mvL1，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S124)。

又，在步驟S121方面，若判斷co-located區塊僅具有前方參考移動向量mvL0及後方參考移動向量mvL1之中任一方的情況(步驟S121的No)，時間域直接向量算出部113，係判斷co-located區塊是否具有前方參考移動向量(步驟S125)。在步驟S125方面，若判斷co-located區塊具有前方參考移動向量的情況(步驟S125的Yes)，時間域直接向量算出部113，係使用co-located區塊的前方參考移動向量mvL0，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S126)。一方面，在步驟S125方面，若判斷co-located區塊未具有前方參考移動向量mvL0的情況(步驟S125的No)，時間域直接向量算出部113，係予以判斷co-located區塊是否具有後方參考移動向量mvL1(步驟S127)。

在此，在步驟S127方面，若判斷co-located區塊具有後方參考移動向量mvL1的情況(步驟S127的Yes)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向 量mvL1，藉由時間域直接模式，予以導出編碼對象區塊之移動向量(步驟S128)。一方面，在步驟S127方面，若判斷co-located區塊未具有後方參考移動向量mvL1的情況(步驟S127的No)，時間域直接向量算出部113，係藉由時間域直接模式，予以中止編碼對象區塊之移動向量的導出。或時間域直接向量算出部113，係把co-located區塊之參考移動向量作為0，藉由時間域直接模式，予以導出編碼對象區塊的移動向量(步驟S129)。即，編碼對象區塊之移動向量作為0。

其次，透過在本實施形態之時間域直接模式，詳細予以說明關於移動向量的導出方法。

第11圖係顯示在本實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例之圖。co-located區塊，係具有前方參考移動向量mvL0與後方參考移動向量mvL1。而且，前方參考移動向量mvL0會予以參考之參考圖片之方，較後方參考移動向量mvL1會予以參考之參考圖片，在時間上較包含co-located區塊之圖片接近。此種情況，時間域直接向量算出部113，係使用前方參考移動向量mvL0，藉由以下之計算式(第5式)，予以導出編碼對象區塊的移動向量(TMV)。

(第5式)TMV=mvL0×(B2-B0)/(B4-B0)

第12圖係顯示在本實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。co-located區塊，係具有前方參考移動向量mvL0與後方參考移動向量mvL1。而且，後方參考移動向量mvL1會予以參考 之參考圖片之方，較前方參考移動向量mvL0會予以參考之參考圖片，在時間上較包含co-located區塊之圖片接近。此種情況，時間域直接向量算出部113，使用後方參考移動向量mvL1，藉由以下之計算式(第6式)，予以導出編碼對象區塊的移動向量(TMV)。

(第6式)TMV=mvL1×(B2-B0)/(B4-B8)

如此，若根據本實施形態，co-located區塊具有2個以上的參考移動向量之際，因為在編碼對象區塊可導出最適合的移動向量，所以成為可能提高壓縮率。總之，藉由利用從包含co-located區塊之圖片參考時間上較接近的圖片之移動向量，從其參考移動向量被導出之移動向量因為會接近最適合移動向量的準確率變高，所以可使預測誤差變小。

此外，本實施形態也可能與其他實施形態組合。例如，把第1實施形態之第5圖所顯示之步驟S112與本實施形態之第10圖所顯示之步驟S122a組合亦可。在此種情況，本實施形態之第10圖所顯示的步驟S122a較第1實施形態之第5圖所顯示的步驟S112為優先。具體上，首先，判斷2個以上之參考移動向量的時間上距離，予以選擇時間上距離短的參考移動向量。在此，在2個以上之參考移動向量的時間上距離相等的情況，根據co-located區塊為前方參考區塊或後方參考區塊，予以選擇參考移動向量。本實施形態的步驟S122a之方，因為對於移動向量之影響大，藉由使參考移動向量的時間上距離為優先，更可選擇最適合的參考移動向量。

(第3實施形態)

在本實施形態方面，co-located區塊具有2個以上的參考移動向量之際，將大小較小的參考移動向量，予以決定使用於時間域直接模式。在此點方面，本實施形態與其他實施形態的架構相異。在此，所謂移動向量的大小，係意味著移動向量的絕對值。總之，在本實施形態，在第3圖所顯示的處理流程之中的步驟S110之處理與第1實施形態相異。

第13圖係顯示在本實施形態之時間域直接向量之算出的詳細處理流程圖。以下說明關於第13圖。

首先，時間域直接向量算出部113，係co-located區塊是否具有2個以上的參考移動向量，即，予以判斷至少是否具有前方參考移動向量mvL0與後方參考移動向量mvL1(步驟S121)。在步驟S121方面，若判斷co-located區塊具有2個以上之參考移動向量的情況(步驟S121的Yes)，時間域直接向量算出部113，係判斷前方參考移動向量mvL0之大小是否比後方參考移動向量mvL1之大小來得小(步驟S122b)。在步驟S122b方面，若判斷前方參考移動向量mvL0之大小較小的情況(步驟S122b的Yes)，時間域直接向量算出部113，係使用co-located區塊之前方參考移動向量mvL0，藉由時間域直接模式，導出編碼對象區塊的移動向量(步驟S123)。一方面，在步驟S122b方面，若判斷後方參考移動向量mvL1之方的大小較小的情況(步驟S122b的No)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向量mvL1，藉由時間域直接模式，導出編碼對象區塊的移動向 量(步驟S124)。

又，在步驟S121方面，若判斷co-located區塊僅具有前方參考移動向量mvL0及後方參考移動向量mvL1之中任一方的情況(步驟S121的No)，時間域直接向量算出部113，係判斷co-located區塊是否具有前方參考移動向量(步驟S125)。在步驟S125方面，若判斷co-located區塊具有前方參考移動向量的情況(步驟S125的Yes)，時間域直接向量算出部113，係使用co-located區塊的前方參考移動向量mvL0，藉由時間域直接模式，導出編碼對象區塊的移動向量(步驟S126)。一方面，在步驟S125方面，若判斷co-located區塊未具有前方參考移動向量mvL0的情況(步驟S125的No)，時間域直接向量算出部113，係予以判斷co-located區塊是否具有後方參考移動向量mvL1(步驟S127)。

在此，在步驟S127方面，若判斷co-located區塊具有後方參考移動向量mvL1的情況(步驟S127的Yes)，時間域直接向量算出部113，係使用co-located區塊的後方參考移動向量mvL1，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S128)。一方面，在步驟S127方面，若判斷co-located區塊未具有後方參考移動向量mvL1的情況(步驟S127的No)，時間域直接向量算出部113，係藉由時間域直接模式，予以中止編碼對象區塊之移動向量的導出。或時間域直接向量算出部113，係把co-located區塊之參考移動向量作為0，藉由時間域直接模式，予以導出編碼對象區塊之移動向量(步驟S129)。即，編碼對象區塊之移動向量作為0。

如此，若根據本實施形態，co-located區塊具有2個以上的參考移動向量之際，因為在編碼對象區塊可導出最適合的移動向量，所以成為可能提高壓縮率。

此外，本實施形態也可能與其他實施形態組合。例如，把第1實施形態之第5圖所顯示的步驟S122，與本實施形態之第13圖所顯示的步驟S122b組合亦可。在此種情況，本實施形態之第13圖所顯示的步驟S122b較第1實施形態之第5圖所顯示的步驟S112為優先。具體上，首先，判斷2個以上之參考移動向量的大小，予以選擇大小較小的參考移動向量。在此，在2個以上之參考移動向量的大小相等的情況，根據co-located區塊為前方參考區塊或後方參考區塊，予以選擇參考移動向量。本實施形態的步驟S122b之方，因為對於移動向量之影響大，藉由使參考移動向量的大小為優先，更可選擇最適合的參考移動向量。

(第4實施形態)

在本實施形態，透過co-located參考方向旗標所顯示之co-located區塊未具有參考移動向量，藉由時間域直接模式，無法導出編碼對象區塊之移動向量的情況，即，移動向量成為0的情況，變更co-located區塊，算出編碼對象區塊的移動向量，進行畫面間預測。

首先，co-located參考方向決定部114，係在第3圖的步驟S110方面，予以決定把前方參考區塊作為co-located區塊，或把後方參考區塊作為co-located區塊。把前方參考區塊作為co-located區塊的情況，co-located參考方向決定部 114，係把co-located後方參考優先旗標(co-located參考方向旗標)作為0。一方面，把後方參考區塊作為co-located區塊的情況，co-located參考方向決定部114，係把co-located後方參考優先旗標作為1，在此，co-located參考方向決定部114，係每圖片產生co-located後方參考優先旗標，附加在編碼圖片。

co-located後方參考優先旗標，因為以每圖片單位產生，所以編碼對象圖片內之，對應於某區塊之co-located區塊會產生未具有前方參考移動向量及後方參考移動向量之任一的情況。在此種情況，時間域直接向量算出部113，係透過予以變更co-located區塊，予以導出更適合的移動向量。

第14圖係顯示在本實施形態之第3圖的步驟S110及S120之詳細處理流程圖。以下使用第13圖予以說明。

時間域直接向量算出部113，係co-located後方參考優先旗標是否為1，即，判斷是否使co-located後方參考區塊優先(步驟S141)。在co-located後方參考優先旗標為1的情況(步驟S141的Yes)，時間域直接向量算出部113，係使用後方參考區塊之co-located區塊，藉由時間域直接模式，試導出編碼對象區塊的移動向量(步驟S142)。時間域直接向量算出部113，係在步驟S142編碼對象區塊之移動向量未被導出與否，即，判斷移動向量為0與否(步驟S143)。在移動向量未能導出的情況(步驟S143的Yes)，時間域直接向量算出部113，係使用前方參考區塊之co-located區塊，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S144)。

一方面，在步驟S141方面，在co-located後方參考優先旗標為0的情況(步驟S141的No)，時間域直接向量算出部113，係使用前方參考區塊之co-located區塊，藉由時間域直接模式，試導出編碼對象區塊之移動向量(步驟S146)。時間域直接向量算出部113，係在步驟S146編碼對象區塊之移動向量未被導出與否，即，判斷移動向量為0與否(步驟S147)。在移動向量未能導出的情況(步驟S147的Yes)，時間域直接向量算出部113，係使用後方參考區塊之co-located區塊，藉由時間域直接模式，導出編碼對象區塊之移動向量(步驟S148)。

在最後，畫面間預測控制部111，係把移動檢測出之移動向量，與藉由時間域直接模式導出之移動向量作比較，把精度更佳之移動向量決定作為編碼對象區塊的移動向量。總之，畫面間預測控制部111，係予以決定畫面間預測模式。再者，畫面間預測部110，係透過使用其所決定之移動向量予以畫面間預測，產生預測圖像資料(步驟S145)。此時，畫面間預測控制部111，係把顯示畫面間預測模式之畫面間預測模式旗標以每區塊產生，使其附加在編碼對象區塊。

如此，若根據本實施形態，透過co-located後方參考優先旗標所顯示之co-located區塊未具有參考移動向量的情況，由於把其他圖片之區塊作為co-located區塊，予以導出移動向量為可能。例如，把後方參考區塊作為co-located區塊，co-located區塊未具有參考移動向量的情況，藉由把前 方參考區塊作為co-located區塊，使移動向量之導出為可能。藉由此，可能導出精度更高的移動向量。

此外，本實施形態也可能與其他實施形態組合。例如，替換在第1實施形態之第5圖的步驟S129，設置判斷co-located區塊是否為後方參考區塊的步驟。總之，co-located區塊為後方參考區塊的情況，實施在本實施形態之第14圖的步驟S144之處理，co-located區塊為前方參考區塊的情況，予以實施在本實施形態之第14圖的步驟S148的處理。藉由此，可能予以導出更適合的移動向量。又，關於在第2實施形態之第10圖的步驟S129，及在第3實施形態之第13圖的步驟S129也係同樣，替換此等的步驟，亦可設置判斷co-located區塊是否為後方參考區塊的步驟。總之，co-located區塊為後方參考區塊的情況，實施在本實施形態之第14圖的步驟S144的處理，co-located區塊為前方參考區塊的情況，予以實施在本實施形態之第14圖的步驟S148的處理。藉由此，可能導出精度更適合的移動向量。

此外，在新選擇之co-located區塊具有2個以上之參考移動向量的情況，藉由在第1、2、或3實施形態之方法，予以導出移動向量。藉由此，可能導出精度更高的移動向量。

(第5實施形態)

第15圖係顯示有關本發明使用第5實施形態之圖像解碼方法的圖像解碼裝置之架構的方塊圖。

在本實施形態，由解碼對象圖片或解碼對象(處理對象)區塊，以顯示時間順序，包含在位於前方之圖片的區塊， 稱為前方參考區塊。又，由解碼對象圖片或解碼對象(處理對象)區塊，以顯示時間順序，包含在位於後方之圖片的區塊，稱為後方參考區塊。

在本實施形態之圖像解碼裝置200，係如第15圖所示具備有：可變長度解碼部215、逆量化部204、逆正交變換部205、區塊記憶體207、訊框記憶體208、畫面內預測部209、畫面間預測部210、畫面間預測控制部211、時間域直接向量算出部213、及加法器206。

可變長度解碼部215，係對於被輸入之位元串流進行可變長度解碼處理，產生圖片型式資訊、畫面間預測模式旗標、co-located參考方向旗標、及被可變長度解碼處理之位元串流(被量化處理之係數列)。

逆量化部204，係對於被進行可變長度解碼處理之位元串流進行逆量化處理。逆正交變換部205，係被逆量化處理之位元串流的係數列之區域透過從頻率區域變換到圖像區域，產生預測誤差圖像資料。

加法器206，係透過畫面內預測部209或畫面間預測部210產生之預測圖像資料，透過予以加算預測誤差圖像資料，產生再構成圖像資料之解碼圖像列。

區塊記憶體207，係把再構成圖像資料以區塊單位保存，訊框記憶體208，係把再構成圖像資料以訊框單位予以保存。

畫面內預測部209，係使用保存在區塊記憶體207之區塊單位的再構成圖像資料，藉由畫面內預測，產生解碼對 象(處理對象)區塊的預測誤差圖像資料。畫面間預測部210，係使用保存在訊框記憶體208之訊框單位的再構成圖像資料，藉由畫面間預測，產生解碼對象區塊的預測誤差圖像資料。

畫面間預測控制部211，係因應畫面間預測模式旗標，控制在畫面間預測之移動向量的導出方法。畫面間預測模式旗標，係顯示藉由時間域直接模式予以導出移動向量(時間域直接模式)的情況時，畫面間預測控制部211，係使用藉由時間域直接模式導出之移動向量(時間域直接模式模式)，遵照其移動向量將畫面間預測指示畫面間預測部210。

時間域直接向量算出部213，係藉由時間域直接模式導出移動向量的情況時，使用co-located參考方向旗標決定co-located區塊，藉由時間域直接模式予以導出移動向量。時間域直接向量算出部213，係透過co-located參考方向旗標，co-located區塊若顯示為後方參考區塊的情況，將其後方參考區塊作為co-located區塊。一方面，透過co-located參考方向旗標，co-located區塊若顯示為前方參考區塊的情況，時間域直接向量算出部213，係將其前方參考區塊作為co-located區塊。時間域直接向量算出部213，係co-located區塊具有2個以上之參考移動向量的情況，根據co-located區塊為前方參考區塊或後方參考區塊，選擇在時間域直接模式予以利用之參考移動向量。

例如，co-located區塊為後方參考區塊的情況，時間域直接向量算出部213，係予以利用co-located區塊之2個以上 之參考移動向量之中的前方參考移動向量。一方面，co-located區塊若為前方參考區塊的情況時，時間域直接向量算出部213，係予以利用co-located區塊之2個以上之參考移動向量之中的後方參考移動向量。co-located區塊僅具有前方參考移動向量及後方參考移動向量之中任一方的情況，時間域直接向量算出部113，首先，檢索是否具有前方參考移動向量，具有前方參考移動向量的情況，使用前方參考移動向量，藉由時間域直接模式，導出編碼對象區塊之移動向量。一方面，在co-located區塊未具有前方參考移動向量的情況，時間域直接向量算出部213，係使用後方參考移動向量，藉由時間域直接模式，導出編碼對象區塊之移動向量。

第16圖係顯示在本實施形態之圖像解碼方法的處理流程之概要圖。

時間域直接向量算出部213，係選擇co-located區塊之1個的參考移動向量，使用被選擇之1個的參考移動向量，予以算出解碼對象(處理對象)區塊的移動向量(步驟S210)。此外，步驟S210，係相當於本發明之移動向量算出方法。具體上，co-located區塊具有2個以上之參考移動向量的情況，根據co-located區塊以顯示時間順序在解碼對象(處理對象)區塊的前方(即，為前方參考區塊)或在後方(即，為後方參考區塊)，從2個參考移動向量選擇1個參考移動向量。co-located區塊僅具有1個參考移動向量的情況，選擇該1個參考移動向量。例如，co-located區塊具有2個以上之參考移 動向量之參考移動向量的情況，根據co-located參考方向旗標，決定利用那一個參考移動向量。co-located參考方向旗標作為co-located區塊顯示後方參考區塊的情況，即，co-located區塊為後方參考區塊的情況，時間域直接向量算出部213，係予以決定利用2個以上之參考移動向量之中的前方參考移動向量。一方面，co-located參考方向旗標作為co-located區塊顯示前方參考區塊的情況，即，co-located區塊為前方參考區塊的情況，時間域直接向量算出部213，係予以決定利用2個以上之參考移動向量之中的後方參考移動向量。而且，時間域直接向量算出部213，係使用其所決定之參考移動向量(前方參考移動向量或後方參考移動向量)，藉由時間域直接模式，導出解碼對象區塊之移動向量。

在此，co-located區塊係有可能如以下被決定。即，可變長度解碼部215，係以圖片單位解碼co-located參考方向旗標。此時，時間域直接向量算出部213，係根據co-located參考方向旗標，決定把前方參考區塊作為co-located區塊，或把後方參考區塊作為co-located區塊。

其次，圖像解碼裝置200，係使用以時間域直接向量算出部213算出之移動向量，予以解碼包含在編碼動態圖像之被編碼的解碼對象(處理對象)區塊(步驟S220)。具體上，畫面間預測部210，係使用以時間域直接向量算出部213算出之移動向量，產生預測圖像資料。例如，畫面間預測控制部211，係以區塊單位被解碼之畫面間預測模式旗標，係以時間域直接模式予以顯示解碼(時間域直接模式)的情況，藉 由時間域直接模式將畫面間預測指示畫面間預測部210亦可。其結果，畫面間預測部210，係透過使用藉由時間域直接模式導出之移動向量對於解碼對象區塊進行畫面間預測，產生預測圖像資料。使用如此產生之預測圖像資料，解碼對象區塊會被解碼。

此外，在本實施形態，參考區塊(前方參考區塊或後方參考區塊)具有2個以上之參考移動向量的情況，根據co-located參考方向旗標，決定使用那一個參考移動向量。可是，在本發明，並不限於根據co-located參考方向旗標予以決定。例如，co-located區塊具有2個以上之參考移動向量的情況，算出參考移動向量之時間上的距離，選擇時間上之距離短的參考移動向量亦可。在此，時間上的距離，係在顯示時間方面，根據包含參考區塊之參考圖片，與參考圖片會參考的圖片之間的圖片數算出。又，首先，算出2個以上之參考移動向量的時間上距離，在其等的時間上距離相異的情況，選擇時間上距離短的參考移動向量，其等的時間上距離相等的情況，根據co-located參考方向旗標，選擇參考移動向量亦可。在導出解碼對象區塊之適當的移動向量之際，因為基於時間上距離之影響方面，會較參考區塊之位置的影響大，所以藉由優先判斷時間上距離，成為可能導出更適合的移動向量。

又，例如，co-located區塊具有2個以上之參考移動向量的情況，算出參考移動向量的大小，選擇大小較小的參考移動向量亦可。在此，所謂參考移動向量的大小，係意味 著移動向量的絕對值。又，首先，算出2個以上之參考移動向量的大小，在其等的大小相異的情況，選擇大小較小的參考移動向量，其等的大小相等的情況，根據co-located參考方向旗標，選擇參考移動向量亦可。在導出解碼對象區塊之適當的移動向量之際，因為基於參考移動向量大小之影響方面，會較參考區塊之位置的影響大，所以藉由優先判斷參考移動向量大小，成為可能導出更適合的移動向量。

又，在co-located區塊未具有參考移動向量的情況，由於將新的參考圖片之區塊作為co-located區塊，對於解碼對象區塊也可能導出更適當的移動向量。例如，包含co-located區塊的參考圖片，以顯示順序在解碼對象圖片之後方的情況，予以選擇較解碼對象圖片，以顯示順序包含在前方之參考圖片的co-located區塊。又，包含co-located區塊之參考圖片，較解碼對象圖片，以顯示順序在前方的情況，予以選擇較解碼對象圖片，以顯示順序包含在後方之參考圖片的co-located區塊。如此，co-located區塊未具有參考移動向量的情況，藉由將包含在新的參考圖片之區塊予以選擇作為co-located區塊，對於解碼對象區塊成為可能導出精度更高的移動向量。此外，新選擇之co-located區塊具有2個以上之參考移動向量的情況，如上所述，藉由根據co-located區塊是否為前方參考區塊、或後方參考區塊，或co-located區塊之參考移動向量的時間上距離，或者、co-located區塊之參考移動向量的大小，選擇參考移動向量，成為可能導出精度更高的移動向量。

如此，若根據本實施形態，co-located區塊具有2個以上的參考移動向量之際，在解碼對象區塊因為可導出最適合的移動向量，所以可將以高效率壓縮之位元串流適當地予以解碼。

(第6實施形態)

藉由為了實現在上述各實施形態所顯示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的架構之程式予以記錄在記憶媒體，在上述各實施形態所顯示之處理成為可在獨立之電腦系統簡單地實施。記憶媒體，係磁碟、光碟、光磁碟、IC卡、半導體記憶體等，可記憶程式者即可。

再者在此，予以說明在上述各實施形態所顯示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例及使用其之系統。該系統係使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所形成之具有圖像編碼解碼裝置為特徵。關於系統方面之其他架構，因應情況可適當地變更。

第17圖係顯示實現內容發送服務之內容提供系統ex100的整體架構圖。把通訊服務之提供區域分割成期望的大小，在各蜂巢單元(cell)內分別被設置有固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

此內容提供系統ex100，係在網路ex101從網路服務提供者ex102及電話網ex104、及基地台ex106透過ex110，電腦ex111、個人數位助理(Personal Digital Assistant， PDA)ex112、照像機ex113、行動電話ex114、電動遊戲機ex115等各機器被連接著。

可是，內容提供系統ex100，係並不限定如第17圖所示的架構，組合任何一個之元件予以連接的方式亦可。又，各機器不透過ex110而從固定無線電台之基地台ex106，直接被連接在電話網ex104亦可。又，各機器透過近距離無線等直接相互連接亦可。

照像機ex113，係可進行數位視頻照像機等之動態圖像攝影的機器，照像機ex116係可進行數位照像機等之靜畫攝影、動態圖像攝影的機器。又，行動電話ex114，係為全球行動通訊系統(Global System for Mobile Communications，GSM)型式、分碼多工接取(Code Division Multiple Access，CDMA)型式、寬頻分碼多工接取(Wideband-Code Division Multiple Access，W-CDMA)型式、或者長期演進技術(Long Term Evolution，LTE)型式、高速封包接取(High Speed Packet Access，HSPA)之行動電話機，或個人行動電話(Personal Handyphone System，PHS)等，之任一均可。

在內容提供系統ex100，係由於照像機ex113等經由基地台ex109、電話網ex104連接在串流伺服器ex103，使其可進行實況傳送。在實況傳送，對於使用者使用照像機ex113予以攝影之內容(例如，音樂實況的影像等)如在上述各實施形態所說明的方式進行編碼處理(即，作為本發明的圖像編碼裝置而發揮功能)，而予以傳送到串流伺服器ex103。一方面，串流伺服器ex103係對於有需求之客戶端傳送之內容 資料予以串流發送。作為客戶端，可能解碼被上述編碼處理之資料者，有電腦ex111、PDAex112、照像機ex113、行動電話ex114、電動遊戲機ex115等。接收被發送之資料的各機器，把接收之資料解碼處理予以再生(即，作為本發明的圖像編碼裝置而發揮功能)。

此外，攝影之資料的解碼處理係在照像機ex113進行，或在資料的傳送處理之串流伺服器ex103進行亦可，相互分擔進行亦可。同樣地被發送之資料的解碼處理係在客戶端進行，或在串流伺服器ex103進行亦可，相互分擔進行亦可。又，不限於照像機ex113，在照像機ex116攝影之靜止圖像及/或動態圖像資料透過電腦ex111傳送到串流伺服器ex103進行亦可。此種情況之編碼處理，係以照像機ex116、電腦ex111、串流伺服器ex103之任一進行亦可，相互分擔進行亦可。

又，此等編碼、解碼處理，係一般在電腦ex111或各機器具有之LSIex500予以處理。LSIex500係單晶片或由複數晶片所構成亦可。此外，把動態圖像編碼解碼用之軟體編入以電腦ex111等可讀取之某些記錄媒體(CD-ROM、軟碟、硬碟等)，使用其軟體進行編碼、解碼處理亦可。再者，行動電話ex114附有照像機的情況，亦可以其照像機取得之動態圖像資料傳送。此時之動態圖像資料係以行動電話ex114具有之LSIex500編碼處理的資料。

又，串流伺服器ex103係複數的伺服器或複數的電腦，把資料分散處理或記錄予以發送者亦可。

如以上的方式，內容提供系統ex100，係客戶端接收到被編碼之資料後可予以再生。如此，在內容提供系統ex100，係使用者將傳送之資訊以快速使客戶端接收而解碼，而可予以再生，未具有特別的權利或設備之使用者也可實現廣播。

此外，不限於內容提供系統ex100，如第18圖所示，數位廣播用系統ex200，也可編入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一。具體上，在廣播台ex201於影像資料上將音樂資料等多工之多工資料透過電波進行通訊或傳播到衛星ex202。此影像資料係在上述各實施形態說明之藉由動態圖像編碼方法被編碼的資料(即，透過本發明之圖像編碼裝置被編碼的資料)。收到此之廣播衛星ex202，係傳送廣播用的電波，此電波為可能接收衛星廣播之家庭的天線ex204會予以接收。接收之多工資料，為電視機(接收機)ex300或機上盒(set top box，STB)ex217等的裝置予以解碼再生(即，作為本發明之圖像解碼裝置予以發揮功能)。

又，予以讀取解碼記錄在DVD、BD等之記錄媒體ex215的多工資料，又在記錄媒體ex215把影像訊號編碼，再者依照情況音樂訊號與多工讀取機/記錄器ex218也可能實施在上述各實施形態所顯示之動態圖像解碼裝置或動態圖像編碼裝置予以構裝。此種情況，被再生之影像訊號顯示在螢幕(monitor)ex219，藉由多工資料被記錄在記錄媒體ex215在其他裝置或系統可予以再生影像訊號。又，被連接在有 線電視用之電纜ex203或衛星/地上波廣播之天線ex204機上盒ex217內構裝動態圖像解碼裝置，此在電視機的螢幕ex219顯示亦可。此時並非機上盒，在電視機內編入動態圖像解碼裝置亦可。

第19圖，係顯示在上述各實施形態說明之使用動態圖像解碼方法及動態圖像編碼方法的電視機(接收機)ex300之圖。電視機ex300具備有：調諧器ex301，透過接收上述廣播之天線ex204或電纜ex203等，取得或輸出於影像資料上多工聲音資料的多工資料；調變/解調部ex302，將所接收之多工資料解調，或調變成傳送到外部之多工資料；及多工/解多工部ex303，把已解調之多工資料解多工成影像資料、與聲音資料，或將在訊號處理部ex306被編碼之影像資料、聲音資料予以多工。又，電視機ex300，係分別解碼聲音資料、影像資料，又，將各個的資訊予以編碼之聲音訊號處理部ex304，具有影像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置予以發揮功能)之訊號處理部ex306，具有輸出解碼聲音訊號之揚聲器ex307，顯示具有解碼之影像訊號的顯示器等的顯示部ex308之輸出部ex309。再者，電視機ex300，係具有接受使用者之輸入的操作輸入部ex312等之介面部ex317。再者，電視機ex300，係具有統合控制各部之控制部ex310，供應各部之電力的電源電路部ex311。介面部ex317，係操作輸入部ex312以外亦可具有：與讀取機/記錄器ex218等之外部機器連接的橋接部ex313、為了使SD卡等之記錄媒體ex216可能裝著的插槽部 ex314，為了與硬碟等之外部記錄媒體連接的驅動器ex315，與電話網ex104予以連接的數據機ex316等。此外，記錄媒體ex216，係藉由容納非揮發性/揮發性之半導體記憶元件，使電性上之資訊的記錄作為可能者。電視機ex300之各部係透過同步匯流排相互被連接。

首先，電視機ex300藉由天線ex204等從外部取得之多工資料予以解碼，關於予以再生之架構予以說明。電視機ex300，係從遙控器ex220等接受使用者的操作，根據具有CPU等控制部ex310的控制，在調變/解調部ex302解碼之多工資料在多工/解多工部ex303予以解多工。再者，電視機ex300，係將已解多工之聲音資料在聲音訊號處理部ex304解碼，把已解多工之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。解碼之聲音訊號、影像訊號，係分別從輸出部ex309向外部輸出。當輸出之際，聲音訊號與影像訊號能同步再生的方式暫時將此等的訊號蓄積在緩衝器ex318、ex319等較佳。又，電視機ex300，並非從廣播等，亦可從磁氣/光碟、SD卡等之記錄媒體ex215、ex216讀取多工資料。其次，電視機ex300把聲音訊號或影像訊號編碼，關於傳送到外部或寫入記錄媒體等之架構予以說明。電視機ex300，係從遙控器ex220等接受使用者的操作，根據控制部ex310的控制，在聲音訊號處理部ex304把聲音訊號編碼，在影像訊號處理部ex305把影像訊號使用在上述各實施形態所說明之編碼方法予以編碼。被編碼之聲音訊號、影像訊號係在多工/解多工部ex303 予以多工被輸出到外部。予以多工之際，聲音訊號與影像訊號能同步的方式，將此等的訊號暫時蓄積在緩衝器ex320、ex321等較佳。此外，緩衝器ex318、ex319、ex320、ex321，係如圖所示具備複數亦可，共有1個以上之緩衝器的架構亦可。再者，圖示以外，例如，調變/解調部ex302或多工/解多工部ex303之間等也作為避開系統的溢位、欠位之緩衝材料將資料蓄積在緩衝器亦佳。

又，電視機ex300，係從廣播等或記錄媒體等予以取得聲音資料、影像資料以外，具備接受麥克風或照像機之AV輸入的架構，對於從其等取得之資料進行編碼處理亦可。此外，在此電視機ex300係上述之編碼處理、多工、及作為可輸出外部之架構予以說明，但無法進行此等之處理，僅可能上述接收、解碼處理、輸出外部之架構亦可。

又，以讀取機/記錄器ex218從記錄媒體讀出多工資料，或寫入的情況，上述解碼處理或編碼處理係在電視機ex300、讀取機/記錄器ex218之任一進行亦可，電視機ex300與讀取機/記錄器ex218相互分擔進行也可以。

作為一例，從光碟讀進或寫入資料的情況之資訊再生/記錄部ex400之架構顯示於第20圖。資訊再生/記錄部ex400，係具備以下予以說明之元件ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學讀取頭ex401，係在光碟之記錄媒體ex215的記錄面照射雷射光點寫入資訊，檢測出從記錄媒體ex215的記錄面之反射光讀進資訊。調變記錄部ex402，係內裝在光學讀取頭ex401之半導體雷射進行電 氣驅動，因應記錄資料進行雷射光的調變。再生解調部ex403，係藉由內裝在光學讀取頭ex401之光電探測器(photodetector)將來自於記錄面之反射光電性地檢測出的再生訊號予以放大，把被記錄在記錄媒體ex215之訊號成分解多工而解調，再生必要的資訊。緩衝器ex404，係把為了記錄在記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊暫時的予以保持。光碟馬達ex405，係使記錄媒體ex215旋轉。伺服控制部ex406，係一面控制光碟馬達ex405的旋轉驅動一面將光學讀取頭ex401移動到既定的資訊磁軌，進行雷射光點之追踪處理。系統控制部ex407，係進行資訊再生/記錄部ex400整體的控制。上述之讀出或寫入之處理，係系統控制部ex407，利用被保持在緩衝器ex404之各種資訊，又因應需要進行新的資訊之產生、追加同時，一面使調變記錄部ex402、再生解調部ex403、伺服控制部ex406協調動作，通過光學讀取頭ex401，藉由進行資訊的記錄再生而被實現。系統控制部ex407係例如以微處理機所構成，由於讀出或寫入之程式的實行可實行其等之處理。

在以上，雖將光學讀取頭ex401當作照射雷射光點予以說明，但使用近場光進行更高密度的記錄之架構亦可。

第21圖係顯示光碟之記錄媒體ex215的示意圖。在記錄媒體ex215的記錄面導引槽(溝槽)被形成螺旋狀，在資訊磁軌ex230，透過預先溝槽的形成之變化顯示光碟上之絕對位置的住址資訊被記錄。此住址資訊係包含為了特定予以記錄資料之單位的記錄區塊ex231的位置資訊，在進行記錄或 再生之裝置方面由於再生資訊磁軌ex230讀取住址資訊可予以特定記錄區塊。又，記錄媒體ex215，係包含資料記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄使用者資料所使用之區域為資料記錄區域ex233，被配置在較資料記錄區域ex233內周或外周之內周區域ex232與外周區域ex234，係被使用於使用者資料之記錄以外的特定用途。資訊再生/記錄部ex400，係對於如此記錄媒體ex215之資料記錄區域ex233，進行被編碼之聲音資料、影像資料或其等多工之多工資料的讀寫。

在以上，雖舉一層之DVD、BD等之光碟為例說明，但並不限於此等，多層結構且表面以外也可能記錄之光碟也可以。又，在碟片之相同部位使用各種不同波長之顏色的光記錄資訊，從種種角度記錄不同資訊之層等，進行多次元的記錄/再生之結構的光碟亦可。

又，在數位廣播用系統ex200方面，在具有天線ex205之車子ex210從衛星ex202等接收資料，亦可能使車子ex210具有之汽車導航ex211等之顯示裝置進行動態圖像再生。此外，汽車導航ex211之架構如第19圖所示的架構之中，可考慮加上GPS接收部的架構，同樣在電腦ex111或行動電話ex114等也可以考慮。

第22A圖係顯示在上述實施形態所說明之使用動態圖像解碼方法及動態圖像編碼方法的行動電話ex114之圖。行動電話ex114，係具備在與基地台ex110之間為了傳送接收電波之天線ex350、影像、攝取靜止畫可能之照像機部 ex365、在照像機部ex365攝影之影像、予以顯示以天線ex350接收之影像等被解碼之資料的液晶顯示器等的顯示部ex358。行動電話ex114更具備：具有操作鍵部ex366之本體部、為了輸出聲音之揚聲器等的聲音輸出部ex357、為了輸入聲音之麥克風等的聲音輸入部ex356、攝影之影像、靜止畫、錄音之聲音、又保存接收之影像、靜止畫、郵件等被編碼之資料或被解碼之資料的記憶部ex367，又，同樣予以保存資料之與記錄媒體的介面部之插槽部ex364。

再者，關於行動電話ex114之架構例，使用第22B圖予以說明。行動電話ex114，係對於具備顯示部ex358及操作鍵部ex366之本體部的各部統合予以控制之主控制部ex360，電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、照像機介面部ex363、液晶顯示器(Liquid Crystal Display,LCD)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367會透過匯流排ex370相互地被連接。

電源電路部ex361，係藉由使用者之操作話終及使電源鍵在開的狀態，藉由從電池組對於各部供應電力，提供行動電話ex114啟動可能的狀態。

行動電話ex114，係根據具有CPU、ROM、RAM等主控制部ex360之控制、在聲音通話模式時以聲音輸入部ex356收音之聲音訊號在聲音訊號處理部ex354變換成數位聲音訊號，將此在調變/解調部ex352作頻譜擴散處理，在傳送/接收部ex351施以數位類比變換處理及頻率變換處理後透 過天線ex350予以傳送。又，行動電話ex114，係在聲音通話模式時把透過天線ex350接收之接收資料放大施以頻率變換處理及類比數位變換處理，在調變/解調部ex352作頻譜擴散處理，在聲音訊號處理部ex354變換成類比聲音訊號後，將此從聲音輸出部ex357予以輸出。

再者，資料通訊模式時傳送電子郵件的情況，透過本體部之操作鍵部ex366被輸入之電子郵件的文字資料(text data)係透過操作輸入控制部ex362送出到主控制部ex360。主控制部ex360，係將文字資料在調變/解調部ex352作頻譜擴散處理，在傳送/接收部ex351施以數位類比變換處理及頻率變換處理後透過天線ex350予以傳送到基地台ex110。予以接收電子郵件的情況，對於接收之資料進行與此大致相反的處理，被輸出到顯示部ex358。

在資料通訊模式時傳送影像、靜止畫、或影像與聲音的情況，影像訊號處理部ex355，係將從照像機部ex365供應之影像訊號透過在上述各實施形態所顯示之動態圖像編碼方法壓縮編碼(即，作為本發明的圖像編碼裝置而發揮功能)，把被編碼之影像資料發送到多工/解多工部ex353。又，聲音訊號處理部ex354，係把影像、靜止畫等在照像機部ex365攝影中在聲音輸入部ex356收音之聲音編碼，把被編碼之影像資料發送到多工/解多工部ex353。

多工/解多工部ex353，係將從影像訊號處理部ex355供應之被編碼的影像資料與從聲音訊號處理部ex354供應之被編碼的聲音資料以既定的方式多工，將其結果所獲得之 多工資料在調變/解調部(調變/解調電路部)ex352作頻譜擴散處理，在傳送/接收部ex351施以數位類比變換處理及頻率變換處理後透過天線ex350予以傳送。

在資料通訊模式時接收被連接到首頁等之動態圖像檔案的資料之情況，又影像及或者是接收被附加聲音之電子郵件的情況，因為要解碼透過天線ex350予以接收之多工資料，多工/解多工部ex353，係藉由多工資料解多工，分成影像資料之位元串流與聲音資料之位元串流，透過同步匯流排ex370把被編碼的影像資料予以供應到影像訊號處理部ex355，同時把被編碼的聲音資料予以供應到聲音訊號處理部ex354。影像訊號處理部ex355，係藉由對應透過在上述各實施形態所顯示之動態圖像編碼方法的動態圖像解碼方法予以解碼把影像訊號解碼(即，作為本發明的圖像編碼裝置而發揮功能)，透過LCD控制部ex359從顯示部ex358，例如，包含在被連接到首頁之動態圖像檔案的影像、靜止畫會顯示。又聲音訊號處理部ex354，係解碼聲音訊號，從聲音輸出部ex357予以輸出聲音。

又，上述行動電話ex114等的終端，係與電視機ex300同樣，持有編碼器‧解碼器雙方之發接收型終端之外，也可考慮僅有編碼器之傳送終端、僅有解碼器之接收終端的所謂3種構裝的形式。再者，數位廣播用系統ex200方面，在影像資料雖以音樂資料等被多工之多工資料作為接收、傳送予以說明，但聲音資料以外有關影像之文字資料等被多工之資料亦可，未被多工之資料影像資料本身亦可。

如此，將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法可能使用在上述任一的機器‧系統，由於如此作，可獲得上述各實施形態所說明之效果。

又，本發明並不受限於上述實施形態，在不違離本發明之範圍可能作種種的變形與修正。

(第7實施形態)

在上述各實施形態所示之動態圖像編碼方法或裝置，與以MPEG-2、MPEG4-AVC、VC-1等不同規格為依據之動態圖像編碼方法或裝置，因應需要藉由適當地切換，可能產生影像資料。

在此，分別以不同規格為依據產生複數之影像資料的情況，在予以解碼之際，有必要選擇對應於各別規格之解碼方法。然而，予以解碼之影像資料，因為準據何種規格無法識別，所以會發生無法選擇適當的解碼方法之課題。

為了解決此課題，在影像資料之聲音資料等被多工的多工資料，係為包含顯示其影像資料為準據何種規格之識別資訊的架構。以下說明包含透過在上述各實施形態所顯示之動態圖像編碼方法或裝置所產生之影像資料的多工資料的具體架構。多工資料，係MPEG-2傳送串流形式之數位串流。

第23圖係顯示多工資料的架構圖。如第23圖所示，多工資料，係視頻串流、聲頻串流、表達圖形串流(PG)、交互圖形串流之中，將其1個以上多工而可獲得。視頻串流係將電影的主影像及副影像，聲頻串流(IG)係把電影的主聲音 部分與其主聲音混分之副聲音，表達圖形串流，係把電影的字幕分別顯示。在此所謂主影像係表示被顯示在畫面之一般的影像，所謂副影像係主影像之中以小的畫面顯示的影像。又，交互圖形串流，係顯示在畫面上藉由配置GUI零件所作成之對話畫面。視頻串流，係在上述各實施形態所示之動態圖像編碼方法或裝置，與準據透過以前之MPEG-2、MPEG4-AVC、VC-1等之規格的動態圖像編碼方法或裝置而被編碼。聲頻串流，係以杜比(Dolby)-AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等的方式被編碼。

包含在多工資料之各串流係透過PID而被識別。例如，在利用於電影的影像之視頻串流為0x1011，在聲頻串流為從0x1100至0x111F，在表達圖形為從0x1200至0x121F，在聲頻串流為從0x1100至0x111F，在交互圖形串流為從0x1400至0x141F，在利用於電影的副影像之視頻串流為從0x1B00至0x1B1F，在利用於主聲音與混分之副聲音的視頻串流為從0x1A00至0x1A1F，會分別被分配。

第24圖係顯示多工資料如何地被多工的示意圖。首先，把從複數的視頻訊框形成之視頻串流ex235，複數的聲頻訊框形成之聲頻串流ex238，分別變換成PES封包列ex236及ex239，變換成TS封包列ex237及ex240。同樣地把表達圖形串流ex241及交互圖形ex244之資料分別變換成PES封包列ex242及ex245，再者，變換成TS封包列ex243及ex246。多工資料ex247係由於將此等之TS封包多工成1條之串流所 構成。

第25圖係顯示將視頻串流如何被容納在PES封包列的更詳細圖。在第25圖之第1排係顯示視頻串流之視頻訊框列。第2排係顯示PES封包列。如第25圖之箭頭yy1、yy2、yy3、yy4所示，在視頻串流之複數的視頻放映單元(Video Presention Unit)之I圖片、B圖片、P圖片、B圖片，係以每圖片分割，被容納在PES封包之酬載。各PES封包係持有PES頭，在PES頭係被容納有圖片之顯示時刻的播放時戳(Presention Time Stamp，PTS)或圖片之解碼時刻的解碼時戳(Decoding Time Stamp，DTS)。

第26圖係顯示最後寫入多工資料之TS封包的形式。TS封包，係由持有識別串流之PID等的資訊之4位元的TS頭與容納資料之184位元的TS酬載所構成之188位元固定長度的封包，上述PES封包係被分割容納在TS酬載。BD-ROM的情況，在TS封包，被賦予4位元的TP_Extra_Header，構成192位元的訊源封包(source packet)，寫入至多工資料。在TP_Extra_Header被記載有到達時戳(Arrival_Time_Stamp，ATS)等的資訊，ATS係顯示朝該TS封包之記錄器的PID濾波器之開始轉送時刻。在多工資料如第26圖下排所示訊源封包成為排列，從多工之前頭增加的號碼稱為SPN(訊源封包號碼)。

又，包含在多工資料之TS封包，除了影像、聲音、字幕等之各串流以外，也有節目連結表(Program Association Table，PAT)、節目對應表(Program Map Table，PMT)、節 目參考時鐘(Program Clock Reference，PCR)等。PAT係顯示被利用在多工資料中之PMT的PID為何，PAT本身的PID係以0被註冊。PMT，係持有包含在多工資料中之影像、聲音、字幕等各串流之PID與對應於各PID之串流的屬性資訊，又，持有關於多工資料之各種描述符(descriptor)。在描述符有指示準許、不準許多工之複製的複製控制資訊等。PCR，係為了取得ATS之時間軸的到達時間時鐘(Arrival Time Clock，ATC)與PTS、DTS之時間軸的系統時鐘(System Time Clock，STC)的同步，持有其PCR封包轉送到記錄器之對應於ATS之STC時間的資訊。

第27圖係詳細說明PMT的資料結構之圖。在PMT的前面，配置有PMT頭記述包含在其PMT之資料的長度等。在其後面，配置有複數描述符關於多工資料。上述複製控制資訊等，作為描述符而被記載。在描述符的後面，配置有複數串流資訊關於被包含在多工資料之各串流。串流資訊，係為了識別串流的壓縮編解碼器(codec)等，係由記載有串流型式、串流之PID、串流之屬性資訊(訊框比、寬高比等)之串流描述符所構成。串流描述符係僅存在於多工資料之串流數予以存在。

在記錄於記錄媒體等之情況，上述多工資料，係與多工資料資訊檔案一齊被記錄。

多工資料資訊檔案，係如第28圖所示為多工資料的管理資訊，與多工資料1比1地對應，由多工資料資訊、串流屬性資訊與入口地圖所構成。

多工資料資訊，係如第28圖所示由系統率、再生開始時刻、再生結束時刻所構成。系統率係顯示多工資料之對於後述系統目標解碼器的PID濾波器之最大傳送比率。包含在多工資料中之ATS的間隔係能小於系統率的方式被設定。再生開始時刻係多工資料之前面的視頻訊框的PTS，再生結束時刻係在多工資料之終端的視頻訊框的PTS加上1訊框分的再生間隔者被設定。

串流屬性資訊係如第29圖所示，關於包含在多工資料之各串流的屬性資訊，係對每一PID分別註冊。屬性資訊係依視頻串流、聲頻串流、表達圖形串流、交互圖形串流各持有不同資訊。視頻串流屬性資訊，係持有其視頻串流係以何種壓縮編解碼器進行壓縮，構成視頻串流之各個圖片資料的解像度如何，寬高比如何，訊框比如何等的資訊。聲頻串流屬性資訊，係持有其聲頻串流係以何種壓縮編解碼器進行壓縮，包含在聲頻串流之頻道數為何，對應於何種語言，抽樣頻率到底如何等的資訊。此等的資訊，係被利用於播放器再生之前的解碼器之初期化等。

在本實施形態方面，上述多工資料之中，利用被包含在PMT之串流型式。又，在記錄媒體被記錄有多工資料的情況，利用包含在多工資料資訊之視頻串流屬性資訊。具體上，在上述各實施形態所顯示之動態圖像編碼方法及或裝置方面，包含在PMT之串流型式，或對於視頻串流屬性資訊，設置表示其為透過上述各實施形態所顯示之動態圖像編碼方法或裝置而產生之影像資料的固有資訊之設定步 驟或方法。藉由此架構，可能識別透過上述各實施形態所顯示之動態圖像編碼方法及或裝置而產生之影像資料，與準據其他規格之影像資料。

又，在本實施形態之動態圖像解碼方法的步驟顯示如第30圖。在步驟exS100方面，從多工資料取得包含在PMT之串流型式，或包含在多工資料資訊之視頻串流屬性資訊。其次，在步驟exS101方面，透過串流型式，或視頻串流屬性資訊判斷其是否表示其為上述各實施形態所顯示之動態圖像編碼方法或裝置所產生的多工資料。而且，串流型式，或視頻串流屬性資訊判斷係透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生者的情況時，在步驟exS102方面，藉由在上述各實施形態所顯示之動態圖像解碼方法進行解碼。又，串流型式，或視頻串流屬性資訊，若顯示準據以前的MPEG-2、MPEG4-AVC、VC-1等的規格者之情況，在步驟exS103方面，藉由準據以前的規格之動態圖像解碼方法進行解碼。

如此，藉由在串流型式，或視頻串流屬性資訊設定新的固有值，解碼之際，可判斷以上述各實施形態所顯示之動態圖像解碼方法或裝置可否解碼。因此，即使準據不同的規格輸入多工資料的情況，因為可以選擇適當的解碼方法或裝置，成為可能駆發生錯誤而可予以解碼。又，在本實施形態所顯示之動態圖像編碼方法或裝置，或動態圖像解碼方法或裝置，可能用於上述之任何的機器、系統。

(第8實施形態)

在上述各實施形態所顯示之動態圖像編碼方法及裝置，動態圖像解碼方法及裝置，典型的可在積體電路之LSI被實現。作為一例，在第31圖顯示被1晶片化之LSIex500之架構。LSI ex500，係具備有：以下予以說明之元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各元件係透過匯流排ex510予以連接。電源電路部ex505係電源在開啟的狀態下，對於各部供應電力使其啟動成為動作可能的狀態。

例如進行編碼處理的情況，LSIex500，係根據具有：CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501的控制，藉由AV I/O ex509從麥克風ex117或照像機ex113等予以輸入AV訊號。被輸入之AV訊號，暫時儲存在SDRAM等的外部記憶體ex511。根據控制部ex501的控制，儲存之資料係因應處理量或處理速度適當地被分成複數次等送到訊號處理部ex507，在訊號處理部ex507進行聲音訊號之編碼及/或影像訊號之編碼。在此影像訊號之編碼處理係在上述各實施形態所說明之編碼處理。在訊號處理部ex507，更由於情況進行被編碼之聲音資料與被編碼之影像資料多工等的處理，從串流I/Oex506向外部予以輸出。此被輸出之多工資料，係朝向基地局ex107傳送，或予以寫入記錄媒體ex215。此外，在予以多工之際能同步的方式，暫時儲存在緩衝器ex508較佳。

此外，在上述，雖將記憶體ex511作為LSIex500之外部 架構加以說明，但亦可包含在LSIex500的內部架構。緩衝器ex508也不僅限於1個，具備複數之緩衝器亦可。又，LSIex500係1晶片化亦可，被複數晶片化亦可。

又，在上述，控制部ex510，雖作為具有：CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex510的架構，並不限於此架構。例如，訊號處理部ex507更具備CPU之架構亦可。藉由在訊號處理部ex507的內部也設置CPU，可使其更可能提高處理速度。又，作為其他例，CPUex502具備訊號處理部ex507，或訊號處理部ex507之一部，例如聲音訊號處理部之架構亦可。在如此之情況，控制部ex510，係成為具備有訊號處理部ex507，或具有其一部分之CPUex502的架構。

此外，在此，雖作為LSI，但藉由積體度的不同，亦有被稱為IC、系統LSI、大型積體電路(super)LSI、超大型積體電路(ultra)LSI者。

又，積體電路化的方法並不限於LSI，以專用電路或汎用處理器實現亦可。在LSI製造後，利用可編排之現場可程式閘陣列(Field Programmable Gate Array，FPGA)、或LSI內部之電路單元(cell)之連接或設定可能再構成之可重組態處理器(Reconfigurable Processor)亦可。

再者，藉由半導體技術的進步或所衍生其他技術替換積體電路化之技術若出現時，當然使用其技術進行功能方塊的積體化亦可。有生物技術的適應等之可能性。

(第9實施形態)

要解碼透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生之影像資料的情況，與要解碼依據以前之MPEG-2、MPEG4-AVC、VC-1等規格的影像資料之情況比較，其處理量想必會增加。因此，在LSIex500方面，有必要設定比要解碼依據以前之規格的影像資料之際的CPUex502之驅動頻率更高的驅動頻率。可是，使驅動頻率變高，會產生消費電力變高之課題。

為了解決此課題，電視機ex300、LSIex500等之動態圖像解碼裝置，識別影像資料係依據何種規格，而因應規格切換驅動頻率之架構。第32圖係顯示在本實施形態之架構ex800。驅動頻率切換部ex803，係影像資料，透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生者的情況，予以設定高的驅動頻率。而且，對於欲實行在上述各實施形態所顯示之動態圖像解碼方法的解碼處理部ex801，予以指示欲解碼影像資料。一方面，影像資料，係依據以前的規格之影像資料的情況，影像資料，與透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生者的情況比較，予以設定低的驅動頻率。而且，對於依據以前的規格之解碼處理部ex802，予以指示欲解碼影像資料。

更具體的，係驅動頻率切換部ex803，係由第31圖之CPUex502與驅動頻率控制部ex512所構成。又，欲實行在上述各實施形態所顯示之動態圖像解碼方法的解碼處理部ex801，及、依據以前的規格之解碼處理部ex802，係相當 於第29圖之訊號處理部ex507。CPUex502，係要予以識別影像資料依據何種規格。而且，根據從CPUex502之訊號，驅動頻率控制部ex512，係要予以設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507，係進行影像資料之解碼。在此，影像資料之識別，例如，可考慮予以利用在第7實施形態所記載之識別資訊。關於識別資訊，不限於在第7實施形態所記載者，只要可識別影像資料係依據何種規格之資訊即可。例如，根據識別影像資料可利用於電視機，或是可利用於碟片等之外部訊號，影像資料究竟係依據何種規格可能識別的情況，根據如此外部訊號識別亦可。又，在CPUex502之驅動頻率的選擇，例如，可考慮根據像第34圖之影像資料的規格與驅動頻率對應之一覽表進行。將一覽表收納在緩衝器ex508、或LSI之內部記憶體。CPUex502藉由參考此一覽表，可能選擇驅動頻率。

第33圖係顯示實施本實施形態之步驟。首先，在步驟exS200，在訊號處理部ex507方面，從多工資料予以取得識別資訊。其次，在步驟exS201，在CPUex502方面，根據識別資訊予以識別影像資料是否在上述各實施形態所顯示之編碼方法或裝置而產生者。影像資料，係透過在上述各實施形態所顯示之編碼方法或裝置而產生者的情況，在步驟exS202方面，將驅動頻率設定高之訊號，CPUex502會傳送至驅動頻率控制部ex512。而且，在驅動頻率控制部ex512方面，將設定為高驅動頻率。一方面，顯示為依據以前之MPEG-2、MPEG4-AVC、VC-1等的規格之影像資料的情況， 在步驟exS203方面，將驅動頻率設定低之訊號，CPUex502會傳送至驅動頻率控制部ex512。而且，在驅動頻率控制部ex512方面，影像資料與透過在上述各實施形態所顯示之編碼方法或裝置而產生者的情況比較，被設定為低的驅動頻率。

再者，與驅動頻率之切換連動，藉由變更給與LSIex500或包含LSIex500之裝置的電壓，可更提高省電效果。例如，驅動頻率設定為低的情況，伴著此，與驅動頻率設定為高的情況比較，可考慮給與LSIex500或包含LSIex500之裝置的電壓設定為低。

又，驅動頻率之設定方法，係在解碼之際的處理量大的情況，驅動頻率設定為高，在解碼之際的處理量小的情況，驅動頻率設定為低即可，不限於上限設定方法。例如，要解碼以MPEG4-AVC規格為依據之影像資料這邊的處理量，較藉由上述各實施形態所顯示之動態圖像編碼方法或裝置而產生之影像資料予以解碼之處理量更大的情況，驅動頻率之設定可考慮與上述之情況相反。

再者，驅動頻率之設定方法，係並不限於使驅動頻率低之架構。例如，識別資訊，為在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生之影像資料的情況，給與LSIex500或包含LSIex500之裝置的電壓設定為高，顯示為依據以前之MPEG-2、MPEG4-AVC、VC-1等的規格之影像資料的情況，給與LSIex500或包含LSIex500之裝置的電壓可考慮設定為低。又，作為其他之例，識別資訊，係透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而 產生之影像資料的情況，無需停止CPUex502的驅動，顯示為依據以前之MPEG-2、MPEG4-AVC、VC-1等的規格之影像資料的情況，因為處理上有充裕，CPUex502的驅動也可考慮暫時停止。識別資訊，係即使表示透過在上述各實施形態所顯示之動態圖像編碼方法或裝置而產生之影像資料的情況，若處理上有充裕時，也可考慮CPUex502的驅動暫時停止。此種情況，與顯示依據以前之MPEG-2、MPEG4-AVC、VC-1等的規格之影像資料的情況比較，也可考慮將停止時間設定為短。

如此，影像資料因應依據規格，藉由切換驅動頻率，可使得其省電力化。又，使用電池驅動LSIex500或包含LSIex500之裝置的情況，伴著省電力化，同時可能使電池的壽命變長。

(第10實施形態)

電視機或行動電話等、在上述之機器、系統，有被輸入依據不同規格之複數的影像資料之情況。如此，為了依據不同規格之複數的影像資料被輸入的情況也能解碼，有必要使LSIex500的訊號處理部ex507對應複數的規格。可是個別使用對應於各個的規格之訊號處理部ex507時，會發生LSIex500的電路規模變大、以及成本增加之課題。

為了解決此課題，使在上述各實施形態所顯示之為了實行動態圖像解碼方法之解碼處理部，與準據以前之MPEG-2、MPEG4-AVC、VC-1等的規格之解碼處理部一部共有化之架構。此架構例顯示如第35A圖之ex900。例如， 在上述各實施形態所顯示之動態圖像解碼方法，與準據MPEG4-AVC規格之動態圖像解碼方法，係在平均訊息量(entropy)編碼、逆量化、區塊消除濾波器、移動補償等之處理方面處理內容有一部分係為共通。關於共通之處理內容，對應於MPEG4-AVC規格之解碼處理部ex902為共有，不對應於MPEG4-AVC規格，關於本發明特有之其他處理內容，可考慮使用專用之解碼處理部ex901之架構。尤其，本發明，由於在逆量化具有特徵，例如，關於逆量化使用專用之解碼處理部ex901，其以外之平均訊息量編碼、解阻隔.濾波器、移動補償之任一，或所有之處理，可考慮將解碼處理部共有。關於解碼處理部之共有化，關於予以共通之處理內容，在上述各實施形態所顯示之為了實行動態圖像解碼方法之解碼處理部共有，關於MPEG4-AVC規格特有之處理內容，亦可使用專用之解碼處理部的架構。

又，將處理一部共有化之其他例顯示如第35B圖之ex1000。在此例，係使用對應於本發明特有之處理內容的專用解碼處理部ex1001，與對應於其他習知規格特有之處理內容的專用解碼處理部ex1002，和對應於本發明之動態圖像解碼方法與其他習知規格之動態圖像解碼方法之共通處理內容的共用解碼處理部ex1003作為架構。在此，專用解碼處理部ex1001、ex1002，不一定係本發明，或其他習知規格特有之處理內容特化者，可實行其他汎用處理者亦可。又，本實施形態之架構，亦可能構裝在LSIex500。

如此，關於本發明之動態圖像解碼方法，與習知規格 之動態圖像解碼方法之共通處理內容，由於藉由共有解碼處理部，可能使LSI之電路規模變小，而且、可將成本降低。

產業上之可利用性

有關本發明之移動向量算出方法、圖像編碼方法及圖像解碼方法，可達成壓縮率提高之效果，例如，可適用於錄影機、動態圖像攝影及具有再生功能之行動電話、個人用電腦、或錄影再生裝置等。

100‧‧‧圖像編碼裝置

101‧‧‧減法器

102‧‧‧正交變換部

103‧‧‧量化部

104‧‧‧逆量化部

105‧‧‧逆正交變換部

106‧‧‧加法器

107‧‧‧區塊記憶體

108‧‧‧訊框記憶體

109‧‧‧畫面內預測部

110‧‧‧畫面間預測部

111‧‧‧畫面間預測控制部

112‧‧‧圖片型式決定部

113‧‧‧時間域直接向量算出部

114‧‧‧co-located參考方向決定部

115‧‧‧可變長度編碼部

200‧‧‧圖像解碼裝置

204‧‧‧逆量化部

205‧‧‧逆正交變換部

206‧‧‧加法器

207‧‧‧區塊記憶體

208‧‧‧訊框記憶體

209‧‧‧畫面內預測部

210‧‧‧畫面間預測部

211‧‧‧畫面間預測控制部

213‧‧‧時間域直接向量算出部

215‧‧‧可變長度解碼部

S110-S120、S131-S135、S121-S129、S141-S148、S210-S220、exS100-exS13、exS200-exS203‧‧‧步驟

a、b、c‧‧‧移動向量

yy1、yy2、yy3、yy4‧‧‧箭頭

P1、P3‧‧‧參考圖片

Ba、Bb‧‧‧區塊

B0、B2、B4、B6、B8、B9‧‧‧圖片

ex100‧‧‧內容提供系統

ex101‧‧‧網路

ex102‧‧‧網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106、ex107、ex108、ex109、ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧個人數位助理(Personal Digital Assistant，PDA)

ex113、ex116‧‧‧照像機

ex114‧‧‧行動電話

ex115‧‧‧電動遊戲機

ex116‧‧‧照像機

ex117‧‧‧麥克風

ex200‧‧‧數位廣播用系統

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜

ex204、ex205‧‧‧天線

ex210‧‧‧車子

ex211‧‧‧汽車導航

ex212‧‧‧再生裝置

ex213、ex219‧‧‧螢幕

ex214、ex215‧‧‧光碟

ex216‧‧‧SD卡記錄媒體、記錄媒體

ex217‧‧‧機上盒

ex218‧‧‧讀取機/記錄器

ex220‧‧‧遙控器

ex230‧‧‧資訊磁軌

ex231‧‧‧記錄區塊

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域ex234

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部、電源電路部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接部

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧液晶顯示器控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧照像機介面部

ex364‧‧‧插槽部

ex365‧‧‧照像機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學讀取頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部(聲音訊號處理部、影像訊號處理部)

ex508‧‧‧緩衝器

ex509‧‧‧AVI/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801‧‧‧本發明之解碼處理部

ex802‧‧‧依據以前的規格之解碼處理部

ex803‧‧‧驅動頻率切換部

ex901‧‧‧本發明專用之解碼處理部

ex902‧‧‧本發明與習知規格共 有之解碼處理部

ex1001‧‧‧本發明專用之解碼處理部

ex1002‧‧‧習知規格專用之解碼處理部

ex1003‧‧‧本發明與習知規格共有之解碼處理部

第1圖係顯示在時間域直接模式之畫面間預測編碼處理及移動向量算出方法的說明圖。

第2圖係顯示有關本發明使用第1實施形態之圖像編碼方法的圖像編碼裝置之架構的方塊圖。

第3圖係顯示有關本發明第1實施形態之圖像編碼方法的處理流程之概要圖。

第4圖係顯示有關本發明第1實施形態之畫面間預測控制部的畫面間預測模式之決定流程圖。

第5圖係顯示有關本發明第1實施形態之第3圖的步驟S110之詳細處理流程圖。

第6圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例之圖。

第7圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第8圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第9圖係顯示有關本發明第1實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第10圖係顯示有關本發明第2實施形態之時間域直接向量之算出的詳細處理流程圖。

第11圖係顯示有關本發明第2實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的一例之圖。

第12圖係顯示有關本發明第2實施形態透過時間域直接模式予以導出移動向量(時間域直接向量)之方法的另一例之圖。

第13圖係顯示有關本發明第3實施形態之時間域直接向量之算出的詳細處理流程圖。

第14圖係顯示有關本發明第4實施形態之第3圖的步驟S110及S120之詳細處理流程圖。

第15圖係顯示有關本發明使用第5實施形態之圖像解碼方法的圖像解碼裝置之架構的方塊圖。

第16圖係顯示有關本發明第5實施形態之圖像解碼方法的處理流程之概要圖。

第17圖係實現內容發送服務之內容提供系統的整體架構圖。

第18圖係數位廣播用系統的整體架構圖。

第19圖係顯示電視架構例的方塊圖。

第20圖係顯示使光碟之記錄媒體進行資訊的讀取之資訊再生記錄部的架構例方塊圖。

第21圖係顯示光碟之記錄媒體的結構例圖。

第22A圖係顯示行動電話之一例的圖。

第22B圖係顯示行動電話之構成例方塊圖。

第23圖係顯示多工資料的架構圖。

第24圖係顯示各串流在多工資料如何地被多工的示意圖。

第25圖係顯示將視頻串流如何被容納在PES封包(packet)列的更詳細圖。

第26圖係顯示在多工資料方面TS封包與原始封包的結構圖。

第27圖係顯示PMT的資料架構圖。

第28圖係顯示多工資料資訊的內部架構圖。

第29圖係顯示串流屬性資訊的內部架構圖。

第30圖係顯示識別影像資料的步驟圖。

第31圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之架構例的方塊圖。

第32圖係顯示切換驅動頻率的架構圖。

第33圖係顯示識別影像資料、切換驅動頻率的步驟圖。

第34圖係顯示影像資料的規格與驅動頻率對應之一覽表的一例之圖。

第35A圖係顯示將訊號處理部之模組共有化之架構的一例之圖。

第35B圖係顯示將訊號處理部之模組共有化之架構的另一例之圖。

S121-S129‧‧‧步驟

Claims (9)

1. 一種移動向量算出方法，係算出被包含在動態圖像之處理對象區塊的移動向量之移動向量算出方法，包含有：特定步驟，係特定一個參考圖片，該參考圖片係包含於前述處理對象區塊所具有之第1參考圖片列表及第2參考圖片列表之任一者；選擇步驟，係從包含於前述特定的參考圖片之參考區塊之至少1個參考移動向量中選擇1個參考移動向量；與算出步驟，係使用在前述選擇步驟中被選擇的1個參考移動向量，算出前述處理對象區塊的移動向量；在前述選擇步驟中，當前述參考圖片所包含之前述參考區塊具有分別對應至前述第1參考圖片列表與前述第2參考圖片列表的第1參考移動向量與第2參考移動向量的情況下，(i)當前述參考圖片包含於前述第2參考圖片列表時，選擇前述第1參考移動向量；(ii)當前述參考圖片包含於前述第1參考圖片列表時，選擇前述第2參考移動向量；當前述參考區塊僅具有1個參考移動向量的情況下，選擇前述1個參考移動向量。
2. 一種圖像編碼方法，係將動態圖像編碼之圖像編碼方法，包含有：如申請專利範圍第1項之移動向量算出方法的前述 特定步驟、前述選擇步驟及前述算出步驟；與編碼步驟，係使用藉由前述算出步驟算出的移動向量來編碼前述處理對象區塊。
3. 如申請專利範圍第2項之圖像編碼方法，其更包含有：產生步驟，係產生參考方向旗標，該參考方向旗標係表示在前述特定步驟中被特定之前述參考圖片所包含之前述參考區塊與前述處理對象區塊間的參考方向；與附加步驟，係將在前述產生步驟產生中所產生之前述參考方向旗標，附加在包含已由前述編碼步驟編碼之前述處理對象區塊的圖片。
4. 一種圖像解碼方法，係將編碼動態圖像解碼之圖像解碼方法，包含有：如申請專利範圍第1項之移動向量算出方法的前述特定步驟、前述選擇步驟及前述算出步驟；與解碼步驟，係使用藉由前述算出步驟算出的移動向量，來解碼包含在前述編碼動態圖像之已編碼的前述處理對象區塊。
5. 如申請專利範圍第4項之圖像解碼方法，其中前述圖像解碼方法，更包含有：標頭解碼步驟，係從前述編碼動態圖像中解碼參考方向旗標，該參考方向旗標係表示在前述特定步驟中被特定之前述參考圖片所包含之前述參考區塊與前述處理對象區塊間的參考方向。
6. 一種移動向量算出裝置，係算出被包含在動態圖像之處理對象區塊的移動向量之移動向量算出裝置，具備有：特定部，係特定一個參考圖片，該參考圖片係包含於前述處理對象區塊所具有之第1參考圖片列表及第2參考圖片列表之任一者；選擇部，係從包含於前述特定的參考圖片之參考區塊之至少1個參考移動向量中選擇1個參考移動向量；與算出部，係使用由前述選擇部所選擇的1個參考移動向量，算出前述處理對象區塊的移動向量；前述選擇部，當前述參考圖片所包含之前述參考區塊具有分別對應至前述第1參考圖片列表與前述第2參考圖片列表的第1參考移動向量與第2參考移動向量的情況下，(i)當前述參考圖片包含於前述第2參考圖片列表時，選擇前述第1參考移動向量；(ii)當前述參考圖片包含於前述第1參考圖片列表時，選擇前述第2參考移動向量；當前述參考區塊僅具有1個參考移動向量的情況下，選擇前述1個參考移動向量。
7. 一種圖像編碼裝置，係將動態圖像編碼之圖像編碼裝置，具備有：如申請專利範圍第6項之移動向量算出裝置的前述特定部、前述選擇部及前述算出部；與編碼部，係使用由前述算出部算出之移動向量來編 碼前述處理對象區塊。
8. 一種圖像解碼裝置，係將編碼動態圖像解碼之圖像解碼裝置，具備有：如申請專利範圍第6項之移動向量算出裝置的前述特定部、前述選擇部及前述算出部；與解碼部，係使用由前述算出部算出之移動向量，來解碼包含在前述編碼動態圖像之被編碼的前述處理對象區塊。
9. 一種圖像編碼解碼裝置，具備有：如申請專利範圍第7項之圖像編碼裝置；與如申請專利範圍第8項之圖像解碼裝置。