TWI538486B - A moving picture coding method, a moving picture decoding method, a moving picture coding apparatus, a moving picture decoding apparatus, and a motion picture coding / decoding apparatus - Google Patents

Description

動態圖像編碼方法、動態圖像解碼方法、動態圖像編碼裝置、動態圖像解碼裝置、及動態圖像編碼解碼裝置 技術領域

本發明係有關於動態圖像編碼方法及動態圖像解碼方法。

背景技術

在動態圖像編碼處理中，一般是利用動態圖像所具有之空間方向及時間方向之冗餘性以進行資訊量之壓縮。在此，一般以利用空間方向之冗餘性之方法而言，使用有變換成頻率區域之變換處理。又，以利用時間方向之冗餘性之方法而言，使用有圖片間預測(以下，稱為間預測)編碼處理。

在間預測編碼處理中，對某圖片進行編碼時，使用相對於編碼對象圖片於顯示時間順序上位於前方或後方之編碼完畢之圖片作為參考圖片。接著，藉相對於該參考圖片之編碼對象圖片之移動檢測而導出移動向量，且藉取得根據移動向量進行動量補償而所得到之預測圖像資料與編碼對象圖片之圖像資料間之差值，移除時間方向之冗餘性。在此，在移動檢測上，算出編碼圖片內之編碼對象區塊與參考圖片內之區塊間之差值，將差值最小之參考圖片內之區塊作為參考區塊。接著，使用編碼對象區塊及參考區塊而檢測移動向量。

在業已標準化之稱為H.264之動態圖像編碼方式中，為 了資訊量之壓縮，而使用有稱為I圖片、P圖片、B圖片等3種圖片型式。I圖片係不進行間預測編碼處理之圖片，即只進行圖片內預測(以下稱之為內預測)編碼處理之圖片。P圖片係只參考顯示時間順序上位於編碼對象圖片前方或後方且業已編碼完畢之1個圖片而進行間預測編碼之圖片。B圖片係參考在顯示時間順序上位於編碼對象圖片前方或後方且業已編碼完畢之2個圖片而進行間預測編碼之圖片。

在間預測編碼中，產生用以界定參考圖片之參考圖片列表。參考圖片列表係於以間預測所參考之業已編碼完畢之參考圖片分配參考圖片索引之列表。例如，在B圖片中，為了能參考2個圖片而進行編碼，而固持2個參考圖片列表。接著，藉參考圖片索引，而由參考圖片列表界定參考圖片。

第13圖係顯示B圖片中之參考圖片列表之例。第13圖中之參考圖片列表0(以下，稱之為參考列表L0)為雙向預測中之預測方向0之參考圖片列表之例。在第13圖之例中，分別在參考圖片索引0之值0分配顯示順序2之參考圖片1，在參考圖片索引0之值1分配顯示順序1之參考圖片2，在參考圖片索引0之值2分配顯示順序0之參考圖片3。即，在顯示順序上對編碼對象圖片按時間接近之順序，而分配參考圖片索引。

另一方向，參考圖片列表1(以下稱之為參考列表L1)是在雙向預測中之預測方向1之參考圖片列表之例。在第13圖之例中，分別在參考圖片索引1之值0分配有顯示順序1之參 考圖片2，在參考圖片索引1之值1分配有顯示順序2之參考圖片1，在參考圖片索引1之值2分配有顯示順序0之參考圖片3。

如此，可對於各參考圖片分配每一預測方向不同之參考圖片索引(第13圖之參考圖片1、2)、或分配相同之參考圖片索引(第13圖之參考圖片3)。在B圖片之編碼時，形成為使用參考以參考列表L0內之參考圖片索引0所界定之參考圖片之移動向量(mvL0)與參考以參考列表L1內之參考圖片索引1所界定之參考圖片之移動向量(mvL1)，進行間預測。在P圖片時，則形成為只使用1個參考列表。

又，在被稱為H.264之動態圖像編碼方式中，當於B圖片之編碼處理中要導出移動向量之際，可選擇稱為時間直接方式之編碼模式。利用第14圖，說明時間直接方式中之間預測編碼方法。第14圖係顯示時間直接方式中之移動向量之說明圖，顯示以時間直接方式將圖片B2之區塊a進行編碼之形態。

此時，利用位於圖片B2後方之參考圖片之圖片P3中之與位於和區塊a相同位置之區塊b之移動向量a。移動向量a係指在將區塊b進行編碼時所使用之移動向量，參考著圖片P1。接著，區塊a係使用與移動向量a平行之移動向量，由成為前方參考圖片之圖片P1及成為後方參考圖片之圖片P3取得參考區塊，且進行2方向預測而予以編碼。即，在將區塊a進行編碼之際所使用之移動向量係相對於圖片P1成為移動向量b，而相對於圖片P3而成為移動向量c。

先行技術文獻 [非專利文獻]

[非專利文獻1]ITU-T H.264 03/2010

發明概要

惟，在習知之時間直接方式中，在時間直接方式時所利用之移動向量係於顯示時間順序上位於編碼對象圖片後方之參考圖片之移動向量，且限於顯示時間順序上位於前方之移動向量。

如此，藉於時間直接方式之際所利用之移動向量有所限定，而使要導出最適於編碼對象圖片之移動向量之事變得困難，衍生有致使壓縮率降低之課題。

本發明係以解決上述課題為目的者，且目的在於藉適應地選擇採用時間直接方式時所利用之移動向量，導出最適於編碼對象圖片之移動向量，提昇壓縮率者。

本發明一形態之動態圖像編碼方法係一種將構成編碼對象圖片之編碼對象區塊進行間預測編碼之方法。具體來說，動態圖像編碼方法包含有：圖像編碼步驟，係使用移動向量而將前述編碼對象區塊進行編碼者；預測移動向量候選產生步驟，係產生多數預測移動向量者；及移動向量編碼步驟，係使用在前述預測移動向量候選產生步驟所產生之多數前述預測移動向量之一者，而將前述移動向量進 行編碼者。接著，當編碼完畢圖片所含之前述編碼對象區塊之對應區塊具有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，在前述預測移動向量候選產生步驟中，使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生前述編碼對象區塊之與第1參考圖片列表對應之第1預測向量，並使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述編碼對象區塊之與第2參考圖片列表對應之第2預測向量。

依上述方法，藉適應地選擇在時間直接方式時所利用之移動向量，可導出最適於編碼對象圖片之移動向量，可提昇壓縮率。

以一例而言，在前述預測移動向量候選產生步驟中，當前述編碼完畢圖片在顯示順序上較編碼對象圖片位於前方，且前述2個參考移動向量兩者都是前方參考時，亦可使用前述第1參考移動向量，產生前述第1預測向量，且使用前述第2參考移動向量，產生前述第2預測向量者。

以另一例而言，在前述預測移動向量候選產生步驟中，當前述編碼完畢圖片在顯示順序上較編碼對象圖片位於後方，且前述2個參考移動向量兩者都是後方參考時，亦可使用前述第1參考移動向量，產生前述第1預測向量，且使用前述第2參考移動向量，產生前述第2預測向量者。

又，在前述預測移動向量候選產生步驟中，當前述2個參考移動向量之參考方向不同時，亦可使用前述2個參考移 動向量中參考前述編碼對象圖片之方向之參考移動向量，而產生前述第1及第2預測向量者。

以一例而言，在前述預測移動向量候選產生步驟中，當前述編碼完畢圖片在顯示順序上較編碼對象圖片位於前方時，亦可使用前述2個參考移動向量中之後方參考之參考移動向量，產生前述第1預測向量及第2預測向量者。

以另一例而言，在前述預測移動向量候選產生步驟中，當前述編碼完畢圖片在顯示順序上較編碼對象圖片位於後方時，亦可使用前述2個參考移動向量中之前方參考之參考移動向量，產生前述第1預測向量及前述第2預測向量者。

本發明一形態之動態圖像解碼方法係一種將構成解碼對象圖片之解碼對象區塊進行間預測解碼之方法。具體來說，動態圖像解碼方法包含有：預測移動向量候選產生步驟，係產生多數預測移動向量者；移動向量解碼步驟，係使用在前述預測移動向量候選產生步驟所產生之多數前述預測移動向量中之一者，而將移動向量進行解碼者；及圖像解碼步驟，係使用在前述移動向量解碼步驟所解碼之前述移動向量，而將前述解碼對象區塊進行解碼者。接著，當解碼完畢圖片所含之前述解碼對象區塊之對應區塊具有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，在前述預測移動向量候選產生步驟中，使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生前述解碼對象區塊之與第1參考圖片列表對應之 第1預測向量，且使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述解碼對象區塊之與第2參考圖片列表對應之第2預測向量。

本發明一形態之動態圖像編碼方法係一種將構成編碼對象圖片之編碼對象區塊進行間預測編碼之方法。具體來說，動態圖像編碼裝置包含有：圖像編碼部，係使用移動向量而將前述編碼對象區塊進行編碼者；預測移動向量候選產生部，係產生多數預測移動向量者；及移動向量編碼部，係使用在前述預測移動向量候選產生部所產生之多數前述預測移動向量中之一者，而將前述移動向量進行編碼者。接著，當編碼完畢圖片所含之前述編碼對象區塊之對應區塊具有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，前述預測移動向量候選產生部係使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生前述編碼對象區塊之與第1參考圖片列表對應之第1預測向量，且使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述編碼對象區塊之與第2參考圖片列表對應之第2預測向量。

本發明一形態之動態圖像解碼裝置係一種將構成解碼對象圖片之解碼對象區塊進行間預測解碼之方法。具體來說，動態圖像解碼裝置包含有：預測移動向量候選產生部，係產生多數預測移動向量者；移動向量解碼部，係使用在前述預測移動向量候選產生部所產生之多數前述預測移動向量中之一者，將移動向量進行解碼者；及圖像解碼部， 係使用在前述移動向量解碼部所解碼之前述移動向量，而將前述解碼對象區塊進行解碼者。接著，當解碼完畢圖片所含之前述解碼對象區塊之對應區塊有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，前述預測移動向量候選產生部係使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生前述解碼對象區塊之與第1參考圖片列表對應之第1預測向量，且使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述解碼對象區塊之與第2參考圖片列表對應之第2預測向量。

本發明一形態之動態圖像編碼解碼裝置包含有：動態圖像編碼部，係將構成編碼對象圖片之編碼對象區塊進行間預測編碼者；及動態圖像解碼部，係將在前述動態圖像編碼部所產生之解碼對象區塊進行間預測解碼者。前述動態圖像編碼部包含有：圖像編碼部，係使用移動向量而將前述編碼對象區塊進行編碼者；第1預測移動向量候選產生部，係產生多數預測移動向量者；及移動向量編碼部，係使用在前述第1預測移動向量候選產生部所產生之多數前述預測移動向量中之一者，而將前述移動向量進行編碼者。接著，當編碼完畢圖片所含之前述編碼對象區塊之對應區塊具有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，前述第1預測移動向量候選產生部係使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生前述編碼對象區塊之與第1參考圖片列 表對應之第1預測向量，且使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述編碼對象區塊之與第2參考圖片列表對應之第2預測向量。前述動態圖像解碼部包含有：第2預測移動向量候選產生部，係產生多數預測移動向量者；移動向量解碼部，係使用在前述第2預測移動向量候選產生部所產生之多數前述預測移動向量之一者，而將移動向量進行解碼者；及圖像解碼部，係使用在前述移動向量解碼部所解碼之前述移動向量，而將前述解碼對象區塊進行解碼者。接著，當解碼完畢圖片所含之前述解碼對象區塊之對應區塊具有2個參考移動向量，且該等2個參考移動向量之參考方向相同時，前述第2預測移動向量候選產生部係使用前述2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，而產生前述解碼對象區塊之與第1參考圖片列表對應之第1預測向量，且使用前述2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生前述解碼對象區塊之與第2參考圖片列表對應之第2預測向量。

依本發明，藉適應地選擇在採用時間直接方式時所利用之移動向量，可導出最適於編碼對象圖片之移動向量，並可提昇壓縮率。

圖式簡單說明

第1A圖係實施形態1之動態圖像編碼裝置之方塊圖。

第1B圖係顯示共置(co-located)區塊之位置之圖。

第2圖係實施形態1之動態圖像編碼方法之處理流程之概要。

第3A圖係顯示預測移動向量之候選例之圖。

第3B圖係顯示預測移動向量之候選之優先順位之一例之圖。

第3C圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第3D圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第3E圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第4圖係顯示在將預測移動向量索引進行可變長度編碼之形態之碼表之例之圖。

第5圖係顯示預測移動向量之候選之決定流程之圖。

第6圖係顯示第2圖之步驟S12之詳細處理流程圖。

第7A圖係顯示共置區塊為前方2次參考時之時間直接向量之算出方法之一例之圖。

第7B圖係顯示共置區塊為後方2次參考時之時間直接向量之算出方法之一例之圖。

第8A圖係顯示共置區塊為後方參考區塊，且於具有前方參考移動向量與後方參考移動向量兩者時之時間直接向量之算出方法之一例之圖。

第8B圖係顯示共置區塊為後方參考區塊，且於只具有後方參考移動向量時之時間直接向量之算出方法之一例之 圖。

第9A圖係顯示共置區塊為前方參考區塊，且於具有前方參考移動向量與後方參考移動向量兩者時之時間直接向量之算出方法之一例之圖。

第9B圖係顯示共置區塊為前方參考區塊，且只具有前方參考移動向量時之時間直接向量之算出方法之一例之圖。

第10圖係顯示第2圖之步驟S12之詳細處理流程之另一例之圖。

第11圖係實施形態3之動態圖像解碼裝置之方塊圖。

第12圖係實施形態3之動態圖像解碼方法之處理流程之概要。

第13圖係顯示B圖片中之參考圖片列表之一例之圖。

第14圖係用以說明時間直接方式中之間預測編碼方法之圖。

第15圖係實現內容配信服務之內容供給系統之整體構成圖。

第16圖係數位式播放用系統之整體構成圖。

第17圖係顯示電視機之構成例之方塊圖。

第18圖係顯示對作為光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第19圖係顯示作為光碟之記錄媒體之構造例之圖。

第20圖(a)顯示行動電話機之一例之圖；(b)顯示行動電話機之構成例之方塊圖。

第21圖係顯示多工資料之構成之圖。

第22圖係模式地顯示各串流於多工資料中如何被進行多工處理之圖。

第23圖係更詳細地顯示於PES封包列如何儲存視訊流之圖。

第24圖係顯示多工資料中之TS封包與原始封包之構造圖。

第25圖係顯示PMT之資料構成圖。

第26圖係顯示多工資料資訊之內部構成圖。

第27圖係顯示串流屬性資訊之內部構成圖。

第28圖係顯示識別影像資料之步驟之圖。

第29圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

第30圖係切換驅動頻率之構成圖。

第31圖係顯示識別影像資料、切換驅動頻率之步驟之圖。

第32圖係顯示將影像資料之規格與驅動頻率對應之查找表之一例之圖。

第33圖(a)係顯示將訊號處理部之模組共有之一構成例；(b)顯示將訊號處理部之模組共有之另一構成例之圖。

用以實施發明之形態

以下針對本發明實施形態，一邊參考附圖一邊說明。

(實施形態1)

第1A圖係顯示本發明實施形態1之動態圖像編碼裝置之方塊圖。

動態圖像編碼裝置100，如第1A圖所示，包含有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部105、加法部106、區塊記憶體107、框記憶體108、內預測部109、間預測部110、開關111、間預測控制部112、圖片型式決定部113、時間直接向量算出部114、共置(co-located)參考方向決定部115、及可變長度編碼部116。

減法部101係由裝置外部取得含有編碼對象區塊之輸入圖像列，由開關111取得預測區塊，且將由編碼對象區塊減去預測區塊而所得到之剩餘區塊輸出至正交變換部102。

正交變換部102係將由減法部101所取得之剩餘區塊由圖像區域變換成頻率區域，將變換係數輸出至量化部103。量化部103係將由量化部103所取得之變換係數進行量化，將量化係數輸出至反量化部104及可變長度編碼部116。

反量化部104係將由量化部103所取得之量化係數進行反量化，且將所復原之變換係數輸出至反正交變換部105。反正交變換部105係將由反量化部104所取得之所復原之變換係數由頻率區域變換至圖像區域，且將所復原之剩餘區塊輸出至加法部106。

加法部106係將由反正交變換部105所取得之所復原之剩餘區塊與由開關111所取得之預測區塊相加，且將所復原之編碼對象區塊(輸入圖像列)輸出至區塊記憶體107及框記憶體108。區塊記憶體107係將所復原之輸入圖像列以區塊 單位予以保存。框記憶體108係將所復原之輸入圖像列以框單位予以保存。

圖片型式決定部113係以I圖片、B圖片、P圖片之任一種圖片型式而決定是否將輸入圖像列進行編碼，產生圖片型式資訊。接著，圖片型式決定部113係將所產生之圖片型式資訊輸出至開關111、間預測控制部112、共置參考方向決定部115、及可變長度編碼部116。

內預測部109係使用區塊記憶體107所保存之區塊單位之所復原之輸入圖像列，將編碼對象區塊進行內預測，而產生預測區塊，且將之輸出至開關111。間預測部110係使用框記憶體108所保存之框單位之所復原之輸入圖像列與藉移動檢測所導出之移動向量，將編碼對象區塊進行間預測，產生預測區塊，將之輸出至開關111。

開關111係將內預測部109所產生之預測區塊、或間預測部110所產生之預測區塊輸出至減法部101及加法部106。例如，開關111可構成為只須將2個預測區塊中編碼成本較小之預測區塊輸出者即可。

共置參考方向決定部115係決定如何將在顯示時間順序上較編碼對象圖片位於前方之圖片所含之區塊(以下將之稱為前方參考區塊)、或在顯示時間順序上較編碼對象圖片位於後方之圖片所含之區塊(以下將之稱為後方參考區塊)之其中一者，作為共置區塊。接著，共置參考方向決定部115係於每一圖片產生共置參考方向旗標，且將之輸出至時間直接向量算出部114及可變長度編碼部116。

在此，共置區塊係指與含有編碼對象區塊之編碼對象圖片不同之編碼完畢圖片內之區塊，且，在編碼完畢圖片內中之位置為成為與編碼對象區塊相同位置之區塊(第1B圖之區塊A)。此外，在本實施形態中，將共置區塊作為編碼完畢圖片內中之位置形成為與編碼對象區塊相同位置之區塊，但未必要限定於此。例如，如第1B圖之區塊B、C、D、E所示，亦無妨使用與編碼對象區塊相同之位置之區塊A之周邊區塊等，作為共置區塊者。藉此，例如由於區塊A是以內預測進行編碼，因此在諸如未固持移動向量般之時候，可使用周邊之區塊B、C、D、E作為共置區塊。結果可提昇時間直接向量之精度，且可提昇編碼效率。

時間直接向量算出部114係使用共置區塊之參考移動向量，藉時間直接方式，而導出作為預測移動向量之候選之時間直接向量。接著，時間直接向量算出部114係將所導出之時間直接向量輸出至間預測控制部112。

具體來說，在共置區塊所具有之2個參考移動向量之參考方向相同時，時間直接向量算出部114係使用共置區塊之2個移動向量，藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。又，時間直接向量算出部114係於各預測方向之時間直接向量分配與各所對應之預測移動向量索引之值。此外，「2個參考移動向量之參考方向為相同」係指共置區塊具有2個前方參考移動向量(參考在顯示順序上較編碼完畢圖片位於前方之圖片而所算出之移動向量)、或具 有2個後方參考移動向量(參考在顯示順序上較編碼完畢圖片位於後方之圖片而所算出之移動向量)之情況。

另一方面，當共置區塊不具2個前方參考移動向量、或不具2個後方參考移動向量時(典型上是指2個參考移動向量之參考方向不同之情況)，時間直接向量算出部114係藉共置區塊為前方參考區塊或為後方參考區塊，而決定時間直接方式所使用之共置區塊之移動向量。具體來說，時間直接向量算出部114係使用共置區塊所具有之2個參考移動向量中參考編碼對象圖片之方向之參考移動向量，而算出預測移動向量之候選。

當共置區塊為後方參考區塊時，時間直接向量算出部114係使用共置區塊之前方參考移動向量，且藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

惟，當共置區塊不具前方參考移動向量時(即，當共置區塊只具後方參考移動向量時)，時間直接向量算出部114係使用共置區塊之後方參考移動向量，藉時間直接方式，導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

另一方面，當共置區塊為前方參考區塊時，時間直接向量算出部114係使用共置區塊之後方參考移動向量，且藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

惟，當共置區塊不具後方參考移動向量時(即，當共置區塊只有前方參考移動向量時)，時間直接向量算出部114係使用共置區塊之前方參考移動向量，且藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

間預測控制部112係由多數預測移動向量之候選中，使用與藉移動檢測而所導出之移動向量間誤差最小之預測移動向量進行移動向量之編碼，而予以決定。在此，誤差係指，例如表示預測移動向量候選與藉移動檢測而所導出之移動向量間之差值。又，間預測控制部112係於每一區塊產生與所決定之預測移動向量對應之預測移動向量索引。接著，間預測控制部112係將預測移動向量索引與預測移動向量候選之誤差資訊傳送至可變長度編碼部116。

可變長度編碼部116係將由量化部103所取得之量化係數、由間預測控制部112所取得之預測移動向量索引及預測移動向量之候選之誤差資訊、由圖片型式決定部113所取得之圖片型式資訊、及由共置參考方向決定部115所取得之共置參考方向旗標進行可變長度編碼，而產生位元流。

第2圖係本發明實施形態1之動態圖像編碼方法之處理流程之概要。

共置參考方向決定部115係於以時間直接方式導出預測移動向量之候選時，要決定前方參考區塊或後方參考區塊之哪一者作為共置區塊(S11)。又，共置參考方向決定部115係於每一圖片產生顯示共置區塊是否為前方參考區塊 或為後方參考區塊之共置區塊參考旗標，且將之輸出至時間直接向量算出部114及可變長度編碼部116。

其次，時間直接向量算出部114係使用共置區塊之參考移動向量，藉時間直接方式，而導出預測移動向量之候選。當共置區塊具有2個前方參考移動向量或2個後方參考移動向量時，時間直接向量算出部114係使用共置區塊之2個移動向量，藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。又，時間直接向量算出部114係於各預測方向之時間直接向量分配預測移動向量索引之值。

更具體來說，時間直接向量算出部114係使用與共置區塊所具有之2個參考移動向量中之與第1參考圖片列表對應之第1參考移動向量，產生編碼對象區塊之與第1參考圖片列表對應之第1預測向量(TVML0)。又，時間直接向量算出部114係使用共置區塊所具有之2個參考移動向量中之與第2參考圖片列表對應之第2參考移動向量，產生編碼對象區塊之與第2參考圖片列表對應之第2預測向量(TVML1)。

在此，一般預測移動向量索引係於值小時所需要之資訊量會變少。另一方面，預測移動向量索引之值變大時，使所需要之資訊量變大。因此，在形成精度更高之移動向量之可能性高之移動向量分配小的預測移動向量索引，便使編碼效率變高。

另一方面，當共置區塊係於不具有2個前方參考移動向量、或不具有2個後方參考移動向量時，時間直接向量算出 部114係藉共置區塊是否為前方參考區塊或後方參考區塊，而決定時間直接方式所使用之共置區塊之移動向量。

當共置區塊為後方參考區塊時，時間直接向量算出部114係使用共置區塊之前方參考移動向量，且藉時間直接方式，導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。惟，當共置區塊不具前方參考移動向量時，時間直接向量算出部114係使用共置區塊之後方參考移動向量，藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

另一方面，當共置區塊為前方參考區塊時，時間直接向量算出部114係使用共置區塊之後方參考移動向量，且藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。惟，當共置區塊不具後方參考移動向量時，時間直接向量算出部114係使用共置區塊之前方參考移動向量，且藉時間直接方式，而導出預測移動向量之候選(預測方向0之時間直接向量TMVL0、預測方向1之時間直接向量TMVL1)。

其次，間預測部110係使用藉移動檢測所導出之移動向量，且藉間預測，而將編碼對象圖片進行編碼。又，間預測控制部112係由各預測方向之預測移動向量之候選中，使用誤差最小之預測移動向量，進行各預測方向之移動向量之編碼而予以決定。例如，間預測控制部112係將預測移動 向量之候選與藉移動檢測所導出之移動向量之差值作為誤差，對於誤差最小之預測移動向量，決定在進行移動向量之編碼時使用者。接著，可變長度編碼部116係將與所選擇之預測移動向量之候選對應之預測移動向量索引與所決定之預測移動向量候選之誤差資訊，與量化係數等一同進行可變長度編碼(S13)。

第3A圖係顯示預測移動向量之候選之例。移動向量MVL0_A、MVL1_A為位於編碼對象區塊之左鄰之鄰接區塊A之預測方向0之移動向量及預測方向1之移動向量。移動向量MVL0_B、MVL1_B係位於編碼對象區塊之上鄰之鄰接區塊B之預測方向0之移動向量及預測方向1之移動向量。移動向量MVL0_C係位於編碼對象區塊之右上鄰之鄰接區塊C之預測方向0之移動向量。又，鄰接區塊A及鄰接區塊B為雙向預測，鄰接區塊C為單向預測。又，預測方向X(X=0,1)之Median(MVLX_A,MVLX_B,MVLX_C)係顯示移動向量MVLX_A、MVLX_B、MVLX_C之中間值。在此，中間值例如如下導出者。

(數1)Median(x,y,z)=x+y+z-Min(x,Min(y,z))-Max(x,Max(y,z))...(式1)

預測方向0之預測移動向量索引之值係將與Median (MVL0_A,MVL0_B,MVL0_C)對應之值當作為0，將與移動向量MVL0_A對應之值當作為1，將與MVL0_B對應之值當作為2，將與MVL0_C對應之值當作為3，且將與時間直接向量TMVL0對應之值當作為4。又，預測方向1之預測移動向量索引之值係將與Median(MVL1_A,MVL1_B,0)對應之值當作為0，將與移動向量MVL1_A對應之值當作為1，將與MVL1_B對應之值當作為2，將與時間直接向量TMVL1對應之值當作為3。

又，預測移動向量索引之分配方式不限此例。例如，因應共置區塊所具有之移動向量之參考方向，考慮切換預測移動向量索引之分配等。將具體例顯示在第3B~3E圖。

第3B圖係顯示共置區塊之2個移動向量同為前方參考移動向量(以下記為「前方2次參考」)或後方參考移動向量(以下記為「後方2次參考」)，且在各移動向量之參考方向與含有編碼對象區塊之編碼對象圖片之方向一致時之預測移動向量索引之分配例之圖。在該形態中，由每一移動向量所算出之預測方向X之時間直接向量TMVLX具有精度高於其他預測移動向量之候選之可能性。為此，如第3B圖所示，將較小之預測移動向量索引分配至時間直接向量TMVLX。

又，第3C圖係顯示共置區塊之2個移動向量同為前方參考移動向量或後方參考移動向量，且各移動向量之參考方向為與含有編碼對象區塊之編碼對象圖片之方向相反時之預測移動向量索引之分配例之圖。此時，將較小之預測移 動向量索引分配至其他預測移動向量之候選，而非每一移動向量所算出之預測方向X之時間直接向量。

又，第3D圖係顯示共置區塊之移動向量為前方參考移動向量或後方參考移動向量，且該移動向量之參考方向為含有編碼對象區塊之編碼對象圖片之方向時之預測移動向量索引之分配例之圖。在該形態中，由移動向量所算出之預測方向X之時間直接向量具有精度比其他預測移動向量之候選高之可能性。為此，如第3D圖所示，將較小之預測移動向量索引分配至時間直接向量。

又，第3E圖係顯示共置區塊之移動向量為前方參考移動向量或後方參考移動向量，且該移動向量之參考方向為與含有編碼對象區塊之圖片方向相反時之預測移動向量索引之分配例之圖。在該形態中，藉其他預測移動向量之候選分配較小之預測移動向量索引，而非由移動向量所算出之預測方向X之時間直接向量。

如此，因應共置區塊所具有之移動向量之參考方向，而切換預測移動向量索引之分配方法，能將小的預測移動向量索引分配至預測精度佳之可能性高之預測移動向量之候選，因此可將編碼效率提昇。

第4圖係顯示在將預測移動向量索引進行可變長度編碼時所使用之碼表之例。在第4圖之例中，按預測移動向量索引之值小之順序分配編碼長度短之碼。因此，藉將小的預測移動向量索引分配至預測精度佳之可能性高之預測移動向量候選，所以能提昇編碼效率。

第5圖係顯示間預測控制部112實行之預測移動向量之候選之決定流程之圖。藉第5圖所示之流程，間預測控制部112係由多數預測移動向量之候選中，將藉與移動檢測所導出之各預測方向之移動向量間之誤差最小之預測移動向量決定為在將各預測方向之移動向量進行編碼時所使用者。接著，可變長度編碼部116係將所決定之預測移動向量候選之誤差資訊與顯示所決定之預測移動向量之預測移動向量索引進行可變長度編碼。

具體來說，首先間預測控制部112係將預測移動向量候選索引mvp_idx、及最小移動向量誤差初始化(S21)。其次，間預測控制部112係比較預測移動向量候選索引mvp_idx與預測移動向量候選數(第3圖所示之表格之記錄數)(S22)。

如果mvp_idx<預測移動向量候選數(在S22中，是(Yes))時，間預測控制部112係使用多數預測移動向量之候選中之一者，算出移動向量誤差(誤差資訊)(S23)。例如，間預測控制部112係由編碼對象區塊之編碼所使用之移動向量減去第3圖之預測移動向量索引=0之預測移動向量，而算出移動向量誤差。

其次，間預測控制部112係比較在步驟S23所算出之移動向量誤差與最小移動向量誤差(S24)。如果移動向量誤差<最小移動向量誤差(在S24時，是(Yes))，間預測控制部112係將步驟S23中所算出之移動向量誤差設定(取代)為最小移動向量誤差，且將現在的mvp_idx設定(取代)為預測移動向量索引(S25)。另一方面，如果移動向量誤差≧最小移動向 量誤差(在S24中，否(No))，則跳過步驟S25。

接著，間預測控制部112係將mvp_idx遞增1(S26)，反覆執行上述各處理(步驟S22~步驟S26)預測移動向量之候選數。接著，間預測控制部112係以成為mvp_idx=預測移動向量候選數(S22)之時序，將設定於最小移動向量誤差及預測移動向量索引之值輸出至可變長度編碼部118，結束第5圖之處理(S27)。

第6圖係第2圖之步驟S12之詳細的處理流程。以下針對第6圖予以說明。

首先，時間直接向量算出部114係判斷共置區塊是否具有參考移動向量(S31)。當判斷共置區塊具有參考移動向量時(在S31中，是(Yes))，時間直接向量算出部114判斷共置區塊是否為前方2次參考或後方2次參考(S32)。

當判斷共置區塊為前方2次參考或後方2次參考時(在S32中，是(Yes))，時間直接向量算出部114係使用共置區塊之移動向量(mvL0)，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0(S33)。又，時間直接向量算出部114係使用共置區塊之移動向量(mvL1)，且藉時間直接方式，而導出預測方向1之時間直接向量TMVL1(S34)。接著，時間直接向量算出部114係於預測方向0、1之預測移動向量之候選各追加時間直接向量TMVL0、TMVL1(S35)。

另一方面，當判斷共置區塊不是前方2次參考及後方2次參考之任一者時(在S32中，否(No))，時間直接向量算出部114係判斷共置區塊是否為後方參考區塊(S36)。

當判斷共置區塊為後方參考區塊時(在S36中，是(Yes))，時間直接向量算出部114係判斷共置區塊是否具有前方參考移動向量(mvL0)(S37)。當判斷共置區塊具有前方參考移動向量(mvL0)時(在S37中，是(Yes))，時間直接向量算出部114係使用前方參考移動向量(mvL0)，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S38)，分別追加到預測方向0、1之預測移動向量之候選(S35)。

另一方面，當判斷共置區塊不具前方參考移動向量(mvL0)時(在S37中，否(No))，時間直接向量算出部114係使用共置區塊之後方參考移動向量(mvL1)，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S39)，分別追加至預測方向0、1之預測移動向量之候選(S35)。

又，當判斷共置區塊不是後方參考區塊，即，是前方參考區塊時(在S36中，否(No))，時間直接向量算出部114係判斷共置區塊是否具有後方參考移動向量(mvL1)(S40)。

接著，當判斷共置區塊具有後方參考移動向量(mvL1)時(在S40中，是(Yes))，時間直接向量算出部114係使用後方參考移動向量(mvL1)，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S41)，追加至預測方向0、1之預測移動向量之候選(S35)。

另一方面，當判斷共置區塊不具後方參考移動向量 (mvL1)時(在S40中，否(No))，時間直接向量算出部114係使用共置區塊之前方參考移動向量(mvL0)，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S42)，追加至預測方向0、1之預測移動向量之候選(S35)。

進而，當判斷共置區塊不具參考移動向量(mvL0,mvL1)時(在S31中，否(No))，時間直接向量算出部114不進行藉時間直接方式而導出預測移動向量候選者(S43)。

其次，針對藉時間直接方式而導出移動向量之方法予以詳細說明。

第7A圖係顯示在共置區塊為前方2次參考時，即，具有2個前方參考移動向量(mvL0,mvL1)時之時間直接向量之算出方法之例之圖。第7A圖之形態，時間直接向量算出部114係使用各移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。具體來說，時間直接向量算出部114係藉以下之式4及式5導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

TMVL0=mvL0×(B8-B4)/(B4-B2)………(式4)

TMVL1=mvL1×(B8-B4)/(B4-B0)………(式5)

在此，(B4-B2)表示圖片B4與圖片B2之顯示時間之時間差資訊。(B4-B0)表示圖片B4與圖片B0之顯示時間之時間差資訊。(B8-B4)表示圖片B8與圖片B4之顯示時間之時間差資訊。

第7B圖係顯示在共置區塊為後方2次參考時，即，具有2個後方參考移動向量(mvL0,MVL1)時之時間直接向量之算出方法之例之圖。第7B圖之形態，時間直接向量算出部114係使用各移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。具體來說，時間直接向量算出部114係藉以下之式6及式7，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

TMVL0=mvL0×(B2-B0)/(B4-B2)………(式6)

TMVL1=mvL1×(B2-B0)/(B8-B2)………(式7)

在此，(B4-B2)表示圖片B4與圖片B2之顯示時間之時間差資訊。(B8-B2)表示圖片B8與圖片B2之顯示時間之時間差資訊。(B2-B0)表示圖片B2與圖片B0之顯示時間之時間差資訊。

第8A圖係顯示共置區塊為後方參考區塊且具有前方參考移動向量與後方參考移動向量兩者時之時間直接向量之算出方法之例之圖。第8A圖之形態係指時間直接向量算出部114係使用前方參考移動向量，且藉時間直接方式，導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。具體來說，時間直接向量算出部114係使用前方參考移動向量，藉以下之式8及式9，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

TMVL0=mvL0×(B2-B0)/(B4-B0)………(式8)

TMVL1=mvL0×(B2-B4)/(B4-B0)………(式9)

在此，(B2-B0)表示圖片B2與圖片B0之顯示時間中之時間差資訊。(B2-B4)表示圖片B2與圖片B4之顯示時間中之時間差資訊。(B4-B0)表示圖片B4與圖片B0之顯示時間中之時間差資訊。

第8B圖係顯示共置區塊為後方參考區塊，且只具有後方參考移動向量時之時間直接向量之算出方法之例之圖。第8B圖之形態，時間直接向量算出部114係使用後方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。具體來說，時間直接向量算出部114係使用後方參考移動向量，且藉以下之式10及式11，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

TMVL0=mvL1×(B2-B0)/(B4-B8)………(式10)

TMVL1=mvL1×(B2-B4)/(B4-B8)………(式11)

在此，(B2-B0)表示圖片B2與圖片B0之顯示時間之時間差資訊。(B2-B4)表示圖片B2與圖片B4之顯示時間之時間差資訊。(B4-B8)表示圖片B4與圖片B8之顯示時間之時間差資訊。

第9A圖係顯示共置區塊為前方參考區塊且具有前方參考移動向量及後方參考移動向量兩者時之時間直接向量之算出方法之例之圖。第9A之形態，時間直接向量算出部114係使用後方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向 量TMVL1。具體來說，時間直接向量算出部114係使用後方參考移動向量，且藉以下之式12及式13，而導出預測移動向量候選。

TMVL0=mvL1×(B6-B8)/(B4-B8)………(式12)

TMVL1=mvL1×(B6-B4)/(B4-B8)………(式13)

在此，(B6-B8)表示圖片B6與圖片B8之顯示時間之時間差資訊。(B6-B4)表示圖片B6與圖片B4之顯示時間之時間差資訊。(B4-B8)表示圖片B4與圖片B8之顯示時間之時間差資訊。

第9B圖係顯示於共置區塊為前方參考區塊且只具有前方參考移動向量時之時間直接向量之算出方法之例之圖。第9B之形態，時間直接向量算出部114係使用前方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。具體來說，時間直接向量算出部114係使用後方參考移動向量，藉以下之式14及式15，而導出預測移動向量候選。

TMVL0=mvL0×(B6-B8)/(B4-B0)………(式14)

TMVL1=mvL0×(B6-B4)/(B4-B0)………(式15)

在此，(B6-B8)表示圖片B6與圖片B8之顯示時間之時間差資訊。(B6-B4)表示圖片B6與圖片B4之顯示時間之時間差資訊。(B4-B0)表示圖片B4與圖片B0之顯示時間之時間差資訊。

如此，在本實施形態1中，在將移動向量進行編碼時，由多數預測移動向量之候選之中，使用誤差值最小之預測 移動向量，可提昇編碼效率。例如，將藉移動檢測所得到之移動向量與所選擇之預測移動向量之差值當作為誤差值。

又，在實施形態1中，因應共置區塊之位置、及共置區塊所具有之參考移動向量之數量，選擇時間直接方式時所使用之共置區塊之參考移動向量。藉此，可聚集在精度高之預測移動向量之候選，且可減輕編碼及解碼時之處理負擔。

具體來說，在共置區塊進行前方2次參考或後方2次參考時，編碼對象區塊之移動向量與共置區塊之移動向量是指相同的預測方向者近似之可能性很高。為此，藉由共置區塊之相同預測方向之移動向量算出各預測方向之時間直接向量，可提昇編碼效率。更具體來說，由共置區塊之預測方向0之移動向量mvL0，且藉時間直接方式，而算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，且藉時間直接方式，而算出預測方向1之時間直接向量TMVL1。

另一方面，當共置區塊具有前方參考移動向量與後方參考移動向量兩者時，因應共置區塊之位置，選擇預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1之算出時所使用之移動向量。

例如，在共置區塊為後方參考區塊時，使用前方參考移動向量。具體來說，這是因為前方參考移動向量係由含有共置區塊之圖片而朝含有編碼對象區塊之編碼對象圖片 方向之移動向量，預測誤差變得比後方參考移動向量小之可能性高所致者。另一方面，在共置區塊為前方參考區塊時，使用後方參考移動向量。具體來說，這是因為後方參考移動向量為由含有共置區塊之圖片而朝向含有編碼對象區塊之編碼對象圖片方向之移動向量，預測誤差變得比前方參考移動向量小之可能性高所致者。

此外，在本實施形態1中判斷共置區塊是否前方2次參考或後方2次參考，但亦可進而同時判斷共置區塊之位置。具體來說，在第6圖之步驟S32中，共置區塊為前方參考區塊時，判斷是否為前方2次參考，或者是在共置區塊為後方參考區塊時，判斷是否為後方2次參考。

在共置區塊為後方參考區塊時，後方參考移動向量係由含有共置區塊之圖片朝向位於與含有編碼對象區塊之圖片相反側之圖片之方向之移動向量，因此有預測精度降低之可能性。在如此情況下，時間直接向量算出部114係由預測方向0之移動向量mvL0，藉時間直接方式，算出預測方向0之時間直接向量TMVL0，由預測方向1之移動向量mvL1，藉時間直接方式，算出預測方向1之時間直接向量TMVL1。藉此，能一邊提高預測精度，且一邊抑制處理量。

又，在第6圖之步驟S43中，當共置區塊不具參考移動向量時，設定為不算出時間直接向量者。惟，藉使其他區塊作為共置區塊，就能算出時間直接向量。

例如，當共置區塊為後方參考區塊，不具參考移動向量時，可考慮將前方參考區塊作為共置區塊。此時，藉於 前方參考區塊之參考移動向量之中，使用後方參考移動向量，就可提昇預測精度。又，當前方參考區塊不具後方參考移動向量時，藉使用前方參考移動向量，即可導出時間直接向量。

另一方面，當共置區塊為前方參考區塊，不具參考移動向量時，可考慮將後方參考區塊作為共置區塊者。此時，藉於後方參考區塊之參考移動向量中，使用前方參考移動向量，即能提昇預測精度者。又，當後方參考區塊不具前方參考移動向量時，藉使用後方參考移動向量，即能導出時間直接向量者。

例如，當共置區塊係使用編碼對象圖片之參考圖片列表L0之索引0之圖片內之區塊時，當以參考圖片列表L0之索引0所界定之共置區塊不具參考移動向量時，可考慮使用以參考圖片列表L1之索引0所界定之共置區塊之參考移動向量者。

又，在本實施形態1中，對於將藉移動檢測所導出之移動向量進行編碼時所使用之預測移動向量之候選之其中一者是說明了時間直接向量之算出方法，但未必僅限於此。例如對於H.264所使用且B圖片或P圖片中之編碼對象區塊之間預測之編碼模式有下列模式，即，只對圖像資料之差值進行編碼，且移動向量係由周邊區塊等進行預測之直接模式、或者是不對圖像資料之差值亦不對移動向量進行編碼，而是由周邊區塊等進行預測之移動向量所示之位置之預測圖像在不變之狀態下作為解碼圖像之跳越(skip)模 式。即使是該直接模式或跳越模式，亦可適用將以同樣方法所算出之時間直接向量作為一個預測移動向量。

又，以B圖片或P圖片中之各編碼對象區塊之間預測模式而言，有如下模式存在，即，由編碼對象區塊之鄰接區塊或共置區塊複製移動向量或參考圖片索引，進行編碼對象區塊之編碼之合併模式。在合併模式中，藉將複製所使用之鄰接區塊之索引等依附在位元流，可選擇移動向量或參考圖片索引。在如此之合併模式中，亦適用將以同樣方法所算出之時間直接向量作為共置區塊之預測移動向量。

又，在本實施形態1中是構成為，利用共置參考方向旗標，選擇前方參考區塊或後方參考區塊之其中一者作為共置區塊，求出時間直接向量者，但未必僅限於此。例如將前方參考區塊作為共置區塊1，且將後方參考區塊作為共置區塊2。然後，因應共置區塊1與共置區塊2所固持之參考移動向量之方向或數量，算出時間直接向量，再追加至預測移動向量之候選，亦無妨。如此，使用前方參考區塊及後方參考區塊之共置區塊兩者，可提昇時間直接向量之精度，提高編碼效率。

又，在本實施形態1中，在共置區塊進行前方2次參考或後方2次參考時，由共置區塊之預測方向0之移動向量mvL0，且藉時間直接方式，算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，且藉時間直接方式，算出預測方向1之時間直接向量TMVL1。接著，構成為在各預測方向之預測移動向量之候選各追加TMVL0、 TMVL1者，但並不限於此。例如構成為將所算出之TMVL0及TMVL1任一者都加在各預測方向之預測移動向量之候選，亦無妨。藉此，可提高預測移動向量之候選之精度，可提昇編碼效率。

(實施形態2)

本實施形態2係使步驟S52與實施形態1之步驟S32不同。以下以與實施形態1不同之點為中心予以說明。

第10圖之步驟S52係判斷參考圖片索引對於編碼完畢圖片之參考列表L0及參考列表L1中之參考圖片的分配方式是否相同。一般來說，參考列表L1係對於在顯示時間順序上較編碼對象圖片位於後方之圖片分配參考圖片索引。另一方面，參考列表L0係對於在顯示時間順序上較編碼對象圖片位於前方之圖片分配參考圖片索引。因此，當參考圖片索引對於編碼完畢圖片之參考列表L1及參考列表L0中之參考圖片的分配方式相同時，在顯示順序上較編碼對象圖片位於前方或後方其中一者係於參考方向有所限制。

更具體來說，當判斷參考圖片索引對於編碼完畢圖片之參考列表L0及參考列表L1中之參考圖片的分配方式為相同時(在S52中，是(Yes))，時間直接向量算出部114係使用共置區塊之參考移動向量mvL0、mvL1，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S53、S54)。

編碼對象區塊之移動向量與共置區塊之移動向量係以同一預測方向者為近似之可能性高。為此，藉由共置區塊 之同一預測方向之移動向量算出各預測方向之時間直接向量，可將編碼效率提高。更具體來說，時間直接向量算出部114係由共置區塊之預測方向0之移動向量mvL0，且藉時間直接方式，算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，且藉時間直接方式，算出預測方向1之時間直接向量TMVL1。

另一方面，共置區塊只具參考移動向量mvL0、mvL1其中一者時(在S52中，否(No))，時間直接向量算出部114只使用參考移動向量mvL0、mvL1之其中一者，藉時間直接方式，導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1(S56~S62)。步驟S56以後之處理係與實施形態1之步驟S36~S42相同，故省略說明。

如此，本發明實施形態2係藉根據參考列表進行判斷，而減輕編碼及解碼時之處理量。參考列表係於每一圖片所有，只要以圖片單位予以判斷即可。即，不須以區塊單位進行判斷，因此能減輕處理量。

此外，在本實施形態2中，當參考圖片索引對於參考列表L0及參考列表L1之參考圖片之分配方式相同時，構成為由共置區塊之預測方向0之移動向量mvL0，藉時間直接方式，算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，藉時間直接方式，算出預測方向1之時間直接向量TMVL1者，但並不限於此。

例如亦無妨可構成為，在共置區塊所含之參考圖片中，當參考圖片索引對於該參考列表L0及參考列表L1中之 參考圖片之分配方式相同時，由共置區塊之預測方向0之移動向量mvL0，藉時間直接方式，算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，藉時間直接方式，算出預測方向1之時間直接向量TMVL1者。

進而以另一例而言，亦無妨構成為，當編碼完畢圖片之參考列表L0、L1所固持之全部參考圖片係於顯示順序上較編碼對象圖片位於前方時，或於顯示順序上較編碼對象圖片位於後方時，由共置區塊之預測方向0之移動向量mvL0，藉時間直接方式，算出預測方向0之時間直接向量TMVL0，並由預測方向1之移動向量mvL1，藉時間直接方式，算出預測方向1之時間直接向量TMVL1者。

(實施形態3)

其次，參考第11圖及第12圖，說明實施形態3之動態圖像編碼方法及動態圖像解碼裝置。此外，省略與實施形態1共通之共通點之詳細說明，以不同點為中心予以說明。

第11圖係顯示本發明實施形態2之動態圖像解碼裝置之方塊圖。

在本實施形態3中，將在顯示時間順序上較解碼對象圖片位於前方之圖片所含之區塊叫做前方參考區塊。又，將在顯示時間順序上較解碼對象圖片位於後方之圖片所含之區塊叫做後方參考區塊。

動態圖像解碼裝置200，如第11圖所示，包含有可變長度解碼部201、反量化部202、反正交變換部203、加法部204、區塊記憶體205、框記憶體206、內預測部207、間預 測部208、開關209、間預測控制部210及時間直接向量算出部211。該動態圖像解碼裝置200例如將由實施形態1之動態圖像編碼裝置100所輸出之位元流進行解碼。

可變長度解碼部201係將所輸入之位元流進行可變長度解碼，並將量化係數輸出至反量化部202，將圖片型式資訊輸出至開關209及間預測控制部210，將預測移動向量索引輸出至間預測控制部210，且將共置參考方向旗標輸出至時間直接向量算出部211。

反量化部202係將由可變長度解碼部201所取得之量化係數進行反量化，而將變換係數復原，且輸出至反正交變換部203。反正交變換部203係將由反量化部202所取得之已復原之變換係數由頻率區域變換成圖像領域，將剩餘區塊復原，且輸出至加法器204。

加法部204係將由反正交變換部203所取得之已復原之剩餘區塊與由開關209所取得之預測區塊相加，而將解碼區塊復原。接著，加法部204係將含有該已復原之解碼區塊之解碼圖像列輸出至裝置外部，並儲存在區塊記憶體205及框記憶體206。區塊記憶體205係將由加法部204所取得之解碼圖像列以區塊單位予以保存。框記憶體206係將由加法部204所取得之解碼圖像列以框單位予以保存。

內預測部207係藉使用區塊記憶體205所保存之區塊單位之解碼圖像列而進行內預測，產生解碼對象區塊之預測區塊，且輸出至開關209。間預測部208係藉使用框記憶體206所保存之框單位之解碼圖像列而進行間預測，產生解碼 對象區塊之預測區塊，且輸出至開關209。開關209係將在內預測部207所產生之預測區塊或在間預測部208所產生之預測區塊輸出至加法部204。

時間直接向量算出部211係使用由可變長度解碼部201所取得之共置參考方向旗標，藉時間直接方式，而導出預測移動向量之候選。具體來說，當以共置參考方向旗標所界定之共置區塊具有2個前方參考移動向量或2個後方參考移動向量時，時間直接向量算出部211係使用共置區塊之2個移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。又，時間直接向量算出部211係將預測移動向量索引之值分配至各預測方向之時間直接向量。

另一方面，以共置參考方向旗標所界定之共置區塊不具2個前方參考移動向量或2個後方參考移動向量時，時間直接向量算出部211係藉共置區塊為前方參考區塊或者是後方參考區塊，決定時間直接方式所使用之共置區塊之移動向量。

具體來說，當共置區塊為後方參考區塊時，時間直接向量算出部211係使用共置區塊之前方參考移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。惟，當共置區塊不具前方參考移動向量時，時間直接向量算出部211係使用共置區塊之後方參考移動向量，經由時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量 TMVL1。

另一方面，當共置區塊為前方參考區塊時，時間直接向量算出部211係使用共置區塊之後方參考移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。惟，當共置區塊不具後方參考移動向量時，時間直接向量算出部211係使用共置區塊之前方參考移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

間預測控制部208係由多數預測移動向量之候選中，界定與由可變長度解碼部201所取得之預測移動向量索引對應之預測移動向量。接著，間預測控制部210係藉於所界定之預測移動向量加上移動向量與預測移動向量間之誤差資訊，算出進行間預測時所使用之移動向量。

第12圖係本發明實施形態3之動態圖像解碼方法之處理流程之概要。

首先，可變長度解碼部201係以圖片單位而將共置參考方向旗標進行可變長度解碼(S71)。接著，可變長度解碼部201係將所解碼之共置參考方向旗標輸出至時間直接向量算出部211。

其次，時間直接向量算出部211係根據所解碼之共置參考方向旗標，決定將前方參考區塊作為共置區塊，或將後方參考區塊作為共置區塊。又，時間直接向量算出部211係使用共置區塊之參考移動向量，藉時間直接方式，而導出 時間直接向量。接著，時間直接向量導出部211係將所導出之時間直接向量作為預測移動向量之候選，而輸出至間預測控制部210(S72)。

具體來說，當共置區塊具有2個前方參考移動向量或2個後方參考移動向量時，時間直接向量算出部211係使用共置區塊之2個移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。又，時間直接向量算出部211係於各預測方向之時間直接向量分配預測移動向量索引之值。預測移動向量索引之分配方式是依照實施形態1。

另一方面，當共置區塊不具2個前方參考移動向量或2個後方參考移動向量時，時間直接向量算出部211係藉共置區塊為前方參考區塊或為後方參考區塊，決定時間直接方式所使用之共置區塊之移動向量。

具體來說，當共置區塊為後方參考區塊時，時間直接向量算出部211係使用共置區塊之前方參考移動向量，藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。惟，當共置區塊不具前方參考移動向量時，時間直接向量算出部211係使用後方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

另一方面，當共置區塊為前方參考區塊時，時間直接向量算出部211係使用共置區塊之後方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0 及預測方向1之時間直接向量TMVL1。惟，當共置區塊不具後方參考移動向量時，時間直接向量算出部211係使用前方參考移動向量，且藉時間直接方式，而導出預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1。

其次，間預測控制部210係由多數預測移動向量之候選中，根據由可變長度解碼部201所取得之預測移動向量索引，決定進行間預測時所使用之移動向量。又，間預測控制部210係於所決定之預測移動向量加上誤差資訊，導出移動向量，並輸出至間預測部208(S73)。間預測部208係使用由間預測控制部210所取得之移動向量，藉間預測進行解碼。

如此，依本發明實施形態3，可選擇最適於解碼對象區塊之移動向量，因此能適當地將以高效率壓縮之位元流予以解碼者。

又，因應共置區塊之位置及共置區塊所具有之參考移動向量之數量，選擇在時間直接方式時所使用之共置區塊之參考移動向量，可鎖定在精度高之預測移動向量候選，且能減輕處理負荷者。

具體來說，當共置區塊進行前方2次參考或後方2次參考時，解碼對象區塊之移動向量與共置區塊之移動向量在同一預測方向較為近似之可能性高。為此，藉由共置區塊之同一預測方向之移動向量算出各預測方向之時間直接向量，可提高編碼效率。更具體來說，時間直接向量算出部211係由共置區塊之預測方向0之移動向量mvL0，藉時間直 接方式，而算出預測方向0之時間直接向量TMVL0，由預測方向1之移動向量mvL1，藉時間直接方式，而算出預測方向1之時間直接向量TMVL1。

另一方面，當共置區塊具有前方參考移動向量與後方參考移動向量時，因應共置區塊之位置，選擇預測方向0之時間直接向量TMVL0及預測方向1之時間直接向量TMVL1之算出所使用之移動向量。

例如，當共置區塊為後方參考區塊時，使用前方參考移動向量。這是因為前方參考移動向量係由含有共置區塊之圖片而朝向含有解碼對象區塊之圖片方向之移動向量，預測誤差遠比後方參考移動向量小之可能性高之緣故。另一方面，當共置區塊為前方參考區塊時，使用後方參考移動向量。這是因為後方參考移動向量係由含有共置區塊之圖片而朝向含有編碼對象區塊之解碼圖片方向之移動向量，預測誤差遠比前方參考移動向量小之可能性高之緣故。

又，共置區塊是否進行前方2次參考或後方2次參考之判斷亦可換成判斷相對於參考列表L0與參考列表L1中之參考圖片之參考圖片索引之分配方式是否相同者。一般來說，參考列表L1係對於在顯示時間順序上較解碼對象圖片位於後方之圖片分配參考圖片索引。另一方面，參考列表L0係對於在顯示時間順序上較解碼對象圖片位於前方之圖片分配參考圖片索引。

因此，當相對於參考列表L1與參考列表L0中之參考圖片之參考圖片索引之分配方式相同時，參考方向受限於在 顯示順序上較解碼對象圖片位於前方或後方中之其中一者。如此，藉根據參考列表而進行判斷，能減輕處理量。這是因為參考列表係由於每圖片都有具備，因此只要以圖片單位予以判斷即可，而無須以區塊單位進行判斷之緣故。

進而，以另一例而言，構成為當解碼完畢圖片之參考列表L0、L1所保持之全部參考圖片在顯示順序上較解碼對象圖片位於前方時，或在顯示順序上較顯示順序上較解碼對象圖片位於後方時，由共置區塊之預測方向0之移動向量mvL0，藉時間直接方式，而算出預測方向0之時間直接向量TMVL0，且由預測方向1之移動向量mvL1，藉時間直接方式，而算出預測方向1之時間直接向量TMVL1者，亦無妨。

又，當共置區塊不具參考移動向量時，不算出時間直接向量，但將其他區塊作為共置區塊，仍能算出時間直接向量者。

例如，當共置區塊為後方參考區塊且不具參考移動向量時，可考慮將前方參考區塊作為共置區塊。此時，藉於前方參考區塊之參考移動向量中使用後方參考移動向量，可將預測精度提昇者。惟，當前方參考區塊不具後方參考移動向量時，使用前方參考移動向量，就可導出時間直接向量。

另一方面，當共置區塊為前方參考區塊且不具參考移動向量時，可考慮將後方參考區塊作為共置區塊者。此時，藉於後方參考區塊之參考移動向量中使用前方參考移動向量，可將預測精度提昇者。惟，當後方參考區塊不具前方 參考移動向量時，藉使用後方參考移動向量，能導出時間直接向量。

例如，在共置區塊使用解碼對象圖片之參考圖片列表L0之索引0之圖片內之區塊時，當以參考圖片列表L0之索引0所界定之共置區塊不具參考移動向量時，就考慮使用以參考圖片列表L1之索引0所界定之共置區塊之參考移動向量者。

又，在本實施形態3中，是說明時間直接向量之算出方法，將時間直接向量作為在將藉移動檢測所導出之移動向量進行解碼時所使用之預測移動向量之候選之一，但並不限於此。例如以H.264所使用且B圖片或P圖片中之解碼對象區塊之間預測之編碼模式存在有下列模式，即，只對圖像資料之差值進行編碼，移動向量是由周邊區塊等進行預測之直接模式，或亦不將圖像資料之差值解碼，亦不將移動向量解碼，而是將由周邊區塊等所預測之移動向量所示之位置之預測圖像照樣作為解碼圖像之跳越模式。在該直接模式或跳越模式都能適用以同樣方法算出之時間直接向量作為預測移動向量之候選之一者。

又，對於B圖片或P圖片中之各解碼對象區塊之間預測模式存在有一種合併模式，由解碼對象區塊之鄰接區塊或共置區塊複製移動向量或參考圖片索引，進行解碼對象區塊之解碼者。在合併模式中，藉將用在複製之鄰接區塊之索引等附帶於位元流，就可選擇移動向量或參考圖片索引。在如此合併模式中，亦可適用以同樣方法所算出之時 間直接向量作為共置區塊之預測移動向量。

(實施形態4)

藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，能在獨立進行上述各實施形態所示之處理之電腦系統中簡單實施者。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。

進而在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該應用例之系統。該系統係具有使用圖像編碼方法之圖像編碼裝置及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵所在。針對系統中之其他構成可因應情況而適當地變更。

第15圖係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。

惟，內容供給系統ex100不限定於如第15圖之構成，亦 可組合連接任一種要素構成者。又，亦可使各機器直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接者。又，各機器亦可經由近距離無線等直接相互連接者。

相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動態圖攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。

在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而所傳送之內容資料進行串流發送。對於客戶來說，諸如有可將業經上述編碼處理之資料解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料進行解碼處理後予 以再生(即，作為本發明之圖像解碼裝置而發揮功能者)。

此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。

又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可傳送以該相機所取得之動態圖像資料者。此時之動態圖像資料係以行動電話機ex114所具有之LSIex500進行有編碼處理之資料。

又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並 再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。

又，不限於內容供給系統ex100之例，如第16圖所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之圖像編碼裝置進行編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之圖像解碼裝置而展現功能)。

又，讀取記錄在DVD、BD等之記錄媒體ex215之多工資料並予以解碼、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可不是在機上 盒，而是在電視機內安裝動態圖像解碼裝置。

第17圖係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料進行多工處理者。

又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置而發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示已解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲 存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料進行解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存 在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在作為避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但亦可為不能進行其等處理而只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在第18圖。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係 將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係以照射雷射光點之構成來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

第19圖係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生， 讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233之內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車ex210由衛星ex202等接收資料，在車ex210所具有之導航系統ex211等之顯示裝置將動態圖像再生。此外，導航系統ex211之構成可考慮如第22圖所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。

第20圖(a)係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影影像、靜態影像之相機部ex365、及顯示使以相機部ex365所攝影之影像、天線ex350所接收之影 像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及將所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料保存之記憶體部ex367、以及在與同樣作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話機ex114之構成例，使用第20圖(b)予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而處於結束通話及電源鍵處於開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。

行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送之。又，行動電話機ex114 係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將所編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結 果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

為了在資料通訊模式時在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將所編碼之影像資料供給至影像訊號處理部ex355，並將所編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法進行解碼，將影像訊號進行解碼(即，作為本發明之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，另包括只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非 多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態5)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異之規格之動態圖像編碼方法或裝置，產生影像資料者。

在此，在產生有依據各為不同之規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

第21圖係顯示多工資料之構成圖。如第21圖所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流(IG)之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像、聲訊流表示電影之主聲音部分及與該主 聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。

第22圖係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

第23圖係進一步詳細顯示在PES封包列中如何儲存視訊流。第23圖中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如第23圖之箭頭符號yy1、yy2、yy3、 yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

第24圖係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如第32圖下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像、聲音、字幕等之各串流之PID及與各PID對應之串流之屬性資 訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。

第25圖詳細說明PMT之資料構造之圖。PMT之前頭係配置有記有該PMT所含之資料之長度等之PMT標頭。在其之後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符存在有於多工資料所存在之串流數這樣多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔一起記錄。

多工資料資訊檔(剪輯資訊檔)，如第26圖所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如第26圖所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生 結束時刻係於於多工資料之末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如第27圖所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流型式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在第28圖。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次， 在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。

如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態6)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在第29圖顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而進行適當地分成多次等之處理，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係上述各實施形態所說明之編碼處理。訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/O ex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入記錄媒體ex215。在多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。

此外，在上述中說明記憶體ex511為LSIex500之外部構或，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於1個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。

又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊號處理部 ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPU ex502之構成者。

另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。

又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。

進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。

(實施形態7)

在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料進行解碼之情況相比，更造成處理量增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。

為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。第30圖係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料進行解碼者。

更具體來說，驅動頻率切換部ex803係由第29圖之CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於第29圖之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態5所記載之識別資訊者。有關於識別資訊，不限於實施形態5所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等 之外部訊號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，能考慮到例如根據如第32圖所示之影像資料之規格與驅動頻率對應之查找表者。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參照該查找表，即可選擇驅動頻率者。

第31圖係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。

進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有LSIex500 之裝置之電壓降低設定者。

又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，但不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。

進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在處理上有餘裕，因此亦可將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。即使在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，處理上有餘裕時，亦可 考慮將CPUex502之驅動暫時停止者。此時，與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。

(實施形態8)

在電視機或行動電話機等上述機器暨系統上有依據不同規格之多數影像資料輸入之情況。如此，為於有依據不同規格之多數影像資料輸入之情況亦能進行解碼時，乃有必要使LSIex500之訊號處理部ex507能對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就衍生有LSIex500之電路規模變大，又，成本增加之課題。

為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在第33圖(a)之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、動量補償等之處理中，處理內容有局部共通者。針對共通之處理內容考慮共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明特有之其他處理內容則使用專用之解碼處理部ex901之構 成。尤其能考慮到本發明係於反量化上具有特徵，例如針對反量化，使用專用之解碼處理部ex901，而對於除此以外之熵編碼、解塊濾波器、動量補償任一者或全部的處理，共有解碼處理部者。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。

又，將處理局部共有之另一例顯示在第33圖(b)之ex1000。在該例中，使用與本發明特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、及與本發明動態圖像解碼方法和另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為對本發明或其他習知規格特有之處理內容所特地準備者，亦可為執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，針對本發明之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，便能將LSI之電路規模縮小、降低成本者。

產業之可利用性

本發明係有利地利用在動態圖像編碼裝置及動態圖像解碼裝置。

100‧‧‧動態圖像編碼裝置

101‧‧‧減法部

102‧‧‧正交變換部

103‧‧‧量化部

104,202‧‧‧反量化部

105,203‧‧‧反正交變換部

106,204‧‧‧加法部

107,205‧‧‧區塊記憶體

108,206‧‧‧框記憶體

109,207‧‧‧內預測部

110,208‧‧‧間預測部

111,209‧‧‧開關

112,210‧‧‧間預測控制部

113‧‧‧圖片型式決定部

114,211‧‧‧時間直接向量算出部

115‧‧‧共置參考方向決定部

116‧‧‧可變長度編碼部

200‧‧‧動態圖像解碼裝置

201‧‧‧可變長度解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113,ex116‧‧‧相機

ex114‧‧‧行動電話機

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex200‧‧‧數位式廣播用系統

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車

ex211‧‧‧導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex236,ex239‧‧‧PES封包列

ex237,ex240‧‧‧TS封包

ex238‧‧‧聲訊流

ex241‧‧‧表達圖形流

ex242,ex245‧‧‧PES封包列

ex243,ex246‧‧‧TS封包

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318~ex321‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機介面部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex370‧‧‧匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧驅動頻率切換之構成

ex801‧‧‧解碼處理部

ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900‧‧‧共有構成

ex901‧‧‧解碼處理部

ex902‧‧‧解碼處理部

ex1000‧‧‧共有構成

ex1001‧‧‧解碼處理部

ex1002‧‧‧解碼處理部

ex1003‧‧‧解碼處理部

第1A圖係實施形態1之動態圖像編碼裝置之方塊圖。

第1B圖係顯示共置(co-located)區塊之位置之圖。

第2圖係實施形態1之動態圖像編碼方法之處理流程之概要。

第3A圖係顯示預測移動向量之候選例之圖。

第3B圖係顯示預測移動向量之候選之優先順位之一例之圖。

第3C圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第3D圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第3E圖係顯示預測移動向量之候選之優先順位之另一例之圖。

第4圖係顯示在將預測移動向量索引進行可變長度編碼之形態之碼表之例之圖。

第5圖係顯示預測移動向量之候選之決定流程之圖。

第6圖係顯示第2圖之步驟S12之詳細處理流程圖。

第7A圖係顯示共置區塊為前方2次參考時之時間直接向量之算出方法之一例之圖。

第7B圖係顯示共置區塊為後方2次參考時之時間直接向量之算出方法之一例之圖。

第8A圖係顯示共置區塊為後方參考區塊，且於具有前方參考移動向量與後方參考移動向量兩者時之時間直接向 量之算出方法之一例之圖。

第8B圖係顯示共置區塊為後方參考區塊，且於只具有後方參考移動向量時之時間直接向量之算出方法之一例之圖。

第9A圖係顯示共置區塊為前方參考區塊，且於具有前方參考移動向量與後方參考移動向量兩者時之時間直接向量之算出方法之一例之圖。

第9B圖係顯示共置區塊為前方參考區塊，且只具有前方參考移動向量時之時間直接向量之算出方法之一例之圖。

第10圖係顯示第2圖之步驟S12之詳細處理流程之另一例之圖。

第11圖係實施形態3之動態圖像解碼裝置之方塊圖。

第12圖係實施形態3之動態圖像解碼方法之處理流程之概要。

第13圖係顯示B圖片中之參考圖片列表之一例之圖。

第14圖係用以說明時間直接方式中之間預測編碼方法之圖。

第15圖係實現內容配信服務之內容供給系統之整體構成圖。

第16圖係數位式播放用系統之整體構成圖。

第17圖係顯示電視機之構成例之方塊圖。

第18圖係顯示對作為光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

第19圖係顯示作為光碟之記錄媒體之構造例之圖。

第20圖(a)顯示行動電話機之一例之圖；(b)顯示行動電話機之構成例之方塊圖。

第21圖係顯示多工資料之構成之圖。

第22圖係模式地顯示各串流於多工資料中如何被進行多工處理之圖。

第23圖係更詳細地顯示於PES封包列如何儲存視訊流之圖。

第24圖係顯示多工資料中之TS封包與原始封包之構造圖。

第25圖係顯示PMT之資料構成圖。

第26圖係顯示多工資料資訊之內部構成圖。

第27圖係顯示串流屬性資訊之內部構成圖。

第28圖係顯示識別影像資料之步驟之圖。

第29圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

第30圖係切換驅動頻率之構成圖。

第31圖係顯示識別影像資料、切換驅動頻率之步驟之圖。

第32圖係顯示將影像資料之規格與驅動頻率對應之查找表之一例之圖。

第33圖(a)係顯示將訊號處理部之模組共有之一構成例；(b)顯示將訊號處理部之模組共有之另一構成例之圖。

S11~S13‧‧‧步驟

Claims (5)

1. 一種動態圖像編碼方法，係藉由進行使用具有2個參考移動向量，且被含在編碼完畢的圖片中的對應區塊的時間預測，來對構成編碼對象圖片之編碼對象區塊進行編碼，該2個參考移動向量係參考在表示順序上比前述編碼對象圖片更前面的1個以上的圖片而算出的2個移動向量，其中該動態圖像編碼方法包含有：圖像編碼步驟，係分別參考第1及第2參考圖片列表，並使用第1及第2移動向量，而將前述編碼對象區塊進行編碼；預測移動向量候選產生步驟，係產生第1及第2預測移動向量；及移動向量編碼步驟，係使用前述第1及第2預測移動向量，來分別將前述第1及第2移動向量進行編碼；(i)當分別被含在前述第1及第2參考圖片列表之全部的參考圖片是比起前述編碼對象圖片在表示順序上位於較前方的位置時，前述第1預測移動向量係使用前述2個參考移動向量中之第1參考移動向量而被產生，前述第1預測移動向量與前述第1參考移動向量分別對應於前述第1參考圖片列表，前述第2預測移動向量係使用前述2個參考移動向量中之第2參考移動向量而被產生，前述第2預測移動向量 與前述第2參考移動向量分別對應於前述第2參考圖片列表，且前述第2參考移動向量不同於前述第1參考移動向量；(ii)當被含在前述第1及第2參考圖片列表中的參考圖片是比起前述編碼對象圖片在表示順序上不位於較前方的位置，且前述第1及第2參考移動向量參考彼此相異的方向時，前述第1及第2預測移動向量兩者均僅使用前述第1及第2參考移動向量中的1個而被產生。
2. 一種動態圖像解碼方法，係藉由進行使用具有2個參考移動向量，且被含在解碼完畢的圖片中的對應區塊的時間預測，來對構成解碼對象圖片之解碼對象區塊進行解碼，該2個參考移動向量係參考在表示順序上比前述解碼對象圖片更前面的1個以上的圖片而算出的2個移動向量，該動態圖像解碼方法包含有：預測移動向量候選產生步驟，係產生第1及第2預測移動向量；移動向量解碼步驟，係使用前述第1及第2預測移動向量，來分別將已被編碼的第1及第2移動向量進行解碼；及圖像解碼步驟，係分別參考第1及第2參考圖片列表，並使用在前述移動向量解碼步驟所解碼之前述第1及第2移動向量，而將前述解碼對象區塊進行解碼； (i)當分別被含在前述第1及第2參考圖片列表之全部的參考圖片是比起前述解碼對象圖片在表示順序上位於較前方的位置時，前述第1預測移動向量係使用前述2個參考移動向量中之第1參考移動向量而被產生，前述第1預測移動向量與前述第1參考移動向量分別對應於前述第1參考圖片列表，前述第2預測移動向量係使用前述2個參考移動向量中之第2參考移動向量而被產生，前述第2預測移動向量與前述第2參考移動向量分別對應於前述第2參考圖片列表，且前述第2參考移動向量不同於前述第1參考移動向量；(ii)當被含在前述第1及第2參考圖片列表中的參考圖片是比起前述解碼對象圖片在表示順序上不位於較前方的位置，且前述第1及第2參考移動向量參考彼此相異的方向時，前述第1及第2預測移動向量兩者均僅使用前述第1及第2參考移動向量中的1個而被產生。
3. 一種動態圖像編碼裝置，係藉由進行使用具有2個參考移動向量，且被含在編碼完畢的圖片中的對應區塊的時間預測，來對構成編碼對象圖片之編碼對象區塊進行編碼，該2個參考移動向量係參考在表示順序上比前述編碼對象圖片更前面的1個以上的圖片而算出的2個移動向 量，其中該動態圖像編碼裝置具備有：圖像編碼部，係分別參考第1及第2參考圖片列表，並使用第1及第2移動向量，而將前述編碼對象區塊進行編碼；預測移動向量候選產生部，係產生第1及第2預測移動向量；及移動向量編碼部，係使用前述第1及第2預測移動向量，來分別將前述第1及第2移動向量進行編碼；(i)當分別被含在前述第1及第2參考圖片列表之全部的參考圖片是比起前述編碼對象圖片在表示順序上位於較前方的位置時，前述第1預測移動向量係使用前述2個參考移動向量中之第1參考移動向量而被產生，前述第1預測移動向量與前述第1參考移動向量分別對應於前述第1參考圖片列表，前述第2預測移動向量係使用前述2個參考移動向量中之第2參考移動向量而被產生，前述第2預測移動向量與前述第2參考移動向量分別對應於前述第2參考圖片列表，且前述第2參考移動向量不同於前述第1參考移動向量；(ii)當被含在前述第1及第2參考圖片列表中的參考圖片是比起前述編碼對象圖片在表示順序上不位於較前方的位置，且前述第1及第2參考移動向量參考彼此相異的 方向時，前述第1及第2預測移動向量兩者均僅使用前述第1及第2參考移動向量中的1個而被產生。
4. 一種動態圖像解碼裝置，係藉由進行使用具有2個參考移動向量，且被含在解碼完畢的圖片中的對應區塊的時間預測，來對構成解碼對象圖片之解碼對象區塊進行解碼，該2個參考移動向量係參考在表示順序上比前述解碼對象圖片更前面的1個以上的圖片而算出的2個移動向量，該動態圖像解碼裝置具備有：預測移動向量候選產生部，係產生第1及第2預測移動向量；移動向量解碼部，係使用前述第1及第2預測移動向量，來分別將已被編碼的第1及第2移動向量進行解碼；及圖像解碼部，係分別參考第1及第2參考圖片列表，並使用在前述移動向量解碼部所解碼之前述第1及第2移動向量，而將前述解碼對象區塊進行解碼；(i)當分別被含在前述第1及第2參考圖片列表之全部的參考圖片是比起前述解碼對象圖片在表示順序上位於較前方的位置時，前述第1預測移動向量係使用前述2個參考移動向量中之第1參考移動向量而被產生，前述第1預測移動向量與前述第1參考移動向量分別對應於前述第1參考圖片列 表，前述第2預測移動向量係使用前述2個參考移動向量中之第2參考移動向量而被產生，前述第2預測移動向量與前述第2參考移動向量分別對應於前述第2參考圖片列表，且前述第2參考移動向量不同於前述第1參考移動向量；(ii)當被含在前述第1及第2參考圖片列表中的參考圖片是比起前述解碼對象圖片在表示順序上不位於較前方的位置，且前述第1及第2參考移動向量參考彼此相異的方向時，前述第1及第2預測移動向量兩者均僅使用前述第1及第2參考移動向量中的1個而被產生。
5. 一種動態圖像編碼解碼裝置，包含有：如申請專利範圍第3項之動態圖像編碼裝置及如申請專利範圍第4項之動態圖像解碼裝置。