WO2004008775A1

WO2004008775A1 - 動画像符号化方法及び復号化方法

Info

Publication number: WO2004008775A1
Application number: PCT/JP2003/008843
Authority: WO
Inventors: Yoshinori Suzuki
Original assignee: Hitachi, Ltd.
Priority date: 2002-07-15
Filing date: 2003-07-11
Publication date: 2004-01-22
Also published as: JP2014003661A; JP5470495B2; US20110293017A1; US20050152452A1; US8571107B2; JP2014003662A; CN100553339C; JP2011097651A; CN101039428B; US20190028715A1; JP2014225921A; US20180048898A1; JP5017464B2; US8837594B2; CN100566420C; US20110293016A1; JP2012090331A; CN101039424A; CN101039428A; CN101039425A

Abstract

従来は、ブロックによって、Directモードを効果的に適応できないものがあった。そこで、デフォルトで設定される後方向の参照フレームがDirectモードに利用可能であるか否かを示す情報をデコーダに提供し、又、collocated　blockが効果的に利用可能な前方向動きベクトルを持たない場合に適用できる代価方式への切り換え手順と代価方式を提供する。これにより、directモードに使用できるか否かか明確に判断できるようになる。さらに、フレーム番号が時刻情報を持たない場合において、参照フレームと現フレーム間の関係を示す情報を効率良く送ることが可能となる。また、本発明の代用モードとその切り換え手順により、directモードが適用できない場合の予測性能を向上させることが可能となる。

Description

明細書. 動画像符号化方法及び復号化方法技術分野

本発明-は、圧縮動画像データの符号ィヒ ·復号化技術に係り、特にプロック単位での符号 ·復号化の技術に関する。背景技術

ブロック単位で符号化 ·復号化処理を行う動画像の符号化 .復号化方法の概要について説明する。動画像の 1フレームは、図 3に示すように、 1個の輝度信号 (Y信号： 61)と 2個の色差信号 (Cr信号： 62, Cb信号： 63)にて構成されており、色差信号の画像サイズは縦横とも輝度信号の 1/2となる。一般のビデオ規格では、動画像の各フレームを図 3に示すような小ブロックに分割し、マクロブロックと呼ばれるプロック単位で S生処理を行う。図 5にマクロブロックの構造を示す。マクロブロックは 16x16画素の 1個の Y信号ブロック 30と、それと空間的に一致する 8x8画素の Cr信号ブロック 31ならびに Cb信号ブロック 31にて構成されている。

ビデオの符夸化は、上記に示したマクロブロック単位で処理される。符号ィ匕方法には、大きく分けて 2種類あり、それぞれ、イントラ符号化（イントラモード）、予測符号ィ匕 (インターモード）と呼ばれている。イントラ符号化は、符号化対象の入力マクロプロック画像に対して、あるいは入力マクロプロック画像に空間予測を施して生成した予測マクロプロック画像と入力マクロプロック画像との間で差分を取った誤差マクロブロック画像に対して DCTを施し、各変換係数を量子化 ·符号化する空間方向のデータ圧縮方法である。このイントラ符号化は、前フレームに似通った部分がないマクプロック（第 1符号化フレームも含む)や、 DCTに伴う蓄積演算誤差を解消したい部分等に配置される。予測符号化のアルゴリズムは、 MC- DCT (動き補償-離散コサイン変換）と呼ばれている。動き補償とは、参照フレームから対象マクロブロックの内容と似通つた部分を検索し、その動き量 (動きべクトル）を符号化する時間方向の圧縮技術である。通常は、マクロブロックを更に小ブロックに分割し、小ブロック毎に動きべクトルを算出する。例えば、 MPEG- 4 Part 10 (Advanced Video Coding) では、動き補償を行う際のマクロブロック分割タイプ (輝度成分）を図 7のように考える。基本はタイプ 51〜タイプ 54の 4種類である。タイプ 54の場合には、 4個の 8 X 8ブロック 54- 0〜54 3それぞれについて、更にタイプ 54a, 54b, 54c, 54dとイントラ符号ィ匕の 5種類から選択する構造となっている。各小ブロックにおける動きべクトルの検出方法としては、ブロック内の予測誤差信号の絶対値和あるいは 2乗誤差和が小さレ、部分を選択する。演算速度を重要とする場合には絶対値和、符号化効率を追求する場合には 2乗誤差和を使用する。さらに、符号化効率を追求する場合には符号量を 2乗誤差和の評価値に換算し、予測誤差と符号量の両者を用いて最適な符号化モードと動き量を計算する方法が適用されることもある。図 4に 1ブロックにおける動き補償の処理構造を示す。図 4は、太枠で囲んだ現フレーム 71の輝度信号ブロック 72について、前フレーム 73 (参照フレーム）上の予測ブロック 75と動きべクトル 76を示した図である。動きべクトノレ 76とは、現フレームの太枠ブロックに対して空間的に同位置に相当する前フレーム上のブロック 74 (破線）から、前フレーム上の予測ブロック 75領域までの移動分を示している（色差信号用の動きべクトル長は、輝度信号の半分とし、符号ィ匕はしない）。この動き補償の後、複数の予測ブロックから構成される予測マクロブロック画像と入力マクロブロック画像との間で差分を取つた誤差マクロプロック画像に対して DCTを施し、各変換係数を量子化'符号化する。さらに検出したマクロブロック内の動きべクトルも符号ィ匕される。隣接するブロック間の動きベクトルは近い値を持っため、通常、隣接ブロックの動きべクトルとの差分値を符号化する。

予測符号化の動きネt償方法としては、時間的に過去のフレームを参照フレームとして MCを行う前方向予測符号化のほかに、時間的に過去と未来のフレームを参照フレームとして MCを行う双方向予測符号ィヒがある。上記に示した前方向予測符号化の動き補償では、前方予測のみを极うが、双方向符号化の動き補償では、前方予測（Forward Prediction)の他に、後方予測（Backward Prediction)、前方予測プロックと後方予測プロック内の各画素に内挿処理を施して内挿予測ブロックを生成する双方向予測（bi-directional Prediction)、ならびに時間的に未来のフレームから過去のフレームへの動きべクトルを利用して双方向予測を行う直接予測 (Direct)を扱う。前方予測、後方予測ならびに双方向予測モードでは、前方向の動きべクトルに対応する動きべクトル、後方向の動きべクトルに対応する動きべクトル、前方向の動きべクトルと後方向の動きべクトルに対応する動きベクトルを、それぞれ符号化するが、この Directモードでは動きベクトルの符号化は必要としない。図 9に Directモードの予測概念を示す。図に示すように、まず、現フレーム 120上の予測対象ブロック 121と空間的に同一位置にあたる後方向の参照フレーム 130上のプロック（131, collocated- block) の前方向動きべクトル 132を時間的なフレーム位置の割合で前方向動きべクトル 122と後方向動きベクトル 123に-換算する。そして、これらの換算動きべタトルを用い: C双方向予測と同様の内挿処理を施す。

全てのマクロブロックに対してィントラ符号化を適用したフレームを I - picture、前方向予測符号ィ匕あるいはイントラ符号ィヒにて構成されるフレームを P- picture、双方向符号化あるいはイントラ符号化にて構成されるフレームを B- pictureと呼ぶ。

ここまでは、一般的な符号化 ·復号化方法について説明してきたが、近年の符号化，復号化方法では、選択の自由度を広げる機能が適用されている。以下に、新しい機能についていくつか説明する。これらの機能は、 MPEG-4 Part 10 (Advanced Video Coding)でも検討されている。

1. 複数参照フレーム

上記では、動き補償に用いる参照フレームの数を P-pictureで 1枚、 B- picture で過去フレ¹ ~ム (forward reference picture) と未来フレーム (backward reference picture)の 2枚としてきた。しかしながら、過去方向と未来方向の参照フレームとして、それぞれ複数枚を用意し、マクロブロック単位やマク口ブロックを分割した小ブロック単位で異なる参照フレームを選択する方法がある。また、従来は、参照フレームは、 I- pictureか P- pictureであったが、 B- picture を reference pictureとして選択することも可能とされている。

2. 2方向参照フレーム予測

複数参照フレームにおける backward reference pictureの候補に、時間的に過去方向のフレームを含めることを可能とする。この方法では backward reference pictureがすべて時間的に過去方向のフレームであることも許される。そのため、総称として Bi-directionalの替わりに、 Bi- predictiveとレ、う言葉が用いられる。 2個の参照フレーム 140, 150が共に時間的に過去のフレームまたは共に未来のフレームの場合には、現フレームから遠い参照フレーム 150 に対する動きべクトル 127の符号化方法が変更される。図 1 0に示すように、現フレーム 121に近い参照フレーム 140に対する動きべクトル 124を時間的なフレーム位置の割合で換算した動きべクトル 125と動きべクトル 127との差分べクトル 126が水平 ·垂直成分毎に符号化される。

3. 符号化/複号化順序の変更 .

従来は、各フレームの処理順序は I-pictureと P- pictureは表示順で、時間的に 2個の I/P- picture間に位置する違続する B_pictureが後者の I/P- pictureの直後に続くという図 1 1のフォーマットに従っていた。しかしながら、新しい機能では、許容される表示遅延の範囲であれば、この処理順に限定されない。また、 Bi- predictiveの概念を使用する場合には、 B- pictureは、後方予測のための参照フレームを持たない場合でも発生し得る。なお、上記の表示順序は、ビデォデータのデータヘッダ情報として符号化されるか、あるいはビデオデータの上位概念にあたり、ビデオデータとオーディォ ·音声データの同期処理や、データの分割配信を司る通信レイヤやファイルフォーマットが管理しているため、符号ィヒ ·復号化処理順序の変更に伴う表示ずれの問題は発生しない。

4. フレーム識別

従来は、'各フレームについて、表示位置を示す情報が符号ィヒされていた。しかしながら、この表示位置情報は、実際に表示時に適用される通信パケットゃフアイルフォーマットに含まれる時刻情報と一致しない場合がある。この問題を避けるために、ビデオデータでは、各フレームを処理番号のみで管理する方法も検討されている。

し力し、新しい機能を導入した動画像符号ィヒ ·復号化方式では、 directモードに使用する後方向の参照フレームが存在しない場合や、複数の後方向の参照フレームからデフォルトで設定される後方向の参照フレームが未来のフレームでない場合が考えられる。このようなフレームでは、 directモードは適応できない。また、各フレームの管理が復号順の番号で管理されている場合には、後方向の参照フレームが利用可能か否かの判断ができない。また、 directモードに使用する後方向の参照フレームとして B- pictureが選択されるような場合には、 collocated blockが前方向の動きベクトルを持たない場合が考えられる。このようなブロックでは、 directモードは適応できない。

以上の課題に鑑み、本発明の目的は、 directモードを効率よく適用できる符号化 ·複号化方法を提供することである。発明の開示

(解決手段）

デフォルトで設定される後方向の参照フレームが directモードに利用可能であるか否かを示す情報をデコーダに提供する。 collocated blockが利用可能な前方向動きべクトルを持たなレ、場合に適用できる代価方式への切り換え手順と代価方式を提供する。

さらに、動きベクトルに関する情報を受け取り、記録される参照画像と該動きべクトルに関す情報とを用いて動き補償を行って予測画像を合成する動画像の符号化及び復号化方法について。動き補償が動きべクトルの復号を伴わないモードを含む複数のブロックモードを有し、予測方向を表す予測モードを選択し、該予測モードにおける各予測方向の予測で参照するフレームを複数の参照フレームの候補から選択し、該予測モードで用いる動きべクトルの情報を選択する方法。特に、上記予測モードを、現在のブロックに隣接するブロックが動きべクトルを有するか否かに基づいて行うこと。又、参照するフレームは、 index 番号にて識別された複数の参照フレームから 1個の参照フレームを選択するものであって、複数の上記隣接プロックが上記予測方向の予測を適用している場合には何れかの上記隣接プロックの使用する参照フレームを選択し、 1個の上記隣接プロックのみが上記予測方向の予測を適用している場合には該 1個の隣接プロックが適用する index番号の参照フレームを選択し、上記隣接ブロックが上記選択された予測モードを採用していない場合には index番号が 0番の参照フレームを選択することを開示する。又、複数の上記ブロック単位に付されるヘッダに、ブロックモードとして上記動きべクトルの復号を伴わないモードが選択された場合の予測手順を決める情報を含める方法も開示する。

更に、上記方法を適用した装置等も開示する。

本願の上記構成により、 directモードを適用できるか否かの判断が明確となる。又、 directモードとその代用モードを有効的に利用することが可能となり、予測効率が向上しデータ量を削減することもできる。図面の簡単な説明

図 1は、本発明におけるピクチャヘッダデータシンタッタスの例を示した図、図 2は、本発明におけるピクチャへッダデータシンタックスの第 2の例を示した図、

図 3は、マクロブロック分割を説明する図、

図 4は、動き補償の原理を説明する図、

図 5は、マクロプロックに含まれる有意 DCT係数の有無を符号化する際に利用するプロック構成を示す図、

図 6は、 DCT処理ならびに符号化処理を行うブロック単位を示すマクロブロック構成を示す図、

図 7は、動き補償を行うブロック単位を示す輝度プロックの構成を示す図、図 8は、予測動きベクトルの生成手段を説明する図、

図 9は、 Directモードにおける双方向予測のための動きべクトル生成方法を示した図、

図 1 0は、 2枚の前方向参照フレームを用いた動きべクトル算出方法を示した図、

図 1 1は、復号順と表示順の比較例を示した図、

図 1 2は、本発明における予測方法の切り換え手順の例を示した図、図 1 3は、本発明における予測方法の切り換え手順の第 2の例を示した図で、図 1 4は、本発明における代用モードの全体構成を示した図、

図 1 5は、本発明における代用モードの予測モード選択処理を示した図、図 1 6は、本発明における代用モードの参照フレーム選択処理を示した図、図 1 7は、本発明における代用モードの動きべクトルの選択処理を示した図、図 1 8は、予測フレームのデータシンタックスの例を示した図、

図 1 9は、ユニバーサル符号化表の構成例を示した図、

図 2 0は、 P- pictureにおけるマクロブロックタイプの符号表と 8 X 8ブロック分割タィプの符号表の例を示した図、

図 2 1は、 B- pictureにおけるマクロブロックタイプの符号表と 8 X 8ブロック分割タイプの符号表の例を示した図、

図 2 2は、本発明における符号ィ匕処理のブロック図の例を示した図、図 2 3は、本発明における復号化処理のブロック図の例を示した図、図 2 4は、本発明におけるピクチャヘッダデータシンタックスの第 3の例を示した図、

図 2 5は、本発明における予測方法の切り換え手順の第 3の例を示した図、図 2 6は、本発明の符号化方法を実施する符号化装置における予測パラメ一タ算出器の例を示した図、

図 2 7は、本発明の復号方法を実施する復号装置における予測パラメータ算出器の例を示した図、

図 2 8は、本発明の符号ィヒ方法を実施するソフトウエア符号ィ匕器の例を示した図、

図 2 9は、本発明の復号方法を実施するソフトウヱァ復号器の例を示した図、図 3 0は、本発明の符号化方法により生成された符号化ビットストリームを記録した光ディスクの例を示した図、

図 3 1は、本発明の符号化'復号化方法を使用する装置の具体例を示した図、を示す図である。発明を実施するための最良の形態

(実施例 1 )

以下、図を用いて本発明の実施の形態を説明する。

以下、スレームヘッダからマクロブロックデータに至る処理の流れを順に説明する。

図 1にフレームヘッダ情報の例を示す。また、以下に C言語によるピクチヤへッダデータのデコード処理例を示す。

picture一 layer ()

{

picture一 structure

frame一 numoer

reference— picture一 selection— layer ()

if (coding—type () B - picture) {

direct一 mv一 scale一 bwd—dir [index]

if (direct_mv scale— bwd—dir [index] ) { II未来方向 direct一 mv一 scale一 bwd [index]

for (index=0; indexく number of forward reference ; index++) {

direct— mv一 sea上 e— fwd— dir [index]

if (direct_mv_scale_f wd_dir [index] ) II過去方向

direct一 mv— scale— fwd [index]

}

picture— structure20では、各 pictureのスキャン構造（フレーム/フィーノレド）が示される。 frame— number21には、そのフレームの識別番号が示される。この frame_numberの付け方には大きく 2種類ある。 1つは、時刻情報を含む場合である。この場合には、 I， P- pictureでは直前のェまたは P- pictureとのフレーム間隔、 B- pictureでは時間的に過去の直前ェまたは P- pictureとのフレーム間隔が frame— numberとなる（一般には Temporal reference ; TRと呼ばれている）。 2つめは、単純に復号する順番を示す場合である。

reference_picture— selection一 layer ()では、現フレームの動き補賞.処理に使用言な核数参照フレームの frame一 number (reference icture set) とその識別番号が示される。例えば、参照フレームが 5枚の場合には、 frame number 10 の現 pictureの対して以下のように index0〜index4への frame— numberが割り当てられる。

Index 0 : 9

Inde 1 : 8

Index 2： 7

Index 3 *· 6

Index 4: 5

なお、ピクチャタイプ力 p_pictureの場合には、前方向の参照フレーム（forward reference picture set)、 B- pictureの場合には、前方向と後方向の参照フレーム (forward reference picture setと backward reference picture set)の frame— numberが復号される。この際、前方向と後方向の参照フレーム数は個別に設定できるため、異なる場合もある。ピクチャタイプが I-pictureまたは P - pictureの場合には、これらの reference picture set情報に続くバイトァライン情報 (データの区切りをバイト単位に併せるための情報）にてピクチャレイャは終了となる。以降のピクチャヘッダデータは、ピクチャタイプが B- picture の場合に発生する。なお、本実施例では、上位のネットヮーグ ·通信関連情報が含まれるレイヤに記載されているものと考える。 direct— mv— seal e_bwd—dir 28は、 directモード用に指定される後方参照フレームが現フレームに対して未来に位置している力過去に位置しているかを示す情報である。 directモード用に指定される後方参照フレームは、通常、 index 0に割り当てられた backward reference pictureである。データ 28が後方参照フレーム（ここでは、 indexOに割り当てられた backward reference picture)が現フレームに対して過去に位置していることを示している場合には direct modeが使用できず、データ 28が後方参照フレームに対して現フレームが未来に位置していることを示している場合には direct modeが使用できる。したがって、このデータ 28にて、 index 0の backward reference picture力 Sdirectモードに使用できる力否力、が明確に半 lj断できる。また、 directモードが実施できない場合には、後述する代用モードを適用する必要があり、そのためのメモリ配置等の準備面で、復号作業の効率化が促進できる。さらに、 frame_numberが時刻情報を持たない場合において、 reference picture t current picture間の関係を示す情幸艮を効率良く送ることが可能となる。 directモードに関するピクチャ位置情報には、 direct mode以外にも使用されるものと、使用されないものがある。後者に関しては、 direct— mv— seal e_bwd—dirにより符号化を避けることが可能となる。

具体的には、図 1に示すように、 direct— mv—scale_bwd—dir力 directモード使用可能、すなわち現フレームに対して未来方向に位置することを示すときには、データ 26, 27, 29が符号化されるが、 directモード使用不可であることを示すときにはこれらのデータは符号化されない。 direct— mv—scale_bwd29は、 current pictureと index 0の backward reference picture間のフレーム間隔を示す情報である（図 9参照）。 direct_mv— scale一 fwd— dir 26は、前方参照フレームが現フレームに対して未来に位置しているか過去に位置しているかを示す情報であり、 direct一 mv— scale— fwd27は、 current pictureと forward reference picture間のピクチャ間隔を示す情報である（図 9参照）。 direct— mv— scale— fwdについては、 reierence_picture— selection— layer (22)にて指定される forward reference pictureの数だけ符号ィヒされている必要がある。伹し、 directモードを使用するには、前方向の参照フレームは現フレームに対して過去に位置している必要があるため、 direct— mv一 scale_fwd—dir 26が未来方向を示す indej (については、 direct— mv一 scale— fwd 27は省略される。 direct一 mv— scale一 dividerは、 index 0 C oackward reierence picture iorward reference picture間のピクテャ間を示す情報である（図 9参照）。従って、この情報も: forward reference picture の数だけ符号化されている必要があるが、 direct— mv— scale— fwdと direct_reference— bwdから算出できるため、省略することも可能である。この情報も direct— mv_scale— fwd一 dir 26力 ^s未来方向を示す index につレ、ては、 direct_mv_scale_fwd 27は省略される。

B - pictureの場合においても、バイトァライン情報（データの区切りをバイト単位に併せるための情報）にてピクチャレイャは終了となる。

direct—mv—scale—iwdや direct— mv— scale一 bwd ま、 | | 1 0 に示れる picture— distanceとしても使用できるため、図 1を図 1 0の動きべクトル符号化にも拡張したデータシンタックスを図 2に示す。

picture一 layer ()

{

picture— structure

frame numoer ref erence_picture_selection_layer ()

if (coding—type () == B- picture) {

for (index=0； indexく number of forward reference; index++) {

direct一 mv一 scale一 f wd— dir [index]

direct一 mv— scale— fwd [index]

j

for (index=0 ; indexく number of backward reference ; index++) {

direct一 mv一 scale一 bwd— dir [index]

direct一 mv一 scale— bwd [index]

}

B - pictureの場合について説明する。この場合には、現フレームで使用可能な全ての参照フレームについて、データ 26〜29が符号化/復号化されるが、これらのデータは図 1 0に示した動きべクトルの符号化処理に利用する picture— distanceの情報としても利用される。この図 2でも図 1と同じように、 direct— mv_scale— bwd— dir [0]が directモードの使用可否を示す役割を果たすが、図 2では、さらにデータ 26と 28の組み合わせにより、図 1 0の処理が使用可能であるか否かを示す。図 1 0の動きベクトル符号化は、 2本の動きベクトルに対応する 2つの参照フレームが現フレームに対して同じ方向である場合に有効となる。そのため、ブロックで選択された 2つの reference pictureの index番号に対応するデータ 26と 28の値が、現フレームに対して異なる方向に位置する 2つの参照フレームの組み合わせである場合には、図 1 0の動きべクトル符号化方法ではなく、各動きべクトルを図 8の方法で個別に符号化/復号化する。一方、ブロックで選択された 2つの reference pictureの index番号に対応するデータ 26と 28の値が、現フレームに対して同じ方向に位置する 2つの参照フレームの組み合わせである場合には、現フレームから離れた動きべクトルについては、図 1 0の方法が適用される。

ここまで ίま、 directモ¹ ~~ドに使用する Backward reference pictureを index 0 として説してきに。し力、しな力ら、 backward reference picture set力 ^¾ら:111(16}( 0以外の番号を directモードの backward reference pictureとして選択することも考えられる。例えば、図 1と 2の direct_reference—idx—bwd 24のように、 directモーに用する Dackward reference pictureの index番号ヒクチャレィャで示すことにより、フレーム単位で backward reference pictureを変更することが可能となる。さらに、 direct— reference— idx—bwd 24を index番号そのものではなく、 index番号に 1を足した値とすることにより、値 "0"に directモードに使用できる後方参照フレームが backward reference picture setにないという意味を持たせることが可能となる。

次に図 Γ 8のマクロブロックレイヤシンタックス、図 2 0、 2 1のマクロブロックタイプコード表を用いて、マクロブロックデータの構造について説明する。符号化に使用する方法としては、 1種類の可変長符号表のみを用いる Universal VLC (UVLC)、固定長符号化と可変長符号化（各符号ィヒ要素に異なる符号表を用意）を組み合わせた符号化方法ならびに、算術符号化 (Witten et al.， " Arithmetic Coding for Data Compression", Comm. of the ACM, 30 (6)， 1987, pp. 520-541)などが考えられるが、本実施例では、 UVLCと算術符号ィ匕を例として説明する。図 1 1の表 81が UVLCの構成を示しており、 Xnの値は '0' または ' 1，となる。表 82に、実際の可変長符号表の例を示す。算術符号化の具体的な方法としては、各符号の意味を数ビットのバイナリーデータに置き換え、各ビットを各々の 0と 1の発生確率を示す生起確率モデルに応じて符号化する方法を考える。この方 fete_、 CABAC (し ontext— based Adaptive Binary Arithmetic Coding) と呼ばれている。 . 図 1 8は、 B - pictureにおけるマクロブロックデータのシンタックス構造を示している。この図を用いて、 B- pictureならびに P- pictureのマクロブロックデータ構造について説明する。なお、 I- pictureについては、本願の特徴に含まれないため説明を省略する。

mb_skip_runllでは、連続する SKIPモード数をランレングス符号化（連続する 0 の数を符号化、 1つ前のマクロプロックのタイプが SKIPモードでない場合には、連続する SKIPモードの数をゼロとする）したデータで、ェント口ピー符号化の方法として UVLCを用いる場合にのみ発生する。 SKIPモードとは、予測誤差信号を符号化せず、予測プロック画像をそのまま再生プロック画像とするマクロプロックタイプである。予測ブロック画像は、 P- pictureでは index 0の forward reference picture力ら予測べクトル位置に相当するマクロブロック画像を切り出す方法、 B- pictureでは directモードにて合成される。この SKIPモードは、低レート符号化にて多く選択されるモードであり、特に B- pictureでは選択される確率が高い。従って、 directモードの予測性能は、低レートの符号化性能に直接影響する。 CABACを用いた符号ィヒ方法では、 mb— ski_P_runllは使用せず、 SKIP モードも mb— type 12にて扱う（表 91, 93の code number 0の欄参照）。 mb_typel2 では、表 91 (P- picture)または表 93 (B- picture)に示されるマクロブ口ックモードからマクロプロック毎に 1つのモードが選択され、符号化される。表 91では、 code number 6, 7に示されている IntraMXNの M, Nは空間予測を行う際の小ブロックサイズを示しており、MX Nは動き補償を行う際の小ブロックサイズ（図 7のモード 1〜モード 4)を示している。但し、 code number 5に示されるモードは CABAC の場合には使用しない。表 93では、 code number 23, 24に示されている IntraM X Nの M, Nは空間予測を行う際の小プロックサイズ、 MXNは動き補償を行う際の小ブロックサイズ（図 7のモード 1〜モード 4に対応）を示しており、 directは directモード（Direct (CBP==0)は、 CABAC適用時の SKIPモード）を示している。表 93の Block 1ならびに Block 2は、図 7のモード 2またはモード 3における 2個の小ブロックを識別しており、各小ブロックの予測方向が Forward (前方予測）、 Backward (後方予測）、 Bi- predictive ( 2方向参照フレーム予測）のいずれであるかを示している。

ここで、 directモードについて説明を加える。 mb— skip— r皿 11と mb type 12 の選択候捕に directモードが含まれているが、複数参照フレーム機能や 2参照フレームの機能を適用する方式では、 directモードが適用できないケースが考えられる。そこで、本発明では図 1 2に示すように、条件に応じて予測方法を切り換える手順を用レ、る。最初に、ピクチャヘッダ内の direct_mv_scale_bwd_dir (|¾ 1 )または direct一 mv一 scale一 bwd— dir [0」 (図 2 )にて、 current pictureに directモードが使用可能か否かをチェックする（301)。処理 301にて使用不可と判定された場合には、 collocated blockの forward MV を必要としない代用モード（詳細は後述）にて予測マクロブロックを作成する (304)。処理 301にて使用可能と判定された場合には、 8x8プロック毎に予測方法の選定を行う。ここで 8x8ブロックとしたのは、図 7のプロック分割方法では、参照フレームと予測方向選択の最小単位が 8x8ブロックとされているためである。具体的には、 8x8ブロックに対応する collocated blockに forward MVを持つ予測モードが適用されているか否かをチックする（302)。そして、適用されていると判定された場合には、 directモードにて予測ブロックを作成し（303)、適用されていないと判定された場合には、代用モードにて予測ブロックを作成する（304)。処理 302では、 coll.ocated 8x8 blockについて、予測モードが intra モー卜の ¾合、卞測方向力 backward predictionの場合、 forward reference pictureにメォする direct一 mv一 scale一 fwd—dir [index]の¹ ί直 current pictureにナして後方向（未来方向）に位置することを示している場合、あるいは forward reference picture力、 current pictureの forward reference picture setに含まれていない場合に、 directモード使用不可と判定する。なお、図 1 2の処理 302 では、 8x8ブロック単位で directモードの使用可否判定を実施しているが、これをマクロブロック単位で実施することも可能である。但し、この場合には、マクロプロック内のすべての予測ブロック、図 7のブロック分割方法の場合には 4 個の 8x8ブロックのすべてが、 directモード使用可能の状態である場合にのみ、 directモード使用可能と判定される。図 1 3は、ピクチャヘッダの構造にデータ 24が追加された場合について、予測方法を切り換える手順を示している。図 1 2と異なる点は、処理 301が処理 305に変更されている点であり、具体的には、チェックする direct— mv_scale_bwd_dirの index番号が図 1 3のデータ 24にて設定した値とされている点である。

図 1 8の説明に戻る。

が選択された場合には、図 7 のモード 4に示される 4個の 8 X 8小ブロック 54- 0〜54 - 3について、それぞれ、 8x8 Partition 13が発生する。具体的には、 8x8 Partition 18では、表 92 (P-picture) または表 94 (B- picture)に示される 8x8 partitionモードから各 8x8ブロックについて 1つのモードが選択され、符号化される。表 92では、 code number 4に示されている Intraは空間予測を示しており、 MXNは動き補償を行う際の小プロックサイズ（図 7の 8x8 partition l〜8x8 partition 4)を示している。表 94では、 code number 13に示されている Intraは空間予測の適用、 MXNは動き補償を行う際の小ブロックサイズ（図 7の 8x8 partition 1〜8χ8 partition 4)を示しており、 directは directモードを示している。表 94の Predictionは、図 7のモード 4 に属する各小ブロックの予測方向が Forward (前方予測）、 Backward (後方予測）、 Bi - predictive ( 2参照フレーム予測）のいずれであるかを示している。

8x8 Partition 18にて directモードが選択された場合においても、図 1 2または図 1 3と同様の予測方法切り換え手順が適応できる。しかしながら、 8x8 Partition内の directモードの予測性能は directモード MBほど重要ではない。そこでより簡単な方法を適用することも可能である。例えば、処理 302にて collocated blockが Forward MVを持っていないと判定される場合に、処理 304 の替つりに、 Forward MVを 0ベタトゾレ、 forward reference pictureならび（こ backward reference pictureの indexを 0に設定した上で directモードにて予根 IJ ブロックを生成する方法が考えられる。この際、 backward reference picture が存在しない場合には、 forward predictionのみで予測ブロックを生成すればよい。より簡単には、処理 302にて collocated blockが Forward MVを持っていないと判定されるケースでは、符号化側にて directモードの選択しない方法が考えらる。 mb_typel2と 8x8 Partition 13の符号化方法については、 UVLCを利用する場合には、表 91〜94の code numberに対応するコードを表 82から選択して符号ィ匕する。 CABACを利用する場合には、表 91〜表 94の Binarizationの欄に示されているビット列を各ビットの確率モデルを用レ、て算術符号化する。

ref—index— fwdl4は、動き補償に使用する前方向の参照フレームの index番号を示しており、当該マクロブロック内の各分割ブロック（図 7の 51〜54)について必要とされる。 Index番号は forward reference picture set力ら選択される。但し、 forward reference picture setに含まれる参照フレームが 1枚のみの場合、ブロックタイプぁるいはマクロブロックタイプが Skip, directまたは intra のブロックの場合、ならびに block predictionが backwardの場合については、このコードは発生しなレ、。また、 P-pictureにて mb— typeとして表 9 1の code number 5力 ^¾選択れた ¾合には、 index 0の forward reference picture力参照フレームとして自動的に選択されるため、このコードは発生しなレ、。 forward reference picture setが index 0〜： index 4の値を持つ場合を例として、符号化方法を考える。この例では、 index 0〜index 4がそれぞれ、 code number0〜4 に割り当てられる。 UVLCを利用する場合には、 code numberO- 4に対応するコードを表 82から選択して符号化/復号化される。 CABACを利用する場合には、 code numberO- 4に対して、それぞれ Γ , 01' , 001'， 0001' , 00001 'のバイナリーデータを割り当て、ビット列と各ビットの確率モデルを用いて算術符号化する。 ref— index— bwdl5は、動き補償に使用する後ろ方向の参照フレームの index番号を示しており、当該マクロブロック内の各分割プロック（図 7の 51〜54)について必要とされる。 Index番号は backward reference picture setから選択される。但し、ピクテャの種貝力 - pictureの場合、 backward reference picture set に含まれる参照フレームが 1枚のみの場合、ブロヅクタイプあるいはマク口'ブ口ックタイプが skip, directまたは intraのブロックの場合、ならびに block prediction力 forwardの場合については、このコードは発生しない。符号化方法については、 ref index fwdと同じであるため、説明は割愛する。 mvd— fwdl6は、 mb一 type 12と 8x8 Partition 13力 Sfonard (bi—： redictiveも含む）に伴う動きべクトルを伴うマクロブロックであることを示す場合に発生し、マクロブロック内の: _orward MVの数だけ繰り返される。また、したがって、 mb— typel2が: [ntraMXN、 SKIP (P - picture)または direct (B- picture)の場合や、 8x8 Partition 13が intraまたは direct (B- picture)の場合にはこのデータは発生しなレヽ。また、 block predictionが backwardの分割ブロックの場合 (B - picture)にもこのデータは発生しない。同様に mvd— bwdl7は、 mb— type 12と 8x8 Partition 13力 ^backward (bi— predictiveも含む) に伴う動きべク卜ノレを伴うマクロブロックであることを示す場合に発生し、マクロブロック内の backward MVの数だけ繰り返される。また、したがって、ピクチャタイプが P- pictureの場合、 mb— typel2が IntraMXN、 directの場合や、 8x8 Partition 13 力 S intraまたは directの場合にはこのデータは発生しない。また、 block predictionが forwardの分割ブロックの場合にもこのデータは発生しない。 CBP18は、図 6に示される 24個の DCTブロックについて、 '0'以外の量子化 DCT係数（有意係数）が 16個係数に含まれているか否かを示す符号化データである。 Residual () 19は、有意量子化 DCT係数の符号化データを示している。 CBPにて有意係数が無いことが示されているプロックについては、符号ィ匕処理が省略される。したがって、 CBPが 0の場合には、 Residual ()は発生しない。さらに、 CBP18 と Residual O 19は、 mb— type 12が direct (CBP=0)のときには発生しない。ここで、図 7の分割タイプを例として、上記に示した予測動きベクトル mvd— fwdl6ならびに mvd— bwdl7の生成方法を図 8に説明する。図 7のモード 1 (51)のブロック 51-0, モード 4 (54)の小ブロック 54a- 0、 54b - 0、 54b - 1、 54c_0、 54c- 1ならびに 54d-0〜54d - 3については、同じ予測方法を用いる。動きべクトルを符号ィヒする対象の小ブロックを 50と仮定する。これらの小ブロックでは、動きべクトルの水平 ·垂直成分それぞれについて、隣接位置 A, B, Cに位置する 3 ブロックの動きべクトルを候補としてその中間値を計算し、中間値の動きべクトルを予測動きベクトルとする。但し、符号化順序やマクロブロック位置の関係で位置 Cのプロックが符号化前の場合や画像の外に位置する場合が考えられる。この場合には、位置 Cのかわりに位置 Dに位置するブロックの動きベクトルを候補動きベクトルの 1つとして用いる。なお、位置 Aと Dのブロックが画像の外に位置する場合には、その動きべクトルを '0 'ベタトルとして予測処理を行い、位置、 Dと Bと Cが画像の外に位置する場合には、位置 Aのブロックの動きべタトルとして予測処理を行う。この際、 3個の候補ブロックのうち 2個が動きべクトルを持たない場合には、残りの 1つの候補動きべクトルを予測動きべクトルとする。モード 2 (52)の 2個の小ブロック（52- 0, 52-1)、モード 3 (53)の 2個の小ブロック（53-0， 53-1)については、図 8に示す矢印の根元に位置するブロックの動きベクトルを予測値とする。なお、この方法における動きべクトル符号化では、同じ参照フレームの動きベクトルのみが予測に用いられる。したがって、隣接ブロックの動きべクトルが符号化ブロックにて選択された参照フレームと異なる場合には、画像の外に位置するものとして扱う。色差成分用の動きべクトルについては符号化せず、輝度成分の動きべクトルを 2で割って使用する。

図 1 4〜1 7を用いて collocated blockの Forward MVを必要としない代用モ一ド（4x4 bi - predictive)について説明する。 Directモードならびに Directモードを使用する B- pictureにおける Skipモードは、選択率が高く符号化性能を高めるために重要な予測方式である。しかしながら、 MPEG - 4 Part 10のように、参照フレームの選択や各フレームの符号化手順に自由度を持たせた方式では、図 1、 2ならびに図 1 2、 1 3の説明で示したように、従来の Directモードが有効に機能しないフレームやブロックが発生する。この代用モードは、従来の Directモードが有効に機能しない場合に切り替えて使用することにより、予測性能の低下を抑制したり、予測効率を高める効果がある。また、従来の Direct モードが参照フレームの動きベクトルを使用するのに対して、この代用モードは現フレームの動きべクトルを利用するため、以降のフレームの符号化/復号処理のために動きべクトルをメモリに蓄積する処理が不必要となり、メモリサイズを削減する効果がある。さらに、代用モードでは、図 9に示す動きベクトルのスケーリング処理が必要ないため、復号処理が簡易となる。この代用モードの予測手順は、図 1 4に示す 4パートから構成される。まず、 8x8ブロック単位で予測方向を bi- predictive, forward, backwardから選択する（610)。選択には、対象 8x8プロック C 81の直上プロック B 83と直左プロック A 82を用いて実施する。次に処理 610にて選択した予測モードの実施に必要となる参照フレームの選択を実施する（620)。選択には、対象 8x8ブロック C 81の直上ブロック B 83と直左ブロック A 82を用いて実施する。次に 4x4ブロック単位で、選択した予測モードと参照フレームに対応する動きべクトルの算出処理を実施する（630)。最後に処理 610と 620にて選択した予測モードと参照フレームと処理 630にて算出した動きべクトルにて 4x4予測ブロックを合成する。そして算出した動きべクトルと参照フレームの indexを予測動きべクトル予測用に保存する（640)。このように、同一フレーム内の周囲ブロックの情報から予測処理に必要とされる各要素データを予測することにより、局所的な特徴に応じた動き予測が可能となり、予測効率が向上する。また、フレーム内の隣接ブロックのデータのみを用いるため、この代用モード実施のために保存するデータ量が削減される。以降に処理の詳細を示す。

図 1 5に処理 610の予測方向選択処理手順を示す。まず、対象 8x8ブロックの直上ならびに直左の 8x8ブロックの何れかが Forward MVを持っているか否かをチェックする（611)。次に同様に、対象 8x8ブロックの直上ならぴに直左の 8x8 ブロックの何れかが Backward MVを持っているか否かをチェックする（612)。そして、直上または直左の 8x8ブロックの何れかが forward MVと backward MVを持つている場合と、直上と直左の 8x8ブロックのいずれも forward MVも backward MV を持っていない場合には、 bi- predictiveを選択する（615)。直上ならびに直左の 8x8ブロックが forward MVのみを持っている場合には forward MV (616)、 backward MVのみを持っている場合には backward MV (617)を選択する。この手順によれば、予測効率が最も高い bi - predictive予測が優先的に選択される。また、 bi - predictiveを効率良く実施するために必要な情報が周囲プロックから得られない場合には、周囲から得られる情報に基づいて最適と推測される予測方向が選択できる。さらに、周囲から情報が十分な得られない場合には、他の予測モードに対して Directモードを選択する効果が高い状態となるように制御することで、予測効率の向上に貢献する。具体的には、以降に説明する図 1 6と図 1 7の処理と組み合わせることにより、 indexO (現フレームに最も似通ったフレ一ムノの forward reference, backward referenceを参照フレームとしたセロ動きべクトルの bi- predictive予測を選択するような手順となっている。

図 1 6に処理 620の参照フレーム選択処理手順を示す。この処理は、 forward と Dackwardについて個另Iに実 ¾される。図 1 6は、 forward reference picture 選択の場合を示しているが、 backward reference pictureについても手順は同じである。まず、対象 8x8ブロックの直上ならぴに直左の 8x8ブロックが何れも forward reference pictureを禾 ll用してレヽる力 ^¾ 力をテエックする (621)。何れの 8x8ブロックとも forward reference pictureを利用していると判定された場合には、 2個の 8x8ブロックで使用された forward reference pictureのうち index番号の小さい方を選択する（623)。処理 621にて少なくとも何れかの 8x8ブロックが forward reference pictureを利用していないと判定された場合には、次に、対象 8x8ブロックの直上または直左の 8x8ブロックが何れかが forward reference pictureを利用しているか否かをチェックする（622)。処理 622にて、ィ可れかの 8x8プロックが forward reference pictureを利用していると判断された場合には、利用した forward reference pictureを選択する（625)。処理 622 にて、何れの 8x8ブロックも: orward reference pictureを利用していない場合には、 index Oを選択する（624)。このように、隣接ブロックの符号化に適用された Index番号のうち、小さい値を選択するように制御する。これは、参照フレーム候補の設定において、現フレームとの相関が高いフレームに小さレ、 index 番号を与えためである。 Index番号の設定方法には、自動的に設定される方法と、符号化時に設定する方法がある _n 前者では、現フレームに近いフレームから順に小さい index番号が与えられる。後者は、例えばシーンチェンジ時などに適用され、以前に符号化した過去の同じカメラアンダルのフレームに小さレ、index 番号を割り当てる。このように、小さい index番号を選択することにより、処理対象のフレームに近い画像を選択する可能性が高くなる。

図 1 7に処理 630の動きベクトル算出処理手順を説明する。この処理は、 4x4 ブロック単位で、 forward, backwardについて個別に実施する。まず、直上または直左の 4x4ブロックの何れかが画像の外に位置しているか否かをチェックする（631)。処理 631にて、何れかの 4x4ブロックが画像の外に位置していると判定される場合には、 4x4ブロックの動きベクトルをゼロベクトルとする（625)。処理 631にて何れの 4x4ブロックも画像内に位置していると判定される場合には、次に、直上または直左の 4x4ブロックの何れかが処理 620にて選択した参照フレームへの利用可能な動きべクトルを持っているか否かをチェックする（632)。処理 632にて何れの 4x4ブロックも選択した参照フレームへの利用可能な動きべクトルを持っていないと判定される場合には、 4x4ブロックの動きべクトルをゼロベタトルとする（625)。処理 632にて何れかの 4x4ブロックが選択した参照フレームへの利用可能な動きべクトルを持っていると判定される場合には、直上または直左の 4x4ブロックが有する何れかの動きべクトルが、処理 620にて選択した参照フレームへのゼロべクトルであるか否かをチェックする（633)。処理 633にて何れかの 4x4ブロックの動きべクトルが参照フレームへのゼロべクトルと判定された場合には、 4x4ブロックの動きベクトルをゼロベクトルとする（625)。処理 633にて何れの 4x4ブロックの動きべクトルも参照フレームへのゼロべクトルではなレヽと判定された場合には、 4x4ブロックに対する中間値予測により動きベクトルを算出する。このように、ゼロベクトルを優先的に選択するのは、 Directモードが背景部分で特に効果が高いことに対応するためである。

本発明には次のような変形も含まれる。

(1) 本実施例では、代用モードの使用を図 1 2のように collocated blockの状況によって決定しているが、 directモードを代用モードに完全に切り換えることも考えられる。この方法では、処理 301にてフレーム単位あるいはスライス単位（詳細は変形例（4)に記載）で directモードと代用モードの切り替えを制御する。これにより、選択候補が増え、特殊効果を施したシーンへの適用性が向上するため、予測効率も向上する。但し、参照フレームと現フレーム図 9の動きベクトルの算出を外揷処理にて行う可能性が生じるため、演算処理量に強い制約がある条件では図 1 2、 1 3に示すように 2方式の切り替え制御を実施する方法が有効である。

(2) 図 1 4〜1 7については、予測方向、参照フレーム、動きべクトルを周囲のブロックから生成するという全体処理が一致してレ、れば細力^、条件については限定されない。例えば、処理 631にて「直上または直左の 4x4ブロックの何れ力」という記述を「直上ならぴに直左の 4x4ブロックの両者が」に変更した方法も本願に含まれる。また、モード選択時に利用するプロックを 2個から 3個（予測ベクトルの作成に使用する）に変えた方法も本願に含まれる。このモード選択時に利用するブロックを 2個から 3個に変える方法は、動きべクトル推定との整合性が良く、予測効率の向上にもつながるため、演算処理量に強い制約がない条件では有効である。

(3) 図 1、 2ならびに図 1 2、 1 3では collocated blockが現フレームに対して前方向の forward MVを持っていれば、その forward MVに対する forward reference pictureの index番号に関わりず directモードを適用する方法にっレ、て示してきた。しかしながら、 directモードは、 forward MVに対する forward reference pictureが現フレームから離れると効果が低くなる傾向がある。そこで、 forward MVに対する forward reference pictureの index番号;^ 0の場合のみ directモードを適応する方法も有効と考えられる。図 2 4と図 2 5にてその方法を説明する。図 2 4にピクチャレイヤのデータシンタックスを示す。

picture—layer ()

{

picture structure , frarae_number

reference_picture_selection_layer ()

if (coding— type () == B- picture) {

direct— reference— usable

if (direct— reference—usable) {

direc t_mv_s cal e一 b wd

direct一 mv_scale—fwd

}

for (index=0 ; index<number of forward reference ; index++) {

picture— distance_fwd—dir [index]

picture distance fwd [index] for (index=0 ; indexく number of backward reference ; index++) {

picture一 distance一 bwd—dir [index]

picture— distance一 bwd [index]

}

ピクチャタイプ.が B- picture の場合について説明する。 direct— reference— usable 23は、 directモード用に指定される後方参照フレームが現フレームよりも未来に位置しているおり、かつ directモード用に指定される前方参照フレームが現フレームよりも過去に位置しているかを示す情報である。 directモード用に指定される後方参照フレームは、通常、 index 0に割り当てらた backward reference pictureである力 S、この十肯3|¾にて、 index 0の backward reference pictureが directモードに使用できるか否かが明確に判断できる。また、 directモード用に指定される前方参照フレームは、通常、 index 0に割り当てられた forward reference pictureであるが、この情報にて、 index 0 CD forward reference picture力 Sdirectモー (こ使用でさる力否力 ^¾カ明確 (こ半 ij 断できる。このデータ 23が 0、すなわち index 0の backward reference picture 力 ^ current pictureに対して前方向（過去方向）に位置しているか、あるいは index 0の forward reference 1)1。1：10"6カ^¾(：11：1： 6111： pictureこメ、ナして後方向 (未来方向）に位置しているピクチヤについては、 directモードが実施できないため、 directモードの適用のために必要とされるピクチャ間隔情報は符号化/復号化する必要はない。従って、この場合には、 current pictureと index 0の forward reference pictureの時間間 praを不す direct— mv一 scale— fwd 2427と current picture と index 0の backward reference pictureの時間間隔を示す directjnv— scale— bwd 2429の符号化/複号化は省略される。データ 26〜29は図 1 0に示す bi - predictiveの動きべクトル符号化に用いるデータである。利用方法については、図 2のところで説明したため、ここでは割愛する。なお、 direct— reference_usable 23は、 directモード用に指定される後方参照フレームが現フレームよりも未来に位置しているか否かだけを示す情報とし、 direct— mv— scale一: wdのィ不す情幸艮 (direct一 mv一 scale— fwd—dir)をテータ 2427の前に符号化/復号化する方法も考えられる。図 9で forward reference pictureが、 current pictureよりも後方にある状態のときには、 2つの動きべクトル 122と 121は、外挿計算にてより算出される。

図 2 5の場合について、 directモードの扱いについて説明する。図 1 2、 1 3の説明で示したように、図 1 8の mb— skip— run 11と mb— type 12の選択候補に directモードが選択された場合でも、複数参照フレーム機能や 2参照フレームの機能を適用する方式では、 directモードが適用できないケースが考えられる。そこで、本発明では条件に応じて予測方法を切り換える手順を用いる。その手順を図 2 5に示す。最初に、ピクチャヘッダ内の direct— reference一 usable 23 にて、 current pictureに directモードが使用可能か否かをチェックする（306)。に対して時間的に未来に位置しているかあるいは index 0の backward reference 力 ^current pictureに対して時間的に過去に位置していると判定された場合には、 collocated blockの forward MVを必要としない代用モードにて予測マクロブロックを作成する（304)。処理 306にて使用可能と判定された場合には、 8x8 ブロック毎に予測方法の判定を行う。ここで 8x8ブロックとしたのは、図 7のブロック分割方法では、参照フレームと予測方向選択の最小単位が 8x8ブロックとされているためである。具体的には、 8x8ブロックに対応する collocated block に Forward MVを持つ予測モードが適用されているか否かをチェックする（307)。そして、適用されていると判定された場合には、 directモードにて予測ブロックを作成し（303)、適用されていないと判定された場合には、代用モードにて予測ブロックを作成する（304)。処理 307では、 collocated 8x8 blockについて、予測モードが intraモードの場合、予測方向力 backward predictionの場合、あレヽ fま forward reference picture current picture <D forward reference picture setに含まれる index O reference pictureでなレヽ場合に、 directモード使用不可と判定する。なお、図 1 2の場合と同様に、処理 307の directモードの使用可否判定をマクロブロック単位で実施することも可能である。但し、この場合には、マクロブロック内のすべての予測ブロック、図 7のブロック分割方法の場合には 4個の 8x8プロックのすべてが、 directモード使用可能の状態である場合にのみ、 directモード使用可能と判定される。なお、図 2 4の説明で不し 7こよつに、 direct— reference一 usable 23力 index 0の forward ： reference力 ^s current pictureに対して時間的に未来に位置しているか否かという条件のみを示している場合も考えられる。この場合には、図 9の directモード予測にて図 2 4の説明で示した外揷計算による動きべクトルの算出が実施される可能性がある。さらに、上記変形例（1)で示したように、 direct— reference— usable 23 にて、 directモードの使用判定条件のみを示している場合も考えられる。この場合も、 directモードの使用が指定されており、かつ forward referenceが時間的に未来に位置しているか、あるレ、は backward referenceが時間的に未来に位置している場合には、図 9の directモード予測に用いる動きべクトルは外挿計算にて算出する。

(4) 図 1、 2ならびに図 2 4では、ピクチャヘッダのデータ構造に限定して説明しているが、複数のマクロブロックをまとめたグループであるスライスレイャのへッダ部にこれらの情報が記載される場合にも本発明のデータ構造は適用できる。

圧縮データをスライス単位でデータパケット化して伝送する方式では、スライスレイヤのヘッダ部の情報でデータの復号手順を決める。そのため、復号化手順に関連する本発明の情報はスライスへッダ部に必要となる。 1つのスライスにどのマクロプロックが属するかを示す情報は、上位の通信 ·ネットワーク関連情報を司る通信パケットヘッダやファイルフォーマツトのヘッダ部にて示される場合や、データ全体の構成を決めるシーケンスへッダに示される場合などがある。このスライス単位で Directモードと代用モードを切り替える方法は、フレーム単位で切り替える方法に比較して、選択の自由度が向上し、予測効率が向上する。但し、予測効率向上のためには、スライス単位での選択制御が必要となるため、演算量が増大する。したがって、リアルタイム処理を必要とするアプリケーションでは、フレーム構造によるフレーム単位での切り替え制御が有効と言える。 ' ここまで説明した本発明の方式は、専用回路 ·専用チップを用いる画像符号化装置 ·画像復号化装置や、汎用プロセッサを用いるソフトウア画像符号ィ匕装置 · ソフトウユア画像復号化装置に適用できる。

図 2 8に組み込み型のソフトウエア符号器 ·復号器の例として、アプリケーシヨンプロセッサを用いた携帯端末の例を示す。主に無線通信処理を行うホスト部 2820、カメラからの入力信号を処理するカメラ入力処理部 2830、映像符号化/復号化などのアプリケーション処理を実施するアプリケーションプロセッサ部 2800、表示データを処理する出力デバイス 2840にて構成されている。符号化時には、カメラにて撮影された画像は、まず、カメラ入力処理部 2830にて図 3に示すような YUV信号に変換され、アプリケーションプロセッサ部 2800に入力される。アプリケーションプロセッサ部 2800は、入力画像を図 1 (または図 2 または図 2 4 ) と図 1 8に示すようなストリームデータに符号化する。組み込み型の場合には、汎用プロセッサ 2810内の処理部 2811にて符号化処理（図 1 4 〜1 7のフローチャートに示す動作を含む）を実施するためのソフトウエア（ァセンブラコード）は、内部画 2812または外部 RAM2830に予め格納されている。また、図 1 4〜1 7のフローチャートに示されるような予測処理に利用されるデ一タ（複数の参照ピクチャや各マクロブロックの参照ピクチャ番号、予測方向、動きベクトル）も、予め格納する領域が内部 RAM2812または外部 MM2830に確保されている。アセンブラコードや各データの格納領域配置は、プロセッサ能力、バス速度、アセンブラコードや各データへの推定アクセス頻度とそれらの容量のバランスで設計される。通常、内部 RAMは外部 RAMよりもアクセス速度が速く、外部 RAMは内部 RAMよりも搭載容量が多い。従って、アクセス頻度が高く、容量が少ないデータ格納領域やアセンブラコードを内部 RAMに配置する。この際、ァセンブラコードは内部 RAMと外部 RAMに分割されて配置される場合もある。符号化されたビットストリームデータは、外部画 2830あるいはホスト部 2820内のメモリに保存される。何れに保存されるかは、符号ィヒビットストリーム'データの用途など、携帯端末向けのサービスにより異なる。復号時には、ホスト部 2820 あるいは外部 RAM2830からアプリケーションプロセッサ部 2800に符号化ビットストリームデータが供給される。アプリケーションプロセッサ部 2800は、入力された符号化ビットストリームデータを復号し、 YUV再生画像を RGB画像に変換したのち出力デバイス 2840に出力する。この際、 YUV再生画像はー且外部 RAMあるレヽは内部 AM内のフレームメモリに蓄積される場合もある。符号化処理の場合と同様に、復号処理においても、汎用プロセッサ 2810内の処理部 2811にて復号処理（図 1 4〜 1 7のフローチャートに示す動作を含む）を実施するためのソフトウェア（アセンブラコード）は、内部 RAM2812または外部 RAM2830に予め格納されている。また、図 1 4〜1 7のフローチャートに示されるような予測処理に利用されるデータ（複数の参照ピクチャや各マクロブロックの参照ピクチャ番号、予測方向、動きべクトル）も、予め格納する領域が内部 MM2812または外部 RAM2830に確保されている。

図 2 9には、より汎用的な用途で用いられるソフトウエア符号器 ·復号器の例を示す。符号化時には、入力画像はフレームメモリ 2950に蓄えられ、汎用プ口セッサ 2900はここから情報を読み込んで符号化処理を行う。この汎用プロセッサを駆動するためのプログラム（図 1 4〜1 7のフローチヤ一トに示す動作を含む）はハードディスクゃフロッピーディスクなどによる蓄積デバィス 2930 カら読み出されてプログラム用メモリ 2920に蓄えられている。汎用プロセッサが出力する符号化情報は一旦入出力バッファ 2940に蓄えられた後、符号化ビットストリームとして出力される。処理メモリ 2910には、図 1 4〜1 7のフローチャートに示されるような予測処理に利用されるデータ（複数の参照ピクチャや各マクロブロックの参照ピクチャ番号、予測方向、動きベクトル）が蓄積されており、プログラムの処理に従つて汎用プロセッサにて読み込まれる。また、汎用プロセッサは、プログラムの処理に従ってデータを処理メモリに蓄積する。復号時には、入力された符号化ビットストリームは一且入出力バッファ 2940に蓄えられ、汎用プロセッサ 2900はここから読み込んで復号する。この汎用プロセッサを駆動するためのプログラム（図 1 4〜1 7のフローチヤ一トに示す動作を含む）は、ハードディスクやフロッピーディスクなどによる蓄積デバイス 2930から読み出されてプログラム用メモリ 2920に蓄えられている。復号された再生画像は一旦フレームメモリ 2950に蓄えられた後、出力処理を実施するデバイスに出力される。処理メモリ 2910には、図 1 4〜1 7のフローチャートに示されるような予測処理に利用されるデータ（複数の参照ピクチャや各マクロブロックの参照ピクチャ番号、予測方向、動きベクトル）が蓄積されており、プログラムの処理に従って汎用プロセッサにて読み込まれる。また、汎用プロセッサは、プログラムの処理に従って生成されたデータを処理メモリに蓄積する。専用回路 ·専用チップを用いる画像符号化装置の構成を図 2 2に示す。 1個のマクロブロック処理の符号化処理について、処理の流れを説明する。まず、入力マクロブロック画像 201とフレームメモリ 210に蓄積されている符号ィヒ済みフレームの復号画像（参照フレーム）間の動き補償処理が全てのマクロブロックタイプ（8x8 Partitionタイプ）と候補参照フレームの組み合わせについて、動き補償器 211にて行われ、最適なマクロブロックタイプと 8x8 Partitionタイプが選択される。この際、 Directモードの動き捕償を行う場合には、 MV予測器 215 力ら予測方向、参照フレーム番号、動きベクトル情報を取得する必要がある。図 2 6に MV予測器の内部構造を示す。 Directモードを示すマクロブロックタイプ（8x8 Part it ionタイブ）、マクロブロック位置情報（ブロック位置情報）ならびに directモードのタイプ（direct/alternative , 動き補償器にて制御、 alternative予測は図 1 4〜図 1 7に示す代用モード）が入力されるとスィッチャ 2620を通してスィッチャ 2630が起動される。スィッチャ 2630は、 directモードのタイプにしたがってスィツチを切り替える。 directモードのタイプが direct予測の場合には、動きべクトル計算部 2660が起動される。動きべクトル計算部 2660は内部メモリ 2610に保存されている情報を用いて、図 9に示す予測パラメータを算出する。算出されたパラメータは、内部メモリに保存されるとともに動き補償器に通知される。 directモードのタイプが alternative予測の場合には、 alternative予測部 2640が起動される。 alternative予測部は、図 1 4 に示す処理を実施する。具体的には、予測モード選択部 2641, 参照フレーム選択部 2642，動きベクトル選択部 2643が、内部メモリ 2610に保存されている情報を用いて、ぞれぞれ、図 1 5、図 1 6、図 1 7のフローチャートに示す処理を実施し、予測方向、参照フレーム番号ならびに動きベクトルを算出する。これらの予測パラメータは内部メモリに保存されるとともに動き補償器に通知される。

動き補償器の説明に戻る。最適なマクロブロックタイプ選択後、検出された動きべクトノレは、マクロブロックタイプ、予測方向情報 (forward/backward/bi- predictive)、参照フレーム番号と共に MV予測器 215に通知され、内部メモリ 2610の内容が更新される（directモードが選択された場合には、マクロブロックタイプあるいは 8x8 Partitionタイプのみ）。マクロブロツクタイプならぴに 8x8 Partitionタイプが directでないブロックについては、動きベクトル予測部 2650 (スィッチャ 2620にて起動）にて図 8に示す予測処理を実施し、差分動きベクトルを算出する。算出された差分動きベクトルは、マクロブロックタイプ、 8x8 Partitionタイプならびに参照フレーム番号と共に多重化器 206に出力される（directモードが選択された場合には、差分動きべクトルと参照フレーム番号は多重化されない）。なお、ここでは、差分動きべクトルの算出を最適なマクロブロックタイプ（8x8 Partitionタイプ）についてのみについて行うものとしているが、差分動きべクトルの値やその符号量を最適マクロブロックタイプ（8x8 Partitionタイプ）選択時の評価値として利用する場合も考えられる。この場合には、それぞれのマクロブロックタイプ（8x8 Partition タイプ）や参照フレームの組み合わせについて、 MV予測器にて差分動きべタトルを算出する。

動き補償により生成された参照フレームから抜き出された予測マクロプロック画像 213は、 Intra/Inter判定処理部 214に入力される。 Intra/Inter判定部では、イントラモードとインターモードのいずれを最終的なマクロブロックタイプとするかを決定し、判定情報 218を多重化器 206ならびに MV予測器 215に通知する。 MV予測器 215は、判定情報 218がイントラモードの場合、内部メモリ内の保存データを更新する。多重化器は、イントラ/インターモード判定結果と、 W 予測器から得られたインターモードのマクロブロックタイプ、 8x8 Partition タイプ、参照フレーム番号ならぴに差分動きベクトル（directモードが選択された場合には、差分動きベクトルと参照フレーム番号はなし）から図 1 8に示す符号を生成し、符号化ビットストリームに多重化する。 Intra/Inter判定部にて選択されたマクロブロックタイプがィンタ一モードの場合には、予測マク口ブロック画像は、現フレームの入力マクロブロック画像 201との間で差分器 202 にて差分処理され、差分マクロブロック画像が生成される。この際、同時に、予測マク口プロック画像は加算器 209に出力される。 Intra/Inter判定部にて選択されたマク口プロックタイプがィントラモードの場合には、差分器 202ならびに加算器 209には予測マクロブロックは出力されない。

差分器 202から出力される差分マクロブロック画像あるいは入力マクロプロック画像は、まず、 DCT変換される。 DCTのブロックサイズは従来の符号化方式では 8 X 8画素が一般的であるが、最近では、 MPEG- 4 Part 10 (Advanced Video Coding)などで 4x4画素サイズによる DCT変換も検討されているため、ここでは、 4 X 4DCTを例に説明する。差分マクロプロック画像は、図 6に示すように、 2 4 個の 4x4画素ブロックに分割され、 DCT変換器 203にてそれぞれ 16個の DCT係数に変換される。各 DCT係数は、量子化器 204にて量子化され、多重化器 206にて符号ィヒされる。多重化器 206では、図 1、図 2あるいは図 2 4に示すようなヘッダ情報と共に図 1 8に示すようなマクロブロックデータ情報を多重化し、符号化ビットストリームを生成する。量子化 DCT係数は、局部復号器 220の逆量子化器 207 と逆 DCT器 208にて、差分マクロブロック画像あるいはマクロブロック画像に復号される。 'そのマクロブロックの予測モードがインターモードの場合には、差分マクロブロック画像が加算器 209にて予測マクロブロック画像と加算した後、フレームメモリ 201に合成される。そのマクロプロックがイントラモードの場合には、復元されたマクロブロック画像がフレームメモリ 201に合成される。図 2 2のイントラモードではイントラ予測を実施していないが、イントラ予測を実施する符号化方式でも、本発明は適用できる。この場合、 Intra/Inter 判定部にてイントラ予測を実施してもよいが、この処理を動き補償部に組み込む場合も考えられる。特に MPEG- 4 Part 10 (Advanced Video Coding)のように複数のィントラ予測タイプを準備している符号ィ匕方式では、ィンター予測タイプと同列にイントラ予測タイプを极えるため、装置構成が簡易となる。この場合には、動き補償部 211か常に差分予測マクロプロック画像 213が差分器 202 と加算器 209に供給される。また、マクロブロックタイプ情報に判定情報 218が含まれているため、判定情報 218は削除でき、判定情報 218の入力に伴う予測部 215での内部メモリ更新処理も省略される。また、 DCT係数レベルでィントラ予測を行う場合も考えられる。この場合は、 DCT変換部 203ならびに IDCT変換部 208に予測処理を組み込むことで対応できる。

専用回路 ·専用チップを用いる画像復号装置の構成を図 2 3に示す。 1個のマクロブロック処理の復号処理について、処理の流れを説明する。まず、符号化解読器 501にて、入力された符号化データを解析し、動きべクトル関連情報とマクロブロックタイプ情報を MV予測器 508に、量子化 DCT係数情報を逆量子化器 502に振り分ける。

マクロブロックの予測モードがィンターモードの場合には、 MV予測器 508に、ブロック位置情報、マクロブロックタイプ、 8x8 Partitionタイプ、予測方向情報、参照フレーム番号ならびに差分動きベクトルが入力される（マクロブロックタイプが directモードの場合には、マクロプロックタイプとマクロブロック位置情報のみが入力される。また、 8x8 Partitionタイプが directのときは、その 8x8ブロックについては、参照フレーム番号ならびに差分動きべクトルは入力されない）。図 2 7に MV予測器の内部構造を示す。マクロブロックタイプあるいは 8x8 Partitionタイプが directのときには、マクロブロック位置情報あるいはブロック位置情報と共に符号化解読器 501で復号されたスライスへッダ情報内の directモードのタイプ（direct/alternative, 動き捕償器にて制御）が入力される。マクロブロック位置情報（ブロック位置情報）ならびに directモードのタイプ (direct/alternative, 動き補償器にて制御）が入力されるとスィッチヤ 2620を通してスィッチャ 2630が起動される。スィッチャ 2630は、 directモードのタイプにしたがってスィツチを切り替える。 directモードのタイプが direct 予測の場合には、動きべクトル計算部 2660が起動される。動きべクトル計算部 2660は内部メモリ 2710に保存されている情報を用いて、図 9に示す予測パラメータを算出する。算出されたパラメータは、内部メモリに保存されるとともに動き補償器 504に通知される。 directモードのタイプが alternative予測の場合には、 alternative予測部 2640が起動される。 alternative予測部は、図 1 4に示す処理を実施する。具体的には、予測モード選択部 2641，参照フレーム選択部 2642, 動きベクトル選択部 2643が、内部メモリ 2710に保存されている情報を用いて、ぞれぞれ、図 1 5、図 1 6、図 1 7のフローチャートに示す処理を実施し、予測方向、参照フレーム番号ならぴに動きベクトルを算出する。これらの予測パラメータは内部メモリ 2710に保存されるとともに動き補償器 504に出力される。マクロブロックタイプ（8x8 Partitionタイプ）が directでない時には、マクロブロックタイプ（8x8 Partitionタイプ）と共に、マクロブロック位置情報 (プロック位置情報）、参照フレーム番号ならびに差分動きべクトルが入力され、スィッチャ 2620により動きべクトル予測器 2750が起動される。動きべクトル予測部 2750では、内部メモリ 2710の内容と入力データを用いて図 8に示す予測処理を実施し、動きべクトルを復元する。復元された動きべクトルは、予測方向情報、参照フレーム番号と共に内部メモリ 2710と動き補償器 504に出力される。動き補償器 504では、入力されたデータとフレームメモリ 507内の参照ピクチャを用いて予測マクロブロック画像を生成する。次に、予測誤差信号に関する符号化データを、逆量子化器 502と逆 DCT器 503において、 4 X 4画素ブロック毎に、逆量子化 ·逆 DCT処理し、差分マクロプロック画像を再生する。そして、予測マクロプロック画像と差分マクロプロック画像を加算器 505にて加算処理し、マクロブロック画像を再生する。再生されたマクロブロック画像は、合成器 506にて復号フレーム画像に合成される。また、復号フレーム画像は、次フレームの予測用にフレームメモリ 507に蓄積される。

マクロブロックタイプがイントラモードであった場合には、復号した量子化 DCT係数情報を、逆量子化器 502と逆 DCT器 503において、 4 X 4画素ブロック毎に逆量子化.逆 DCT処理し、マクロブロック画像を再生する。この際、図 2 7の内部メモリ 2710の内容は、イントラモードとして更新される。この図では、イントラ予測は実施されないが、 MPEG- 4 Part 10 (Advanced Video Coding)のように複数のイントラ予測タイプを準備している符号ィ匕方式でも、本発明は適用できる。この場合には、動き補償部 504がイントラ予測の機能を含まれ、動き補償部からは常に予測マクロブロック画像が出力される。 ' 図 2 8や図 2 9に示すソフトウェア符号化器（図 1 4〜図 1 7 ) ならびに図 2 2と図 2 6の符号化装置により生成される符号化ビットストリームを記録した蓄積メディア（記録媒体)の例を図 3 0に示す。デジタル情報を記録することができる記録デイスク（磁気デイスクゃ光ディスク） 3000には、同心円上にデジタル情報が記録されている。このディスクに記録されているデジタル情報の一部 3001 を取り出すと、 directモードと代用モードの選択情報 ( _ 6 1106—1 331316) 3011を含むスラィスへッダ情幸艮3010、31(11³モード情報（mb— skip— run) 3021、 3031、 3041、 3051、マクロブロックタイプ情報（mb— type, 8x8 partition) 3022、 3032、 3052、参照フレームの番号と動きベクトルの情報 (ref— index— few, rei一 index_bwd, mvd_fwd, mvd— bwd) 3023、 3053、 DCT係数ならびに符号化プロックパターン情報（CBP, residual 0) 3024、 3054が記録されている。以下、スライスヘッダにて、フレームタイプ力 ¾ - picture、 directモードが代用モードとされた場合について、データの構成を説明する。 3021〜3024ならびに 3051〜3054は、マクロブロックタイプが Directではないマクロブロックの符号化データを示している。なお、 8x8 Partitionに directが含まれる場合もこのデータ構成となる。但し、この場合、 8x8 Partition typeが directとなる 8x8 ブロックに関する参照フレームの番号と動きべタトルの情報は符号化されないため、これらの情報は 3023や 3053には含まれず、復号時には、ソフトウェア復号器では図 1 4〜図 1 7、専用復号装置では図 2 7の処理 2640にて、予測方向、参照フレーム番号ならぴに動きベクトルが算出される。 3031、 3032、 3035の糸且み合わせはマクロブロックタイプが directとなるマクロブロックの符号化データを示している。この場合には、参照フレームの番号と動きベクトルの情報は符号化されない。復号時には、ソフトウェア復号器では図 1 4〜図 1 7、専用復号装置では図 2 7の処理 2640にて、予測方向、参照フレーム番号ならぴに動きべクトルが算出される。 3041は、スキップマクロブロックの例であり、マクロブロックタイプが directであり、 DCT係数情報は存在しない。復号時には、ソフトウヱァ復号器では図 1 4〜図 1 7、専用復号装置では図 2 7の処理 2640にて、予測方向、参照フレーム番号ならびに動きベクトルが算出され、これらのデータにて合成された予測マクロブロック画像がそのまま再生マクロブロック画像となる。このように、蓄積メディアにマクロブロックタイプとして direct モードを示す符号を効率良く埋め込むことにより、少ない情報で再生マク口ブロック画像を合成することが可能となる。

図 3 1に、本発明の符号化方法，復号方法を実現する装置の具体例を示す。記録媒体である光デイクス 3 1 0 1 (DVD-ROM, DVD-R, BD-ROM： Blu - ray Disc ROM, CD- ROM/CD-Rなど）に記録した符号化ビットストリームを読み取り、復号ィ匕する再生装置 3 1 0 2にも本発明の複号化方法を実装することが可能である。この場合、再生された映像信号はテレビモニタ 3 1 0 3に表示される。

アンテナ 3 1 1 1から受信した地上デジタル放送あるいは衛星デジタル放送を符号化し、光ディスク 3 1 1 3 (DVD-RAM, DVD - RW、 BD- RAM、 CD - RWなど）に符号化ビットストリームを記録する記録/再生装置 3 1 1 2にも本発明の符号化方法を実装することが可能である。また、光ディスク 3 1 1 3に記録した符号化ビットストリームを復号化する記録/再生装置 3 1 1 2にて、本発明の復号化方法も実装することが可能である。この場合、再生された映像信号はテレビモニタ 3 1 1 4に表示される。

パソコン 3 1 2 1に本発明の画像符号化方法 ·復号化方法用のソフトウエアを組み込むことにより、画像符号ィヒ ·復号化装置として活用することが可能である。このソフトウェアはコンピュータ読み取り可能な記録媒体である何らかの蓄積メディア（光ディスク、フロッピーディスク、ハードディスクなど） 3 1 2 2に記録されており、これをパソコンが読み込んで使用する。また、さらに何らかの通信回線にこのバソコンを接続することにより、日像通信端末として活用することも可能となる。

ケーブルテレビ用のケーブル 3 1 3 1または衛星デジタル放送あるいは地上デジタル放送のアンテナに接続されたセットトップボックス 3 1 3 2内の復号装置にも本発明の復号方法を実装することが可能であり、デジタル放送をテレビモニタ 3 1 3 3で再生する構成も考えられる。セットトップボックスではなく、テレビモニタ内に本発明の復号方法を含む復号装置を組み込んでも良い。デジタル携帯端末 3 1 4 1にも本発明の符号化方法 ·復号方法を含む装置あるいはソフトウエア符号ィヒ器 ·復号器が実装可能である。実装形式としては、符号方法 '復号方法を両方持つ送受信型の端末の他に、符号化のみの送信端末、複号化のみの受信端末の 3通りの実装形式が考えられる。

動画像撮影用のカメラ 3 1 5 1の中に本発明の符号化装置 ·復号装置を組み込むことも可能である。この場合撮影用カメラは符号化装置と該符号化装置からの出力を記録媒体に記録する記録装置とを持ち、符号化装置から出力された符号化ビットストリームを記録媒体に記録する。記録媒体は光デイクスの場合もある。尚、上記携帯端末にカメラがついている場合は撮像したものを符号化してアンテナを介して送出するようにすることもできる。

カメラ入力を持つ TV会議システム 3 1 6 1の中に本発明の符号化装置 ·復号装置を組み込むごとも可能である。カメラから入力された映像は符号化装置にて符号化ビットストリームに符号化され、ネットワーク 3 1 6 2に配信される。ネットワークから受信した符号化ビットストリームは復号装置にて復号され、モニタに表示される。この場合、本発明の符号化方法ならぴに復号方法を実現する手段は、符号化装置 *復号装置ではなく、ソフトウェア符号化器 *復号器の場合もある。

これらの装置に本発明の符号化方法ならびに復号方法を組み込むことにより、 directモードとその代用モードを有効的に利用することが可能となり、予測性能が向上する。

本発明のヘッダ情報により directモードに使用できるか否かが明確に判断できるようになる。さらに、フレーム番号が時刻情報を持たない場合において、参照フレームと現フレーム間の関係を示す情報を効率良く送ることが可能となる。また、本発明の代用モードとその切り換え手順により、 directモードが適用できない場合の予測性能を向上させることが可能となる。産業上の利用可能性

本願は、動画像の符号ィ匕 ·復号化に適用できる _c

Claims

請求の範囲

1 . 動きベクトルに関する情報を受け取り、記録される参照画像と該動きべクトルに関す情報とを用いて動き補償を行って予測画像を合成する動画像の復号化方法であって、

上記動き補償は、動きべクトルの復号を伴わないモードを含む複数のブロックモードを有し、

予測方向を表す予測モードを選択するステツプと、

該予測モードにおける各予測方向の予測で参照するフレームを複数の参照フレ —ムの候補から選択するステップと、

該予測モードで用いる動きべクトルの情報を選択するステップとを有することを特徴とする動画像の復号化方法。

2 . 上記予測モードの選択のステップあとに、上記参照フレームの選択のステップを行うことを特徴とする請求項 1記載の動画像の復号ィヒ方法。

3 . 上記予測モードを選択するステップは、現在のプロックに隣接するプロックが動きべクトルを有するか否かに基づいて行うことを特@ [とする請求項 1 記載の動画像の復号化方法。

4 . 上記予測モードの選択は、上記隣接するプロックが時間方向に 2方向の動きべクトルを有する場合及び動きべクトルを有しない場合には 2方向予測を、上記隣接するプロックが時間方向に 1方向の動きべクトルを有する場合には前方向予測又は後方向予測を選択することを特徴とする請求項 3記載の動画像の復号化方法。

5 . 上記予測方向の予測で参照するフレームを選択するステップは、 index 番号にて識別された複数の参照フレームから 1個の参照フレームを選択する手順であり、複数の上記隣接プロックが上記予測方向の予測を適用している場合には何れかの上記隣接ブロックの使用する参照フレームを選択し、 1個の上記隣接プロックのみが上記予測方向の予測を適用している場合には該 1個の隣接ブロックが適用する index番号の参照フレームを選択し、上記隣接ブロックが上記選択された予測モードを採用していない場合には index番号が 0番の参照フレームを選択することを特徴とする請求項 1記載の動画像の複号化方法。

6 . 上記複数の上記隣接プロックが上記予測方向の予測を適用している場合には、適用されている参照フレームのうち i n d e X番号の小さいものを選択することを特徴とする請求項 5記載の動画像の復号化方法。.

7 . 上記隣接プロックとして、 3つのブロックを候補プロックとすることを特徴とする請求項 3に記載の動画像の復号化方法。

8 . 上記隣接ブロックとして、 3つのブロックを候補ブロックとすることを特徴とする請求項 4に記載の動画像の復号化方法。

9 . 上記動きべタトルの選択ステツプと上記参照するフレームの選択ステップとは異なる大きさのブロックに対して行うことを特徴とする請求項 1記載の動画像の復号化方法。

1 0 . 複数の上記ブロック単位に付されるヘッダに、ブロックモードとして上記動きべクトルの復号を伴わないモードが選択された場合の予測手順を決める情報を含めて受け取ることを特徴とする請求項 1に記載の動画像の復号化方法。

1 1 . 上記予測手順を決める情報は、上記動きべクトルの復号を伴わないモ一ドを複数ある予測方法の何れを用レヽるかブロックごとに選択する情報であることを特徴とする請求項 1 0に記載の動画像の復号化方法。

1 2 . 動き補償を用いて合成された予測画像と入力画像の差分に関する情報と、前記動き補償によって求められた動きべクトルに関する情報を多重化する動画像の符号化方法であって、

上記動き捕償は、動きべクトルの符号化を伴わないモードを含む複数のプロックモードを有し、

予測方向を表す予測モードを選択するステップと、

該予測モードにおける各予測方向の予測で参照するフレームを複数の参照フレ一ムの候補から選択するステップと、

該予測モードで用いる動きべクトルの情報を選択するステップとを有することを特徴とする動画像の符号化方法。

.1 3 . 上記予測モードを選択するステップは、現在のプロックに隣接するブロックが動きべクトルを有するか否かに基づいて行うことを特徴とする請求項 1 2記載の動画像の符;^ィヒ方法。

1 4 . 上記予測モードの選択は、上記隣接するブロックが時間方向に 2方向の動きべクトルを有する場合及び動きべクトルを有しない場合には 2方向予測を、上記隣接するブロックが時間方向に 1方向の動きべクトルを有する場合には前方向予測又は後方向予測を選択することを特徴とする請求項 1 3記載の動画像の符号化方法。

1 5 . 上記予測方向の予測で参照するフレームを選択するステップは、 index 番号にて識別された複数の参照フレームから 1個の参照フレームを選択する手順であり、複数の上記隣接プロックが上記予測方向の予測を適用している場合には何れかの上記隣接プロックの使用する参照フレームを選択し、 1個の上記隣接プロックのみが上記予測方向の予測を適用している場合には該 1個の隣接ブロックが適用する index番号の参照フレームを選択し、上記隣接ブロックが上記選択された予測モードを採用していない場合には index番号が 0.番の参照フレームを選択することを特徴とする請求項 1 2記載の動画像の符号化方法。

1 6 . 上記複数の上記隣接ブロックが上記予測方向の予測を適用している場合には、適用されている参照フレームのうち i n d e x番号の小さいものを選択することを特徴とする請求項 1 5記載の動画像の符号化方法。

1 7 . 上記隣接ブロックとして、 3つのプロックを候補ブロックすることを特徴とする請求項 1 3に記載の動画像の符号化方法。

1 8 . 上記動きべタトルの選択ステツプと上記参照するフレームの選択ステップとは異なる大きさのブロックに対して行うことを特徴とする請求項 1 2記載の動画像の符号化方法。

1 9 . 複数の上記ブロック単位に付されるヘッダに、ブロックモードとして上記動きべクトルの符号ィヒを伴わないモードが選択された場合の予測手順を決める情報を含めて多重化することを特徴とする請求項 1 2に記載の動画像の符号化方法。