JP3940657B2 - 動画像符号化方法と装置及び動画像復号化方法と装置 - Google Patents
動画像符号化方法と装置及び動画像復号化方法と装置 Download PDFInfo
- Publication number
- JP3940657B2 JP3940657B2 JP2002288015A JP2002288015A JP3940657B2 JP 3940657 B2 JP3940657 B2 JP 3940657B2 JP 2002288015 A JP2002288015 A JP 2002288015A JP 2002288015 A JP2002288015 A JP 2002288015A JP 3940657 B2 JP3940657 B2 JP 3940657B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- prediction mode
- frame
- reference frame
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術の分野】
本発明は、複数の参照フレームを利用して動き補償予測を行う動画像符号化方法と装置及び復号化方法と装置に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化技術として、ＭＰＥＧ(Motion Picture Experts Groupe)方式が実用化されている。ＭＰＥＧ方式は、基本的に動き補償予測とＤＣＴ変換及び可変長符号化を組み合わせて符号化を行う方式であり、ＭＰＥＧ１，ＭＰＥＧ２及びＭＰＥＧ４が規格化されている。
【０００３】
動き補償予測では、入力画像信号を複数の画素からなる画素ブロック（予測対象ブロックという）に分割し、予測対象ブロック毎に参照フレームからの動きを示す動きベクトルを求めて動き補償を行い、予測画像信号を生成する。予測対象ブロックの形状は符号化方式によって異なり、例えばＭＰＥＧ１では１６×１６画素、ＭＰＥＧ２では１６×１６画素または１６×８画素、ＭＰＥＧ４では１６×１６画素または８×８画素にそれぞれ制限されている。
【０００４】
【発明が解決しようとする課題】
動画像符号化においては、符号化効率のより一層の向上が要求されている。このためには選択可能な予測対象ブロックの形状を増やしたり、動き補償予測に用いる参照フレームの選択肢を増やしたりすることで、予測効率を上げればよい。すなわち、予測対象ブロック毎に選択可能な予測モードの数を増やして、より予測効率の高い予測モードを選択することで、符号化効率の向上を図ることができる。しかしながら、予測対象ブロック毎に様々な予測モードを選択可能にすると、予測モードの種類の増加に伴い、予測モード情報を符号化するオーバーヘッドの符号量が増大するという問題がある。
【０００５】
本発明は、符号化のオーバヘッドの増加を抑えつつ予測効率を向上させて、より高い符号化効率を実現できる動画像符号化方法と装置及び復号化方法と装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明は入力画像信号の符号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像符号化方法において、予測対象ブロック毎に、予測対象ブロック形状と単一または複数の参照フレームからの動き補償予測との組み合わせからなる複数の予測モードから一つの予測モードを選択し、選択された予測モードに従って予測対象ブロックの動き補償予測を行い、符号化対象フレーム毎または該フレーム内の所定領域毎に、複数の予測モードと予測モードインデックスを対応付けた複数の予測モードテーブルのうちの少なくとも一つの予測モードテーブルを参照して、選択された予測モードに対応する予測モードインデックスを符号化する。
【０００７】
ここで、複数の予測モードテーブルは、複数の参照フレームをそれぞれ示すために同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１及び第２の参照リストの両方により動き補償予測に用いる参照フレームを規定する第１の予測モードテーブルと、第１及び第２の参照リストの一方のみにより動き補償予測に用いる参照フレームを規定する第２の予測モードテーブルとを含む。
【０００８】
予測モードインデックスの符号化のために、符号化対象フレーム毎または該フレーム内の所定領域毎に複数の予測モードテーブルから一つの予測モードテーブルを選択し、選択した予測モードテーブルを参照して予測モードインデックスを符号化してもよい。
【０００９】
動き補償予測に際しては、さらに選択された予測モードテーブルを示すテーブルインデックスを符号化してもよい。予測モードテーブルの選択は、複数の参照フレームが符号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは符号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、該選択する一つの予測モードテーブルを決定することもできる。
【００１０】
また、本発明は復号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像復号化方法において、予測対象ブロック毎に符号化された予測モードインデックスを復号化し、予測対象ブロック形状と単一または複数の参照フレームからの動き補償予測との組み合わせからなる複数の予測モードと予測モードインデックスを対応付けた複数の予測モードテーブルのうちの少なくとも一つの予測モードテーブルを参照して、復号化された予測モードインデックスに対応する予測モードを選択し、選択された予測モードに従って予測対象ブロックの動き補償予測を行う。
【００１１】
を具備する動画像復号化方法。
【００１２】
ここで、複数の予測モードテーブルは、複数の参照フレームをそれぞれ示すために同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１及び第２の参照リストの両方により動き補償予測に用いる参照フレームを規定する第１の予測モードテーブルと、第１及び第２の参照リストの一方のみにより動き補償予測に用いる参照フレームを規定する第２の予測モードテーブルとを含む。
【００１３】
予測モードインデックスの符号化のために、符号化対象フレーム毎または該フレーム内の所定領域毎に、複数の予測モードテーブルから一つの予測モードテーブルを選択し、選択された予測モードテーブルを参照して予測モードインデックスを符号化してもよい。
【００１４】
動き補償予測に際しては、符号化されたテーブルインデックスを復号化し、復号化されたテーブルインデックスに従って一つの予測モードテーブルを選択するようにしてもよい。予測モードテーブルの選択は、複数の参照フレームが復号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは復号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、選択する一つの予測モードテーブルを決定することもできる。
【００１５】
各予測モードテーブルとして、取り得る予測モードのサブセット、参照フレームの構成により発生しない予測モードを削減したもの、あるいは予測モードの並べ替えを行ったテーブルを用い、符号化対象フレーム毎あるいは符号化対象フレームの領域毎に、予測モードの選択状況に応じて適切な予測モードテーブルを選択することで、予測モードインデックスを符号化するための符号量を削減することが可能となる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（符号化側の構成）
図１に、本発明の一実施形態に係る動画像符号化方法を実施する装置の構成を示す。図１に示す動画像符号化装置は、ハードウェアで実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。
【００１７】
図１において、入力画像信号（動画像信号）１００は、符号化部１０１に入力される。符号化部１０１は減算部１０２、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６、加算部１０７、フレームメモリ／予測画像作成部１０８、モードテーブル選択部１０９、モード選択部１１０及び可変長符号化部１１６を有する。
【００１８】
フレームメモリ／予測画像作成部１０８は、複数のフレームメモリと動きベクトル検出機能及び動き補償予測機能を有する。フレームメモリ／予測画像作成部１０８では、まず入力画像信号１００の複数に分割された複数の画素からなる画素ブロック（以下、これを予測対象ブロックという）毎に、フレームメモリに記憶されている複数の参照フレームを用いて、動きベクトルの検出が行われる。一方、モード選択部１１０では、複数の予測モードの中からの最適な一つの予測モードが選択される。こうして検出された動きベクトル及び選択された予測モードを用いて、フレームメモリ／予測画像作成部１０８により一つまたは複数の参照フレームに対して動き補償が行われ、予測画像信号が生成される。
【００１９】
フレームメモリ／予測画像作成部１０８により生成された予測画像信号は減算部１０２に入力され、ここで入力画像信号１００との差である予測誤差信号が求められる。この予測誤差信号に対して、直交変換部１０３により直交変換（例えば、ＤＣＴ変換）が施され、直交変換係数が生成される。直交変換係数は、量子化部１０４により量子化される。
【００２０】
量子化された直交変換係数１１１は、モード選択部１１０から出力されるモード情報１１２、モードテーブル１０９から出力されるモードテーブル情報１１３、フレームメモリ／予測画像作成部１０８から出力される動きベクトル情報１１４及び参照フレーム／予測係数情報１１５などの動き補償予測方法に関わる情報と共に、可変長符号化部１１６により可変長符号化される。以下の説明では、参照フレーム／予測係数情報１１５を参照フレーム情報と予測係数情報に分けて述べる場合もある。モード情報１１２、モードテーブル情報１１３、動きベクトル情報１１４及び参照フレーム／予測係数情報１１５については、後に詳しく説明する。
【００２１】
可変長符号化部１１６によって生成される上記の各情報１１１〜１１５に対応する可変長符号のデータは、多重化部１１８によって多重化され、出力バッファ１１９を介して符号化データ１２０が出力される。符号化データ１２０は、図示しない蓄積系または伝送系へ送出される。
【００２２】
量子化された直交変換係数１１１は逆量子化部１０５にも入力され、逆量子化部１０５及び逆直交変換部１０６によって量子化部１０４及び直交変換部１０３と逆の処理を受けることにより、予測誤差信号が再生される。再生された予測画像信号は加算部１０７に入力され、フレームメモリ／予測画像生成部１０８により生成された予測画像信号と加算されることにより、局部復号化画像信号が生成される。局部復号化画像信号は、参照フレームとしてフレームメモリ／予測画像作成部１０８内のフレームメモリに保存される。
【００２３】
出力バッファ１１９からは、出力バッファ１１９に一時保持される符号化データの発生符号量の情報が符号化制御部１１７にフィードバックされる。これによって、符号化制御部１１７は量子化部１０３及び逆量子化部１０５量子化特性（量子化ステップ幅）の制御により発生符号量の制御を行うレート制御と、フレームメモリ／予測画像作成部１０８におけるフレーム間予測構造の制御を始めとする、符号化部１０１に対する各種の制御を行う。
【００２４】
モードテーブル選択部１０９は、入力画像信号１００の符号化対象フレーム毎または符号化対象フレーム内の複数の画素ブロックから構成される領域（以下、スライスと呼ぶ）毎に、複数の予測モードテーブルの中から符号化効率をより高くする一つの予測モードテーブルを選択する。予測モードテーブルは、後述するように予測対象ブロックの形状と複数の予測モードとの組み合わせと予測モードインデックスを対応付けたテーブルである。
【００２５】
モードテーブル選択部１０９によって選択された予測モードテーブルを示すモードテーブル情報１１３は、可変長符号化部１１６によりインデックス（予測モードテーブルインデックス）として符号化される。他の実施形態として、参照フレームの構成（動き補償予測構造）に応じて予測モードテーブルが自動的に一意に決定される構成としてもよい。その場合は、予測モードテーブルインデックスの符号化は不要である。いずれの場合においても、復号化時には符号化時に使用したのと同一の予測モードテーブルが選択され、予測モード情報の復号化が行われる。
【００２６】
モード選択部１１０は、入力画像信号１００の予測対象ブロック毎に、モードテーブル選択部１０９によって選択された予測モードテーブルを参照して最適な予測モードを選択すると共に、選択した予測モードを示すモード情報１１２を出力する。ここで、予測モードとは後述するように、予測対象ブロックの形状と動き補償予測モードの組み合わせである。モード選択部１１０から出力される選択した予測モードを示すモード情報１１２は、可変長符号化部１１６により予測モードインデックスとして符号化される。
【００２７】
（符号化処理手順）
次に、本実施形態における動き補償予測を含む符号化処理手順について説明する。
まず、最小符号化コストMinCostの初期値に最大値を設定（ステップＳ１０）、予測ブロックの形状モードを示すインデックスBlockTypeに０を設定（ステップＳ１１）、参照フレームを識別するインデックスRefFrameに０を設定する（ステップＳ１２）。
【００２８】
次に、入力画像信号１００の予測対象ブロック毎に、設定されたブロック形状及び参照フレームを用いて動きベクトルの検出を行う（ステップＳ１３）。すなわち、周知のブロックマッチングを用いて、入力画像信号１００である符号化対象フレームの予測対象ブロックと最も相関の高い複数の画素から構成される領域（参照ブロック）を参照フレームから探索し、予測対象ブロックと参照ブロックとをつなぐベクトルを動きベクトルとして検出する。
【００２９】
次に、検出された動きベクトルを用いて、設定された参照フレームの各々から参照ブロックを切り出し、切り出された参照ブロックに対し線形予測演算を施して、予測画像信号を生成する（ステップＳ１４）。参照フレームが２つ選択された予測対象ブロックに対しては、各々の参照フレームから一つずつ、計２個の参照ブロックが切り出されることになる。
【００３０】
次に、切り出された参照ブロックに対し線形予測演算を施して、予測画像信号を生成する（ステップＳ１４）。
【００３１】
ステップＳ１４においては、参照ブロックが一つの場合の予測画像信号は次式（１）または（２）に従って計算され、参照ブロックが２つの場合の予測画像信号は次式（３）に従って計算される。
ここで、P(x,y) は画素位置(x,y) の予測画像信号、R(a, b, c) はa番目の参照フレームの画素位置(b, c) の画像信号（画素信号）、W0, W2, C は線形予測係数、ref_idx_l0 及び ref_idx_l1 は参照フレームインデックス、(mv0.x, mv0.y) 及び (mv1.x, mv1.y) は動きベクトルのx方向成分及びy方向成分をそれぞれ表す。
【００３２】
次に、予測画像信号と符号化対象ブロックの信号から予測誤差信号を生成し（ステップＳ１５）、該予測モードにおける符号化コスト計算を行う（ステップＳ１６）。符号化コストがそれまでの最小コストMinCostを下回れば、最適なブロック形状のインデックスBestBlockTypeと、最適な参照フレームのインデックスBestRefFrameの更新を行う（ステップＳ１７，Ｓ１８）。
【００３３】
次に、参照フレームのインデックスを更新して（ステップＳ１９）、全ての参照フレームに対し再度動き検出及びコスト計算を繰り返す（ステップＳ２０）。１つのブロック形状で各々の参照フレームを用いた予測のコスト計算を行った後、予測対象ブロックのブロック形状を示すインデックスBlockTypeの更新を行い（ステップＳ２１）、再度各々の参照フレームを用いた予測のコスト計算を全ブロック形状について行う（ステップＳ２２）。
【００３４】
ステップＳ２２の処理が終了した時点で、その符号化ブロックに対する最適なブロック形状BestBlockTypeと、最適な参照フレームBestRefFrameが決定される。動きベクトル、ブロック形状及び参照フレームの識別情報は、通常の予測モードでは符号化ブロック毎にヘッダ情報として符号化される（ステップＳ２３）。
【００３５】
すなわち、式（１）〜（３）のうちのいずれの計算式（予測モード）で予測画像信号を生成したかを示すモード情報１１２、ステップＳ１１で選択された参照フレームを示す参照フレーム番号（参照フレームインデックス）ref_idx_l0, ref_idx_l1と線形予測係数W0, W1, Cを含む参照フレーム／予測係数情報１１５、各参照フレームに対応する動きベクトル(mv0.x, mv0.y), (mv1.x, mv1.y)を示す動きベクトル情報１１４が直交変換係数情報１１１と共に可変長符号化され、多重化部１１８によって符号化データ１２０に多重化される。
【００３６】
なお、後述する予測モードテーブルの選択を行うステップは、図２のフローチャートでは、示されていないが、例えば図２の最初に予測モードテーブル選択ステップを付加してもよい。
【００３７】
（動き補償予測方法について）
次に、図３〜図５を用いて本実施形態における具体的な動き補償予測方法について説明する。本実施形態における動き補償予測予測方法は、時間的に過去の複数の参照フレームのみからの予測を行う方法と、時間的に過去及び未来の複数フレームからの予測を行う方法に大別される。
【００３８】
図３は、時間的に過去の複数の参照フレームのみからの予測を行う例であり、フレーム２００は符号化対象フレーム、フレーム２０１，２０２，２０３はそれぞれ参照フレームを示している。ブロック２０４，２０５，２０６は、それぞれ符号化対象の画素ブロックを示している。画素ブロック２０４に対しては、参照フレームがフレーム２０１であることを示す参照フレーム番号の情報と、動きベクトル２０７を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。同様に、画素ブロック２０５に対しては、参照フレームがフレーム２０３であることを示す参照フレーム情報と、動きベクトル２０８を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。一方、画素ブロック２０６に対しては、参照フレームがフレーム２０１及び２０２であることを示す参照フレーム情報と、動きベクトル２０９及び２１０を用いた２つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。
【００３９】
図４は、時間的に過去及び未来の複数フレームからの予測を行う例であり、フレーム２２０は符号化対象フレーム、フレーム２２１，２２２，２２３はそれぞれ参照フレームを示している。ブロック２２４，２２５，２２６は、それぞれ符号化対象の画素ブロックを示している。画素ブロック２２４に対しては、参照フレームが前方参照フレーム２２１であることを示す参照フレーム情報と、動きベクトル２２７を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。画素ブロック２２５に対しては、参照フレームが後方参照フレーム２２３であることを示す参照フレーム情報と、動きベクトル２２８を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。一方、画素ブロック２２６に対しては、参照フレームが前方参照フレーム２２２及び後方参照フレーム２２１であることを示す参照フレーム情報と、動きベクトル２２９及び２３０を用いた２つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。
【００４０】
さらに、本実施形態では動き補償予測を行う単位である予測対象ブロックの形状が一定でなく、例えば１６画素×１６ラインの画素ブロック（以下、これをマクロブロックという）単位あるいはマクロブロックをさらに分割した微小ブロック単位に動き補償予測を行う。ここで予測対象ブロックのブロック形状とは、上記マクロブロックの形状を１６画素×１６ラインで表しているように、ブロックの形（正方形または長方形）のみでなく、大きさも表す。一般的に、画素ブロックの形状はｍ画素（画像の水平方向の画素数）×ｎライン（画像の垂直方向のライン数）で表されるが、以後はライン数ｎを画像の垂直方向の画素数とみなして、ｍ×ｎ画素の表記形式で予測対象ブロックの形状を表すものとする。予測対象ブロックの形状はマクロブロック単位に変更可能であり、予測対象ブロックの形状の情報は上述した予測モード情報と併せて符号化される。
【００４１】
具体的には、図５に示すように１６×１６画素のマクロブロックを一つの予測対象ブロックとみなす（ａ）、マクロブロックを１６×８画素または８×１６画素の２つの予測対象ブロックに分割する（ｂ）（ｃ）、マクロブロックを８×８画素の４つの予測対象ブロックに分割する（ｄ）、マクロブロックを８×８画素の４つの画素ブロックに分割した後、さらに各８×８画素ブロック毎に８×８画素の予測対象ブロック、８×４画素または４×８画素の２つの予測対象ブロック、４×４画素の４つの予測対象ブロックのいずれかに分割する（ｅ）、といった各種のブロック形状を選択することが可能である。ここで、図５（ｅ）の８×８画素以下のブロックをサブマクロブロックと呼ぶことにする。
【００４２】
従来の動画像符号化方式における予測対象ブロックの形状は、ＭＰＥＧ１では１６×１６画素、ＭＰＥＧ２では１６×１６画素または１６×８画素、ＭＰＥＧ４では１６×１６画素または８×８画素にそれぞれ制限されている。これに対し、本実施形態では上述のように１６×１６画素から４×４画素ブロックまでにわたって、予測対象ブロックの形状の種類がより拡張されている。
【００４３】
（動き補償予測に関わる情報の符号化方法について）
次に、本実施形態における動き補償予測に関わる各種の情報の具体的な符号化方法について説明する。本実施形態における符号化すべき動き補償予測に関わる情報は、▲１▼参照フレーム番号、▲２▼予測係数情報、▲３▼動きベクトル情報、▲４▼予測対象ブロックの形状を示す情報、▲５▼一つの参照フレームの予測かあるいは２つの参照フレームからの線形予測かを示す情報である。▲１▼▲２▼及び▲３▼については、参照フレーム／予測係数情報１１５及び動きベクトル情報１１４としてそれぞれ独立に符号化する。▲４▼と▲５▼については、両者の組み合わせを表すモード情報１１２（予測モードインデックス）として符号化する。以下、▲１▼▲４▼▲５▼の各情報の符号化方法について述べる。
【００４４】
（ａ）参照フレーム番号の符号化方法：
まず、前記▲１▼の参照フレーム番号の符号化方法について説明する。符号化対象フレーム毎に、動き補償予測に使用される参照フレームを区別するためのインデックステーブル（以下、参照フレームインデックステーブルという）を２セットを用意して、それぞれ異なる番号付けの定義を行う。参照フレームの番号付けについては、予め定義された規則に従って自動的に設定してもよいし、符号化対象フレーム毎に明示的に番号付けを設定する情報を符号化してもよい。以下、フレーム間予測構造と参照フレームインデックステーブルの例を示す図６及び図７を用いて、参照フレーム番号の符号化方法の具体例について述べる。
【００４５】
図６は、既に符号化及び局部復号化された過去の４フレームを参照フレームとするフレーム間予測構造の例を示しており、表示順が「４」のフレームを現フレームである符号化対象フレームとし、表示順が「０」〜「３」のフレームを参照フレームとしている。この例では、表示順と符号化順は同一である。参照フレームインデックステーブルとしては、参照リスト０と参照リスト１の２セットが用意される。これによれば、例えば符号化対象フレームの直前に符号化された表示順が「３」のフレームは、参照リスト０の「０」番目のフレーム、または参照リスト１の「１」番目のフレームが参照フレームとして用いることを示している。
【００４６】
図７は、表示順と符号化順が異なるフレーム間予測構造の例である。実線で表したフレームが符号化対象フレームの場合は、過去の実線で表した複数のフレームを参照フレームとして用いる。破線で表したフレームが符号化対象フレームの場合は、既に符号化済みの実線で表した未来の１フレームと、実線で表した過去の複数フレームを参照フレームとして用いる。例えば、破線で表したフレームのうち表示順が「８」のフレームが符号化対象フレームの場合は、表示順が「９」（符号化順が「７」）の未来の１フレームと、表示順が「０」，「３」及び「６」の過去の３フレームをそれぞれ参照フレームとして用いる。
【００４７】
図７の例においても、参照フレームインデックステーブルは２セット用意されており、それぞれ異なる番号付けが行われる。例えば、参照リスト１の「０」番の参照フレームは表示順が「９」のフレームを示し、参照リスト０の「０」番の参照フレームは表示順が「６」のフレームを示す。
【００４８】
参照フレームインデックスは、参照フレームインデックステーブル（参照リスト０及び参照リスト１）によって示される参照フレーム番号を表すインデックスである。参照リスト０及び参照リスト１中にそれぞれ参照フレームが２フレーム以上あった場合、参照フレームインデックスは、参照リスト０中の参照フレームを示すインデックスref_idx_l0、参照リスト１中の参照フレームを示すインデックスref_idx_l1として、予測対象ブロック単位に符号化される。
【００４９】
動き補償予測を一つの参照フレームを用いて行う予測対象ブロックでは、参照フレームインデックスとしてref_idx_l0またはref_idx_l1のいずれか一方が符号化され、動き補償予測を２つの参照フレームの線形和で行う予測対象ブロックでは、参照フレームインデックスref_idx_l0及びref_idx_l1の両方が符号化される。ただし、各参照リスト０及び１にそれぞれ含まれる参照フレーム数が２フレーム以上でなければ、明示的に参照フレームインデックスを送る必要が無いため、このような参照フレームインデックスの符号化は行われない。
【００５０】
一方、参照リスト０及び参照リスト１にそれぞれ含まれる参照フレーム数を示す情報は、スライス毎にヘッダ情報（スライスヘッダ）として、それぞれnum_ref_idx_l0_active_minus1及びnum_ref_idx_l1_active_minus1のように符号化される。
【００５１】
ここで、図８〜図１１を用いて符号化データ１１０の各ヘッダ情報のデータ構造について説明しておく。図８にスライスヘッダのデータ構造の一部を示し、図９にマクロブロックヘッダのデータ構造の一部を示し、図１０及び図１１に予測対象ブロックヘッダ及びサブブロックヘッダのデータ構造を示す。
【００５２】
図８のスライスヘッダでは、後述するマクロブロックタイプ情報の予測モードテーブルに関する情報mb_type_table_idxと、参照フレーム数を示す情報num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1等が符号化される。図９のマクロブロックヘッダでは、予測対象ブロックの形状が８×８画素より大きい場合とそうでない場合とでデータ構造が異なる。前者の場合は、図１０の予測対象ブロックヘッダのデータ構造に従って、参照フレームインデックス(ref_idx_l0, ref_idx_l1)と動きベクトル情報(mvd_l0, mvd_l1)が符号化される。後者の場合は、図１１のサブブロックヘッダのデータ構造に従って、参照フレームインデックス及び動きベクトル情報が符号化される。
【００５３】
（ｂ）予測対象ブロックの形状を示す情報と、一つの参照フレームからの予測かあるいは２つの参照フレームからの線形和による予測かを示す情報の符号化方法：
前記▲４▼の予測対象ブロックの形状を示す情報と、前記▲５▼の一つの参照フレームの予測かあるいは２つの参照フレームからの線形和による予測かを示す情報は、図９中に示されるマクロブロックタイプmb_type及び図１１中に示されるサブマクロブロックタイプsub_mb_typeを表すインデックス（これを予測モードインデックスという）を用いて符号化される。
【００５４】
マクロブロックタイプmb_typeを表す予測モードインデックスは、表１に示す予測モードテーブルと表２に示す予測モードテーブルのいずれか一方を用いて符号化される。
【００５５】
【表１】
【００５６】
【表２】
【００５７】
表１及び表２に示す予測モードテーブルは、マクロブロックタイプ値Value of mb_type、マクロブロックタイプ名Macroblock type mb_type name、マクロブロック分割数num_mb_partition( )、２種類のマクロブロック分割予測モードmb_partition_pred_mode( , 1), mb_partition_pred_mode( , 2)及びサブブロック数num_sub_blocks( )の各項目を対応付けている。
【００５８】
ここで、マクロブロックタイプ値Value of mb_typeが予測モードインデックスに相当する。マクロブロックタイプ名Macroblock type mb_type nameは、予測対象ブロックの予測モード及び予測対象ブロックの形状を表しており、Directはダイレクト符号化モードを意味し、Predは一つの参照フレームからの動き補償予測、BiPredは２つの参照フレームからの動き補償予測をそれぞれ意味する。LOは、動き補償予測に用いる参照フレームが参照リスト０の参照フレームであることを意味する。16×16, 16×8, 8×16, 8×8は、図５（ａ）（ｂ）（ｃ）（ｄ）で説明した予測対象ブロックの形状を意味する。なお、ダイレクト符号化モードは例えば双方向フレーム間予測符号化モード（いわゆるＢピクチャの符号化モード）であり、最も時間的に近いフレーム内符号化フレーム（Ｉピクチャ）、またはフレーム間予測符号化フレーム（Ｐピクチャ）のフレーム上の空間的に同じ位置のマクロブロックを予測元として、動き補償予測情報を生成するモードである。
【００５９】
マクロブロック分割数num_mb_partition( )は、予測対象ブロックがマクロブロックをいくつ分割しているかを表し、予測対象ブロックの形状に対応する。マクロブロック分割予測モードmb_partition_pred_mode( , 1), mb_partition_pred_mode( , 2)は、予測対象ブロックの予測モードを表し、使用している記号の意味は上述の通りである。サブブロック数num_sub_blocks( )は、予測対象ブロックに含まれるサブブロックの数を表す。
【００６０】
一方、サブマクロブロックタイプsub_mb_typeを示す予測モードインデックスは、表３に示す予測モードテーブルと表４に示す予測モードテーブルのいずれか一方を用いて符号化される。
【００６１】
【表３】
【００６２】
【表４】
【００６３】
表３及び表４に示す予測モードテーブルは、サブマクロブロックタイプ値Value of sub_mb_type、サブマクロブロックタイプ名Name of sub_mb_type、サブマクロブロック分割数num_sub_mb_partition( )、サブマクロブロック予測モードsub_mb_pred_mode( )、サブマクロブロックイントラ分割数num_sub_mb_intra_partition( )及びサブブロック数num_sub_blocks( )を対応付けている。
【００６４】
ここで、サブマクロブロックタイプ値Value of sub_mb_typeが予測モードインデックスに相当する。サブマクロブロックタイプ名Name of sub_mb_typeは、予測対象ブロックの予測モード及び予測対象ブロックの形状を表し、Directはダイレクトモード符号化モードを意味し、Predは一つの参照フレームからの動き補償予測、BiPredは２つの参照フレームからの動き補償予測、Intraはイントラ予測をそれぞれ意味する。LO, L1は、それぞれ動き補償予測に参照リスト０及び参照リスト１の参照フレームを用いることを意味する。8×8, 8×4, 4×8, 4×4は、図５（ｅ）で説明した予測対象ブロックの形状を意味する。
【００６５】
サブマクロブロック分割数num_sub_mb_partition( )は、予測対象ブロックがいくつのサブブロックに分割されているかを表し、予測対象ブロックの形状に対応する。サブマクロブロック予測モードsub_mb_pred_mode( )は、予測対象ブロックの予測モードを表し、使用している記号の意味は上述の通りである。サブブロックイントラ分割数num_sub_mb_intra_partition( )は、イントラ予測対象ブロックに含まれるサブブロックの数を表し、サブブロック数num_sub_blocks( )は、予測対象ブロックに含まれるサブブロックの数を表す。
【００６６】
（予測モードテーブルを区別する方法について）
上述したように、本実施形態では予測モードインデックスは表１〜表４の予測モードテーブルのいずれか用いて符号化される。従って、予測モードインデックスの符号化にいずれの予測モードテーブルを用いたかを復号化側で区別できるようにする必要がある。この方法として、以下の二つの態様がある。
【００６７】
（１）第１の態様では、予測モードインデックスを表１〜表４の予測モードテーブルのいずれか用いて符号化したかを示す情報がマクロブロックタイプテーブルインデックスmb_type_table_idxとして符号化され、これがスライスヘッダに付加される。
【００６８】
（２）第２の態様では、予測モードインデックスの符号化に表１〜表４の予測モードテーブルのいずれか用いるかを符号化対象フレーム毎にフレーム間予測構造に基づいて、すなわち動き補償予測に用いる参照フレームの構成に基づいて、自動決定して選択する。
【００６９】
具体的には、例えば図６の表示順が「４」のフレームが符号化対象フレームである場合のように、符号化対象フレームに対して時間的に過去の複数のフレームのみを参照フレームとする場合は、表２または表４に示す予測モードテーブルを選択する。また、例えば図７の表示順が「８」のフレームが符号化対象フレームである場合のように、符号化対象フレームに対して時間的に未来及び過去の複数のフレームを参照フレームとする場合は、表１または表３に示す予測モードテーブルを選択する。このように使用する予測モードテーブルを参照フレームの構成に基づいて自動決定で選択する場合には、予測モードテーブルを示すテーブルインデックスを明示的に符号化する必要はない。
【００７０】
（予測モードテーブルについて）
次に、表１〜表４に示した予測モードテーブルの特徴的な構成について説明する。予測モードインデックス（マクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_type）として符号化される情報は、前述したように(1)予測対象ブロックの形状（１６×１６画素、８×１６画素など）を示す情報と、(2)参照リスト０の参照フレームからの動き補償予測(Pred_L0)か、参照リスト１の参照フレームからの動き補償予測(Pred_L1)か、あるいは参照リスト０の参照フレームと参照リスト１の参照フレームとの線形和による動き補償予測(BiPred)かを区別する情報である。これらの情報に応じて、図１０及び図１１に示したヘッダデータのデータ構造に示されるように、参照フレームインデックスref_idx_l0, ref_idx_l1の符号化を行うか否かが決定される。
【００７１】
図６及び図７で示したように、一つの参照フレームからの動き補償予測において参照フレームを特定する方法としては、同一の参照フレームを特定する場合でも、参照リスト０の参照フレームインデックスref_idx_l0を用いる方法と、参照リスト１の参照フレームインデックスref_idx_l1を用いる方法の２通りがある。この２通りの方法を可能とするものが、表１及び表３の予測モードテーブルである。
【００７２】
一方、一つの参照フレームからの動き補償予測において参照リスト０の参照フレームインデックスのみを用いることに制限されたものが、表２及び表４の予測モードテーブルである。つまり、表１及び表３の予測モードテーブルでは、参照リスト０の参照フレームからの動き補償予測であるPred_L0と、参照リスト１の参照フレームからの動き補償予測であるPred_L1という２つの予測モードが存在するが、表２及び表４の予測モードテーブルではPred_L0のみ存在し、Pred_L1は存在しない。
【００７３】
マクロブロックタイプmb_type、サブマクロブロックタイプsub_mb_type及び参照フレームインデックスref_idx_l0, ref_idx_l1などのインデックス情報は、それぞれ可変長符号化等のエントロピー符号化が施される。従って、これらのインデックス情報の値には発生頻度に応じて適切な符号長が割り当てられる。すなわち、発生頻度の高い値には短いコード長、発生頻度の低い値には長い符号長がそれぞれ割り当てられ、これにより符号化効率（圧縮率）を高めることが可能となる。
【００７４】
今、各インデックス情報mb_type, sub_mb_type及びref_idx_l0, ref_idx_l1には、それぞれの値が小さいほど短い符号長が割り当てられると仮定する。例えば、図６の例で表示順が「４」のフレームを符号化する際に、表示順が「３」及び「２」のフレームが参照フレームとして用いられる確率がそれぞれ５０％ずつであり、その他のフレームは参照フレームとして用いられない場合を考える。
【００７５】
このような場合、表１または表３の予測モードテーブルを用い、予測モードインデックスとしてマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeを符号化する。表示順が「３」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の０番のフレームとし、参照フレームインデックスとしてref_idx_l0=0を符号化する。表示順が「２」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト１の０番のフレームとし、参照フレームインデックスとしてref_idx_l1=0を符号化する。このようにすることで、参照フレームインデックスref_idx_l0及びref_idx_l1を符号化するための符号量を最低限に抑えることが可能となる。
【００７６】
一方、図６の例で表示順が「４」のフレームが符号化対象フレームである場合に、フレーム間距離が符号化対象フレームに近い参照フレームほど選択される確率が高い場合を考える。このような場合は、表２または表４の予測モードテーブルを用い、予測モードインデックスとしてマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeを符号化する。表示順が「３」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の０番のフレームとし、参照フレームインデックスref_idx_l0=0を符号化する。表示順が「２」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の１番のフレームとし、参照フレームインデックスref_idx_l0=1を符号化する。
【００７７】
表２または表４の予測モードテーブルを用いると、表１または表３の予測モードテーブルと比べて予測モードの総数が少ないため、予測モードインデックスであるマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeの平均的な符号長を短くすることが可能となり、これらのインデックス情報の符号化効率を向上させることが可能となる。
【００７８】
このように予測モード及び使用する参照フレームの選択頻度に応じて、マクロブロックタイプmb_type及びサブマクロブロックsub_mb_typeの予測モードテーブルを切り替えることで、符号化すべきヘッダ情報の符号化効率を向上させることが可能となる。
【００７９】
図６のように過去からの予測に限定される場合、一般的な画像では符号化対象フレームに時間的に近いフレームほど符号化対象フレームとの相関が強いため、時間的に近い参照フレームが選択される頻度が高くなる。従って、表２及び表４の参照リスト１による１フレーム予測を除いた予測モードテーブルを強制的に用いる構成としてもよい。
【００８０】
図７の例のように過去及び未来に参照フレームが存在する場合は、一般に過去からの予測と未来からの予測が五分五分に行われる可能性が高いため、過去からインデックス付けを行う参照リスト０と未来からインデックス付けを行う参照リスト１とを使い分けることが可能な表１及び表３の予測モードテーブルを強制的に用いる構成としてもよい。
【００８１】
このように符号化対象フレームと参照フレームの時間的位置関係によって、使用する予測モードテーブルを一意に決定付けることで、テーブル切り替えを示すインデックスを符号化する必要がなくなり、その分だけ符号化効率を向上させることが可能となる。
【００８２】
（復号化側の構成）
図１２に、本実施形態に係る動画像復号化装置の構成を示す。図１２に示す動画像復号化装置は、ハードウェアで実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。本実施形態の動画像復号化装置は、図１に示した動画像符号化装置に対応した構成となっている。すなわち、図１２の動画像復号化装置には、図１に示した動画像符号化装置から出力される符号化データ１２０が伝送系または蓄積系を経て、符号化データ３００として入力される。
【００８３】
動画像復号化装置に入力された符号化データ３００は、入力バッファ３０１及び多重化分離部３０２を経て可変長復号化部３０３に入力される。可変長復号化部３０３では、符号化データ３００に多重化されている可変長符号の復号化が行われ、量子化された直交変換係数情報３１１、モード情報３１２、モードテーブル情報３１３、動きベクトル情報３１４及び参照フレーム／予測係数情報３１５が出力される。
【００８４】
量子化された直交変換係数情報３１１は、逆量子化部３０４により逆量子化され、さらに逆直交変換部３０５によって逆直交変換（例えば、逆ＤＣＴ変換）が施されることにより復号化され、予測誤差信号が再生される。予測誤差信号は、加算部３０６によりフレームメモリ／予測画像作成部３０８によって作成された予測画像信号と加算され、再生画像信号３１０が生成される。
【００８５】
フレームメモリ予測画像生成部３０８では、モード情報３１２、モードテーブル情報３１３、動きベクトル情報３１４及び参照フレーム／予測係数情報３１５を用いて予測対象ブロックの画像信号を生成する。予測モードは、モードテーブル情報３１３に従って予測モードテーブル３０９の中から適切なテーブルを選択し、受信したモード情報３１２の解読を行うことで決定される。モードテーブル情報３１３が明示的に符号化されていない場合は、参照フレームの時間的な構成、すなわち過去からのみの予測か、あるいは未来にも参照フレームがあるかに応じて予測モードテーブル３０９の切り替えを行う。
【００８６】
上述した本発明の符号化及び復号化の処理は、前述したようにハードウェアにより実現してもよいし、処理の一部または全部をコンピュータを用いてソフトウェアにより実行することも可能である。従って、本発明によると上述した動画像符号化及び復号化処理をコンピュータに行わせるための動画像符号化プログラム及び動画像復号化プログラムを提供することも可能である。また、実施形態で説明した予測モードテーブルは、ＲＯＭのようなメモリ上に物理的に記憶されていてもよいが、動画像符号化処理プログラム及び復号化処理プログラム中にいわゆる論理テーブルとして組み込まれてもよい。
【００８７】
【発明の効果】
以上説明したように、本発明によれば予測効率を落とすことなく符号化オーバヘッドの増加を抑えて、より符号化効率の高い動画像の符号化及び復号化を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】同実施形態における動き補償予測の手順を示すフローチャート
【図３】同実施形態における予測モードの例を示す図
【図４】同実施形態における予測モードの例を示す図
【図５】同実施形態における予測対象ブロックの形状を説明する図
【図６】同実施形態におけるフレーム間予測構造及び参照フレームインデックスの例を示す図
【図７】同実施形態におけるフレーム間予測構造及び参照フレームインデックスの例を示す図
【図８】同実施形態におけるスライスヘッダのデータ構造を示す図
【図９】同実施形態におけるマクロブロックヘッダのデータ構造を示す図
【図１０】同実施形態における予測対象ブロックヘッダのデータ構造を示す図
【図１１】同実施形態における予測サブブロックヘッダのデータ構造を示す図
【図１２】同実施形態に係る動画像復号化装置の構成を示すブロック図
【符号の説明】
１００…入力画像信号
１０１…符号化部
１０２…減算部
１０３…直交変換部
１０４…量子化部
１０５…逆量子化部
１０６…逆直交変換部
１０８…フレームメモリ／予測画像作成部
１０９…モードテーブル選択部
１１０…モード選択部
１１１…直交変換係数情報
１１２…モード情報
１１３…モードテーブル情報
１１４…動きベクトル情報
１１５…参照フレーム／予測係数情報
１１６…可変長符号化部
１１７…符号化制御部
１１８…多重化部
１１９…出力バッファ
１２０…符号化データ
３００…符号化データ
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…逆直交変換部
３０８…フレームメモリ／予測画像作成部
３０９…モードテーブル切替部
３１０…再生画像信号
３１１…直交変換係数情報
３１２…モード情報
３１３…モードテーブル情報
３１４…動きベクトル情報
３１５…参照フレーム／予測係数情報
【発明の属する技術の分野】
本発明は、複数の参照フレームを利用して動き補償予測を行う動画像符号化方法と装置及び復号化方法と装置に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化技術として、ＭＰＥＧ(Motion Picture Experts Groupe)方式が実用化されている。ＭＰＥＧ方式は、基本的に動き補償予測とＤＣＴ変換及び可変長符号化を組み合わせて符号化を行う方式であり、ＭＰＥＧ１，ＭＰＥＧ２及びＭＰＥＧ４が規格化されている。
【０００３】
動き補償予測では、入力画像信号を複数の画素からなる画素ブロック（予測対象ブロックという）に分割し、予測対象ブロック毎に参照フレームからの動きを示す動きベクトルを求めて動き補償を行い、予測画像信号を生成する。予測対象ブロックの形状は符号化方式によって異なり、例えばＭＰＥＧ１では１６×１６画素、ＭＰＥＧ２では１６×１６画素または１６×８画素、ＭＰＥＧ４では１６×１６画素または８×８画素にそれぞれ制限されている。
【０００４】
【発明が解決しようとする課題】
動画像符号化においては、符号化効率のより一層の向上が要求されている。このためには選択可能な予測対象ブロックの形状を増やしたり、動き補償予測に用いる参照フレームの選択肢を増やしたりすることで、予測効率を上げればよい。すなわち、予測対象ブロック毎に選択可能な予測モードの数を増やして、より予測効率の高い予測モードを選択することで、符号化効率の向上を図ることができる。しかしながら、予測対象ブロック毎に様々な予測モードを選択可能にすると、予測モードの種類の増加に伴い、予測モード情報を符号化するオーバーヘッドの符号量が増大するという問題がある。
【０００５】
本発明は、符号化のオーバヘッドの増加を抑えつつ予測効率を向上させて、より高い符号化効率を実現できる動画像符号化方法と装置及び復号化方法と装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明は入力画像信号の符号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像符号化方法において、予測対象ブロック毎に、予測対象ブロック形状と単一または複数の参照フレームからの動き補償予測との組み合わせからなる複数の予測モードから一つの予測モードを選択し、選択された予測モードに従って予測対象ブロックの動き補償予測を行い、符号化対象フレーム毎または該フレーム内の所定領域毎に、複数の予測モードと予測モードインデックスを対応付けた複数の予測モードテーブルのうちの少なくとも一つの予測モードテーブルを参照して、選択された予測モードに対応する予測モードインデックスを符号化する。
【０００７】
ここで、複数の予測モードテーブルは、複数の参照フレームをそれぞれ示すために同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１及び第２の参照リストの両方により動き補償予測に用いる参照フレームを規定する第１の予測モードテーブルと、第１及び第２の参照リストの一方のみにより動き補償予測に用いる参照フレームを規定する第２の予測モードテーブルとを含む。
【０００８】
予測モードインデックスの符号化のために、符号化対象フレーム毎または該フレーム内の所定領域毎に複数の予測モードテーブルから一つの予測モードテーブルを選択し、選択した予測モードテーブルを参照して予測モードインデックスを符号化してもよい。
【０００９】
動き補償予測に際しては、さらに選択された予測モードテーブルを示すテーブルインデックスを符号化してもよい。予測モードテーブルの選択は、複数の参照フレームが符号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは符号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、該選択する一つの予測モードテーブルを決定することもできる。
【００１０】
また、本発明は復号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像復号化方法において、予測対象ブロック毎に符号化された予測モードインデックスを復号化し、予測対象ブロック形状と単一または複数の参照フレームからの動き補償予測との組み合わせからなる複数の予測モードと予測モードインデックスを対応付けた複数の予測モードテーブルのうちの少なくとも一つの予測モードテーブルを参照して、復号化された予測モードインデックスに対応する予測モードを選択し、選択された予測モードに従って予測対象ブロックの動き補償予測を行う。
【００１１】
を具備する動画像復号化方法。
【００１２】
ここで、複数の予測モードテーブルは、複数の参照フレームをそれぞれ示すために同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１及び第２の参照リストの両方により動き補償予測に用いる参照フレームを規定する第１の予測モードテーブルと、第１及び第２の参照リストの一方のみにより動き補償予測に用いる参照フレームを規定する第２の予測モードテーブルとを含む。
【００１３】
予測モードインデックスの符号化のために、符号化対象フレーム毎または該フレーム内の所定領域毎に、複数の予測モードテーブルから一つの予測モードテーブルを選択し、選択された予測モードテーブルを参照して予測モードインデックスを符号化してもよい。
【００１４】
動き補償予測に際しては、符号化されたテーブルインデックスを復号化し、復号化されたテーブルインデックスに従って一つの予測モードテーブルを選択するようにしてもよい。予測モードテーブルの選択は、複数の参照フレームが復号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは復号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、選択する一つの予測モードテーブルを決定することもできる。
【００１５】
各予測モードテーブルとして、取り得る予測モードのサブセット、参照フレームの構成により発生しない予測モードを削減したもの、あるいは予測モードの並べ替えを行ったテーブルを用い、符号化対象フレーム毎あるいは符号化対象フレームの領域毎に、予測モードの選択状況に応じて適切な予測モードテーブルを選択することで、予測モードインデックスを符号化するための符号量を削減することが可能となる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（符号化側の構成）
図１に、本発明の一実施形態に係る動画像符号化方法を実施する装置の構成を示す。図１に示す動画像符号化装置は、ハードウェアで実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。
【００１７】
図１において、入力画像信号（動画像信号）１００は、符号化部１０１に入力される。符号化部１０１は減算部１０２、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６、加算部１０７、フレームメモリ／予測画像作成部１０８、モードテーブル選択部１０９、モード選択部１１０及び可変長符号化部１１６を有する。
【００１８】
フレームメモリ／予測画像作成部１０８は、複数のフレームメモリと動きベクトル検出機能及び動き補償予測機能を有する。フレームメモリ／予測画像作成部１０８では、まず入力画像信号１００の複数に分割された複数の画素からなる画素ブロック（以下、これを予測対象ブロックという）毎に、フレームメモリに記憶されている複数の参照フレームを用いて、動きベクトルの検出が行われる。一方、モード選択部１１０では、複数の予測モードの中からの最適な一つの予測モードが選択される。こうして検出された動きベクトル及び選択された予測モードを用いて、フレームメモリ／予測画像作成部１０８により一つまたは複数の参照フレームに対して動き補償が行われ、予測画像信号が生成される。
【００１９】
フレームメモリ／予測画像作成部１０８により生成された予測画像信号は減算部１０２に入力され、ここで入力画像信号１００との差である予測誤差信号が求められる。この予測誤差信号に対して、直交変換部１０３により直交変換（例えば、ＤＣＴ変換）が施され、直交変換係数が生成される。直交変換係数は、量子化部１０４により量子化される。
【００２０】
量子化された直交変換係数１１１は、モード選択部１１０から出力されるモード情報１１２、モードテーブル１０９から出力されるモードテーブル情報１１３、フレームメモリ／予測画像作成部１０８から出力される動きベクトル情報１１４及び参照フレーム／予測係数情報１１５などの動き補償予測方法に関わる情報と共に、可変長符号化部１１６により可変長符号化される。以下の説明では、参照フレーム／予測係数情報１１５を参照フレーム情報と予測係数情報に分けて述べる場合もある。モード情報１１２、モードテーブル情報１１３、動きベクトル情報１１４及び参照フレーム／予測係数情報１１５については、後に詳しく説明する。
【００２１】
可変長符号化部１１６によって生成される上記の各情報１１１〜１１５に対応する可変長符号のデータは、多重化部１１８によって多重化され、出力バッファ１１９を介して符号化データ１２０が出力される。符号化データ１２０は、図示しない蓄積系または伝送系へ送出される。
【００２２】
量子化された直交変換係数１１１は逆量子化部１０５にも入力され、逆量子化部１０５及び逆直交変換部１０６によって量子化部１０４及び直交変換部１０３と逆の処理を受けることにより、予測誤差信号が再生される。再生された予測画像信号は加算部１０７に入力され、フレームメモリ／予測画像生成部１０８により生成された予測画像信号と加算されることにより、局部復号化画像信号が生成される。局部復号化画像信号は、参照フレームとしてフレームメモリ／予測画像作成部１０８内のフレームメモリに保存される。
【００２３】
出力バッファ１１９からは、出力バッファ１１９に一時保持される符号化データの発生符号量の情報が符号化制御部１１７にフィードバックされる。これによって、符号化制御部１１７は量子化部１０３及び逆量子化部１０５量子化特性（量子化ステップ幅）の制御により発生符号量の制御を行うレート制御と、フレームメモリ／予測画像作成部１０８におけるフレーム間予測構造の制御を始めとする、符号化部１０１に対する各種の制御を行う。
【００２４】
モードテーブル選択部１０９は、入力画像信号１００の符号化対象フレーム毎または符号化対象フレーム内の複数の画素ブロックから構成される領域（以下、スライスと呼ぶ）毎に、複数の予測モードテーブルの中から符号化効率をより高くする一つの予測モードテーブルを選択する。予測モードテーブルは、後述するように予測対象ブロックの形状と複数の予測モードとの組み合わせと予測モードインデックスを対応付けたテーブルである。
【００２５】
モードテーブル選択部１０９によって選択された予測モードテーブルを示すモードテーブル情報１１３は、可変長符号化部１１６によりインデックス（予測モードテーブルインデックス）として符号化される。他の実施形態として、参照フレームの構成（動き補償予測構造）に応じて予測モードテーブルが自動的に一意に決定される構成としてもよい。その場合は、予測モードテーブルインデックスの符号化は不要である。いずれの場合においても、復号化時には符号化時に使用したのと同一の予測モードテーブルが選択され、予測モード情報の復号化が行われる。
【００２６】
モード選択部１１０は、入力画像信号１００の予測対象ブロック毎に、モードテーブル選択部１０９によって選択された予測モードテーブルを参照して最適な予測モードを選択すると共に、選択した予測モードを示すモード情報１１２を出力する。ここで、予測モードとは後述するように、予測対象ブロックの形状と動き補償予測モードの組み合わせである。モード選択部１１０から出力される選択した予測モードを示すモード情報１１２は、可変長符号化部１１６により予測モードインデックスとして符号化される。
【００２７】
（符号化処理手順）
次に、本実施形態における動き補償予測を含む符号化処理手順について説明する。
まず、最小符号化コストMinCostの初期値に最大値を設定（ステップＳ１０）、予測ブロックの形状モードを示すインデックスBlockTypeに０を設定（ステップＳ１１）、参照フレームを識別するインデックスRefFrameに０を設定する（ステップＳ１２）。
【００２８】
次に、入力画像信号１００の予測対象ブロック毎に、設定されたブロック形状及び参照フレームを用いて動きベクトルの検出を行う（ステップＳ１３）。すなわち、周知のブロックマッチングを用いて、入力画像信号１００である符号化対象フレームの予測対象ブロックと最も相関の高い複数の画素から構成される領域（参照ブロック）を参照フレームから探索し、予測対象ブロックと参照ブロックとをつなぐベクトルを動きベクトルとして検出する。
【００２９】
次に、検出された動きベクトルを用いて、設定された参照フレームの各々から参照ブロックを切り出し、切り出された参照ブロックに対し線形予測演算を施して、予測画像信号を生成する（ステップＳ１４）。参照フレームが２つ選択された予測対象ブロックに対しては、各々の参照フレームから一つずつ、計２個の参照ブロックが切り出されることになる。
【００３０】
次に、切り出された参照ブロックに対し線形予測演算を施して、予測画像信号を生成する（ステップＳ１４）。
【００３１】
ステップＳ１４においては、参照ブロックが一つの場合の予測画像信号は次式（１）または（２）に従って計算され、参照ブロックが２つの場合の予測画像信号は次式（３）に従って計算される。
【００３２】
次に、予測画像信号と符号化対象ブロックの信号から予測誤差信号を生成し（ステップＳ１５）、該予測モードにおける符号化コスト計算を行う（ステップＳ１６）。符号化コストがそれまでの最小コストMinCostを下回れば、最適なブロック形状のインデックスBestBlockTypeと、最適な参照フレームのインデックスBestRefFrameの更新を行う（ステップＳ１７，Ｓ１８）。
【００３３】
次に、参照フレームのインデックスを更新して（ステップＳ１９）、全ての参照フレームに対し再度動き検出及びコスト計算を繰り返す（ステップＳ２０）。１つのブロック形状で各々の参照フレームを用いた予測のコスト計算を行った後、予測対象ブロックのブロック形状を示すインデックスBlockTypeの更新を行い（ステップＳ２１）、再度各々の参照フレームを用いた予測のコスト計算を全ブロック形状について行う（ステップＳ２２）。
【００３４】
ステップＳ２２の処理が終了した時点で、その符号化ブロックに対する最適なブロック形状BestBlockTypeと、最適な参照フレームBestRefFrameが決定される。動きベクトル、ブロック形状及び参照フレームの識別情報は、通常の予測モードでは符号化ブロック毎にヘッダ情報として符号化される（ステップＳ２３）。
【００３５】
すなわち、式（１）〜（３）のうちのいずれの計算式（予測モード）で予測画像信号を生成したかを示すモード情報１１２、ステップＳ１１で選択された参照フレームを示す参照フレーム番号（参照フレームインデックス）ref_idx_l0, ref_idx_l1と線形予測係数W0, W1, Cを含む参照フレーム／予測係数情報１１５、各参照フレームに対応する動きベクトル(mv0.x, mv0.y), (mv1.x, mv1.y)を示す動きベクトル情報１１４が直交変換係数情報１１１と共に可変長符号化され、多重化部１１８によって符号化データ１２０に多重化される。
【００３６】
なお、後述する予測モードテーブルの選択を行うステップは、図２のフローチャートでは、示されていないが、例えば図２の最初に予測モードテーブル選択ステップを付加してもよい。
【００３７】
（動き補償予測方法について）
次に、図３〜図５を用いて本実施形態における具体的な動き補償予測方法について説明する。本実施形態における動き補償予測予測方法は、時間的に過去の複数の参照フレームのみからの予測を行う方法と、時間的に過去及び未来の複数フレームからの予測を行う方法に大別される。
【００３８】
図３は、時間的に過去の複数の参照フレームのみからの予測を行う例であり、フレーム２００は符号化対象フレーム、フレーム２０１，２０２，２０３はそれぞれ参照フレームを示している。ブロック２０４，２０５，２０６は、それぞれ符号化対象の画素ブロックを示している。画素ブロック２０４に対しては、参照フレームがフレーム２０１であることを示す参照フレーム番号の情報と、動きベクトル２０７を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。同様に、画素ブロック２０５に対しては、参照フレームがフレーム２０３であることを示す参照フレーム情報と、動きベクトル２０８を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。一方、画素ブロック２０６に対しては、参照フレームがフレーム２０１及び２０２であることを示す参照フレーム情報と、動きベクトル２０９及び２１０を用いた２つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。
【００３９】
図４は、時間的に過去及び未来の複数フレームからの予測を行う例であり、フレーム２２０は符号化対象フレーム、フレーム２２１，２２２，２２３はそれぞれ参照フレームを示している。ブロック２２４，２２５，２２６は、それぞれ符号化対象の画素ブロックを示している。画素ブロック２２４に対しては、参照フレームが前方参照フレーム２２１であることを示す参照フレーム情報と、動きベクトル２２７を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。画素ブロック２２５に対しては、参照フレームが後方参照フレーム２２３であることを示す参照フレーム情報と、動きベクトル２２８を用いた一つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。一方、画素ブロック２２６に対しては、参照フレームが前方参照フレーム２２２及び後方参照フレーム２２１であることを示す参照フレーム情報と、動きベクトル２２９及び２３０を用いた２つの参照フレームからの動き補償予測であることを示す予測モード情報が符号化される。
【００４０】
さらに、本実施形態では動き補償予測を行う単位である予測対象ブロックの形状が一定でなく、例えば１６画素×１６ラインの画素ブロック（以下、これをマクロブロックという）単位あるいはマクロブロックをさらに分割した微小ブロック単位に動き補償予測を行う。ここで予測対象ブロックのブロック形状とは、上記マクロブロックの形状を１６画素×１６ラインで表しているように、ブロックの形（正方形または長方形）のみでなく、大きさも表す。一般的に、画素ブロックの形状はｍ画素（画像の水平方向の画素数）×ｎライン（画像の垂直方向のライン数）で表されるが、以後はライン数ｎを画像の垂直方向の画素数とみなして、ｍ×ｎ画素の表記形式で予測対象ブロックの形状を表すものとする。予測対象ブロックの形状はマクロブロック単位に変更可能であり、予測対象ブロックの形状の情報は上述した予測モード情報と併せて符号化される。
【００４１】
具体的には、図５に示すように１６×１６画素のマクロブロックを一つの予測対象ブロックとみなす（ａ）、マクロブロックを１６×８画素または８×１６画素の２つの予測対象ブロックに分割する（ｂ）（ｃ）、マクロブロックを８×８画素の４つの予測対象ブロックに分割する（ｄ）、マクロブロックを８×８画素の４つの画素ブロックに分割した後、さらに各８×８画素ブロック毎に８×８画素の予測対象ブロック、８×４画素または４×８画素の２つの予測対象ブロック、４×４画素の４つの予測対象ブロックのいずれかに分割する（ｅ）、といった各種のブロック形状を選択することが可能である。ここで、図５（ｅ）の８×８画素以下のブロックをサブマクロブロックと呼ぶことにする。
【００４２】
従来の動画像符号化方式における予測対象ブロックの形状は、ＭＰＥＧ１では１６×１６画素、ＭＰＥＧ２では１６×１６画素または１６×８画素、ＭＰＥＧ４では１６×１６画素または８×８画素にそれぞれ制限されている。これに対し、本実施形態では上述のように１６×１６画素から４×４画素ブロックまでにわたって、予測対象ブロックの形状の種類がより拡張されている。
【００４３】
（動き補償予測に関わる情報の符号化方法について）
次に、本実施形態における動き補償予測に関わる各種の情報の具体的な符号化方法について説明する。本実施形態における符号化すべき動き補償予測に関わる情報は、▲１▼参照フレーム番号、▲２▼予測係数情報、▲３▼動きベクトル情報、▲４▼予測対象ブロックの形状を示す情報、▲５▼一つの参照フレームの予測かあるいは２つの参照フレームからの線形予測かを示す情報である。▲１▼▲２▼及び▲３▼については、参照フレーム／予測係数情報１１５及び動きベクトル情報１１４としてそれぞれ独立に符号化する。▲４▼と▲５▼については、両者の組み合わせを表すモード情報１１２（予測モードインデックス）として符号化する。以下、▲１▼▲４▼▲５▼の各情報の符号化方法について述べる。
【００４４】
（ａ）参照フレーム番号の符号化方法：
まず、前記▲１▼の参照フレーム番号の符号化方法について説明する。符号化対象フレーム毎に、動き補償予測に使用される参照フレームを区別するためのインデックステーブル（以下、参照フレームインデックステーブルという）を２セットを用意して、それぞれ異なる番号付けの定義を行う。参照フレームの番号付けについては、予め定義された規則に従って自動的に設定してもよいし、符号化対象フレーム毎に明示的に番号付けを設定する情報を符号化してもよい。以下、フレーム間予測構造と参照フレームインデックステーブルの例を示す図６及び図７を用いて、参照フレーム番号の符号化方法の具体例について述べる。
【００４５】
図６は、既に符号化及び局部復号化された過去の４フレームを参照フレームとするフレーム間予測構造の例を示しており、表示順が「４」のフレームを現フレームである符号化対象フレームとし、表示順が「０」〜「３」のフレームを参照フレームとしている。この例では、表示順と符号化順は同一である。参照フレームインデックステーブルとしては、参照リスト０と参照リスト１の２セットが用意される。これによれば、例えば符号化対象フレームの直前に符号化された表示順が「３」のフレームは、参照リスト０の「０」番目のフレーム、または参照リスト１の「１」番目のフレームが参照フレームとして用いることを示している。
【００４６】
図７は、表示順と符号化順が異なるフレーム間予測構造の例である。実線で表したフレームが符号化対象フレームの場合は、過去の実線で表した複数のフレームを参照フレームとして用いる。破線で表したフレームが符号化対象フレームの場合は、既に符号化済みの実線で表した未来の１フレームと、実線で表した過去の複数フレームを参照フレームとして用いる。例えば、破線で表したフレームのうち表示順が「８」のフレームが符号化対象フレームの場合は、表示順が「９」（符号化順が「７」）の未来の１フレームと、表示順が「０」，「３」及び「６」の過去の３フレームをそれぞれ参照フレームとして用いる。
【００４７】
図７の例においても、参照フレームインデックステーブルは２セット用意されており、それぞれ異なる番号付けが行われる。例えば、参照リスト１の「０」番の参照フレームは表示順が「９」のフレームを示し、参照リスト０の「０」番の参照フレームは表示順が「６」のフレームを示す。
【００４８】
参照フレームインデックスは、参照フレームインデックステーブル（参照リスト０及び参照リスト１）によって示される参照フレーム番号を表すインデックスである。参照リスト０及び参照リスト１中にそれぞれ参照フレームが２フレーム以上あった場合、参照フレームインデックスは、参照リスト０中の参照フレームを示すインデックスref_idx_l0、参照リスト１中の参照フレームを示すインデックスref_idx_l1として、予測対象ブロック単位に符号化される。
【００４９】
動き補償予測を一つの参照フレームを用いて行う予測対象ブロックでは、参照フレームインデックスとしてref_idx_l0またはref_idx_l1のいずれか一方が符号化され、動き補償予測を２つの参照フレームの線形和で行う予測対象ブロックでは、参照フレームインデックスref_idx_l0及びref_idx_l1の両方が符号化される。ただし、各参照リスト０及び１にそれぞれ含まれる参照フレーム数が２フレーム以上でなければ、明示的に参照フレームインデックスを送る必要が無いため、このような参照フレームインデックスの符号化は行われない。
【００５０】
一方、参照リスト０及び参照リスト１にそれぞれ含まれる参照フレーム数を示す情報は、スライス毎にヘッダ情報（スライスヘッダ）として、それぞれnum_ref_idx_l0_active_minus1及びnum_ref_idx_l1_active_minus1のように符号化される。
【００５１】
ここで、図８〜図１１を用いて符号化データ１１０の各ヘッダ情報のデータ構造について説明しておく。図８にスライスヘッダのデータ構造の一部を示し、図９にマクロブロックヘッダのデータ構造の一部を示し、図１０及び図１１に予測対象ブロックヘッダ及びサブブロックヘッダのデータ構造を示す。
【００５２】
図８のスライスヘッダでは、後述するマクロブロックタイプ情報の予測モードテーブルに関する情報mb_type_table_idxと、参照フレーム数を示す情報num_ref_idx_l0_active_minus1, num_ref_idx_l1_active_minus1等が符号化される。図９のマクロブロックヘッダでは、予測対象ブロックの形状が８×８画素より大きい場合とそうでない場合とでデータ構造が異なる。前者の場合は、図１０の予測対象ブロックヘッダのデータ構造に従って、参照フレームインデックス(ref_idx_l0, ref_idx_l1)と動きベクトル情報(mvd_l0, mvd_l1)が符号化される。後者の場合は、図１１のサブブロックヘッダのデータ構造に従って、参照フレームインデックス及び動きベクトル情報が符号化される。
【００５３】
（ｂ）予測対象ブロックの形状を示す情報と、一つの参照フレームからの予測かあるいは２つの参照フレームからの線形和による予測かを示す情報の符号化方法：
前記▲４▼の予測対象ブロックの形状を示す情報と、前記▲５▼の一つの参照フレームの予測かあるいは２つの参照フレームからの線形和による予測かを示す情報は、図９中に示されるマクロブロックタイプmb_type及び図１１中に示されるサブマクロブロックタイプsub_mb_typeを表すインデックス（これを予測モードインデックスという）を用いて符号化される。
【００５４】
マクロブロックタイプmb_typeを表す予測モードインデックスは、表１に示す予測モードテーブルと表２に示す予測モードテーブルのいずれか一方を用いて符号化される。
【００５５】
【表１】
【表２】
表１及び表２に示す予測モードテーブルは、マクロブロックタイプ値Value of mb_type、マクロブロックタイプ名Macroblock type mb_type name、マクロブロック分割数num_mb_partition( )、２種類のマクロブロック分割予測モードmb_partition_pred_mode( , 1), mb_partition_pred_mode( , 2)及びサブブロック数num_sub_blocks( )の各項目を対応付けている。
【００５８】
ここで、マクロブロックタイプ値Value of mb_typeが予測モードインデックスに相当する。マクロブロックタイプ名Macroblock type mb_type nameは、予測対象ブロックの予測モード及び予測対象ブロックの形状を表しており、Directはダイレクト符号化モードを意味し、Predは一つの参照フレームからの動き補償予測、BiPredは２つの参照フレームからの動き補償予測をそれぞれ意味する。LOは、動き補償予測に用いる参照フレームが参照リスト０の参照フレームであることを意味する。16×16, 16×8, 8×16, 8×8は、図５（ａ）（ｂ）（ｃ）（ｄ）で説明した予測対象ブロックの形状を意味する。なお、ダイレクト符号化モードは例えば双方向フレーム間予測符号化モード（いわゆるＢピクチャの符号化モード）であり、最も時間的に近いフレーム内符号化フレーム（Ｉピクチャ）、またはフレーム間予測符号化フレーム（Ｐピクチャ）のフレーム上の空間的に同じ位置のマクロブロックを予測元として、動き補償予測情報を生成するモードである。
【００５９】
マクロブロック分割数num_mb_partition( )は、予測対象ブロックがマクロブロックをいくつ分割しているかを表し、予測対象ブロックの形状に対応する。マクロブロック分割予測モードmb_partition_pred_mode( , 1), mb_partition_pred_mode( , 2)は、予測対象ブロックの予測モードを表し、使用している記号の意味は上述の通りである。サブブロック数num_sub_blocks( )は、予測対象ブロックに含まれるサブブロックの数を表す。
【００６０】
一方、サブマクロブロックタイプsub_mb_typeを示す予測モードインデックスは、表３に示す予測モードテーブルと表４に示す予測モードテーブルのいずれか一方を用いて符号化される。
【００６１】
【表３】
【表４】
表３及び表４に示す予測モードテーブルは、サブマクロブロックタイプ値Value of sub_mb_type、サブマクロブロックタイプ名Name of sub_mb_type、サブマクロブロック分割数num_sub_mb_partition( )、サブマクロブロック予測モードsub_mb_pred_mode( )、サブマクロブロックイントラ分割数num_sub_mb_intra_partition( )及びサブブロック数num_sub_blocks( )を対応付けている。
【００６４】
ここで、サブマクロブロックタイプ値Value of sub_mb_typeが予測モードインデックスに相当する。サブマクロブロックタイプ名Name of sub_mb_typeは、予測対象ブロックの予測モード及び予測対象ブロックの形状を表し、Directはダイレクトモード符号化モードを意味し、Predは一つの参照フレームからの動き補償予測、BiPredは２つの参照フレームからの動き補償予測、Intraはイントラ予測をそれぞれ意味する。LO, L1は、それぞれ動き補償予測に参照リスト０及び参照リスト１の参照フレームを用いることを意味する。8×8, 8×4, 4×8, 4×4は、図５（ｅ）で説明した予測対象ブロックの形状を意味する。
【００６５】
サブマクロブロック分割数num_sub_mb_partition( )は、予測対象ブロックがいくつのサブブロックに分割されているかを表し、予測対象ブロックの形状に対応する。サブマクロブロック予測モードsub_mb_pred_mode( )は、予測対象ブロックの予測モードを表し、使用している記号の意味は上述の通りである。サブブロックイントラ分割数num_sub_mb_intra_partition( )は、イントラ予測対象ブロックに含まれるサブブロックの数を表し、サブブロック数num_sub_blocks( )は、予測対象ブロックに含まれるサブブロックの数を表す。
【００６６】
（予測モードテーブルを区別する方法について）
上述したように、本実施形態では予測モードインデックスは表１〜表４の予測モードテーブルのいずれか用いて符号化される。従って、予測モードインデックスの符号化にいずれの予測モードテーブルを用いたかを復号化側で区別できるようにする必要がある。この方法として、以下の二つの態様がある。
【００６７】
（１）第１の態様では、予測モードインデックスを表１〜表４の予測モードテーブルのいずれか用いて符号化したかを示す情報がマクロブロックタイプテーブルインデックスmb_type_table_idxとして符号化され、これがスライスヘッダに付加される。
【００６８】
（２）第２の態様では、予測モードインデックスの符号化に表１〜表４の予測モードテーブルのいずれか用いるかを符号化対象フレーム毎にフレーム間予測構造に基づいて、すなわち動き補償予測に用いる参照フレームの構成に基づいて、自動決定して選択する。
【００６９】
具体的には、例えば図６の表示順が「４」のフレームが符号化対象フレームである場合のように、符号化対象フレームに対して時間的に過去の複数のフレームのみを参照フレームとする場合は、表２または表４に示す予測モードテーブルを選択する。また、例えば図７の表示順が「８」のフレームが符号化対象フレームである場合のように、符号化対象フレームに対して時間的に未来及び過去の複数のフレームを参照フレームとする場合は、表１または表３に示す予測モードテーブルを選択する。このように使用する予測モードテーブルを参照フレームの構成に基づいて自動決定で選択する場合には、予測モードテーブルを示すテーブルインデックスを明示的に符号化する必要はない。
【００７０】
（予測モードテーブルについて）
次に、表１〜表４に示した予測モードテーブルの特徴的な構成について説明する。予測モードインデックス（マクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_type）として符号化される情報は、前述したように(1)予測対象ブロックの形状（１６×１６画素、８×１６画素など）を示す情報と、(2)参照リスト０の参照フレームからの動き補償予測(Pred_L0)か、参照リスト１の参照フレームからの動き補償予測(Pred_L1)か、あるいは参照リスト０の参照フレームと参照リスト１の参照フレームとの線形和による動き補償予測(BiPred)かを区別する情報である。これらの情報に応じて、図１０及び図１１に示したヘッダデータのデータ構造に示されるように、参照フレームインデックスref_idx_l0, ref_idx_l1の符号化を行うか否かが決定される。
【００７１】
図６及び図７で示したように、一つの参照フレームからの動き補償予測において参照フレームを特定する方法としては、同一の参照フレームを特定する場合でも、参照リスト０の参照フレームインデックスref_idx_l0を用いる方法と、参照リスト１の参照フレームインデックスref_idx_l1を用いる方法の２通りがある。この２通りの方法を可能とするものが、表１及び表３の予測モードテーブルである。
【００７２】
一方、一つの参照フレームからの動き補償予測において参照リスト０の参照フレームインデックスのみを用いることに制限されたものが、表２及び表４の予測モードテーブルである。つまり、表１及び表３の予測モードテーブルでは、参照リスト０の参照フレームからの動き補償予測であるPred_L0と、参照リスト１の参照フレームからの動き補償予測であるPred_L1という２つの予測モードが存在するが、表２及び表４の予測モードテーブルではPred_L0のみ存在し、Pred_L1は存在しない。
【００７３】
マクロブロックタイプmb_type、サブマクロブロックタイプsub_mb_type及び参照フレームインデックスref_idx_l0, ref_idx_l1などのインデックス情報は、それぞれ可変長符号化等のエントロピー符号化が施される。従って、これらのインデックス情報の値には発生頻度に応じて適切な符号長が割り当てられる。すなわち、発生頻度の高い値には短いコード長、発生頻度の低い値には長い符号長がそれぞれ割り当てられ、これにより符号化効率（圧縮率）を高めることが可能となる。
【００７４】
今、各インデックス情報mb_type, sub_mb_type及びref_idx_l0, ref_idx_l1には、それぞれの値が小さいほど短い符号長が割り当てられると仮定する。例えば、図６の例で表示順が「４」のフレームを符号化する際に、表示順が「３」及び「２」のフレームが参照フレームとして用いられる確率がそれぞれ５０％ずつであり、その他のフレームは参照フレームとして用いられない場合を考える。
【００７５】
このような場合、表１または表３の予測モードテーブルを用い、予測モードインデックスとしてマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeを符号化する。表示順が「３」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の０番のフレームとし、参照フレームインデックスとしてref_idx_l0=0を符号化する。表示順が「２」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト１の０番のフレームとし、参照フレームインデックスとしてref_idx_l1=0を符号化する。このようにすることで、参照フレームインデックスref_idx_l0及びref_idx_l1を符号化するための符号量を最低限に抑えることが可能となる。
【００７６】
一方、図６の例で表示順が「４」のフレームが符号化対象フレームである場合に、フレーム間距離が符号化対象フレームに近い参照フレームほど選択される確率が高い場合を考える。このような場合は、表２または表４の予測モードテーブルを用い、予測モードインデックスとしてマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeを符号化する。表示順が「３」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の０番のフレームとし、参照フレームインデックスref_idx_l0=0を符号化する。表示順が「２」のフレームを参照フレームとする予測対象ブロックでは、参照フレームを参照リスト０の１番のフレームとし、参照フレームインデックスref_idx_l0=1を符号化する。
【００７７】
表２または表４の予測モードテーブルを用いると、表１または表３の予測モードテーブルと比べて予測モードの総数が少ないため、予測モードインデックスであるマクロブロックタイプmb_type及びサブマクロブロックタイプsub_mb_typeの平均的な符号長を短くすることが可能となり、これらのインデックス情報の符号化効率を向上させることが可能となる。
【００７８】
このように予測モード及び使用する参照フレームの選択頻度に応じて、マクロブロックタイプmb_type及びサブマクロブロックsub_mb_typeの予測モードテーブルを切り替えることで、符号化すべきヘッダ情報の符号化効率を向上させることが可能となる。
【００７９】
図６のように過去からの予測に限定される場合、一般的な画像では符号化対象フレームに時間的に近いフレームほど符号化対象フレームとの相関が強いため、時間的に近い参照フレームが選択される頻度が高くなる。従って、表２及び表４の参照リスト１による１フレーム予測を除いた予測モードテーブルを強制的に用いる構成としてもよい。
【００８０】
図７の例のように過去及び未来に参照フレームが存在する場合は、一般に過去からの予測と未来からの予測が五分五分に行われる可能性が高いため、過去からインデックス付けを行う参照リスト０と未来からインデックス付けを行う参照リスト１とを使い分けることが可能な表１及び表３の予測モードテーブルを強制的に用いる構成としてもよい。
【００８１】
このように符号化対象フレームと参照フレームの時間的位置関係によって、使用する予測モードテーブルを一意に決定付けることで、テーブル切り替えを示すインデックスを符号化する必要がなくなり、その分だけ符号化効率を向上させることが可能となる。
【００８２】
（復号化側の構成）
図１２に、本実施形態に係る動画像復号化装置の構成を示す。図１２に示す動画像復号化装置は、ハードウェアで実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。本実施形態の動画像復号化装置は、図１に示した動画像符号化装置に対応した構成となっている。すなわち、図１２の動画像復号化装置には、図１に示した動画像符号化装置から出力される符号化データ１２０が伝送系または蓄積系を経て、符号化データ３００として入力される。
【００８３】
動画像復号化装置に入力された符号化データ３００は、入力バッファ３０１及び多重化分離部３０２を経て可変長復号化部３０３に入力される。可変長復号化部３０３では、符号化データ３００に多重化されている可変長符号の復号化が行われ、量子化された直交変換係数情報３１１、モード情報３１２、モードテーブル情報３１３、動きベクトル情報３１４及び参照フレーム／予測係数情報３１５が出力される。
【００８４】
量子化された直交変換係数情報３１１は、逆量子化部３０４により逆量子化され、さらに逆直交変換部３０５によって逆直交変換（例えば、逆ＤＣＴ変換）が施されることにより復号化され、予測誤差信号が再生される。予測誤差信号は、加算部３０６によりフレームメモリ／予測画像作成部３０８によって作成された予測画像信号と加算され、再生画像信号３１０が生成される。
【００８５】
フレームメモリ予測画像生成部３０８では、モード情報３１２、モードテーブル情報３１３、動きベクトル情報３１４及び参照フレーム／予測係数情報３１５を用いて予測対象ブロックの画像信号を生成する。予測モードは、モードテーブル情報３１３に従って予測モードテーブル３０９の中から適切なテーブルを選択し、受信したモード情報３１２の解読を行うことで決定される。モードテーブル情報３１３が明示的に符号化されていない場合は、参照フレームの時間的な構成、すなわち過去からのみの予測か、あるいは未来にも参照フレームがあるかに応じて予測モードテーブル３０９の切り替えを行う。
【００８６】
上述した本発明の符号化及び復号化の処理は、前述したようにハードウェアにより実現してもよいし、処理の一部または全部をコンピュータを用いてソフトウェアにより実行することも可能である。従って、本発明によると上述した動画像符号化及び復号化処理をコンピュータに行わせるための動画像符号化プログラム及び動画像復号化プログラムを提供することも可能である。また、実施形態で説明した予測モードテーブルは、ＲＯＭのようなメモリ上に物理的に記憶されていてもよいが、動画像符号化処理プログラム及び復号化処理プログラム中にいわゆる論理テーブルとして組み込まれてもよい。
【００８７】
【発明の効果】
以上説明したように、本発明によれば予測効率を落とすことなく符号化オーバヘッドの増加を抑えて、より符号化効率の高い動画像の符号化及び復号化を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図
【図２】同実施形態における動き補償予測の手順を示すフローチャート
【図３】同実施形態における予測モードの例を示す図
【図４】同実施形態における予測モードの例を示す図
【図５】同実施形態における予測対象ブロックの形状を説明する図
【図６】同実施形態におけるフレーム間予測構造及び参照フレームインデックスの例を示す図
【図７】同実施形態におけるフレーム間予測構造及び参照フレームインデックスの例を示す図
【図８】同実施形態におけるスライスヘッダのデータ構造を示す図
【図９】同実施形態におけるマクロブロックヘッダのデータ構造を示す図
【図１０】同実施形態における予測対象ブロックヘッダのデータ構造を示す図
【図１１】同実施形態における予測サブブロックヘッダのデータ構造を示す図
【図１２】同実施形態に係る動画像復号化装置の構成を示すブロック図
【符号の説明】
１００…入力画像信号
１０１…符号化部
１０２…減算部
１０３…直交変換部
１０４…量子化部
１０５…逆量子化部
１０６…逆直交変換部
１０８…フレームメモリ／予測画像作成部
１０９…モードテーブル選択部
１１０…モード選択部
１１１…直交変換係数情報
１１２…モード情報
１１３…モードテーブル情報
１１４…動きベクトル情報
１１５…参照フレーム／予測係数情報
１１６…可変長符号化部
１１７…符号化制御部
１１８…多重化部
１１９…出力バッファ
１２０…符号化データ
３００…符号化データ
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…逆直交変換部
３０８…フレームメモリ／予測画像作成部
３０９…モードテーブル切替部
３１０…再生画像信号
３１１…直交変換係数情報
３１２…モード情報
３１３…モードテーブル情報
３１４…動きベクトル情報
３１５…参照フレーム／予測係数情報
Claims (7)
- 入力画像信号の符号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像符号化方法において、
前記符号化対象フレーム毎または該フレーム内の所定領域毎に、同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１の参照リスト及び第２の参照リストのいずれかにより指定される単一の参照フレームからの動き補償予測、または前記第１の参照リスト及び第２の参照リストの少なくとも一方により指定される複数の参照フレームからの動き補償予測と複数の予測対象ブロック形状との複数の組み合わせを示す複数の予測モードと、予測モードインデックスとを対応付けた複数の予測モードテーブルから、符号化効率をより高くする一つの予測モードテーブルを選択するテーブル選択ステップと；
前記予測対象ブロック毎に、選択された予測モードテーブルを参照して一つの予測モードを選択するモード選択ステップと；
選択された予測モードに従って前記予測対象ブロックの動き補償予測を行うステップと；
前記符号化対象フレーム毎または該フレーム内の所定領域毎に、前記選択された予測モードテーブルを参照して前記選択された予測モードに対応する予測モードインデックスを符号化するステップと；を具備し、
前記複数の予測モードテーブルは、一つの参照フレームからの動き補償予測において前記第１の参照リストにより該一つの参照フレームを指定する状態と前記第２の参照リストにより該一つの参照フレームを指定する状態を取り得る第１の予測モードテーブルと、一つの参照フレームからの動き補償予測において常に前記第１の参照リストのみにより該一つの参照フレームを指定する第２の予測モードテーブルとを含む動画像符号化方法。 - 前記選択された予測モードテーブルを示すテーブルインデックスを符号化するステップをさらに具備する請求項１記載の動画像符号化方法。
- 前記テーブル選択ステップは、前記複数の参照フレームが前記符号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは前記符号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、該テーブル選択ステップが選択する前記一つの予測モードテーブルを決定する請求項１記載の動画像符号化方法。
- 入力画像信号の符号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像符号化装置において、
前記符号化対象フレーム毎または該フレーム内の所定領域毎に、同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１の参照リスト及び第２の参照リストのいずれかにより指定される単一の参照フレームからの動き補償予測、または前記第１の参照リスト及び第２の参照リストの少なくとも一方により指定される複数の参照フレームからの動き補償予測と複数の予測対象ブロック形状との複数の組み合わせを示す複数の予測モードと、予測モードインデックスとを対応付けた複数の予測モードテーブルから、符号化効率をより高くする一つの予測モードテーブルを選択するテーブル選択テーブル選択手段と；
前記予測対象ブロック毎に、選択された予測モードテーブルを参照して一つの予測モードを選択するモード選択手段と；
選択された予測モードに従って前記予測対象ブロックの動き補償予測を行う手段と；
前記符号化対象フレーム毎または該フレーム内の所定領域毎に、前記選択された予測モードテーブルを参照して前記選択された予測モードに対応する予測モードインデックスを符号化する手段と；を具備し、
前記複数の予測モードテーブルは、一つの参照フレームからの動き補償予測において前記第１の参照リストにより該一つの参照フレームを指定する状態と前記第２の参照リストにより該一つの参照フレームを指定する状態を取り得る第１の予測モードテーブルと、一つの参照フレームからの動き補償予測において常に前記第１の参照リストのみにより該一つの参照フレームを指定する第２の予測モードテーブルとを含む動画像符号化装置。 - 復号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像復号化方法において、
予測モードテーブルを示す符号化されたテーブルインデックスを復号するステップと、
前記復号化対象フレーム毎または該フレーム内の所定領域毎に、同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１の参照リスト及び第２の参照リストのいずれかにより指定される単一の参照フレームからの動き補償予測、または前記第１の参照リスト及び第２の参照リストの少なくとも一方により指定される複数の参照フレームからの動き補償予測と複数の予測対象ブロック形状との複数の組み合わせを示す複数の予測モードと、予測モードインデックスとを対応付けた複数の予測モードテーブルから、前記テーブルインデックスに従って一つの予測モードテーブルを選択するテーブル選択ステップと；
前記予測対象ブロック毎に符号化された予測モードインデックスを復号化するステップと；
前記予測対象ブロック毎に、選択された予測モードテーブルを参照して、復号化された予測モードインデックスに対応する予測モードを選択するモード選択ステップと；
選択された予測モードに従って前記予測対象ブロックの動き補償予測を行うステップと；を具備し、
前記複数の予測モードテーブルは、一つの参照フレームからの動き補償予測において前記第１の参照リストにより該一つの参照フレームを指定する状態と前記第２の参照リストにより該一つの参照フレームを指定する状態を取り得る第１の予測モードテーブルと、一つの参照フレームからの動き補償予測において常に前記第１の参照リストのみにより該一つの参照フレームを指定する第２の予測モードテーブルとを含む動画像復号化方法。 - 前記テーブル選択ステップは、前記複数の参照フレームが前記復号化対象フレームに対して時間的に過去及び未来の両方のフレームであるか、あるいは前記復号化対象フレームに対して時間的に過去及び未来のいずれか一方のみのフレームであるかに応じて、該テーブル選択ステップが選択する前記一つの予測モードテーブルを決定する請求項５記載の動画像復号化方法。
- 復号化対象フレーム内の複数の画素からなる予測対象ブロック毎に動き補償予測を含む符号化処理を行う動画像復号化装置において、
予測モードテーブルを示す符号化されたテーブルインデックスを復号する手段と；
前記復号化対象フレーム毎または該フレーム内の所定領域毎に、同一の参照フレームに対してそれぞれ異なる値の参照フレームインデックスを付与した第１の参照リスト及び第２の参照リストのいずれかにより指定される単一の参照フレームからの動き補償予測、または前記第１の参照リスト及び第２の参照リストの少なくとも一方により指定される複数の参照フレームからの動き補償予測と複数の予測対象ブロック形状との複数の組み合わせを示す複数の予測モードと、予測モードインデックスとを対応付けた複数の予測モードテーブルから、前記テーブルインデックスに従って一つの予測モードテーブルを選択するテーブル選択手段と；
前記予測対象ブロック毎に符号化された予測モードインデックスを復号化する手段と；
前記予測対象ブロック毎に、選択された予測モードテーブルを参照して、復号化された予測モードインデックスに対応する予測モードを選択するモード選択手段と；
選択された予測モードに従って前記予測対象ブロックの動き補償予測を行う手段と；を具備し、
前記複数の予測モードテーブルは、一つの参照フレームからの動き補償予測において前記第１の参照リストにより該一つの参照フレームを指定する状態と前記第２の参照リストにより該一つの参照フレームを指定する状態を取り得る第１の予測モードテーブルと、一つの参照フレームからの動き補償予測において常に前記第１の参照リストのみにより該一つの参照フレームを指定する第２の予測モードテーブルとを含む動画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002288015A JP3940657B2 (ja) | 2002-09-30 | 2002-09-30 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002288015A JP3940657B2 (ja) | 2002-09-30 | 2002-09-30 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004128749A JP2004128749A (ja) | 2004-04-22 |
| JP3940657B2 true JP3940657B2 (ja) | 2007-07-04 |
Family
ID=32280626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002288015A Expired - Fee Related JP3940657B2 (ja) | 2002-09-30 | 2002-09-30 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3940657B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7852916B2 (en) * | 2004-06-27 | 2010-12-14 | Apple Inc. | Efficient use of storage in encoding and decoding video data streams |
| WO2006001485A1 (ja) * | 2004-06-29 | 2006-01-05 | Sony Corporation | 動き予測補償方法及び動き予測補償装置 |
| JP4317814B2 (ja) | 2004-12-06 | 2009-08-19 | 株式会社ルネサステクノロジ | 動画像情報の符号化装置及び符号化方法 |
| JP4074868B2 (ja) | 2004-12-22 | 2008-04-16 | 株式会社東芝 | 画像符号化制御方法及びその装置 |
| KR100669897B1 (ko) | 2005-01-21 | 2007-01-16 | 한양대학교 산학협력단 | Ｈ．２６４／ａｖｃ에서의 고속 매크로블록 모드 선택 방법 |
| JP4146444B2 (ja) | 2005-03-16 | 2008-09-10 | 株式会社東芝 | 動画像符号化の方法及び装置 |
| JP4889231B2 (ja) * | 2005-03-31 | 2012-03-07 | 三洋電機株式会社 | 画像符号化方法および装置、画像復号方法 |
| KR101330630B1 (ko) * | 2006-03-13 | 2013-11-22 | 삼성전자주식회사 | 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치 |
| KR100829169B1 (ko) * | 2006-07-07 | 2008-05-13 | 주식회사 리버트론 | Ｈ.264 코딩의 압축모드 예측 장치 및 방법 |
| JP2010135864A (ja) * | 2007-03-29 | 2010-06-17 | Toshiba Corp | 画像符号化方法及び装置並びに画像復号化方法及び装置 |
| JP5166339B2 (ja) * | 2008-03-28 | 2013-03-21 | 三星電子株式会社 | 画像のイントラ予測モード情報の符号化及び／又は復号化方法及び装置 |
| JP4768779B2 (ja) * | 2008-06-02 | 2011-09-07 | 株式会社東芝 | 動画像符号化／復号化の方法及び装置 |
| JP2009027762A (ja) * | 2008-11-07 | 2009-02-05 | Renesas Technology Corp | 動き補償画像符号化装置及び符号化方法 |
| US20110286513A1 (en) * | 2009-02-05 | 2011-11-24 | Yunfei Zheng | Methods and apparatus for adaptive mode video encoding and decoding |
| PL3288268T3 (pl) | 2009-07-01 | 2019-11-29 | Interdigital Vc Holdings Inc | Sposoby i urządzenie do sygnalizacji predykcji wewnątrz-ramkowej dla dużych bloków do koderów i dekoderów wideo |
| WO2012113197A1 (zh) * | 2011-02-24 | 2012-08-30 | 中兴通讯股份有限公司 | 一种预测模式的编码或解码方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003319400A (ja) * | 2002-04-26 | 2003-11-07 | Sony Corp | 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム |
| JP2003324731A (ja) * | 2002-04-26 | 2003-11-14 | Sony Corp | 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム |
-
2002
- 2002-09-30 JP JP2002288015A patent/JP3940657B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004128749A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7177360B2 (en) | Video encoding method and video decoding method | |
| KR100774296B1 (ko) | 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치 | |
| KR101177031B1 (ko) | 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한 방법 및 장치 | |
| US8767819B2 (en) | Moving picture encoding apparatus | |
| JP5043206B2 (ja) | インターレース・ビデオの符号化および復号 | |
| US7474699B2 (en) | Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method decoding method and program usable for the same | |
| JP3940657B2 (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| EP1833256B1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
| KR20110071231A (ko) | 부호화 방법, 복호화 방법 및 장치 | |
| US20050129125A1 (en) | Method and apparatus for pitcure compression using variable block of arbitrary size | |
| KR20130026436A (ko) | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 | |
| WO2010070818A1 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 | |
| JP2012169763A (ja) | 画像符号化装置と画像符号化方法およびプログラム | |
| WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| KR100774297B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| KR101366088B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
| JP5946980B1 (ja) | 画像復号化方法 | |
| JP5911982B2 (ja) | 画像復号化方法 | |
| KR100774300B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| KR100774298B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| KR100774299B1 (ko) | 움직임 벡터 복호화 방법 및 그 장치 | |
| EP2479997A1 (en) | Method and apparatus for encoding or decoding a video signal using a summary reference picture | |
| JP2016158306A (ja) | 画像復号化方法 | |
| JP2016119726A (ja) | 画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
| LAPS | Cancellation because of no payment of annual fees |