JP4485157B2 - 画像復号化方法および画像復号化装置 - Google Patents

Description

本発明は、動画像の符号化方法および復号化方法に関するものであり、特に既に符号化済みのピクチャを参照して画面間予測を行う符号化方法および復号化方法に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−４などがある。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６Ｌが標準化中である。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。

ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インタレース画像でのフレームもしくはフィールドであっても同様に説明することができる。

図３０はピクチャの種類とその参照関係を説明するための図である。
ピクチャＩ１のように参照ピクチャを持たずピクチャ内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ１０のように１枚のピクチャのみを参照しピクチャ間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものをＢピクチャと呼ぶ。
ＢピクチャはピクチャＢ６、Ｂ１２、Ｂ１８のように時間的に任意の方向にある２枚のピクチャを同時に参照することが可能である。参照ピクチャは動き検出の単位であるブロックごとに指定することができるが、符号化を行った符号列中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。
ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。図３１はＢピクチャを符号化および復号化する場合の順番の例である。図３１（ａ）は表示される順番、図３１（ｂ）は（ａ）を符号化および復号化する順番に並び替えたものである。ピクチャＢ３、Ｂ６によって参照されるピクチャは全て先に符号化および復号化されているように並び替えられているのが分かる。

前記Ｂピクチャの符号化において、同時に２つのピクチャを参照する場合の予測画像の作成方法について図３２を用いて詳しく説明する。なお、復号化の場合の予測画像の作成方法についても全く同様である。

ピクチャＢ４は現在符号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する符号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ２、第２参照ピクチャをピクチャＰ３とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２は第１参照ピクチャをピクチャＰ２、第２参照ピクチャをピクチャＰ１とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。（非特許文献１参照）
図３３は参照された２つのブロックＢＬ１１およびＢＬ２１を用いて符号化対象のブロックＢＬ０１の予測画像を作成する方法を説明するための図である。ここでは各ブロックのサイズが４×４画素であると仮定して説明を行う。Ｑ１(ｉ)はＢＬ１１の画素値、Ｑ２(ｉ)はＢＬ２１の画素値、Ｐ(ｉ)は求めるＢＬ０１の予測画像の画素値とすると、画素値Ｐ(ｉ)は式１のような線形予測式によって算出することができる。ｉは画素の位置を示すものであり、ここでの例では０から１５の値を持つことになる。

Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ)＋ｗ２×Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋ｃ （式１）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
ｗ１、ｗ２、ｃ、ｄは線形予測を行うための係数であり、４つで１組の重み付け係数セットとして扱う。これらの重み付け係数セットは各ブロックが参照するピクチャを指定する参照インデックスによって決定されるものであり、例えばＢＬ０１の場合はｗ１_１、ｗ２_１、ｃ_１、ｄ_１、ＢＬ０２の場合はｗ１_２、ｗ２_２、ｃ_２、ｄ_２という４つの値を使用する。

次に、参照ピクチャを指定するための参照インデックスについて図３４、図３５を用いて説明する。各ピクチャにはメモリに蓄積されるごとに１ずつ増加するピクチャ番号という値が割り振られている。つまり、新たに蓄積されるピクチャには既存のピクチャ番号の最大値から1つ増加した値を持つピクチャ番号が付与される。しかし、実際に参照画像を指定するのはこのピクチャ番号ではなく、別に定義された参照インデックスという値を使用することになる。第１参照ピクチャを示すものを第1参照インデックス、第２参照ピクチャを示すものを第２参照インデックスと呼ぶ。

図３４は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は符号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記述され、１つのスライスを符号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。
図３４の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在符号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。

図３５は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、それぞれの参照インデックスだけをみると１つのピクチャ番号に対して１つの参照インデックスが割り当てられているのが分かる。

次に図３６および図３７を用いて使用する重み付け係数セットの決定方法を説明する。
１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図３６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図３２におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。
ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを決定するためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、ｐｓｅｔ３、ｐｓｅｔ４）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。図３７は前記スライスヘッダ領域に含まれる前記データの例を表に示したものである。
識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ_ｃｍｄ１およびｉｄｘ_ｃｍｄ２が記述されている。

図３６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図３７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組ずつの重み付け係数セットが選択される。各々の重み付け係数セットを用いて式１の線形予測を行うことにより、２つの予測画像が生成される。この２つの予測画像に対してそれぞれ画素ごとに平均を取ることにより求める予測画像を得ることができる。

また、上述したように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、予め決めた固定式を用いて予測画像を求める方法もある。この方法として、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後にある場合は、固定の係数からなる固定式である式２ａを選択し、それ以外は固定の係数からなる固定式である式２ｂを選択して、予測画像を生成する。
Ｐ（ｉ）＝２×Ｑ１（ｉ）−Ｑ２（ｉ） （式２ａ）
Ｐ（ｉ）＝（Ｑ１（ｉ）＋Ｑ２（ｉ））／２ （式２ｂ）

このように、予測式が固定であるため、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないという利点がある。また、ピクチャの位置関係によって固定式の選択が行われるため、線形予測係数の重み付け係数セットを指定するためのフラグを符号化して送る必要がないという利点もある。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能である。
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC,Joint Committee Draft (CD)(2002-5-10)(P.34 8.4.3 Re-Mapping of frame numbers indicator,P.105 11.5 Prediction signal generation procedure)

式１による重み付け係数セットを用いた予測画像作成方法では、参照ピクチャに参照インデックスを割り当てるコマンドの数が参照ピクチャの枚数と同じ数であるため、１つの参照ピクチャに対して１つの参照インデックスのみしか割り当てられず、同じ参照ピクチャを参照しているブロックでは線形予測に使用される重み付け係数セットは全く同じ値のものとなる。ピクチャ内で一様な画像変化が起こっている場合は問題ないが、部分部分によって画像変化が異なる場合は、最適な予測画像が生成されない可能性が非常に高くなってしまう。また、式中に掛け算を用いた演算が含まれているため、線形予測のための処理量が大きくなってしまうという問題がある。

そこで本発明の目的は、１つの参照ピクチャに複数の参照ピクチャを割り当ることを可能にするとともに、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化の効率を向上させる画像符号化方法、画像復号化方法、それらの装置、それらのプログラムを提供することにある。

そしてこの目的を達成するために、本発明の画像符号化方法は、ピクチャ番号で識別される符号化済ピクチャを参照ピクチャとして記憶部に格納する参照ピクチャ格納ステップと、予測画像の生成に用いられる係数および前記参照ピクチャを指定する参照インデックスと前記ピクチャ番号とを対応付けるコマンドを生成するコマンド生成ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで指定された参照ピクチャ内の動き検出により得られたブロックに対して、前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象ピクチャ内のブロックと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有し、前記符号化信号出力ステップは、前記画像符号化信号中に前記参照インデックスの最大値を示す情報を符号化するように構成されている。
ここで、前記参照インデックスの最大値を示す情報は、前記画像符号化信号に含まれるピクチャ共通情報領域に置かれている構成としてもよい。

この構成によれば、復号化装置において、前記コマンドを基に、ピクチャ番号と参照インデックスとを対応付けていくときに、参照インデックスの最大値を示す情報が符号化信号に含まれるので、ピクチャ番号と参照インデックスとをコマンドに従って対応付け処理を前記最大値に達するまで行うことにより、容易に、すべての参照インデックスとピクチャ番号との対応づけを行うことができる。その結果、１つの参照ピクチャに複数の参照ピクチャを割り当ることを可能にするとともに、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。
ここで、前記コマンド生成ステップにおいて、記憶部に格納されている複数の参照ピクチャの中に、複数の参照インデックスが対応付けられたピクチャ番号を有する参照ピクチャが少なくとも１つ以上含まれるようにコマンドを生成する構成としてもよい。
また、前記参照ピクチャ指定ステップにおいて、前記参照ピクチャのピクチャ番号に対して複数の参照インデックスが対応付けられている場合、当該複数の参照インデックスのそれぞれ対応する係数に基づいて、その中の１つの参照インデックスを選択し、前記予測画像生成ステップにおいて、指定ステップで選択された参照インデックスに対応する係数を用いて線形予測を施す構成としてもよい。

この構成によれば、１つのピクチャ番号に複数の参照インデックスを対応付けるので、参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施す際に、当該係数を複数の係数の中から選択することが可能となる。つまり、線形予測に用いられる係数として最適な係数を選択することができる。その結果、符号化効率の向上を図ることができる。
ここで、前記予測画像生成ステップにおいて、ビットシフト演算、加算および減算のみを使用して前記線形予測を行う構成としてもよい。

この構成によれば、処理負荷の重い乗除算を使用せず、処理負荷の軽いビットシフト演算、加算および減算のみを使用するので、線形予測の処理量を少なく抑えることができる。
ここで、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみが、前記参照インデックスに対応付けられる構成としてもよい。

この構成によれば、係数として、直流成を示す値以外の値は符号化しなくてよいので、符号化効率を向上させることができる。また、処理負荷の重い乗除算を使用せず、処理負荷の軽い加算および減算のみを使用するので、線形予測の処理量を少なく抑えることができる。
ここで、前記参照インデックスは、第１の参照ピクチャを示す第１の参照インデックスと、第２の参照ピクチャを示す第２の参照インデックスとを有し、前記予測画像生成ステップにおける前記線形予測を行う方法として、各参照ピクチャの持つ表示順情報によって係数を生成する方法を使用する場合に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ時は、予め設定された係数を代わりに用いて線形予測を行う構成としてもよい。
また、前記予め設定された係数は、同じ重みを有する構成としてもよい。

この構成によれば、２つの参照ピクチャとが同じ表示順情報をもつ場合でも係数を決定し線形予測を行うことが可能となり、符号化効率を向上させることができる。

また、本発明の画像復号化方法、画像符号化装置、画像復号化装置、画像符号化プログラム、画像復号化プログラムおよび画像符号化データについても、上記と同様の構成、作用および効果を有する。

また、本発明の画像符号化方法は、以下の（１）〜（１４）の何れかの構成とすることができる。
（１）本発明による画像符号化方法は、ピクチャ番号で識別される符号化済ピクチャを記憶部に格納する参照ピクチャ格納ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャと予測画像を生成するときに用いる係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドを生成するコマンド生成ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで選択された参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象フレームと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有する。

（２）さらに、本発明による別の画像符号化方法は、前記参照ピクチャが有するピクチャ番号に対し、複数の参照インデックスを割り当てることが可能であり、前記参照ピクチャ指定ステップにおいて各符号化済ピクチャに対応する１つ以上の参照インデックスから１つの参照インデックスを選択し、前記予測画像生成ステップにおける線形予測で用いる係数を決定することができる。

（３）さらに、本発明による別の画像符号化方法は、１つのスライスによって参照される複数の参照ピクチャの中に、複数の参照インデックスが割り当てられたピクチャ番号を有する参照ピクチャを少なくとも１つ有することができる。

（４）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップでは、前記ブロックに対して、前記第１の参照インデックスに対応する係数によって線形予測を施すとともに、前記第２の参照インデックスに対応する係数によって線形予測を施し、それぞれの線形予測で得られた２つの予測画像における画素値の平均を求めることによって、前記ブロックに対する最終的な予測画像を生成する。

（５）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数の決定は、選択された第１の参照インデックスと第２の参照インデックスそれぞれが指示する前記係数の平均によって求められる。

（６）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記第１及び第２の参照インデックスには、複数の係数からなる組が対応づけられ、前記予測画像生成ステップでは、一方の参照インデックスに対応する係数の組のうちの一部と他方の参照インデックスに対応する係数の組の一部とを用いて前記予測画像を生成する。

（７）さらに、本発明による別の画像符号化方法は、前記予測画像生成ステップにおける前記線形予測で用いる計算式は、乗算および除算を使用することなくビットシフト演算および加算および減算のみで構成される。これにより、演算処理の少ない処理のみで線形予測ができる。

（８）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップでは、前記第１及び第２の参照インデックスに対応する係数の組のうち、前記ビットシフト演算に用いられる係数は前記第１及び第２の参照インデックスのいずれかに対応する係数を選択して使用し、その他の演算に用いられる係数は前記第１及び第２の参照インデックスそれぞれに対応する係数の平均値を使用して前記予測画像を生成する。

（９）さらに、本発明による別の画像符号化方法において、前記参照インデックスは、前記複数の符号化済ピクチャから任意に指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから任意に指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみを使用し、第１の参照インデックスおよび第２の参照インデックスそれぞれに１つずつ対応付けられる。

（１０）さらに、本発明による別の画像符号化方法において、ピクチャ番号で識別される符号化済ピクチャを記憶部に格納する参照ピクチャ格納ステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された参照ピクチャを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドを生成するコマンド生成ステップステップと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、前記参照ピクチャ指定ステップで選択された参照ピクチャ上の動き検出により得られたブロックに対して、各参照ピクチャの持つ表示順情報から係数を生成し、前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、入力された符号化対象フレームと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力ステップとを有する。

（１１）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法と、予め設定された固定式を用いた方法とを、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって切り替えて使用する。

（１２）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法を使用した際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ場合は、予め設定された係数を代わりに用いて線形予測を行う。

（１３）さらに、本発明による別の画像符号化方法において、前記予測画像生成ステップにおいて、前記表示順情報を用いて係数を生成する際に、前記線形予測が乗算および除算を使用することなくビットシフト演算および加算および減算のみで行えるように、前記係数を２のべき乗に近似する。

（１４）さらに、本発明による別の画像符号化方法において、前記近似を行う際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって、切り上げによる近似と切り下げによる近似とを切り替えて使用する。

（１５）本発明のプログラムは、上記（１）〜（１４）の何れかに記載の画像符号化方法をコンピュータに実行させる構成としてもよい。

また、本発明のコンピュータ読取可能な記録媒体は、以下の（１６）〜（２５）の何れかの構成とすることができる。

（１６）動画像が符号化された信号である符号化信号が記録されたコンピュータ読み取り可能な記録媒体であって、前記符号化信号は、予測画像を生成するときに用いる係数と、ピクチャ番号で識別される符号化済ピクチャを格納する記憶部に格納されている複数の符号化済ピクチャから任意に選択された、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、参照ピクチャと予測画像を生成するときに用いる前記係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャ番号に割り当てることが可能であるコマンドと、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャと予測画像を生成するときに用いる係数とを指定する参照インデックスと、選択された参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより生成される予測画像とが符号化されている。

（１７）前記符号化信号には、前記参照インデックスの最大値が含まれる。

（１８）前記最大値は、前記符号化信号に含まれるピクチャの共通情報領域に置かれている。

（１９）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数が符号化されているか否かを示すフラグが含まれる。

（２０）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を、係数を使用せずに予め設定された固定式を用いて生成するか、又は、直流成分を示す係数のみを使用して予め設定された固定式を用いて生成するかを示すフラグが含まれる。

（２１）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を、予め設定された２つの式から構成される固定式を用いて生成する場合に、前記２つの式を切り替えて使用するか、又は、切り替えずに片方の式のみを使用するかを示すフラグが含まれる。

（２２）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数を参照されるピクチャの表示順情報を用いて作成するか否かを示すフラグが含まれる。

（２３）前記符号化信号に含まれるブロックの集まりからなるスライスのヘッダ、もしくはピクチャ共通情報領域、もしくは各ブロックのヘッダには、ブロックの予測画像を線形予測によって生成するための係数が２のべき乗になるように近似するか否かを示すフラグが含まれる。

（２４）前記符号化信号に、乗算および除算を使用することなくビットシフト演算および加算および減算のみで線形予測の計算を行うことができることを示すためのフラグが含まれる。

（２５）前記符号化信号に、直流成分を示す値のみで線形予測の計算を行うことができることを示すためのフラグが含まれる。

また、本発明の画像復号化方法は、以下の（２６）〜（３９）の何れかの
構成とすることができる。

（２６）本発明による画像復号化方法は、予測画像を生成するときに用いる係数と、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャと前記係数とを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドと、前記参照インデックスと、予測残差の符号化信号とを有する画像符号化信号を復号化する画像符号化情報獲得ステップと、復号化された前記コマンドと、復号化された前記参照インデックスとにより、復号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを決定する参照ピクチャ指定ステップと、決定された前記参照ピクチャ上の動き検出により得られたブロックに対して、この参照ピクチャを指定する前記参照インデックスに対応する係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、前記予測画像と復号化された予測残差とから復号画像を生成する復号画像生成ステップとを有する。

（２７）さらに、本発明による別の画像復号化方法は、前記参照ピクチャが有するピクチャ番号に対し、複数の参照インデックスを割り当てることが可能であり、前記参照ピクチャ指定ステップにおいて復号化された前記参照インデックスを用いて、前記予測画像生成ステップにおける線形予測で用いる係数を決定する。

（２８）さらに、本発明による別の画像復号化方法は、１つのスライスによって参照される複数の参照ピクチャの中に、複数の参照インデックスが割り当てられたピクチャ番号を有する参照ピクチャを少なくとも１つ有することができる。

（２９）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップでは、前記ブロックに対して、前記第１の参照インデックスに対応する係数によって線形予測を施すとともに、前記第２の参照インデックスに対応する係数によって線形予測を施し、それぞれの線形予測で得られた２つの予測画像における画素値の平均を求めることによって、前記ブロックに対する最終的な予測画像を生成する。

（３０）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップにおける前記線形予測で用いる係数の決定は、選択された参照インデックスそれぞれが有する係数の平均によって求められる。

（３１）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記第１及び第２の参照インデックスには、複数の係数からなる組が対応づけられ、前記予測画像生成ステップでは、一方の参照インデックスに対応する係数の組のうちの一部と他方の参照インデックスに対応する係数の組の一部とを用いて前記予測画像を生成する。

（３２）さらに、本発明による別の画像復号化方法は、前記予測画像生成ステップにおける前記線形予測で用いる計算式は、乗算および除算を使用することなくビットシフト演算および加算および減算のみで構成される。これにより、演算処理の少ない処理のみで線形予測ができる。

（３３）さらに、本発明による別の画像復号化方法における前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の復号化済ピクチャから指定された第２の参照ピクチャを示す第２の参照インデックスとがあり、前記予測画像生成ステップでは、前記第１及び第２の参照インデックスに対応する係数の組のうち、前記ビットシフト演算に用いられる係数は前記第１及び第２の参照インデックスのいずれかに対応する係数を選択して使用し、その他の演算に用いられる係数は前記第１及び第２の参照インデックスそれぞれに対応する係数の平均値を使用して前記予測画像を生成する。

（３４）さらに、本発明による別の画像復号化方法において、前記参照インデックスは、前記複数の復号化済ピクチャから指定された第１の参照ピクチャを示す第１の参照インデックスと、前記複数の符号化済フレームから指定された第２の参照フレームを示す第２の参照インデックスとからなり、前記予測画像生成ステップにおける前記線形予測で用いる係数として、線形予測式における直流成分を示す値のみを使用し、第１の参照インデックスおよび第２の参照インデックスそれぞれに１つずつ対応付けられる。

（３５）さらに、本発明による別の画像復号化方法において、符号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する、記憶部に格納されている複数の符号化済ピクチャから任意に選択された、参照ピクチャを示す参照インデックスと、前記ピクチャ番号とを対応付けるコマンドであって、複数の参照インデックスが同一のピクチャを参照することが可能であるコマンドと、前記参照インデックスと、予測残差の符号化信号とを有する画像符号化信号を復号化する第１のステップと、復号化された前記コマンドと、復号化された前記参照インデックスとにより、復号化対象ピクチャ上のブロックに対して動き補償を行うときに参照する参照ピクチャを決定する参照ピクチャ指定ステップと、決定された前記参照ピクチャ上の動き検出により得られたブロックに対して、各参照ピクチャの持つ表示順情報から係数を生成し、前記係数を用いた線形予測を施すことにより予測画像を生成する予測画像生成ステップと、前記予測画像と復号化された予測残差とから復号画像を生成する復号画像生成ステップとを有する。

（３６） 前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法と、予め設定された固定式を用いた方法とを、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって切り替えて使用する。

（３７）さらに、本発明による別の画像復号化方法において、前記予測画像生成ステップにおける前記線形予測を行う方法として、前記表示順情報によって生成される係数を用いた方法を使用した際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャとが同じ表示順情報をもつ場合は、予め設定された係数を代わりに用いて線形予測を行う。

（３８）さらに、本発明による別の画像復号化方法において、前記予測画像生成ステップにおいて、前記表示順情報を用いて係数を生成する際に、前記線形予測が乗算および除算を使用することなくビットシフト演算および加算および減算のみで行えるように、前記係数を２のべき乗に近似する。

（３９）さらに、本発明による別の画像復号化方法において、前記近似を行う際に、第１の参照インデックスによって指定される参照ピクチャおよび第２の参照インデックスによって指定される参照ピクチャの各々の持つ表示順情報の前後関係によって、切り上げによる近似と切り下げによる近似とを切り替えて使用する。

（４０）本発明のプログラムは、上記（２６）〜（３９）の何れかに記載の画像符復号化方法をコンピュータに実行させる構成としてもよい。

以上の様に、本発明の動画像符号化方法および復号化方法により、予測画像を生成する際の線形予測に用いられる重み付け係数セットの候補を複数作成できるようになり、ブロックごとに最適なものを選択することが可能となった。その結果、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。また、大きな符号化効率の向上が実現可能となることから、動画像の符号化および復号化において非常に有効である。

以上の様に、本発明の動画像符号化方法および復号化方法により、予測画像を生成する際の線形予測に用いられる重み付け係数セットの候補を複数作成できるようになり、ブロックごとに最適なものを選択することが可能となった。その結果、複数の参照インデックスが割り当てられている場合であっても、１つの参照インデックスが割り当てられている場合であっても、参照インデックスの復号化を効率よく行うことができる。また、大きな符号化効率の向上が実現可能となることから、動画像の符号化および復号化において非常に有効である。

（実施の形態１）
図1は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。この動画像符号化装置における動画像符号化方法を図１に示したブロック図を用いて（１）符号化の概要、（２）参照インデックス割り当て方法、（３）予測画像生成方法の順で説明する。

（１）符号化の概要
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えを行う。図３１は並び替えの例を示した図である。図３１（ａ）は表示される順に並べられたピクチャであり、図３１（ｂ）は符号化を行う順に並び替えたピクチャの例である。ここでのＢ３、Ｂ６は時間的に前方および後方の両方を参照しているため、これらのピクチャを符号化する前に参照の対象となるピクチャを先に符号化する必要があることから、図３１（ｂ）ではＰ４、Ｐ７が先に符号化されるように並び替えられている。さらに各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。

ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１２に入力され、動き補償符号化部１０７の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差符号化信号を出力する。残差符号化信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１３では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号の中で以降の画面間予測で参照される可能性がある信号をピクチャメモリ１０５に格納する。

一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０６にも入力される。ここでは、ピクチャメモリ１０５に格納されている再構成画像信号を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われ、得られた動きベクトルは動きベクトル記憶部１０８に格納される。
このとき、現在標準化中のＨ．２６Ｌでは複数のピクチャを参照対象として使用することができるため、参照するピクチャを指定するための識別番号がブロックごとに必要となる。その識別番号を参照インデックスと呼び、参照インデックス・ピクチャ番号変換部１１１において、ピクチャメモリ１０５中のピクチャの持つピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。参照インデックス・ピクチャ番号変換部１１１における動作の詳細は（２）において詳しく説明する。

動き補償符号化部１０７では、上記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０５に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。得られた画像領域の画素値に対して線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像とする。その際に使用する線形予測係数は線形予測係数生成部１１０によって生成され線形予測係数記憶部１０９に格納される。この予測画像生成方法については（３）において詳しく説明する。

上記の一連の処理によって出力された線形予測係数、参照インデックス、動きベクトル、残差符号化信号等の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、この符号化装置が出力する符号列が得られる。

以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１４およびスイッチ１１５によって画面内予測符号化との切り替えがなされる。画面内符号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画面間予測符号化の場合と同様に、予測残差符号化部１０２において残差符号化信号に変換され、符号列生成部１０３において可変長符号化を施されることにより出力される符号列が得られる。

（２）参照インデックス割り当て方法
次に、図１の参照インデックス・ピクチャ番号変換部１１１における参照インデックス割り当て方法について図３、図４を用いて説明する。

図３は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は符号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記述され、１つのスライスを符号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。
図３の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在符号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。

図３４に示した従来の方法による参照インデックス割り当て方法では、全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられている。一方、図３の例では、割り当て方法は従来のものと全く同じ方法を用いているが、コマンドの値を変更することにより同じピクチャ番号に対して複数の参照インデックス番号が対応付けられている。

図４は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、１つのピクチャ番号に対して複数の参照インデックスが割り当てられているものもあることが分かる。本発明の符号化方法では、この例のように複数の参照インデックスが割り当てられているピクチャ番号が少なくとも１つ以上あるものとする。

参照インデックスを参照ピクチャの決定のみに使用する場合であれば、従来の方法のように１つのピクチャ番号に対して１つの参照インデックスを割り当てる方法が最も符号化効率の良い方法である。しかし、参照インデックスを使用して予測画像の生成における線形予測係数の重み付け係数セットを選択する場合は、従来の方法では同じ参照ピクチャを持つブロック全てにおいて同じ線形予測係数を使用しなくてはならないため、最適な予測画像が生成されない可能性が非常に高くなってしまう。
そこで、本発明のように１つのピクチャ番号に対して複数の参照インデックスが割り当てることを可能とすることにより、同じ参照ピクチャを持つ場合でも、ブロックごとに複数の線形予測係数の重み付け係数セットの候補の中から最適なものを選択することが可能となり、より符号化効率の高い予測画像を生成することが可能となる。

なお、以上の説明では全ての参照ピクチャが参照用メモリに蓄積されるものとしてピクチャ番号が与えられている場合の例を示していたが、ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ、当該ピクチャに値が１つ増加したピクチャ番号が付与されていくものであり、蓄積されないピクチャがあった場合でも参照用メモリ内ではピクチャ番号の連続性は保たれ、前記方法をそのまま使用することが可能である。

（３）予測画像生成方法
次に、図１の動き補償符号化部１０７における予測画像生成方法について図５を用いて説明する。線形予測による予測画像生成方法は従来法と全く同様であるが、同じピクチャに対して複数の参照インデックス番号を対応付けることが可能となったため、線形予測係数を選択する際の自由度が高くなっている。

ピクチャＢ１６は現在符号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する符号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２も第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。
第１参照ピクチャおよび第２参照ピクチャはＢＬ０１、ＢＬ０２共に同じものを参照しているが、（２）において説明した参照インデックスの割り当て方法を用いることにより、第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２はＢＬ０１とＢＬ０２とで異なる値を取ることが可能となる。図４を例にとると、ピクチャ番号１１に対応する第１参照インデックスは１と３が、ピクチャ番号１５に対応する第２参照インデックスは１と６が割り振られている。
その結果、これらの参照インデックスの組み合わせは、（ｒｅｆ１、ｒｅｆ２）＝（１、１）、（１、６）、（３、１）、（３、６）の４通りが考えられ、これらの中から最適な重み付け係数セットを導き出す組み合わせをブロックごとに選択することが可能となっている。図５では例としてＢＬ０１がｒｅｆ１＝１、ｒｅｆ２＝１、ＢＬ０２がｒｅｆ１＝３、ｒｅｆ２＝６としている。

図３５にあるような従来の方法によって対応付けられた参照インデックスの組み合わせでは、図５のような例ではＢＬ０１、ＢＬ０２共に（ｒｅｆ１、ｒｅｆ２）＝（１、１）の組み合わせしか選択できなかったため、選択することのできる線形予測係数の重み付け係数セットも１通りしかなかった。一方、本発明では選択範囲が４通りに拡張されているため、最適な重み付け係数セットが選択できる可能性が高くなると言える。

１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図５におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。
またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを与えるためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。このときのｐｓｅｔは（２）で説明した参照インデックスの個数と同じで数だけ設定することができる。つまり、図３のように第１参照インデックス、第２参照インデックスを共に０から９までの１０個を使用した場合は、ｐｓｅｔもｒｅｆ１用、ｒｅｆ２用共に０から９までの１０個を設定することが可能である。
図７は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ_ｃｍｄ１およびｉｄｘ_ｃｍｄ２が記述されている。

図６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組の重み付け係数セットが選択される。この２組の重み付け係数セットを用いて参照画像の画素値に対して線形予測を施すことによって予測画像を生成する。

このように１つのピクチャ番号に対して複数の参照インデックスが割り当てる符号化方法を用いることにより、線形予測係数の重み付け係数セットの候補を複数作成できるようになり、その中から最適なものを選択することが可能となる。たとえば、第１参照インデックスが２つ、第２参照インデックスが２つ割り当てられていた場合は４通りの重み付け係数セットを選択の候補とすることができ、第１参照インデックスが３つ、第２参照インデックスが３つ割り当てられていた場合は９通りの重み付け係数セットを選択の候補とすることができる。

この線形予測という方法はフェードやフラッシュのように画面全体もしくは一部分の明度が大きく変化するような場合に特に大きな効果が得られる。多くの場合、その明度の変化の度合いは画面の部分部分によって異なる。そのため、本発明のように複数の重み付け係数セットの中からブロックごとに最適なものを選択できるような構成を持つことは画像の符号化において非常に有効である。

ここで、重み付け係数セットを決定し予測画像を生成するまでの処理の流れについて詳細に説明する。

図８は、図１の線形予測係数生成部１１０、線形予測係数記憶部１０９、および動き補償符号化部１０７における予測画像を生成する機能構成を示した機能ブロック図である。

線形予測係数生成部１１０、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂ、平均値算出部１０７ａ、および線形予測演算部１０７ｂにより予測画像が生成される。

線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ａおよび線形予測係数記憶部１０９ｂに格納されている。平均値算出部１０７ａは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部１０９ａより獲得し、同様に第２参照インデックスｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部１０９ｂより獲得する。

そして平均値算出部１０７ａは、線形予測係数記憶部１０９ａ、１０９ｂより獲得したそれぞれの重み付け係数セットのパラメータごとの平均を取り、実際に線形予測に使用する重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）とし、線形予測演算部１０７ｂに出力する。線形予測演算部１０７ｂは、得られた重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）を基に、式１を用いて予測画像を演算し出力する。

また、図９は予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂ、線形予測演算部１０７ｃ、線形予測演算部１０７ｄ、および平均値算出部１０７ｅにより、予測画像が生成される。

線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ａおよび線形予測係数記憶部１０９ｂに格納されている。線形予測演算部１０７ｃは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部１０９ａより獲得し、その重み付け係数セットを基に、式１を用いて予測画像を演算して平均値算出部１０７ｅに出力する。

同様に、線形予測演算部１０７ｄは、動き検出の処理によって決定された第２参照インデックスｒｅｆ２を基に選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部１０９ｂより獲得し、その重み付け係数セットを基に式１を用いて予測画像を演算して平均値算出部１０７ｅに出力する。

平均値算出部１０７ｅは、線形予測演算部１０７ｃ，線形予測演算部１０７ｄのそれぞれから出力される予測画像の各画素の平均値をとり、最終的な予測画像を生成し出力する。

図１０（ａ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｃ、線形予測係数記憶部１０９ｄ、平均値算出部１０７ｆ，線形予測演算部１０７ｇにより予測画像が生成される。

線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｃおよび線形予測係数記憶部１０９ｄに格納されている。平均値算出部１０７ｆは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部１０９ｃより獲得し、同様に第２参照インデックスｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｃ＿２，ｄ＿２のパラメータを線形予測係数記憶部１０９ｄより獲得する。平均値算出部１０７ｆは、線形予測係数記憶部１０９ｃおよび線形予測係数記憶部１０９ｄより獲得したｃ＿１とｃ＿２の平均値と、ｄ＿１とｄ＿２の平均値を算出してｃ、ｄを求め線形予測演算部１０７ｇに出力する。

また、線形予測演算部１０７ｇは、上記重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｗ１＿１のパラメータを線形予測係数記憶部１０９ｃより獲得し、上記重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｗ２＿２のパラメータを線形予測係数記憶部１０９ｄより獲得し、平均値算出部１０７ｆによりそれぞれの平均を求めてｃ、ｄを獲得し、式１を用いて予測画像を演算し出力する。

すなわち、線形予測演算部１０７ｇは、線形予測係数記憶部１０９ｃより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部１０９ｄより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（ｄ＿１とｄ＿２の平均）

このように図１０（ａ）で説明した予測画像の生成においては、線形予測係数記憶部１０９ｃは重み付け係数セットのうちｗ２＿１を必要としない。そのため、ｒｅｆ１用の重み付け係数セットにｗ２は必要でない。よって符号列を小さくすることも可能である。

また、線形予測係数記憶部１０９ｄは重み付け係数セットのうちｗ１＿２を必要としない。そのため、ｒｅｆ２用の重み付け係数セットにｗ１は必要でない。よって符号列を小さくすることも可能である。

図１０（ｂ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｅ、線形予測係数記憶部１０９ｆ、線形予測演算部１０７ｈにより予測画像が生成される。

線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｅおよび線形予測係数記憶部１０９ｆに格納されている。線形予測演算部１０７ｈは、動き検出の処理によって決定された第１参照インデックスｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうちの一部であるｗ１＿１，ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部１０９ｅより獲得し、同様に第２参照インデックスｒｅｆ２を基に選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうちの一部であるｗ２＿２のパラメータを線形予測係数記憶部１０９ｆより獲得する。線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅ，線形予測係数記憶部１０９ｆより獲得したｗ１＿１，ｃ＿１，ｄ＿１，ｗ２＿２を基に、式１を用いて、予測画像を演算し出力する。

すなわち、線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部１０９ｆより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝ｃ＿１，ｄ＝ｄ＿１

また、図１０（ｂ）で説明した予測画像の生成においては、線形予測係数記憶部１０９ｅは重み付け係数セットのうちｗ２＿１を必要としない。そのため、ｒｅｆ１用の重み付け係数セットにｗ２は必要でない。よって符号列を小さくすることができる。

また、線形予測係数記憶部１０９ｆは重み付け係数セットのうちｗ１＿２，ｃ＿２，ｄ＿２を必要としない。そのため、ｒｅｆ２用の重み付け係数セットにｗ１，ｃ，ｄは必要でない。よって符号列を小さくすることができる。

また、ｗ１、ｗ２、ｃ、ｄのパラメータのうちの１つもしくは複数個を固定の値として使用することも可能である。図１１は図１０（ａ）における機能構成に対して、ｄのみを固定の値として使用した場合の機能ブロック図である。線形予測係数生成部１１０、線形予測係数記憶部１０９ｉ、線形予測係数記憶部１０９ｊ、平均値算出部１０７ｊ、線形予測演算部１０７ｋにより予測画像が生成される。

第１参照インデックスｒｅｆ１によって線形予測係数記憶部１０９ｉから選択される係数は（ｗ１＿１、ｃ＿１）のみであり、第２参照インデックスｒｅｆ２によって線形予測係数記憶部１０９ｊから選択される係数は（ｗ２＿２、ｃ＿２）のみである。平均値算出部１０７ｊは、線形予測係数記憶部１０９ｉおよび線形予測係数記憶部１０９ｊより獲得したｃ＿１とｃ＿２の平均値を算出してｃを求め線形予測演算部１０７ｋに出力する。

また、線形予測演算部１０７ｋは、ｗ１＿１のパラメータを線形予測係数記憶部１０９ｉより獲得し、ｗ２＿２のパラメータを線形予測係数記憶部１０９ｊより獲得し、ｃのパラメータを平均値算出部１０７ｊｆより獲得し、ｄのパラメータとして予め決められたある固定の値を使用し、式１を用いて予測画像を算出し出力する。つまり、式１の係数（ｗ１、ｗ２，ｃ，ｄ）には下記の値が入力されることになる。
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（固定値）
これを式１に代入すると下記の式１ａが得られる。
Ｐ(ｉ)＝(ｗ１＿１×Ｑ１(ｉ)＋ｗ２＿２×Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２ （式１ａ）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）

さらに式１ａを変形することにより式１ｂのような式が得られる。線形予測演算部１０７ｋにおける線形予測の演算方法は式１ｂのような形式で用いた場合も式１の形式で用いた場合も全く同様に扱うことが可能である。
Ｐ(ｉ)＝(ｗ１＿１×Ｑ１(ｉ)／ｐｏｗ(２,ｄ−１)＋ｃ＿１＋ｗ２＿２×Ｑ２(ｉ)／ｐｏｗ(２,ｄ−１)＋ｃ＿２)／２ （式１ｂ）
（ｐｏｗ(２,ｄ−１)は２のｄ−１乗を示す）

なお、式１ｂではｐｏｗ(２,ｄ−１)となっているが、ｄは固定の値であるため、ｄ'＝ｄ−１としてｄ'を線形予測演算部１０７ｋへの入力とすることによりｐｏｗ(２,ｄ')としてシステムを構成してもよい。

また、図１１で説明した予測画像の生成においては、線形予測係数記憶部１０９ｉは重み付け係数セットのうちｗ１＿１とｃ＿１のみを必要とし、線形予測係数記憶部１０９ｊは重み付け係数セットのうちｗ２＿２とｃ＿２のみを必要とするため、それ以外のパラメータを符号化する必要がない。よって符号列を小さくすることができる。

なお、ｄの値として使用する予め決定された固定の値とは、常に同じ値を使用することも可能であるが、スライスヘッダに前記固定の値を記述することによってスライスごとに切り替えることも可能である。同様に、ピクチャ共通情報領域またはシーケンス共通情報領域に記述することによりピクチャごとまたはシーケンスごとに切り替えることも可能である。

上記の線形予測方法を用いたときのスライスデータ領域の構成の例を図１２に示す。図６と異なる点は、ｄがスライスヘッダ領域に１つだけ記述されている点と、ｒｅｆ１用のｐｓｅｔとしてｗ１＿１とｃ＿１のみが記述されている点である。図１３は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１＿１、ｃ＿１もしくはｗ２＿２、ｃ＿２の２つの値を持ち、ｒｅｆ１およびｒｅｆ２の値によって直接参照できるように構成されている。

なお、線形予測係数生成部１１０では、ピクチャの特徴を調べることによって重み付け係数セットを生成し、動き補償符号化部１０７において、図８、図９、図１０、図１１で説明した方法を用いて予測画像を作成し、最も予測誤差が最小になるような２つの参照インデックスｒｅｆ１およびｒｅｆ２の組み合わせを決定する。なお、図１０（ａ）、（ｂ）、図１１のように全てのパラメータを必要としない方法を用いる場合は、符号化装置の線形予測係数生成部１１０において重み付け係数セット作成する段階で、必要の無いパラメータの作成処理を省略することも可能である。

また、図１０（ａ）、（ｂ）、図１１のような方法では、線形予測係数生成部１１０において重み付け係数セット作成する際に、例えばｗ１＿１やｗ２＿２のように、ｒｅｆ１用の重み付け係数セットとｒｅｆ２用の重み付け係数セットをそれぞれ独立に最適なものを探索して作成することが可能である。つまり、この方法を用いると符号化装置において重み付け係数セットを作成するための処理量を削減することが可能となる。

なお、上記の符号化方法は２つの参照ピクチャをもつＢピクチャに関するものであったが、１つの参照ピクチャしか持たないＰピクチャおよびＢピクチャにおける単一ピクチャ参照符号化モードにおいても同様の処理を行うことが可能である。この場合は第１参照インデックスもしくは第２参照インデックスのどちらか一方のみを使用し、図６の符号列におけるスライスヘッダ領域中のｐｓｅｔおよびｉｄｘ_ｃｍｄは、ブロックデータ領域中に記述される参照インデックスに従って、ｒｅｆ１用もしくはｒｅｆ２用のもののみを記述することになる。
また、線形予測の方法は従来の方法で説明した式１に替えて下記の式３を使用する。このとき、Ｑ１(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｗ１、ｗ２、ｃ、ｄは選択された重み付け係数セットによって与えられる線形予測係数である。
Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ)＋ｗ２×Ｑ１(ｉ))／ｐｏｗ(２,ｄ)＋ｃ（式３）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）

なお、線形予測の式として式３の代わりに式４を使用することも可能である。このとき、Ｑ１(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｗ１、ｃ、ｄは選択された重み付け係数セットによって与えられる線形予測係数である。
Ｐ(ｉ)＝(ｗ１×Ｑ１(ｉ))／ｐｏｗ(２,ｄ)＋ｃ （式４）
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）

式１および式３を使用する場合は、ｗ１、ｗ２、ｃ、ｄの４つのパラメータが必要だったが、式４を使用する場合は、ｗ１、ｃ、ｄの３つのパラメータのみで線形予測を行うことができる。つまり、Ｐピクチャのようにピクチャ全体で第１参照インデックスもしくは第２参照インデックスのどちらか一方のみしか使用されない場合は、スライスヘッダ領域に記述する重み付け係数セットのデータの項目数をそれぞれ３つずつに減らすことが可能となる。

式３を用いた場合はＢピクチャとＰピクチャとで構成を変更せずに両方に対応した線形予測を実現することが可能となる。また、式４を用いた場合はＰピクチャのヘッダ領域に記述するデータ量を削減することができ、さらに計算が単純化されるため処理量の削減も実現することが可能となる。ただし、いずれの方法においても、本発明において提案する参照インデックスの割り振り方法はそのまま適用することができるため、符号化効率の高い予測画像を作成することが可能であり、画像の符号化において非常に有効である。

ところで、動き補償において参照するピクチャは、各々のピクチャに割り当てられた参照インデックスを指定することによって決定される。その際に、参照することが可能なピクチャの最大枚数を符号列のピクチャ共通情報部分に記述していた。

図３８は、参照することが可能なピクチャの最大枚数を記述した符号列の模式図である。図に示すように符号列のピクチャ共通情報にｒｅｆ１用のピクチャの最大数Ｍａｘ＿ｐｉｃ１と、ｒｅｆ２用のピクチャの最大数Ｍａｘ＿ｐｉｃ２を記述していた。

符号化において必要とする情報は、実際のピクチャの最大枚数ではなく、ピクチャを指定するために使用する参照インデックスの取り得る最大値である。

従来の方法では、１つのピクチャには１つの参照インデックスしか割り当てられなかったため、前述のピクチャの最大枚数を記述することによって矛盾は生じなかったが、特に本発明のように、ピクチャ番号に複数の参照インデックスが割り当てられる場合には、その違いが大きく影響する。

上述したように、符号列には参照インデックスをピクチャ番号に割り当てるためにコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２が記述されている。このコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２の各コマンドを基に、ピクチャ番号と参照インデックスとを対応づけていく。このときに、参照インデックスの最大値を知ることで、すべての参照インデックスとピクチャ番号との対応づけが行われたことがわかり、コマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２におけるコマンドの終端を知ることができる。

そこで、本実施の形態では、従来のピクチャの最大枚数の代わりに、利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチャ共通情報部分に記述している。もしくは、ピクチャの最大枚数と参照インデックスの最大数の両者を記述する。

図２３は、ピクチャの符号列のピクチャ共通情報に参照インデクッスの最大数を記述した状態を示している。ピクチャの共通情報部分には、ｒｅｆ１用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ１、およびｒｅｆ２用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ２を記述している。

なお、図２３では、ピクチャ共通情報に参照インデクッスの最大数を記述しているが、これに加えて、スライスデータ領域に参照インデクッスの最大数を記述する構成としてもよい。例えば、ピクチャでの参照インデクッスの最大数が８、当該ピクチャ中のスライス１で必要な参照インデクッスの最大数が８、スライス２で必要な参照インデクッスの最大数が４であるというように、スライスによって必要な参照インデクッスの最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、スライス毎に必要な参照インデクッスの最大数を明示することができる。

すなわち、ピクチャ共通情報に記述された参照インデクッスの最大数をピクチャ中の各スライスに共通するデフォルト値として、必要な参照インデクッスの最大数がデフォルト値と異なるスライスについてはスライスヘッダに記述するようにしてもよい。

なお、図２３および図３８ではではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。

（実施の形態２）
本発明の実施の形態２における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。

実施の形態１では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの式はいずれも乗算処理を含むものであり、全ての画素に対してこのような演算を行うことを考えると、処理量が非常に大きくなってしまう。

そこで式１の代わりに式５、式３の代わりに式６、式４の代わりに式７を使用することも可能である。これらの式は乗算を使用することなくビットシフト演算のみで計算を行うことができるため、処理量を少なく抑えることが可能となる。このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、ｍ、ｎ、ｃは選択された重み付け係数セットによって与えられる線形予測係数である。

Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ) ±ｐｏｗ(２,ｎ)×Ｑ２(ｉ)＋ｃ （式５）
Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ) ±ｐｏｗ(２,ｎ)×Ｑ１(ｉ)＋ｃ （式６）
Ｐ(ｉ)＝±ｐｏｗ(２,ｍ)×Ｑ１(ｉ)＋ｃ （式７）
（ｐｏｗ(２,ｍ)は２のｍ乗を、ｐｏｗ(２,ｎ)は２のｎ乗を示す。）

実施の形態１と同様に、同時に２枚のピクチャを参照して予測画像を生成するときは式５を使用し、１枚のピクチャのみを参照して予測画像を生成するときは式６もしくは式７を使用する。これらの式では正負の符号を表す識別子が必要となるため、予測演算に必要な重み付け係数セットは、式５および式６の場合は（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）、式７の場合は（ｓｉｇｎ１、ｍ、ｃ）となる。ｓｉｇｎ１は１つめの正負の符号を、ｓｉｇｎ２は２つめの正負の符号を識別するパラメータである。パラメータの個数は実施の形態１よりも増加しているが、ｓｉｇｎ１およびｓｉｇｎ２はそれぞれ１ビットで表現することができるため符号量の増加はほとんど無い。

ここで、重み付け係数セットを決定し、式５を使用し同時に２枚のピクチャを参照して予測画像を生成するまでの処理の流れについて詳細に説明する。

まず、予測画像を生成する機能構成が図８である場合について説明する。平均値算出部１０７ａは、線形予測係数記憶部１０９ａより重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を得る。また、平均値算出部１０７ａは、線形予測係数記憶部１０９ｂより重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を得る。

平均値算出部１０７ａは、線形予測係数記憶部１０９ａ、線形予測係数記憶部１０９ｂより得た重み付け係数セットのパラメータ毎の平均値を求め、重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）とする。線形予測演算部１０７ｂは、平均値算出部１０７ａが出力する重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）を基に、式５を用いて予測画像を演算する。

なお、図８に記載した線形予測係数記憶部１０９ａ等より得られる重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）等は、実施の形態１で説明した式１の場合の例におけるものであり、式５を用いて予測画像を求める場合についてのパラメータについては図示していないが、そのまま置き換えることが可能である。以下に説明する図９、図１０の場合も同様である。

次に、予測画像を生成する機能構成が図９である場合について説明する。線形予測演算部１０７ｃは、線形予測係数記憶部１０９ａより得た重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に予測画像を演算する。線形予測演算部１０７ｄは、線形予測係数記憶部１０９ｂより得た重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を基に予測画像を演算する。そして平均値算出部１０７ｅは、線形予測演算部１０７ｃ，１０７ｄのそれぞれが演算した予測画像の各画素の平均を求め、予測画像とする。

この場合、線形予測演算部１０７ｃは、重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に式５を用いて、最初に予測画像を演算するため、乗算を使用することなく、ビットシフト演算で計算することができる。線形予測演算部１０７ｄも同様である。一方、図８の場合であると、最初に重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）と重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）の平均を求めるため、ｍ＿１とｍ＿２の平均値あるいはｎ＿１とｎ＿２の平均値が整数にならない場合があり、すなわち２の指数にあたる部分が整数にならないため、処理量が多くなってしまう可能性がある。また、２の指数にあたる部分が整数になるように丸め処理をおこなうと誤差が大きくなってしまう可能性がある。

次に、予測画像を生成する機能構成が図１０（ａ）である場合について説明する。線形予測演算部１０７ｇは、線形予測係数記憶部１０９ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ１＿１，ｍ＿１と、線形予測係数記憶部１０９ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ２＿２，ｎ＿２と、各線形予測係数記憶部１０９ｃ，１０９ｄより得たパラメータｃ＿１とｃ＿２を平均値算出部１０７ｆが平均して求めた平均値ｃとを基に式５を用いて予測画像を演算する。

この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部１０９ｃあるいは線形予測係数記憶部１０９ｄよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。

予測画像を生成する機能構成が図１０（ｂ）である場合について説明する。線形予測演算部１０７ｈは、線形予測係数記憶部１０９ｅより得たパラメータｓｉｇｎ１＿１，ｍ＿１，ｃ＿１と、線形予測係数記憶部１０９ｆより得たパラメータｓｉｇｎ２＿２，ｎ＿２とを基に式５を用いて予測画像を演算する。

この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部１０９ｅ、あるいは線形予測係数記憶部１０９ｆよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。

図１０（ａ）（ｂ）の場合は、実施の形態１における図１０（ａ）（ｂ）の説明と同様に符号列に付加して送らなくてもよいパラメータがあり、符号列を小さくすることが可能である。

以上、実施の形態２で説明したような線形予測式を用いると、乗算を使用することなくビットシフト演算で計算することができるため実施の形態１に比べて処理量を大幅に削減することが可能となる。

なお、上記実施の形態では式１、式３、式４の代わりに式５、式６、式７を用い、符号化するパラメータセットも（ｗ１、ｗ２、ｃ、ｄ）の代わりに（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）を用いて線形予測を行うことによってビットシフト演算のみでの計算を実現し処理量の削減を図っていたが、別のアプローチとして式１、式３、式４および（ｗ１、ｗ２、ｃ、ｄ）をそのまま用いたまま、ｗ１およびｗ２をビットシフト演算可能な値のみ選択可能として制限することによってビットシフト演算のみでの計算を実現し処理量の削減を行うことも可能である。

図１の線形予測係数生成部１１０において、ｗ１およびｗ２の各値を決定する際に、その選択肢としてビットシフト演算可能な値のみを選択し図６および図１２の符号列中のｗ１およびｗ２にそのまま選択された値を記述する。これによって実施の形態１と全く同様の構成のまま線形予測のための処理量の削減を図ることが可能となり、さらに係数の選択肢が制限されることにより係数の決定を容易に行うことが可能となる。

また、さらに限定する方法として、ｗ１およびｗ２を常に１として選択するように制限し、直流成分であるｃ１およびｃ２のみ最適な値を線形予測係数生成部１１０において生成することも可能である。図１１の構成の場合を例にとると、ｒｅｆ１用として（１、ｃ＿１）、ｒｅｆ２用として（１、ｃ＿２）をパラメータセットとして符号化する。この場合、予測画像の画素値Ｐ（ｉ）は、（式１ａ）中のｗ１＿１およびｗ２＿２を１に置き換えた次式により求められる。
Ｐ(ｉ)＝(Ｑ１(ｉ)＋Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）

これによって実施の形態１と全く同様の構成のまま線形予測のための処理量を大幅に削減することが可能となり、さらに不確定の係数がｃ＿１およびｃ＿２のみとなるため係数の決定方法の大幅な単純化が可能となる。

図２４は、ピクチャの符号列のピクチャ共通情報に、線形予測をビットシフト演算のみで行うことが可能であるかを示すフラグｓｆｔ＿ｆｌｇ、および直流成分であるｃのみで線形予測を行うことが可能であるかを示すフラグｄｃ＿ｆｌｇを記述した例を示している。復号化装置ではこれらフラグを参照せずに復号することも可能であるが、これらフラグを参照することにより、ビットシフト演算のみでの線形予測に適した構成での復号を行うことや、直流成分のみでの線形予測に適した構成での復号を行うことが可能となるため、復号化装置の構成によっては非常に重要な情報となる場合がある。

なお、図２４ではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。また、図２４の例ではピクチャ共通情報領域にｓｆｔ＿ｆｌｇおよびｄｃ＿ｆｌｇを記述しているが、シーケンス共通情報領域やその他の独立した共通情報領域に記述する場合も全く同様に扱うことができる。また、これらの２つのフラグは両方同時に使用する場合のみでなく、ｓｆｔ＿ｆｌｇのみもしくはｄｃ＿ｆｌｇのみで使用することも可能であり、それらの場合も同様に扱うことができる。

（実施の形態３）
本発明の実施の形態３における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。

従来の技術において説明したように、実施の形態１および実施の形態２のように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、式２ａおよび式２ｂのように予め決めた固定式を用いて予測画像を求める方法があった。この方法を用いると、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないため符号量を削減できるという利点があった。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能であった。しかし、この固定式を用いた方法であると、選択することのできる線形予測式が式２ａおよび式２ｂの２通りしかないため、予測精度が悪くなってしまうという問題があった。

そこで本実施の形態では式２ａ，式２ｂの代わりに式８ａ，８ｂを使用する。これらの式は式２ａ，式２ｂにＣ１およびＣ２を加えたものである。演算としては加算の回数が増加するだけであるため、元の式と比較しても処理量の増加はほとんど無い。このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、Ｃ１、Ｃ２は選択された重み付け係数セットによって与えられる線形予測係数である。
Ｐ（ｉ）＝２×（Ｑ１（ｉ）＋Ｃ１）−（Ｑ２（ｉ）＋Ｃ２） （式８ａ）
Ｐ（ｉ）＝（Ｑ１（ｉ）＋Ｃ１＋Ｑ２（ｉ）＋Ｃ２）／２ （式８ｂ）

式８ａ，８ｂは同時に２枚のピクチャを参照して予測画像を生成するときの予測式であるが、１枚のピクチャのみを参照して予測画像を生成するときは実施の形態で説明した式３、式４の代わりに式９を使用する。
Ｐ（ｉ）＝Ｑ１（ｉ）＋Ｃ１ (式９)

この方法を用いるために必要な重み付け係数セットは、ｒｅｆ１用として（Ｃ１）、ｒｅｆ２用として（Ｃ２）のみである。そのため、この方法を用いた場合のピクチャの符号列の例は図１４にようになり、スライスヘッダ領域には線形予測を行うための重み付け係数セット（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述され、それぞれの重み付け係数セットの中身はＣのみとなる。同様に、図１５は前記スライスヘッダ領域に含まれる重み付け係数セットの例を表に示したものであるが、図７とは異なり、各重み付け係数セットの要素はＣのみとなっている。

図１６は、図１の線形予測係数生成部１１０、線形予測係数記憶部１０９、および動き補償符号化部１０７における予測画像を生成する機能構成を示した機能ブロック図である。

線形予測係数生成部１１０、線形予測係数記憶部１０９ｇ、線形予測係数記憶部１０９ｈ、および線形予測演算部１０７ｉにより予測画像が生成される。

線形予測係数生成部１１０によって生成された重み付け係数セットは線形予測係数記憶部１０９ｇおよび線形予測係数記憶部１０９ｈに格納されている。動き検出の処理によって決定された第１参照インデックスｒｅｆ１、および第２参照インデックスｒｅｆ２により線形予測係数記憶部１０９ｇおよび１０９ｈよりそれぞれ１つの構成要素のみを持つ重み付け係数セット（Ｃ１）および（Ｃ２）が獲得される。それらの値は線形予測演算部１０７ｉに入力され、式８ａ，式８ｂを用いて線形予測がなされ、予測画像が生成される。

同様に、１枚のみを参照して線形予測を行う場合は図１６のｒｅｆ１もしくはｒｅｆ２のどちらかのみにより重み付け係数セット（Ｃ１）もしくは（Ｃ２）が獲得され、式９を用いて線形予測がなされ、予測画像が生成される。

なお、線形予測係数生成部１１０では、ピクチャの特徴を調べることによって重み付け係数セット（Ｃ１）および（Ｃ２）を生成し、図１６で説明した方法を用いて予測画像を作成し、最も予測誤差が最小になるような２つの参照インデックスｒｅｆ１およびｒｅｆ２の組み合わせを決定する。

このように、本実施の形態では使用するパラメータの数がｒｅｆ１用、ｒｅｆ２用にそれぞれ１つずつのみでよいため、符号化装置においてパラメータの値を決定する処理が容易に行え、さらに符号列に記述するデータの量を削減することができる。また線形予測式も乗算等の複雑な演算を必要としないため、演算量も最小限に抑えることが可能である。また従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、Ｃ１およびＣ２という係数を用いることにより大幅に改善することが可能である。

なお、本実施の形態で説明した線形予測の方法は、複数の参照インデックスが同一のピクチャを参照することが可能であるかどうかに関わらず用いることが可能である。

（実施の形態４）
本発明の実施の形態４における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。

各々のピクチャはピクチャ番号と共に、表示時間もしくはそれに代わるものを示すための表示順情報というものが割り当てられている。図３９は、その１例としてピクチャ番号と表示順情報とを並べて示した図である。表示順情報は表示される順番に従ってある値が割り当てられる。この図の例では、１ピクチャごとに１ずつ増加する値が使用されている。線形予測を行うための式で用いられる係数の値をこれらの表示順情報を用いて生成する方法について実施の形態４において説明する。

実施の形態１では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの線形予測を行うためには係数のデータが必要であり、前記実施の形態では、スライスヘッダ領域に重み付け係数セットとして符号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、高い符号化効率が得られる反面、重み付け係数セットのデータを作成するための処理が必要となり、また、重み付け係数セットを符号列中に記述することによるビット量の増加も発生する。

そこで式１の代わりに式１０、式１１ａ、式１２ａを用いて線形予測を行うことも可能である。これらの式は各々の参照ピクチャが持つ表示順情報のみから重み付け係数を決定することができるため、別途重み付け係数セットを符号化する必要がない。
このとき、Ｑ１(ｉ)、Ｑ２(ｉ)は参照されたブロックの画素値、Ｐ(ｉ)は符号化対象ブロックの予測画像の画素値とし、Ｖ０、Ｖ１は重み付け係数、Ｔ０は符号化対象ピクチャの表示順情報、Ｔ１は第１参照インデックスによって指定されたピクチャの表示順情報、Ｔ２は第２参照インデックスによって指定されたピクチャの表示順情報である。
Ｐ(ｉ)＝Ｖ１×Ｑ１(ｉ)＋Ｖ２×Ｑ２(ｉ) （式１０）
Ｖ１＝(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１) （式１１ａ）
Ｖ２＝(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１) （式１２ａ）

例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、下記のような線形予測式が決定される。
Ｖ１＝(１０−１５)／(１０−１３)＝５／３
Ｖ２＝(１５−１３)／(１０−１３)＝−２／３
Ｐ(ｉ)＝５／３×Ｑ１(ｉ)−２／３×Ｑ２(ｉ)

式１を用いた重み付け係数セットを用いて線形予測を行う方法と比較すると係数の値の自由度が低いため最適な予測画像の作成は困難と言えるが、式２ａ、式２ｂを用いた２つの式からなる固定式を２枚の参照ピクチャの位置関係によって切り替える方法と比較すると線形予測式としてより効率の良い式を生成することができる。

なお、第１参照インデックスおよび第２参照インデックスが同じピクチャを参照している場合は、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。そこで、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。その場合の線形予測式は下記のようになる。
Ｖ１＝１／２
Ｖ２＝１／２
Ｐ(ｉ)＝１／２×Ｑ１(ｉ)＋１／２×Ｑ２(ｉ)

また、第１参照インデックスおよび第２参照インデックスが異なるピクチャを参照しているが、それらのピクチャが同じ表示順情報を持つ場合にも、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。このように、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。

このように、参照される２枚のピクチャが同じ表示順情報を持つ場合には、予め設定された値を係数として用いる構成とすればよい。予め設定された値を係数としては、上記の１／２の例のように同じ重みを有する係数としてもよい。

ところで、上記の実施の形態のように式１０を用いると、線形予測を行うために乗算および除算が必要となる。式１０による線形予測演算は符号化対象ブロック内の全ての画素に対して演算を行うため、乗算が加わることによる処理量の増加は非常に大きなものとなる。

そこで、実施の形態２の考え方と同様にして、Ｖ１およびＶ２を２のべき乗に近似することにより、線形予測の演算をシフト演算のみで行うことを可能とし、処理量の削減を図ることができる。その場合の線形予測式として、式１１ａ、式１２ａの代わりに式１１ｂ、式１２ｂを用いる。ただし、ｖ１およびｖ２は整数とする。
Ｖ１＝±ｐｏｗ(２，ｖ１)＝ａｐｘ((Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)) （式１１ｂ）
Ｖ２＝±ｐｏｗ(２，ｖ２)＝ａｐｘ((Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)) （式１２ｂ）
（ｐｏｗ(２,ｖ１)は２のｖ１乗を、ｐｏｗ(２,ｖ２)は２のｖ２乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）

なお、式１１ａ、式１２ａの代わりに式１１ｃ、式１２ｃを用いることも可能である。ただし、ｖ１は整数とする。
Ｖ１＝±ｐｏｗ(２，ｖ１)＝ａｐｘ((Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)) （式１１ｃ）
Ｖ２＝１−Ｖ１ （式１２ｃ）
（ｐｏｗ(２,ｖ１)は２のｖ１乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）

なお、式１１ａ、式１２ａの代わりに式１１ｄ、式１２ｄを用いることも可能である。ただし、ｖ１は整数とする。
Ｖ１＝１−Ｖ２ （式１１ｄ）
Ｖ２＝±ｐｏｗ(２，ｖ２)＝ａｐｘ((Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)) （式１２ｄ）
（ｐｏｗ(２,ｖ２)は２のｖ２乗を示す。）
（＝ａｐｘ（）は（）内の値を左辺の値に近似することを示す。）

なお、２のべき乗への近似の方法は、式１１ｂを例にとると、ｖ１の値を１ずつ変化させたとき、±ｐｏｗ(２，ｖ１)と(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)とが最も近くなるときの±ｐｏｗ(２，ｖ１)の値とする。

例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)および±ｐｏｗ(２，ｖ１)は下記のようになる。

(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
５／３は１よりも２に近いため、近似の結果Ｖ１＝２となる。

また、別の近似の方法として、表示順情報Ｔ１およびＴ２の２つの値の関係によって切り上げによる近似、切り下げによる近似を切り替えることも可能である。

その場合、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行う。逆に、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行うことも可能である。

また、別の表示順情報を用いた近似の方法として、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。これにより２つの係数の値が互いに離れるため、外挿補間に適した値が得られやすくなる。逆に、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１に関する式とＶ２に関する式とでその両者の値を比較したときに、値の小さい方は切り上げによる近似を行い、値の大きい方は切り下げによる近似を行う。これにより２つの係数の値が互いに近づくため、内挿補間に適した値が得られやすくなる。

例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となり、Ｔ１はＴ２よりも時間的に後方にあるため、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。その結果、式１１ｂおよび式１２ｂは下記のように計算される。

(1)式１１ｂについて
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
切り上げによる近似を行った結果Ｖ１＝２となる。

(2)式１２ｂについて
(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)＝(１５−１３)／(１０−１３)＝−２／３
−ｐｏｗ(２，０)＝−１、−ｐｏｗ(２，−１)＝−１／２
切り下げによる近似を行った結果Ｖ２＝−１となる。なお、上記実施の形態では線形予測の式は式１０の１つであったが、従来の技術で説明した式２ａおよび式２ｂの２つの式からなる固定式による線形予測方法と組み合わせて用いることも可能である。その場合、式２ａの代わりに式１０を使用し、式２ｂはそのまま使用する。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式１０を使用し、それ以外の場合は式２ｂを使用する。
また逆に、式２ｂの代わりに式１０を使用し、式２ａはそのまま使用することも可能である。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式２ａを使用し、それ以外の場合は式１０を使用する。ただし、このとき参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行う。

また、実施の形態３の考え方と同様にして、係数Ｃのみをスライスヘッダ領域に記述して線形予測に使用することも可能である。その場合、式１０の代わりに式１３を用いる。Ｖ１およびＶ２の求め方は上記実施の形態と同様である。

Ｐ(ｉ)＝Ｖ１×(Ｑ１(ｉ)＋Ｃ１)＋Ｖ２×(Ｑ２(ｉ)＋Ｃ２) （式１３）
係数を生成するための処理が必要になり、さらに、スライスヘッダ領域に係数データを符号化する必要があるが、Ｖ１およびＶ２の精度が低い場合でもＣ１およびＣ２を用いることによってより高い精度の線形予測を行うことが可能となる。特にＶ１およびＶ２を２のべき乗に近似して線形予測を行う場合において有効である。

なお、式１３を用いた場合の線形予測では、１つのピクチャに１つの参照インデックスが割り当てられている場合でも、また、１つのピクチャに複数の参照インデックスが割り当てられている場合でも、同様に扱うことが可能である。

なお、式１１ａ、式１２ａ、式１１ｂ、式１２ｂ、式１１ｃ、式１２ｃ、式１１ｄ、式１２ｄの各式の値の計算では、取り得る値の組み合わせがスライスごとにある程度限られているため、スライスを符号化する再に１度だけ演算を行っておけばよく、式１０や式１３のように符号化対象ブロックのすべての画素に対して演算を行う必要はないため、全体の処理量への影響は小さいと考えられる。

なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。

（実施の形態５）
本発明の実施の形態５における動画像符号化方法について説明する。なお、符号化装置の構成および符号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１と全く同様であるため、ここでは説明を省略する。

従来の方法では固定式を用いて予測画像の生成を行う場合と、線形予測係数の重み付け係数セットを用いて予測画像の生成を行う場合とを符号列のピクチャ共通情報部分に記述されるフラグを用いることによって必要に応じて切り替えることを可能としていた。

本実施の形態では、さらに実施の形態１から実施の形態４で説明した各種の線形予測方法をフラグを用いて切り替える方法について説明する。

図１７（ａ）は、上記切り替えを制御するための５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を符号列中のスライスヘッダ領域に記述する場合の構成である。

図１７（ｂ）に示したように、ｐ＿ｆｌａｇは重み付け係数が符号化されているかどうかを示すためのフラグである。また、ｃ＿ｆｌａｇはｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグである。また、ｔ＿ｆｌａｇは線形予測を行うための重み付け係数を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグである。また、ｓ＿ｆｌａｇは線形予測を行うための重み付け係数をシフト演算で計算ができるように２のべき乗に近似するかどうかを示すフラグである。

また、ｄ＿ｆｌａｇは式２ａおよび式２ｂで示されたような、予め設定されている２つの固定式を用いて線形予測を行う際に、ｒｅｆ１によって指定されるピクチャとｒｅｆ２によって指定されるピクチャの時間的な位置関係によって２つの式を切り替えるかどうかを示すフラグである。つまり、このフラグによって切り替えるように指定された場合は、従来の方法と同様に、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャよりも表示順において後にある場合は式２ａを使用し、それ以外の場合は式２ｂを使用して線形予測を行う。一方、このフラグによって切り替えを行わないように指定された場合は、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャの位置関係に関係なく、常に式２ｂを使用して線形予測を行う。

なお、切り替えずに使用する式を式２ｂの代わりに式２ａを用いた場合も同様に扱うことが可能である。

図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、重み付け係数セットに関するデータを符号化するか否かを決定し、それに基づいてフラグｐ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では重み付け係数セットを使用せずに線形予測を行うといった使い分けが可能となる。

同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１およびＣ２）に関するデータのみ符号化するか否かを決定し、それに基づいてフラグｃ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では全ての重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では直流成分のみを使用して線形予測を行うといった使い分けが可能となる。

同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、固定式を使用して線形予測を行う場合に、２つの式を切り替えて符号化するか否かを決定し、それに基づいてフラグｄ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、画面の明度が時間的にほとんど変わらないような場合は片方の固定式のみを用いて線形予測を行い、画面の明度が時間的に変化するような場合は２つの固定式を切り替えて使用して線形予測を行うといった使い分けが可能となる。

同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、線形予測を行うための係数を参照ピクチャの表示順情報を用いて生成するか否かを決定し、それに基づいてフラグｔ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、符号量に余裕がある場合は重み付け係数セットを符号化して線形予測を行い、符号量に余裕がない場合は表示順情報から係数を生成して線形予測を行うといった使い分けが可能となる。

同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごとに、線形予測を行うための係数をシフト演算で計算できるように２のべき乗に近似するか否かを決定し、それに基づいてフラグｓ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図１７（ａ）に示すように符号列中に記述する。これによって、処理能力の高い装置では重み付け係数を近似しないで使用して線形予測を行い、処理能力の低い装置では重み付け係数を２のべき乗に近似して使用しシフト演算で実現できる線形予測を行うといった使い分けが可能となる。

例えば、(1)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、０、０、０、１）である場合は、全ての重み付け係数セットが符号化され、実施の形態２で説明したように、係数を２のべき乗で表すことによりシフト演算のみで線形予測を行い予測画像を生成したことが示される。

また、(2)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、１、１、０、０）である場合は、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化され、実施の形態３で説明した固定式に係数Ｃを加えることによって予測画像を生成する方法を用い、さらに２つの固定式を切り替えて使用したことが示される。

また、(3)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、０、０、０）である場合は、重み付け係数セットは何も符号化されない。つまり、従来の方法である固定式のうち式２ｂのみを用いた予測画像の生成方法を用いたことが示される。

また、(4)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、１、１、１）である場合は、重み付け係数セットは何も符号化されないが、実施の形態４で説明したように、重み付け係数を参照ピクチャの表示順情報から生成し、さらに係数を２のべき乗で近似することによりシフト演算のみで線形予測を行い、さらに２つの固定式を切り替えて使用して予測画像を生成したことが示される。

なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を用いて判別を行っているが、５つのフラグの代わりに５ビットからなる１つのフラグのみで表現することも可能である。また、その場合、５ビットで表現するのではなく可変長符号化を用いて符号化することも可能である。

なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を全て用いているが、そのうちの１部分のフラグのみを用いて線形予測方法の切り替えを行う場合も同様に扱うことが可能である。その場合、図１７（ａ）に示したフラグは必要なもののみを符号化して記述することになる。

従来の方法では、固定式を用いた予測画像の生成と、線形予測係数の重み付け係数セットを用いた予測画像の生成とを切り替えるためのフラグを符号列のピクチャ共通情報部分に設けて、ピクチャ単位で切り替えることを可能としていた。しかし、この方法であると、ピクチャ毎にしか予測画像の生成方法を切り替えることができなかった。

しかし、本実施の形態で説明したように、この切り替えフラグを符号列のスライスヘッダに設けるようにして、ピクチャを構成するスライスごとにいずれの方法で予測画像を生成するかを切り替えることを可能とすることにより、例えば、複雑な画像を持つスライスでは重み付け係数セットを用いた予測画像の生成を行い、単純な画像を持つスライスでは固定式を用いた予測画像の生成を行うことにより、処理量の増加を最小限に抑えつつ画質の向上を図ることが可能となる。

なお、上記実施の形態ではスライスヘッダ領域に５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を記述してスライスごとに判別を行っているが、ピクチャ共通情報領域にこれらのフラグを記述することにより、ピクチャ単位で切り替えるようにすることも可能である。また、スライスを構成するブロックごとに切り替えフラグを設けることにより、さらにブロック単位で最適な方法で予測画像の生成を行うことも可能である。

なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。

（実施の形態６）
図2は、本発明の実施の形態６における動画像復号化装置の構成を示すブロック図である。この動画像復号化装置における動画像復号化方法を図２に示したブロック図を用いて（１）復号化の概要、（２）参照インデックス割り当て方法、（３）予測画像生成方法の順で説明する。ただし、以下の説明では実施の形態１の動画像符号化方法で生成された符号列が入力されるものとする。

（１）復号化の概要
まず入力された符号列から符号列解析部２０１によって、スライスヘッダ領域から線形予測用の重み付け係数セットのデータ列、および参照インデックス割り当て用コマンド列を、さらにブロック符号化情報領域から参照インデックスおよび動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。図６は前記符号化情報が符号列に含まれている様子を示した図である。

符号列解析部２０１で抽出された線形予測用の重み付け係数セットのデータ列は線形予測係数記憶部２０６に、参照インデックス割り当て用コマンド列は参照インデックス・ピクチャ番号変換部２０７に、参照インデックスは動き補償復号化部２０４に、動きベクトル情報は動きベクトル記憶部２０５に、予測残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。

予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０８では前記残差復号化信号と動き補償復号化部２０４から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号は以降の画面間予測での参照に使用するため、および表示用に出力するためにピクチャメモリ２０３に格納される。

動き補償復号化部２０４では、動きベクトル記憶部２０５から入力される動きベクトルおよび符号列解析部２０１から入力される参照インデックスを用いて、ピクチャメモリ２０３に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。このとき、参照インデックス・ピクチャ番号変換部２０７において、符号列解析部２０１から与えられた参照インデックスとピクチャ番号との対応を取ることによりピクチャメモリ２０３中の参照ピクチャを指定する。
参照インデックス・ピクチャ番号変換部２０７における動作の詳細は（２）において詳しく説明する。さらに、得られた画像領域の画素値に対して動き補償復号化部２０４において線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を作成する。その際に使用する線形予測係数は線形予測係数記憶部２０６に格納されているデータから参照インデックスを検索キーとすることによって獲得される。

この予測画像生成方法については（３）において詳しく説明する。

上記の一連の処理によって生成された復号化画像はピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。

以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２０９によって画面内予測復号化との切り替えがなされる。画面内復号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算を行うことによって復号化画像を生成する。復号化画像は画面間予測復号化の場合と同様に、ピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。

（２）参照インデックス割り当て方法
次に、図２の参照インデックス・ピクチャ番号変換部２０７における参照インデックス割り当て方法について図３、図４を用いて説明する。

図３は、ピクチャ番号に対する２つの参照インデックスの割り当て方法を説明するための図である。図のような表示される順に並べられたピクチャ列があったとき、ピクチャ番号は復号化される順番に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した復号化単位であるスライスのヘッダに記述され、１つのスライスを復号化する毎に割り振り方が更新されることになる。前記コマンドは、直前に参照インデックスに割り当てたピクチャ番号と現在割り当てを行っているピクチャ番号との差分値を参照インデックスの数だけ連続して指示するものである。
図３の第１参照インデックスの例を用いると、まずコマンドとして"−１"が与えられたので、現在復号化の対象としているピクチャ番号１６番から１を引くことにより、ピクチャ番号１５番が参照インデックス０番に割り当てられる。次に"−４"が与えられたので、直前に割り当てを行ったピクチャ番号１５番から４を引くことにより、ピクチャ番号１１番が参照インデックス１番に割り当てられる。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。

図３４に示した従来の方法による参照インデックス割り当て方法では、全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられている。一方、図３の例では、割り当て方法は従来のものと全く同じ方法を用いているが、コマンドの値を変更することにより同じピクチャ番号に対して複数の参照インデックス番号が対応付けられている。

図４は参照インデックスの割り当てを行った結果を示したものである。各ピクチャ番号には第１参照インデックスおよび第２参照インデックスがそれぞれ独立に割り当てられているが、１つのピクチャ番号に対して複数の参照インデックスが割り当てられているものもあることが分かる。本発明の復号化方法では、この例のように複数の参照インデックスが割り当てられているピクチャ番号が少なくとも１つ以上あるものとする。

参照インデックスを参照ピクチャの決定のみに使用する場合であれば、従来の方法のように１つのピクチャ番号に対して１つの参照インデックスを割り当てる方法が最も効率の良い方法である。しかし、参照インデックスを使用して予測画像の生成における線形予測係数の重み付け係数セットを選択する場合は、従来の方法では同じ参照ピクチャを持つブロック全てにおいて同じ線形予測係数を使用しなくてはならないため、最適な予測画像が生成されない可能性が非常に高くなってしまう。そこで、本発明のように１つのピクチャ番号に対して複数の参照インデックスが割り当てることを可能とすることにより、同じ参照ピクチャを持つ場合でも、ブロックごとに複数の線形予測係数の重み付け係数セットの候補の中から最適なものを選択することが可能となり、より予測精度の高い予測画像を生成することが可能となる。

なお、以上の説明では全ての参照ピクチャが参照用メモリに蓄積されるものとしてピクチャ番号が与えられている場合の例を示していたが、ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ値が１つずつ増加していくものであり、蓄積されないピクチャがあった場合でも参照用メモリ内ではピクチャ番号の連続性は保たれ、前記方法をそのまま使用することが可能である。

（３）予測画像生成方法
次に、図２の動き補償復号化部２０４における予測画像生成方法について図５を用いて説明する。線形予測による予測画像生成方法は従来法と全く同様であるが、同じピクチャに対して複数の参照インデックス番号を対応付けることが可能となったため、線形予測係数を選択する際の自由度が高くなっている。

ピクチャＢ１６は現在復号化の対象としているＢピクチャであり、ブロックＢＬ０１およびブロックＢＬ０２は前記Ｂピクチャに属する復号化対象のブロックである。ＢＬ０１は第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１１およびＢＬ２１を参照して予測画像を作成する。同様にＢＬ０２も第１参照ピクチャをピクチャＰ１１、第２参照ピクチャをピクチャＢ１５とし、それぞれのピクチャに属するブロックＢＬ１２およびＢＬ２２を参照して予測画像を作成する。
第１参照ピクチャおよび第２参照ピクチャはＢＬ０１、ＢＬ０２共に同じものを参照しているが、（２）において説明した参照インデックスの割り当て方法を用いることにより、第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２はＢＬ０１とＢＬ０２とで異なる値を取ることが可能となる。図４を例にとると、ピクチャ番号１１に対応する第１参照インデックスは１と３が、ピクチャ番号１５に対応する第２参照インデックスは１と６が割り振られている。その結果、これらの参照インデックスの組み合わせは、（ｒｅｆ１、ｒｅｆ２）＝（１、１）、（１、６）、（３、１）、（３、６）の４通りが考えられ、これらの中から最適な重み付け係数セットを導き出す組み合わせをブロックごとに選択することが可能となっている。図５では例としてＢＬ０１がｒｅｆ１＝１、ｒｅｆ２＝１、ＢＬ０２がｒｅｆ１＝３、ｒｅｆ２＝６としている。

図３５にあるような従来の方法によって対応付けられた参照インデックスの組み合わせでは、図５のような例ではＢＬ０１、ＢＬ０２共に（ｒｅｆ１、ｒｅｆ２）＝（１、１）の組み合わせしか選択できなかったため、選択することのできる線形予測係数の重み付け係数セットも１通りしかなかった。一方、本発明では選択範囲が４通りに拡張されているため、最適な重み付け係数セットが選択できる可能性が高くなると言える。

１つのピクチャの符号列は、ピクチャ共通情報領域および複数のスライスデータ領域から構成される。図６はそのうちのスライスデータ領域の構成を示したものである。さらにスライスデータ領域は、スライスヘッダ領域および複数のブロックデータ領域から構成される。ここではブロックデータ領域の例として図５におけるＢＬ０１、ＢＬ０２に対応する各ブロックの領域が示されている。
ＢＬ０１に含まれるｒｅｆ１およびｒｅｆ２はこのブロックが参照する２枚のピクチャを指し示す第１参照インデックスおよび第２参照インデックスをそれぞれ指示するものである。またスライスヘッダ領域には前記線形予測を行うための重み付け係数セットを与えるためのデータ（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述されている。このときのｐｓｅｔは（２）で説明した参照インデックスの個数と同じで数だけ設定することができる。つまり、図３のように第１参照インデックス、第２参照インデックスを共に０から９までの１０個を使用した場合は、ｐｓｅｔもｒｅｆ１用、ｒｅｆ２用共に０から９までの１０個を設定することが可能である。
図７は前記スライスヘッダ領域に含まれる前記重み付け係数セットの例を表に示したものである。識別子ｐｓｅｔで示された各々のデータはｗ１、ｗ２、ｃ、ｄの４つ値を持ち、ｒｅｆ１およびｒｅｆ２の値によってダイレクトに参照できるように構成されている。また、スライスヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるためのコマンド列ｉｄｘ_ｃｍｄ１およびｉｄｘ_ｃｍｄ２が記述されている。

図６のＢＬ０１に記述されたｒｅｆ１およびｒｅｆ２によって図７のｒｅｆ１用およびｒｅｆ２用のテーブルからそれぞれ１組の重み付け係数セットが選択される。この２組の重み付け係数セットを用いて参照画像の画素値に対して線形予測を施すことによって予測画像を生成する。

ここで、重み付け係数セットを決定し予測画像を生成するまでの処理の流れについて詳細に説明する。

図１８は、図２の線形予測係数記憶部２０６と動き補償復号化部２０４における予測画像を生成する機能構成を示した機能ブロック図である。

線形予測係数記憶部２０６ａと、線形予測係数記憶部２０６ｂと、平均値算出部２０４ａと、線形予測演算部２０４ｂにより予測画像が生成される。

平均値算出部２０４ａは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部２０６ａより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部２０６ｂより獲得する。

そして平均値算出部２０４ａは、線形予測係数記憶部２０６ａ，２０６ｂより獲得したそれぞれの重み付け係数セットのパラメータごとの平均を取り、実際に線形予測に使用する重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）とし、線形予測演算部２０４ｂに出力する。線形予測演算部２０４ｂは、重み付け係数セット（ｗ１，ｗ２，ｃ，ｄ）を基に、式１を用いて予測画像を演算し出力する。

また、図１９は予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ａ，線形予測係数記憶部２０６ｂ，線形予測演算部２０４ｃ，線形予測演算部２０４ｄ，および平均値算出部２０４ｅにより、予測画像が生成される。

線形予測演算部２０４ｃは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）を線形予測係数記憶部２０６ａより獲得し、その重み付け係数セットを基に、式１を用いて予測画像を演算して平均値算出部２０４ｅに出力する。

同様に、線形予測演算部２０４ｄは、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２，ｗ２＿２，ｃ＿２，ｄ＿２）を線形予測係数記憶部２０６ｂより獲得し、その重み付け係数セットを基に式１を用いて予測画像を演算して平均値算出部２０４ｅに出力する。

平均値算出部２０４ｅは、線形予測演算部２０４ｃ，線形予測演算部２０４ｄのそれぞれから出力される予測画像の各画素の平均値をとり、最終的な予測画像を生成し出力する。

図２０（ａ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ｃ，線形予測係数記憶部２０６ｄ，平均値算出部２０４ｆ，線形予測演算部２０４ｇにより予測画像が生成される。

平均値算出部２０４ｆは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部２０６ｃより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｃ＿２，ｄ＿２のパラメータを線形予測係数記憶部２０６ｄより獲得する。平均値算出部２０４ｆは、線形予測係数記憶部２０６ｃおよび線形予測係数記憶部２０６ｄより獲得したｃ＿１とｃ＿２の平均値と、ｄ＿１とｄ＿２の平均値を算出してｃ、ｄを求め線形予測演算部２０４ｇに出力する。

また、線形予測演算部２０４ｇは、上記重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうち、ｗ１＿１のパラメータを線形予測係数記憶部２０６ｃより獲得し、上記重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、ｗ２＿２のパラメータを線形予測係数記憶部２０６ｄより獲得し、平均値算出部２０４ｆによりそれぞれの平均を求めてｃ、ｄを獲得して、式１を用いて予測画像を演算し出力する。

すなわち、線形予測演算部２０４ｇは、線形予測係数記憶部２０６ｃより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部２０６ｄより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝（ｃ＿１とｃ＿２の平均），ｄ＝（ｄ＿１とｄ＿２の平均）

図２０（ｂ）は、予測画像を生成する他の機能構成を示す機能ブロック図である。線形予測係数記憶部２０６ｅ，線形予測係数記憶部２０６ｆ，線形予測演算部２０４ｈにより予測画像が生成される。

線形予測演算部２０４ｈは、符号列解析部２０１より出力されるｒｅｆ１によって選択される１組の重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）のうちの一部であるｗ１＿１，ｃ＿１，ｄ＿１のパラメータを線形予測係数記憶部２０６ｅより獲得し、符号列解析部２０１より出力されるｒｅｆ２によって選択される１組の重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうちの一部であるｗ２＿２のパラメータを線形予測係数記憶部２０６ｆより獲得する。線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅ，線形予測係数記憶部２０６ｆより獲得したｗ１＿１，ｃ＿１，ｄ＿１，ｗ２＿２を基に、式１を用いて、予測画像を演算し出力する。

すなわち、線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅより得られた重み付け係数セット（ｗ１＿１、ｗ２＿１，ｃ＿１，ｄ＿１）と、線形予測係数記憶部２０６ｆより得られた重み付け係数セット（ｗ１＿２、ｗ２＿２，ｃ＿２，ｄ＿２）のうち、実際に線形予測で使用する重み付け係数セット（ｗ１、ｗ２，ｃ，ｄ）を決定する際に、下記の規則を用いている。
ｗ１＝ｗ１＿１，ｗ２＝ｗ２＿２，ｃ＝ｃ＿１，ｄ＝ｄ＿１

また、ｗ１、ｗ２、ｃ、ｄのパラメータのうちの１つもしくは複数個を固定の値として使用することも可能である。図２１は図２０（ａ）における機能構成に対して、ｄのみを固定の値として使用した場合の機能ブロック図である。線形予測係数記憶部２０６ｇ，線形予測係数記憶部２０６ｈ，平均値算出部２０４ｉ、線形予測演算部２０４ｊにより予測画像が生成される。

第１参照インデックスｒｅｆ１によって線形予測係数記憶部２０６ｇから選択される係数は（ｗ１＿１、ｃ＿１）のみであり、第２参照インデックスｒｅｆ２によって線形予測係数記憶部２０６ｈから選択される係数は（ｗ２＿２、ｃ＿２）のみである。平均値算出部２０４ｉは、線形予測係数記憶部２０６ｇおよび線形予測係数記憶部２０６ｈより獲得したｃ＿１とｃ＿２の平均値を算出してｃを求め線形予測算出部２０４ｊに出力する。

また、線形予測演算部２０４ｊは、ｗ１＿１のパラメータを線形予測係数記憶部２０６ｇより獲得し、ｗ２＿２のパラメータを線形予測係数記憶部２０６ｈより獲得し、ｃのパラメータを平均値算出部２０４ｉより獲得し、ｄのパラメータとして予め決められたある固定の値を使用し、式１を用いて予測画像を算出し出力する。この場合式１は実施の形態１で説明した通り式１ｂのようにして変形して扱うことも可能である。

なお、ｄの値として使用する予め決定された固定の値とは、常に同じ値を使用することも可能であるが、符号化装置においてスライスヘッダに前記固定の値が記述されている場合は、符号列解析部２０１において前記固定の値を抽出することによりスライスごとに切り替えることも可能である。同様に、ピクチャ共通情報領域またはシーケンス共通情報領域に記述することによりピクチャごとまたはシーケンスごとに切り替えることも可能である。

なお、上記の復号化方法は２つの参照ピクチャをもつＢピクチャに関するものであったが、１つの参照ピクチャしか持たないＰピクチャおよびＢピクチャにおける単一ピクチャ参照復号化モードにおいても同様の処理を行うことが可能である。この場合は第１参照インデックスもしくは第２参照インデックスのどちらか一方のみを使用し、図６の符号列におけるスライスヘッダ領域中のｐｓｅｔおよびｉｄｘ_ｃｍｄは、ブロックデータ領域中に記述される参照インデックスに従って、ｒｅｆ１用もしくはｒｅｆ２用のもののみを記述することになる。また、線形予測の方法は従来の方法で説明した式１に替えて式３もしくは式４を使用する。

式１および式３を使用する場合は、ｗ１、ｗ２、ｃ、ｄの４つのパラメータが必要だったが、式４を使用する場合は、ｗ１、ｃ、ｄの３つのパラメータのみで線形予測を行うことができる。つまり、Ｐピクチャのようにピクチャ全体で第１参照インデックスもしくは第２参照インデックスのどちらか一方のみしか使用されない場合は、スライスヘッダ領域に記述する重み付け係数セットのデータの項目数をそれぞれ３つずつに減らすことが可能となる。

式３を用いた場合はＢピクチャとＰピクチャとで構成を変更せずに両方に対応した線形予測を実現することが可能となる。また、式４を用いた場合はＰピクチャのヘッダ領域に記述するデータ量を削減することができ、さらに計算が単純化されるため処理量の削減も実現することが可能となる。ただし、いずれの方法においても、本発明において提案する参照インデックスの割り振り方法はそのまま適用することができるため、予測精度の高い予測画像を作成することが可能であり、画像の復号化において非常に有効である。

ところで、動き補償において参照するピクチャは、各々のピクチャに割り当てられた参照インデックスを指定することによって決定される。その際に、参照することが可能なピクチャの最大枚数を符号列のピクチャ共通情報部分に記述していた。

図３８は、参照することが可能なピクチャの最大枚数を記述した符号列の模式図である。図に示すように符号列のピクチャ共通情報にｒｅｆ１用のピクチャの最大数Ｍａｘ＿ｐｉｃ１と、ｒｅｆ２用のピクチャの最大数Ｍａｘ＿ｐｉｃ２を記述していた。

復号化において必要とする情報は、実際のピクチャの最大枚数ではなく、ピクチャを指定するために使用する参照インデックスの取り得る最大値である。

従来の方法では、１つのピクチャには１つの参照インデックスしか割り当てられなかったため、前述のピクチャの最大枚数を記述することによって矛盾は生じなかったが、特に本発明のように、ピクチャ番号に複数の参照インデックスが割り当てられる場合には、その違いが大きく影響する。

上述したように、符号列には参照インデックスをピクチャ番号に割り当てるためにコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２が記述されている。このコマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２の各コマンドを基に、ピクチャ番号と参照インデックスとを対応づけていく。このときに、参照インデックスの最大値を知ることで、すべての参照インデックスとピクチャ番号との対応づけが行われたことがわかり、コマンド列ｉｄｘ＿ｃｍｄ１、およびｉｄｘ＿ｃｍｄ２におけるコマンドの終端を知ることができる。

そこで、本実施の形態では、従来のピクチャの最大枚数の代わりに、利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチャ共通情報部分に記述している。もしくは、ピクチャの最大枚数と参照インデックスの最大数の両者を記述する。

図２３は、ピクチャの符号列のピクチャ共通情報に参照インデクッスの最大数を記述した状態を示している。ピクチャの共通情報部分には、ｒｅｆ１用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ１、およびｒｅｆ２用の利用可能な参照インデックスの最大数Ｍａｘ＿ｉｄｘ２を記述している。

なお、図２３では、ピクチャ共通情報に参照インデクッスの最大数を記述しているが、これに加えて、スライスデータ領域に参照インデクッスの最大数を記述する構成としてもよい。例えば、ピクチャでの参照インデクッスの最大数が８、当該ピクチャ中のスライス１で必要な参照インデクッスの最大数が８、スライス２で必要な参照インデクッスの最大数が４であるというように、スライスによって必要な参照インデクッスの最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、スライス毎に必要な参照インデクッスの最大数を明示することができる。

すなわち、ピクチャ共通情報に記述された参照インデクッスの最大数をピクチャ中の各スライスに共通するデフォルト値として、必要な参照インデクッスの最大数がデフォルト値と異なるスライスについてはスライスヘッダに記述するようにしてもよい。

なお、図２３および図３８ではピクチャ共通情報領域とスライスデータ領域とをひとまとめにして符号列としている例を示したが、ピクチャ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とすることも可能であり、この場合も全く同様に扱うことができる。

（実施の形態７）
本発明の実施の形態７における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。

実施の形態６では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの式はいずれも乗算処理を含むものであり、全ての画素に対してこのような演算を行うことを考えると、処理量が非常に大きくなってしまう。

そこで式１の代わりに式５、式３の代わりに式６、式４の代わりに式７を使用することも可能である。これらの式は乗算を使用することなくビットシフト演算のみで計算を行うことができるため、処理量を少なく抑えることが可能となる。

実施の形態６と同様に、同時に２枚のピクチャを参照して予測画像を生成するときは式５を使用し、１枚のピクチャのみを参照して予測画像を生成するときは式６もしくは式７を使用する。これらの式では正負の符号を表す識別子が必要となるため、予測演算に必要な重み付け係数セットは、式５および式６の場合は（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）、式７の場合は（ｓｉｇｎ１、ｍ、ｃ）となる。ｓｉｇｎ１は１つめの正負の符号を、ｓｉｇｎ２は２つめの正負の符号を識別するパラメータとする。パラメータの個数は実施の形態３よりも増加しているが、ｓｉｇｎ１およびｓｉｇｎ２はそれぞれ１ビットで表現することができるため符号量の増加はほとんど無い。

ここで、重み付け係数セットを決定し、式５を使用し同時に２枚のピクチャを参照して予測画像を生成するまでの処理の流れについて詳細に説明する。

まず、予測画像を生成する機能構成が図１８である場合について説明する。平均値算出部２０４ａは、線形予測係数記憶部２０６ａより重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を得る。また、平均値算出部２０４ａは、線形予測係数記憶部２０６ｂより重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を得る。

平均値算出部２０４ａは、線形予測係数記憶部２０６ａ，線形予測係数記憶部２０６ｂより得た重み付け係数セットのパラメータ毎の平均値を求め、重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）とする。線形予測演算部２０４ｂは、平均値算出部２０４ａが出力する重み付け係数セット（ｓｉｇｎ１，ｍ，ｓｉｇｎ２，ｎ，ｃ）を基に、式５を用いて予測画像を演算する。

なお、図１８に記載した線形予測係数記憶部２０６ａ等より得られる重み付け係数セット（ｗ１＿１，ｗ２＿１，ｃ＿１，ｄ＿１）等は、実施の形態６で説明した式１の場合の例におけるものであり、式５を用いて予測画像を求める場合についてのパラメータについては図示していないがそのまま置き換えることが可能である。以下に説明する図１９、図２０の場合も同様である。

次に、予測画像を生成する機能構成が図１９である場合について説明する。線形予測演算部２０４ｃは、線形予測係数記憶部２０６ａより得た重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に予測画像を演算する。線形予測演算部２０４ｄは、線形予測係数記憶部２０６ｂより得た重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）を基に予測画像を演算する。そして平均値算出部２０４ｅは、線形予測演算部２０４ｃ，２０４ｄのそれぞれが演算した予測画像の各画素の平均を求め、予測画像とする。

この場合、線形予測演算部２０４ｃは、重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）を基に式５を用いて、最初に予測画像を演算するため、乗算を使用することなく、ビットシフト演算で計算することができる。線形予測演算部２０４ｄも同様である。一方、図１８の場合であると、最初に重み付け係数セット（ｓｉｇｎ１＿１，ｍ＿１，ｓｉｇｎ２＿１，ｎ＿１，ｃ＿１）と重み付け係数セット（ｓｉｇｎ１＿２，ｍ＿２，ｓｉｇｎ２＿２，ｎ＿２，ｃ＿２）の平均を求めるため、ｍ＿１とｍ＿２の平均値あるいはｎ＿１とｎ＿２の平均値が整数にならない場合があり、すなわち２の指数にあたる部分が整数にならないため、処理量が多くなってしまう可能性がある。また、２の指数にあたる部分が整数になるように丸め処理をおこなうと誤差が大きくなってしまう可能性がある。

次に、予測画像を生成する機能構成が図２０（ａ）である場合について説明する。線形予測演算部２０４ｇは、線形予測係数記憶部２０６ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ１＿１，ｍ＿１と、線形予測係数記憶部２０６ｃより得たビットシフト演算に用いられる係数であるパラメータｓｉｇｎ２＿２，ｎ＿２と、各線形予測係数記憶部２０６ｃ，２０６ｄより得たパラメータｃ＿１とｃ＿２を平均値算出部２０４ｆが平均して求めた平均値ｃとを基に式９を用いて予測画像を演算する。

この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部２０６ｃあるいは線形予測係数記憶部２０６ｄよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。

予測画像を生成する機能構成が図２０（ｂ）である場合について説明する。線形予測演算部２０４ｈは、線形予測係数記憶部２０６ｅより得たパラメータｓｉｇｎ１＿１，ｍ＿１，ｃ＿１と、線形予測係数記憶部２０６ｆより得たパラメータｓｉｇｎ２＿２，ｎ＿２とを基に式９を用いて予測画像を演算する。

この場合においても、ビットシフト演算に用いられる係数は、線形予測係数記憶部２０６ｅ、あるいは線形予測係数記憶部２０６ｆよりそのまま得た値であるので、式５における２の指数部分が整数となる。そのため、ビットシフト演算で計算することができ、処理量を少なくすることが可能となる。

図２０（ａ）（ｂ）の場合は、実施の形態３における図１０（ａ）（ｂ）の説明と同様に符号列に付加して送らなくてもよいパラメータがあり、符号列を小さくすることが可能である。

以上、実施の形態７で説明したような線形予測式を用いると、乗算を使用することなくビットシフト演算で計算することができるため実施の形態６に比べて処理量を大幅に削減することが可能となる。

なお、上記実施の形態では式１、式３、式４の代わりに式５、式６、式７を用い、符号化するパラメータセットも（ｗ１、ｗ２、ｃ、ｄ）の代わりに（ｓｉｇｎ１、ｍ、ｓｉｇｎ２、ｎ、ｃ）を用いて線形予測を行うことによってビットシフト演算のみでの計算を実現し処理量の削減を図っていたが、別のアプローチとして式１、式３、式４および（ｗ１、ｗ２、ｃ、ｄ）をそのまま用いたまま、ｗ１およびｗ２をビットシフト演算可能な値のみ選択可能として制限することによって実施の形態６と全く同様の構成のままビットシフト演算のみでの計算を実現し処理量の削減を行うことも可能である。

また、さらに限定する方法として、ｗ１およびｗ２を常に１として選択するように制限し、直流成分であるｃ１およびｃ２のみ任意の値を持つような符号列を入力とすることも可能である。図２１の構成の場合を例にとると、ｒｅｆ１用として（１、ｃ＿１）、ｒｅｆ２用として（１、ｃ＿２）をパラメータセットとして符号化されているものする。この場合、予測画像の画素値Ｐ（ｉ）は、（式１ａ）中のｗ１＿１およびｗ２＿２を１に置き換えた次式により求められる。

Ｐ(ｉ)＝(Ｑ１(ｉ)＋Ｑ２(ｉ))／ｐｏｗ(２,ｄ)＋（ｃ＿１＋ｃ＿２）／２
（ｐｏｗ(２,ｄ)は２のｄ乗を示す）
これによって実施の形態６と全く同様の構成のまま線形予測のための処理量を大幅に削減することが可能となる。

さらに、図２４のようにピクチャの符号列のピクチャ共通情報に、線形予測をビットシフト演算のみで行うことが可能であるかを示すフラグｓｆｔ＿ｆｌｇ、および直流成分であるｃのみで線形予測を行うことが可能であるかを示すフラグｄｃ＿ｆｌｇが記述されている場合、復号化装置ではこれらフラグを参照することにより、ビットシフト演算のみでの線形予測に適した構成での復号を行うことや、直流成分のみでの線形予測に適した構成での復号を行うことが可能となり、復号化装置の構成によっては大幅な処理量の削減が可能となる。

（実施の形態８）
本発明の実施の形態８における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。

従来の技術において説明したように、実施の形態６および実施の形態７のように線形予測係数の重み付け係数セットから求める予測式を用いて予測画像を生成するのではなく、式２ａおよび式２ｂのように予め決めた固定式を用いて予測画像を求める方法があった。この方法を用いると、予測画像を求めるときの重み付け係数セットを符号化して送る必要がないため符号量を削減できるという利点があった。また、線形予測の計算式が単純であるため、少ない処理量で線形予測を大幅に削減することが可能であった。しかし、この固定式を用いた方法であると、選択することのできる線形予測式が式２ａおよび式２ｂの２通りしかないため、予測精度が悪くなってしまうという問題があった。

そこで本実施の形態では式２ａ，式２ｂの代わりに式８ａ，８ｂを使用する。これらの式は式２ａ，式２ｂにＣ１およびＣ２を加えたものである。演算としては加算の回数が増加するだけであるため、元の式と比較しても処理量の増加はほとんど無い。

式８ａ，８ｂは同時に２枚のピクチャを参照して予測画像を生成するときの予測式であるが、１枚のピクチャのみを参照して予測画像を生成するときは実施の形態で説明した式３、式４の代わりに式９を使用する。

この方法を用いるために必要な重み付け係数セットは、ｒｅｆ１用として（Ｃ１）、ｒｅｆ２用として（Ｃ２）のみである。そのため、この方法を用いた場合のピクチャの符号列の例は図１４にようになり、スライスヘッダ領域には線形予測を行うための重み付け係数セット（ｐｓｅｔ０、ｐｓｅｔ１、ｐｓｅｔ２、・・・・）がｒｅｆ１用およびｒｅｆ２用それぞれに記述され、それぞれの重み付け係数セットの中身はＣのみとなる。同様に、図１５は前記スライスヘッダ領域に含まれる重み付け係数セットの例を表に示したものであるが、図７とは異なり、各重み付け係数セットの要素はＣのみとなっている。

図２２は、図２の線形予測係数記憶部２０６と動き補償復号化部２０４における予測画像を生成する機能構成を示した機能ブロック図である。

線形予測係数記憶部２０６ａと、線形予測係数記憶部２０６ｂと、線形予測演算部２０４ａにより予測画像が生成される。

符号列解析部２０１より出力される第１参照インデックスｒｅｆ１および第２参照インデックスｒｅｆ２によりを線形予測係数記憶部２０６ａおよび２０６ｂよりそれぞれ１つの構成要素のみを持つ重み付け係数セット（Ｃ１）および（Ｃ２）が獲得される。それらの値は線形予測演算部２０４ａに入力され、式８ａ，８ｂを用いて線形予測がなされ、予測画像が生成される。

同様に、１枚のみを参照して線形予測を行う場合は図２２のｒｅｆ１もしくはｒｅｆ２のどちらかのみにより重み付け係数セット（Ｃ１）もしくは（Ｃ２）が獲得され、式９を用いて線形予測がなされ、予測画像が生成される。

このように、本実施の形態では使用するパラメータの数がｒｅｆ１用、ｒｅｆ２用にそれぞれ１つずつのみでよいため、符号列に記述するデータの量を削減することができる。また線形予測式も乗算等の複雑な演算を必要としないため、演算量も最小限に抑えることが可能である。また従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、Ｃ１およびＣ２という係数を用いることにより大幅に改善することが可能である。

なお、本実施の形態で説明した線形予測の方法は、複数の参照インデックスが同一のピクチャを参照することが可能であるかどうかに関わらず用いることが可能である。

（実施の形態９）
本発明の実施の形態９における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。

各々のピクチャはピクチャ番号と共に、表示時間もしくはそれに代わるものを示すための表示順情報というものが割り当てられている。図３９は、その１例としてピクチャ番号と表示順情報とを並べて示した図である。表示順情報は表示される順番に従ってある値が割り当てられる。この図の例では、１ピクチャごとに１ずつ増加する値が使用されている。線形予測を行うための式で用いられる係数の値をこれらの表示順情報を用いて生成する方法について実施の形態９において説明する。

実施の形態６では動き補償において予測画像を生成する際に、式１もしくは式３もしくは式４を用いて画素ごとに線形予測を行っている。しかし、これらの線形予測を行うためには係数のデータが必要であり、前記実施の形態では、スライスヘッダ領域に重み付け係数セットとして符号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、高い符号化効率が得られる反面、重み付け係数セットのデータを作成するための処理が必要となり、また、重み付け係数セットを符号列中に記述することによるビット量の増加も発生する。

そこで式１の代わりに式１０、式１１ａ、式１２ａを用いて線形予測を行うことも可能である。これらの式は各々の参照ピクチャが持つ表示順情報のみから重み付け係数を決定することができるため、別途重み付け係数セットを符号化する必要がない。

例として図３９において、符号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、下記のような線形予測式が決定される。
Ｖ１＝(１０−１５)／(１０−１３)＝５／３
Ｖ２＝(１５−１３)／(１０−１３)＝−２／３
Ｐ(ｉ)＝５／３×Ｑ１(ｉ)−２／３×Ｑ２(ｉ)

式１を用いた重み付け係数セットを用いて線形予測を行う方法と比較すると係数の値の自由度が低いため最適な予測画像の作成は困難と言えるが、式２ａ、式２ｂを用いた２つの式からなる固定式を２枚の参照ピクチャの位置関係によって切り替える方法と比較すると線形予測式としてより効率の良い式を生成することができる。

なお、第１参照インデックスおよび第２参照インデックスが同じピクチャを参照している場合は、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。そこで、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。その場合の線形予測式は下記のようになる。
Ｖ１＝１／２
Ｖ２＝１／２
Ｐ(ｉ)＝１／２×Ｑ１(ｉ)＋１／２×Ｑ２(ｉ)

また、第１参照インデックスおよび第２参照インデックスが異なるピクチャを参照しているが、それらのピクチャが同じ表示順情報を持つ場合にも、Ｔ１＝Ｔ２となってしまい、式１１ａ、式１２ａが成立しない。このように、参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行うものとする。

このように、参照される２枚のピクチャが同じ表示順情報を持つ場合には、予め設定された値を係数として用いる構成とすればよい。予め設定された値を係数としては、上記の１／２の例のように同じ重みを有する係数としてもよい。

ところで、上記の実施の形態のように式１０を用いると、線形予測を行うために乗算および除算が必要となる。式１０による線形予測演算は符号化対象ブロック内の全ての画素に対して演算を行うため、乗算が加わることによる処理量の増加は非常に大きなものとなる。

そこで、実施の形態７の考え方と同様にして、Ｖ１およびＶ２を２のべき乗に近似することにより、線形予測の演算をシフト演算のみで行うことを可能とし、処理量の削減を図ることができる。その場合の線形予測式として、式１１ａ、式１２ａの代わりに式１１ｂ、式１２ｂを用いる。

なお、式１１ａ、式１２ａの代わりに式１１ｃ、式１２ｃを用いることも可能である。
なお、式１１ａ、式１２ａの代わりに式１１ｄ、式１２ｄを用いることも可能である。
なお、２のべき乗への近似の方法は、式１１ｂを例にとると、ｖ１の値を１ずつ変化させたとき、±ｐｏｗ(２，ｖ１)と(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)とが最も近くなるときの±ｐｏｗ(２，ｖ１)の値とする。

例として図３９において、復号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となるため、(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)および±ｐｏｗ(２，ｖ１)は下記のようになる。

(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
５／３は１よりも２に近いため、近似の結果Ｖ１＝２となる。

また、別の近似の方法として、表示順情報Ｔ１およびＴ２の２つの値の関係によって切り上げによる近似、切り下げによる近似を切り替えることも可能である。

その場合、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行う。逆に、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１およびＶ２の両者に対して切り下げによる近似を行い、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１およびＶ２の両者に対して切り上げによる近似を行うことも可能である。

また、別の表示順情報を用いた近似の方法として、Ｔ１がＴ２よりも時間的に後方にある場合は、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。これにより２つの係数の値が互いに離れるため、外挿補間に適した値が得られやすくなる。逆に、Ｔ１がＴ２よりも時間的に前方にある場合は、Ｖ１に関する式とＶ２に関する式とでその両者の値を比較したときに、値の小さい方は切り上げによる近似を行い、値の大きい方は切り下げによる近似を行う。これにより２つの係数の値が互いに近づくため、内挿補間に適した値が得られやすくなる。

例として図３９において、復号化対象ピクチャが１６番、第１参照インデックスによって指定されたピクチャが１１番、第２参照インデックスによって指定されたピクチャが１０番とすると、それぞれのピクチャの表示順情報は１５、１３、１０となり、Ｔ１はＴ２よりも時間的に後方にあるため、Ｖ１に関する式においては切り上げによる近似を行い、Ｖ２に関する式においては切り下げによる近似を行う。その結果、式１１ｂおよび式１２ｂは下記のように計算される。

(1)式１１ｂについて
(Ｔ２−Ｔ０)／(Ｔ２−Ｔ１)＝(１０−１５)／(１０−１３)＝５／３
＋ｐｏｗ(２，０)＝１、＋ｐｏｗ(２，１)＝２
切り上げによる近似を行った結果Ｖ１＝２となる。

(2)式１２ｂについて
(Ｔ０−Ｔ１)／(Ｔ２−Ｔ１)＝(１５−１３)／(１０−１３)＝−２／３
−ｐｏｗ(２，０)＝−１、−ｐｏｗ(２，−１)＝−１／２
切り下げによる近似を行った結果Ｖ２＝−１となる。

なお、上記実施の形態では線形予測の式は式１０の１つであったが、従来の技術で説明した式２ａおよび式２ｂの２つの式からなる固定式による線形予測方法と組み合わせて用いることも可能である。その場合、式２ａの代わりに式１０を使用し、式２ｂはそのまま使用する。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式１０を使用し、それ以外の場合は式２ｂを使用する。
また逆に、式２ｂの代わりに式１０を使用し、式２ａはそのまま使用することも可能である。つまり、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後ろにある場合は式２ａを使用し、それ以外の場合は式１０を使用する。ただし、このとき参照される２枚のピクチャが同じ表示順情報を持つ場合はＶ１およびＶ２の値として１／２を用いて線形予測を行う。

また、実施の形態８の考え方と同様にして、係数Ｃのみをスライスヘッダ領域に記述して線形予測に使用することも可能である。その場合、式１０の代わりに式１３を用いる。Ｖ１およびＶ２の求め方は上記実施の形態と同様である。

係数を生成するための処理が必要になり、さらに、スライスヘッダ領域に係数データを符号化する必要があるが、Ｖ１およびＶ２の精度が低い場合でもＣ１およびＣ２を用いることによってより高い精度の線形予測を行うことが可能となる。特にＶ１およびＶ２を２のべき乗に近似して線形予測を行う場合において有効である。

なお、式１３を用いた場合の線形予測では、１つのピクチャに１つの参照インデックスが割り当てられている場合でも、また、１つのピクチャに複数の参照インデックスが割り当てられている場合でも、同様に扱うことが可能である。

なお、式１１ａ、式１２ａ、式１１ｂ、式１２ｂ、式１１ｃ、式１２ｃ、式１１ｄ、式１２ｄの各式の値の計算では、取り得る値の組み合わせがスライスごとにある程度限られているため、スライスを符号化する再に１度だけ演算を行っておけばよく、式１０や式１３のように符号化対象ブロックのすべての画素に対して演算を行う必要はないため、全体の処理量への影響は小さいと考えられる。

なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。

（実施の形態１０）
本発明の実施の形態１０における動画像復号化方法について説明する。なお、復号化装置の構成および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態６と全く同様であるため、ここでは説明を省略する。

従来の方法では固定式を用いて予測画像の生成を行う場合と、線形予測係数の重み付け係数セットを用いて予測画像の生成を行う場合とを符号列のピクチャ共通情報部分に記述されるフラグを用いることによって必要に応じて切り替えることを可能としていた。

本実施の形態では、さらに実施の形態６から実施の形態９で説明した各種の線形予測方法をフラグを用いて切り替える方法について説明する。

図１７（ａ）は、上記切り替えを制御するための５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を符号列中のスライスヘッダ領域に記述する場合の構成である。

図１７（ｂ）に示したように、ｐ＿ｆｌａｇは重み付け係数が符号化されているかどうかを示すためのフラグである。また、ｃ＿ｆｌａｇはｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグである。また、ｔ＿ｆｌａｇは線形予測を行うための重み付け係数を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグである。また、ｓ＿ｆｌａｇは線形予測を行うための重み付け係数をシフト演算で計算ができるように２のべき乗に近似するかどうかを示すフラグである。

また、ｄ＿ｆｌａｇは式２ａおよび式２ｂで示されたような、予め設定されている２つの固定式を用いて線形予測を行う際に、ｒｅｆ１によって指定されるピクチャとｒｅｆ２によって指定されるピクチャの時間的な位置関係によって２つの式を切り替えるかどうかを示すフラグである。つまり、このフラグによって切り替えるように指定された場合は、従来の方法と同様に、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャよりも表示順において後にある場合は式２ａを使用し、それ以外の場合は式２ｂを使用して線形予測を行う。一方、このフラグによって切り替えを行わないように指定された場合は、ｒｅｆ１によって指定されるピクチャがｒｅｆ２によって指定されるピクチャの位置関係に関係なく、常に式２ｂを使用して線形予測を行う。

なお、切り替えずに使用する式を式２ｂの代わりに式２ａを用いた場合も同様に扱うことが可能である。

図２に示す復号化装置では符号列解析部２０１においてフラグｐ＿ｆｌａｇの値を解析し、その結果に基づいて、重み付け係数セットに関するデータを復号化し予測画像の生成を行うのかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では重み付け係数セットを使用せずに線形予測を行うといった使い分けが可能となる。

同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｃ＿ｆｌａｇの値を解析し、その結果に基づいて、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１およびＣ２）に関するデータのみ復号化し固定式による予測画像の生成を行うのかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では全ての重み付け係数セットを使用して線形予測を行い、処理能力の低い装置では直流成分のみを使用して線形予測を行うといった使い分けが可能となる。

同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｄ＿ｆｌａｇの値を解析し、その結果に基づいて、固定式を使用して線形予測を行う場合に、２つの式を切り替えて符号化するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、画面の明度が時間的にほとんど変わらないような場合は片方の固定式のみを用いて線形予測を行い、画面の明度が時間的に変化するような場合は２つの固定式を切り替えて使用して線形予測を行うといった使い分けが可能となる。

同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｔ＿ｆｌａｇの値を解析し、その結果に基づいて、線形予測を行うための係数を参照ピクチャの表示順情報を用いて生成するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、符号量に余裕がある場合は重み付け係数セットを符号化して線形予測を行い、符号量に余裕がない場合は表示順情報から係数を生成して線形予測を行うといった使い分けが可能となる。

同様に、図２に示す復号化装置では符号列解析部２０１においてフラグｓ＿ｆｌａｇの値を解析し、その結果に基づいて、線形予測を行うための係数をシフト演算で計算できるように２のべき乗に近似するかどうかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。これによって、処理能力の高い装置では重み付け係数を近似しないで使用して線形予測を行い、処理能力の低い装置では重み付け係数を２のべき乗に近似して使用しシフト演算で実現できる線形予測を行うといった使い分けが可能となる。

例えば、(1)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、０、０、０、１）である場合は、全ての重み付け係数セットが復号化され、実施の形態７で説明したように、係数を２のべき乗で表すことによりシフト演算のみで線形予測を行い予測画像を生成することが指示される。

また、(2)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（１、１、１、０、０）である場合は、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが復号化され、実施の形態８で説明した固定式に係数Ｃを加えることによって予測画像を生成する方法を用い、さらに２つの固定式を切り替えて使用することが指示される。

また、(3)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、０、０、０）である場合は、重み付け係数セットは何も復号化されない。つまり、従来の方法である固定式のうち式２ｂのみを用いた予測画像の生成方法を用いることが指示される。

また、(4)（ｐ、ｃ、ｄ、ｔ、ｓ＿ｆｌａｇ）＝（０、０、１、１、１）である場合は、重み付け係数セットは何も復号化されないが、実施の形態９で説明したように、重み付け係数を参照ピクチャの表示順情報から生成し、さらに係数を２のべき乗で近似すことによりシフト演算のみで線形予測を行い、さらに２つの固定式を切り替えて使用して予測画像を生成することが指示される。

なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を用いて判別を行っているが、５つのフラグの代わりに５ビットからなる１つのフラグのみで表現することも可能である。また、その場合、５ビットで表現するのではなく可変長復号化を用いて復号化することも可能である。

なお、上記実施の形態では各々１ビットからなる５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を全て用いているが、そのうちの１部分のフラグのみを用いて線形予測方法の切り替えを行う場合も同様に扱うことが可能である。その場合、図１７（ａ）に示したフラグは必要なもののみが符号化されて記述されていることになる。

従来の方法では、固定式を用いた予測画像の生成と、線形予測係数の重み付け係数セットを用いた予測画像の生成とを切り替えるためのフラグを符号列のピクチャ共通情報部分に設けて、ピクチャ単位で切り替えることを可能としていた。しかし、この方法であると、ピクチャ毎にしか予測画像の生成方法を切り替えることができなかった。

しかし、本実施の形態で説明したように、この切り替えフラグを符号列のスライスヘッダに設けるようにして、ピクチャを構成するスライスごとにいずれの方法で予測画像を生成するかを切り替えることを可能とすることにより、例えば、複雑な画像を持つスライスでは重み付け係数セットを用いた予測画像の生成を行い、単純な画像を持つスライスでは固定式を用いた予測画像の生成を行うことにより、処理量の増加を最小限に抑えつつ画質の向上を図ることが可能となる。

なお、上記実施の形態ではスライスヘッダ領域に５つのフラグ（ｐ＿ｆｌａｇ、ｃ＿ｆｌａｇ、ｄ＿ｆｌａｇ、ｔ＿ｆｌａｇ、ｓ＿ｆｌａｇ）を記述してスライスごとに判別を行っているが、ピクチャ共通情報領域にこれらのフラグを記述することにより、ピクチャ単位で切り替えるようにすることも可能である。また、スライスを構成するブロックごとに切り替えフラグを設けることにより、さらにブロック単位で最適な方法で予測画像の生成を行うことも可能である。

なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間に伴って値が大きくなる所定のピクチャを基準とした各ピクチャの参照順序であっても良い。

（実施の形態１１）
本発明の実施の形態１１における動画像の符号化方法および復号化方法について説明する。なお、符号化装置および復号化装置の構成および符号化および復号化の処理の流れおよび参照インデックスの割り当て方法は実施の形態１および実施の形態６と全く同様であるため、ここでは説明を省略する。

本実施の形態は実施の形態５および実施の形態１０において説明した内容と同様の技術に関する説明である。

パラメータセットが符号化されているかどうかを示すフラグｐ＿ｆｌａｇと、ｒｅｆ１用およびｒｅｆ２用のパラメータのうち、パラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化されているかどうかを示すフラグｃ＿ｆｌａｇと、をスライス毎に示す。

図１に示す符号化装置では動き補償符号化部１０７において、各スライスごともしくはブロックごとに、パラメータセットに関するデータを符号化するか否かを決定し、それに基づいてフラグｐ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図４０（ａ）に示すように符号列中に記述する。

同様に、図１に示す符号化装置では動き補償符号化部１０７において、各スライスごともしくはブロックごとに、画像データのＤＣ成分に相当するパラメータＣ（Ｃ１，Ｃ２）に関するデータのみ符号化するか否かを決定し、それに基づいてフラグｃ＿ｆｌａｇの情報を符号列生成部１０３に出力し、図４０（ａ）に示すように符号列中に記述する。

一方、図２に示す復号化装置では符号列解析部２０１において前記切り替えフラグｐ＿ｆｌａｇとフラグｃ＿ｆｌｇとの値を解析し、その結果に基づいて、例えばダウンロードしたパラメータセットを用いて予測画像を生成するのか、あるいは固定式を用いて予測画像を生成するのかの指示を動き補償復号化部２０４に出力し、線形予測による動き補償を行う。

例えば、図４０（ｂ）に示すように、(1)フラグｐ＿ｆｌａｇが１であり、フラグｃ＿ｆｌａｇが０である場合には、符号化装置において全てのパラメータセットが符号化される。また、(2)フラグｐ＿ｆｌａｇが１であり、フラグｃ＿ｆｌａｇが１である場合には、符号化装置においてパラメータＣ（Ｃ１およびＣ２）に関するデータのみが符号化される。さらに、(3)フラグｐ＿ｆｌａｇが０であり、フラグｃ＿ｆｌａｇが０である場合には、符号化装置においてパラメータセットは何も符号化されない。なお、図４０（ｂ）に示すようにフラグの値を決定すると、フラグｐ＿ｆｌａｇによって画像データのＤＣ成分が符号化されているかが判別できる。

符号化装置において、前記(1)の場合は、例えば図８から図１０で説明したようにパラメータは処理される。前記(2)の場合は、例えば図１６で説明したようにパラメータは処理される。前記(3)の場合は、例えば固定式を用いてパラメータは処理される。

復号化装置において、前記(1)の場合は、例えば図１８から図２０で説明したようにパラメータは処理される。前記(2)の場合は、例えば図２２で説明したようにパラメータは処理される。前記(3)の場合は、例えば固定式を用いてパラメータは処理される。

さらに、組み合わせた場合の別の例について、以下に、具体的に説明する。

上記の例では、フラグｐ＿ｆｌａｇ、フラグｃ＿ｆｌａｇを用いて明示的にパラメータを符号化する（受信させるか）を切り替えたが、前記フラグを用いず、可変長符号化テーブル（ＶＬＣテーブル）を用いることも可能である。

図４１に示すように、固定式２ａと固定式２ｂを切り替えるかどうかの選択も、さらに明示的に行うことができる。

ここで、固定式２の切り替えを行わないとは、以下を意味する。例えば、上記で従来の技術では、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも表示順において後にある場合は、固定の係数からなる固定式である式２ａを選択し、それ以外は固定の係数からなる固定式である式２ｂを選択して、予測画像を生成する、ことを説明した。一方、図４１に示す例で、切り替えを行わないと指示された場合は、第１参照インデックスによって指定されるピクチャが第２参照インデックスによって指定されるピクチャよりも符号化順において後にある場合であっても、固定の係数からなる固定式である式２ｂを選択して、予測画像を生成するようにすることを意味する。

固定式２ａと固定式２ｂを切り替えるかどうかの選択も明示的に行うためのフラグｖ＿ｆｌａｇの情報は符号列生成部１０３から出力され図４１（ａ）に示すように符号列中に記述される。

図４１（ｂ）にフラグｖ＿ｆｌａｇによる処理の例を示す。図４１（ｂ）に示すようにフラグｖ＿ｆｌａｇが１のとき、パラメータの符号化は行わず（符号化装置でパラメータはダウンロードされない。以下同様）、固定式２の切り替えは行わない。また、フラグｖ＿ｆｌａｇが０１のとき、パラメータの符号化は行わず、固定式２の切り替えは行う。また、フラグｖ＿ｆｌａｇが００００のとき、パラメータの符号化はパラメータＣのみ行い、固定式２の切り替えは行わない。
また、フラグｖ＿ｆｌａｇが０００１のとき、パラメータの符号化はパラメータＣのみ行い、固定式２の切り替えを行う。また、フラグｖ＿ｆｌａｇが００１０のとき、パラメータの符号化はパラメータ全てについて行い、固定式１２の切り替えは行わない。また、フラグｖ＿ｆｌａｇが００１１のとき、パラメータの符号化はパラメータ全てについて行い、固定式１２の切り替えを行う。

なお、ｖ＿ｆｌａｇが００１０および００１１のときはパラメータ全てが符号化されているので、固定式を使用せずに、重み付けパラメータを用いた線形予測を行うことが可能であり、その場合は固定式を切り替えて使用するかどうかの判別は無視される。

なお、フラグｖ＿ｆｌａｇの切り替えは、図１に示す符号化装置では動き補償符号化部１０７において行い、図２に示す復号化装置では動き補償復号化部２０４において行うことができる。また、フラグｖ＿ｆｌａｇでなく、上記のフラグｐ＿ｆｌａｇとフラグｃ＿ｆｌａｇに加え、固定式を切り替えるかどうかを示すフラグｄ＿ｆｌａｇを用いるようにしてもよい。

以上で示したように、フラグを用いることで、パラメータを符号化装置において符号化して、符号化されたパラメータを復号化装置で受信（ダウンロード）するかどうかを切り替えることができるようになる。これにより、アプリケーションの特性や、復号化装置側の処理能力によって、符号化する（受信させる）パラメータを明示的に切り替えることができる。

また、固定式の切り替えを明示的に変更可能にすることで、画質の向上を図る手段が増え、ひいては符号化効率の向上も図ることが可能になる。また、復号化装置で有していない固定式がある場合でも、明示的に固定式を変更することによって、明示的に選択した固定式による予測画像の生成が可能になる。

なお、図４０中のフラグの配置は図示するものに限られない。また、フラグの値は上記で説明したものに限られない。また、２種類のフラグを用いると、４通りのパラメータの用い方を明示することが可能になるので、上記で説明した以外のパラメータの用い方を割り当てるようにしてもよい。また、上記の例で全てのパラメータを送ると説明したが、例えば図１０および図２０で説明したように必要なパラメータセットを全て送るようにしてもよい。

（実施の形態１２）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２５は、上記実施の形態１から実施の形態１１の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図２５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図２５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態１３）
図２６から図２９は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。

図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。
また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。
なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図２７は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。
また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

本発明は、予測画像の生成に用いられる係数および参照ピクチャを指定する参照インデックスとピクチャ番号とを対応付けるコマンドを生成し、符号化対象ピクチャ内のブロックに対して動き補償を行うときに参照すべき参照ピクチャを前記参照インデックスにより指定し、指定された参照ピクチャ上の動き検出により得られたブロックに対して、前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成する画面間符号化を行う画像符号化装置に適している。また、画像符号化装置により符号化信号を復号化する画像復号化装置に適している。

本発明の実施の形態１による符号化装置の構成を示すブロック図である。 本発明の実施の形態６による復号化装置の構成を示すブロック図である。 参照インデックスにピクチャ番号を割り振る方法を説明するための模式図である。 参照インデックスにピクチャ番号の関係の例を示すための模式図である。 動き補償の動作を説明するための模式図である。 符号列の構成を説明するための模式図である。 線形予測係数の重み付け係数セットの例を示すための模式図である。 符号化装置における予測画像の生成を示す機能ブロック図である。 符号化装置における予測画像の生成を示す他の機能ブロック図である。 （ａ）（ｂ）はいずれも符号化装置における予測画像の生成を示す更に他の機能ブロック図である。 符号化装置における予測画像の生成を示す更に他の機能ブロック図である。 符号列の構成を説明するための模式図である。 線形予測係数の重み付け係数セットの例を示すための模式図である。 符号列の構成を説明するための模式図である。 線形予測係数の重み付け係数セットの例を示すための模式図である。 符号化装置における予測画像の生成を示す機能ブロック図である。 符号列の構成およびフラグの例を説明するための模式図である。 復号化装置における予測画像の生成を示す機能ブロック図である。 復号化装置における予測画像の生成を示す他の機能ブロック図である。 （ａ）（ｂ）はいずれも復号化装置における予測画像の生成を示す更に他の機能ブロック図である。 復号化装置における予測画像の生成を示す更に他の機能ブロック図である。 復号化装置における予測画像の生成を示す更に他の機能ブロック図である。 符号列の構成を説明するための模式図である。 符号列の構成を説明するための模式図である。 上記各実施の形態の動画像の符号化方法および復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の外観図である。 携帯電話の構成を示すブロック図である。 ディジタル放送用システムの例を示す図である。 従来例のピクチャの参照関係を説明するための模式図である。 従来例のピクチャの並び替えを説明するための模式図である。 従来例の動き補償の動作を説明するための模式図である。 従来例の線形予測処理の動作を説明するための模式図である。 従来例の参照インデックスにピクチャ番号を割り振る方法を説明するための模式図である。 従来例の参照インデックスにピクチャ番号の関係の例を示すための模式図である。 従来例の符号列の構成を説明するための模式図である。 従来例の線形予測係数の重み付け係数セットの例を示すための模式図である。 従来例の符号列の構成を説明するための模式図である。 ピクチャ番号と表示順情報との関係を説明するための模式図である。 符号列の構成およびフラグの例を説明するための模式図である。 符号列の構成およびフラグの例を説明するための模式図である。

符号の説明

１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ ピクチャメモリ
１０６ 動きベクトル検出部
１０７ 動き補償符号化部
１０８ 動きベクトル記憶部
１０９ 線形予測係数記憶部
１１０ 線形予測係数生成部
１１１ 参照インデックス・ピクチャ番号変換部
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 動き補償復号部
２０５ 動きベクトル記憶部
２０６ 線形予測係数記憶部
２０７ 参照インデックス・ピクチャ番号変換部
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (4)

1. 復号化対象ピクチャを復号化する画像復号化方法であって、
   参照ピクチャ群と、前記参照ピクチャ群のうち少なくとも1枚の参照ピクチャに対して複数の参照インデックスを割り当てることが可能なコマンドと、を用いて、それぞれの参照インデックスとそれぞれの参照ピクチャとの対応を決定するステップと、
   前記参照ピクチャ群のうち前記復号化対象ピクチャが参照する少なくとも１枚の参照ピクチャに少なくとも２つの参照インデックスが割り当てられ、前記復号化対象ピクチャに属する第１の復号化対象ブロックが前記２つの参照インデックスの一方を用いて前記参照ピクチャに属する第１の参照ブロックを参照し、かつ、前記復号化対象ピクチャに属する第２の復号化対象ブロックが前記２つの参照インデックスの他方を用いて前記参照ピクチャに属する第２の参照ブロックを参照する場合には、
   前記２つの参照インデックスの一方に対応する第１の重み係数セットと前記第１の参照ブロックの画素値とを用いて前記第１の復号化対象ブロックの予測画素値を生成し、前記２つの参照インデックスの他方に対応する第２の重み係数セットと前記第２の参照ブロックの画素値とを用いて前記第２の復号化対象ブロックの予測画素値を生成して、前記復号化対象ピクチャの予測画素値を生成する、予測画像生成ステップと、
   前記生成された復号化対象ピクチャの予測画素値を用いて、前記復号化対象ピクチャを復号化する復号化ステップと、
   を有する画像復号化方法。
2. 前記第１又は第２の復号化対象ブロックは、それぞれ、第１及び第２の参照方向で２枚の参照ピクチャを参照し、
   前記第１及び第２の参照ブロックは、前記第１及び第２の復号化対象ブロックから前記第１の参照方向でそれぞれ参照されるか、あるいは、前記第１及び第２の復号化対象ブロックから前記第２の参照方向でそれぞれ参照される、
   ことを特徴とする請求項１記載の画像復号化方法。
3. 前記第１及び第２の復号化対象ブロックは、それぞれ、前記参照ピクチャと、前記参照ピクチャとは異なる参照ピクチャと、を参照する、
   ことを特徴とする請求項１記載の画像復号化方法。
4. 復号化対象ピクチャを復号化する画像復号化装置であって、
   参照ピクチャ群と、前記参照ピクチャ群のうち少なくとも1枚の参照ピクチャに対して複数の参照インデックスを割り当てることが可能なコマンドと、を用いて、それぞれの参照インデックスとそれぞれの参照ピクチャとの対応を決定する手段と、
   前記参照ピクチャ群のうち前記復号化対象ピクチャが参照する少なくとも１枚の参照ピクチャに少なくとも２つの参照インデックスが割り当てられ、前記復号化対象ピクチャに属する第１の復号化対象ブロックが前記２つの参照インデックスの一方を用いて前記参照ピクチャに属する第１の参照ブロックを参照し、かつ、前記復号化対象ピクチャに属する第２の復号化対象ブロックが前記２つの参照インデックスの他方を用いて前記参照ピクチャに属する第２の参照ブロックを参照する場合には、
   前記２つの参照インデックスの一方に対応する第１の重み係数セットと前記第１の参照ブロックの画素値とを用いて前記第１の復号化対象ブロックの予測画素値を生成し、前記２つの参照インデックスの他方に対応する第２の重み係数セットと前記第２の参照ブロックの画素値とを用いて前記第２の復号化対象ブロックの予測画素値を生成して、前記復号化対象ピクチャの予測画素値を生成する、予測画像生成手段と、
   前記生成された復号化対象ピクチャの予測画素値を用いて、前記復号化対象ピクチャを復号化する復号化手段と、
   を備える画像復号化装置。

Images