JP4759537B2

JP4759537B2 - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4759537B2
Application number: JP2007166670A
Authority: JP
Inventors: 英明木全; 信哉志水; 一人上倉; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-06-25
Filing date: 2007-06-25
Publication date: 2011-08-31
Anticipated expiration: 2027-06-25
Also published as: JP2009005280A

Description

本発明は，フレーム間予測符号化方式を使った，複数フレームの画像符号化技術に関する技術である。

画像符号化では，フレーム間の輝度の変化を補償する輝度補償が提案されている。例えば，照明の変化がある場合では，画面内のオブジェクトが移動していなくても，同一オブジェクトの輝度や色が変わる。輝度補償では，このような輝度や色の変化の効果を加えて予測画像信号を作成して予測符号化を行う。非特許文献１では，画面全体の輝度の変化を補償するためのグローバル輝度補償法が提案されている。この提案されている方式では，参照画像の輝度信号Ｙに対して，式（１）で示される演算を行い，予測画像信号Ｐを作成する。Ｓはスケールパラメータを表し，Ｏはオフセットパラメータを表す。

Ｐ＝Ｓ・Ｙ＋Ｏ …（１）
符号化側では，画面全体に対してこのような変化を示すパラメータを推定し，符号化伝送する。復号側では，復号して得られるパラメータに従って輝度変化を補償して予測画像を作成する。

国際標準映像符号化方式Ｈ．２６４にも，輝度の変化を補償する符号化方法（重み付け予測）が採用されている。重み付け予測においても式（１）と同様に，スケールパラメータとオフセットパラメータを用意しておき，輝度の変化を表現する。重み付け予測では，適用する輝度変化パラメータを符号化前に予め推定しておき，パラメータをインデックスで指定する。そのインデックスは参照画像を指定する参照画像インデックスにより指定する。

この方法では，参照画像インデックスを変更することにより，同じ参照画像を使う場合であっても，その輝度変化パラメータを変更することができる。したがって，ブロックごとに輝度変化が異なる場合においても，参照画像インデックスを切り替えることにより，そのブロックでの予測効率が良い輝度変化パラメータを選択することができる。この参照画像インデックスは，ブロックごとに独立に符号化する。このため，参照画像インデックスの値が大きい場合には，ブロック単位に大きな数値を符号化する必要があり，符号化効率が悪いという問題がある。

他方，複数のカメラ映像を符号化する多視点映像符号化方式の国際標準化ＭＶＣが進められている。ＭＶＣでは，カメラ間で予測符号化する視差補償と動き補償を，ブロックごとに切り替えて符号化する。ＭＶＣはＨ．２６４をベースにしており，参照画像インデックスの指定により視差補償と動き補償を切り替える。このＭＶＣでは，上記のＨ．２６４の重み付け予測の問題を解決する手法として，参照画像インデックスを利用せずに，直接，輝度変化パラメータを符号化する方法が提案されている。ＭＶＣで提案されている輝度変化パラメータは，式（２）に示すように，オフセットパラメータＯのみで変化を表現する（非特許文献２参照）。

Ｐ＝Ｙ＋Ｏ …（２）
ここでオフセット値の符号化では，周囲のブロックで使用されたオフセット値からの差分を符号化対象とする。これにより輝度変化パラメータに関わる符号量の増加を抑える。提案されている方式では，ブロックごとにオフセットの差分を符号化するかどうかを指定するフラグ（輝度フラグ）を符号化する。この輝度フラグは，輝度変化パラメータの符号化が必要ない場合，あるいは輝度変化パラメータを符号化することでかえって符号化効率が低下する場合による符号化効率の低下を防ぐことを目的としている。
上倉一人，如沢裕尚，渡辺裕，小寺博，"動画像符号化におけるグローバル輝度補償法について"，PCSJ96,P-3.5，1996. "Joint Multi-view Video Model 3 ", JVT-V207 Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG Marrakech Meeting, January, 2007．

ＭＶＣの参照モデルの輝度補償ではブロックごとに輝度フラグを符号化するため，参照画像の選択情報にかかわらず全てのブロックで輝度フラグを符号化する必要がある。このため，輝度変化がない場合であっても輝度フラグを符号化する必要があり，符号化効率が悪くなることがあるという問題がある。特に，特定の参照画像でのみ輝度変化があると予め分かっている場合にも，輝度フラグを符号化する必要があるため，符号化効率が悪いという問題がある。

以上の従来技術とその問題点をまとめると，以下のとおりである。
（１）Ｈ．２６４では輝度が変化する場合を補償する輝度補償が採用されている。Ｈ．２６４の輝度補償では，輝度変化パラメータの指定を参照画像インデックスにより行う。
（２）画面内で輝度変化が異なる場合には，ブロックごとに参照画像インデックスを符号化する。このとき参照画像インデックス自体の符号化方法としては，周囲の既に符号化されたブロックの情報を利用しない。このため，画面内で輝度変化が多い場合には，多くの参照画像インデックスを符号化する必要があるという問題がある。
（３）他方，多視点映像符号化の国際標準ＭＶＣでは，上記の問題を解決する手法として，参照画像インデックスを利用せずに，輝度変化パラメータを別途符号化する手法が提案されている。この手法では輝度変化パラメータを符号化する際に，周囲のブロックの輝度変化パラメータとの差分を符号化対象とする。これにより，輝度変化パラメータに関わる符号量を低減する。
（４）輝度変化パラメータ（の差分）を全てのブロックで符号化すると符号量が増加するため，同提案手法では，輝度変化パラメータ（の差分）を符号化するかどうかを示すフラグをブロック単位に指定する。
（５）しかしながら，この手法では，輝度変化パラメータを符号化するかどうかをフラグで指定するため，画面全体で輝度変化がない場合であっても，そのフラグを符号化する必要があり，符号化効率が悪いという問題がある。

本発明は，上記問題点の解決を図り，輝度補償においてオフセットを加算して予測する画像符号化における符号化効率を向上させることを目的とする。

本発明は，以上の課題を解決するため，輝度変化パラメータ（オフセット）を符号化するかどうかを示すフラグを符号化する代わりに，予め輝度変化パラメータを符号化する参照画像Ａとそれを符号化しない参照画像Ｂを決めておき，参照画像インデックスにより参照画像Ａが指定された時にのみ，オフセット符号化部により輝度変化パラメータを符号化する。基本方式としてフラグは符号化しない。または，拡張方式として，参照画像インデックスが予め決めた参照画像Ａを示す場合にのみ，輝度変化パラメータを符号化するかどうかを示すフラグを符号化し，他の参照画像Ｂの場合には，そのフラグおよび輝度変化パラメータを符号化しない。具体的には，本発明は次のような手段を用いることを特徴とする。

第１の画像符号化方法は，予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，前記第１のタイプの参照画像Ａを選択する場合に，動きベクトルとオフセット値を探索するオフセット動き探索ステップを実行し，前記第２のタイプの参照画像Ｂを選択する場合に，動きベクトルを探索する動き探索ステップを実行し，前記オフセット動き探索ステップで得られる動きベクトルとオフセット値または前記動き探索ステップで得られる動きベクトルを使い予測画像を作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，動きベクトルを符号化する動き情報符号化ステップと，参照画像を指定する情報を符号化する参照画像指定情報符号化ステップと，参照画像として前記第１のタイプの参照画像Ａを選択する場合には，さらに，前記オフセット動き探索ステップで得られるオフセット値を符号化するオフセット符号化ステップと，を実行することを特徴とする。

また，第２の画像符号化方法は，予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，前記第１のタイプの参照画像Ａを選択する場合に，動きベクトルとオフセット値を探索するオフセット動き探索ステップと，動きベクトルを探索する動き探索ステップと，前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記動き探索ステップで得られる動きベクトルを使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小からオフセット値を符号化するかどうかを決定するオフセット決定ステップと，を実行し，前記第２のタイプの参照画像Ｂを選択する場合に，動きベクトルを探索する動き探索ステップを実行し，前記オフセット動き探索ステップで得られる動きベクトルとオフセット値または前記動き探索ステップで得られる動きベクトルを使い予測画像を作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，動きベクトルを符号化する動き情報符号化ステップと，参照画像を指定する情報を符号化する参照画像指定情報符号化ステップと，参照画像として前記第１のタイプの参照画像Ａを選択する場合に，前記オフセット決定ステップで決定したオフセット値を符号化するかどうかを指定する情報を符号化するオフセット値フラグ符号化ステップと，前記オフセット決定ステップでオフセットを符号化すると決定した場合に，オフセット値を符号化するオフセット符号化ステップと，を実行する。

第３の画像符号化方法は，前記第１または第２の画像符号化方法において，前記オフセット符号化ステップでは，周囲の領域において既に符号化されたオフセット値からの差分を符号化することを特徴とする。

第４の画像符号化方法は，予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，動きベクトルとオフセット値を探索するオフセット動き探索ステップと，周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，動きベクトルを符号化する動き情報符号化ステップと，前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分がゼロではない場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，差分がゼロの場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化ステップと，前記参照画像指定情報符号化ステップで前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化ステップと，を実行する。

第５の画像符号化方法は，予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，動きベクトルとオフセット値を探索するオフセット動き探索ステップと，周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，前記基準オフセット決定ステップで決定したオフセット値を設定して動きベクトルを探索するオフセット固定動き探索ステップと，前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小から，予測画像の作成に使用する動きベクトルとオフセット値を決定するオフセット固定決定ステップと，前記オフセット動き探索ステップまたは前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成ステップと，該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，動きベクトルを符号化する動き情報符号化ステップと，前記オフセット固定決定ステップにて前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，前記オフセット固定決定ステップにて前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化ステップと，前記参照画像指定情報符号化ステップで前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化ステップと，を実行することを特徴とする。

第１の画像復号方法は，予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，参照画像を指定する情報を復号する参照画像指定情報復号ステップと，動きベクトルを復号する動き情報復号ステップと，差分画像情報を復号する差分復号ステップと，を実行し，前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するオフセット復号ステップを実行し，前記動き情報復号ステップで得られる動きベクトル，または，さらに前記オフセット復号ステップでオフセット値を復号した場合にはそのオフセット値を使い，予測画像を作成する予測画像作成ステップと，差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，を実行することを特徴とする。

第２の画像復号方法は，予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，参照画像を指定する情報を復号する参照画像指定情報復号ステップと，動きベクトルを復号する動き情報復号ステップと，差分画像情報を復号する差分復号ステップと，を実行し，前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するかどうかを指定する情報を復号するオフセット値フラグ復号ステップを実行し，前記オフセット値フラグ復号ステップで得られる情報がオフセット値を復号することを指定する場合に，オフセット値を復号するオフセット復号ステップを実行し，前記動き情報復号ステップで得られる動きベクトル，または，さらに前記オフセット復号ステップでオフセット値を復号した場合にはそのオフセット値を使い，予測画像を作成する予測画像作成ステップと，差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，を実行することを特徴とする。

第３の画像復号方法は，第１または第２の画像復号方法において，前記オフセット復号ステップでは，オフセット値の差分を復号し，周囲の領域において既に復号されたオフセット値に加算してオフセット値を得ることを特徴とする。

第４の画像復号方法は，予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，周囲の領域において既に復号されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，参照画像を指定する情報を復号する参照画像指定情報復号ステップと，動きベクトルを復号する動き情報復号ステップと，差分画像情報を復号する差分復号ステップと，を実行し，前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合に，オフセット値の差分を復号するオフセット差分復号ステップを実行し，前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合には，前記基準オフセット決定ステップで得られる基準オフセット値と前記オフセット差分復号ステップで得られる差分とから，前記第２のタイプの参照画像Ｄを指定するものである場合には，前記基準オフセット決定ステップで得られる基準オフセット値から，オフセット値を得るオフセット算出ステップと，前記動き情報復号ステップと前記オフセット算出ステップで得られる動きベクトルとオフセット値とを使い予測画像を作成する予測画像作成ステップと，差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，を実行することを特徴とする。

以上の特徴を有する第１の画像符号化方法あるいは第１の画像復号方法によれば，予め輝度変化を行う参照画像を設定しておき，その参照画像を使って符号化する場合のみオフセット値を符号化することができる。これにより，予め特定の参照画像において輝度変化があることが推測できる場合に，符号化効率の低下を抑えることができる。

また，画像Ａと画像Ｂの画像情報を同じにすると，オフセット値がゼロの場合において値ゼロを符号化することによる符号量の増加を低減することができる。

第２の画像符号化方法あるいは第２の画像復号方法によれば，予め輝度変化を行う参照画像を設定しておき，その参照画像を使って符号化する場合のみオフセット値を符号化するかどうかを指定する情報を符号化し，さらにオフセット値を符号化すると指定した場合のみオフセット値を符号化することができる。これにより，特定の参照画像についてのみ輝度変化があると推定する場合において，その推定が間違っていたとしても，オフセット値を符号化するかどうかを指定することができ，符号化効率の低下を抑えることができる。

第３の画像符号化方法あるいは第３の画像復号方法によれば，周囲のブロックで既に符号化されたオフセット値がある場合に，そのオフセット値からの差分を符号化対象とすることができる。これによりオフセット値の符号量を低減することが出来る。

第４の画像符号化方法あるいは第４の画像復号方法によれば，周囲のブロックで既に符号化されたオフセット値がある場合に，そのオフセット値（基準オフセット値）からの差分を符号化対象とする場合において，オフセット動き探索で求めたオフセット値が基準オフセット値と同じ場合と異なる場合とで，異なる参照画像インデックスを設定することができる。これらの参照画像インデックスの符号量が同じ場合には，オフセット動き探索で求めたオフセット値が基準オフセット値と同じ場合に，オフセットの差分すなわち値ゼロを符号化することによる符号量の増加を低減することができる。

第５の画像符号化方法あるいはその符号化画像を復号するの画像復号方法によれば，周囲のブロックで既に符号化されたオフセット値がある場合に，そのオフセット値（基準オフセット値）からの差分を符号化対象とする場合において，基準オフセット値をオフセット値に設定して動きベクトルを探索するオフセット固定動き探索を，オフセット動き探索とは別に実行し，オフセット固定動き探索とオフセット動き探索のどちらの探索で得られた動きベクトルとオフセット値を使用するのかを，異なる参照画像インデックスの値により区別することができる。これらの参照画像インデックスの符号量が同じ場合には，オフセットの差分すなわち値ゼロを符号化することによる符号量の増加を低減することができる。

以上において，参照画像メモリに蓄積されている画像を画像Ａまたは画像Ｂに設定する方法としては，例えば次のようなものが挙げられる。２つ以上のカメラ映像をカメラ映像間で予測符号化しながら符号化する場合に，異なるカメラで撮影した映像間では基本的には同じ物体を撮影していても色が異なる。したがって，異なるカメラ映像の画像を参照画像にする場合には，オフセットを加えて予測符号化するのが望ましい。この場合には，この画像符号化装置で符号化対象の画像と同じカメラ映像の画像を画像Ｂとし，異なるカメラ映像の画像を画像Ａとして符号化すればよい。

また，１つのカメラ映像であっても，符号化前に予め画像間で輝度や色に変化のあることがわかっている場合には，その画像を符号化する場合に，オフセットを加えて予測符号化するのが望ましい。したがって，色の異なる参照画像は画像Ａに，色が同じ参照画像は画像Ｂに設定すればよい。このように予め設定した条件に従って，参照画像を画像Ａまたは画像Ｂに設定する。

また，入力画像信号を複数のカテゴリに分類しておき，この分類に従って，その復号画像を画像Ａまたは画像Ｂに分類しても良い。カテゴリに分ける方法としては，入力画像信号が撮影されるカメラが同じであるかどうかを利用しても良い。また，入力画像信号の画面全体の色の一致度合いを予め検出しておき，それに従ってカテゴリに分けても良い。色の一致度合いの検出方法としては，画面内の画像情報の平均値を計算し，フレーム間でその平均値の差を求め，差が閾値よりも大きい場合には色が一致しておらず，差が閾値よりも小さい場合には色が一致しているとしても良い。

輝度信号だけではなく他の色信号がある場合には，色信号ごとにオフセットを加算して予測符号化しても良い。この場合には，オフセット値を色信号ごとに符号化する。さらに色信号ごとにオフセット値を符号化するかどうかを指定する情報を符号化しても良い。

また，画像符号化側で参照画像を画像Ａまたは画像Ｂに設定し，その設定情報をフレームやスライスやブロック単位に符号化して復号側に通知しても良い。設定情報としては，例えば，オフセットを加算して予測符号化する参照画像の参照画像インデックスをスライス単位に通知しても良い。複数の色信号がある場合には，色信号ごとに参照画像インデックスを通知しても良い。

また，複数のカメラ映像を符号化する場合には，符号化対象の画像とは異なるカメラ映像の画像を参照画像についてオフセットを加算して予測符号化しても良い。この場合には各画像にカメラを区別するカメラ番号を付与しておけば，そのカメラ番号を使って異なるカメラ映像に属するかどうかが判定でき，異なる場合にはオフセットを加算して予測符号化をするかどうかが判定できる。複数の色信号がある場合には，色信号ごとにオフセットを加算して予測符号化するかどうかを，フレームやスライス単位に指定しても良い。

本発明によれば，予め設定した参照画像のときだけオフセット値を符号化する。これにより，輝度変化がない場合における符号化効率を向上することができる。

以下，図面を用いて本発明の画像符号化装置と画像復号装置の実施例を説明する。

第１の実施例として，予め設定した参照画像を選択する場合に，オフセットを使って予測符号化する場合の例を示す。画像信号は輝度信号と２つの色差信号から構成されるものとする。

画像符号化装置の説明を行う。図１に装置概要を示す。画像符号化装置は，画像情報を取り込む画像入力部１０１と，参照画像を切り替える参照画像切替部１０７と，動き探索を行う動き探索部１０２と，動きベクトルとオフセット値の推定を行うオフセット動き探索部１０３と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１０９と，参照画像を蓄積する参照画像メモリ１０６と，動き情報を符号化する動き情報符号化部１１０と，オフセット値を符号化するオフセット符号化部１１１と，予測画像の作成に使用する参照画像を決定する参照画像決定部１１２とを備える。

参照画像メモリ１０６には，画像Ａと画像Ｂが蓄積されているものとする。オフセット動き探索部１０３では，動きベクトル情報と輝度信号のオフセット値を推定するものとする。予測画像作成部１０５では，輝度信号については，画像Ａを参照画像に選択する場合には，オフセットを加算して予測画像を作成し，画像Ｂを参照画像に選択する場合には，オフセットを加算しないで予測画像を作成するものとする。色差信号については，画像Ａと画像Ｂのいずれを参照画像に選択する場合にもオフセットを加算しないで予測画像を作成するものとする。

参照画像決定部１１２では，参照画像Ａを選択した場合の予測画像と符号化対象画像の差分評価値と，参照画像Ｂを選択した場合の差分評価値とを算出して，差分評価値が小さい方を参照画像として決定するものとする。オフセット符号化部１１１では，周囲のブロックのオフセット値を記憶しておき，それからの差分を符号化対象とするものとする。画像入力部１０１は，入力画像をマクロブロックに分割するものとする。

オフセット動き探索部１０３では，式（３）を最小化するようにしてオフセット値と動きベクトルを算出するものとする。ここで，ｆ（ｉ，ｊ）は原信号を示し，ｒ（ｉ，ｊ）は参照画像信号を示す。Ｍ_curとＭ_refは，式（４）で計算される。ＳとＴはブロックの縦と横の画素数を示す。また，動き探索部１０２では，式（５）を最小化するようにして動きベクトルを算出するものとする。なおオフセット値Ｏは，式（６）により計算される。

このような前提で入力画像を次のように符号化する。まず，画像入力部１０１は，入力画像を取り込み，マクロブロックに分割する。

マクロブロックごとに次のようにして符号化する。参照画像切替部１０７は，参照画像を画像Ａに切り替える。オフセット動き探索部１０３は，オフセット値と動きベクトルを探索する。次に参照画像切替部１０７は，参照画像を画像Ｂに切り替える。動き探索部１０２は，動きベクトルを探索する。参照画像決定部１１２は，参照画像Ａを選択した場合にオフセット値と動きベクトルを用いた場合の予測画像と符号化対象画像の差分評価値と，参照画像Ｂを選択した場合に得られる動きベクトルを用いた場合の予測画像と符号化対象画像の差分評価値を算出して，差分評価値が小さい方を，参照画像として決定する。

予測画像作成部１０５は，参照画像から予測画像を作成する。差分符号化部１０４は，予測画像と符号化対象画像との差分を符号化する。復号部１０９は，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する。参照画像指定情報符号化部１０８は，参照画像インデックスを符号化する。動き情報符号化部１１０は，動きベクトルを符号化する。参照画像決定部１１２で画像Ａを参照画像に決定した場合には，オフセット符号化部１１１は，オフセット値を符号化する。

以上の動作を全マクロブロックに対して実行する。復号画像は参照画像メモリ１０６に蓄積する。

次に，画像復号装置の説明を行う。図２に装置概要を示す。画像復号装置は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，オフセット値を復号するオフセット復号部２０５と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，予測画像作成部２０２で使用する参照画像を切り替える参照画像切替部２０３と，参照画像を蓄積する参照画像メモリ２０６とを備える。

オフセット復号部２０５では，周囲のブロックのオフセット値を記憶しておき，その値に復号して得られるオフセットの差分を加算してオフセット値を得るものとする。参照画像メモリ２０６には，画像Ａと画像Ｂが蓄積されているものとする。予測画像作成部２０２では，輝度信号については，画像Ａを参照画像に選択する場合には，オフセットを加算して予測画像を作成し，画像Ｂを参照画像に選択する場合には，オフセットを加算しないで予測画像を作成するものとする。色差信号については，画像Ａと画像Ｂのいずれを参照画像に選択する場合にもオフセットを加算しないで予測画像を作成するものとする。

このような前提で，前記画像符号化装置で符号化された符号化データを，次のように復号する。

まず，マクロブロックごとに次のようにして符号化データを復号する。参照画像指定情報復号部２０４は，参照画像インデックスを復号する。動き情報復号部２０８は，動き情報を復号する。参照画像インデックスが画像Ａを指す場合には，オフセット復号部２０５は，オフセット値を復号して得る。参照画像切替部２０３は，参照画像インデックスに従い参照画像を切り替える。予測画像作成部２０２は，参照画像から予測画像を作成する。そして差分復号部２０１は，差分符号化データを復号して差分画像情報を求める。復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する。

以上の動作を全マクロブロックに対して実行する。復号画像は参照画像メモリ２０６に蓄積する。

次に，第２の実施例として，オフセット値を符号化するかどうかを指定する情報を符号化する場合の例を示す。画像信号は輝度信号と２つの色差信号から構成されるものとする。

この画像符号化装置の説明を行う。図３に装置概要を示す。画像符号化装置は，画像情報を取り込む画像入力部１０１と，参照画像を切り替える参照画像切替部１０７と，動き探索を行う動き探索部１０２と，動きベクトルとオフセット値の推定を行うオフセット動き探索部１０３と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１０９と，参照画像を蓄積する参照画像メモリ１０６と，動き情報を符号化する動き情報符号化部１１０と，オフセット値を符号化するかどうかを決定するオフセット決定部１１３と，オフセット値を符号化するかどうかを指定する情報を符号化するオフセット値フラグ符号化部１１４と，オフセット値を符号化するオフセット符号化部１１１と，予測画像の作成に使用する参照画像を決定する参照画像決定部１１２とを備える。

第１の実施例と同様に，参照画像メモリ１０６には，画像Ａと画像Ｂが蓄積されているものとする。オフセット動き探索部１０３では，動きベクトル情報と輝度信号のオフセット値を推定するものとする。予測画像作成部１０５では，輝度信号については，画像Ａを参照画像に選択する場合でオフセットを符号化する場合には，オフセットを加算して予測画像を作成し，画像Ａを参照画像に選択する場合でオフセットを符号化しない場合には，オフセットを加算しないで予測画像を作成し，画像Ｂを参照画像に選択する場合には，オフセットを加算しないで予測画像を作成するものとする。色差信号については，画像Ａと画像Ｂのいずれを参照画像に選択する場合にもオフセットを加算しないで予測画像を作成するものとする。

オフセット決定部１１３は，オフセット動き探索部１０３で得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，動き探索部１０２で得られる動きベクトルを使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値が小さい方を選択するようにオフセット値を符号化するかどうかを決定するものとする。参照画像決定部１１２では，参照画像Ａを選択した場合の予測画像と符号化対象画像の差分評価値と，参照画像Ｂを選択した場合の差分評価値とを算出して，差分評価値が小さい方を参照画像として決定するものとする。

オフセット符号化部１１１では，周囲のブロックのオフセット値を記憶しておき，それからの差分を符号化対象とするものとする。画像入力部１０１は，入力画像をマクロブロックに分割するものとする。オフセット動き探索部１０３では，式（３）を最小化するようにしてオフセット値と動きベクトルを算出するものとする。また，動き探索部１０２では，式（５）を最小化するようにして動きベクトルを算出するものとする。

マクロブロックごとに次のようにして符号化する。参照画像切替部１０７は，参照画像を画像Ａに切り替える。オフセット動き探索部１０３は，オフセット値と動きベクトルを探索する。動き探索部１０２は，動きベクトルを探索する。オフセット決定部１１３は，オフセット値を符号化するかどうかを決定する。

次に，参照画像切替部１０７は，参照画像を画像Ｂに切り替える。動き探索部１０２は，動きベクトルを探索する。参照画像決定部１１２は，参照画像Ａを選択した場合に得られるオフセット値と動きベクトルを用いた場合の予測画像と符号化対象画像の差分評価値と，参照画像Ｂを選択した場合に得られる動きベクトルを用いた場合の予測画像と符号化対象画像の差分評価値を算出して，差分評価値が小さい方を参照画像として決定する。

予測画像作成部１０５は，参照画像から予測画像を作成する。差分符号化部１０４は，予測画像と符号化対象画像との差分を符号化する。復号部１０９は，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する。参照画像指定情報符号化部１０８は，参照画像インデックスを符号化する。動き情報符号化部１１０は，動きベクトルを符号化する。参照画像決定部１１２で画像Ａを参照画像に決定した場合には，オフセット値フラグ符号化部１１４は，オフセット値を符号化するかどうかを指定する情報を符号化する。オフセット値を符号化する場合には，オフセット符号化部１１１は，オフセット値を符号化する。

次に，画像復号装置の説明を行う。図４に装置概要を示す。画像復号装置は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，オフセット値を復号するかどうかを指定する情報を復号するオフセット値フラグ復号部２０９と，オフセット値を復号するオフセット復号部２０５と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，予測画像作成部２０２で使用する参照画像を切り替える参照画像切替部２０３と，参照画像を蓄積する参照画像メモリ２０６とを備える。

オフセット復号部２０５では，周囲のブロックのオフセット値を記憶しておき，その値に復号して得られるオフセットの差分を加算してオフセット値を得るものとする。参照画像メモリ２０６には，画像Ａと画像Ｂが蓄積されているものとする。予測画像作成部２０２では，輝度信号については，画像Ａを参照画像に選択する場合でオフセットを復号する場合には，オフセットを加算して予測画像を作成し，画像Ａを参照画像に選択する場合でオフセットを復号しない場合には，オフセットを加算しないで予測画像を作成し，画像Ｂを参照画像に選択する場合には，オフセットを加算しないで予測画像を作成するものとする。色差信号については，画像Ａと画像Ｂのいずれを参照画像に選択する場合にもオフセットを加算しないで予測画像を作成するものとする。

このような前提で前記画像符号化装置で符号化された符号化データを，次のように復号する。

まず，マクロブロックごとに次のようにして符号化データを復号する。参照画像指定情報復号部２０４は，参照画像インデックスを復号する。動き情報復号部２０８は，動き情報を復号する。参照画像インデックスが画像Ａを指す場合には，オフセット値フラグ復号部２０９は，オフセット値を復号するかどうかを指定する情報を復号する。オフセット値を復号する場合には，オフセット復号部２０５は，オフセット値を復号して得る。参照画像切替部２０３は，参照画像インデックスに従い参照画像を切り替える。予測画像作成部２０２は，参照画像から予測画像を作成する。そして差分復号部２０１は，差分符号化データを復号して差分画像情報を求める。復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する。

次に第３の実施例として，周囲のブロックのオフセット値から基準オフセット値を算出して，推定したオフセット値と基準オフセット値との差分がゼロかどうかで異なる参照画像を設定する場合の例を示す。画像信号は輝度信号と２つの色差信号から構成されるものとする。

この画像符号化装置の説明を行う。図５に装置概要を示す。画像符号化装置は，画像情報を取り込む画像入力部１０１と，動きベクトルとオフセット値の推定を行うオフセット動き探索部１０３と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１０９と，参照画像を蓄積する参照画像メモリ１０６と，動き情報を符号化する動き情報符号化部１１０と，基準オフセット値を決定する基準オフセット決定部１１５と，オフセット値を符号化するオフセット符号化部１１１とを備える。

オフセット動き探索部１０３では，動きベクトル情報と輝度信号のオフセット値を推定するものとする。予測画像作成部１０５では，輝度信号についてはオフセットを加算して予測画像を作成し，色差信号についてはオフセットを加算しないで予測画像を作成するものとする。基準オフセット決定部１１５では，周囲のブロックのオフセット値を記憶しておき，その値を基準オフセット値に決定するものとする。

オフセット符号化部１１１は，オフセット動き探索部１０３で得られるオフセット値と基準オフセット値との差分を符号化するものとする。参照画像指定情報符号化部１０８では，オフセット動き探索部１０３で得られるオフセット値と基準オフセット値との差分がゼロではない場合には，第１のタイプの参照画像インデックスＣを符号化し，差分がゼロの場合には，第２のタイプの参照画像インデックスＤを符号化するものとする。画像入力部１０１は，入力画像をマクロブロックに分割するものとする。オフセット動き探索部１０３では，式（３）を最小化するようにしてオフセット値と動きベクトルを算出するものとする。

マクロブロックごとに次のようにして符号化する。オフセット動き探索部１０３は，オフセット値と動きベクトルを探索する。予測画像作成部１０５は，参照画像から予測画像を作成する。差分符号化部１０４は，予測画像と符号化対象画像との差分を符号化する。復号部１０９は，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する。基準オフセット決定部１１５は，基準オフセット値を決定する。オフセット符号化部１１１は，オフセット動き探索部１０３で得られるオフセット値と基準オフセット値との差分がゼロではない場合には，その差分を符号化する。参照画像指定情報符号化部１０８は，参照画像インデックスを符号化する。動き情報符号化部１１０は，動きベクトルを符号化する。

以上の動作を全マクロブロックに対して実行する。復号画像は，参照画像メモリ１０６に蓄積する。

次に，画像復号装置の説明を行う。図６に装置概要を示す。画像復号装置は，差分符号化データを復号する差分復号部２０１と，参照画像指定情報を復号する参照画像指定情報復号部２０４と，動き情報を復号する動き情報復号部２０８と，基準オフセット値を決定する基準オフセット決定部２１２と，オフセットの差分を復号するオフセット差分復号部２１０と，オフセットの差分と基準オフセット値からオフセット値を算出するオフセット算出部２１１と，予測画像を作成する予測画像作成部２０２と，差分画像と予測画像から復号画像を作成する復号画像作成部２０７と，参照画像を蓄積する参照画像メモリ２０６とを備える。

基準オフセット決定部２１２では，周囲のブロックのオフセット値を記憶しておき，その値を基準オフセット値に決定するものとする。参照画像指定情報復号部２０４が参照画像インデックスＣを復号した場合に，オフセット差分復号部２１０は，オフセットの差分を復号し，オフセット算出部２１１は，オフセットの差分と基準オフセット値からオフセット値を算出するものとする。参照画像指定情報復号部２０４が参照画像インデックスＤを復号した場合に，オフセット算出部２１１は，基準オフセット値をオフセット値に設定するものとする。予測画像作成部２０２では，輝度信号についてはオフセットを加算して予測画像を作成し，色差信号についてはオフセットを加算しないで予測画像を作成するものとする。

まず，マクロブロックごとに次のようにして符号化データを復号する。参照画像指定情報復号部２０４は，参照画像インデックスを復号する。動き情報復号部２０８は，動き情報を復号する。参照画像インデックスＣの場合には，オフセット差分復号部２１０は，オフセットの差分を復号し，オフセット算出部２１１は，オフセットの差分と基準オフセット値からオフセット値を算出する。参照画像インデックスＤの場合には，オフセット算出部２１１は，基準オフセット値をオフセット値に設定する。予測画像作成部２０２は，参照画像から予測画像を作成する。そして差分復号部２０１は，差分符号化データを復号して差分画像情報を求める。復号画像作成部２０７は，差分画像情報と予測画像を使用して復号画像を作成する。

次に第４の実施例として，周囲のブロックのオフセット値から基準オフセット値を算出して，基準オフセット値をオフセットに設定して動き探索をするオフセット固定動き探索と，オフセットと動きベクトルを探索するオフセット動き探索による結果から，オフセットの差分を符号化するかどうかを決定し，基準オフセット値との差分がゼロかどうかで異なる参照画像を設定する場合の例を示す。画像信号は輝度信号と２つの色差信号から構成されるものとする。

この画像符号化装置の説明を行う。図７に装置概要を示す。画像符号化装置は，画像情報を取り込む画像入力部１０１と，動きベクトルとオフセット値の推定を行うオフセット動き探索部１０３と，基準オフセット値を決定する基準オフセット決定部１１５と，基準オフセット値をオフセットに設定して動き探索をするオフセット固定動き探索部１１６と，オフセット動き探索部１０３によるオフセット値と動きベクトルを使用して予測画像を作成するのか，オフセット固定動き探索部１１６によるオフセット値と動きベクトルを使用して予測画像を作成するのかを決定するオフセット固定決定部１１７と，予測画像を作成する予測画像作成部１０５と，入力画像情報と予測画像との差分を符号化する差分符号化部１０４と，参照画像指定情報を符号化する参照画像指定情報符号化部１０８と，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する復号部１０９と，参照画像を蓄積する参照画像メモリ１０６と，動き情報を符号化する動き情報符号化部１１０と，オフセット値を符号化するオフセット符号化部１１１とを備える。

オフセット動き探索部１０３では，動きベクトル情報と輝度信号のオフセット値を推定するものとする。基準オフセット決定部１１５では，周囲のブロックのオフセット値を記憶しておき，その値を基準オフセット値に決定するものとする。オフセット固定動き探索部１１６では，基準オフセット値をオフセットに設定し，式（７）を最小化するようにして動きベクトルを算出するものとする。

オフセット固定決定部１１７は，オフセット動き探索部１０３によるオフセット値と動きベクトルを使用して得られる予測画像と符号化対象画像の差分評価値と，オフセット固定動き探索部１１６によるオフセット値と動きベクトルを使用して得られる予測画像と符号化対象画像の差分評価値を算出して，差分評価値が小さい方のオフセット値と動きベクトルを決定する。

予測画像作成部１０５では，輝度信号についてはオフセットを加算して予測画像を作成し，色差信号についてはオフセットを加算しないで予測画像を作成するものとする。オフセット符号化部１１１は，オフセット動き探索部１０３で得られるオフセット値と基準オフセット値との差分を符号化するものとする。

参照画像指定情報符号化部１０８では，オフセット固定決定部１１７でオフセット動き探索部１０３によるオフセット値と動きベクトルを使用して予測画像を作成すると決定した場合には，第１のタイプの参照画像インデックスＣを符号化し，オフセット固定決定部１１７でオフセット固定動き探索部１１６によるオフセット値と動きベクトルを使用して予測画像を作成すると決定した場合には，第２のタイプの参照画像インデックスＤを符号化するものとする。

画像入力部１０１は，入力画像をマクロブロックに分割するものとする。オフセット動き探索部１０３では，式（３）を最小化するようにしてオフセット値と動きベクトルを算出するものとする。

マクロブロックごとに次のようにして符号化する。オフセット動き探索部１０３は，オフセット値と動きベクトルを探索する。基準オフセット決定部１１５は，基準オフセット値を決定する。オフセット固定動き探索部１１６は，動きベクトルを探索する。オフセット固定決定部１１７は，オフセット値と動きベクトルを決定する。予測画像作成部１０５は，参照画像から予測画像を作成する。差分符号化部１０４は，予測画像と符号化対象画像との差分を符号化する。復号部１０９は，差分符号化部１０４で作成された差分符号化データを復号して復号画像を作成する。

オフセット固定決定部１１７でオフセット動き探索部１０３によるオフセット値と動きベクトルを使用して予測画像を得ると決定した場合には，オフセット符号化部１１１は，オフセット動き探索部１０３で得られるオフセット値と基準オフセット値との差分を符号化する。参照画像指定情報符号化部１０８は，参照画像インデックスを符号化する。動き情報符号化部１１０は，動きベクトルを符号化する。

この符号化データを復号する際の画像復号装置は，第３の実施例と同様である。

本実施例では，輝度信号のみオフセットを設定して符号化したが，色差信号にもオフセットを設定して符号化しても良い。

以上の画像符号化および画像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

第１の実施例における画像符号化装置の構成例を示す図である。第１の実施例における画像復号装置の構成例を示す図である。第２の実施例における画像符号化装置の構成例を示す図である。第２の実施例における画像復号装置の構成例を示す図である。第３の実施例における画像符号化装置の構成例を示す図である。第３の実施例における画像復号装置の構成例を示す図である。第４の実施例における画像符号化装置の構成例を示す図である。

符号の説明

１０１画像入力部
１０２動き探索部
１０３オフセット動き探索部
１０４差分符号化部
１０５予測画像作成部
１０６参照画像メモリ
１０７参照画像切替部
１０８参照画像指定情報符号化部
１０９復号部
１１０動き情報符号化部
１１１オフセット符号化部
１１２参照画像決定部
１１３オフセット決定部
１１４オフセット値フラグ符号化部
１１５基準オフセット決定部
１１６オフセット固定動き探索部
１１７オフセット固定決定部
２０１差分復号部
２０２予測画像作成部
２０３参照画像切替部
２０４参照画像指定情報復号部
２０５オフセット復号部
２０６参照画像メモリ
２０７復号画像作成部
２０８動き情報復号部
２０９オフセット値フラグ復号部
２１０オフセット差分復号部
２１１オフセット算出部
２１２基準オフセット決定部

Claims

予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
前記第１のタイプの参照画像Ａを選択する場合に，動きベクトルとオフセット値を探索するオフセット動き探索ステップを実行し，
前記第２のタイプの参照画像Ｂを選択する場合に，動きベクトルを探索する動き探索ステップを実行し，
前記オフセット動き探索ステップで得られる動きベクトルとオフセット値または前記動き探索ステップで得られる動きベクトルを使い予測画像を作成する予測画像作成ステップと，
該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，
動きベクトルを符号化する動き情報符号化ステップと，
参照画像を指定する情報を符号化する参照画像指定情報符号化ステップと，
参照画像として前記第１のタイプの参照画像Ａを選択する場合には，さらに，前記オフセット動き探索ステップで得られるオフセット値を符号化するオフセット符号化ステップと，
を実行することを特徴とする画像符号化方法。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
前記第１のタイプの参照画像Ａを選択する場合に，
動きベクトルとオフセット値を探索するオフセット動き探索ステップと，
動きベクトルを探索する動き探索ステップと，
前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記動き探索ステップで得られる動きベクトルを使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小からオフセット値を符号化するかどうかを決定するオフセット決定ステップと，
を実行し，
前記第２のタイプの参照画像Ｂを選択する場合に，動きベクトルを探索する動き探索ステップを実行し，
前記オフセット動き探索ステップで得られる動きベクトルとオフセット値または前記動き探索ステップで得られる動きベクトルを使い予測画像を作成する予測画像作成ステップと，
該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，
動きベクトルを符号化する動き情報符号化ステップと，
参照画像を指定する情報を符号化する参照画像指定情報符号化ステップと，
参照画像として前記第１のタイプの参照画像Ａを選択する場合に，前記オフセット決定ステップで決定したオフセット値を符号化するかどうかを指定する情報を符号化するオフセット値フラグ符号化ステップと，
前記オフセット決定ステップでオフセットを符号化すると決定した場合に，オフセット値を符号化するオフセット符号化ステップと，
を実行することを特徴とする画像符号化方法。
請求項１または請求項２に記載の画像符号化方法において，
前記オフセット符号化ステップでは，周囲の領域において既に符号化されたオフセット値からの差分を符号化する
ことを特徴とする画像符号化方法。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
動きベクトルとオフセット値を探索するオフセット動き探索ステップと，
周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，
前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成ステップと，
該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，
動きベクトルを符号化する動き情報符号化ステップと，
前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分がゼロではない場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，差分がゼロの場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化ステップと，
前記参照画像指定情報符号化ステップで前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化ステップと，
を実行することを特徴とする画像符号化方法。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化方法であって，
動きベクトルとオフセット値を探索するオフセット動き探索ステップと，
周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，
前記基準オフセット決定ステップで決定したオフセット値を設定して動きベクトルを探索するオフセット固定動き探索ステップと，
前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小から，予測画像の作成に使用する動きベクトルとオフセット値を決定するオフセット固定決定ステップと，
前記オフセット動き探索ステップまたは前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成ステップと，
該領域内の画像情報と予測画像の差分を符号化する差分符号化ステップと，
動きベクトルを符号化する動き情報符号化ステップと，
前記オフセット固定決定ステップにて前記オフセット動き探索ステップで得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，前記オフセット固定決定ステップにて前記オフセット固定動き探索ステップで得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化ステップと，
前記参照画像指定情報符号化ステップで前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索ステップで得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化ステップと，
を実行することを特徴とする画像符号化方法。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，
参照画像を指定する情報を復号する参照画像指定情報復号ステップと，
動きベクトルを復号する動き情報復号ステップと，
差分画像情報を復号する差分復号ステップと，
を実行し，
前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するオフセット復号ステップを実行し，
前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，前記動き情報復号ステップで得られる動きベクトルと前記オフセット復号ステップで得られるオフセット値を使い，また，前記第２のタイプの参照画像Ｂを指定するものである場合に，前記動き情報復号ステップで得られる動きベクトルを使い，予測画像を作成する予測画像作成ステップと，
差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，
を実行することを特徴とする画像復号方法。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，
参照画像を指定する情報を復号する参照画像指定情報復号ステップと，
動きベクトルを復号する動き情報復号ステップと，
差分画像情報を復号する差分復号ステップと，
を実行し，
前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するかどうかを指定する情報を復号するオフセット値フラグ復号ステップを実行し，
前記オフセット値フラグ復号ステップで得られる情報がオフセット値を復号することを指定する場合に，オフセット値を復号するオフセット復号ステップを実行し，
前記動き情報復号ステップで得られる動きベクトル，または，さらに前記オフセット復号ステップでオフセット値を復号した場合にはそのオフセット値を使い，予測画像を作成する予測画像作成ステップと，
差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，
を実行することを特徴とする画像復号方法。
請求項６または請求項７に記載の画像復号方法において，
前記オフセット復号ステップでは，オフセット値の差分を復号し，周囲の領域において既に復号されたオフセット値に加算してオフセット値を得る
ことを特徴とする画像復号方法。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号方法であって，
周囲の領域において既に復号されたオフセット値から基準オフセット値を決定する基準オフセット決定ステップと，
参照画像を指定する情報を復号する参照画像指定情報復号ステップと，
動きベクトルを復号する動き情報復号ステップと，
差分画像情報を復号する差分復号ステップと，
を実行し，
前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合に，オフセット値の差分を復号するオフセット差分復号ステップを実行し，
前記参照画像指定情報復号ステップにより復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合には，前記基準オフセット決定ステップで得られる基準オフセット値と前記オフセット差分復号ステップで得られる差分とから，前記第２のタイプの参照画像Ｄを指定するものである場合には，前記基準オフセット決定ステップで得られる基準オフセット値から，オフセット値を得るオフセット算出ステップと，
前記動き情報復号ステップと前記オフセット算出ステップで得られる動きベクトルとオフセット値とを使い予測画像を作成する予測画像作成ステップと，
差分画像情報と予測画像とから復号画像を作成する復号画像作成ステップと，
を実行することを特徴とする画像復号方法。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
参照画像を選択する参照画像切替部と，
前記参照画像切替部が前記第１のタイプの参照画像Ａを選択する場合に，動きベクトルとオフセット値を探索するオフセット動き探索部と，
前記参照画像切替部が前記第２のタイプの参照画像Ｂを選択する場合に，動きベクトルを探索する動き探索部と，
前記オフセット動き探索部で得られる動きベクトルとオフセット値または前記動き探索部で得られる動きベクトルを使い予測画像を作成する予測画像作成部と，
該領域内の画像情報と予測画像の差分を符号化する差分符号化部と，
動きベクトルを符号化する動き情報符号化部と，
参照画像を指定する情報を符号化する参照画像指定情報符号化部と，
参照画像として前記第１のタイプの参照画像Ａを選択する場合には，さらに，前記オフセット動き探索部で得られるオフセット値を符号化するオフセット符号化部と，
前記差分符号化部で得られる符号化データを復号し，予測画像に加算して復号画像を得る復号部と，
復号画像を蓄積する参照画像メモリと，
を備えることを特徴とする画像符号化装置。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
参照画像を選択する参照画像切替部と，
前記参照画像切替部が前記第１のタイプの参照画像Ａを選択する場合に，動きベクトルとオフセット値を探索するオフセット動き探索部と，
動きベクトルを探索する動き探索部と，
前記参照画像切替部が前記第１のタイプの参照画像Ａを選択する場合に，前記オフセット動き探索部で得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記動き探索部で得られる動きベクトルを使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小からオフセット値を符号化するかどうかを決定するオフセット決定部と，
前記オフセット動き探索部で得られる動きベクトルとオフセット値または前記動き探索部で得られる動きベクトルを使い予測画像を作成する予測画像作成部と，
該領域内の画像情報と予測画像の差分を符号化する差分符号化部と，
動きベクトルを符号化する動き情報符号化部と，
参照画像を指定する情報を符号化する参照画像指定情報符号化部と，
参照画像として前記第１のタイプの参照画像Ａを選択する場合に，前記オフセット決定部で決定したオフセット値を符号化するかどうかを指定する情報を符号化するオフセット値フラグ符号化部と，
前記オフセット決定部でオフセットを符号化すると決定した場合に，オフセット値を符号化するオフセット符号化部と，
前記差分符号化部で得られる符号化データを復号し，予測画像に加算して復号画像を得る復号部と，
復号画像を蓄積する参照画像メモリと，
を備えることを特徴とする画像符号化装置。
請求項１０または請求項１１に記載の画像符号化装置において，
前記オフセット符号化部は，周囲の領域において既に符号化されたオフセット値からの差分を符号化する
ことを特徴とする画像符号化装置。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
動きベクトルとオフセット値を探索するオフセット動き探索部と，
周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定部と，
前記オフセット動き探索部で得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成部と，
該領域内の画像情報と予測画像の差分を符号化する差分符号化部と，
動きベクトルを符号化する動き情報符号化部と，
前記オフセット動き探索部で得られるオフセット値と基準オフセット値との差分がゼロではない場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，差分がゼロの場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化部と，
前記参照画像指定情報符号化部で前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索部で得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化部と，
前記差分符号化部で得られる符号化データを復号し，予測画像に加算して復号画像を得る復号部と，
復号画像を蓄積する参照画像メモリと，
を備えることを特徴とする画像符号化装置。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて符号化する画像符号化装置であって，
動きベクトルとオフセット値を探索するオフセット動き探索部と，
周囲の領域において既に符号化されたオフセット値から基準オフセット値を決定する基準オフセット決定部と，
前記基準オフセット決定部で決定したオフセット値を設定して動きベクトルを探索するオフセット固定動き探索部と，
前記オフセット動き探索部で得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値と，前記オフセット固定動き探索部で得られる動きベクトルとオフセット値を使う場合の予測画像と符号化対象画像の差分評価値とを算出して，差分評価値の大小から，予測画像の作成に使用する動きベクトルとオフセット値を決定するオフセット固定決定部と，
前記オフセット動き探索部または前記オフセット固定動き探索部で得られる動きベクトルとオフセット値を使い予測画像を作成する予測画像作成部と，
該領域内の画像情報と予測画像の差分を符号化する差分符号化部と，
動きベクトルを符号化する動き情報符号化部と，
前記オフセット固定決定部にて前記オフセット動き探索部で得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第１のタイプの参照画像Ｃを指定する情報を，また，前記オフセット固定決定部にて前記オフセット固定動き探索部で得られる動きベクトルとオフセット値を使用すると決定した場合には，前記第２のタイプの参照画像Ｄを指定する情報を，参照画像を指定する情報として符号化する参照画像指定情報符号化部と，
前記参照画像指定情報符号化部で前記第１のタイプの参照画像Ｃを指定する情報を符号化する場合には，前記オフセット動き探索部で得られるオフセット値と基準オフセット値との差分を符号化するオフセット符号化部と，
前記差分符号化部で得られる符号化データを復号し，予測画像に加算して復号画像を得る復号部と，
復号画像を蓄積する参照画像メモリと，
を備えることを特徴とする画像符号化装置。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号装置であって，
参照画像を指定する情報を復号する参照画像指定情報復号部と，
動きベクトルを復号する動き情報復号部と，
差分画像情報を復号する差分復号部と，
前記参照画像指定情報復号部により復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するオフセット復号部と，
前記参照画像指定情報復号部により復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，前記動き情報復号部で得られる動きベクトルと前記オフセット復号部で得られるオフセット値を使い，また，前記第２のタイプの参照画像Ｂを指定するものである場合に，前記動き情報復号部で得られる動きベクトルを使い，予測画像を作成する予測画像作成部と，
差分画像情報と予測画像とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
予め設定した第１のタイプの参照画像Ａおよび第２のタイプの参照画像Ｂを含む複数の参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号装置であって，
参照画像を指定する情報を復号する参照画像指定情報復号部と，
動きベクトルを復号する動き情報復号部と，
差分画像情報を復号する差分復号部と，
前記参照画像指定情報復号部により復号される情報が，前記第１のタイプの参照画像Ａを指定するものである場合に，オフセット値を復号するかどうかを指定する情報を復号するオフセット値フラグ復号部と，
前記オフセット値フラグ復号部で得られる情報がオフセット値を復号することを指定する場合に，オフセット値を復号するオフセット復号部と，
前記動き情報復号部で得られる動きベクトル，または，さらに前記オフセット復号部でオフセット値を復号した場合にはそのオフセット値を使い，予測画像を作成する予測画像作成部と，
差分画像情報と予測画像とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
請求項１５または請求項１６に記載の画像復号装置において，
オフセット復号部は，オフセット値の差分を復号し，周囲の領域において既に復号されたオフセット値に加算してオフセット値を得る
ことを特徴とする画像復号装置。
予め設定した第１のタイプの参照画像Ｃおよび第２のタイプの参照画像Ｄを含む参照画像を蓄積しておき，現フレームを分割した領域内の画像情報を，フレーム間予測符号化を用いて復号する画像復号装置であって，
周囲の領域において既に復号されたオフセット値から基準オフセット値を決定する基準オフセット決定部と，
参照画像を指定する情報を復号する参照画像指定情報復号部と，
動きベクトルを復号する動き情報復号部と，
差分画像情報を復号する差分復号部と，
前記参照画像指定情報復号部により復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合に，オフセット値の差分を復号するオフセット差分復号部と，
前記参照画像指定情報復号部により復号される情報が，前記第１のタイプの参照画像Ｃを指定するものである場合には，前記基準オフセット決定部で得られる基準オフセット値と前記オフセット差分復号部で得られる差分とから，前記第２のタイプの参照画像Ｄを指定するものである場合には，前記基準オフセット決定部で得られる基準オフセット値から，オフセット値を得るオフセット算出部と，
前記動き情報復号部と前記オフセット算出部で得られる動きベクトルとオフセット値とを使い予測画像を作成する予測画像作成部と，
差分画像情報と予測画像とから復号画像を作成する復号画像作成部と，
を備えることを特徴とする画像復号装置。
請求項１から請求項５までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
請求項６から請求項９までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
請求項１から請求項５までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項６から請求項９までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。