JP5234586B2 - 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents

Description

本発明は、多視点動画像の符号化及び復号に関する技術である。
本願は、２００６年１月５日に出願された特願２００６−０００３９４号に基づき優先権を主張し、その内容をここに援用する。

多視点動画像は、様々な位置にあるカメラで同じ被写体と背景を撮影した複数の動画像である。以下では、一つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像の集合を多視点動画像と呼ぶ。多視点動画像に含まれる各カメラの２次元動画像は、時間方向に強い相関がある。一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。

まず、２次元動画像の符号化方式に関する従来技術を述べる。国際符号化標準であるＨ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、Ｉフレームにおいてはフレーム内相関を利用して符号化が可能で、Ｐフレームでは過去の複数枚のフレームとのフレーム間相関を利用して符号化が可能で、Ｂフレームでは過去あるいは未来の複数毎のフレームとのフレーム間相関を利用して符号化が可能である。

Ｈ．２６４の技術の詳細については、下記の非特許文献１に記載されているが、以下で概要を説明する。Ｉフレームではフレームをブロック分割し（このブロックをマクロブロックといい、ブロックサイズは１６×１６（ピクセル）である）、各マクロブロックにおいてイントラ予測を行う。イントラ予測の際には、各マクロブロックをさらに小さなブロックに分割し（以後、サブブロックと呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。

一方、Ｐフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行うことができる。Ｐフレームにおけるイントラ予測は、Ｉフレームの場合と同様である。一方、インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをより小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つことができる。

なお、Ｂフレームにおいても、イントラ予測とインター予測が行えるが、Ｂフレームでのインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画像にできる。例えば、Ｉフレーム→Ｂフレーム→Ｂフレーム→Ｐフレームというフレーム構成で符号化する場合、Ｉ→Ｐ→Ｂ→Ｂの順番で符号化することができる。そして、Ｂフレームでは、Ｉ及びＰフレームを参照して動き補償ができる。また、Ｐフレームの場合と同様でマクロブロックを分割したサブブロックごとに異なる動きベクトルを持つことができる。

イントラ、インター予測を行うと予測残差が得られるが、各マクロブロックで予測残差ブロックにＤＣＴ（離散コサイン変換）を行って量子化が行われる。そして、このようにして得られるＤＣＴ係数の量子化値に対して可変長符号化が行われる。なお、Ｐフレーム及びＢフレームでは、サブブロックごとに参照画像を選択可能であるが、参照画像は参照画像インデックスと呼ばれる数値で表され、可変長符号化される。Ｈ．２６４では、参照画像インデックスの値が小さいほど短い符号で可変長符号化されるため、フレームごとに参照画像インデックスを明示的に変更する仕組みを採用している。この機能により、使用頻度の高い参照画像ほど参照画像インデックスの値を小さく設定することで、参照画像インデックスを効率的に符号化できる。

多視点動画像の符号化については、動き補償を同じ時刻の異なるカメラの画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来からある。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。

このカメラ間で生じる視差の概念図を図１３に示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。視差補償では、符号化対象カメラの画像上のある着目画素に対応する参照先のカメラの画像上の対応点を参照画像から推定し、当該対応点に対応した画素値で、着目画素の画素値を予測する。以下では、便宜上、前述のような“推定された視差”についても“視差”と呼ぶこととする。このような方式では、視差情報と予測残差を符号化する。

また、多くの手法では、視差を画像平面上でのベクトル（視差ベクトル）として表現する。例えば、非特許文献２の手法では、ブロック単位で視差補償を行う仕組みが含まれているが、ブロック単位の視差を２次元ベクトルで、すなわち２つのパラメータ（ｘ成分及びｙ成分）で表現する。この視差ベクトルの概念図を図１４に示す。即ち、この手法では、２パラメータで構成される視差情報と予測残差を符号化する。なお、この方法では、カメラパラメータを利用して符号化を行わないため、カメラパラメータが未知である場合に有効である。

一方、非特許文献３には、多視点画像（静止画像）の符号化方法が記載されているが、この方法ではカメラパラメータを符号化に利用し、エピポーラ幾何拘束に基づき視差ベクトルを１次元の情報として表現することにより、多視点画像を効率的に符号化する。

エピポーラ幾何拘束の概念図を図１５に示す。エピポーラ幾何拘束によれば、２台のカメラ（カメラ１とカメラ２）による２枚の画像において、被写体上の位置Ｍに関する片方の画像上の点ｍに対応するもう片方の画像上の点ｍ’は、エピポーラ線という直線上に拘束される。非特許文献３の手法では、一次元のエピポーラ線上での位置という一つのパラメータで参照画像に対する視差を表現する。すなわち、この手法では、一つのパラメータで表現された視差情報と予測残差を符号化する。

なお、参照画像の枚数が２枚以上（各々は異なるカメラの参照画像である）であっても、エピポーラ幾何拘束を利用して一つのパラメータで各参照画像への視差を表現できる。例えば一つの参照画像に対するエピポーラ線上の視差が既知であれば、他のカメラに関する参照画像に対する視差も復元できる。

また、各々が異なるカメラからのものである参照画像が複数ある場合、任意視点画像技術を利用して視差補償を行うことが可能である。非特許文献４では、任意視点画像生成技術を利用して視差補償をする。具体的には、符号化対象カメラの画像の画素値を、当該画素に対応した異なるカメラの対応点の画素値で補間して予測する。この補間の概念図を図１６に示す。この補間では、符号化対象画像の画素ｍの値を、画素ｍに対応する参照画像１、２の画素ｍ′、ｍ″の値を補間することにより予想する。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding", Final Committee Draft, Document JVT-E022, September 2002 Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004 畑幸一, 栄藤稔, 千原國宏: 多視点画像の高能率符号化, 電子情報通信学会論文誌, Vol.J82-D-II, No.11, pp.1921-1929 (1999) Masayuki Tanimoto, Toshiaki Fujii, "Response to Call for Evidence on Multi-View Video Coding", document Mxxxxx MPEG Hong Kong Meeting, January, 2005

従来の多視点動画像の符号化手法によれば、カメラパラメータが既知である場合、エピポーラ幾何拘束を利用して、参照画像の数にかかわらず、各参照画像に対する視差情報を一つのパラメータで表現できることにより、視差情報を効率的に符号化することが可能である。

しかしながら、実カメラで取得された多視点動画像を符号化対象とすると、カメラパラメータの測定誤差などにより、視差をエピポーラ線上に拘束して視差補償をすると、予測効率が悪化する場合がある。また、参照画像は符号化歪が混入した画像であるため、同様にエピポーラ線上に拘束して視差補償をすると、予測効率が悪化する場合がある。予測効率が悪化すると予測残差の符号量の増加を招き、結果として全体の符号化効率が悪化してしまう。

本発明は、上記問題点の解決を図り、多視点動画像の符号化において、参照画像の性質に応じて視差補償の自由度を制御し、参照画像の符号化歪やカメラパラメータの測定誤差が存在する場合にも、視差補償の精度を向上させ、従来よりも高い符号化効率を実現することを目的とする。

本発明が従来技術ともっとも異なる点は、参照画像の性質に応じて視差補償の自由度を制御可能にするため、視差情報のパラメータ数を可変にし、そのパラメータ数を示す視差パラメータ数情報またはインデックス情報を符号化して符号化情報に含ませる点である。
インデックス情報として、視差情報のパラメータ数の他に視差補償に用いる参照画像を示す情報を含ませることができ、またさらに他の情報を含ませることもできる。

具体的には、本発明による映像符号化方法、映像復号方法の第１の態様では、映像情報の性質に応じて、視差補償に用いる視差情報のパラメータ数を指定する視差パラメータ数を符号化、復号する処理を実行する。
ここで、視差パラメータ数情報は、例えば各参照画像に対する視差ベクトルの次元を指定するものである。例えば参照画像の枚数が２枚（参照画像Ａ、Ｂ）であった場合、以下のような構成が考えられる。

・pNum=0：参照画像Ａ、Ｂのいずれに対する視差ベクトルも１次元
・pNum=1：参照画像Ａに対する視差ベクトルは１次元、参照画像Ｂに対する視差ベクトルは２次元
・pNum=2：参照画像Ａに対する視差ベクトルは２次元、参照画像Ｂに対する視差ベクトルは１次元
・pNum=3：参照画像Ａ、Ｂのいずれに対する視差ベクトルも２次元

上記のインデックス情報pNumが視差パラメータ数情報として定義できる。
まず、映像符号化側では視差パラメータ数設定ステップで視差情報を表現するためのパラメータ数を設定する。そして、視差パラメータ数設定ステップで設定されたパラメータ数に関する情報である視差パラメータ数情報を、視差パラメータ数情報符号化ステップで符号化する。そして、視差パラメータ数設定ステップで設定されたパラメータ数で表現される視差情報を、視差情報符号化ステップで符号化する。
一方、映像復号側では、視差パラメータ数情報復号ステップにおいて視差パラメータ数情報をまず復号する。そして、復号した視差パラメータ数情報で指定されるパラメータ数の視差情報を、視差情報復号ステップで復号する。

本発明による映像符号化方法、映像復号方法の第２の態様では、参照画像インデックスに対して視差補償に利用可能な参照画像が割り振られている。例えば視差補償の予測画像生成の際には２枚の参照画像を利用し、参照画像メモリに使用可能な参照画像が３枚（Ａ、Ｂ、Ｃ）あった場合、以下のような割り当て例が考えられる。

・refIdx=0：参照画像ＡとＢ
・refIdx=1：参照画像ＢとＣ
・refIdx=2：参照画像ＡとＣ

ここで、refIdxは参照画像インデックスである。上記に加え、符号化対象カメラの復号画像に対応付けた参照画像インデックスを設定しても良い。
映像符号化側では、上記第１の態様における処理に加え、視差補償に用いる参照画像を設定する参照画像設定ステップ、参照画像インデックスを符号化する参照画像インデックス符号化ステップを実行する。一方、復号側では、参照画像インデックスを復号するステップを有する。
前述のようなＨ．２６４の参照画像インデックスの順序変更の仕組みと組み合わせれば、動画像の性質に応じて、高品質な予測画像が生成可能な参照画像に対して参照画像インデックスとして小さな値が設定されるようにして、符号化効率を向上させることができる。

本発明による映像符号化方法、映像復号方法の第３の態様では、参照画像インデックスに対して利用可能な視差パラメータ数情報が対応付けられている。例えば視差補償の予測画像生成の際には２枚の参照画像を利用し、参照画像メモリに使用可能な参照画像が３枚（Ａ、Ｂ、Ｃ）あり、視差パラメータ数情報pNumは２通り(pNum=0,1)あった場合、以下のような割り当て例が考えられる。

・refIdx=0：参照画像ＡとＢ、pNum=0
・refIdx=1：参照画像ＡとＢ、pNum=1
・refIdx=2：参照画像ＢとＣ、pNum=0
・refIdx=3：参照画像ＢとＣ、pNum=1
・refIdx=4：参照画像ＡとＣ、pNum=0
・refIdx=5：参照画像ＡとＣ、pNum=1

この場合、映像符号化側では参照画像インデックスを符号化する参照画像インデックス符号化ステップを実行するが、視差パラメータ数情報は当該ステップで符号化されることとなる。一方、映像復号側では参照画像インデックスを復号する参照画像インデックス復号ステップを実行するが、視差パラメータ数情報は当該ステップで復号されることとなる。
前述のようなＨ．２６４の参照画像インデックスの順序変更の仕組みと組み合わせれば、動画像の性質に応じて視差パラメータ数情報に割り当てられる可変長符号の符号長を変更でき、視差パラメータ数情報を効率的に符号化できる。

多視点動画像の符号化における視差補償において、カメラパラメータの測定誤差や参照画像の符号化歪によってエピポーラ幾何拘束に従った予測では予測効率が悪い場合には、視差情報のパラメータ数を増やして自由度の高い予測を、エピポーラ幾何拘束に従っても予測効率が良い場合には、１パラメータで視差を表現した予測を、フレームやブロック単位で復号画像の特性に応じて適応的に制御することが可能となり、従来よりも高い符号化効率を実現することが可能となる。

本発明における実施例１の映像符号化装置を示す図である。 実施例１におけるカメラの参照関係を示す図である。 実施例１におけるカメラ配置を示す図である。 実施例１における符号化フローチャートである。 実施例１の映像復号装置を示す図である。 実施例１における復号フローチャートである。 本発明における実施例２におけるカメラの参照関係を示す図である。 実施例２における映像符号化装置を示す図である。 実施例２における符号化フローチャートである。 図９のステップＳ３０４の処理に関する詳細フローチャートである。 実施例２の映像復号装置を示す図である。 実施例２における映像復号フローチャートである。 カメラ間で生じる視差の概念図である。 視差ベクトルの概念図である。 エピポーラ幾何拘束の概念図である。 画素値補間の概念図である。

符号の説明

１００、３００ 映像符号化装置
１０１、３０１ 画像入力部
１０２、３０２ 参照画像入力部
１０３、２０５、３０３、４０５ 参照画像メモリ
１０４ 視差パラメータ数設定部
１０５ 視差パラメータ数情報符号化部
１０６、３０９ 視差情報符号化部
１０７、３１０ 予測残差符号化部
２００、４００ 映像復号装置
２０１ 視差パラメータ数情報復号部
２０２、４０２ 視差情報復号部
２０３、４０４ 予測残差復号部
２０４、３０４、４０６ 視差補償部
３０５、４０７ 動き補償部
３０６ 参照画像設定部
３０７ 参照画像インデックス符号化部
３０８ 動き情報符号化部
３１１ ローカル復号部
４０１ 参照画像インデックス復号部
４０３ 動き情報復号部

〔実施例１〕
まず、第１の実施例（以下、実施例１）について説明する。本発明の実施例１に係る映像符号化装置の構成図を図１に示す。
この映像符号化装置１００は、符号化対象画像であるカメラＣの原画像を入力する画像入力部１０１、参照画像であるカメラＡとＢの復号画像を入力する参照画像入力部１０２、参照画像を格納する参照画像メモリ１０３、視差補償に利用する視差情報を表現するパラメータ数を設定する視差パラメータ数設定部１０４、視差パラメータ数情報を符号化する視差パラメータ数情報符号化部１０５、視差情報を符号化する視差情報符号化部１０６、視差補償で生じた残差信号を符号化する予測残差符号化部１０７を備える。

図２は、実施例１におけるカメラの参照関係を示す図である。
本実施例では、図２に示すように、３つのカメラに関する多視点映像を符号化するにあたり、カメラＡとＢの復号画像を参照画像としてカメラＣの動画像を符号化する場合を示す。
図中の矢印は視差補償の際の参照関係を示しており、カメラＣの画像を符号化する際には、表示時刻において同時刻であるカメラＡとＢの復号画像を参照画像として符号化する。その際には、カメラＡ及びＢの対応点に関する画素値の平均値で予測画像を作成するものとする。

図３は、実施例１におけるカメラ配置を示す図である。本実施例では、３つのカメラの視点位置は直線上に等間隔に並んでおり、光軸はカメラが並ぶ直線に対して垂直となっているとする。すなわち、３つのカメラの光軸は平行であるとする。
また、画像平面のｘｙ座標系はカメラが並ぶ直線に対する平行移動（回転等はなし）により得られ、各々のカメラで画像平面のｘ軸及びｙ軸を等間隔に分割することで画素が構成されているとする。すなわち、解像度が各カメラで同じであり、なおかつ、カメラＣとカメラＡのＰ画素分の視差はカメラＣとカメラＢでＰ画素の視差となることになる。

実施例１における符号化のフローを図４に示す。
このフローチャートは、カメラＣの一つの画像を符号化する際に行う処理を示しており、各画像についてこの処理を繰り返すことにより動画像符号化が行われるとする。
そして、本実施例では、視差情報の表現方法として、カメラＡに対するエピポーラ線上の位置を一つのパラメータで表現した視差情報でカメラＡとＢの各々の参照画像に対する視差を表現する場合（インデックスpNumの値が０）と、カメラＡとＢの各々の参照画像に対する視差をそれぞれ２次元ベクトルで表現し、合計４パラメータで視差情報を表現する場合（インデックスpNumの値が１）の二つを適応的に切り替えて視差補償することとする。なお、pNumは視差パラメータ数情報を表すインデックスである。

また、視差パラメータ数の切り替えは画像を分割して得られる縦横それぞれＮ画素（Ｎ×Ｎ）のブロック単位で行うとする。すなわち、各Ｎ×Ｎブロックに対して１つ（pNum =０）もしくは４つ（pNum =１）のパラメータを視差情報として符号化する。

このような前提の下で図４のフローに沿って符号化処理を説明する。
まず、画像入力部１０１によりカメラＣの画像が入力される（ステップＳ１０１）。なお、ここで入力されたカメラＣの画像と表示時刻が同じであるカメラＡとＢの復号画像が、参照画像メモリ１０３に参照画像入力部１０２により入力されている。

このフローでは、画像を分割して得られる個々のＮ×Ｎブロックを示すインデックスをblk と表し、一つの画像に対する総ブロック数をmaxBlkと表す。
Ｎ×Ｎブロックのインデックスblk を０に初期化した後（Ｓ１０２）、以下の処理（Ｓ１０３〜Ｓ１１６）を、インデックスblk に１を加算しながら（Ｓ１１５）、インデックスblk が総ブロック数maxBlkになるまで（Ｓ１１６）、各Ｎ×Ｎブロックに対して繰り返して実行する。

まず、視差パラメータ数設定部１０４において、画像Ｃのインデックスblk に対応した符号化対象ブロックが読み込まれ、参照画像メモリ１０３からカメラＡとＢに対応した参照画像が読み込まれる。そして、同じく視差パラメータ数設定部１０４において、pNum＝０及びpNum＝１について視差探索の処理が行われる（Ｓ１０４〜Ｓ１０６）。
なお、視差の探索は、視差補償による予測残差のＮ×Ｎブロックに関する絶対値の総和ＳＡＤと視差情報の符号量の見積もり値であるＲ_dispに基づいて求められるレート歪コストcostを最小化するように行われる。ここで、costは次式で計算される。

cost＝ＳＡＤ＋λＲ_disp （１）

ここで、λはラグランジュの未定乗数であり、予め設定された値が利用される。また、Ｒ_dispを求めるには、視差情報に可変長符号化を施して符号量を求める。
pNum＝０及びpNum＝１について、costの最小値pCost 及びpCost を実現する視差情報を求め、よりpCost が小さい視差情報を符号化に採用する（Ｓ１０７〜Ｓ１１０）。図４のフローにおけるminPCostは、pCost の最小値を格納するための変数であり、ブロックblk を処理する際にpCost が取りうる最大の値より大きい任意の値（maxPCost）に設定され、初期化される。

pNum＝０の場合は、ステップＳ１０５において、次の処理が行われる。
予め設定された範囲において視差を探索する。本実施例のカメラ配置では、エピポーラ幾何拘束に従うと、カメラＣのピクセル（ｘ、ｙ）に対する視差は、カメラＡについては（ｘ＋ｄ_x 、ｙ）、（ただし、ｄ_x ≧０）となり、カメラＢに対しては（ｘ−ｄ_x 、ｙ）となる。ただし、縦横Ｉピクセルの画像平面上の座標系は、左上のピクセルを（０、０）とし、右上を（Ｉ−１、０）、左下を（０、Ｉ−１）とするものである。本実施例ではｄ_x ＝０〜Ｐの範囲を探索範囲とすることにする。従い、ｄ_x ＝０〜Ｐについて、次式でＳＡＤ[ｄ_x] を計算する。

SAD[ｄ_x ] ＝Σ_i Σ_j ABS( DEC_A [x+i+d_x, y+j]/2 ＋ DEC_B [x+i+d_x, y+j]/2 − IMG_c [x+i, y+j] ) (2)

ただし、Σ_i は、ｉが０からＮ−１までの総和、Σ_j は、ｊが０からＮ−１までの総和を表す。ABS( )は括弧内の絶対値を取るものであり、 DEC_A [x,y] と DEC_B [x,y] は、それぞれカメラＡ及びＢの復号画像の（ｘ、ｙ）ピクセルの輝度値を表し、 IMG_c [x,y] は、カメラＣの原画像の（ｘ、ｙ）ピクセルの輝度値を表す。また、（ｘ、ｙ）はＮ×Ｎブロックの左上のピクセルの画像平面内での座標であるとする。

さらに、視差がｄ_x であるときの視差情報の符号量見積もり値Ｒ_disp[ ｄ_x ] を求め、数式１により視差ｄ_x に対するレート歪コスト cost[ｄ_x ] を求める。求めた cost[ｄ_x ] を最小にした視差を bestDispPNum0、及びその際のコストをpCost とする。

そして、minPCost←pCost とし、最適なpNumを格納するbestPNumには０を代入してpNum＝１の場合の処理に移る（Ｓ１０７〜Ｓ１１０）。

pNum＝１の場合は、ステップＳ１０６において、次の処理が行われる。
pNum＝１の場合には、エピポーラ幾何拘束を考慮せず、２次元で視差の探索を行う。具体的には、カメラＡ及びカメラＢのぞれぞれに関するｘ軸上の探索範囲をｄ_x,A , ｄ_x,B ＝−Ｐ〜Ｐ（ｄ_x,A ,ｄ_x,B のそれぞれにおいて「−Ｐ〜Ｐ」の範囲）とし、ｙ軸上の探索範囲をｄ_y,A , ｄ_y,B ＝−Ｐ〜Ｐ（ｄ_y,A , ｄ_y,Bのそれぞれにおいて「−Ｐ〜Ｐ」の範囲）とする。そして、全ての (ｄ_x,A , ｄ_x,B , ｄ_y,A , ｄ_y,B ) の組み合わせについて、次式のSAD[ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ] を求める。

SAD[ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ] ＝Σ_i Σ_j ABS( DEC_A [ x+i+ｄ_x,A , y+j+ｄ_y,A ]/2 ＋ DEC_B [ x+i+ｄ_x,B , y+j+ｄ_y,B ]/2 − IMG_c [x+i, y+j] ) (3)

さらに、視差が（ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ）であるときの視差情報の符号量見積もり値Ｒ_disp [ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ] を求め、数式１により視差ｄ_x に対するレート歪コスト cost[ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ] を求める。そして、 cost[ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ] を最小にした視差をbestDispPNum1 、及びその際のコストをpCost とする。

そして、pCost ＜minPCostであれば（Ｓ１０７）、 minPCost ←pCost とし、最適なpNumを格納するbestPNumには１を代入する（Ｓ１０８）。

次に、視差パラメータ数情報符号化部１０５において、bestPNumが可変長符号化される（Ｓ１１１）。また、視差情報符号化部１０６において、視差情報が符号化される。bestPNumが０の場合には、ｄ_x が可変長符号化され、bestPNumが１の場合には、（ｄ_x,A,ｄ_x,B,ｄ_y,A,ｄ_y,B ）が可変長符号化される。最後に、予測残差符号化部１０７において、予測残差が符号化される（Ｓ１１２〜Ｓ１１４）。

次に、実施例１の映像復号装置を図５に示す。映像復号装置２００は、視差パラメータ数情報を復号する視差パラメータ数情報復号部２０１と、視差パラメータ数情報に応じた視差情報を復号する視差情報復号部２０２と、予測残差を復号する予測残差復号部２０３と、視差補償部２０４と、参照画像メモリ２０５とを備える。

図６に本実施例の復号フローを示す。これはカメラＣを１フレーム復号する上でのフローを示している。以下でフローを詳細に説明していく。

Ｎ×Ｎブロックのインデックスblk を０に初期化した後（Ｓ２０１）、以下のステップＳ２０２〜Ｓ２０８の処理を各Ｎ×Ｎブロックに対して、１フレーム分繰り返すことにより（１フレームのブロック数はmaxBlk）、カメラＣの１フレームが復号される。なお、カメラＡとＢの同時刻のフレームが先立って復号されているとし、その復号画像が参照画像メモリ２０５に蓄積されているものとする。

まず、視差パラメータ数情報復号部２０１により、視差パラメータ数情報bestPNumが復号される（Ｓ２０２）。bestPNumの値に応じて（Ｓ２０３）、以下の処理が行われる。

bestPNum＝０の場合、視差情報復号部２０２において、視差情報ｄ_x が復号される。視差補償部２０４に視差パラメータ数情報bestPNumと視差情報ｄ_x が入力され、参照画像メモリ２０５から視差情報ｄ_xに対応したカメラＡとＢのＮ×Ｎブロックが入力される。そして、符号化対象のＮ×Ｎブロックのピクセルの位置を（ｘ、ｙ）と表すと、次式により予測画像PRED[x+i, y+j]が生成される（Ｓ２０４）。

PRED[x+i, y+j]＝ DEC_A [ x+i+ｄ_x , y+j]/2 + DEC_B [ x+i+ｄ_x , y+j]/2 (4)

ただし、ｉ＝0,1,..,N-1及びｊ＝0,1,..,N-1である。

ｂｅｓｔＰＮｕｍ＝１の場合、視差情報復号部２０２において、視差情報（ｄ_ｘ，Ａ，ｄ_ｘ，Ｂ，ｄ_ｙ，Ａ，ｄ_ｙ，Ｂ）が復号される。視差補償部２０４に視差パラメータ数情報ｂｅｓｔＰＮｕｍと視差情報（ｄ_ｘ，Ａ，ｄ_ｘ，Ｂ，ｄ_ｙ，Ａ，ｄ_ｙ，Ｂ）が入力され、参照画像メモリ２０５から視差情報（ｄ_ｘ，Ａ，ｄ_ｘ，Ｂ，ｄ_ｙ，Ａ，ｄ_ｙ，Ｂ）に対応したカメラＡとＢのＮ×Ｎブロックが入力される。そして、符号化対象のＮ×Ｎブロックのピクセルの位置を（ｘ、ｙ）と表すと、次式により予測画像ＰＲＥＤ［ｘ＋ｉ，ｙ＋ｊ］が生成される（Ｓ２０５）。

PRED[x+i, y+j]＝ DEC_A [ x+i+ｄ_x,A , y+j+ｄ_y,A ]/2 ＋ DEC_B [ x+i+ｄ_x,B , y+j+ｄ_y,B ]/2 (5)

ただし、ｉ＝0,1,..,N-1及びｊ＝0,1,..,N-1である。

次に、符号化された予測残差が入力された予測残差復号部２０３において、Ｎ×Ｎの予測残差ブロックRES[x+i, y+j] が復号される。そして予測残差ブロックは視差補償部２０４に入力され、次式のように予測画像との和が計算され、復号画像 DEC_c [x+i, y+j]が求められる（Ｓ２０６）。

DEC_c [x+i, y+j]＝ RES[x+i, y+j]＋PRED[x+i, y+j] (6)

以上の処理をインデックスblk に１を加算しながら（Ｓ２０７）、blk が１フレームのブロック数maxBlkになるまで繰り返し行うことにより、カメラＣに関する復号画像を得ることができる。

〔実施例２〕
次に、第２の実施例（以下、実施例２）について説明する。
本実施例では、図７のカメラの参照関係のように、５つのカメラに関する多視点映像を符号化するにあたり、カメラＡ、Ｂ、Ｄ、Ｅの復号画像を参照画像として、カメラＣの動画像を符号化する場合を示す。
前述した実施例１では、カメラＣの画像は視差補償のみを利用して符号化していたが、本実施例では、動き補償と視差補償をブロック単位で切り替えて実行することで符号化を行う。そして、図中の矢印は視差／動き補償の際の参照関係を示している。

視差補償の際には、カメラＡ、Ｂ、Ｄ、Ｅにおいて設定する２台のカメラの複数の対（ＡとＢ、ＡとＤ、ＢとＥの３種類の対）により予測画像を生成するものとする。予測画像の生成方法は、実施例１と同様で、２台のカメラの対応点に関する画素値の平均値で予測画像を作成するものとする。
なお、本実施例では実施例１と同様に、5 つのカメラの視点位置は直線上に等間隔に並んでおり、光軸はカメラが並ぶ直線に対して垂直となっているとする。すなわち、図３の関係が５台のカメラにあり、各カメラの光軸は平行であるものとする。

実施例２における映像符号化装置の構成図を図８に示す。
この映像符号化装置３００は、カメラＣの原画像を入力する画像入力部３０１、カメラＡ、Ｂ、Ｄ、Ｅの復号画像を入力する参照画像入力部３０２、参照画像を格納する参照画像メモリ３０３、視差補償を行う視差補償部３０４、動き補償を行う動き補償部３０５、参照画像設定部３０６、参照画像インデックス符号化部３０７、動き情報符号化部３０８、視差情報符号化部３０９、予測残差符号化部３１０、ローカル復号部３１１を備える。

本実施例における符号化のフローを図９に示す。また、当該フロー中のステップＳ３０４に関する詳細フローを図１０に示す。
このフローチャートは、カメラＣの一つの画像を符号化する際に行う処理を示しており、各画像についてこの処理を繰り返すことにより動画像符号化が行われるとする。本実施例においては、Ｎ×Ｎのブロック単位で、以下の処理を適応的に切り替えて符号化することとする。

・カメラＣの過去の復号画像を利用した動き補償： refIdx ＝０、１
・カメラＡとＢの参照画像を利用した視差補償（pNum=0）： refIdx ＝２
・カメラＡとＢの参照画像を利用した視差補償（pNum=1）： refIdx ＝３
・カメラＡとＤの参照画像を利用した視差補償（pNum=0）： refIdx ＝４
・カメラＡとＤの参照画像を利用した視差補償（pNum=1）： refIdx ＝５
・カメラＢとＥの参照画像を利用した視差補償（pNum=0）： refIdx ＝６
・カメラＢとＥの参照画像を利用した視差補償（pNum=1）： refIdx ＝７
ここで、refIdxは参照画像インデックスを示している。
また、refIdx＝０、１については、refIdx＝０は、カメラＣの１フレーム前の復号画像に対応し、refIdx＝１は、２フレーム前の復号画像に対応する。
本実施例では、符号化側では各ブロックで利用された手法及び参照画像に対応した参照画像インデックスを符号化し、復号側では参照画像インデックスにより各ブロックの画素値を復号する。

なお、上記の参照画像インデックスの割り当ては画像Ｃの３フレーム目以降を符号化する際のものであるとする。
１フレーム目においては、カメラＣの復号画像はないので動き補償に関しては参照画像インデックスが割り当てられず、視差補償に関する参照画像インデックスについては上記の各値よりそれぞれ２小さい値（例えば「カメラＡとＢの参照画像を利用した視差補償（ｐＮｕｍ＝０）」ではｒｅｆｌｄｘ＝０）が割り当てられる。
一方、２フレーム目においては、動き補償に関する参照画像インデックスは、ｒｅｆｌｄｘ＝０のみであり、視差補償に関する参照画像インデックスについては上記の各値よりそれぞれ１小さい値（例えば「カメラＡとＢの参照画像を利用した視差補償（ｐＮｕｍ＝０）」ではｒｅｆｌｄｘ＝１）が割り当てられる。

このような前提の下で図９のフローに沿って符号化処理を説明する。ただし、この処理は、カメラＣの３フレーム目以降の符号化処理であるとする。

画像入力部３０１によりカメラＣの画像が入力される（Ｓ３０１）。なお、ここで入力されたカメラＣの画像と表示時刻が同じであるカメラＡ、Ｂ、Ｄ、Ｅの復号画像が参照画像メモリ３０３に参照画像入力部３０２により入力されている。また、カメラＣに関する１フレーム前、及び２フレーム前の復号画像がローカル復号部３１１によって復号され、参照画像メモリ３０３に入力されているとする。

画像を分割して得られる各Ｎ×Ｎブロックのインデックスをblk と表し、一つの画像に対する総ブロック数をmaxBlkと表す。Ｎ×Ｎブロックのインデックスblk を０に初期化した後（Ｓ３０２）、以下の処理（Ｓ３０３〜Ｓ３１２）を、インデックスblk に１を加算しながら（Ｓ３１１）、インデックスblk が総ブロック数maxBlkになるまで（Ｓ３１２）、各Ｎ×Ｎブロックに対して繰り返して実行する。

参照画像インデックスrefIdxを０に初期化し、コスト値refCost の最小値を格納する変数であるminRefCostを、ブロックblk を処理する際にrefCost が取りうる最大の値より大きい任意の値maxRefCostに初期化する（Ｓ３０３）。

インデックスblk が指す各Ｎ×Ｎブロックにおいて、各参照画像インデックスrefIdxに対応した予測処理を行う（Ｓ３０４）。その際には、各参照画像インデックスrefIdxに対応したコスト値refCost を算出し、refCost を最小にした参照画像インデックスbestRefIdxを、そのＮ×Ｎ
ブロックの符号化に採用する（Ｓ３０５、Ｓ３０６）。

以下に、ステップＳ３０４の各参照画像インデックスrefIdxに対応した処理を、図１０のフローに従って説明する。なお、以下では動き補償もしくは視差補償が行われるが、どちらの場合においても、動き／視差情報は、以下の式で与えられるcostを最小化することで得られる。

cost＝ＳＡＤ＋λＲ_vec (7)

ここで、Ｒ_vec は動きもしくは視差情報の符号量の見積もり値であり、ＳＡＤは予測残差の絶対値の総和である。

refIdxが２以上であった場合、視差補償に対応したrefIdxであり（Ｓ３０４１）、視差補償部３０４によって当該refIdxに対応した２台のカメラの復号画像が参照画像として読み込まれ、視差補償が行なわれる。
また、refIdxが２以上であった場合、refIdxは対応する視差パラメータ数情報pNum＝０または１を有する。従い、pNum＝０及び１の場合の視差補償処理を実施例１の場合と同様に行う。

すなわち、視差パラメータ数（pNum）が１の場合（Ｓ３０４２）、参照画像インデックスrefIdxに対応した２つの参照画像についてエピポーラ線上の視差を、レート歪コストを最小化するように探索し、最小コスト値をrefCost とする（Ｓ３０４３）。
また、視差パラメータ数が１でない場合（Ｓ３０４２）、参照画像インデックスrefIdxに対応した２つの参照画像について画像平面上の視差を、レート歪コストを最小化するように探索し、最小コスト値をrefCost とする（Ｓ３０４４）。
上記Ｓ３０４３、Ｓ３０４４の各々において、算出されたcostの最小値（refCost）に、参照画像インデックスrefIdxを符号化した際の符号量見積もり値を足し合わせた値がrefCost とされる。

refIdxが０もしくは１の場合は、動き補償に対応したrefIdxであり、ステップＳ３０４５に進む。この場合、動き補償部３０５によって当該refIdxの値に対応したカメラＣの復号画像が参照画像として読み込まれ、動き補償が行われる。その際の動き情報は、数式７で算出されるcostを最小化することで行われる。そして、参照画像インデックスrefIdxを符号化した際の符号量見積もり値を、当該cost最小値に足しあわせた値をrefCost とする（Ｓ３０４５）。

算出されたrefCost が、現在の最小値を格納するminRefCostよりも小さい場合には（Ｓ３０５）、minRefCostにrefCost を格納し、そのときのrefIdxを、bestRefIdxとして記憶しておく（Ｓ３０６）。
以上の処理を、refIdxに１を加算しながら、refIdxがインデックスの総数maxRefNum になるまで繰り返す（Ｓ３０７、Ｓ３０８）。
上記の処理が各参照画像に対して行われたら、参照画像設定部３０６によってrefCost を最小にした参照画像インデックスbestRefIdxが求められ、符号化に利用される参照画像インデックスが決定する。

次に、bestRefIdxが参照画像インデックス符号化部３０７によって符号化され（Ｓ３０９）、動き情報もしくは視差情報が動き情報符号化部３０８もしくは視差情報符号化部３０９で符号化され、予測残差が予測残差符号化部３１０で符号化される（Ｓ３１０）。
インデックスblk に１を加算し（Ｓ３１１）、これが総ブロック数maxBlkになるまで繰り返すことにより（Ｓ３１２）、カメラＣの１フレーム分の画像が符号化される。

次に、実施例２における映像復号装置を図１１に示す。
映像復号装置４００は、参照画像インデックスを復号する参照画像インデックス復号部４０１、視差情報を復号する視差情報復号部４０２、動き情報を復号する動き情報復号部４０３、予測残差を復号する予測残差復号部４０４、参照画像を格納する参照画像メモリ４０５、視差補償を行う視差補償部４０６、動き補償を行う動き補償部４０７を備える。

図１２に本実施例の復号フローを示す。これはカメラＣを１フレーム復号する上でのフローを示している。以下でフローを詳細に説明していく。

Ｎ×Ｎブロックのインデックスblk を０に初期化した後（Ｓ４０１）、以下の処理（Ｓ４０２〜Ｓ４１０）を、インデックスblk に１を加算しながら（Ｓ４０９）、インデックスblk が総ブロック数maxBlkになるまで（Ｓ４１０）、各Ｎ×Ｎブロックに対して繰り返して実行する。これにより、カメラＣの１フレームが復号される。なお、カメラＡ、Ｂ、Ｄ、Ｅの同時刻のフレーム、及びカメラＣの１フレーム前、２フレーム前の復号画像が参照画像メモリ４０５に蓄積されているものとする。

まず、参照画像インデックス復号部４０１により、参照画像インデックスbestRefIdxが復号される（Ｓ４０２）。参照画像インデックスbestRefIdxの値に応じて（Ｓ４０３、Ｓ４０４）、以下の処理が行われる。

もし、bestRefIdx＝０もしくは１であれば、動き補償に対応した参照画像インデックスであり、動き情報復号部４０３により動き情報が復号される。そして、動き補償部４０７によりbestRefIdx＝０もしくは１に対応した参照画像が読み込まれ、予測画像が生成される（Ｓ４０７）。
そして、予測残差復号部４０４によって予測残差が復号され、動き補償部４０７において予測残差に対して予測画像が足され（Ｓ４０８）、Ｎ×Ｎブロックの復号画像が生成される。

もし bestRefIdx が２以上であったら、視差補償に対応した参照画像インデックスであり、その参照画像インデックスbestRefIdxに対応した２台のカメラに関する参照画像が読み込まれ、視差補償による復号が行われる。
この参照画像インデックスbestRefIdxには、視差パラメータ数情報pNumの値も対応付けられているため、pNumに応じた処理が行われる。視差補償の処理は実施例１の場合と同様である（Ｓ４０４〜Ｓ４０６）。そして、予測残差復号部４０４によって予測残差が復号され、視差補償部４０６において予測残差に対して予測画像が足され（Ｓ４０８）、Ｎ×Ｎブロックの復号画像が生成される。

インデックスblk に１を加算し（Ｓ４０９）、これが総ブロック数maxBlkになるまで繰り返すことにより（Ｓ４１０）、カメラＣの１フレーム分の画像が復号されることになる。

以上説明した実施例における参照画像インデックスと、動き補償を用いるか視差補償を用いるかの情報、参照画像、視差パラメータ数情報との対応づけは、もちろん一例であり、本発明の実施においてこの対応づけ方法は、任意に定めることができる設計的事項である。

以上の映像符号化及び映像復号の処理は、コンピュータとソフトウェアプログラムとによって実現することができ、そのプログラムをコンピュータ読み取り可能な記憶媒体に記録して提供することも、ネットワークを通して提供することも可能である。

多視点動画像の符号化における視差補償において、カメラパラメータの測定誤差や参照画像の符号化歪によってエピポーラ幾何拘束に従った予測では予測効率が悪い場合には、視差情報のパラメータ数を増やして自由度の高い予測を、エピポーラ幾何拘束に従っても予測効率が良い場合には、１パラメータで視差を表現した予測を、フレームやブロック単位で復号画像の特性に応じて適応的に制御することが可能となり、従来よりも高い符号化効率を実現することが可能となる。

Claims (20)

1. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化方法であって、
   前記視差補償に利用する、各参照画像に対する視差情報のパラメータ数を選択し設定する視差パラメータ数設定ステップと、
   前記視差パラメータ数設定ステップにより設定されたパラメータ数の情報を符号化する視差パラメータ数情報符号化ステップと、
   前記パラメータ数に応じた視差情報を符号化する視差情報符号化ステップと、
   を有し、
   前記視差パラメータ数設定ステップにおいて選択されるパラメータ数は、
   所定の視差情報から、各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を生成するモードを示す第１のパラメータ数と、
   各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を示す視差情報を用いるモードを示す第２のパラメータ数と、
   を含み、
   前記第１のパラメータ数が選択された場合には、生成された各カメラに関する参照画像への視差と、当該複数の参照画像の画素値に基づいて予測画像を生成するとともに、前記視差情報符号化ステップにおいては前記所定の視差情報のみが符号化され、
   前記第２のパラメータ数が選択された場合には、前記それぞれの視差を示す視差情報と、当該複数の参照画像の画素値に基づいて予測画像を生成するとともに、前記視差情報符号化ステップにおいては前記それぞれの視差を示す視差情報が符号化されることを特徴とする映像符号化方法。
2. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号方法であって、
   符号化情報に含まれる、各参照画像に対する視差情報のパラメータ数を指定する視差パラメータ数情報を復号する視差パラメータ数情報復号ステップと、
   符号化情報に含まれる前記パラメータ数に応じた視差情報を復号する視差情報復号ステップと、
   前記復号した視差情報を用いて前記視差補償を行う視差補償ステップと、
   を有し、
   前記指定されるパラメータ数は、
   所定の視差情報から、各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を生成するモードを示す第１のパラメータ数と、
   各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を示す視差情報を用いるモードを示す第２のパラメータ数と、
   を含み、
   前記第１のパラメータ数が指定された場合には、前記視差情報復号ステップにおいては前記所定の視差情報のみを復号するとともに、生成された各カメラに関する参照画像への視差と、当該複数の参照画像の画素値に基づいて予測画像を生成し、
   前記第２のパラメータ数が選択された場合には、前記視差情報復号ステップにおいては前記それぞれの視差を示す視差情報を復号するとともに、前記それぞれの視差を示す視差情報と、当該複数の参照画像の画素値に基づいて予測画像を生成することを特徴とする映像復号方法。
3. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化装置であって、
   前記視差補償に利用する、各参照画像に対する視差情報のパラメータ数を選択し設定する視差パラメータ数設定手段と、
   前記視差パラメータ数設定手段により設定されたパラメータ数の情報を符号化する視差パラメータ数情報符号化手段と、
   前記パラメータ数に応じた視差情報を符号化する視差情報符号化手段と、
   を備え、
   前記視差パラメータ数設定手段が選択するパラメータ数は、
   所定の視差情報から、各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を生成するモードを示す第１のパラメータ数と、
   各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を示す視差情報を用いるモードを示す第２のパラメータ数と、
   を含み、
   前記第１のパラメータ数が選択された場合には、生成された各カメラに関する参照画像への視差と、当該複数の参照画像の画素値に基づいて予測画像を生成するとともに、前記視差情報符号化手段が前記所定の視差情報のみを符号化し、
   前記第２のパラメータ数が選択された場合には、前記それぞれの視差を示す視差情報と、当該複数の参照画像の画素値に基づいて予測画像を生成するとともに、前記視差情報符号化手段が前記それぞれの視差を示す視差情報を符号化することを特徴とする映像符号化装置。
4. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号装置であって、
   符号化情報に含まれる、各参照画像に対する視差情報のパラメータ数を指定する視差パラメータ数情報を復号する視差パラメータ数情報復号手段と、
   符号化情報に含まれる前記パラメータ数に応じた視差情報を復号する視差情報復号手段と、
   前記復号した視差情報を用いて前記視差補償を行う視差補償手段と、
   を備え、
   前記指定されるパラメータ数は、
   所定の視差情報から、各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を生成するモードを示す第１のパラメータ数と、
   各参照画像を撮影するカメラに関する参照画像へのそれぞれの視差を示す視差情報を用いるモードを示す第２のパラメータ数と、
   を含み、
   前記第１のパラメータ数が指定された場合には、前記視差情報復号手段が前記所定の視差情報のみを復号するとともに、生成された各カメラに関する参照画像への視差と、当該複数の参照画像の画素値に基づいて予測画像を生成し、
   前記第２のパラメータ数が選択された場合には、前記視差情報復号手段が前記それぞれの視差を示す視差情報を復号するとともに、前記それぞれの視差を示す視差情報と、当該複数の参照画像の画素値に基づいて予測画像を生成することを特徴とする映像復号装置。
5. 請求項１に記載の映像符号化方法において、前記第１のパラメータ数が選択された場合の前記所定の視差情報は、所定の１つのカメラに対する視差情報であることを特徴とする映像符号化方法。
6. 請求項１に記載の映像符号化方法において、前記第２のパラメータ数が選択された場合の前記視差情報は、２次元ベクトルによる情報であることを特徴とする映像符号化方法。
7. 請求項２に記載の映像復号方法において、前記第１のパラメータ数が選択された場合の前記所定の視差情報は、所定の１つのカメラに対する視差情報であることを特徴とする映像復号方法。
8. 請求項２に記載の映像復号方法において、前記第２のパラメータ数が選択された場合の前記視差情報は、２次元ベクトルによる情報であることを特徴とする映像復号方法。
9. 請求項３に記載の映像符号化装置において、前記第１のパラメータ数が選択された場合の前記所定の視差情報は、所定の１つのカメラに対する視差情報であることを特徴とする映像符号化装置。
10. 請求項３に記載の映像符号化装置において、前記第２のパラメータ数が選択された場合の前記視差情報は、２次元ベクトルによる情報であることを特徴とする映像符号化装置。
11. 請求項４に記載の映像復号装置において、前記第１のパラメータ数が選択された場合の前記所定の視差情報は、所定の１つのカメラに対する視差情報であることを特徴とする映像復号装置。
12. 請求項４に記載の映像復号装置において、前記第２のパラメータ数が選択された場合の前記視差情報は、２次元ベクトルによる情報であることを特徴とする映像復号装置。
13. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化方法であって、
    前記視差補償に利用する、各参照画像に対する視差情報のパラメータ数を選択し設定する視差パラメータ数設定ステップと、
    前記視差パラメータ数設定ステップにより設定されたパラメータ数の情報を符号化する視差パラメータ数情報符号化ステップと、
    前記パラメータ数に応じた視差情報を符号化する視差情報符号化ステップと、
    を有し、
    複数の参照画像が用いられる場合に、選択されるパラメータ数が２種類以上であることを特徴とする映像符号化方法。
14. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号方法であって、
    符号化情報に含まれる、各参照画像に対する視差情報のパラメータ数を指定する視差パラメータ数情報を復号する視差パラメータ数情報復号ステップと、
    符号化情報に含まれる前記パラメータ数に応じた視差情報を復号する視差情報復号ステップと、
    前記復号した視差情報を用いて前記視差補償を行う視差補償ステップと、
    を有し、
    複数の参照画像が用いられる場合に、指定されたパラメータ数が２種類以上であることを特徴とする映像復号方法。
15. 複数の映像を一つの映像として符号化するにあたり、複数の映像間の視差を用いて予測する視差補償により符号化する映像符号化装置であって、
    前記視差補償に利用する、各参照画像に対する視差情報のパラメータ数を選択し設定する視差パラメータ数設定手段と、
    前記視差パラメータ数設定手段により設定されたパラメータ数の情報を符号化する視差パラメータ数情報符号化手段と、
    前記パラメータ数に応じた視差情報を符号化する視差情報符号化手段と、
    を備え、
    複数の参照画像が用いられる場合に、選択されるパラメータ数が２種類以上であることを特徴とする映像符号化装置。
16. 複数の映像を一つの映像として復号するにあたり、複数の映像間の視差を用いて予測する視差補償により復号する映像復号装置であって、
    符号化情報に含まれる、各参照画像に対する視差情報のパラメータ数を指定する視差パラメータ数情報を復号する視差パラメータ数情報復号手段と、
    符号化情報に含まれる前記パラメータ数に応じた視差情報を復号する視差情報復号手段と、
    前記復号した視差情報を用いて前記視差補償を行う視差補償手段と、
    を備え、
    複数の参照画像が用いられる場合に、指定されたパラメータ数が２種類以上であることを特徴とする映像復号装置。
17. 請求項１、５、６、１３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラム。
18. 請求項２、７、８、１４のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラム。
19. 請求項１、５、６、１３のいずれか１項に記載の映像符号化方法を、コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
20. 請求項２、７、８、１４のいずれか１項に記載の映像復号方法を、コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images