JP5197591B2 - 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 - Google Patents

Description

本発明は、多視点映像の符号化に用いられる映像符号化装置およびその方法と、その映像符号化技術により符号化された符号化データを復号する映像復号装置およびその方法と、その映像符号化装置の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像復号装置の実現に用いられる映像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年６月２５日に出願された特願２００７−１６５８２８号に基づき優先権を主張し、その内容をここに援用する。

多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。以下では、１つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像群を多視点動画像と呼ぶ。

２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めている。一方、多視点画像や多視点動画像では、各カメラが同期されていた場合、同じ時間に対応した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。

まず、２次元動画像の符号化技術に関する従来技術を述べる。

国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。動き補償と呼ばれる技術がフレーム間の時間相関を利用する方法である。

Ｈ．２６４で使われている動き補償技術の詳細については、下記の非特許文献１に記載されているが、以下で概要を説明する。

Ｈ．２６４の動き補償では、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルを持つことを可能にし、局所的な映像変化に対しても高い符号化効率を達成している。また、参照フレームの候補として、符号化対象フレームに対して過去もしくは未来の既に符号化済みの複数枚のフレームを用意し、各ブロックで異なる参照フレームを用いることを可能にしている。これによって、時間変化によってオクルージョンが生じるような映像に対しても高い符号化効率を達成している。

次に、従来の多視点画像や多視点動画像の符号化方式について説明する。

多視点動画像の符号化については、動き補償を同じ時刻の異なる視点に置かれたカメラで撮影された画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。

図１２に、このカメラ間で生じる視差の概念図を示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。視差補償は、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。

多視点動画像の各フレームには時間方向の冗長性とカメラ間の冗長性とが同時に存在することから、同時に両方の冗長性を取り除く方法として、下記に示す特許文献１の手法がある。

この手法では、入力画像と視差補償画像との差分画像を時刻ごとに生成し、それを２次元動画像と見立てて動き補償を適用しながら符号化を行う。この方法によると、カメラ間の冗長性を取り除く視差補償では取り除くことのできなかった時間方向の冗長性を、動き補償によって取り除くことができるため、最終的に符号化する予測残差が小さくなり、高い符号化効率を達成することが可能である。
ITU-T Rec. H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264/ISO/IEC 11496-10 AVC), Draft 7", DocumentJVT-E022d7, pp. 10-13, 62-73, September 2002 特開２００７−０３６８００号公報

視差補償残差信号（入力画像と視差補償画像との差分画像）を映像と見立てて動き補償を行うような従来の多視点動画像の符号化方法によれば、時間方向とカメラ間の冗長性を同時に持つような部分の予測残差を小さくすることができるため、多視点動画像を効率的に符号化することが可能である。

しかしながら、差分動画像信号のビット深度（量子化ビット数）は通常の映像より１ビット大きくなるため、この方式では符号化／復号器の規模は本来の映像を符号化するものより大きくなる。すなわち、例えば、８ビットの画像の場合、最小値は０で最大値は２５５であるが、この場合の差分画像は最小値が−２５５で最大値が＋２５５となることから、差分動画像信号のビット深度は通常の映像より１ビット大きくなるのである。

また、基準視点（１つのカメラが基準視点のカメラとして選出される）に対応するカメラなど、通常の映像のまま符号化／復号を行うカメラも存在するため、多視点動画像符号化／復号器全体としては２種類のビット深度を取り扱うための機構を備える必要があり、回路規模や実装規模が大きなものになってしまうという問題がある。

さらに、オクルージョン等でほかのカメラの映像から符号化／復号対象のカメラの映像を予測できない領域において、差分を使った符号化／復号では差分を使わない場合に比べて効率が悪化してしまうことがある。そのため、差分を使った符号化／復号と差分を使わない符号化／復号とを適応的に切り替えたほうが符号化効率を向上することができる。

しかし、差分の場合とそうでない場合とではビット深度が異なるため、同じ符号化／復号部で処理をすることができない。そのため、適応的に切り替える処理を行うような場合では、１つの視点の映像を符号化／復号する部分だけでも２種類の信号を扱える符号化／復号部を備える必要があり、回路規模や実装規模が大きなものになってしまう問題がある。

これら回路や実装の規模だけでなく、差分動画像において動き補償をする場合、元の映像のときの画素値が許される値の最大値や最小値になっている部分では無駄な信号を符号化してしまうことがありえる。

例えば８ビットの映像において、元の画像のある画素の画素値が２５５でその位置の合成画像（視差補償画像）の画素値が２５０であったとする。つまり、この画素における差分画像の画素値は５である。このとき、別の時刻の差分画像を用いてこの画素の画素値を動き補償を用いて予測した際の値が１０であった場合、５と１０との差の−５という値が符号化されることになる。

しかしながら、元の映像の画素値の最大値は２５５であり、２５５より大きな値は全て２５５にクリッピングされるため、−５を符号化する代わりに０を符号化した際に得られる、合成画像の画素値２５０に差分画像の動き補償による予測値１０を加えることで得られる２６０という値もまた、２５５という入力映像の値を示すことができる。つまり、この場合、−５という差分画像間の予測残差を符号化することは無駄であり、符号量の増加を招いてしまう。

このように、差分動画像において動き補償をする場合、元の映像のときの画素値が許される値の最大値や最小値になっている部分では無駄な信号を符号化してしまうことが起こるのである。

本発明はかかる事情に鑑みてなされたものであって、多視点映像を符号化するときに、差分画像を用いた予測値に合成画像の画素値を加算して入力画像に対する予測画像とすることで、符号化／復号器で複数のビット深度の映像信号を扱う必要のない、入力映像と合成映像との差分映像に対する予測を用いた新たな映像符号化復号技術の提供を目的とする。

従って、本発明は、視点の異なる複数のカメラにより撮影された多視点画像を符号化するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に符号済みの参照カメラ画像と、その参照カメラ画像と符号化対象の画像との間の視差情報とから、符号化対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて符号化対象の画像を符号化する映像符号化装置であって、
これから符号化する符号化対象領域の入力画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測手段と、
前記差分画像予測手段の生成した予測差分画像と符号化対象領域の前記合成画像との和で表される、その領域の予測画像を生成する予測画像生成手段と、
前記予測画像生成手段の生成した符号化対象領域の予測画像とその領域の符号化対象画像との差で表される、予測残差を符号化する予測残差符号化手段とを備える
ことを特徴とする映像符号化装置を提供する。

典型例として、前記差分画像予測手段は、符号化対象画像の既に符号化済み領域の復号画像とその領域の前記合成画像との差で表される、符号化対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。
別の典型例として、前記差分画像予測手段は、符号化対象画像を撮影した視点で撮影された既に符号化済みの画像の復号画像とその復号画像と同じ時刻の前記合成画像との差で表される、符号化対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。

別の典型例として、
符号化対象画像の符号化データを復号して、符号化対象画像の復号画像を生成する画像復号手段と、
前記画像復号手段の復号した復号画像と前記合成画像との差で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積手段とを備え、
前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。

別の典型例として、
前記予測残差符号化手段の符号化した予測残差を復号する予測残差復号手段と、
前記予測残差復号手段の復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積手段とを備え、
前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。
この場合の好適例として、前記復号差分画像生成蓄積手段は、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う。

別の典型例として、
符号化対象画像の既に符号化済みの領域の復号画像および、符号化対象画像を撮影した視点で撮影され、かつ、符号化対象画像とは別の時刻に撮影された既に符号化済みの画像の復号画像のいずれかを用いて、符号化対象画像の予測画像を生成する元画像予測手段を備え、
前記予測画像生成手段は、選択的に、前記予測差分画像と前記合成画像とに基づいて符号化対象領域の予測画像を生成するか、前記元画像予測手段の生成した予測画像をそのまま利用して符号化対象領域の予測画像を生成するかのいずれかを実行する。

好適例として、前記予測画像生成手段は、前記予測画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う。

本発明はまた、視点の異なる複数のカメラにより撮影された多視点画像の符号化データを復号するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に復号済みの参照カメラ画像と、その参照カメラ画像と復号対象の画像との間の視差情報とから、復号対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて復号対象の画像の符号化データを復号する映像復号装置であって、
符号化データに含まれる復号対象画像の予測残差を復号する予測残差復号手段と、
これから復号する復号対象領域の復号対象画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測手段と、
復号対象領域について、前記差分画像予測手段の生成した予測差分画像と、前記予測残差復号手段の復号した予測残差と、前記合成画像とを足し合わせることで、復号対象画像を復号する画像復号手段とを備える
ことを特徴とする映像復号装置を提供する。

典型例として、前記差分画像予測手段は、復号対象画像の既に復号済み領域の復号画像とその領域の前記合成画像との差で表される、復号対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。
別の典型例として、前記差分画像予測手段は、復号対象画像を撮影した視点で撮影された既に復号済みの参照画像とその参照画像と同じ時刻の前記合成画像との差で表される、復号対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。

別の典型例として、
前記画像復号手段の生成した復号画像と前記合成画像との差で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積手段を備え、
前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。
別の典型例として、
前記予測残差復号手段の復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積手段を備え、
前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。
この場合の好適例として、前記復号差分画像生成蓄積手段は、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う。

別の典型例として、
復号対象画像の既に復号済みの画像および、復号対象画像を撮影した視点で撮影され、かつ、復号対象画像とは別の時刻に撮影された既に復号済みの画像のいずれかを用いて、復号対象画像の予測画像を生成する元画像予測手段を備え、
前記画像復号手段は、復号対象領域について、選択的に、前記差分画像予測手段の生成した予測差分画像と、前記予測残差復号手段の復号した予測残差と、前記合成画像とを足し合わせることで復号対象画像を復号するか、前記元画像予測手段の生成した予測画像と、前記予測残差復号手段の復号した予測残差とを足し合わせることで復号対象画像を復号するかのいずれかを実行する。

本発明はまた、視点の異なる複数のカメラにより撮影された多視点画像を符号化するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に符号済みの参照カメラ画像と、その参照カメラ画像と符号化対象の画像との間の視差情報とから、符号化対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて符号化対象の画像を符号化する映像符号化方法であって、
これから符号化する符号化対象領域の入力画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測ステップと、
前記差分画像予測ステップで生成した予測差分画像と符号化対象領域の前記合成画像との和で表される、その領域の予測画像を生成する予測画像生成ステップと、
前記予測画像生成ステップで生成した符号化対象領域の予測画像とその領域の符号化対象画像との差で表される、予測残差を符号化する予測残差符号化ステップとを備える
ことを特徴とする映像符号化方法を提供する。

典型例として、前記差分画像予測ステップでは、符号化対象画像の既に符号化済み領域の復号画像とその領域の前記合成画像との差で表される、符号化対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。
別の典型例として、前記差分画像予測ステップでは、符号化対象画像を撮影した視点で撮影された既に符号化済みの画像の復号画像とその復号画像と同じ時刻の前記合成画像との差で表される、符号化対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。

別の典型例として、
前記予測残差符号化ステップで符号化した予測残差を復号する予測残差復号ステップと、
前記予測残差復号ステップで復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積ステップとを備え、
前記差分画像予測ステップでは、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する。
別の典型例として、
符号化対象画像の既に符号化済みの領域の復号画像および、符号化対象画像を撮影した視点で撮影され、かつ、符号化対象画像とは別の時刻に撮影された既に符号化済みの画像の復号画像のいずれかを用いて、符号化対象画像の予測画像を生成する元画像予測ステップを備え、
前記予測画像生成ステップでは、選択的に、前記予測差分画像と前記合成画像とに基づいて符号化対象領域の予測画像を生成するか、前記元画像予測ステップで生成した予測画像をそのまま利用して符号化対象領域の予測画像を生成するかのいずれかを実行する。

本発明はまた、視点の異なる複数のカメラにより撮影された多視点画像の符号化データを復号するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に復号済みの参照カメラ画像と、その参照カメラ画像と復号対象の画像との間の視差情報とから、復号対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて復号対象の画像の符号化データを復号する映像復号方法であって、
符号化データに含まれる復号対象画像の予測残差を復号する予測残差復号ステップと、
これから復号する復号対象領域の復号対象画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測ステップと、
復号対象領域について、前記差分画像予測ステップで生成した予測差分画像と、前記予測残差復号ステップで復号した予測残差と、前記合成画像とを足し合わせることで、復号対象画像を復号する画像復号ステップとを備える
ことを特徴とする映像復号方法を提供する。

典型例として、前記差分画像予測ステップでは、復号対象画像の既に復号済み領域の復号画像とその領域の前記合成画像との差で表される、復号対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。
別の典型例として、前記差分画像予測ステップでは、復号対象画像を撮影した視点で撮影された既に復号済みの参照画像とその参照画像と同じ時刻の前記合成画像との差で表される、復号対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。

別の典型例として、
前記予測残差復号ステップで復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積ステップを備え、
前記差分画像予測ステップでは、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する。
この場合、好適には、前記復号差分画像生成蓄積ステップでは、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う。

別の典型例として、
復号対象画像の既に復号済みの画像および、復号対象画像を撮影した視点で撮影され、かつ、復号対象画像とは別の時刻に撮影された既に復号済みの画像のいずれかを用いて、復号対象画像の予測画像を生成する元画像予測ステップを備え、
前記画像復号ステップでは、復号対象領域について、選択的に、前記差分画像予測ステップで生成した予測差分画像と、前記予測残差復号ステップで復号した予測残差と、前記合成画像とを足し合わせることで復号対象画像を復号するか、前記元画像予測ステップで生成した予測画像と、前記予測残差復号ステップで復号した予測残差とを足し合わせることで復号対象画像を復号するかのいずれかを実行する。

以上に説明した本発明の映像符号化装置もしくは映像復号装置を構成する各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現できる。

上述のように、本発明では、既に符号化済みの領域における入力映像と合成映像との差分映像を用いて、符号化対象の領域における入力映像と合成映像との差分を予測し、それに符号化対象の領域における合成映像を加算して、入力映像に対する予測映像を生成することができる。

そのため、予測残差を符号化する部分では、一般的な映像符号化方法と同様に、入力映像とそれに対する予測映像との予測残差を符号化する。つまり、従来の手法のように、残差符号化ステップで取り扱う信号のビット深度が増加することはない。そして、予測自体は入力映像とそれに対する合成映像との差分に対して行われるため、カメラ間の相関とフレーム内の空間的な相関とを同時に利用することができ、高い符号化効率を達成することができる。

この手法は、合成映像が特許文献１のように１枚の参照映像と撮影シーンの奥行き情報とから生成されても、また、下記の参考文献のように複数の参照映像を用いて対応点を探しながら生成されても、その他の方法を用いて生成されても、符号化対象の視点で撮影したカメラの映像を合成できればどのような方法を用いても構わない。

参考文献：M.Kitahara, H.Kimata, M.Tanimoto, T.Fujii and K.Yamamoto, "Report of Core Experiment on View Interpolation (Multi-view Video Coding CE3)," Document JVT-T119, pp. 1-8, July, 2006.
また、残差の符号化方法も、国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式と同様に、ＤＣＴや量子化によっても、テンプレートを用いたベクトル符号化によっても、どんな方法を用いても構わない。

本発明では、同様に差分映像による予測と合成映像とを加えて入力映像に対する予測とする場合において、入力映像と合成映像との差分映像をフレーム内で空間的に予測するのではなく、別の時刻のフレームから差分映像の時間相関を利用して予測を行うこともできる。

この手法も、上記と同様に、予測残差を符号化する部分では、一般的な動画像符号化と同様に、入力映像とそれに対する予測映像との予測残差を符号化するため、従来の手法の問題点であった残差符号化ステップで取り扱う信号のビット深度増加を解決することができる。そして、カメラ間の相関と時間方向の相関とを同時に利用することができるため高い符号化効率を達成することができる。

また、残差映像におけるフレーム内の空間的な相関と時間方向の相関とを選択しながら符号化することもでき、それによればさらに高い符号化効率を達成することができる。

通常の映像符号化方法では、予測映像の生成のために、既に符号済みの入力映像の復号映像を蓄積して利用する。しかしながら、本発明では、入力映像に対する予測映像を生成するために、入力映像と合成映像との差分映像を用いる。つまり、予測映像を生成する度に合成映像を生成し、蓄積されている復号映像との差分を求める必要があるためかなりな演算コストがかかる。

そこで、復号映像を得た後に、予測映像生成のために、既に生成されている合成映像を減算して差分映像を生成し蓄積することで、毎回差分映像を生成する処理を省略し演算コストを大幅に減らすことができる。

また、差分映像を用いて予測を行った場合に、符号化した予測残差の復号データに差分映像の予測値を加えることで、復号映像に対する差分映像を生成することができる。これによって、一度復号映像を生成してから差分映像を生成するよりも、合成映像を減算する演算を省略でき、さらに演算コストを削減することが可能となる。

なお、この際、対応する合成映像の画素値にマイナスを掛けた値を最小値、その最小値と許される復号映像の画素値の最も大きな値との和で表される値を最大値として、復号残差データと差分映像予測との和をクリッピングすることで、復号映像を生成してから差分映像を求める場合とまったく同じ差分映像を生成することができる。

また、差分映像を用いた予測映像生成と差分映像を用いない予測映像生成とを選択しながら入力映像の符号化をすることもできる。

オクルージョン部分などでは合成映像を精度良く生成することができない。そのような部分では、入力映像と合成映像とから生成される差分映像に大きな誤差が含まれてしまい効率的に符号化できない。そのため、そのような部分では、時間方向の相関のみを利用したほうが入力映像を効率よく符号化することが可能である。

従来の方法のように、差分映像を生成して、その差分映像を入力として符号化を行う場合、差分を使わない符号化を実現するには、符号化対象映像信号のビット深度が異なるため、入力信号を切り替えるだけでなく符号化器自体を切り替える必要がある。このことは、１つの映像を処理するエンコーダに２つの異なる信号を取り扱う符号化器が含まれていなければならないことを意味する。

これに対して、本発明によれば、差分映像上で予測を行う場合であっても、入力映像上で予測を行う場合であっても、符号化器が取り扱う入力信号は入力映像であり、予測信号は入力映像に対する予測映像となるため、同じ入力信号と符号化器を使って符号化を行うことが可能となる。つまり、本発明によってエンコーダの回路や実装の規模を大きく減らすことが可能となる。

以上に説明したように、本発明によれば、多視点映像を符号化するときに、入力映像と合成映像との差分映像に対する予測信号を生成して、その生成した予測差分映像と合成映像との和を入力映像に対する予測信号とすることで、差分映像を用いた高効率な符号化を少ない回路規模・実装規模で実現することができるようになる。

従来技術では、入力映像とそれに対する合成映像との差分映像を生成して、その生成した差分映像を動画像符号化するという方法を用いていたが、本発明では、その差分映像に対する予測信号を生成して、その生成した予測差分映像と合成映像との和を入力映像に対する予測信号とすることで、入力画像を直接動画像符号化するという方法を用いており、これにより差分映像の予測を用いた高効率な符号化を少ない回路規模・実装規模で実現することができるようになるのである。

本発明の実施形態例１の映像符号化装置の構成図である。 実施形態例１の映像符号化装置の実行する処理フローである。 予測画像の生成処理の処理フローである。 実施形態例１の映像符号化装置と多視点映像を符号化する従来の映像符号化装置との比較を説明するための、実施形態例１の映像符号化装置側の図である。 上記比較を説明するための、従来の映像符号化装置側の図である。 本発明の実施形態例２の映像符号化装置の構成図である。 実施形態例２の映像符号化装置の実行する処理フローである。 実施形態例２の映像符号化装置と多視点映像を符号化する従来の映像符号化装置との比較を説明するための、実施形態例１の映像符号化装置側の図である。 上記比較を説明するための、従来の映像符号化装置側の図である。 本発明の実施形態例３の映像復号装置の構成図である。 実施形態例３の映像復号装置の実行する処理フローである。 本発明の実施形態例４の映像復号装置の構成図である。 実施形態例４の映像復号装置の実行する処理フローである。 カメラ間で生じる視差の説明図である。

符号の説明

１００ 映像符号化装置
１０１ 画像入力部
１０２ 合成画像入力部
１０３ 予測画像生成部
１０４ 予測残差符号化部
１０５ 予測残差復号部
１０６ 差分画像復号部
１０７ 差分画像メモリ
１０８ 予測差分画像生成部

以下、実施の形態に従って本発明を詳細に説明する。

ここで、以下に説明する実施形態例では、１つ以上の既に符号化／復号済みの、符号化対象とは別の視点の映像と、それらの視点と符号化対象視点との視差情報とを用いて生成した合成映像を用いて、ある１つの視点の映像を符号化／復号する方法について説明を行う。

合成映像を生成するために必要な視差情報は、符号化器側で生成されて復号器側に伝送されても構わないし、符号化器側・復号器側で同じものが計算されるものでも構わない。また、視差情報から合成映像を生成する手法も、どのようなものであってもよく、複数の視点間の対応点情報から平均値を取る方法でも、１つの代表値を取る方法でも何でも構わない。

〔１〕実施形態例１
まず、第１の実施形態例（以下、実施形態例１と記載する）について説明する。

図１に、本発明の実施形態例１にかかる映像符号化装置１００の構成を図示する。

この図に示すように、実施形態例１の映像符号化装置１００は、画像入力部１０１と、合成画像入力部１０２と、予測画像生成部１０３と、予測残差符号化部１０４と、予測残差復号部１０５と、差分画像復号部１０６と、差分画像メモリ１０７と、予測差分画像生成部１０８とを備える。

この画像入力部１０１は、符号化対象となるカメラで撮影された映像（画像）を入力する。合成画像入力部１０２は、そのカメラに対する合成映像（合成画像、即ち、視差補償画像）を入力する。

予測画像生成部１０３は、予測差分画像生成部１０８の生成した予測差分画像（復号画像と合成画像との差分画像を用いて予測した、入力画像と合成画像との差分画像に対しての予測画像）と、合成画像入力部１０２の入力した合成画像とを加算することで、入力画像に対しての予測画像を生成する。

予測残差符号化部１０４は、画像入力部１０１の入力した入力画像と予測画像生成部１０３の生成した予測画像との予測残差を符号化して符号化データを出力する。予測残差復号部１０５は、予測残差符号化部１０４の符号化した予測残差を復号する。

差分画像復号部１０６は、合成画像入力部１０２の入力した合成画像に従って処理範囲を決定しつつ、予測差分画像生成部１０８の生成した予測差分画像と、予測残差復号部１０５の復号した予測残差とを加算することで、復号画像と合成画像との差分で表される差分画像を生成する。差分画像メモリ１０７は、差分画像復号部１０６の生成した差分画像を蓄積する。

予測差分画像生成部１０８は、差分画像メモリ１０７に蓄積される差分画像を用いて、入力画像と合成画像との差分で表される差分画像に対しての予測画像（予測差分画像）を生成する。

図２に、このように構成される実施形態例１の映像符号化装置１００の実行する処理フローを示す。

この処理フローは、実施形態例１の映像符号化装置１００によってある時刻の画像（フレーム）を符号化する際の処理を示すものであり、複数フレームの符号化を行う際には、この処理フローが繰り返し実行されることになる。

以下では、この処理フローに従って、実施形態例１の映像符号化装置１００の実行する処理について詳細に説明する。

実施形態例１の映像符号化装置１００では、まず、画像入力部１０１で、符号化対象画像を入力する［Ａ１］。以下では、符号化対象画像（入力画像）は Org［・］と表す。また、画像に対して記号［］を付加することで、特定の領域の画像信号であることを表す。

次に、合成画像入力部１０２で、ここで入力された Org［・］に対する合成画像を入力する［Ａ２］。合成画像は Syn［・］と表す。

本実施形態例１では、画像全体を複数のブロックに分割し、ブロックごとに処理を繰り返すことで画像全体を符号化する。なお、必ずしもブロック状に分割する必要はなく、任意の形状に分割しても構わないし、分割を行わなくても構わない。以下では、ブロックのインデックスをblk 、画像に含まれるブロック数をnumBlkと表す。

従って、blk を０に初期化した後［Ａ３］、blk に１を加算しながら［Ａ１１］、blk がnumBlkになるまで［Ａ１２］、以下の処理［Ａ４−Ａ１０］を繰り返すことで符号化を行う。

すなわち、ブロック毎に繰り返される処理では、まず、予測差分画像生成部１０８で、差分画像メモリ１０７に蓄えられている既に符号化済みの別の時刻のフレームや符号化対象フレーム内の既に符号化済みのブロックを用いて、予測差分画像PredDiff［・］を生成する［Ａ４］。

一般に、別の時刻のフレームから予測を行う場合はフレーム間予測と呼ばれ、同じ時刻のフレームの既に符号化済み領域から予測を行う場合はフレーム内予測と呼ばれる。ここで行われるフレーム間予測とフレーム内予測の方法としては、前述の非特許文献１で示されるような既存の映像符号化方式で用いられている任意の方法を用いることができる。

例えば、次の式（１）のように、別の時刻のフレームにおいて、ある領域を指定してそのコピーを予測値としても構わないし、式（２）のように、同じ時刻のフレームの既に符号化済みの周辺画素からDirectional な予測をしても構わない。

∀(x,y) ∈blk, PredDiff[t,x,y]＝DecDiff[t-1,x+mv_x,y+mv_y ] ・・・式（１）
∀(x,y) ∈blk, PredDiff[t,x,y]＝DecDiff[t,x,up＿line] ・・・式（２）
ここで、 DecDiff［・］は差分画像メモリ１０７に蓄えられている復号された差分画像（復号差分画像）を表し、ｔは符号化対象フレームの時刻を表し、( mv_x,mv_y ）は任意の２次元ベクトルを表し、up＿lineは blkの直上の画素位置（ライン）を示す。

次に、予測画像生成部１０３で、予測差分画像PredDiff［・］と合成画像 Syn［・］との和で表される予測画像Pred［・］を生成する［Ａ５］。

この際、各画素の値は有効な範囲にクリッピングされる。画素値の有効範囲は入力画像のビット深度によって決定され、８ビットの画像の場合、最小値は０で最大値は２５５となる。このクリッピングの処理は、数式を用いると次の式（３）で表される。

∀(x,y) ∈blk, Pred[t,x,y]＝Clip(PredDiff[t,x,y]＋Syn[t,x,y], min, max) ・・・式（３）
ここで、min は画素値の有効最小値を表し、max は画素値の有効最大値を表す。また、関数Clipは、第一引数で与えられる値が第二引数の値より小さい場合は第二引数の値を返し、第三引数の値よりも大きい場合は第三引数の値を返し、どちらでもない場合は第一引数の値を返すという関数である。

そして、入力画像 Org［・］と予測画像Pred［・］との差分で表される予測残差 Res［・］を生成する［Ａ６］。この生成処理は、数式を用いると次の式（４）で表される。

∀(x,y) ∈blk, Res[t,x,y]＝Org[t,x,y]−Pred[t,x,y] ・・・式（４）
予測残差 Res［・］を生成すると、予測残差符号化部１０４で、この予測残差 Res［・］を符号化する［Ａ７］。

予測残差 Res［・］の符号化にはどのような方式を用いても構わない。一般的な映像符号化方式では、ＤＣＴ（離散コサイン変換）で周波数変換を行った後、量子化を行い、ＤＣＴ係数情報を２値化し、それを算術符号化する。

このようにして生成した予測残差 Res［・］の符号化データは映像符号化装置１００の出力となる一方で、予測残差復号部１０５に送られ、予測残差復号部１０５で、以降の予測のために復号する［Ａ８］。復号された予測残差をDecRes［・］と表す。

予測残差復号部１０５で復号された予測残差DecRes［・］は差分画像復号部１０６に送られ、差分画像復号部１０６で、予測差分画像PredDiff［・］を用いて、復号差分画像 DecDiff［・］を生成する［Ａ９］。

この際、画素値の有効最小値と画素値の有効最大値とによって、
min≦DecRes[t,x,y] ＋PredDiff[t,x,y] ＋Syn[t,x,y]≦max
を満たすようにクリッピングが行われる。このクリッピングの処理は、前述した関数Clipを用いると、次の式（５）で表される。

∀(x,y) ∈blk, DecDiff[t,x,y] ＝Clip(DecRes[t,x,y]＋PredDiff[t,x,y], min−Syn[t,x,y], max−Syn[t,x,y]) ・・・式（５）
なお、このクリッピングは行っても構わないし、行わなくてもよい。ただし、クリッピングを行う場合には、符号化器と復号器とで同じ処理をする必要がある。

差分画像復号部１０６により生成された復号差分画像 DecDiff［・］は差分画像メモリ１０７に格納され、以降のブロックを符号化する際の予測に利用される［Ａ１０］。

このようにして、実施形態例１の映像符号化装置１００は、入力画像と合成画像との差分画像に対する予測信号を生成して、その生成した予測差分画像と合成画像との和を入力画像に対する予測信号として、入力画像の符号化を行うのである。

次に、図３の処理フローに従って、図２の処理フローのＡ５で実行する予測画像Pred［・］の生成処理について詳細に説明する。

符号化対象画像に対する予測画像Pred［・］を生成する処理［Ａ５］は、ブロックに含まれる画素ごとに予測画像生成部１０３で行われる。この処理を行うために、予測画像生成部１０３は、図１に示すように、合成画像入力部１０２の入力した合成画像 Syn［・］の画素値と予測差分画像生成部１０８の生成した予測差分画像PredDiff［・］の画素値とを加算する加算機能と、この加算機能の加算した画素値をクリッピングするクリッピング機能とを備える。

ここでの処理はブロック内の画素ごとに行われる。つまり、各画素のインデックスを pixとすると、 pixを０で初期化した後［Ｂ１］、 pixに１を加算しながら［Ｂ７］、 pixがブロック内の画素数numPixになるまで［Ｂ８］、以下の処理［Ｂ２−Ｂ６］を繰り返すことで行う。

すなわち、この繰り返し行う処理では、まず、画素 pixについて予測差分画像生成部１０８で生成された予測差分画像PredDiff［・］の値をレジスタｒ０に読み込み［Ｂ２］、続いて、画素 pixについて合成画像入力部１０２で入力された合成画像 Syn［・］の値をレジスタｒ１に読み込む［Ｂ３］。

続いて、上記の加算機能を使って、レジスタｒ０に格納される画素値とレジスタｒ１に格納される画素値との加算を実行して、その加算結果をレジスタｒ２に格納する［Ｂ４］。

続いて、上記のクリッピング機能を使って、レジスタｒ２に格納される画素値を入力画像に対しての有効範囲でクリッピングして、その結果をレジスタｒ３に格納する［Ｂ５］。この有効範囲は入力画像のビット深度によって決定され、８ビットの画像の場合には、最小値は０で最大値は２５５となる。

続いて、レジスタｒ３に格納される画素値を、画素 pixについての符号化対象画像に対する予測画像Pred［・］として出力する［Ｂ６］。

なお、ここではレジスタを利用したが、レジスタを利用しない構成を採ることも可能である。また、Ｂ４やＢ５の処理において、処理結果を別のレジスタに格納するという構成を採ったが、レジスタｒ０に上書きするようにしてもよい。また、加算処理を１つのレジスタを用いて行える場合には、レジスタｒ１に合成画像 Syn［・］の値を読み込む必要はなく、直接加算を実行するようにしてもよい。また、この処理フローでは、各画素についての予測画像Pred［・］を逐次出力するようにしているが、バッファリングを行って一度に出力を行うようにしてもよい。

図４Ａ，４Ｂに、実施形態例１の映像符号化装置１００と、多視点映像を符号化する従来の映像符号化装置とを比較する図を示す。

ここで、図４Ａに示す構成が実施形態例１の映像符号化装置１００の構成で、図４Ｂに示す構成が多視点映像を符号化する従来の映像符号化装置の構成である。また、図中に示す一番細い線はＮビットを処理する構成部分で、その次に太い線はＮ＋１ビットを処理する構成部分で、一番太い線はＮ＋２ビットを処理する構成部分である。

実施形態例１の映像符号化装置１００では、入力映像とそれに対する合成映像との差分映像に対する予測信号を生成して、その生成した予測差分映像と合成映像との和を入力映像に対する予測信号として、入力映像とそれに対する予測映像との差分を符号化するという方法を用いており、これから１回の差分しか実行しないので、図４Ａに示すように、動画像を符号化する通常の映像符号化装置と同じビット深度で符号化を行うことができる。

これに対して、多視点映像を符号化する従来の映像符号化装置では、入力映像とそれに対する合成映像との差分映像を生成して、その生成した差分映像を動画像符号化するという方法を用いており、これから２回の差分を実行する必要があるので、図４Ｂに示すように、動画像を符号化する通常の映像符号化装置よりもビット深度が増加する。

このように、本発明の実施形態によれば、入力映像とそれに対する合成映像との差分映像に対する予測信号を生成して、その生成した予測差分映像と合成映像との和を入力映像に対する予測信号とすることで、差分映像を用いた高効率な符号化を少ない回路規模・実装規模で実現することができるようになる。

しかも、従来技術では、入力映像とそれに対する合成映像との差分映像を生成して、その生成した差分映像を動画像符号化するという方法を用いていたことで、画素値が許される値の最大値や最小値になっている部分で無駄な信号を符号化してしまうという問題があったが、本発明の実施形態では画素値の値をそれが許される最大値や最小値にクリッピングするという構成を採ることから、そのような問題も起こらない。

〔２〕実施形態例２
次に、第２の実施形態例（以下、実施形態例２と記載する）について説明する。

図５に、本発明の実施形態例２にかかる映像符号化装置２００の構成を図示する。

この図に示すように、実施形態例２の映像符号化装置２００は、画像入力部２０１と、合成画像入力部２０２と、第１の予測画像生成部２０３と、第２の予測画像生成部２０４と、予測残差符号化部２０５と、予測残差復号部２０６と、画像復号部２０７と、復号画像メモリ２０８と、差分画像メモリ２０９と、予測差分画像生成部２１０と、予測切替スイッチ２１１とを備える。

この画像入力部２０１は、符号化対象となるカメラで撮影された映像（画像）を入力する。合成画像入力部２０２は、そのカメラに対する合成画像（合成映像）を入力する。

第１の予測画像生成部２０３は、差分画像（入力画像と合成画像との差分画像）に対しての予測に基づいて、入力画像に対しての予測画像を生成するものであり、図３の処理フローと同様の処理を実行することで、クリッピング処理を施しつつ、予測差分画像生成部２１０の生成した予測差分画像（差分画像に対しての予測画像）と、合成画像入力部２０２の入力した合成画像とを加算することで、入力画像に対しての予測画像を生成する。

第２の予測画像生成部２０４は、復号画像に基づいて、入力画像に対しての予測画像を生成するものであり、差分画像を用いずに、復号画像メモリ２０８に格納される復号画像を使って、入力画像に対しての予測画像を生成する。

予測残差符号化部２０５は、画像入力部２０１の入力した入力画像と第１の予測画像生成部２０３あるいは第２の予測画像生成部２０４の生成した予測画像との予測残差を符号化して符号化データを出力する。予測残差復号部２０６は、予測残差符号化部２０５の符号化した予測残差を復号する。

画像復号部２０７は、予測残差復号部２０６の復号した予測残差と第１の予測画像生成部２０３あるいは第２の予測画像生成部２０４の生成した予測画像とを加算することで、復号画像を生成する。復号画像メモリ２０８は、画像復号部２０７の生成した復号画像を蓄積する。

差分画像メモリ２０９は、画像復号部２０７の復号した復号画像と合成画像入力部２０２の入力した合成画像との差分で表される差分画像を蓄積する。

予測差分画像生成部２１０は、差分画像メモリ２０９に蓄積される差分画像を用いて、入力画像と合成画像との差分で表される差分画像に対しての予測画像（予測差分画像）を生成する。

予測切替スイッチ２１１は、第１の予測画像生成部２０３の生成した予測画像か、第２の予測画像生成部２０４の生成した予測画像のいずれか一方を選択して出力する。

図６に、このように構成される実施形態例２の映像符号化装置２００の実行する処理フローを示す。

この処理フローは、実施形態例２の映像符号化装置２００によってある時刻の画像を符号化する際の処理を示すものであり、複数フレームの符号化を行う際には、この処理フローが繰り返し実行されることになる。

以下では、この処理フローに従って、実施形態例２の映像符号化装置２００の実行する処理について詳細に説明する。ここで、前述の実施形態例１で用いた記号をそのまま用いて説明する。

実施形態例２の映像符号化装置２００では、まず、画像入力部２０１で、符号化対象画像 Org［・］を入力し［Ｃ１］、合成画像入力部２０２で、ここで入力された Org［・］に対する合成画像 Syn［・］を入力する［Ｃ２］。

本実施形態例２でも、画像全体を複数のブロックに分割し、ブロックごとに処理を繰り返すことで画像全体を符号化する。なお、必ずしもブロック状に分割する必要はなく、任意の形状に分割しても構わないし、分割を行わなくても構わない。以下では、実施形態例１と同様に、ブロックのインデックスをblk 、画像に含まれるブロック数をnumBlkと表す。

従って、blk を０に初期化した後［Ｃ３］、blk に１を加算しながら［Ｃ１５］、blk がnumBlkになるまで［Ｃ１６］、以下の処理［Ｃ４−Ｃ１４］を繰り返すことで符号化を行う。

ブロック毎に繰り返される処理では、最初に予測画像を生成する［Ｃ４−Ｃ７］。本実施形態例２では、第１の予測画像生成部２０３で、差分画像を使って予測画像を生成し（以下、この予測画像を差分予測画像DiffPred［・］と記載する）、第２の予測画像生成部２０４で、差分画像を使わずに復号画像を使って予測画像を生成して（以下、この予測画像を復号予測画像 DecPred［・］と記載する）、それらを用いて１つの予測画像を生成する。

差分予測画像DiffPred［・］の生成処理については、まず、予測差分画像生成部２１０で、差分画像メモリ２０９に蓄えられている既に符号化済みの別の時刻のフレームや符号化対象フレーム内の既に符号化済みのブロックを用いて、予測差分画像PredDiff［・］を生成する［Ｃ４］。次に、第１の予測画像生成部２０３で、予測差分画像PredDiff［・］と合成画像 Syn［・］との和で表される差分予測画像DiffPred［・］を生成する［Ｃ５］。

この際、各画素の値は有効な範囲にクリッピングされる。画素値の有効範囲は入力画像のビット深度によって決定され、８ビットの画像の場合、最小値は０で最大値は２５５となる。このクリッピング処理は、数式を用いると次の式（６）で表される。なお、このＣ４、Ｃ５で行われる処理は、実施形態例１のそれぞれＡ４、Ａ５で行われる処理と同じである。

∀(x,y) ∈blk, DiffPred[t,x,y]＝Clip(PredDiff[t,x,y]＋Syn[t,x,y], min, max) ・・・式（６）
一方、復号予測画像 DecPred［・］の生成処理については、第２の予測画像生成部２０４で、復号画像メモリ２０８に蓄えられている既に符号化済みの別の時刻のフレームや符号化対象フレーム内の既に符号化済みのブロックの復号画像 Dec［・］を用いて行う［Ｃ６］。

この復号予測画像 DecPred［・］の生成法としては、前述の非特許文献１で示されるような既存の映像符号化方式で用いられている任意の方法を用いることができる。

例えば、次の式（７）のように、別の時刻のフレームにおいて、ある領域を指定してそのコピーを予測値としても構わないし、式（８）のように、同じ時刻のフレームの既に符号化済みの周辺画素からDirectional な予測をしても構わない。

∀(x,y) ∈blk, DecPred[t,x,y]＝Dec[t-1,x+mv_x,y+mv_y ] ・・・式（７）
∀(x,y) ∈blk, DecPred[t,x,y]＝Dec[t,x,up＿line] ・・・式（８）
本実施形態例２では、予測画像は予測切替スイッチ２１１を用いて、第１の予測画像生成部２０３の生成した差分予測画像DiffPred［・］か、第２の予測画像生成部２０４の生成した復号予測画像 DecPred［・］かのどちらか一方を選択することで生成する［Ｃ７］。この他に、対応する画素同士の平均値を用いて予測画像とする方法もある。

なお、ここでは、２つの予測画像を選択するのに、どのような方法を用いて選択を行っても構わない。例えば、一度符号化を行って符号化効率の良い方を選んでもいいし、符号化対象画像 Org［・］に対する予測効率を差分絶対値和や差分二乗和を用いて計測し、効率の良い方を選んでも構わない。
また、入力画像に応じて、フレーム毎、フレーム内の部分領域毎、ブロック毎などで、適宜切り替えて選択することも可能である。

予測画像を生成したら、入力画像 Org［・］と予測切替スイッチ２１１の出力する予測画像との差分で表される予測残差 Res［・］を生成する［Ｃ８］。この生成処理は、数式を用いると前述の式（４）で表される。

予測残差 Res［・］を生成すると、予測残差符号化部２０５で、この予測残差 Res［・］を符号化する［Ｃ９］。予測残差の符号化にはどのような方式を用いても構わない。

このようにして生成した予測残差 Res［・］の符号化データは映像符号化装置２００の出力となる一方で、予測残差復号部２０６に送られ、予測残差復号部２０６で、以降の予測のために復号する［Ｃ１０］。

予測残差復号部２０６で復号された予測残差DecRes［・］は画像復号部２０７に送られ、画像復号部２０７で、予測切替スイッチ２１１の出力する予測画像を用いて復号画像 Dec［・］を生成する［Ｃ１１］。

この際、画素値の有効最小値と画素値の有効最大値とによってクリッピングが行われる。このクリッピング処理は、数式を用いると次の式（９）で表される。

∀(x,y) ∈blk, Dec[t,x,y]＝Clip(DecRes[t,x,y]＋Pred[t,x,y],min,max)
・・・式（９）
画像復号部２０７により生成された復号画像 Dec［・］は復号画像メモリ２０８に格納され、以降のブロックを符号化する際の予測に利用される［Ｃ１２］。

また、この復号画像 Dec［・］と合成画像 Syn［・］とを用いて、復号差分画像 DecDiff［・］を、次の式（１０）に従って生成する［Ｃ１３］。

∀(x,y) ∈blk, DecDiff[t,x,y]＝Dec[t,x,y]−Syn[t,x,y] ・・・式（１０）
このように生成された復号差分画像 DecDiff［・］は差分画像メモリ２０９に格納され、以降のブロックを符号化する際の予測に利用される［Ｃ１４］。

このようにして、実施形態例２の映像符号化装置２００は、入力画像と合成画像との差分画像に対する予測信号を生成して、その生成した予測差分画像と合成画像との和を入力画像に対する予測信号として、入力画像の符号化を行うのである。

図７Ａ，７Ｂに、実施形態例２の映像符号化装置２００と、これに対応した多視点映像を符号化する従来の映像符号化装置とを比較する図を示す。

ここで、図７Ａに示す構成が実施形態例２の映像符号化装置２００の構成で、図７Ｂに示す構成がこれに対応した多視点映像を符号化する従来の映像符号化装置の構成である。また、図中に示す一番細い線はＮビットを処理する構成部分で、その次に太い線はＮ＋１ビットを処理する構成部分で、一番太い線はＮ＋２ビットを処理する構成部分で、破線は処理するビットが切り替えられる構成部分である。

実施形態例２の映像符号化装置２００では、入力映像とそれに対する合成映像との差分映像に対する予測信号を生成して、その生成した予測差分映像と合成映像との和を入力映像に対する予測信号として、入力映像とそれに対する予測映像との差分を符号化するという方法を用いており、これから１回の差分しか実行しないので、図７Ａに示すように、動画像を符号化する通常の映像符号化装置と同じビット深度で符号化を行うことができる。

これに対して、多視点映像を符号化する従来の映像符号化装置では、入力映像とそれに対する合成映像との差分映像を生成して、その生成した差分映像を動画像符号化するという方法を用いており、これから２回の差分を実行する必要があるので、図７Ｂに示すように、動画像を符号化する通常の映像符号化装置よりもビット深度が増加する。

さらに、図７Ａと図７Ｂとを比較すれば分かるように、実施形態例２の映像符号化装置２００では、差分映像上で予測を行う場合であっても、入力映像上で予測を行う場合であっても、符号化器が取り扱う入力信号は入力映像であり、予測信号は入力映像に対する予測映像となるため、同じ入力信号と符号化器を使って符号化を行うことが可能となる。

〔３〕実施形態例３
次に、第３の実施形態例（以下、実施形態例３と記載する）について説明する。

図８に、本発明の実施形態例３にかかる映像復号装置３００の構成を図示する。

この図に示すように、実施形態例３の映像復号装置３００は、符号化データ入力部３０１と、合成画像入力部３０２と、予測残差復号部３０３と、差分画像復号部３０４と、差分画像メモリ３０５と、予測差分画像生成部３０６と、画像復号部３０７とを備える。

この符号化データ入力部３０１は、実施形態例１の映像符号化装置１００により生成された符号化データ（復号対象となるカメラで撮影された映像の符号化データ）を入力する。合成画像入力部３０２は、そのカメラに対する合成映像（合成画像、即ち、視差補償画像）を入力する。予測残差復号部３０３は、符号化データに含まれる予測残差を復号する。

差分画像復号部３０４は、合成画像入力部３０２の入力した合成画像に従って処理範囲を決定しつつ、予測差分画像生成部３０６の生成した予測差分画像（復号対象画像と合成画像との差分画像に対しての予測画像）と、予測残差復号部３０３の復号した予測残差とを加算することで、復号対象画像と合成画像との差分で表される差分画像を生成する。差分画像メモリ３０５は、差分画像復号部３０４の生成した差分画像を蓄積する。

予測差分画像生成部３０６は、差分画像メモリ３０５に蓄積される差分画像を用いて、復号対象画像と合成画像との差分で表される差分画像に対しての予測画像（予測差分画像）を生成する。

画像復号部３０７は、差分画像復号部３０４の生成した差分画像と、合成画像入力部３０２の入力した合成画像とを加算することで、復号対象の画像を復号する。

図９に、このように構成される実施形態例３の映像復号装置３００の実行する処理フローを示す。

この処理フローは、実施形態例３の映像復号装置３００によってある時刻の画像の符号化データを復号する際の処理を示すものであり、複数フレームの復号を行う際には、この処理フローが繰り返し実行されることになる。

以下では、この処理フローに従って、実施形態例３の映像復号装置３００の実行する処理について詳細に説明する。ここで、前述の実施形態例１や実施形態例２で用いた記号をそのまま用いて説明する。

実施形態例３の映像復号装置３００では、まず、符号化データ入力部３０１で、復号対象画像の符号化データを入力する［Ｄ１］。次に、合成画像入力部３０２で、復号対象画像に対する合成画像を入力する［Ｄ２］。

本実施形態例３では、画像全体は複数のブロックに分割されて符号化されていることを想定しており、ブロックごとに処理を繰り返すことで画像全体を復号することとする。なお、必ずしもブロック状に分割されている必要はなく、任意の形状に分割されていても構わないし、分割されていなくても構わない。以下では、ブロックのインデックスをblk 、画像に含まれるブロック数をnumBlkと表す。

従って、blk を０に初期化した後［Ｄ３］、blk に１を加算しながら［Ｄ９］、blk がnumBlkになるまで［Ｄ１０］、以下の処理［Ｄ４−Ｄ８］を繰り返すことで復号を行う。

すなわち、ブロック毎に繰り返される処理では、まず、予測残差復号部３０３で、入力した符号化データに含まれる予測残差を復号する［Ｄ４］。

次に、予測差分画像生成部３０６で、差分画像メモリ３０５に蓄えられている既に復号済みの別の時刻のフレームや復号対象フレーム内の既に復号済みのブロックを用いて、予測差分画像を生成する［Ｄ５］。

ここで、予測差分画像の生成法が複数存在するときは、符号化データに含まれるブロックblk での（符号化時の）予測方法を示す情報を用いて１つの生成法を特定し、それに基づいて予測差分画像を生成することになる。

予測差分画像生成部３０６により予測差分画像が生成されたら、続いて、差分画像復号部３０４で、生成された予測差分画像と復号された予測残差との和で表される復号差分画像を生成する［Ｄ６］。

この際、画素値の有効最小値と画素値の有効最大値とによって、実施形態例１のＡ９で行われるクリッピング処理と同じクリッピング処理（前述の式（５）で表されるクリッピング処理）が行われる。なお、このクリッピングは行っても構わないし、行わなくてもよい。ただし、クリッピングを行う場合には、符号化器と復号器とで同じ処理をする必要がある。

差分画像復号部３０４により生成された復号差分画像は差分画像メモリ３０５に格納され、以降のブロックを復号する際の予測差分画像生成に利用される［Ｄ７］。

差分画像復号部３０４により復号差分画像が生成されたら、画像復号部３０７で、復号差分画像と合成画像との和で表される復号画像を生成する［Ｄ８］。

この際、各画素の値は有効な範囲にクリッピングされる。ただし、Ｄ６でクリッピングが行われている場合には、ここでのクリッピングを行う必要はない。このクリッピング処理は、数式を用いると次の式（１１）で表される。

∀(x,y) ∈blk, Dec[t,x,y]＝Clip(DecDiff[t,x,y]＋Syn[t,x,y], min, max) ・・・式（１１）
このようにして生成された復号画像が映像復号装置３００の出力となる。なお、実施形態例３では、復号された画像がすぐに出力されるが、符号化→復号の順において適正な表示タイミングになっていない場合には、出力前にバッファリングされて適切な表示タイミングが来たときに映像復号装置３００から出力されることになる。

ここで、図９に示す処理フローでは、符号化データに含まれる復号対象画像の予測残差を復号するとともに、復号対象画像の既に復号済み領域の画像と合成画像との差で表される差分画像を用いて、これから復号する領域における差分画像の予測画像を生成してから、その生成した予測差分画像と復号した予測残差とを足し合わせることで、復号差分画像を得て、その復号差分画像と合成画像とを足し合わせることで復号画像を復号するという構成を採ったが、復号画像の生成順序はこれに限られるものではない。

すなわち、符号化データに含まれる復号対象画像の予測残差を復号するとともに、復号対象画像の既に復号済み領域の画像と合成画像との差で表される差分画像を用いて、これから復号する領域における差分画像の予測画像を生成してから、その生成した予測差分画像と合成画像とを足し合わせることで復号対象画像の予測画像を得て、その復号対象画像の予測画像と復号した予測残差とを足し合わせることで復号画像を復号するという構成を採ってもよい。

〔４〕実施形態例４
次に、第４の実施形態例（以下、実施形態例４と記載する）について説明する。

図１０に、本発明の実施形態例４にかかる映像復号装置４００の構成を図示する。

この図に示すように、実施形態例４の映像復号装置４００は、符号化データ入力部４０１と、合成画像入力部４０２と、予測残差復号部４０３と、画像復号部４０４と、復号画像メモリ４０５と、差分画像メモリ４０６と、予測差分画像生成部４０７と、第１の予測画像生成部４０８と、第２の予測画像生成部４０９と、予測切替スイッチ４１０とを備える。

この符号化データ入力部４０１は、実施形態例２の映像符号化装置２００により生成された符号化データ（復号対象となるカメラで撮影された映像の符号化データ）を入力する。合成画像入力部４０２は、そのカメラに対する合成映像（合成画像）を入力する。予測残差復号部４０３は、符号化データに含まれる予測残差を復号する。

画像復号部４０４は、予測残差復号部４０３の復号した予測残差と第１の予測画像生成部４０８あるいは第２の予測画像生成部４０９の生成した予測画像とを加算することで、復号対象の画像を復号する。復号画像メモリ４０５は、画像復号部４０４の復号した復号画像を蓄積する。

差分画像メモリ４０６は、画像復号部４０４の復号した復号画像と合成画像入力部４０２の入力した合成画像との差分で表される差分画像（復号差分画像）を蓄積する。

予測差分画像生成部４０７は、差分画像メモリ４０６に蓄積される差分画像を用いて、復号対象画像と合成画像との差分で表される差分画像に対しての予測画像（予測差分画像）を生成する。

第１の予測画像生成部４０８は、予測差分画像生成部４０７の生成した予測差分画像と、合成画像入力部４０２の入力した合成画像とを加算することで、復号対象画像に対しての予測画像を生成する。

第２の予測画像生成部４０９は、復号画像メモリ４０５に蓄積される復号画像に基づいて、復号対象画像に対しての予測画像を生成する。

予測切替スイッチ４１０は、第１の予測画像生成部４０８の生成した予測画像か、第２の予測画像生成部４０９の生成した予測画像のいずれか一方を選択して出力する。

図１１に、このように構成される実施形態例４の映像復号装置４００の実行する処理フローを示す。

この処理フローは、実施形態例４の映像復号装置４００によってある時刻の画像の符号化データを復号する際の処理を示すものであり、複数フレームの復号を行う際には、この処理フローが繰り返し実行されることになる。

以下では、この処理フローに従って、実施形態例４の映像復号装置４００の実行する処理について詳細に説明する。ここで、前述の実施形態例１〜３で用いた記号をそのまま用いて説明する。

実施形態例４の映像復号装置４００では、まず、符号化データ入力部４０１で、復号対象画像の符号化データを入力する［Ｅ１］。次に、合成画像入力部４０２で、復号対象画像に対する合成画像を入力する［Ｅ２］。

本実施形態例４では、画像全体は複数のブロックに分割されて符号化されていることを想定しており、ブロックごとに処理を繰り返すことで画像全体を復号することとする。なお、必ずしもブロック状に分割されている必要はなく、任意の形状に分割されていても構わないし、分割をされていなくても構わない。以下では、ブロックのインデックスをblk 、画像に含まれるブロック数をnumBlkと表す。

従って、blk を０に初期化した後［Ｅ３］、blk に１を加算しながら［Ｅ１０］、blk がnumBlkになるまで［Ｅ１１］、以下の処理［Ｅ４−Ｅ９］を繰り返すことで復号を行う。

すなわち、ブロック毎に繰り返される処理では、まず、予測残差復号部４０３で、入力した符号化データに含まれる予測残差を復号する［Ｅ４］。

次に、第１の予測画像生成部４０８で、差分画像メモリ４０６に蓄えられている既に復号済みの別の時刻のフレームや復号対象フレーム内の既に復号済みのブロックの復号差分画像を用いて予測画像を生成したり、第２の予測画像生成部４０９で、復号画像メモリ４０５に蓄えられている既に復号済みの別の時刻のフレームの復号画像を用いて予測画像を生成する［Ｅ５］。

ここで、予測画像の生成法は何らかの方法により各ブロックについて１つの生成法が決定される。この決定は、これまでに復号した画像やブロックの情報を用いて決定しても構わないし、符号化データに含まれる予測方法を指定する情報によって決定しても構わない。ただし、映像符号化装置が想定する決定法を用いることが必要である。

本実施形態例４では、第１の予測画像生成部４０８による差分画像を用いた予測を行うか、第２の予測画像生成部４０９による差分画像を用いない予測を行うかを、予測切替スイッチ４１０を用いて切り替えている。

第１の予測画像生成部４０８を使う差分画像を用いる予測を行う場合には、まず、予測差分画像生成部４０７で、差分画像メモリ４０６に蓄えられている差分画像を用いて予測差分画像を生成する。次に、第１の予測画像生成部４０８で、予測差分画像と合成画像との和で表される予測画像を生成する。この予測画像が復号対象画像に対する予測画像となる。

この際、画素値の有効最小値と画素値の有効最大値とによって、実施形態例２のＣ４，Ｃ５で行われるクリッピング処理と同じクリッピング処理（前述の式（６）で表されるクリッピング処理）が行われる。なお、このクリッピングは行っても構わないし、行わなくてもよい。ただし、クリッピングを行う場合には、符号化器と復号器とで同じ処理をする必要がある。

一方、第２の予測画像生成部４０９を使う差分画像を用いない予測を行う場合は、第２の予測画像生成部４０９で、復号画像メモリ４０５に蓄えられている復号画像を用いて予測画像を生成する。予測画像が復号対象画像に対する予測画像となる。なお、ここで行われる処理は実施形態例２のＣ６で行われる処理と同じである。

本実施形態例４では、第２の予測画像生成部４０９と予測差分画像生成部４０７とを備えているが、両者で行う予測法が同じ場合、入力する画像メモリを切り替えることで１つの予測画像生成部で構成することもできる。その場合、予測画像生成部の出力は差分画像を用いた予測を行った場合にのみ第１の予測画像生成部４０８に入力されるようになっている必要がある。つまり、連動して動作するスイッチが２つ必要になる。

第１の予測画像生成部４０８や第２の予測画像生成部４０９により予測画像が生成されたら、画像復号部４０４で、その予測画像と予測残差復号部４０３により復号された予測残差との和で表される復号画像を生成する［Ｅ６］。

この際、各画素の値は有効な範囲にクリッピングされる。このクリッピング処理は、実施形態例２のＣ１１で行われる処理と同じである。数式を用いると前述の式（９）で表される。

このようにして生成された復号画像は復号画像メモリ４０５に格納され、以降のブロックを復号する際の予測画像生成に利用される［Ｅ７］。

また、この復号画像と合成画像とを用いて、前述の式（１０）に従って、復号差分画像を生成する［Ｅ８］。この生成された復号差分画像は差分画像メモリ４０６に格納され、以降のブロックを復号する際の予測画像生成に利用される［Ｅ９］。

Ｅ６で生成された復号画像が映像復号装置４００の出力となる。なお、本実施形態例４では、復号された画像がすぐに出力されるが、符号化→復号の順において適正な表示タイミングになっていない場合には、出力前にバッファリングされて適切な表示タイミングが来たときに映像復号装置４００から出力されることになる。

本発明は、多視点映像の符号化に適用できるものであり、差分映像を用いた高効率な符号化を少ない回路規模・実装規模で実現することができるようになる。

Claims (30)

1. 視点の異なる複数のカメラにより撮影された多視点画像を符号化するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に符号済みの参照カメラ画像と、その参照カメラ画像と符号化対象の画像との間の視差情報とから、符号化対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて符号化対象の画像を符号化する映像符号化装置であって、
   これから符号化する符号化対象領域の入力画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測手段と、
   前記差分画像予測手段の生成した予測差分画像と符号化対象領域の前記合成画像との和で表される、その領域の予測画像を生成する予測画像生成手段と、
   前記予測画像生成手段の生成した符号化対象領域の予測画像とその領域の符号化対象画像との差で表される、予測残差を符号化する予測残差符号化手段とを備える
   ことを特徴とする映像符号化装置。
2. 請求項１に記載の映像符号化装置において、
   前記差分画像予測手段は、符号化対象画像の既に符号化済み領域の復号画像とその領域の前記合成画像との差で表される、符号化対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
   ことを特徴とする映像符号化装置。
3. 請求項１に記載の映像符号化装置において、
   前記差分画像予測手段は、符号化対象画像を撮影した視点で撮影された既に符号化済みの画像の復号画像とその復号画像と同じ時刻の前記合成画像との差で表される、符号化対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
   ことを特徴とする映像符号化装置。
4. 請求項１に記載の映像符号化装置において、
   符号化対象画像の符号化データを復号して、符号化対象画像の復号画像を生成する画像復号手段と、
   前記画像復号手段の復号した復号画像と前記合成画像との差で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積手段とを備え、
   前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
   ことを特徴とする映像符号化装置。
5. 請求項１に記載の映像符号化装置において、
   前記予測残差符号化手段の符号化した予測残差を復号する予測残差復号手段と、
   前記予測残差復号手段の復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積手段とを備え、
   前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
   ことを特徴とする映像符号化装置。
6. 請求項１に記載の映像符号化装置において、
   符号化対象画像の既に符号化済みの領域の復号画像および、符号化対象画像を撮影した視点で撮影され、かつ、符号化対象画像とは別の時刻に撮影された既に符号化済みの画像の復号画像のいずれかを用いて、符号化対象画像の予測画像を生成する元画像予測手段を備え、
   前記予測画像生成手段は、選択的に、前記予測差分画像と前記合成画像とに基づいて符号化対象領域の予測画像を生成するか、前記元画像予測手段の生成した予測画像をそのまま利用して符号化対象領域の予測画像を生成するかのいずれかを実行する
   ことを特徴とする映像符号化装置。
7. 請求項１に記載の映像符号化装置において、
   前記予測画像生成手段は、前記予測画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う
   ことを特徴とする映像符号化装置。
8. 請求項５に記載の映像符号化装置において、
   前記復号差分画像生成蓄積手段は、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う
   ことを特徴とする映像符号化装置。
9. 視点の異なる複数のカメラにより撮影された多視点画像の符号化データを復号するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に復号済みの参照カメラ画像と、その参照カメラ画像と復号対象の画像との間の視差情報とから、復号対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて復号対象の画像の符号化データを復号する映像復号装置であって、
   符号化データに含まれる復号対象画像の予測残差を復号する予測残差復号手段と、
   これから復号する復号対象領域の復号対象画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測手段と、
   復号対象領域について、前記差分画像予測手段の生成した予測差分画像と、前記予測残差復号手段の復号した予測残差と、前記合成画像とを足し合わせることで、復号対象画像を復号する画像復号手段とを備える
   ことを特徴とする映像復号装置。
10. 請求項９に記載の映像復号装置において、
    前記差分画像予測手段は、復号対象画像の既に復号済み領域の復号画像とその領域の前記合成画像との差で表される、復号対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号装置。
11. 請求項９に記載の映像復号装置において、
    前記差分画像予測手段は、復号対象画像を撮影した視点で撮影された既に復号済みの参照画像とその参照画像と同じ時刻の前記合成画像との差で表される、復号対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号装置。
12. 請求項９に記載の映像復号装置において、
    前記画像復号手段の生成した復号画像と前記合成画像との差で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積手段を備え、
    前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号装置。
13. 請求項９に記載の映像復号装置において、
    前記予測残差復号手段の復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積手段を備え、
    前記差分画像予測手段は、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号装置。
14. 請求項９に記載の映像復号装置において、
    復号対象画像の既に復号済みの画像および、復号対象画像を撮影した視点で撮影され、かつ、復号対象画像とは別の時刻に撮影された既に復号済みの画像のいずれかを用いて、復号対象画像の予測画像を生成する元画像予測手段を備え、
    前記画像復号手段は、復号対象領域について、選択的に、前記差分画像予測手段の生成した予測差分画像と、前記予測残差復号手段の復号した予測残差と、前記合成画像とを足し合わせることで復号対象画像を復号するか、前記元画像予測手段の生成した予測画像と、前記予測残差復号手段の復号した予測残差とを足し合わせることで復号対象画像を復号するかのいずれかを実行する
    ことを特徴とする映像復号装置。
15. 請求項１３に記載の映像復号装置において、
    前記復号差分画像生成蓄積手段は、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う
    ことを特徴とする映像復号装置。
16. 視点の異なる複数のカメラにより撮影された多視点画像を符号化するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に符号済みの参照カメラ画像と、その参照カメラ画像と符号化対象の画像との間の視差情報とから、符号化対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて符号化対象の画像を符号化する映像符号化方法であって、
    これから符号化する符号化対象領域の入力画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測ステップと、
    前記差分画像予測ステップで生成した予測差分画像と符号化対象領域の前記合成画像との和で表される、その領域の予測画像を生成する予測画像生成ステップと、
    前記予測画像生成ステップで生成した符号化対象領域の予測画像とその領域の符号化対象画像との差で表される、予測残差を符号化する予測残差符号化ステップとを備える
    ことを特徴とする映像符号化方法。
17. 請求項１６に記載の映像符号化方法において、
    前記差分画像予測ステップでは、符号化対象画像の既に符号化済み領域の復号画像とその領域の前記合成画像との差で表される、符号化対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像符号化方法。
18. 請求項１６に記載の映像符号化方法において、
    前記差分画像予測ステップでは、符号化対象画像を撮影した視点で撮影された既に符号化済みの画像の復号画像とその復号画像と同じ時刻の前記合成画像との差で表される、符号化対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像符号化方法。
19. 請求項１６に記載の映像符号化方法において、
    前記予測残差符号化ステップで符号化した予測残差を復号する予測残差復号ステップと、
    前記予測残差復号ステップで復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、その生成した復号差分画像を蓄積メモリに蓄積する復号差分画像生成蓄積ステップとを備え、
    前記差分画像予測ステップでは、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記符号化対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像符号化方法。
20. 請求項１６に記載の映像符号化方法において、
    符号化対象画像の既に符号化済みの領域の復号画像および、符号化対象画像を撮影した視点で撮影され、かつ、符号化対象画像とは別の時刻に撮影された既に符号化済みの画像の復号画像のいずれかを用いて、符号化対象画像の予測画像を生成する元画像予測ステップを備え、
    前記予測画像生成ステップでは、選択的に、前記予測差分画像と前記合成画像とに基づいて符号化対象領域の予測画像を生成するか、前記元画像予測ステップで生成した予測画像をそのまま利用して符号化対象領域の予測画像を生成するかのいずれかを実行する
    ことを特徴とする映像符号化方法。
21. 視点の異なる複数のカメラにより撮影された多視点画像の符号化データを復号するにあたり、符号化対象の画像を撮影したカメラの視点と異なる少なくとも１つの視点における既に復号済みの参照カメラ画像と、その参照カメラ画像と復号対象の画像との間の視差情報とから、復号対象の画像を撮影したカメラに対する合成画像を生成し、その合成画像を用いて復号対象の画像の符号化データを復号する映像復号方法であって、
    符号化データに含まれる復号対象画像の予測残差を復号する予測残差復号ステップと、
    これから復号する復号対象領域の復号対象画像と、それに対する前記合成画像との差分画像の予測画像を生成する差分画像予測ステップと、
    復号対象領域について、前記差分画像予測ステップで生成した予測差分画像と、前記予測残差復号ステップで復号した予測残差と、前記合成画像とを足し合わせることで、復号対象画像を復号する画像復号ステップとを備える
    ことを特徴とする映像復号方法。
22. 請求項２１に記載の映像復号方法において、
    前記差分画像予測ステップでは、復号対象画像の既に復号済み領域の復号画像とその領域の前記合成画像との差で表される、復号対象画像が撮影された時刻と同じ時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号方法。
23. 請求項２１に記載の映像復号方法において、
    前記差分画像予測ステップでは、復号対象画像を撮影した視点で撮影された既に復号済みの参照画像とその参照画像と同じ時刻の前記合成画像との差で表される、復号対象画像が撮影された時刻とは別の時刻の差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号方法。
24. 請求項２１に記載の映像復号方法において、
    前記予測残差復号ステップで復号した復号予測残差と前記予測差分画像との和で表される復号差分画像を生成して、蓄積メモリに蓄積する復号差分画像生成蓄積ステップを備え、
    前記差分画像予測ステップでは、前記蓄積メモリに蓄積されている復号差分画像を用いて、前記復号対象領域の差分画像の予測画像を生成する
    ことを特徴とする映像復号方法。
25. 請求項２１に記載の映像復号方法において、
    復号対象画像の既に復号済みの画像および、復号対象画像を撮影した視点で撮影され、かつ、復号対象画像とは別の時刻に撮影された既に復号済みの画像のいずれかを用いて、復号対象画像の予測画像を生成する元画像予測ステップを備え、
    前記画像復号ステップでは、復号対象領域について、選択的に、前記差分画像予測ステップで生成した予測差分画像と、前記予測残差復号ステップで復号した予測残差と、前記合成画像とを足し合わせることで復号対象画像を復号するか、前記元画像予測ステップで生成した予測画像と、前記予測残差復号ステップで復号した予測残差とを足し合わせることで復号対象画像を復号するかのいずれかを実行する
    ことを特徴とする映像復号方法。
26. 請求項２４に記載の映像復号方法において、
    前記復号差分画像生成蓄積ステップでは、前記復号差分画像の各画素が、所定の有効範囲内の画素値を有するようにクリッピングを行う
    ことを特徴とする映像復号方法。
27. 請求項１に記載の映像符号化装置の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
28. 請求項１に記載の映像符号化装置の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
29. 請求項９に記載の映像復号装置の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
30. 請求項９に記載の映像復号装置の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images