JP4805160B2

JP4805160B2 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Info

Publication number: JP4805160B2
Application number: JP2006539271A
Authority: JP
Inventors: 正樹北原; 英明木全
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-10-07
Filing date: 2005-09-30
Publication date: 2011-11-02
Anticipated expiration: 2025-09-30
Also published as: EP1798981A4; WO2006038568A1; US8275048B2; US20080317115A1; KR100972222B1; CN103179400A; TWI285054B; KR20060118592A; CN103179400B; EP1798981A1; TW200621032A; JPWO2006038568A1; CN1918917A

Description

本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化及び映像復号に関する技術である。

一般的に映像符号化では時間方向の相関を使って高い符号化効率を実現するため、フレーム間予測符号化を用いている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。

Ｐフレームでは、ＩフレームまたはＰフレームから予測し、Ｂフレームでは、ＩフレームまたはＰフレームまたはＢフレームから予測することができる。特に映像符号化方式Ｈ．２６４では、符号化装置内の参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測に用いることができる。また、Ｐフレームでは入力動画像における時間が過去のフレームから予測するが、Ｂフレームでは過去のフレームだけではなく未来のフレームからも予測することができる。

図７（ａ）部に動画像の予測関係の例を示す。

Ｂフレームで２フレームから予測する場合（両方向予測）には、２フレームからの画像情報を補間して、１フレーム分の画像情報を作成して予測画像を作成する。第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には、図７（ａ）部に示す予測関係があるため、実際に符号化する場合には、図７（ａ）部に示すフレームの番号を左から１〜７として、図７（ｂ）部に示すように、“１→４→２→３→７→５→６”というフレーム番号順でフレームを符号化する。

ここで、インタレース動画像は１フレーム内に２フィールドを持つ構成となるが、上記と同様に、フィールド毎に予測関係を設定することができる。一般的にフレームとフィールドを総称してピクチャと呼ぶ。また、Ｂフレームの両方向予測では、過去の２フレームまたは未来の２フレームから予測することも可能である。例えば映像符号化方式Ｈ．２６４では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を２フレーム分選択して予測することができる。ここで、選択したフレームの復号後の表示時刻は、符号化対象フレームの表示時刻の未来であっても過去であってもよい。

また、Ｉピクチャを先頭にしたピクチャの集合をＧＯＰ（group of picture）として設定することにより、ＧＯＰ単位の符号化データの、時間についてのランダムアクセス機能を容易に実現できる。

ＧＯＰは、特定のピクチャの符号化データの前に、ＧＯＰ先頭であることを示す情報を含めることによって、そのピクチャが、そのピクチャ以降の複数ピクチャで構成されるＧＯＰの先頭であることを指定することが可能である。ＭＰＥＧ−２では、特有なビットパターンを持つ符号を挿入することによりＧＯＰの先頭であることを指定する。

即ち、ＧＯＰの先頭であることを示す符号間で１ＧＯＰの符号化データを構成することができる。なお、符号化データ中にＧＯＰの先頭であることを示す情報を符号化するのではなく、符号化データとは独立した情報としてＧＯＰ構成情報を指定することも可能である。

一般に、ＧＯＰ先頭であることを示す情報の後には、ＧＯＰの先頭フレームの時刻情報も含んでおり、時間についてのランダムアクセスを実現する際に利用される。また、各ピクチャにも時刻情報をつけることも可能である。
この時刻情報は例えばＨ．２６３ではＴＲ（Temporal Reference）と呼ぶ。ＴＲは単位時間を基本とした、フレームの出力順序を表す情報である。例えば単位時間を１／３０秒に設定すれば、フレームごとに値が１つずつ増加することはフレームレートが３０フレーム／秒であることと等価である。通常ＴＲは固定長符号化される。

更に、複数のカメラ映像の符号化について、各カメラ映像をＧＯＰに設定し、ＧＯＰ間で予測符号化を適用しながら一つの映像情報として符号化する手法が提案されている。

例えば、下記に示す非特許文献１や非特許文献２では、Ｂase ＧＯＰとＩnterＧＯＰを定義してＧＯＰ間の予測関係を示す方法を提案している。Ｂase ＧＯＰに含まれるピクチャは同一ＧＯＰ内に含まれるピクチャのみを参照し、ＩnterＧＯＰに含まれるピクチャは同一または他のＧＯＰ内に含まれるピクチャを参照する。ＩnterＧＯＰでは、ヘッダ部分に、参照するＧＯＰを示す参照ＧＯＰ情報を含める。

このように、複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらによれば撮影した位置での映像が得られるが、更に撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。

例えば、下記に示す非特許文献３では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。

このような映像を生成する技術では、一般的に、複数のカメラ入力画像で同じ被写体が撮影されている場合に、それらの撮影されている画像情報を使って、その被写体について撮影されていない視点位置や視線方向の画像情報を生成する。すなわち、複数のカメラ入力画像にまたがって撮影されている被写体について、各カメラ入力画像の一部分を使って画像情報を生成している。

この画像生成技術としては、例えば適応フィルタ方法（例えば非特許文献４参照）や、テーブル参照法（例えば非特許文献５参照）が挙げられる。
Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)," document M10976 MPEG Redmond Meeting, July, 2004. Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, Yoshiyuki Yashima, Toshiaki Fujii, and Masayuki Tanimoto, "System Design of Free Viewpoint Video Communication," CIT2004, Sep., 2004. 藤井，木本，谷本："光線群表現における３次元空間情報の圧縮"，３次元画像コンファレンス'96, pp.1-6 (1996.7). T.Kobayashi, T.Fujii, T.Kimoto, M.Tanimoto, "Interpolation of Ray-Space Data by Adaptive Filtering," IS&T/SPIE Electronic Imaging 2000, 2000. M.Kawaura, T.Ishigami, T.Fujii, T.Kimoto, M.Tanimoto, "Efficient Vector Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Blocks," Picture Coding Symposium 2001, pp.203-206, 2001.

複数のカメラ映像のうち、撮影されていない視点位置や視線方向の映像を生成する技術で品質が十分に良い画像が得られる場合には、一部のカメラ映像の画像情報を符号化せずに、映像再生側で画像を生成できるため、結果的に複数カメラ映像に対する符号化効率を向上できる。

しかしながら、従来の映像符号化方式では、映像再生側で一部のカメラ映像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを示す情報を符号化する仕組みがないため、実際には全てのカメラ映像を符号化して送出しており、符号化効率を向上できなかった。

本発明はかかる事情に鑑みてなされたものであって、映像再生側で一部のカメラ映像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを示す情報を符号化する仕組みを提供することにより、視点位置や視線方向を変更することを可能とする映像技術などに好適となる新たな映像符号化及び映像復号に関する技術の提供を目的とする。

この目的を達成するために、本発明の映像符号化方法は、視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化する映像符号化方法であって、前記複数の入力映像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けするステップと、前記複数の入力映像のうちいずれか１つの入力映像のＧＯＰごとに、該ＧＯＰに含まれる画像を該画像の符号化データを用いなくても生成できる場合に、前記画像の符号化データを出力しないことを決定し、前記ＧＯＰに含まれる画像を該画像の符号化データを用いなくては生成できない場合に、該画像の符号化データを出力することを決定するＧＯＰ符号化決定ステップと、前記ＧＯＰ符号化決定ステップにおける決定に応じて、前記ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化ステップと、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを出力することを示す場合に、前記ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化ステップとを有する映像符号化方法を提供する。

典型例として、上記ＧＯＰ符号化決定ステップでは、前記ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、該ＧＯＰに含まれる画像を符号化するかどうかを決定する。なお、この方法以外に、原画像の変化を評価することなどにより、該ＧＯＰに含まれる画像を符号化するかどうかを決定することも可能である。
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化ステップを更に有しても良い。
また、前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化ステップを更に有しても良い。

本発明はまた、視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化することで生成された符号化データを復号する映像復号方法であって、前記複数の入力画像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けしたうちのいずれか１つの入力画像のＧＯＰごとに、該ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号ステップと、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号することを示す場合に、前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を復号し、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号しないことを示す場合に、前記符号化データを用いない画像生成技術を用いて前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を生成するＧＯＰ内画像復号ステップとを有する映像復号方法を提供する。
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号ステップを更に有しても良い。
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号ステップを更に有しても良い。

本発明はまた、視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化する映像符号化装置であって、前記複数の入力映像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けする手段と、前記複数の入力映像のうちいずれか１つの入力映像のＧＯＰごとに、該ＧＯＰに含まれる画像を該画像の符号化データを用いなくても生成できる場合に、前記画像の符号化データを出力しないことを決定し、前記ＧＯＰに含まれる画像を該画像の符号化データを用いなくては生成できない場合に、該画像の符号化データを出力することを決定するＧＯＰ符号化決定部と、前記ＧＯＰ符号化決定部の決定に応じて、前記ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化部と、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを出力することを示す場合に、前記ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化部とを備える映像符号化装置を提供する。

典型例として、上記ＧＯＰ符号化決定部は、前記ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いのか否かを判断することにより、該ＧＯＰに含まれる画像を符号化するかどうかを決定する。
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化部を更に備えるようにしても良い。
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化部を更に備えるようにしても良い。

本発明はまた、視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化することで生成された符号化データを復号する映像復号装置であって、前記複数の入力画像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けしたうちのいずれか１つの入力画像のＧＯＰごとに、該ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号部と、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号することを示す場合に、前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を復号し、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号しないことを示す場合に、前記符号化データを用いない画像生成技術を用いて前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を生成するＧＯＰ内画像復号部とを備える映像復号装置を提供する。
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、１以上の他のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号部を更に備えるようにしてもよい。
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号部を更に備えるようにしても良い。

本発明はまた、上記映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明はまた、上記映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
即ち、これらコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現可能である。

上記本発明によれば、カメラ入力映像ごとにＧＯＰを構成しておき、画像生成手法でカメラ入力映像が生成できる場合には、そのＧＯＰについて画像を符号化せずに、代わりに映像再生側で画像を生成するように指定することができる。
すなわち、映像符号化側では、画像生成手法でカメラ入力映像が生成できるかどうかを決定する。そして、カメラ入力映像を生成できる場合には、ＧＯＰに含まれる画像の符号化データを出力しないとしてＧＯＰ符号化有無情報を符号化し、カメラ入力映像を生成できない場合には、ＧＯＰに含まれる画像の符号化データを出力するとしてＧＯＰ符号化有無情報を符号化する。そして、カメラ入力映像を生成できない場合には、ＧＯＰに含まれる画像を符号化する（ＧＯＰに含まれる画像の符号化データを出力する）。

これを受けて、映像復号側では、ＧＯＰＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号する。そして、ＧＯＰ符号化有無情報がＧＯＰに含まれる画像の符号化データを復号することを示す場合には、画像の符号化データを復号する。
ここで、映像復号側では、ＧＯＰ符号化有無情報がＧＯＰに含まれる画像の符号化データを復号しないことを示す場合には、画像生成技術を使ってＧＯＰ内の画像を生成してもよい。ただし、そのＧＯＰ内の画像が不必要な場合には、画像を生成する必要はない。

更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入力映像を生成する際に使用する画像を含むＧＯＰを指定することができる。このとき使用するＧＯＰの画像は符号化データを復号して得られるものでもよいし、映像復号側で生成して得られるものでもよい。
これにより、映像復号側で、所望のＧＯＰの画像を生成するときに、生成に必要な画像が復号または生成されていない場合には、その画像を含むＧＯＰを復号または生成することにより、所望の画像を生成することができる。ここで、所望の映像を生成する際に使用する画像を含むＧＯＰとしては、他のカメラ入力映像であっても、所望の映像の属するカメラ入力映像であってもよい。

更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入力映像を生成する際に使用する画像生成手法を指定することができる。
この画像生成手法については、映像符号化側と映像復号側で、予め複数の画像生成手法を用意しておき、映像符号化側で、どの画像生成手法を映像復号側で使用するのかを決定してもよい。これにより、映像符号化側で、画像品質の良い画像生成手法を選択することができる。
なお、再生させたい映像の属するカメラ入力映像を使用して該映像を生成する場合には、そのカメラ入力映像に属する前（過去）のＧＯＰの画像を使用してもよい。また、カメラの台数が少ない場合には、画像の生成に使用するＧＯＰが限定されるため、使用するＧＯＰを指定する必要はない。

本発明によれば、映像再生側で画像を生成できるかどうかを符号化時に判定し、更に生成することを示す情報を符号化することが可能となるため、画像符号化側で映像を符号化しないことを制御できるようになり、これにより符号化効率を向上できるようになる。

このようにして、本発明によれば、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化・復号技術を提供できるようになる。

第１の実施形態例におけるＧＯＰの構成の一例を示す図である。第１の実施形態例における映像符号化装置の装置構成例を示す図である。第１の実施形態例における映像復号装置の装置構成例を示す図である。第２の実施形態例における映像符号化装置の装置構成例を示す図である。第２の実施形態例におけるＧＯＰの構成の一例を示す図である。第２の実施形態例における映像復号装置の装置構成例を示す図である。動画像の予測関係の説明図である。

符号の説明

１０１画像Ａ入力部
１０２画像Ａ符号化部
１０３画像Ａ復号部
１０４画像Ａ蓄積メモリ
１０５画像Ｂ入力部
１０６画像Ｂ符号化部
１０７画像Ｂ復号部
１０８画像Ｂ蓄積メモリ
１０９画像Ｃ入力部
１１０ＧＯＰ内画像符号化部
１１１画像Ｃ復号部
１１２復号画像蓄積メモリ
１１３原画像蓄積メモリ
１１４画像生成部
１１５生成参照ＧＯＰ符号化部
１１６生成情報符号化部
１１７ＧＯＰ符号化決定部
１１８ＧＯＰ符号化有無情報符号化部
１１９ＧＯＰ情報蓄積メモリ
２０１画像Ａ復号部
２０２画像Ａ蓄積メモリ
２０３画像Ｂ復号部
２０４画像Ｂ蓄積メモリ
２０５ＧＯＰ内画像復号部
２０６復号画像蓄積メモリ
２０７画像生成部
２０８生成参照ＧＯＰ復号部
２０９生成情報復号部
２１０ＧＯＰ符号化有無情報復号部
１１８０ＧＯＰヘッダ／符号化有無情報符号化部
２１００ＧＯＰヘッダ／符号化有無情報復号部

以下、実施の形態に従って本発明を詳細に説明する。

以下に説明する実施形態例では、３カメラ映像を符号化する場合に、２カメラ映像を独立に符号化しておき、１カメラ映像をそれら２カメラ映像の画像情報から、あるいは、その１カメラ映像の過去の画像から、その１カメラ映像の現在の画像を用いずに画像生成技術により生成するかどうかを決定する手法について示す。

〔Ｉ〕第１の実施形態例
図１に、第１の実施形態例におけるＧＯＰを示す。

この図に示すように、第１の実施形態例では、ＧＯＰは予め２フレームで構成されると決められているものとする。また、各ＧＯＰには図中に示すＧＯＰ番号（ＧＯＰ１〜ＧＯＰ６）が割り当てられているものとする。

図１に示す３カメラ映像Ａ，Ｂ，Ｃのうち、Ｃについて画像生成技術により生成するかどうかを決定する。ＡまたはＢからＣを生成する手法としては、画像生成方法Ｘと画像生成方法Ｙとが予め用意されており、また、Ｃの過去の画像情報から画像を生成する技術として画像生成方法Ｚが用意されているものとする。

画像を生成する際に使用する画像としてＡまたはＢを選択する場合には、画像生成方法を指定する情報を符号化することになるが、画像を生成する際に使用する画像としてＣの過去の画像を選択する場合には、画像生成方法はＺに一意に決まるため、画像生成方法を指定する情報を符号化する必要はない。なお、画像生成方法Ｚは、本実施形態においては直前の画像を出力する手法である。

画像生成方法Ｘは例えば適応フィルタ方法であり、画像生成方法Ｙは例えばテーブル参照方法である。以下に説明する実施形態例では、ＡとＢの復号画像を使って、Ｃの画像生成方法を決定するものとする。

〔Ｉ−１〕第１の実施形態例を実現する本発明の映像符号化装置
図２に、第１の実施形態例を実現する本発明の映像符号化装置の装置構成の一例を図示する。

この図に示すように、本発明の映像符号化装置は、
（イ）画像Ａ（カメラ入力映像Ａ）に対して、画像を入力する画像Ａ入力部１０１と、画像Ａ入力部１０１の入力した画像を符号化する画像Ａ符号化部１０２と、画像Ａ符号化部１０２の符号化した画像を復号する画像Ａ復号部１０３と、画像Ａ復号部１０３の復号した画像を蓄積する画像Ａ蓄積メモリ１０４とを備え、
（ロ）画像Ｂ（カメラ入力映像Ｂ）に対して、画像を入力する画像Ｂ入力部１０５と、画像Ｂ入力部１０５の入力した画像を符号化する画像Ｂ符号化部１０６と、画像Ｂ符号化部１０６の符号化した画像を復号する画像Ｂ復号部１０７と、画像Ｂ復号部１０７の復号した画像を蓄積する画像Ｂ蓄積メモリ１０８とを備え、
（ハ）画像Ｃ（カメラ入力映像Ｃ）に対して、画像を入力する画像Ｃ入力部１０９と、画像Ｃ入力部１０９の入力した画像を符号化するＧＯＰ内画像符号化部１１０と、ＧＯＰ内画像符号化部１１０の符号化した画像を復号する画像Ｃ復号部１１１と、画像Ｃ復号部１１１の復号した画像を蓄積する復号画像蓄積メモリ１１２と、画像Ｃ入力部１０９の入力した原画像を蓄積する原画像蓄積メモリ１１３と、原画像Ｃを用いずに画像Ｃを生成する画像生成部１１４と、画像Ｃを生成する際に使用するＧＯＰを指定する情報（具体的にはＧＯＰの番号）を符号化する生成参照ＧＯＰ符号化部１１５と、画像Ｃの生成に用いられる画像生成方法を指定する情報を符号化する生成情報符号化部１１６と、ＧＯＰの画像を符号化するかどうかを決定するＧＯＰ符号化決定部１１７と、ＧＯＰの画像を符号化したかどうかを指定する情報を符号化するＧＯＰ符号化有無情報符号化部１１８とを備える。

ここで、画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８は、それぞれ復号画像を２フレーム分蓄積し、また、原画像蓄積メモリ１１３は、原画像を２フレーム分蓄積する。また、復号画像蓄積メモリ１１２は、復号画像を３フレーム分蓄積するものとする。なお、初期状態の各メモリには何も画像情報が蓄積されていないものとする。

ＧＯＰ符号化決定部１１７は、まず、画像生成部１１４にて画像生成方法Ｘを使って生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｘを計算する。このとき、画像Ａ蓄積メモリ１０４の画像のみを使う場合の平均二乗誤差をＸａとし、画像Ｂ蓄積メモリ１０８の画像のみを使う場合の平均二乗誤差をＸｂとし、画像Ａ蓄積メモリ１０４の画像と画像Ｂ蓄積メモリ１０８の画像の両方を使う場合の平均二乗誤差をＸｃとする。

更に、ＧＯＰ符号化決定部１１７は、画像生成部１１４にて画像生成方法Ｙを使って生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｙを計算する。このとき、画像Ａ蓄積メモリ１０４の画像のみを使う場合の平均二乗誤差をＹａとし、画像Ｂ蓄積メモリ１０８の画像のみを使う場合の平均二乗誤差をＹｂとし、画像Ａ蓄積メモリ１０４の画像と画像Ｂ蓄積メモリ１０８の画像の両方を使う場合の平均二乗誤差をＹｃとする。

更に、ＧＯＰ符号化決定部１１７は、ＧＯＰ内画像符号化部１１０で符号化し画像Ｃ復号部１１１で復号して復号画像蓄積メモリ１１２に蓄積された復号画像のうち、現ＧＯＰの復号画像と原画像蓄積メモリ１１３に蓄積された対応する画像との間の平均二乗誤差Ｄを計算する。

更に、ＧＯＰ符号化決定部１１７は、復号画像メモリ１１２に前ＧＯＰの画像が蓄積されている場合には、画像生成方法Ｚで生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｚを計算する。

そして、ＧＯＰ符号化決定部１１７は、このようにして算出した平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤ、あるいは、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤとＺを比較して、最も値が小さい場合の条件を、そのＧＯＰの符号化情報（ＧＯＰ符号化有無情報／生成参照ＧＯＰを指定する情報／画像生成方法を指定する情報で構成される）として決定する。すなわち、次のように決定する。

なお、以下では、“符号化データ”と“符号化情報”とを明確に区別しており、“符号化データ”と記載する場合には、画像を符号化したときのデータを示している。

（１）平均二乗誤差Ｘａが最も小さい場合
Ｘａが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像ＡのＧＯＰを指定する。

このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｘを指定する情報を符号化する。

（２）平均二乗誤差Ｘｂが最も小さい場合
Ｘｂが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像ＢのＧＯＰを指定する。

（３）平均二乗誤差Ｘｃが最も小さい場合
Ｘｃが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像Ａと画像ＢのＧＯＰを指定する。

（４）平均二乗誤差Ｙａが最も小さい場合
Ｙａが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像ＡのＧＯＰを指定する。

このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｙを指定する情報を符号化する。

（５）平均二乗誤差Ｙｂが最も小さい場合
Ｙｂが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像ＢのＧＯＰを指定する。

（６）平均二乗誤差Ｙｃが最も小さい場合
Ｙｃが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像Ａと画像ＢのＧＯＰを指定する。

（７）平均二乗誤差Ｚが最も小さい場合
Ｚが最も小さい場合には、画像生成方法としてＺを指定し、生成参照ＧＯＰとして画像ＣのＧＯＰを指定する。

このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。

ここで、上述したように、画像を生成する際に使用する画像としてＣの過去の画像を選択する場合には、画像生成方法はＺに一意に決まるため、生成情報符号化部１１６は、画像生成方法を指定する情報を符号化する必要がない。

（８）平均二乗誤差Ｄが最も小さい場合
Ｄが最も小さい場合には、ＧＯＰ内画像符号化部１１０で符号化した符号化データを出力する。

このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力することを示すようにＧＯＰ符号化有無情報を符号化し、ＧＯＰ内画像符号化部１１０は、符号化した符号化データを出力する。

即ち、上記（１）〜（７）の場合には、映像再生側でカメラ映像Ｃの画像を、その画像データを用いなくても生成できると判定され、（８）の場合には、その画像データを用いなくては該画像を生成できないと判定される。
このような前提の下、本発明の映像符号化装置はカメラ入力映像を次のように符号化する。

（ｉ）時刻Ｔ１，Ｔ２における符号化処理
まず、時刻Ｔ１とＴ２において、画像Ａと画像Ｂを符号化する。

画像Ａについては、画像Ａ入力部１０１で画像を入力して、画像Ａ符号化部１０２は画像を符号化し、画像Ａ復号部１０３は符号化データを復号し、画像Ａ蓄積メモリ１０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ１０４にはＴ１とＴ２における画像が蓄積される。

画像Ｂについては、画像Ｂ入力部１０５で画像を入力して、画像Ｂ符号化部１０６は画像を符号化し、画像Ｂ復号部１０７は符号化データを復号し、画像Ｂ蓄積メモリ１０８は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ１０８にはＴ１とＴ２における画像が蓄積される。

続いて、画像Ｃ入力部１０９は画像Ｃを入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０はＴ１とＴ２の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。

続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘおよび画像生成方法Ｙをそれぞれ適用して、画像を生成する。なお、前フレームが存在しないので、この時点では、画像生成方法Ｚを適用して画像を生成することはできない。

これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤを求める（なお、この時点では平均二乗誤差Ｚについては求めることはできない）。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。

そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが用いられる場合には、画像生成方法を示す情報については符号化する必要がない（なお、この時点では画像生成方法Ｚが用いられることはない）。

ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ１とＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像（即ち、選択された生成方法により生成された画像）を蓄積する。

（ii）時刻Ｔ３，Ｔ４における符号化処理
続いて、時刻Ｔ３とＴ４において、時刻Ｔ１とＴ２と同様な処理を行い、画像Ａと画像Ｂを符号化する。

画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８に蓄積されていた復号画像は、最も古いものから廃棄して、新しく復号された画像を蓄積する。これにより、各メモリにはＴ３とＴ４の復号画像が蓄積される。

続いて、画像Ｃ入力部１０９は画像Ｃを入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。このとき、原画像蓄積メモリ１１３に蓄積されていた原画像は、最も古いものから廃棄して、新しく入力された画像を蓄積する。これにより、原画像蓄積メモリ１１３にはＴ３とＴ４の原画像が蓄積される。

続いて、ＧＯＰ内画像符号化部１１０はＴ３とＴ４の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。このとき、復号画像蓄積メモリ１１２に蓄積されていた復号画像は、最も古いものから廃棄して、新しく復号された画像を蓄積する。これにより、復号画像蓄積メモリ１１２にはＴ２とＴ３とＴ４の復号画像が蓄積される。

続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙを適用して、それぞれ画像を生成する。更に、復号画像蓄積メモリ１１２に蓄積されたＴ２の画像に対して、画像生成方法Ｚを適用して、画像を生成する。

これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤとＺを求める。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。

そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが選択される場合には、画像生成方法を示す情報については符号化する必要がない。

ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１００から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ３とＴ４の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定された符号化情報に対応する画像を蓄積する。

〔Ｉ−２〕第１の実施形態例を実現する本発明の映像復号装置
次に、第１の実施形態例を実現する本発明の映像復号装置について説明する。

図３に、第１の実施形態例を実現する本発明の映像復号装置の装置構成の一例を図示する。

この図に示すように、本発明の映像復号装置は、
（イ）画像Ａ（カメラ入力映像Ａ）に対して、画像を復号する画像Ａ復号部２０１と、画像Ａ復号部２０１の復号した画像を蓄積する画像Ａ蓄積メモリ２０２とを備え、
（ロ）画像Ｂ（カメラ入力映像Ｂ）に対して、画像を復号する画像Ｂ復号部２０３と、画像Ｂ復号部２０３の復号した画像を蓄積する画像Ｂ蓄積メモリ２０４とを備え、
（ハ）画像Ｃ（カメラ入力映像Ｃ）に対して、画像を復号するＧＯＰ内画像復号部２０５と、ＧＯＰ内画像復号部２０５の復号した画像を蓄積する復号画像蓄積メモリ２０６と、画像Ｃを生成する画像生成部２０７と、画像Ｃを生成する際に使用するＧＯＰを指定する情報（具体的にはＧＯＰの番号）を復号する生成参照ＧＯＰ復号部２０８と、画像Ｃの生成に用いられる画像生成方法を指定する情報を復号する生成情報復号部２０９と、ＧＯＰの画像を復号するかどうかを指定する情報を復号するＧＯＰ符号化有無情報復号部２１０とを備える。

画像生成部２０７と生成参照ＧＯＰ復号部２０８と生成情報復号部２０９とは、ＧＯＰの符号化データを復号しない場合、次のように動作する。

まず、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。一方、ＧＯＰの番号が入力画像Ｃに属する場合には、生成情報復号部２０９は、画像生成方法を指定する情報を復号しない。

続いて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。ここで、ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成部２０７は、画像生成方法としてＺを使用する。

このような前提の下、本発明の映像復号装置は、本発明の映像符号化装置から出力される符号化データを次のように復号する。

（ｉ）時刻Ｔ１，Ｔ２における復号処理
まず、時刻Ｔ１とＴ２において、画像Ａと画像Ｂを復号する。

画像Ａについては、画像Ａ復号部２０１は符号化データを復号し、画像Ａ蓄積メモリ２０２は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ２０２にはＴ１とＴ２における画像が蓄積される。

画像Ｂについては、画像Ｂ復号部２０３は符号化データを復号し、画像Ｂ蓄積メモリ２０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ２０４にはＴ１とＴ２における画像が蓄積される。

続いて、画像Ｃについて、ＧＯＰ符号化有無情報復号部２１０は、ＧＯＰの符号化データを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいずれかの処理を実行する。

すなわち、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。

一方、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属するため（前フレームが存在しないので、この時点では入力画像Ｃに属することはない）、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。

復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。

（ii）時刻Ｔ３，Ｔ４における復号処理
続いて、時刻Ｔ３とＴ４において、時刻Ｔ１とＴ２と同様な処理を行い、画像Ａと画像Ｂを復号し、画像Ａについては画像Ａ蓄積メモリ２０２に復号画像を蓄積し、画像Ｂについては画像Ｂ蓄積メモリ２０４に復号画像を蓄積する。

一方、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。一方、ＧＯＰの番号が入力画像Ｃに属する場合には、生成情報復号部２０９は、画像生成方法Ｚが用いられていることを特定できるので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。このとき、ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成方法Ｚを使用する。

復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、Ｔ１，Ｔ２の画像を廃棄して復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、Ｔ１，Ｔ２の画像を廃棄して、画像生成部２０７で生成される画像を蓄積する。

以上により、本発明の映像符号化装置はＴ１とＴ２とＴ３とＴ４の画像を符号化し、一方、本発明の映像復号装置は符号化データを復号、または画像を生成することにより同時刻の画像を得ることができる。

〔II〕第２の実施形態例
次に、第２の実施形態例について説明する。

第１の実施形態例では、ＧＯＰは２フレームとして予め決定しておいたが、ＧＯＰをフレーム毎に別にするかどうかを適応的に決定してもよい。第２の実施形態例は、この構成を実現するものである。

図４に、第２の実施形態例を実現する本発明の映像符号化装置の装置構成の一例を図示する。ここで、図中、図２で説明したものと同じものについては同一の記号で示してある。

第１の実施形態例との違いは、ＧＯＰの符号化情報を蓄積するＧＯＰ情報蓄積メモリ１１９を備えることである。また、ＧＯＰヘッダ／符号化有無情報符号化部１１８０は、符号化有無情報の符号化に加え、ＧＯＰの先頭にＧＯＰヘッダを符号化する処理を行う。ＧＯＰヘッダは固有のビットパターンで構成される固定長の符号である。

第２の実施形態例を実現する本発明の映像復号装置の装置構成(図６に示す）は、図３に示す第１の実施形態例と同様である。ただし、ＧＯＰヘッダ／符号化有無情報復号部２１００は、各フレームにおいてＧＯＰヘッダの有無をチェックして、ＧＯＰヘッダが検出されると、別の（独立した）ＧＯＰとして復号処理を行う。

〔II−１〕第２の実施形態例における符号化処理
第２の実施形態例におけるカメラ入力映像ＡとＢとＣの符号化方法は次のようになる。

まず、時刻Ｔ１とＴ２の画像ＡとＢについて、第１の実施形態例と同様に画像を符号化して復号画像を得る。画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８にはＴ１とＴ２の復号画像が蓄積される。

すなわち、画像Ａについては、画像Ａ入力部１０１で画像を入力して、画像Ａ符号化部１０２は画像を符号化し、画像Ａ復号部１０３は符号化データを復号し、画像Ａ蓄積メモリ１０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ１０４にはＴ１とＴ２における画像が蓄積される。

また、画像Ｂについては、画像Ｂ入力部１０５で画像を入力して、画像Ｂ符号化部１０６は画像を符号化し、画像Ｂ復号部１０７は符号化データを復号し、画像Ｂ蓄積メモリ１０８は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ１０８にはＴ１とＴ２における画像が蓄積される。

（ｉ）時刻Ｔ１における画像Ｃの符号化処理
続いて、時刻Ｔ１の画像Ｃについて、まず、画像Ｃ入力部１０９は画像を入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０は時刻Ｔ１の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。

続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙをそれぞれ適用して、時刻Ｔ１の画像を生成する。なお、前フレームが存在しないので、この時点では、画像生成方法Ｚを適用して画像を生成することはできない。

これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤを求める（なお、この時点では平均二乗誤差Ｚについては求めることができない）。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。

そして、ＧＯＰ符号化決定部１１７は、決定したＧＯＰの符号化情報をＧＯＰ情報蓄積メモリ１１９に蓄積し、ＧＯＰ符号化有無情報符号化部１１８０は、ＧＯＰヘッダを符号化して出力する。

ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ１の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像を蓄積する。

（ii）時刻Ｔ２における画像Ｃの符号化処理
続いて、時刻Ｔ２の画像Ｃについて、まず、画像Ｃ入力部１０９は画像を入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０は時刻Ｔ２の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。

続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙをそれぞれ適用して、時刻Ｔ２の画像を生成する。更に、復号画像蓄積メモリ１１２に蓄積された画像に対して画像生成方法Ｚを適用して、時刻Ｔ２の画像を生成する。

続いて、ＧＯＰ符号化決定部１１７は、ここで決定したＧＯＰの符号化情報と、ＧＯＰ情報蓄積メモリ１１９に蓄積されているＧＯＰの符号化情報とを比較し、両者のＧＯＰの符号化情報が異なる場合には、別のＧＯＰとして画像を符号化することを決定し、両者のＧＯＰの符号化情報が同じ場合には、同じＧＯＰとして画像を符号化することを決定する。

そして、ＧＯＰ符号化決定部１１７は、決定したＧＯＰの符号化情報をＧＯＰ情報蓄積メモリ１１９に蓄積する。以後は、具体的には次のように動作する。

（ii−１）別のＧＯＰとして符号化する場合
別のＧＯＰとして符号化する場合には、ＧＯＰヘッダ／符号化有無情報符号化部１１８０は、ＧＯＰヘッダを符号化して出力する。そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが用いられている場合には、画像生成方法を示す情報については符号化する必要がない。

ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像を蓄積する。

（ii−２）同じＧＯＰとして符号化する場合
同じＧＯＰとして符号化する場合で、ＧＯＰ内画像符号化部１１０から符号化データを出力する場合には、そのフレームの符号化データを出力し、一方、ＧＯＰ内画像符号化部１１０から符号化データを出力しない場合には、復号側に通知済みの１つ前の時刻のＴ１におけるＧＯＰの符号化情報により復号側で画像生成方法を特定できるので、何も出力しない。

ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定された符号化情報に対応する画像を蓄積する。

〔II−２〕第２の実施形態例における復号処理
これに対応する第２の実施形態例における復号処理は次のように動作する。

まず、時刻Ｔ１とＴ２の画像ＡとＢについて、第１の実施形態例と同様に画像を復号して復号画像を得る。画像Ａ蓄積メモリ２０２と画像Ｂ蓄積メモリ２０４にはＴ１とＴ２の復号画像が蓄積される。

すなわち、画像Ａについては、画像Ａ復号部２０１は符号化データを復号し、画像Ａ蓄積メモリ２０２は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ２０２にはＴ１とＴ２における画像が蓄積される。

また、画像Ｂについては、画像Ｂ復号部２０３は符号化データを復号し、画像Ｂ蓄積メモリ２０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ２０４にはＴ１とＴ２における画像が蓄積される。

（ｉ）時刻Ｔ１における画像Ｃの復号処理
続いて、時刻Ｔ１の画像Ｃについて、ＧＯＰヘッダ／符号化有無情報復号部２１００は、ＧＯＰヘッダの有無をチェックする。ＧＯＰヘッダがあるので、ＧＯＰヘッダ／符号化有無情報復号部２１００は、続いて、ＧＯＰの符号化データを復号するかどうかを指定する情報（符号化有無情報）を復号する。この情報に基づいて、次のいずれかの処理を実行する。

すなわち、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。

一方、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属するため（先頭フレームであるので、この時点では入力画像Ｃに属することはない）、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。

これを受けて、復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。

（ii）時刻Ｔ２における画像Ｃの復号処理
（ii−１）ＧＯＰヘッダが検出される場合の復号処理（ＧＯＰの符号化情報が符号化されている場合）
続いて、時刻Ｔ２の画像Ｃについて、ＧＯＰヘッダ／符号化有無情報復号部２１００は、ＧＯＰヘッダの有無をチェックする。ＧＯＰヘッダを検出する場合には、更に、ＧＯＰの符号化データを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいずれかの処理を実行する。

一方、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合は、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。ＧＯＰの番号が入力画像Ｃに属する場合は、生成情報復号部２０９は、画像生成方法Ｚが用いられていることを特定できるので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成方法Ｚを使用する。

（ii−２）ＧＯＰヘッダが検出されない場合の復号処理（ＧＯＰの符号化情報が符号化されていない場合）
ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰヘッダを検出しない場合には、次のように動作する。

すなわち、前フレームで符号化データを復号した場合には、ＧＯＰ内画像復号部２０５は、現フレームにおいて符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。

一方、前フレームで符号化データを復号しなかった場合には、現フレームにおいて前フレームにおけるＧＯＰの符号化情報と同一のＧＯＰの符号化情報が用いられていることに対応して、生成参照ＧＯＰ復号部２０８が前フレームで得たＧＯＰの番号を復号処理に用いる。この場合、ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、生成情報復号部２０９が前フレームで画像生成方法を指定する情報としてＸまたはＹを得ているので、それを使って復号処理を行う。なお、ここでは、前フレームは先頭フレームであるので、ＧＯＰの番号が入力画像Ｃに属することはないが、ＧＯＰヘッダが検出されない場合の一般の復号処理として、ＧＯＰの番号が入力画像Ｃに属する場合には生成情報復号部２０９が前フレームで画像生成方法を指定する情報を復号していないことで、画像生成方法を指定する情報としてＺを得ているので、それを使って復号処理を行う。

したがって、画像生成部２０７は、生成参照ＧＯＰ復号部２０８が前フレームで得たＧＯＰ番号と、生成情報復号部２０９が前フレームで得た画像生成方法の情報とを使って画像を生成する。

以上の動作により、ＧＯＰ構成が予め決定されていない場合であっても、本発明の映像符号化装置は画像を符号化し、本発明の映像復号装置は符号化データを復号することができる。このとき得られる符号化データのＧＯＰは図５のような構成になる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。

例えば、実施形態例では、Ｃの画像の生成方法を決定するために、ＡとＢの復号画像を使用したが、ＡとＢの原画像を使用してもよい。この場合には、映像符号化装置に、画像Ａ符号化部１０２と画像Ａ復号部１０３と画像Ｂ符号化部１０６と画像Ｂ復号部１０７とを備える必要はない。

また、実施形態例では、画像生成方法としてＸとＹを用意したが、いずれかのみ用意してもよい。この場合には、映像符号化装置に、生成情報符号化部１１６を備える必要がないとともに、映像復号装置に、生成情報復号部２０９を備える必要がない。

また、実施形態例では、画像生成方法としてＺを用意したが、これを用意しなくてもよい。この場合には、Ｃの復号画像を蓄積する必要がないため、映像符号化装置に、画像Ｃ復号部１１１と復号画像蓄積メモリ１１２とを備える必要がないとともに、映像復号装置に、復号画像蓄積メモリ２０６を備える必要がない。

また、実施形態例では説明しなかったが、画像生成をするために使用するカメラ入力映像が予め決められている場合には、生成に使用するＧＯＰを指定する必要がないため、映像符号化装置に、生成参照ＧＯＰ符号化部１１５を備える必要がないとともに、映像復号装置に、生成参照ＧＯＰ復号部２０８を備える必要がない。

また、実施形態例では、Ｃの画像を生成するために、同時刻のＡまたはＢの画像を使用したが、過去のＡまたはＢの画像を使用しても良く、また、複数の過去の画像を使用してもよい。

映像再生側で画像を生成できるかどうかを符号化時に判定し、更に生成することを示す情報を符号化することが可能となるため、画像符号化側で映像を符号化しないことを制御できるようになり、これにより符号化効率を向上できる。従って、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化・復号技術を提供できる。

Claims

視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化する映像符号化方法であって、
前記複数の入力映像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けするステップと、
前記複数の入力映像のうちいずれか１つの入力映像のＧＯＰごとに、該ＧＯＰに含まれる画像を該画像の符号化データを用いなくても生成できる場合に、前記画像の符号化データを出力しないことを決定し、前記ＧＯＰに含まれる画像を該画像の符号化データを用いなくては生成できない場合に、該画像の符号化データを出力することを決定するＧＯＰ符号化決定ステップと、
前記ＧＯＰ符号化決定ステップにおける決定に応じて、前記ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化ステップと、
前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを出力することを示す場合に、前記ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化ステップと
を有する映像符号化方法。
請求項１に記載の映像符号化方法において、
上記ＧＯＰ符号化決定ステップでは、前記ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、該ＧＯＰに含まれる画像を符号化するかどうかを決定する映像符号化方法。
請求項１に記載の映像符号化方法において、
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化ステップ
を更に有する映像符号化方法。
請求項１に記載の映像符号化方法において、
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化ステップ
を更に有する映像符号化方法。
視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化することで生成された符号化データを復号する映像復号方法であって、
前記複数の入力画像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けしたうちのいずれか１つの入力画像のＧＯＰごとに、該ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号ステップと、
前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号することを示す場合に、前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を復号し、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号しないことを示す場合に、前記符号化データを用いない画像生成技術を用いて前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を生成するＧＯＰ内画像復号ステップと
を有する映像復号方法。
請求項５に記載の映像復号方法において、
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号ステップ
を更に有する映像復号方法。
請求項５に記載の映像復号方法において、
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号ステップ
を更に有する映像復号方法。
視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化する映像符号化装置であって、
前記複数の入力映像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けする手段と、
前記複数の入力映像のうちいずれか１つの入力映像のＧＯＰごとに、該ＧＯＰに含まれる画像を該画像の符号化データを用いなくても生成できる場合に、前記画像の符号化データを出力しないことを決定し、前記ＧＯＰに含まれる画像を該画像の符号化データを用いなくては生成できない場合に、該画像の符号化データを出力することを決定するＧＯＰ符号化決定部と、
前記ＧＯＰ符号化決定部の決定に応じて、前記ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化部と、
前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを出力することを示す場合に、前記ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化部と
を備える映像符号化装置。
請求項８に記載の映像符号化装置において、
上記ＧＯＰ符号化決定部は、前記ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いのか否かを判断することにより、該ＧＯＰに含まれる画像を符号化するかどうかを決定する映像符号化装置。
請求項８に記載の映像符号化装置において、
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化部
を更に備える映像符号化装置。
請求項８に記載の映像符号化装置において、
前記ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化部
を更に備える映像符号化装置。
視点位置及び視点方向の少なくとも一方が異なる複数の入力映像を符号化することで生成された符号化データを復号する映像復号装置であって、
前記複数の入力画像の各々に含まれる複数の画像を、複数のＧＯＰにグループ分けしたうちのいずれか１つの入力画像のＧＯＰごとに、該ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号部と、
前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号することを示す場合に、前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を復号し、前記ＧＯＰ符号化有無情報が前記ＧＯＰに含まれる画像の符号化データを復号しないことを示す場合に、前記符号化データを用いない画像生成技術を用いて前記ＧＯＰ符号化有無情報に対応するＧＯＰに含まれる画像を生成するＧＯＰ内画像復号部と
を備える映像復号装置。
請求項１２に記載の映像復号装置において、
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、１以上の他のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号部
を更に備える映像復号装置。
請求項１２に記載の映像復号装置において、
前記ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号部
を更に備える映像復号装置。
請求項１ないし４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
請求項１ないし４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項５ないし７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
請求項５ないし７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。