JPWO2006038568A1 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 - Google Patents

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Download PDF

Info

Publication number
JPWO2006038568A1
JPWO2006038568A1 JP2006539271A JP2006539271A JPWO2006038568A1 JP WO2006038568 A1 JPWO2006038568 A1 JP WO2006038568A1 JP 2006539271 A JP2006539271 A JP 2006539271A JP 2006539271 A JP2006539271 A JP 2006539271A JP WO2006038568 A1 JPWO2006038568 A1 JP WO2006038568A1
Authority
JP
Japan
Prior art keywords
gop
image
encoding
decoding
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006539271A
Other languages
English (en)
Other versions
JP4805160B2 (ja
Inventor
正樹 北原
正樹 北原
木全　英明
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006539271A priority Critical patent/JP4805160B2/ja
Publication of JPWO2006038568A1 publication Critical patent/JPWO2006038568A1/ja
Application granted granted Critical
Publication of JP4805160B2 publication Critical patent/JP4805160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化方法であって、各ＧＯＰに含まれる画像を符号化するかどうかを決定し、当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化し、当該ＧＯＰに含まれる画像の符号化データを出力する場合に、該ＧＯＰに含まれる画像を符号化する。典型的には、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する。

Description

本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化及び映像復号に関する技術である。
一般的に映像符号化では時間方向の相関を使って高い符号化効率を実現するため、フレーム間予測符号化を用いている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。
Ｐフレームでは、ＩフレームまたはＰフレームから予測し、Ｂフレームでは、ＩフレームまたはＰフレームまたはＢフレームから予測することができる。特に映像符号化方式Ｈ．２６４では、符号化装置内の参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測に用いることができる。また、Ｐフレームでは入力動画像における時間が過去のフレームから予測するが、Ｂフレームでは過去のフレームだけではなく未来のフレームからも予測することができる。
図７（ａ）部に動画像の予測関係の例を示す。
Ｂフレームで２フレームから予測する場合（両方向予測）には、２フレームからの画像情報を補間して、１フレーム分の画像情報を作成して予測画像を作成する。第１フレームから第７フレームの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には、図７（ａ）部に示す予測関係があるため、実際に符号化する場合には、図７（ａ）部に示すフレームの番号を左から１〜７として、図７（ｂ）部に示すように、“１→４→２→３→７→５→６”というフレーム番号順でフレームを符号化する。
ここで、インタレース動画像は１フレーム内に２フィールドを持つ構成となるが、上記と同様に、フィールド毎に予測関係を設定することができる。一般的にフレームとフィールドを総称してピクチャと呼ぶ。また、Ｂフレームの両方向予測では、過去の２フレームまたは未来の２フレームから予測することも可能である。例えば映像符号化方式Ｈ．２６４では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を２フレーム分選択して予測することができる。ここで、選択したフレームの復号後の表示時刻は、符号化対象フレームの表示時刻の未来であっても過去であってもよい。
また、Ｉピクチャを先頭にしたピクチャの集合をＧＯＰ（group of picture）として設定することにより、ＧＯＰ単位の符号化データの、時間についてのランダムアクセス機能を容易に実現できる。
ＧＯＰは、特定のピクチャの符号化データの前に、ＧＯＰ先頭であることを示す情報を含めることによって、そのピクチャが、そのピクチャ以降の複数ピクチャで構成されるＧＯＰの先頭であることを指定することが可能である。ＭＰＥＧ−２では、特有なビットパターンを持つ符号を挿入することによりＧＯＰの先頭であることを指定する。
即ち、ＧＯＰの先頭であることを示す符号間で１ＧＯＰの符号化データを構成することができる。なお、符号化データ中にＧＯＰの先頭であることを示す情報を符号化するのではなく、符号化データとは独立した情報としてＧＯＰ構成情報を指定することも可能である。
一般に、ＧＯＰ先頭であることを示す情報の後には、ＧＯＰの先頭フレームの時刻情報も含んでおり、時間についてのランダムアクセスを実現する際に利用される。また、各ピクチャにも時刻情報をつけることも可能である。
この時刻情報は例えばＨ．２６３ではＴＲ（Temporal Reference）と呼ぶ。ＴＲは単位時間を基本とした、フレームの出力順序を表す情報である。例えば単位時間を１／３０秒に設定すれば、フレームごとに値が１つずつ増加することはフレームレートが３０フレーム／秒であることと等価である。通常ＴＲは固定長符号化される。
更に、複数のカメラ映像の符号化について、各カメラ映像をＧＯＰに設定し、ＧＯＰ間で予測符号化を適用しながら一つの映像情報として符号化する手法が提案されている。
例えば、下記に示す非特許文献１や非特許文献２では、Ｂase ＧＯＰとＩnterＧＯＰを定義してＧＯＰ間の予測関係を示す方法を提案している。Ｂase ＧＯＰに含まれるピクチャは同一ＧＯＰ内に含まれるピクチャのみを参照し、ＩnterＧＯＰに含まれるピクチャは同一または他のＧＯＰ内に含まれるピクチャを参照する。ＩnterＧＯＰでは、ヘッダ部分に、参照するＧＯＰを示す参照ＧＯＰ情報を含める。
このように、複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらによれば撮影した位置での映像が得られるが、更に撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。
例えば、下記に示す非特許文献３では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。
このような映像を生成する技術では、一般的に、複数のカメラ入力画像で同じ被写体が撮影されている場合に、それらの撮影されている画像情報を使って、その被写体について撮影されていない視点位置や視線方向の画像情報を生成する。すなわち、複数のカメラ入力画像にまたがって撮影されている被写体について、各カメラ入力画像の一部分を使って画像情報を生成している。
この画像生成技術としては、例えば適応フィルタ方法（例えば非特許文献４参照）や、テーブル参照法（例えば非特許文献５参照）が挙げられる。
Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)," document M10976 MPEG Redmond Meeting, July, 2004. Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, Yoshiyuki Yashima, Toshiaki Fujii, and Masayuki Tanimoto, "System Design of Free Viewpoint Video Communication," CIT2004, Sep., 2004. 藤井，木本，谷本："光線群表現における３次元空間情報の圧縮"，３次元画像コンファレンス'96, pp.1-6 (1996.7). T.Kobayashi, T.Fujii, T.Kimoto, M.Tanimoto, "Interpolation of Ray-Space Data by Adaptive Filtering," IS&T/SPIE Electronic Imaging 2000, 2000. M.Kawaura, T.Ishigami, T.Fujii, T.Kimoto, M.Tanimoto, "Efficient Vector Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Blocks," Picture Coding Symposium 2001, pp.203-206, 2001.
複数のカメラ映像のうち、撮影されていない視点位置や視線方向の映像を生成する技術で品質が十分に良い画像が得られる場合には、一部のカメラ映像の画像情報を符号化せずに、映像再生側で画像を生成できるため、結果的に複数カメラ映像に対する符号化効率を向上できる。
しかしながら、従来の映像符号化方式では、映像再生側で一部のカメラ映像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを示す情報を符号化する仕組みがないため、実際には全てのカメラ映像を符号化して送出しており、符号化効率を向上できなかった。
本発明はかかる事情に鑑みてなされたものであって、映像再生側で一部のカメラ映像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを示す情報を符号化する仕組みを提供することにより、視点位置や視線方向を変更することを可能とする映像技術などに好適となる新たな映像符号化及び映像復号に関する技術の提供を目的とする。
この目的を達成するために、本発明の映像符号化方法は、複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化方法であって、
各ＧＯＰに含まれる画像を符号化するかどうかを決定するＧＯＰ符号化決定ステップと、
当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化ステップと、
当該ＧＯＰに含まれる画像の符号化データを出力する場合に、該ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化ステップと
を有する映像符号化方法を提供する。
典型例として、上記ＧＯＰ符号化決定ステップでは、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する。なお、この方法以外に、原画像の変化を評価することなどにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定することも可能である。
当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化ステップを更に有しても良い。
また、当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化ステップを更に有しても良い。
本発明はまた、複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
各ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号ステップと、
当該ＧＯＰに含まれる画像の符号化データを復号する場合に、ＧＯＰに含まれる画像を復号するＧＯＰ内画像復号ステップと
を有する映像復号方法を提供する。
当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号ステップを更に有しても良い。
また、当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号ステップを更に有しても良い。
本発明はまた、複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化装置であって、
各ＧＯＰに含まれる画像を符号化するかどうかを決定するＧＯＰ符号化決定部と、
当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化部と、
当該ＧＯＰに含まれる画像の符号化データを出力する場合に、ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化部と
を備える映像符号化装置を提供する。
典型例として、上記ＧＯＰ符号化決定部は、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いのか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する。
当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化部を更に備えるようにしても良い。
また、当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化部を更に備えるようにしても良い。
本発明はまた、複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
各ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号部と、
当該ＧＯＰに含まれる画像の符号化データを復号する場合に、ＧＯＰに含まれる画像を復号するＧＯＰ内画像復号部と
を備える映像復号装置を提供する。
当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、１以上の他のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号部を更に備えるようにしても良い。
また、当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号部を更に備えるようにしても良い。
本発明はまた、上記映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明はまた、上記映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
即ち、これらコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現可能である。
上記本発明によれば、カメラ入力映像ごとにＧＯＰを構成しておき、画像生成手法でカメラ入力映像が生成できる場合には、そのＧＯＰについて画像を符号化せずに、代わりに映像再生側で画像を生成するように指定することができる。
すなわち、映像符号化側では、画像生成手法でカメラ入力映像が生成できるかどうかを決定する。そして、カメラ入力映像を生成できる場合には、ＧＯＰに含まれる画像の符号化データを出力しないとしてＧＯＰ符号化有無情報を符号化し、カメラ入力映像を生成できない場合には、ＧＯＰに含まれる画像の符号化データを出力するとしてＧＯＰ符号化有無情報を符号化する。そして、カメラ入力映像を生成できない場合には、ＧＯＰに含まれる画像を符号化する（ＧＯＰに含まれる画像の符号化データを出力する）。
これを受けて、映像復号側では、ＧＯＰＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号する。そして、ＧＯＰ符号化有無情報がＧＯＰに含まれる画像の符号化データを復号することを示す場合には、画像の符号化データを復号する。
ここで、映像復号側では、ＧＯＰ符号化有無情報がＧＯＰに含まれる画像の符号化データを復号しないことを示す場合には、画像生成技術を使ってＧＯＰ内の画像を生成してもよい。ただし、そのＧＯＰ内の画像が不必要な場合には、画像を生成する必要はない。
更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入力映像を生成する際に使用する画像を含むＧＯＰを指定することができる。このとき使用するＧＯＰの画像は符号化データを復号して得られるものでもよいし、映像復号側で生成して得られるものでもよい。
これにより、映像復号側で、所望のＧＯＰの画像を生成するときに、生成に必要な画像が復号または生成されていない場合には、その画像を含むＧＯＰを復号または生成することにより、所望の画像を生成することができる。ここで、所望の映像を生成する際に使用する画像を含むＧＯＰとしては、他のカメラ入力映像であっても、所望の映像の属するカメラ入力映像であってもよい。
更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入力映像を生成する際に使用する画像生成手法を指定することができる。
この画像生成手法については、映像符号化側と映像復号側で、予め複数の画像生成手法を用意しておき、映像符号化側で、どの画像生成手法を映像復号側で使用するのかを決定してもよい。これにより、映像符号化側で、画像品質の良い画像生成手法を選択することができる。
なお、再生させたい映像の属するカメラ入力映像を使用して該映像を生成する場合には、そのカメラ入力映像に属する前（過去）のＧＯＰの画像を使用してもよい。また、カメラの台数が少ない場合には、画像の生成に使用するＧＯＰが限定されるため、使用するＧＯＰを指定する必要はない。
本発明によれば、映像再生側で画像を生成できるかどうかを符号化時に判定し、更に生成することを示す情報を符号化することが可能となるため、画像符号化側で映像を符号化しないことを制御できるようになり、これにより符号化効率を向上できるようになる。
このようにして、本発明によれば、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化・復号技術を提供できるようになる。
第１の実施形態例におけるＧＯＰの構成の一例を示す図である。 第１の実施形態例における映像符号化装置の装置構成例を示す図である。 第１の実施形態例における映像復号装置の装置構成例を示す図である。 第２の実施形態例における映像符号化装置の装置構成例を示す図である。 第２の実施形態例におけるＧＯＰの構成の一例を示す図である。 第２の実施形態例における映像復号装置の装置構成例を示す図である。 動画像の予測関係の説明図である。
符号の説明
１０１ 画像Ａ入力部
１０２ 画像Ａ符号化部
１０３ 画像Ａ復号部
１０４ 画像Ａ蓄積メモリ
１０５ 画像Ｂ入力部
１０６ 画像Ｂ符号化部
１０７ 画像Ｂ復号部
１０８ 画像Ｂ蓄積メモリ
１０９ 画像Ｃ入力部
１１０ ＧＯＰ内画像符号化部
１１１ 画像Ｃ復号部
１１２ 復号画像蓄積メモリ
１１３ 原画像蓄積メモリ
１１４ 画像生成部
１１５ 生成参照ＧＯＰ符号化部
１１６ 生成情報符号化部
１１７ ＧＯＰ符号化決定部
１１８ ＧＯＰ符号化有無情報符号化部
１１９ ＧＯＰ情報蓄積メモリ
２０１ 画像Ａ復号部
２０２ 画像Ａ蓄積メモリ
２０３ 画像Ｂ復号部
２０４ 画像Ｂ蓄積メモリ
２０５ ＧＯＰ内画像復号部
２０６ 復号画像蓄積メモリ
２０７ 画像生成部
２０８ 生成参照ＧＯＰ復号部
２０９ 生成情報復号部
２１０ ＧＯＰ符号化有無情報復号部
１１８０ ＧＯＰヘッダ／符号化有無情報符号化部
２１００ ＧＯＰヘッダ／符号化有無情報復号部
以下、実施の形態に従って本発明を詳細に説明する。
以下に説明する実施形態例では、３カメラ映像を符号化する場合に、２カメラ映像を独立に符号化しておき、１カメラ映像をそれら２カメラ映像の画像情報から、あるいは、その１カメラ映像の過去の画像から、その１カメラ映像の現在の画像を用いずに画像生成技術により生成するかどうかを決定する手法について示す。
〔Ｉ〕第１の実施形態例
図１に、第１の実施形態例におけるＧＯＰを示す。
この図に示すように、第１の実施形態例では、ＧＯＰは予め２フレームで構成されると決められているものとする。また、各ＧＯＰには図中に示すＧＯＰ番号（ＧＯＰ１〜ＧＯＰ６）が割り当てられているものとする。
図１に示す３カメラ映像Ａ，Ｂ，Ｃのうち、Ｃについて画像生成技術により生成するかどうかを決定する。ＡまたはＢからＣを生成する手法としては、画像生成方法Ｘと画像生成方法Ｙとが予め用意されており、また、Ｃの過去の画像情報から画像を生成する技術として画像生成方法Ｚが用意されているものとする。
画像を生成する際に使用する画像としてＡまたはＢを選択する場合には、画像生成方法を指定する情報を符号化することになるが、画像を生成する際に使用する画像としてＣの過去の画像を選択する場合には、画像生成方法はＺに一意に決まるため、画像生成方法を指定する情報を符号化する必要はない。なお、画像生成方法Ｚは、本実施形態においては直前の画像を出力する手法である。
画像生成方法Ｘは例えば適応フィルタ方法であり、画像生成方法Ｙは例えばテーブル参照方法である。以下に説明する実施形態例では、ＡとＢの復号画像を使って、Ｃの画像生成方法を決定するものとする。
〔Ｉ−１〕第１の実施形態例を実現する本発明の映像符号化装置
図２に、第１の実施形態例を実現する本発明の映像符号化装置の装置構成の一例を図示する。
この図に示すように、本発明の映像符号化装置は、
（イ）画像Ａ（カメラ入力映像Ａ）に対して、画像を入力する画像Ａ入力部１０１と、画像Ａ入力部１０１の入力した画像を符号化する画像Ａ符号化部１０２と、画像Ａ符号化部１０２の符号化した画像を復号する画像Ａ復号部１０３と、画像Ａ復号部１０３の復号した画像を蓄積する画像Ａ蓄積メモリ１０４とを備え、
（ロ）画像Ｂ（カメラ入力映像Ｂ）に対して、画像を入力する画像Ｂ入力部１０５と、画像Ｂ入力部１０５の入力した画像を符号化する画像Ｂ符号化部１０６と、画像Ｂ符号化部１０６の符号化した画像を復号する画像Ｂ復号部１０７と、画像Ｂ復号部１０７の復号した画像を蓄積する画像Ｂ蓄積メモリ１０８とを備え、
（ハ）画像Ｃ（カメラ入力映像Ｃ）に対して、画像を入力する画像Ｃ入力部１０９と、画像Ｃ入力部１０９の入力した画像を符号化するＧＯＰ内画像符号化部１１０と、ＧＯＰ内画像符号化部１１０の符号化した画像を復号する画像Ｃ復号部１１１と、画像Ｃ復号部１１１の復号した画像を蓄積する復号画像蓄積メモリ１１２と、画像Ｃ入力部１０９の入力した原画像を蓄積する原画像蓄積メモリ１１３と、原画像Ｃを用いずに画像Ｃを生成する画像生成部１１４と、画像Ｃを生成する際に使用するＧＯＰを指定する情報（具体的にはＧＯＰの番号）を符号化する生成参照ＧＯＰ符号化部１１５と、画像Ｃの生成に用いられる画像生成方法を指定する情報を符号化する生成情報符号化部１１６と、ＧＯＰの画像を符号化するかどうかを決定するＧＯＰ符号化決定部１１７と、ＧＯＰの画像を符号化したかどうかを指定する情報を符号化するＧＯＰ符号化有無情報符号化部１１８とを備える。
ここで、画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８は、それぞれ復号画像を２フレーム分蓄積し、また、原画像蓄積メモリ１１３は、原画像を２フレーム分蓄積する。また、復号画像蓄積メモリ１１２は、復号画像を３フレーム分蓄積するものとする。なお、初期状態の各メモリには何も画像情報が蓄積されていないものとする。
ＧＯＰ符号化決定部１１７は、まず、画像生成部１１４にて画像生成方法Ｘを使って生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｘを計算する。このとき、画像Ａ蓄積メモリ１０４の画像のみを使う場合の平均二乗誤差をＸａとし、画像Ｂ蓄積メモリ１０８の画像のみを使う場合の平均二乗誤差をＸｂとし、画像Ａ蓄積メモリ１０４の画像と画像Ｂ蓄積メモリ１０８の画像の両方を使う場合の平均二乗誤差をＸｃとする。
更に、ＧＯＰ符号化決定部１１７は、画像生成部１１４にて画像生成方法Ｙを使って生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｙを計算する。このとき、画像Ａ蓄積メモリ１０４の画像のみを使う場合の平均二乗誤差をＹａとし、画像Ｂ蓄積メモリ１０８の画像のみを使う場合の平均二乗誤差をＹｂとし、画像Ａ蓄積メモリ１０４の画像と画像Ｂ蓄積メモリ１０８の画像の両方を使う場合の平均二乗誤差をＹｃとする。
更に、ＧＯＰ符号化決定部１１７は、ＧＯＰ内画像符号化部１１０で符号化し画像Ｃ復号部１１１で復号して復号画像蓄積メモリ１１２に蓄積された復号画像のうち、現ＧＯＰの復号画像と原画像蓄積メモリ１１３に蓄積された対応する画像との間の平均二乗誤差Ｄを計算する。
更に、ＧＯＰ符号化決定部１１７は、復号画像メモリ１１２に前ＧＯＰの画像が蓄積されている場合には、画像生成方法Ｚで生成される２フレーム分の画像情報（１フレームずつ生成される）と原画像蓄積メモリ１１３に蓄積された画像との間の平均二乗誤差Ｚを計算する。
そして、ＧＯＰ符号化決定部１１７は、このようにして算出した平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤ、あるいは、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤとＺを比較して、最も値が小さい場合の条件を、そのＧＯＰの符号化情報（ＧＯＰ符号化有無情報／生成参照ＧＯＰを指定する情報／画像生成方法を指定する情報で構成される）として決定する。すなわち、次のように決定する。
なお、以下では、“符号化データ”と“符号化情報”とを明確に区別しており、“符号化データ”と記載する場合には、画像を符号化したときのデータを示している。
（１）平均二乗誤差Ｘａが最も小さい場合
Ｘａが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像ＡのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｘを指定する情報を符号化する。
（２）平均二乗誤差Ｘｂが最も小さい場合
Ｘｂが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像ＢのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｘを指定する情報を符号化する。
（３）平均二乗誤差Ｘｃが最も小さい場合
Ｘｃが最も小さい場合には、画像生成方法としてＸを指定し、生成参照ＧＯＰとして画像Ａと画像ＢのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｘを指定する情報を符号化する。
（４）平均二乗誤差Ｙａが最も小さい場合
Ｙａが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像ＡのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｙを指定する情報を符号化する。
（５）平均二乗誤差Ｙｂが最も小さい場合
Ｙｂが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像ＢのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｙを指定する情報を符号化する。
（６）平均二乗誤差Ｙｃが最も小さい場合
Ｙｃが最も小さい場合には、画像生成方法としてＹを指定し、生成参照ＧＯＰとして画像Ａと画像ＢのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。また、生成情報符号化部１１６は、画像生成方法Ｙを指定する情報を符号化する。
（７）平均二乗誤差Ｚが最も小さい場合
Ｚが最も小さい場合には、画像生成方法としてＺを指定し、生成参照ＧＯＰとして画像ＣのＧＯＰを指定する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力しないことを示すようにＧＯＰ符号化有無情報を符号化する。また、生成参照ＧＯＰ符号化部１１５は、使用したＧＯＰの番号を符号化する。
ここで、上述したように、画像を生成する際に使用する画像としてＣの過去の画像を選択する場合には、画像生成方法はＺに一意に決まるため、生成情報符号化部１１６は、画像生成方法を指定する情報を符号化する必要がない。
（８）平均二乗誤差Ｄが最も小さい場合
Ｄが最も小さい場合には、ＧＯＰ内画像符号化部１１０で符号化した符号化データを出力する。
このとき、ＧＯＰ符号化有無情報符号化部１１８は、符号化データを出力することを示すようにＧＯＰ符号化有無情報を符号化し、ＧＯＰ内画像符号化部１１０は、符号化した符号化データを出力する。
即ち、上記（１）〜（７）の場合には、映像再生側でカメラ映像Ｃの画像を、その画像データを用いなくても生成できると判定され、（８）の場合には、その画像データを用いなくては該画像を生成できないと判定される。
このような前提の下、本発明の映像符号化装置はカメラ入力映像を次のように符号化する。
（ｉ）時刻Ｔ１，Ｔ２における符号化処理
まず、時刻Ｔ１とＴ２において、画像Ａと画像Ｂを符号化する。
画像Ａについては、画像Ａ入力部１０１で画像を入力して、画像Ａ符号化部１０２は画像を符号化し、画像Ａ復号部１０３は符号化データを復号し、画像Ａ蓄積メモリ１０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ１０４にはＴ１とＴ２における画像が蓄積される。
画像Ｂについては、画像Ｂ入力部１０５で画像を入力して、画像Ｂ符号化部１０６は画像を符号化し、画像Ｂ復号部１０７は符号化データを復号し、画像Ｂ蓄積メモリ１０８は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ１０８にはＴ１とＴ２における画像が蓄積される。
続いて、画像Ｃ入力部１０９は画像Ｃを入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０はＴ１とＴ２の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。
続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘおよび画像生成方法Ｙをそれぞれ適用して、画像を生成する。なお、前フレームが存在しないので、この時点では、画像生成方法Ｚを適用して画像を生成することはできない。
これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤを求める（なお、この時点では平均二乗誤差Ｚについては求めることはできない）。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。
そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが用いられる場合には、画像生成方法を示す情報については符号化する必要がない（なお、この時点では画像生成方法Ｚが用いられることはない）。
ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ１とＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像（即ち、選択された生成方法により生成された画像）を蓄積する。
（ii）時刻Ｔ３，Ｔ４における符号化処理
続いて、時刻Ｔ３とＴ４において、時刻Ｔ１とＴ２と同様な処理を行い、画像Ａと画像Ｂを符号化する。
画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８に蓄積されていた復号画像は、最も古いものから廃棄して、新しく復号された画像を蓄積する。これにより、各メモリにはＴ３とＴ４の復号画像が蓄積される。
続いて、画像Ｃ入力部１０９は画像Ｃを入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。このとき、原画像蓄積メモリ１１３に蓄積されていた原画像は、最も古いものから廃棄して、新しく入力された画像を蓄積する。これにより、原画像蓄積メモリ１１３にはＴ３とＴ４の原画像が蓄積される。
続いて、ＧＯＰ内画像符号化部１１０はＴ３とＴ４の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。このとき、復号画像蓄積メモリ１１２に蓄積されていた復号画像は、最も古いものから廃棄して、新しく復号された画像を蓄積する。これにより、復号画像蓄積メモリ１１２にはＴ２とＴ３とＴ４の復号画像が蓄積される。
続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙを適用して、それぞれ画像を生成する。更に、復号画像蓄積メモリ１１２に蓄積されたＴ２の画像に対して、画像生成方法Ｚを適用して、画像を生成する。
これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤとＺを求める。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。
そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが選択される場合には、画像生成方法を示す情報については符号化する必要がない。
ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１００から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ３とＴ４の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定された符号化情報に対応する画像を蓄積する。
〔Ｉ−２〕第１の実施形態例を実現する本発明の映像復号装置
次に、第１の実施形態例を実現する本発明の映像復号装置について説明する。
図３に、第１の実施形態例を実現する本発明の映像復号装置の装置構成の一例を図示する。
この図に示すように、本発明の映像復号装置は、
（イ）画像Ａ（カメラ入力映像Ａ）に対して、画像を復号する画像Ａ復号部２０１と、画像Ａ復号部２０１の復号した画像を蓄積する画像Ａ蓄積メモリ２０２とを備え、
（ロ）画像Ｂ（カメラ入力映像Ｂ）に対して、画像を復号する画像Ｂ復号部２０３と、画像Ｂ復号部２０３の復号した画像を蓄積する画像Ｂ蓄積メモリ２０４とを備え、
（ハ）画像Ｃ（カメラ入力映像Ｃ）に対して、画像を復号するＧＯＰ内画像復号部２０５と、ＧＯＰ内画像復号部２０５の復号した画像を蓄積する復号画像蓄積メモリ２０６と、画像Ｃを生成する画像生成部２０７と、画像Ｃを生成する際に使用するＧＯＰを指定する情報（具体的にはＧＯＰの番号）を復号する生成参照ＧＯＰ復号部２０８と、画像Ｃの生成に用いられる画像生成方法を指定する情報を復号する生成情報復号部２０９と、ＧＯＰの画像を復号するかどうかを指定する情報を復号するＧＯＰ符号化有無情報復号部２１０とを備える。
画像生成部２０７と生成参照ＧＯＰ復号部２０８と生成情報復号部２０９とは、ＧＯＰの符号化データを復号しない場合、次のように動作する。
まず、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。一方、ＧＯＰの番号が入力画像Ｃに属する場合には、生成情報復号部２０９は、画像生成方法を指定する情報を復号しない。
続いて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。ここで、ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成部２０７は、画像生成方法としてＺを使用する。
このような前提の下、本発明の映像復号装置は、本発明の映像符号化装置から出力される符号化データを次のように復号する。
（ｉ）時刻Ｔ１，Ｔ２における復号処理
まず、時刻Ｔ１とＴ２において、画像Ａと画像Ｂを復号する。
画像Ａについては、画像Ａ復号部２０１は符号化データを復号し、画像Ａ蓄積メモリ２０２は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ２０２にはＴ１とＴ２における画像が蓄積される。
画像Ｂについては、画像Ｂ復号部２０３は符号化データを復号し、画像Ｂ蓄積メモリ２０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ２０４にはＴ１とＴ２における画像が蓄積される。
続いて、画像Ｃについて、ＧＯＰ符号化有無情報復号部２１０は、ＧＯＰの符号化データを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいずれかの処理を実行する。
すなわち、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。
一方、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属するため（前フレームが存在しないので、この時点では入力画像Ｃに属することはない）、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。
復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。
（ii）時刻Ｔ３，Ｔ４における復号処理
続いて、時刻Ｔ３とＴ４において、時刻Ｔ１とＴ２と同様な処理を行い、画像Ａと画像Ｂを復号し、画像Ａについては画像Ａ蓄積メモリ２０２に復号画像を蓄積し、画像Ｂについては画像Ｂ蓄積メモリ２０４に復号画像を蓄積する。
続いて、画像Ｃについて、ＧＯＰ符号化有無情報復号部２１０は、ＧＯＰの符号化データを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいずれかの処理を実行する。
すなわち、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。
一方、ＧＯＰ符号化有無情報復号部２１０がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。一方、ＧＯＰの番号が入力画像Ｃに属する場合には、生成情報復号部２０９は、画像生成方法Ｚが用いられていることを特定できるので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。このとき、ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成方法Ｚを使用する。
復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、Ｔ１，Ｔ２の画像を廃棄して復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、Ｔ１，Ｔ２の画像を廃棄して、画像生成部２０７で生成される画像を蓄積する。
以上により、本発明の映像符号化装置はＴ１とＴ２とＴ３とＴ４の画像を符号化し、一方、本発明の映像復号装置は符号化データを復号、または画像を生成することにより同時刻の画像を得ることができる。
〔II〕第２の実施形態例
次に、第２の実施形態例について説明する。
第１の実施形態例では、ＧＯＰは２フレームとして予め決定しておいたが、ＧＯＰをフレーム毎に別にするかどうかを適応的に決定してもよい。第２の実施形態例は、この構成を実現するものである。
図４に、第２の実施形態例を実現する本発明の映像符号化装置の装置構成の一例を図示する。ここで、図中、図２で説明したものと同じものについては同一の記号で示してある。
第１の実施形態例との違いは、ＧＯＰの符号化情報を蓄積するＧＯＰ情報蓄積メモリ１１９を備えることである。また、ＧＯＰヘッダ／符号化有無情報符号化部１１８０は、符号化有無情報の符号化に加え、ＧＯＰの先頭にＧＯＰヘッダを符号化する処理を行う。ＧＯＰヘッダは固有のビットパターンで構成される固定長の符号である。
第２の実施形態例を実現する本発明の映像復号装置の装置構成(図６に示す）は、図３に示す第１の実施形態例と同様である。ただし、ＧＯＰヘッダ／符号化有無情報復号部２１００は、各フレームにおいてＧＯＰヘッダの有無をチェックして、ＧＯＰヘッダが検出されると、別の（独立した）ＧＯＰとして復号処理を行う。
〔II−１〕第２の実施形態例における符号化処理
第２の実施形態例におけるカメラ入力映像ＡとＢとＣの符号化方法は次のようになる。
まず、時刻Ｔ１とＴ２の画像ＡとＢについて、第１の実施形態例と同様に画像を符号化して復号画像を得る。画像Ａ蓄積メモリ１０４と画像Ｂ蓄積メモリ１０８にはＴ１とＴ２の復号画像が蓄積される。
すなわち、画像Ａについては、画像Ａ入力部１０１で画像を入力して、画像Ａ符号化部１０２は画像を符号化し、画像Ａ復号部１０３は符号化データを復号し、画像Ａ蓄積メモリ１０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ１０４にはＴ１とＴ２における画像が蓄積される。
また、画像Ｂについては、画像Ｂ入力部１０５で画像を入力して、画像Ｂ符号化部１０６は画像を符号化し、画像Ｂ復号部１０７は符号化データを復号し、画像Ｂ蓄積メモリ１０８は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ１０８にはＴ１とＴ２における画像が蓄積される。
（ｉ）時刻Ｔ１における画像Ｃの符号化処理
続いて、時刻Ｔ１の画像Ｃについて、まず、画像Ｃ入力部１０９は画像を入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０は時刻Ｔ１の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。
続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙをそれぞれ適用して、時刻Ｔ１の画像を生成する。なお、前フレームが存在しないので、この時点では、画像生成方法Ｚを適用して画像を生成することはできない。
これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤを求める（なお、この時点では平均二乗誤差Ｚについては求めることができない）。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。
そして、ＧＯＰ符号化決定部１１７は、決定したＧＯＰの符号化情報をＧＯＰ情報蓄積メモリ１１９に蓄積し、ＧＯＰ符号化有無情報符号化部１１８０は、ＧＯＰヘッダを符号化して出力する。
そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが用いられる場合には、画像生成方法を示す情報については符号化する必要がない（なお、この時点では画像生成方法Ｚが用いられることはない）。
ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ１の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像を蓄積する。
（ii）時刻Ｔ２における画像Ｃの符号化処理
続いて、時刻Ｔ２の画像Ｃについて、まず、画像Ｃ入力部１０９は画像を入力し、原画像蓄積メモリ１１３は入力された画像を蓄積する。ＧＯＰ内画像符号化部１１０は時刻Ｔ２の画像を符号化し、画像Ｃ復号部１１１は符号化データを復号して復号画像を復号画像蓄積メモリ１１２に蓄積する。
続いて、画像生成部１１４は、画像Ａ蓄積メモリ１０４に蓄積された画像と、画像Ｂ蓄積メモリ１０８に蓄積された画像に対して、画像生成方法Ｘ及び画像生成方法Ｙをそれぞれ適用して、時刻Ｔ２の画像を生成する。更に、復号画像蓄積メモリ１１２に蓄積された画像に対して画像生成方法Ｚを適用して、時刻Ｔ２の画像を生成する。
これらの処理を受けて、ＧＯＰ符号化決定部１１７は、画像生成部１１４で生成された画像と、復号画像蓄積メモリ１１２に蓄積された画像とを使って、平均二乗誤差ＸａとＸｂとＸｃとＹａとＹｂとＹｃとＤとＺを求める。そして、これらから、上述の（１）〜（８）の論理に従ってＧＯＰの符号化情報を決定する。
続いて、ＧＯＰ符号化決定部１１７は、ここで決定したＧＯＰの符号化情報と、ＧＯＰ情報蓄積メモリ１１９に蓄積されているＧＯＰの符号化情報とを比較し、両者のＧＯＰの符号化情報が異なる場合には、別のＧＯＰとして画像を符号化することを決定し、両者のＧＯＰの符号化情報が同じ場合には、同じＧＯＰとして画像を符号化することを決定する。
そして、ＧＯＰ符号化決定部１１７は、決定したＧＯＰの符号化情報をＧＯＰ情報蓄積メモリ１１９に蓄積する。以後は、具体的には次のように動作する。
（ii−１）別のＧＯＰとして符号化する場合
別のＧＯＰとして符号化する場合には、ＧＯＰヘッダ／符号化有無情報符号化部１１８０は、ＧＯＰヘッダを符号化して出力する。そして、本発明の映像符号化装置は、決定したＧＯＰの符号化情報に基づいて、符号化有無情報を符号化して出力するとともに、符号化データを出力するか、生成参照ＧＯＰの番号および画像生成方法を示す情報を符号化して出力する。ただし、画像生成方法Ｚが用いられている場合には、画像生成方法を示す情報については符号化する必要がない。
ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定されたＧＯＰの符号化情報に対応する画像を蓄積する。
（ii−２）同じＧＯＰとして符号化する場合
同じＧＯＰとして符号化する場合で、ＧＯＰ内画像符号化部１１０から符号化データを出力する場合には、そのフレームの符号化データを出力し、一方、ＧＯＰ内画像符号化部１１０から符号化データを出力しない場合には、復号側に通知済みの１つ前の時刻のＴ１におけるＧＯＰの符号化情報により復号側で画像生成方法を特定できるので、何も出力しない。
ここで、復号画像蓄積メモリ１１２は、ＧＯＰ内画像符号化部１１０から符号化データが出力される場合には、画像Ｃ復号部１１１で得られる復号画像を蓄積し続ける。一方、ＧＯＰ内画像符号化部１１０から符号化データが出力されない場合には、蓄積されているＴ２の復号画像を廃棄して、画像生成部１１４で生成される画像のうち、ＧＯＰ符号化決定部１１７で決定された符号化情報に対応する画像を蓄積する。
〔II−２〕第２の実施形態例における復号処理
これに対応する第２の実施形態例における復号処理は次のように動作する。
まず、時刻Ｔ１とＴ２の画像ＡとＢについて、第１の実施形態例と同様に画像を復号して復号画像を得る。画像Ａ蓄積メモリ２０２と画像Ｂ蓄積メモリ２０４にはＴ１とＴ２の復号画像が蓄積される。
すなわち、画像Ａについては、画像Ａ復号部２０１は符号化データを復号し、画像Ａ蓄積メモリ２０２は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ａ蓄積メモリ２０２にはＴ１とＴ２における画像が蓄積される。
また、画像Ｂについては、画像Ｂ復号部２０３は符号化データを復号し、画像Ｂ蓄積メモリ２０４は復号画像を蓄積する。これをＴ１とＴ２の画像に対して実行する。画像Ｂ蓄積メモリ２０４にはＴ１とＴ２における画像が蓄積される。
（ｉ）時刻Ｔ１における画像Ｃの復号処理
続いて、時刻Ｔ１の画像Ｃについて、ＧＯＰヘッダ／符号化有無情報復号部２１００は、ＧＯＰヘッダの有無をチェックする。ＧＯＰヘッダがあるので、ＧＯＰヘッダ／符号化有無情報復号部２１００は、続いて、ＧＯＰの符号化データを復号するかどうかを指定する情報（符号化有無情報）を復号する。この情報に基づいて、次のいずれかの処理を実行する。
すなわち、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。
一方、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属するため（先頭フレームであるので、この時点では入力画像Ｃに属することはない）、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。
これを受けて、復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。
（ii）時刻Ｔ２における画像Ｃの復号処理
（ii−１）ＧＯＰヘッダが検出される場合の復号処理（ＧＯＰの符号化情報が符号化されている場合）
続いて、時刻Ｔ２の画像Ｃについて、ＧＯＰヘッダ／符号化有無情報復号部２１００は、ＧＯＰヘッダの有無をチェックする。ＧＯＰヘッダを検出する場合には、更に、ＧＯＰの符号化データを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいずれかの処理を実行する。
すなわち、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示する情報を復号する場合には、ＧＯＰ内画像復号部２０５は、符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。
一方、ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰの符号化データの復号を指示しない情報を復号する場合には、生成参照ＧＯＰ復号部２０８は、画像生成に使用するＧＯＰの番号を復号して得る。ＧＯＰの番号が入力画像ＡまたはＢに属する場合は、続いて、生成情報復号部２０９は、画像生成方法を指定する情報を復号し、画像生成方法の情報としてＸまたはＹを得る。ＧＯＰの番号が入力画像Ｃに属する場合は、生成情報復号部２０９は、画像生成方法Ｚが用いられていることを特定できるので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部２０７は、生成参照ＧＯＰ復号部２０８で得られたＧＯＰ番号と、生成情報復号部２０９で得られた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。ＧＯＰの番号が入力画像Ｃに属する場合には、画像生成方法Ｚを使用する。
これを受けて、復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。
（ii−２）ＧＯＰヘッダが検出されない場合の復号処理（ＧＯＰの符号化情報が符号化されていない場合）
ＧＯＰヘッダ／符号化有無情報復号部２１００がＧＯＰヘッダを検出しない場合には、次のように動作する。
すなわち、前フレームで符号化データを復号した場合には、ＧＯＰ内画像復号部２０５は、現フレームにおいて符号化データを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ２０６に蓄積する。
一方、前フレームで符号化データを復号しなかった場合には、現フレームにおいて前フレームにおけるＧＯＰの符号化情報と同一のＧＯＰの符号化情報が用いられていることに対応して、生成参照ＧＯＰ復号部２０８が前フレームで得たＧＯＰの番号を復号処理に用いる。この場合、ＧＯＰの番号が入力画像ＡまたはＢに属する場合には、生成情報復号部２０９が前フレームで画像生成方法を指定する情報としてＸまたはＹを得ているので、それを使って復号処理を行う。なお、ここでは、前フレームは先頭フレームであるので、ＧＯＰの番号が入力画像Ｃに属することはないが、ＧＯＰヘッダが検出されない場合の一般の復号処理として、ＧＯＰの番号が入力画像Ｃに属する場合には生成情報復号部２０９が前フレームで画像生成方法を指定する情報を復号していないことで、画像生成方法を指定する情報としてＺを得ているので、それを使って復号処理を行う。
したがって、画像生成部２０７は、生成参照ＧＯＰ復号部２０８が前フレームで得たＧＯＰ番号と、生成情報復号部２０９が前フレームで得た画像生成方法の情報とを使って画像を生成する。
これを受けて、復号画像蓄積メモリ２０６は、ＧＯＰの符号化データを復号する場合には、復号画像を蓄積し、ＧＯＰの符号化データを復号しない場合には、画像生成部２０７で生成される画像を蓄積する。
以上の動作により、ＧＯＰ構成が予め決定されていない場合であっても、本発明の映像符号化装置は画像を符号化し、本発明の映像復号装置は符号化データを復号することができる。このとき得られる符号化データのＧＯＰは図５のような構成になる。
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。
例えば、実施形態例では、Ｃの画像の生成方法を決定するために、ＡとＢの復号画像を使用したが、ＡとＢの原画像を使用してもよい。この場合には、映像符号化装置に、画像Ａ符号化部１０２と画像Ａ復号部１０３と画像Ｂ符号化部１０６と画像Ｂ復号部１０７とを備える必要はない。
また、実施形態例では、画像生成方法としてＸとＹを用意したが、いずれかのみ用意してもよい。この場合には、映像符号化装置に、生成情報符号化部１１６を備える必要がないとともに、映像復号装置に、生成情報復号部２０９を備える必要がない。
また、実施形態例では、画像生成方法としてＺを用意したが、これを用意しなくてもよい。この場合には、Ｃの復号画像を蓄積する必要がないため、映像符号化装置に、画像Ｃ復号部１１１と復号画像蓄積メモリ１１２とを備える必要がないとともに、映像復号装置に、復号画像蓄積メモリ２０６を備える必要がない。
また、実施形態例では説明しなかったが、画像生成をするために使用するカメラ入力映像が予め決められている場合には、生成に使用するＧＯＰを指定する必要がないため、映像符号化装置に、生成参照ＧＯＰ符号化部１１５を備える必要がないとともに、映像復号装置に、生成参照ＧＯＰ復号部２０８を備える必要がない。
また、実施形態例では、Ｃの画像を生成するために、同時刻のＡまたはＢの画像を使用したが、過去のＡまたはＢの画像を使用しても良く、また、複数の過去の画像を使用してもよい。
映像再生側で画像を生成できるかどうかを符号化時に判定し、更に生成することを示す情報を符号化することが可能となるため、画像符号化側で映像を符号化しないことを制御できるようになり、これにより符号化効率を向上できる。従って、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像符号化・復号技術を提供できる。

Claims (18)

  1. 複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化方法であって、
    各ＧＯＰに含まれる画像を符号化するかどうかを決定するＧＯＰ符号化決定ステップと、
    当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化ステップと、
    当該ＧＯＰに含まれる画像の符号化データを出力する場合に、該ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化ステップと
    を有する映像符号化方法。
  2. 請求項１に記載の映像符号化方法において、
    上記ＧＯＰ符号化決定ステップでは、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する映像符号化方法。
  3. 請求項１に記載の映像符号化方法において、
    当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化ステップ
    を更に有する映像符号化方法。
  4. 請求項１に記載の映像符号化方法において、
    当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化ステップ
    を更に有する映像符号化方法。
  5. 複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化することで生成された符号化データを復号する映像復号方法であって、
    各ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号ステップと、
    当該ＧＯＰに含まれる画像の符号化データを復号する場合に、ＧＯＰに含まれる画像を復号するＧＯＰ内画像復号ステップと
    を有する映像復号方法。
  6. 請求項５に記載の映像復号方法において、
    当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号ステップ
    を更に有する映像復号方法。
  7. 請求項５に記載の映像復号方法において、
    当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号ステップ
    を更に有する映像復号方法。
  8. 複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化装置であって、
    各ＧＯＰに含まれる画像を符号化するかどうかを決定するＧＯＰ符号化決定部と、
    当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化するＧＯＰ符号化有無情報符号化部と、
    当該ＧＯＰに含まれる画像の符号化データを出力する場合に、ＧＯＰに含まれる画像を符号化するＧＯＰ内画像符号化部と
    を備える映像符号化装置。
  9. 請求項８に記載の映像符号化装置において、
    上記ＧＯＰ符号化決定部は、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いのか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する映像符号化装置。
  10. 請求項８に記載の映像符号化装置において、
    当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、他の１以上のＧＯＰを指定する生成参照ＧＯＰ指定情報を符号化する生成参照ＧＯＰ符号化部
    を更に備える映像符号化装置。
  11. 請求項８に記載の映像符号化装置において、
    当該ＧＯＰに含まれる画像の符号化データを出力しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する生成情報符号化部
    を更に備える映像符号化装置。
  12. 複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化することで生成された符号化データを復号する映像復号装置であって、
    各ＧＯＰに含まれる画像の符号化データを復号するかどうかを示すＧＯＰ符号化有無情報を復号するＧＯＰ符号化有無情報復号部と、
    当該ＧＯＰに含まれる画像の符号化データを復号する場合に、ＧＯＰに含まれる画像を復号するＧＯＰ内画像復号部と
    を備える映像復号装置。
  13. 請求項１２に記載の映像復号装置において、
    当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、１以上の他のＧＯＰを指定する生成参照ＧＯＰ指定情報を復号する生成参照ＧＯＰ復号部
    を更に備える映像復号装置。
  14. 請求項１２に記載の映像復号装置において、
    当該ＧＯＰに含まれる画像の符号化データを復号しない場合に、該ＧＯＰに含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生成情報復号部
    を更に備える映像復号装置。
  15. 請求項１ないし４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
  16. 請求項１ないし４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  17. 請求項５ないし７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
  18. 請求項５ないし７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006539271A 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Active JP4805160B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006539271A JP4805160B2 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004294414 2004-10-07
JP2004294414 2004-10-07
JP2006539271A JP4805160B2 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
PCT/JP2005/018187 WO2006038568A1 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPWO2006038568A1 true JPWO2006038568A1 (ja) 2008-05-15
JP4805160B2 JP4805160B2 (ja) 2011-11-02

Family

ID=36142642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006539271A Active JP4805160B2 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US8275048B2 (ja)
EP (1) EP1798981A4 (ja)
JP (1) JP4805160B2 (ja)
KR (1) KR100972222B1 (ja)
CN (2) CN1918917A (ja)
TW (1) TWI285054B (ja)
WO (1) WO2006038568A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5568465B2 (ja) * 2008-09-18 2014-08-06 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
MX357910B (es) 2006-07-06 2018-07-30 Thomson Licensing Método y aparato para desacoplar el número de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
US10547860B2 (en) * 2015-09-09 2020-01-28 Avago Technologies International Sales Pte. Limited Video coding with trade-off between frame rate and chroma fidelity
CN111641824B (zh) * 2019-03-01 2022-08-05 杭州海康威视数字技术股份有限公司 视频倒放方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264522A (ja) 1989-04-04 1990-10-29 Matsushita Electric Ind Co Ltd 符号化装置
JP3307969B2 (ja) 1991-10-31 2002-07-29 ソニー株式会社 映像信号伝送装置
JPH0698312A (ja) 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JP3426668B2 (ja) 1993-11-19 2003-07-14 三洋電機株式会社 動画像符号化方法
JPH07154799A (ja) * 1993-11-26 1995-06-16 Sanyo Electric Co Ltd 動画像符号化方法
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3183155B2 (ja) 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
KR100425615B1 (ko) 1996-11-07 2004-04-01 마쯔시다덴기산교 가부시키가이샤 부호화 방법 및 장치와 복호화 방법 및 장치
US6614846B1 (en) 1996-12-06 2003-09-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transmitting, encoding and decoding video signal and recording/reproducing method of optical disc
JP2952226B2 (ja) * 1997-02-14 1999-09-20 日本電信電話株式会社 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
DE69942224D1 (de) 1998-01-27 2010-05-20 Sharp Kk Bewegtbilddecoder
US6137912A (en) 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
JP2000278715A (ja) 1999-03-24 2000-10-06 Minolta Co Ltd 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体
TW555114U (en) 2002-09-02 2003-09-21 Chung Shan Inst Of Science Real-time three-dimensional image acquistion and reconstuction device
JP2004140630A (ja) 2002-10-18 2004-05-13 Fujitsu Ltd フレーム間引き処理を行うための画像圧縮方法及び装置
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US20060047674A1 (en) * 2004-09-01 2006-03-02 Mohammed Zubair Visharam Method and apparatus for supporting storage of multiple camera views

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5568465B2 (ja) * 2008-09-18 2014-08-06 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム

Also Published As

Publication number Publication date
CN1918917A (zh) 2007-02-21
US20080317115A1 (en) 2008-12-25
TWI285054B (en) 2007-08-01
CN103179400A (zh) 2013-06-26
EP1798981A4 (en) 2011-03-16
JP4805160B2 (ja) 2011-11-02
US8275048B2 (en) 2012-09-25
CN103179400B (zh) 2016-10-05
EP1798981A1 (en) 2007-06-20
KR100972222B1 (ko) 2010-07-23
TW200621032A (en) 2006-06-16
WO2006038568A1 (ja) 2006-04-13
KR20060118592A (ko) 2006-11-23

Similar Documents

Publication Publication Date Title
KR101859155B1 (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
JP5580453B2 (ja) 直接モード符号化及び復号化装置
JP5197591B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US8542734B2 (en) Multi-view video encoding apparatus and method
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
JP2010515400A (ja) 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2022501870A (ja) ビデオ符号化及び復号化
US20080166059A1 (en) Method and apparatus for encoding/decoding an image
EP2923491A1 (en) Method and apparatus for bi-prediction of illumination compensation
JP4805160B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2022501868A (ja) ビデオ符号化の動きベクトル予測子インデックス符号化
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
GB2585017A (en) Video coding and decoding
US20100033594A1 (en) Image coding apparatus, image coding method, image coding integrated circuit, and camera
US20120140036A1 (en) Stereo image encoding device and method
TW201943279A (zh) 用於編碼在一視訊流中之一序列視框之方法、裝置及系統
US8594195B2 (en) Method and apparatus for encoding and decoding at least one image frame that is artificially inserted into image sequence
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JP5750191B2 (ja) 画像復号化方法
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110810

R151 Written notification of patent or utility model registration

Ref document number: 4805160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350