JP4999859B2 - 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents

予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Info

Publication number
JP4999859B2
JP4999859B2 JP2008542055A JP2008542055A JP4999859B2 JP 4999859 B2 JP4999859 B2 JP 4999859B2 JP 2008542055 A JP2008542055 A JP 2008542055A JP 2008542055 A JP2008542055 A JP 2008542055A JP 4999859 B2 JP4999859 B2 JP 4999859B2
Authority
JP
Japan
Prior art keywords
prediction
reference information
information
frame
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008542055A
Other languages
English (en)
Other versions
JPWO2008053746A1 (ja
Inventor
信哉 志水
一人 上倉
由幸 八島
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008542055A priority Critical patent/JP4999859B2/ja
Publication of JPWO2008053746A1 publication Critical patent/JPWO2008053746A1/ja
Application granted granted Critical
Publication of JP4999859B2 publication Critical patent/JP4999859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法及びその装置と、その予測参照情報生成方法を用いる動画像符号化方法及びその装置と、その動画像符号化方法により生成された符号化データを復号する動画像復号方法及びその装置と、その予測参照情報生成方法の実現に用いられる予測参照情報生成プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像符号化方法の実現に用いられる動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像復号方法の実現に用いられる動画像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００６年１０月３０日に出願された特願２００６−２９３９２９号に基づき優先権を主張し、その内容をここに援用する。
多視点動画像（多視点映像）とは、複数のカメラで同じ被写体と背景を撮影した複数の動画像のことである。以下では、１つのカメラで撮影された動画像を“２次元動画像”と呼び、同じ被写体と背景を撮影した２次元動画像群を“多視点動画像”と呼ぶ。
多視点動画像に含まれる各カメラの２次元動画像は、時間方向に関して強い相関がある。一方、各カメラが同期されていた場合、同じ時刻に撮影した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので、カメラ間で強い相関がある。動画像の符号化においては、これらの相関を利用することによって符号化効率を高めている。
まず、２次元動画像の符号化技術に関する従来技術を述べる。
国際標準動画像符号化規格であるＭＰＥＧ−２やＨ.264などをはじめとした従来の多くの２次元動画像符号化方式では、フレーム間予測符号化と呼ばれる方法によって、時間方向の相関を利用して高い符号化効率を実現している。
２次元動画像符号化におけるフレーム間予測符号化で用いる方法は、時間による映像の変化つまり動きを利用したものであるため、一般に動き補償と呼ばれる。以下では、その例に倣い時間方向のフレーム間予測符号化を動き補償と呼ぶ。なお、フレームとは動画像を構成するある時刻に撮影された１枚の画像を表す。
一般的な２次元動画像符号化における各フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１枚のフレームから動き補償を行いながら符号化するＰフレームと、過去に符号化した２枚のフレームから動き補償を行いながら符号化するＢフレームとがある。
さらに、映像予測の効率を向上させるために、映像符号化方式Ｈ.263とＨ.264では、参照画像メモリに２フレーム以上の複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測をすることができる。
参照画像はブロック毎に選択することができ、参照画像を指定する参照画像指定情報を符号化することで復号処理を可能としている。
動き補償では、参照画像指定情報のほかに、参照画像内のどの位置を用いて符号化対象ブロックの予測を行うのかを示すためのベクトルが符号化される。このベクトルは動きベクトルと呼ばれる。
動きベクトルの符号化においては、ＭＰＥＧ−４やＨ.264では、符号化対象ブロックの隣接ブロックの動きベクトルから予測ベクトルを生成し、符号化対象ブロックの動き補償で用いる動きベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する。この方法によれば、隣接ブロック間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化することができる。
Ｈ.264における予測ベクトルの生成手順の詳細については、下記に示す非特許文献１に記載されているが、以下で概要を説明する。
Ｈ.264では、図２０Ａに示すように、符号化対象ブロックの左のブロック（図中のａ）、上のブロック（図中のｂ）、右上のブロック（図中のｃ）で用いた動きベクトル（ｍｖ＿ａ，ｍｖ＿ｂ，ｍｖ＿ｃ）から、水平成分及び垂直成分を個々に中央値をとって求める。
Ｈ.264では、可変ブロックサイズ動き補償を採用しているため、符号化対象ブロックと周辺ブロックの動き補償ブロックサイズが同一でない場合があるが、その場合は、図２０Ｂのように、ブロックａは左に隣接するブロックの内の最も上のブロックとし、ブロックｂは上に隣接するブロックの内の最も左のブロックとし、ブロックｃは右上に存在する最も近いブロックとする。
例外として、符号化対象ブロックのサイズが８×１６画素の場合は、図２０Ｃに示すように、中央値の代わりに、左のブロックはブロックａを、右のブロックはブロックｃを予測に用い、符号化対象ブロックのサイズが１６×８画素の場合は、図２０Ｄに示すように、中央値の代わりに、下のブロックはブロックａを、上のブロックはブロックｂを予測に用いる。
また、前述の通り、Ｈ.264では、過去に符号化した複数のフレームの中から、ブロック毎に参照フレームを選択し、その参照フレームを用いて動き補償を行う。
一般的に、被写体の動きは参照フレームによって変化するため、符号化対象ブロックの参照フレームと異なる参照フレームを用いて動き補償をしている場合の動きベクトルより、同じ参照フレームを用いて動き補償をしている場合の動きベクトルのほうが、符号化対象ブロックで用いる動きベクトルに近いベクトルであると考えられる。
そのため、Ｈ.264では、ブロックａ，ｂ，ｃの内、符号化対象ブロックと参照フレームが等しいブロックがひとつだけある場合は、中央値の代わりに、そのブロックの動きベクトルを予測ベクトルとして用いることで、より信頼度の高い予測ベクトルを生成している。
物体が等速直線運動をする場合など、複数のフレーム間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化する方法として、符号化順序で直前のフレームの動きベクトルを蓄積しておき、その動きベクトル情報を時間間隔に従ってスケーリングして動きベクトルを算出する方法がある。
この時間間隔を知るための情報には各フレームの出力時刻が利用される。
一般的に、この時間情報は、撮影画像の入力順とエンコード順が異なる場合などに、映像を撮影時刻順序通りに復号する際に必要なため、フレーム毎に符号化される。つまり、エンコーダでは、入力順に応じて付けられた入力画像の時刻情報を設定して各フレームを符号化し、デコーダでは、各フレームの復号画像を設定されていた時刻情報によって指定された順に出力する。
複数のフレーム間に存在する動きの連続性を利用して動きベクトルを符号化効率よく符号化する方法として、Ｈ.264において時間ダイレクトモードと呼ばれているものがある。
例えば、図２１に示すフレームＡ，Ｂ，Ｃについて、フレームＡ，Ｃ，Ｂの順に符号化を行い、フレームＣがフレームＡを参照フレームとして動き補償を行いながら符号化されているとする。このような状況において、時間ダイレクトモードでは、フレームＢのあるブロックの動きベクトルは次のように求められる。
まず、符号化対象ブロックと同位置のフレームＣ上のブロックで使われている動きベクトルｍｖを見つける。
次に、下記の式に従って、フレームＡを参照フレームとしたときの動きベクトルｆｍｖと、フレームＣを参照フレームとしたときの動きベクトルｂｍｖとを計算する。
ｆmv＝（ｍｖ×ＴAB）／ＴAC
ｂmv＝（ｍｖ×ＴBC）／ＴBC
ここで、ＴAB、ＴBC、ＴACは、それぞれ、フレームＡとフレームＢとの間の時間間隔、フレームＢとフレームＣとの間の時間間隔、フレームＡとフレームＣとの間の時間間隔を示す。
Ｈ.264においては、時間ダイレクトモードは、ブロック毎に参照フレームを２枚用いるＢフレーム（Bi-predictive Frame:双予測フレーム）においてのみ利用することが可能である。
下記に示す非特許文献２では、これを応用することで、ブロック毎に１枚の参照フレームのみを使用するＰフレームにおいても、動きベクトルを効率よく符号化する方法が提案されている。
隣接ブロック間の動きの連続性と、複数フレーム間の動きの連続性との両者を仮定して動きベクトルを効率よく符号化する方法として、下記に示す非特許文献３に記載されている方法がある。
図２２Ａ〜２２Ｄに、その概要を示す。この手法では、Ｈ.264やＭＰＥＧ−４と同じように、符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成し、実際の動き補償で用いる動きベクトルと予測ベクトルとの差分ベクトルのみを符号化する（図２２Ａ参照）。
Ｈ.264等と異なる点は、周辺ブロックの動きベクトルをそのまま使うのではなく、以下の式を用いて、動きベクトルを時間間隔に従ってスケーリングしてから利用する点である。
ｍｖ＿ｋ’＝ｍｖ＿ｋ×Ｔct／Ｔck
ここで、ｍｖ＿ｋは元の動きベクトル、ｍｖ＿ｋ’はスケーリングされた動きベクトル、Ｔctは符号化対象フレームと符号化対象ブロックが参照しようとしているフレームとの間の時間間隔、Ｔckは符号化対象フレームとその周辺ブロックが参照しているフレームとの間の時間間隔を表す（図２２Ｂ〜２２Ｄ参照）。
次に、従来の多視点動画像の符号化方式について説明する。
一般的な多視点動画像の符号化では、カメラ間の相関を利用するために、同じ時刻に異なるカメラで撮影されたフレーム間に動き補償を適用した“視差補償”を用いることで高い符号化効率を実現している。
この手法が使われている例としては、ＭＰＥＧ−２ Ｍｕｌｔｉｖｉｅｗ ｐｒｏｆｉｌｅや非特許文献４に記載される方法などがある。
非特許文献４の方法では、ブロック毎に動き補償と視差補償のどちらか一方を選択して符号化を行っている。ブロック毎に符号化効率のよいほうを選ぶことによって、時間方向の相関とカメラ間の相関の両方を利用することができ、どちらか一方しか使わない場合に比べて高い符号化効率を達成している。
視差補償では、予測残差のほかに視差ベクトルが符号化される。視差ベクトルとは、フレーム間の時間変化である動きベクトルに対応するものであり、異なる位置に配置されたカメラで撮影された画像平面上で、被写体上の同じ位置が投影されている位置の差を表す。
図２３に、このカメラ間で生じる視差ベクトルの概念図を示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。
視差ベクトルの符号化においては、動きベクトルの符号化と同様に、符号化対象ブロックの隣接ブロックの視差ベクトルから予測ベクトルを生成し、符号化対象ブロックの視差補償で用いる視差ベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する方法を用いることができる。この方法によれば、隣接ブロック間に視差の連続性がある場合に、視差ベクトルを符号化効率よく符号化することができる。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 63-64, and 117-121, September 2002. Alexis Michael Tourapis, "Direct Prediction for Predictive(P) and Bidirectionally Predictive(B) frames in Video Coding," JVT-C128, Joint Video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG Meeting, pp. 1-11, May, 2002. 加藤禎篤, ブンチュンセン, "時間的動きベクトル正規化を用いた複数予測参照画像の符号化における動きベクトル予測", PCSJ2004 画像符号化シンポジウム資料 19th, P-2.18, Nov. 2004. Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding（3DAV)", document M10976 MPEG Redmond Meeting，July, 2004.
符号化対象ブロックで実際に用いる動きベクトルや視差ベクトルを、隣接ブロックで使用された動きベクトルや視差ベクトルを用いて生成した予測ベクトルとの差分で符号化するという従来の方法は、実空間上で被写体は連続して存在し、被写体の動きは同じ被写体内では大きくは変化しない確率が高いという事実に基づいているため、符号化対象ブロックで用いる動きベクトルや視差ベクトルを、より少ない符号量で符号化することが可能である。
しかしながら、符号化対象ブロックの画像を予測するのに最適な参照フレームが、隣接ブロックで使われていないような場合、実際に用いる動きベクトルと予測ベクトルとの差は大きくなり、符号量を十分に削減することが出来ない。
特に、ブロック毎に動き補償と視差補償とを適応的に選択して符号化を行う場合、動きベクトルと視差ベクトルとでは性質が大きく異なるため、動きベクトルから視差ベクトルの予測ベクトルを生成したり、視差ベクトルから動きベクトルの予測ベクトルを生成したりすることは不可能であり、フレーム間予測のための情報を効率的に符号化することが出来ない。
動きベクトルに関しては、非特許文献１に記載の時間ダイレクトモードや、非特許文献２や非特許文献３に記載されているような方法を用いることで、符号化対象ブロックの画像を予測するのに最適な時刻の参照フレームが、隣接ブロックで使われていないような場合においても、効率のよい動きベクトルを生成することができる。
しかしながら、これらの方法はフレーム間の動きの連続性を仮定しているため、被写体が数フレームに渡りカメラに対して等速直線運動に近い動きをしていなければ、効率のよい予測ベクトルを生成できない。
視差ベクトルに関しても、符号化対象ブロックを予測するのに最適なカメラで撮影された参照フレームが隣接ブロックで使われていないような場合において、効率のよい視差ベクトルを生成するための方法として、時間間隔の変わりにカメラ間隔を用いて、隣接ブロックで使用された視差ベクトルをスケーリングして使用する方法が容易に類推可能である。
しかしながら、この方法では、カメラの向きが平行（光軸が平行）の場合には適切な予測ベクトルを生成できるが、それ以外の場合には適切な予測ベクトルを生成することができないため、効率的な符号化を実現することができない。
また、当然のことながら、このような時間間隔やカメラ間隔を用いて既に符号化済みの動きベクトルや視差ベクトルをスケーリングして利用する方法を用いたとしても、ブロック毎に動き補償と視差補償とを適応的に選択して符号化するような場合においては、適切な予測ベクトルを生成することは困難であり、効率的な符号化を実現することは出来ない。
本発明はかかる事情に鑑みてなされたものであって、複数フレーム間で実際及び見かけ上の被写体やカメラの運動が等速直線運動でない場合においても、符号化時の映像予測に用いる動きベクトルや視差情報との差分が小さくなるような、予測ベクトルや予測視差情報を生成する新たな技術の提供を目的とする。
〔１〕本発明の予測参照情報生成装置
この目的を達成するために、本発明の予測参照情報生成装置は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する処理を行うために、（イ）処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定手段と、（ロ）予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成手段と、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更手段と、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成手段とを備える。
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
このように構成される本発明の予測参照情報生成装置では、先ず最初に、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する。
続いて、予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成して、その設定した予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する。
続いて、１つ又は複数存在する変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成する。
このようにして、本発明の予測参照情報生成装置は、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報をそのまま用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するのではなくて、被写体の非直線的な動きやカメラの非等速直線運動的な動きを考慮して、その隣接領域を処理した際の参照情報を予測参照情報予測データとして設定して、その予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成して、その生成した参照領域参照情報に基づいて予測参照情報予測データを変更し、その変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するように処理するのである。
このとき、変更した予測参照情報予測データを使って予測参照情報予測データの変更処理を繰り返していくようにしてもよく、この繰り返し処理を行う場合には、例えば、処理対象領域の参照フレームに到達するまで、この繰り返し処理を行うことになる。
このように構成される本発明の予測参照情報生成装置によれば、複数フレーム間における映像変化の時間的連続性がない場合や、処理対象領域毎に動き補償と視差補償を選択しながら多視点画像を符号化したり復号する場合においても、処理対象領域を符号化したり復号する際に用いる参照情報と予測参照情報との差を小さくすることができるようになることで、フレーム間予測符号化のための動きベクトルや視差情報を効率よく符号化したり復号することができるようになる。
〔２〕本発明の動画像符号化方法
前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像符号化方法に適用することが可能である。
即ち、本発明の動画像符号化方法は、画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報（例えば、動きベクトルや視差ベクトル）とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化するという構成を採るときに、（イ）符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（ロ）予測参照情報予測データによって指し示される参照領域を符号化した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、（ホ）符号化対象領域に対する予測画像を生成するために用いた参照情報と予測参照情報との差分情報を符号化する差分参照情報符号化ステップとを有する。
典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。
別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。
好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する。
この場合、前記予測参照情報予測データ変更ステップでは、符号化対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。
好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。
別の好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する。
別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。
別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。
〔３〕本発明の動画像復号方法
前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像復号方法に適用することが可能である。
次に、本発明の予測参照情報生成方法により実現される本発明の動画像復号方法について説明する。
即ち、本発明の動画像復号方法は、画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号するという構成を採るときに、（イ）復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（ロ）予測参照情報予測データによって指し示される参照領域を復号した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（ニ）１つ又は複数存在する変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、（ホ）符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と予測参照情報との差分情報を復号する差分参照情報復号ステップとを有する。
典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。
別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。
好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する。
この場合、予測参照情報予測データ変更ステップでは、復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。
好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。
別の好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する。
別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。
別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを 有する。
このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。
本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がない場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなく、符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予測符号化のための動きベクトルや視差情報を効率よく符号化することができる。
本発明によって、予測参照情報予測データを予測参照情報予測データと参照領域参照情報との和に変更する場合の処理の一例を示す図である。 本発明によって、予測参照情報予測データを参照領域参照情報に変更する場合の処理の一例を示す図である。 本発明の動画像符号化装置の一実施形態例である。 本実施形態例の動画像符号化装置が実行する動画像符号化処理のフローチャートの一例である。 本実施形態例における符号化において、時間方向の映像予測のみが可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。 本実施形態例における符号化において、符号化対象ブロック毎に時間方向又はカメラ間の映像予測のどちらか一方が可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。 図６のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。 図６のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。 本実施形態例における符号化において、符号化対象ブロック毎に任意の映像予測が可能な場合の、予測参照情報予測データの変更処理のフローチャートの一例である。 図９のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。 図９のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。 図９のフローチャートの一部としての、符号化対象ブロックが時間的な変化とカメラ間の変化の混在した映像変化の予測を行う場合のフローチャートの一例である。 図７のフローチャートのＳ３１０で実行する予測参照情報予測データの変更処理の説明図である。 図７のフローチャートのＳ３１８で実行する予測参照情報予測データの変更処理の説明図である。 図１０のフローチャートのＳ４１５で実行する予測参照情報予測データの変更処理の説明図である。 図１１のフローチャートのＳ４３３で実行する予測参照情報予測データの変更処理の説明図である。 図１２のフローチャートのＳ４４４で実行する予測参照情報予測データの変更処理の説明図である。 本発明の動画像復号装置の一実施形態例である。 本実施形態例の動画像復号装置が実行する動画像復号処理のフローチャートの一例である。 Ｈ.264における動きベクトル予測の説明図である。 同様に、Ｈ.264における動きベクトル予測の説明図である。 同様に、Ｈ.264における動きベクトル予測の説明図である。 同様に、Ｈ.264における動きベクトル予測の説明図である。 ダイレクトモードにおける動きベクトル生成の説明図である。 符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成する手法の説明図である。 時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。 同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。 同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。 カメラ間で生ずる視差の説明図である。
符号の説明
１００ 動画像符号化装置
１０１ 画像入力部
１０２ ブロックマッチング実施部
１０３ 予測画像作成部
１０４ 差分画像符号化部
１０５ 差分画像復号部
１０６ 参照フレームメモリ
１０７ 参照情報蓄積メモリ
１０８ 予測参照情報予測データメモリ
１０９ 予測参照情報生成部
１１０ 差分参照情報符号化部
１１１ 参照情報変更部
１１２ 参照フレーム指定情報蓄積メモリ
１１３ 参照フレーム選択部
１１４ 参照フレーム指定情報符号化部
本発明による動画像符号化方法あるいは動画像復号方法によれば、符号化対象領域／復号対象領域を符号化／復号するために用いる参照情報を、符号化対象領域／復号対象領域の隣接領域の参照情報を用いて予測するにあたり、隣接領域を符号化／復号する際に参照していた参照領域を符号化／復号する際に用いた参照情報を用いて、隣接領域の参照情報に修正を加えることで、複数フレームの間に映像変化の連続性がない場合においても、精度の高い予測参照情報を生成することができる。
従来の方法では、図１の破線矢印で示すように、複数フレーム間の映像変化に連続性を仮定して、単純に参照情報を修正してしまっていた（参照情報から予測参照情報を生成していた）ため、複数フレーム間の映像変化に連続性がない場合は、誤った変換を施してしまっていた。
これに対して、本発明によれば、隣接領域の参照フレームから別のフレームへの変化を、隣接領域の参照領域を符号化／復号した際の参照情報から取得できるため、複数フレーム間の映像変化の連続性を仮定せずに、隣接領域の参照情報を修正することができる。
ここで、本発明では、この隣接領域の参照領域、つまり予測参照情報予測データによって示される領域を符号化／復号した際の参照情報を参照領域参照情報と呼んでいる。
この参照領域参照情報は、その参照領域を符号化／復号する際に実際に利用されたものであり、良い符号化効率のために映像の変化を信頼度高く表していると考えられる。そのため、そのような情報を用いて修正を施した情報も映像の変化を信頼度高く表していると言える。
参照情報を修正する方法として、図１に示すように、隣接領域に対する参照情報に、参照領域参照情報を加える方法（ベクトル合成する方法）をとってもよい。
この方法では、隣接領域の参照フレームから符号化／復号対象フレームへの映像変化に、隣接領域の参照領域の参照フレームから隣接領域の参照フレームへの映像変化を加えることで、隣接領域の参照領域の参照フレームから符号化／復号対象フレームへの映像変化を求めることなる。
このことは既に符号化／復号されている映像変化が変化することはないという事実に基づいて、信頼度の高い参照情報変換を実現している。
ここで、隣接領域の参照領域が符号化／復号処理の単位領域になっておらず、その領域に複数の参照情報が含まれている場合が考えられるが、そのときは、
(i）参照領域が最も多く含まれる符号化／復号処理の単位領域で用いられた参照情報を参照領域参照情報とする方法を用いたり、
(ii)参照領域の含まれる割合に応じて符号化／復号処理の単位領域の参照情報に重みをつけて求めた平均の参照情報を参照領域参照情報とする方法を用いたり、
(iii）符号化／復号処理の単位領域に対して符号化／復号される参照情報をその領域に含まれる全ての画素が持つものとして、複数の参照領域において最も多く現れる参照情報を参照領域参照情報とする
方法を用いてもよい。
また、この修正は１度だけでなく、修正を加えた参照情報に対して再度修正を加えるなど、繰り返し行っても構わない。
繰り返し修正を加えることで、隣接領域の参照領域の参照フレームが符号化／復号対象領域参照フレームに十分近くない場合は、符号化／復号対象領域参照フレームからの映像変化により近い予測参照情報予測データを得ることができる。
参照情報を修正する方法として、図２のように、隣接領域に対する参照情報を、参照領域参照情報で置き換える方法をとってもよい。
この方法では、隣接領域の参照フレームから符号化／復号対象フレームへの映像変化が、隣接領域の参照フレームから符号化／復号対象領域参照フレームへの映像変化に等しいとして、符号化／復号対象領域参照フレームから符号化／復号対象フレームへの映像変化を求めることになる。
この方法では、実世界における２つの事実を利用している。
１つ目は実世界における被写体の変化には物理的な制約があるという事実である。被写体の変化に物理的な制約があるということは視差の時間相関が高いということを示す。
つまり、時間的に異なるフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における視差は非常に類似性が高い。
したがって、隣接領域の時間的な参照情報を、隣接領域の参照領域におけるカメラ間の参照情報に置き換えることで、隣接領域におけるカメラ間の参照情報に精度よく変換することができる。
２つ目は実世界における被写体の運動は１つであるという事実である。被写体の変化が１つしかないということは、各カメラによって撮影された動きは全て同じであり、被写体の動きのカメラ間の相関が高いということを示す。
つまり、カメラの異なる同時刻に撮影されたフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における動きは非常に類似性が高い。
したがって、隣接領域のカメラ間の参照情報を、隣接領域の参照領域における時間的な参照情報に置き換えることで、隣接領域における時間的な参照情報に制度よく変換することができる。
これによって、符号化対象領域とその隣接領域で、参照対象が時間方向とカメラ方向に異なっていても精度よく参照情報を予測できるようになる。
なお、この方法は、隣接領域の参照領域とその参照フレームの時刻関係と視点関係とが、符号化／復号対象フレームと符号化／復号対象領域参照フレームの時間関係と視点関係とにより適合しているほど、正確な予測を可能とする置換が可能である。
参照情報を修正する方法は、符号化／復号対象領域毎に、上述したいずれかの方法を適宜選択してもかまわない。
それぞれの方法では、利用している映像の性質が異なるため、どちらの方法が適切であるかは、状況によって異なる。
したがって、符号化／復号対象領域毎に切り替えることで、その領域に適した修正を加えることが可能となり、映像変化をより正しく表した予測参照情報を生成することができる。
ここで、先の方法はフレーム間の映像の時間変化を累積していくため、時間方向の映像変化を予測するのに適した方法であり、後の方法は映像変化の時間とカメラ間という次元を変換するのに適した方法であるため、符号化／復号対象領域で用いた映像予測の方法や予測参照情報予測データや参照領域参照情報によって示される映像変化の次元から、どちらの方法を適用したほうが望ましいかを判断することが可能である。
つまり、符号化／復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化／復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化／復号対象フレームの時刻情報及び視点情報とを用いることで、適用すべき方法を精度よく判定することができる。
参照情報を修正する方法として、符号化／復号対象フレームの視点のカメラパラメータと、符号化／復号対象領域参照フレームの視点のカメラパラメータと、参照領域の含まれるフレームの視点のカメラパラメータとに従って、参照情報に幾何変換を加えることで修正する方法をとっても良い。
また、このような変換を、予測参照情報予測データや、参照領域参照情報に加えることができる。
これらの方法によれば、２つのカメラで撮影されたフレームの映像変化を、別の組み合わせの２つのカメラで撮影されたフレームの映像変化へと変換することができる。
映像の時間変化と異なり、映像のカメラ間の変化はカメラの位置と被写体の位置に起因するものであるため、時刻の同じ２つの異なる位置から撮影された画像があり、そのカメラの位置関係などを示すカメラパラメータが既知の場合、さらに別の位置から撮影された画像を精度良く予測することが可能である。
この対応関係はカメラ間隔に応じてスケーリングするだけで得られるものではないため、従来の時間間隔に応じてスケーリングする方法を拡張するだけの単純な方法では、正確な予測を可能とする変換を行うことができない。
参照情報を修正する方法として、符号化／復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとっても良い。
また、参照情報を修正する方法として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとっても良い。
これらの方法では、符号化側、復号側の両方で大量の演算を必要とするが、隣接領域の符号化／復号対象領域参照フレーム上の対応点をより正確に求めることができるため、映像変化をより正しく表した予測参照情報を生成することができ、その結果、参照情報を効率よく符号化することができる。
これらの方法で、対応点を正確に求めることができるかどうかは、対応領域を探索するときの探索方法や探索範囲、つまり演算コストに大きく依存してしまう。
しかしながら、予測参照情報予測データの参照フレームが、符号化／復号対象フレームよりも符号化／復号対象領域参照フレームに近い場合、予測参照情報予測データの参照情報が途中までの動きを表してくれていることになるため、そこからの変化だけを探索すれば済むことになり、演算コストを減らすことができる。
以下、実施の形態に従って本発明を詳細に説明する。
図３に、本発明の動画像符号化装置１００の一実施形態例を示す。
この動画像符号化装置１００は、符号化対象となる画像を入力する画像入力部１０１と、符号化対象画像を分割した領域毎に、既に符号化済みの参照フレームにおける対応領域を求めるためにブロックマッチングを行うブロックマッチング実施部１０２と、ブロックマッチングの結果と参照フレームとを用いて符号化対象領域の画像の予測画像を生成する予測画像作成部１０３と、符号化対象領域の画像と予測画像との差分画像を符号化する差分画像符号化部１０４と、差分画像符号化データを復号する差分画像復号部１０５と、復号された差分画像と予測画像との和によって生成された符号化対象領域の画像の復号画像を参照フレームとして蓄積する参照フレームメモリ１０６と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報を蓄積する参照情報蓄積メモリ１０７と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報の符号化に用いられる予測参照情報の候補となる参照情報を蓄積する予測参照情報予測データメモリ１０８と、予測参照情報予測データから予測参照情報を生成する予測参照情報生成部１０９と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報と予測参照情報との差分を符号化する差分参照情報符号化部１１０と、予測参照情報予測データメモリ１０８上の予測参照情報予測データに修正を施す参照情報変更部１１１と、符号化済みの各領域が参照したフレームの情報を蓄積する参照フレーム指定情報蓄積メモリ１１２と、符号化対象領域の画像を符号化するときに用いる参照フレームを選択する参照フレーム選択部１１３と、符号化対象領域を符号化するときに用いた参照フレームを指定する情報を符号化する参照フレーム指定情報符号化部１１４とを備える。
図４に、このように構成される動画像符号化装置１００の実行するフローチャートを示す。
このフローチャートに従って、このように構成される動画像符号化装置１００の実行する処理について詳細に説明する。
ただし、既に複数フレームの画像を符号化済みであり、その結果が参照フレームメモリ１０６、参照情報蓄積メモリ１０７、参照フレーム指定情報蓄積メモリ１１２に蓄積されているものとする。
まず、画像入力部１０１より符号化対象となる画像が入力される［Ｓ１０１］。
入力された符号化対象画像は、画面全体を領域分割され領域毎に符号化を行う［Ｓ１０２〜Ｓ１２１］。
このフローチャートでは、ブロック（領域）のインデックスをblk と表し、一つの画像に対する総ブロック数をMaxBlkと表す。
つ・BR>ワり、インデックスBLK を１に初期化した後［Ｓ１０２］、BLK がMAXBLKになるまで［Ｓ１２０］、BLK に１を加算しながら［Ｓ１２１］、以下の処理［Ｓ１０３〜Ｓ１１９］を繰り返し実行することになる。
ブロック毎に行う処理では、そのブロックを符号化するために用いる参照フレームbest＿ref 、参照情報best＿mv、予測参照情報best＿pmv を求め［Ｓ１０３〜Ｓ１１７］、この映像予測のための情報とこれらを用いて符号化されるブロックblk の画像情報とを符号化して出力した後［Ｓ１１８］、以後の符号化処理のために、符号化データを復号して復号結果の画像情報、best＿ref 、best＿mvを、それぞれ、参照フレームメモリ１０６、参照フレーム指定情報蓄積メモリ１１２、参照情報蓄積メモリ１０７に格納する［Ｓ１１９］。
ここで、Ｓ１１８の符号化処理では、best＿ref を示す情報は参照フレーム指定情報符号化部１１４で符号化され、best＿mvとbest＿pmv との差分が差分参照情報符号化部１１０で符号化され、入力画像と、これらの情報を用いて予測画像作成部１０３で生成された予測画像との差分画像が、差分画像符号化部１０４で符号化される。
また、Ｓ１１９の復号処理では、差分画像の符号化データを差分画像復号部１０５で復号し、その結果と予測画像作成部１０３で生成された予測画像との和を求めることでブロックblk の復号画像情報を得る。
符号化時に用いる映像予測のための情報は、全ての利用可能な参照フレームに対して、以下の処理［Ｓ１０４〜Ｓ１１５］を繰り返し実行することで求める。
つまり、参照フレームインデックスref を１に初期化し、最小レート歪コストbestCostを絶対に取りえない最大値MaxCost に初期化した後［Ｓ１０３］、ref が全ての利用可能な参照フレームの数NumOfRefになるまで［Ｓ１１６］、ref に１を加算しながら［Ｓ１１７］、予測参照情報を生成する処理［Ｓ１０４〜Ｓ１０７］と、レート歪コストが最小となるような参照情報を求める処理［Ｓ１０８〜Ｓ１１５］とを繰り返し実行する。
予測参照情報を生成する処理は、予測参照情報予測データメモリ１０８を初期化した後［Ｓ１０４］、ブロックblk に隣接する複数のブロックに関して、そのブロックを符号化したときに使用した参照フレーム番号ＲＥＦと、参照情報ＭＶと、そのブロックの位置を示す情報ＰＯＳとの組｛ＲＥＦ，ＭＶ，ＰＯＳ｝を予測参照情報予測データメモリ１０８に格納する［Ｓ１０５］。
このとき、ＭＶ，ＲＥＦは、それぞれ、参照情報蓄積メモリ１０７、参照フレーム指定情報蓄積メモリ１１２に、ブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。
なお、ブロックblk に隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすることができる。
本実施形態例では、この３つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。
次に、予測参照情報予測データメモリ１０８内の予測参照情報予測データを取り出し、参照情報変更部１１１で変更を加えて、再度、予測参照情報予測データメモリ１０８に蓄積する［Ｓ１０６］。ここで行われる処理については後で詳しく説明を行う。
そして、予測参照情報予測データメモリ１０８に蓄積されている複数の参照情報から予測参照情報pmv を生成する［Ｓ１０７］。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報pmv を作成する。
つまり、参照情報がＸ−Ｙの２次元のベクトルとして表される場合、成分ごとに、複数の予測参照情報予測データの持つ対応する成分の中間値を求めて、pmv をその成分の値とする。
なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像復号装置が用いる基準と同じ基準を用いる必要がある。
このようにして求められたpmv を用いて、レート歪コストが最小となるような参照情報を求める処理を実行する。
つまり、参照情報インデックスmv＿idx を１に初期化した後［Ｓ１０８］、mv＿idx がブロックblk の符号化のために用いることのできる参照情報の候補の数NumOfListMv に一致するまで［Ｓ１１４］、mv＿idx に１を加算しながら［Ｓ１１５］、以下の処理［Ｓ１１０〜Ｓ１１３］を繰り返す。
まず、mv＿idx に対応する参照情報mvを得る［Ｓ１０９］。ここでは、mv＿idx に対応する参照情報がメモリcand＿mvに既に蓄積されているものとする。
そして、このmvと参照フレームref とを用いて、ブロックblk に対する予測画像Ｐreを生成する［Ｓ１１０］。
具体的には、ブロックblk の位置からmv（ベクトル）によって示される参照フレームref上の領域の画像情報を予測画像とする。
次に、生成された予測画像Ｐreと、ブロックblk の画像情報Ｏrgと、pmv 、mv、ref とを用いてレート歪コストcostを次の式に基づいて計算する［Ｓ１１１］。
ここで、λはラグランジュの未定乗数であり、予め設定された値が利用される。また、bit() は与えられた情報を符号化するのに必要な符号量を返す関数を表す。
なお、ここではＤを２つの画像情報の差分絶対値和としたが、差分二乗和としてもよいし、差分情報を周波数領域へ変換してから和を求めるＳＡＴＤと呼ばれる指標を用いてもよい。
さらに符号化処理の演算コストが増加するが、正確なレート歪コストを求める方法として、符号化対象領域の画像と予測画像との差分画像Ｄiff(＝Ｏrg−Ｐre）を実際に符号化したときの符号量ＢＩＴＳと、その差分画像の符号化データを復号して得られた復号差分画像ＤecＤiff とを用いて、以下の式で求める方法を用いてもよい。
このようにして求められたcostとbestCostとを比較して［Ｓ１１２］、costの方が小さくなったならば、bestCostをcostに変更し、best＿ref をref に変更し、best＿mvをmvに変更し、best＿pmv をpmv に変更する［Ｓ１１３］ことで、最もレート歪コストが小さくなるような符号化のための情報を得る。
次に、図５〜図１２に示すフローチャートに従って、参照情報変更部１１１で行われるＳ１０６の詳細な処理について説明する。
Ｓ１０６の処理では、まず、予測参照情報予測データメモリ１０８に蓄積された全ての予測参照情報予測データに対して割り当てられる変数FIN を０で初期化し、全てのFIN が１になるまで、図５〜図１２の処理を繰り返し実行する。
ここで、図５は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。
また、図６〜図８は、多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートを示す。
また、図９〜図１２は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。
図５で示される、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートについて説明する。
まず、予測参照情報予測データメモリ１０８から、変更が完了していない、つまりFIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ２０１］。
上述したＳ１０５の処理で説明したように、予測参照情報予測データメモリは、符号化対象ブロックであるブロックblk に隣接する複数のブロックを符号化したときに使用した参照フレームと、参照情報と、そのブロックの位置を示す情報とを持つ情報であることから、 p＿can は、隣接ブロックの参照フレーム番号と、隣接ブロックの参照情報と、隣接ブロックの位置を示す情報とを持つ情報である。
そこで、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ２０２］。
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ２０３］、FIN を１にして［Ｓ２０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ２１１］。
すなわち、隣接ブロックの参照フレーム ref＿can と、符号化対象ブロックblk の参照フレームref とが一致する場合には、予測参照情報予測データメモリ１０８から取り出した予測参照情報予測データをそのまま用いて予測参照情報pmv を生成した方がよいので、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納するように処理するのである。
一方、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しくないときには、フレーム ref＿can 上の、p＿can（隣接領域）をmv＿can だけずらした領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ２０５］、次の条件式に基づき処理を行う［Ｓ２０６〜Ｓ２１０］。
ここで、ＴＩＭＥ（）は、与えられた参照フレーム番号に対応するフレームの表示時刻（撮影時刻）を返す関数である。
この条件式は、 ref＿tel という参照フレームが ref＿can という参照フレームよりも符号化対象ブロックblk の参照フレームref に時間的に近いのか否かを判断することを意味する。
この条件式が成り立つ場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ２０７］。
一方、この条件式が成り立たない場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、符号化対象ブロックblk の参照フレームref を探索対象とし、探索中心をmv＿canに設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ２０８］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ２０９］。
そして、どちらの場合も ref＿can とmv＿can の変更が終わったら、 ref＿can とmv＿can とを p＿can の参照フレーム番号と参照情報とに設定し［Ｓ２１０］、その p＿can を予測参照情報予測データメモリ１０８に格納して［Ｓ２１１］、処理を終了する。
ここで、図５のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、すなわち、符号化対象ブロックblk の参照フレームref に到達するまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。
また、図５のフローチャートでは、Ｓ２０８のブロックマッチング処理で、符号化対象ブロックblk の参照フレームref を探索対象として、符号化対象ブロックblk の隣接領域に対応付けられる参照領域にマッチングする領域を探索するという方法を用いたが、符号化対象ブロックblk の隣接領域にマッチングする領域を探索するという方法を用いることも可能である。
また、図５のフローチャートでは、Ｓ２０６の判断処理に従って、Ｓ２０７の処理を実行するのか、Ｓ２０８，２０９の処理を実行するのかを決定するという方法を用いたが、無条件に、Ｓ２０７の処理を実行するという方法を用いることも可能である。
このようにして、参照情報変更部１１１は、図５のフローチャートを実行することで、図１に示すような形で、予測参照情報予測データメモリ１０８に格納される予測参照情報予測データを変更するように処理するのである。
次に、図６〜図８で示される多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートについて説明する。
ここで、図６〜図８のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。
まず、FIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ３０１］。次に、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ３０２］。
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ３０３］、FIN を１にして［Ｓ３０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ３３６，Ｓ３３７］。
そうでなければ、フレーム ref＿can 上の mv＿can が示す領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ３０５］、以下の処理［Ｓ３０６〜Ｓ３３５］を行った後、 p＿can を予測参照情報予測データメモリ１０８に格納する［Ｓ３３６，Ｓ３３７］。
Ｓ３０６〜Ｓ３３５の処理では、まず、 ref＿tel がref と等しければ［Ｓ３０６］、 ref＿can をref に書き換え、mv＿can にmv＿tel を加える［Ｓ３０７］。
そうでなければ、符号化対象フレームcur の表示時刻と符号化対象ブロックの参照フレームref の表示時刻とを比較して［Ｓ３０８］、同じであれば、ブロックblk で映像のカメラ間の変化の予測を行う場合の処理［図７：Ｓ３０９〜Ｓ３２０］を実行し、異なるのであれば、ブロックblk で映像の時間変化の予測を行う場合の処理［図８：Ｓ３２１〜Ｓ３３５］を実行する。
ブロックblk で映像のカメラ間の変化の予測が行われる場合の処理［図７：Ｓ３０９〜Ｓ３２０］では、フレームcur とフレーム ref＿can を撮影した視点（カメラ）が同じであるかどうかを調べる［Ｓ３０９］。
ここで、図７のフローチャート上のＶＩＥＷ（）は、与えられたフレーム番号に対応するフレームを撮影した視点（カメラ）インデックスを返す関数を表す。
フレームcur とフレーム ref＿can とが異なるカメラで撮影されている場合、フレームcur における p＿can の位置の領域（隣接領域）のフレーム ref＿can への視差mv＿can を、該隣接領域のフレームref への視差mv＿trans1へ、フレームcur とフレーム ref＿can とフレームref のカメラパラメータを用いて幾何変換を行い［Ｓ３１０］、 ref＿can をref に書き換え、mv＿can をmv＿trans1に書き換える［Ｓ３１１］。
Ｓ３１０の処理で行われる幾何変換は以下の手順で実行する。
１． p＿can で表される領域（符号化対象領域の隣接領域）の中心位置 pos＿cur を求める
２． p＿can で表される位置からmv＿can だけずらした領域（参照領域）の中心位置 pos＿can を求める
３．ｘを変数として、Ｔrans（cur, ref＿can, pos＿cur,ｘ）を求める（これをｐ（下に述べる対応画素）の上に〜が付加されたもので示す）。

Ｔrans（src, dst, pix, d ）は、次の式によって定義でき、視点src における画像上の位置pix の画素から被写体までの距離がｄの場合に、視点dst における画像上における画素pix の対応画素ｐの斉次座標値を表す。
ただし、Ａ，Ｒ，ｔはカメラパラメータであり、それぞれ内部パラメータ、回転パラメータ、並進パラメータを示す。内部パラメータと回転パラメータは３×３行列であり、ｔは３次元のベクトルである。
また、座標値に〜が付加されているものは斉次座標値を示している。特に、第三成分が１の斉次座標値を座標値に「＾」を付加して表している。
なお、カメラパラメータの表し方は様々であり、本実施形態例では、上記式によってカメラ間の対応点が計算できるようなカメラパラメータであるとする。
４．＾ｐ（ｐの、第三成分が１の斉次座標値）とpos ＿can とのユークリッド距離が最小になるｘを求めｄcur とする
５．次の式に従ってmv＿trans1を求める
なお、これらの式は各位置情報が２次元座標で与えられ、参照情報が２次元ベクトルで表されている場合の式である。
図１３に、Ｓ３１０の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿can とmv＿trans1を上下にずらして示してある。
この図に示すように、Ｓ３１０では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)
という状況下で、mv＿can をmv＿trans1に幾何変換する処理が行われ、これを受けて、Ｓ３１１では、mv＿can をmv＿trans1に書き換える処理が行われることになる。
一方、フレームcur とフレーム ref＿can とが同じカメラで撮影されている場合［Ｓ３０９でＹＥＳの場合］、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されているかどうかを判定する［Ｓ３１２］。
同じカメラで撮影されていた場合、フレームcur とフレーム ref＿tel の時間間隔が予め与えられた閾値ＴＨ１よりも小さいかどうかを判定する［Ｓ３１３］。この時間間隔がＴＨ１より小さい場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３１４］。
一方、この時間間隔がＴＨ１以上の場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ３１５］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ３１６］。
Ｓ３１２の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されていると判定された場合、フレームref とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３１７］。
同じカメラで撮影されていない場合、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ３１８］、 ref＿can をref に書き換え、mv＿can をmv＿trans2に書き換える［Ｓ３１９］。
Ｓ３１８の処理で行われる幾何変換は以下の手順で実行する。
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
３．ｘを変数として、Ｔrans(ref＿can, ref＿tel, pos＿can,ｘ）を求める（これをｐの上に〜が付加されたもので示す）
４．＾ｐと pos＿tel とのユークリッド距離が最小になるｘを求めｄcan とする
５．次の式に従ってmv＿trans2を求める
図１４に、Ｓ３１８の処理で行われる幾何変換の一例を示す。
この図に示すように、Ｓ３１８では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ，ＶＩＥＷ(cur) ＝ＶＩＥＷ(ref＿can)
ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel), ＶＩＥＷ(ref) ≠ＶＩＥＷ(ref＿tel)という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ３１９では、mv＿can をmv＿trans2に書き換える処理（図中に示す破線が処理結果）が行われることになる。
Ｓ３１７の判定処理で、フレームref とフレーム ref＿tel とが同じカメラで撮影されていると判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ３２０］。
一方、ブロックblk で映像の時間変化の予測が行われる場合の処理［図８：Ｓ３２１〜Ｓ３３５］では、まず、フレームcur とフレーム ref＿can とが同じカメラで撮影されたかどうかを判定する［Ｓ３２１］。
同じカメラで撮影されたと判定された場合、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３２２］。
これも同じカメラで撮影されたと判定された場合、フレーム ref＿tel とフレーム ref＿can とで、どちらが時間的にフレームref に近いかを判定する［Ｓ３２３］。
フレーム ref＿tel の方がフレームref に時間的に近いと判定された場合には、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３２４］。
Ｓ３２２の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されたと判定された場合か、Ｓ３２３の判定処理で、フレーム ref＿can の方がフレームref に時間的に近いと判定された場合には、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ３２５］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ３２６］。
一方、Ｓ３２１の判定処理において、フレームcur とフレーム ref＿can とが異なるカメラで撮影されたと判定された場合、フレーム ref＿can とフレーム ref＿tel とが同じカメラで撮影されたかどうかを判定する［Ｓ３２７］。
同じカメラで撮影されたと判定された場合、フレームref の表示時刻とフレーム ref＿tel の表示時刻（撮影時刻）とが同じであるかどうかを判定する［Ｓ３２８］。
同じ表示時刻を持つと判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ３２９］。
Ｓ３２８の判定処理で、異なる表示時刻を持つと判定された場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿tel に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿telBM とし［Ｓ３３０］、 ref＿can をref に書き換え、mv＿can をmv＿tel とmv＿telBM との和に書き換える［Ｓ３３１］。
Ｓ３２７の判定処理で、フレーム ref＿can とフレーム ref＿tel とが異なるカメラで撮影されたと判定された場合、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が、予め与えられた閾値ＴＨ２より大きいかどうかを判定する［Ｓ３３２］。
このフローチャートでは、Ｄiff(cam1,cam2)が撮影領域の一致度合いを表し、一方のカメラ（あらかじめどちらかに決められ、それに適合する閾値ＴＨ２が選択される）で撮影可能な領域に対する両方のカメラで撮影可能な領域の割合を与える。ただし、カメラから、別途与えられる距離までの実空間のみを対象とする。また、与えられる閾値ＴＨ２は、全てのカメラの組合せにおいて最も小さなＤiff値よりも大きいとする。
Ｓ３３２の判定処理で、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が閾値ＴＨ２より大きかった場合、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ３３３］。
一方、Ｓ３３２の判定処理で、VIEW(cur) とVIEW(ref＿tel)の撮影領域の一致割合が閾値ＴＨ２以下だった場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ３３４］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ３３５］。
次に、図９〜図１２で示される、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートについて説明する。
ここで、図９〜図１２のフローチャートでは、全ての予測参照情報予測データに対してFIN の値が１に設定されるまで、このフローチャートを繰り返し実行することを想定しているが、例えば規定回数（１回でもよい）だけ繰り返すというような方法を用いることも可能である。
まず、FIN が０である予測参照情報予測データを取り出して p＿can とする［Ｓ４０１］。次に、 p＿can の参照フレーム番号を ref＿can に設定し、 p＿can の参照情報をmv＿can に設定する［Ｓ４０２］。
ここで、 ref＿can がブロックblk を符号化する際に用いようとしている参照フレームの参照フレーム番号ref と等しければ［Ｓ４０３］、FIN を１にして［Ｓ４０４］、 p＿can をそのまま予測参照情報予測データメモリ１０８に格納する［Ｓ４５２，Ｓ４５３］。
そうでなければ、フレーム ref＿can 上の、p＿can（隣接領域）をmv＿can だけずらした領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref＿tel とし、この領域内で参照フレームが ref＿tel のもので最も多くの画素で使われている参照情報をmv＿tel として［Ｓ４０５］、以下の処理［Ｓ４０６〜Ｓ４５１］を行った後、 p＿can を予測参照情報予測データメモリ１０８に格納する［Ｓ４５２，Ｓ４５３］。
Ｓ４０６〜Ｓ４５１の処理では、まず、 ref＿tel がref と等しければ［Ｓ４０６］、 ref＿can をref に書き換え、mv＿can にmv＿tel を加える［Ｓ４０７］。
そうでなければ、符号化対象フレームcur の表示時刻と符号化対象ブロックの参照フレームref の表示時刻とを比較して［Ｓ４０８］、同じであれば、ブロックblk で映像のカメラ間の変化の予測を行う場合の処理［図１０：Ｓ４０９〜Ｓ４２０］を実行し、異なるのであれば、フレームcur とフレームref を撮影したカメラが同じであるかどうかを判定する［Ｓ４２１］。
同じであれば、ブロックblk で映像の時間変化の予測を行う場合の処理［図１１：Ｓ４２２〜Ｓ４４１］を実行し、異なるのであれば、映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理［図１２：Ｓ４４２〜Ｓ４５１］を実行する。
ブロックblk で映像のカメラ間の変化の予測が行われる場合の処理［図１０：Ｓ４０９〜Ｓ４２０］では、まず、フレームcur の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定する［Ｓ４０９］。
同じであると判定された場合、前述のＳ３１０での処理と同様の方法で、フレームcur における p＿can の位置の領域（隣接領域）のフレーム ref＿can への視差mv＿can を、該隣接領域のフレームref への視差mv＿trans1へ、フレームcur とフレーム ref＿can とフレームref のカメラパラメータを用いて幾何変換を行い［Ｓ４１０］、 ref＿can をref に書き換え、mv＿can をmv＿trans1に書き換える［Ｓ４１１］。
ここで、このＳ４１０で行われる幾何変換処理は、Ｓ３１０で説明した幾何変換処理と同じものである。
一方、Ｓ４０９の判定処理で、フレームcur の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合、フレーム ref＿can の表示時刻とフレーム ref＿tel の表示時刻とが同じであるかどうかを判定する［Ｓ４１２］。
同じであると判定された場合、フレーム ref＿tel を撮影したカメラとフレームref を撮影したカメラとが同じで、かつ、フレーム ref＿can を撮影したカメラとフレームcur を撮影したカメラとが同じであるかどうかを判定する［Ｓ４１３］。
２組のカメラ対がそれぞれ同じカメラであると判定された場合、 ref＿can をref に書き換え、mv＿can をmv＿tel に書き換える［Ｓ４１４］。
Ｓ４１３の判定処理で、２組のカメラ対のどちらか一方でも同じではないと判定された場合、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、VIEW(cur) で撮影された画像における p＿can の位置の領域（隣接領域）の、VIEW(ref) で撮影された画像への視差mv＿trans3へ、VIEW(cur) とVIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４１５］、 ref＿can をref に書き換え、mv＿can をmv＿trans3に書き換える［Ｓ４１６］。
Ｓ４１５の処理で行われる幾何変換は以下の手順で実行する。
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
３．ｘを変数として、Ｔrans(ref＿can, ref＿tel, pos＿can,ｘ）を求める（これをｐの上に〜が付加されたもので示す）
４．＾ｐと pos＿tel とのユークリッド距離が最小になるｘを求めｄcan とする
５．次の式に従ってmv＿trans3を求める
図１５に、Ｓ４１５の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿tel とmv＿tran3 を上下にずらして示してある。
この図に示すように、Ｓ４１５では、
ＴＩＭＥ(cur) ＝ＴＩＭＥ(ref) ≠ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
ＶＩＥＷ(ref) ≠ＶＩＥＷ(ref＿tel)またはＶＩＥＷ(cur) ≠ＶＩＥＷ(ref＿can)
という状況下で、mv＿tel をmv＿trans3に幾何変換する処理が行われ、これを受けて、Ｓ４１６では、mv＿can をmv＿trans3に書き換える処理（図中に示す破線が処理結果）が行われることになる。
Ｓ４１２の判定処理で、フレーム ref＿can の表示時刻とフレーム ref＿tel の表示時刻とが異なると判定された場合、フレームcur とフレーム ref＿tel の時間間隔が、予め与えられた閾値ＴＨ１よりも小さいかどうかを判定する［Ｓ４１７］。
時間間隔がＴＨ１より小さい場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ４１８］。
時間間隔がＴＨ１以上の場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４１９］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４２０］。
ブロックblk で映像の時間変化の予測を行う場合の処理［図１１：Ｓ４２２〜Ｓ４４１］では、まず、フレームcur を撮影したカメラとフレーム ref＿can を撮影したカメラとが同じであるかどうか判定する［Ｓ４２２］。
同じであった場合、さらに、フレーム ref＿can を撮影したカメラとフレーム ref＿tel を撮影したカメラとが同じであるかどうかを判定する［Ｓ４２３］。
これも同じであった場合、前述の〔数３〕式による判定を行う［Ｓ４２４］。
この〔数３〕式が成立する場合は、 ref＿can を ref＿tel に置き換え、mv＿can にmv＿tel を加える［Ｓ４２５］。
一方、この〔数３〕式が成立しなかった場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿canBM とし［Ｓ４２６］、 ref＿can をref に書き換え、mv＿can にmv＿canBM を加える［Ｓ４２７］。
Ｓ４２３の判定処理で、フレーム ref＿can を撮影したカメラとフレーム ref＿tel を撮影したカメラとが異なると判定された場合、フレームref を撮影したカメラとフレーム ref＿tel を撮影したカメラとが同じであるかどうか判定する［Ｓ４２８］。
同じであった場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can ＋mv＿tel に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM1とし［Ｓ４２９］、 ref＿can をref に書き換え、mv＿can にmv＿tel とmv＿epiBM1とを加える［Ｓ４３０］。
なお、このＳ４２９での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。
１． p＿can をmv＿can ＋mv＿tel だけずらした位置の領域の中心位置 pos＿tel を求める
２．ｘを変数として、Ｔrans(ref＿tel, ref, pos＿tel, x）を求める（これをｐの上に〜が付加されたもので示す）
３．ｘを変化させたときにｐの描くフレームref 上の直線を求める
ここでは、変化させるｘの値の最大値と最小値を決めないが、予め設定しておいても構わない
また、Ｓ４２８の判定処理で、フレームref を撮影したカメラとフレーム ref＿tel を撮影したカメラとが異なると判定された場合、前述のＳ４２６の処理とＳ４２７の処理とを行う。
一方、最初に行うＳ４２２の判定処理で、フレームcur を撮影したカメラとフレーム ref＿can を撮影したカメラとが異なると判定された場合、フレームref の表示時刻とフレーム ref＿tel の表示時刻とが同じであるかどうかを判定する［Ｓ４３１］。
同じであった場合、さらに、フレームref の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定する［Ｓ４３２］。
これも同じであった場合、前述のＳ３１８での処理と同様の方法で、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４３３］、 ref＿can をref に書き換え、mv＿can にmv＿trans2を加える［Ｓ４３４］。
図１６に、Ｓ４３３の処理で行われる幾何変換の一例を示す。
この図に示すように、Ｓ４３３では、
ＶＩＥＷ(cur) ＝ＶＩＥＷ(ref), ＶＩＥＷ(cur) ≠ＶＩＥＷ(ref＿can)
ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ４３４では、mv＿can にmv＿trans2を加える処理（図中に示す破線が処理結果）が行われることになる。
なお、Ｓ４３２の判定処理で、フレームref の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合は、前述のＳ４２９の処理とＳ４３０の処理とを行う。
また、Ｓ４３１の判定処理で、フレームref の表示時刻とフレーム ref＿tel の表示時刻とが異なると判定された場合は、フレームref の表示時刻とフレーム ref＿can の表示時刻とが同じであるかどうかを判定す・BR>驕MＳ４３５］。
同じであると判定された場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM2とし［Ｓ４３６］、 ref＿can をref に書き換え、mv＿can にmv＿epiBM2を加える［Ｓ４３７］。
なお、このＳ４３６での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。
１． p＿can をmv＿can だけずらした位置の領域の中心位置 pos＿can を求める
２．ｘを変数として、Ｔrans(ref＿can, ref, pos＿can, x）を求める（これをｐの上に〜が付加されたもので示す）
３．ｘを変化させたときにｐの描くフレームref 上の直線を求める
ここでは、変化させるｘの値の最大値と最小値を決めないが、予め設定しておいても構わない
Ｓ４３５の判定処理で、フレームref の表示時刻とフレーム ref＿can の表示時刻とが異なると判定された場合は、次の２つの条件式による判定を行う［Ｓ４３８］。
どちらか一方でも成り立つ場合は、 ref＿can を ref＿tel に書き換え、mv＿can にmv＿tel を加える［Ｓ４３９］。
どちらも成立しない場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４４０］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４４１］。
ブロックblk で映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理［図１２：Ｓ４４２〜Ｓ４５１］では、まず、フレーム ref＿can の表示時刻とフレーム refの表示時刻とが同じであるかどうかを判定する［Ｓ４４２］。
同じであると判定された場合、フレーム ref＿tel の表示時刻とフレームref の表示時刻とが同じであるかどうかを判定する［Ｓ４４３］。
これも同じであると判定された場合、前述のＳ３１８での処理と同様の方法で、VIEW(ref＿can)で撮影された画像における、p＿can（隣接ブロックの位置）をmv＿can だけずらした位置の領域（参照領域）の、VIEW(ref＿tel)で撮影された画像への視差mv＿tel を、該参照領域の、VIEW(ref) で撮影された画像への視差mv＿trans2へ、VIEW(ref＿can)とVIEW(ref＿tel)とVIEW(ref) のカメラパラメータを用いて幾何変換を行い［Ｓ４４４］、 ref＿can をref に書き換え、mv＿can にmv＿trans2を加える［Ｓ４４５］。
図１７に、Ｓ４４４の処理で行われる幾何変換の一例を示す。なお、見やすくするために、mv＿tel とmv＿trans2を上下にずらして示してある。
この図に示すように、Ｓ４４４では、
ＴＩＭＥ(cur) ≠ＴＩＭＥ(ref) ，ＶＩＥＷ(cur) ≠ＶＩＥＷ(ref)
ＴＩＭＥ(ref) ＝ＴＩＭＥ(ref＿can)＝ＴＩＭＥ(ref＿tel)
という状況下で、mv＿tel をmv＿trans2に幾何変換する処理が行われ、これを受けて、Ｓ４４５では、mv＿can にmv＿trans2を加える処理（図中に示す破線が処理結果）が行われることになる。
また、Ｓ４４３の判定処理で、フレーム ref＿tel の表示時刻とフレームref の表示時刻とが異なると判定された場合、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、探索中心をmv＿can に設定して、参照フレームref 上の対応領域を求め、探索中心からの変位（対応情報）をmv＿epiBM2とし［Ｓ４４６］、 ref＿can をref に書き換え、mv＿can にmv＿epiBM2を加える［Ｓ４４７］。
なお、このＳ４４６での探索は、カメラ間の制約を用いることで、対応領域の中心が、前述のＳ３３６の処理のときと同じ手順で得られる直線の周囲になる場合のみを探索することにしてもよい。
一方、最初に行うＳ４４２の判定処理で、フレーム ref＿can の表示時刻とフレームref の表示時刻とが異なると判定された場合、前述の〔数３〕式による判定を行う［Ｓ４４８］。
この〔数３〕式が成立する場合は、 ref＿can を ref＿tel に置き換え、mv＿can にmv＿tel を加える［Ｓ４４９］。
一方、この〔数３〕式が成立しなかった場合は、 p＿can の位置の符号化対象フレームの復号画像情報を用いて、参照フレームref 上の対応領域を求め、 p＿can の位置からの変位（対応情報）をmv＿BMとし［Ｓ４５０］、 ref＿can をref に書き換え、mv＿can をmv＿BMに書き換える［Ｓ４５１］。
このようにして、参照情報変更部１１１は、図６〜図１２のフローチャートを実行することで、図１や図２に示すような形で、予測参照情報予測データメモリ１０８に格納される予測参照情報予測データを変更するように処理するのである。
次に、本発明を具備する動画像復号装置について説明する。
図１８に、本発明の動画像復号装置２００の一実施形態例を示す。
この動画像復号装置２００は、復号対象となる画像の予測画像に対する差分画像の符号化データを復号する差分画像復号部２０１と、予測画像を生成する際の参照情報の予測参照情報に対する差分参照情報の符号化データを復号する差分参照情報復号部２０２と、予測画像を生成する際の参照フレーム指定情報の符号化データを復号する参照フレーム指定情報復号部２０３と、既に復号済みのフレームであるところの参照フレームと参照フレーム指定情報と参照情報とを用いて復号対象フレームの予測画像を生成する予測画像作成部２０４と、予測画像と復号された差分画像との和で求められる復号画像を蓄積する参照フレームメモリ２０５と、予測参照情報予測データ（予測参照情報の候補となる参照情報）から予測参照情報を生成する予測参照情報生成部２０６と、予測参照情報予測データを蓄積する予測参照情報予測データメモリ２０７と、過去に画像を復号する際に用いた参照情報を蓄積する参照情報蓄積メモリ２０８と、予測参照情報予測データメモリ２０７上の予測参照情報予測データに修正を施す参照情報変更部２０９と、過去に画像を復号する際に用いた参照フレーム指定情報を蓄積する参照フレーム指定情報蓄積メモリ２１０とを備える。
図１９に、このように構成される動画像復号装置２００の実行するフローチートを示す。
このフローチャートに従って、このように構成される動画像復号装置２００の実行する処理について詳細に説明する。ただし、既に複数フレームの画像を復号済みであり、その結果が参照フレームメモリ２０５、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０に蓄積されているものとする。
まず、差分画像の符号化データと、差分参照情報の符号化データと、参照フレーム指定情報の符号化データとが、動画像復号装置２００へ入力され、それぞれ、差分画像復号部２０１と、差分参照情報復号部２０２と、参照フレーム指定情報復号部２０３へ送られる［Ｓ５０１］。
復号対象画像は画像全体を領域分割し、領域毎に復号を行う［Ｓ５０２〜Ｓ５１５］。このフローチャートでは、ブロック（領域）のインデックスをblk と表し、一つの画像に含まれる総ブロック数をMaxBlkと表す。
つまり、インデックスblk を１に初期化した後［Ｓ５０２］、blk がMaxBlkになるまで［Ｓ５１４］、blk に１を加算しながら［Ｓ５１５］、以下の処理［Ｓ５０３〜Ｓ５１３］を繰り返し実行する。
ブロック毎に行う処理では、参照フレーム指定情報の符号化データを復号して、参照フレーム指定情報ref を取得し［Ｓ５０３］、参照フレームref に対する参照情報を予測するための予測参照情報pmv を生成する処理［Ｓ５０４〜Ｓ５０７］を行った後に、差分参照情報の符号化データを復号して、差分参照情報mvd を取得し［Ｓ５０８］、pmv とmvd との和で構成される参照情報mvを生成する［Ｓ５０９］。
そして、参照フレームref と参照情報mvとを用いて予測画像Ｐreを生成し［Ｓ５１０］、差分画像の符号化データを復号して、差分画像Ｓubを取得し［Ｓ５１１］、ＰreとＳubとの画素ごとの和を計算することで復号画像Ｄecを生成する［Ｓ５１２］。
そして、復号画像Ｄecと、ブロックblk を復号するために用いた情報である参照情報mvと、参照フレーム指定情報ref を、それぞれ、参照フレームメモリ２０５、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０に格納する［Ｓ５１３］。
なお、各フレームについては、そのフレームに含まれる全てのブロックに関して復号処理が終わった後で、かつ、そのフレームより前の表示時刻を持つフレームが全て出力された後に、復号されたフレームが動画像復号装置２００から出力される。
予測参照情報pmv を生成する処理［Ｓ５０４〜Ｓ５０７］では、予測参照情報予測データメモリ２０７を初期化した後［Ｓ５０４］、ブロックblk に隣接する複数のブロックに関して、そのブロックを復号したときに使用した参照フレーム番号ＲＥＦと、参照情報ＭＶと、そのブロックの位置を示す情報ＰＯＳの組｛ＲＥＦ，ＭＶ，ＰＯＳ｝とを予測参照情報予測データメモリ２０７に格納する［Ｓ５０５］。
このとき、ＭＶ，ＲＥＦは、それぞれ、参照情報蓄積メモリ２０８、参照フレーム指定情報蓄積メモリ２１０にブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。
なお、ブロックblk に隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすることができる。
本形態実施例では、この３つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。
次に、予測参照情報予測データメモリ２０７内の予測参照情報予測データを取り出し、参照情報変更部２０９で変更を加えて、再度予測参照情報予測データメモリ２０７に蓄積する［Ｓ５０６］。ここで行われる処理は後で詳しく説明を行う。
そして、予測参照情報予測データメモリ２０７に蓄積されている複数の参照情報から予測参照情報pmv を生成する［Ｓ５０７］。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報pmv を作成する。
つまり、参照情報がＸ−Ｙの２次元のベクトルとして表される場合、成分ごとに、複数の予測参照情報予測データの持つ対応する成分の中間値を求めて、pmv をその成分の値とする。
なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像符号化装置が用いる基準と同じ基準を用いる必要がある。
参照情報変更部２０９で行われるＳ５０６の処理は、既に述べた図３に示した動画像符号化装置１００内の参照情報変更部１１１で行われる図４中に示すＳ１０６の処理と同様である。
つまり、最初に、予測参照情報予測データメモリ２０７に蓄積された全ての予測参照情報予測データに対してFIN を０で初期化し、全てのFIN が１になるまで、図５〜図１２のフローチャートの処理を繰り返し実行する。
ここで、図５は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。
また、図６〜図８は、多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチャートを示す。
また、図９〜図１２は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。復号装置においては、任意の既に復号済みのフレームを参照フレームとして用いることが出来る場合のフローチャートとしてとらえれば良い。
図示実施形態例に従って本発明を説明したが、本発明は、この実施形態例に限られるものではない。
例えば、mv＿tel を生成する方法としては、上述のような最頻値を取るほかに、成分ごとの中間値や平均値で生成する方法を用いてもよい。
ただし、動画像符号化装置側と動画像復号装置側との対応した処理で同じ方法になっている必要がある。
また、実施形態例ではフレーム内符号化については述べていないが、予測画像を作る方法の１つとして、例えば、参照フレーム指定情報として別の番号を割り当てることで容易に追加することができる。
なお、隣接ブロックがフレーム内符号化されているときはＭＶ（参照情報）に０を設定して予測参照情報予測データを生成し、ＴＩＭＥ（）やＶＩＥＷ（）は、他の場合（即ち、フレーム内符号化されていない）には絶対返さないような絶対値の大きな値を返すこととすると、フレーム内符号化が行われているような場合にも、前述のフローチャートで適切に処理可能である。また、参照フレーム指定情報を用いず、Ｈ.264のように別途符号化モードを用意して実現した動画像符号化装置、動画像復号装置も本発明から容易に類推可能である。
以上説明した動画像符号化及び復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
また、以上の実施形態例では動画像符号化装置及び動画像復号装置を中心に説明したが、これら動画像符号化装置及び動画像復号装置の各部の動作に対応したステップによって本発明の動画像符号化方法及び動画像復号方法を実現することができる。
以上、図面を参照して本発明の実施形態例を説明してきたが、以上に説明した実施形態例は本発明の例示に過ぎず、本発明が以上に説明した実施形態例に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がない場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなく、符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予符号化のための動きベクトルや視差情報を効率よく符号化することができる。

Claims (28)

  1. 画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法であって、
    処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
    前記予測参照情報予測データによって指し示される参照領域を処理した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
    前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
    １つ又は複数存在する前記変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成ステップと
    を有する予測参照情報生成方法。
  2. 画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化する動画像符号化方法であって、
    符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
    前記予測参照情報予測データによって指し示される参照領域を符号化した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
    前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
    １つ又は複数存在する前記変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、
    符号化対象領域に対する予測画像を生成するために用いた参照情報と前記予測参照情報との差分情報を符号化する差分参照情報符号化ステップと
    を有する動画像符号化方法。
  3. 請求項２に記載の動画像符号化方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
  4. 請求項２に記載の動画像符号化方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
  5. 請求項２に記載の動画像符号化方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。
  6. 請求項５に記載の動画像符号化方法において、
    前記予測参照情報予測データ変更ステップでは、前記符号化対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像符号化方法。
  7. 請求項２に記載の動画像符号化方法において、
    符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像符号化方法。
  8. 請求項２に記載の動画像符号化方法において、
    符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像符号化方法。
  9. 請求項２に記載の動画像符号化方法において、
    符号化対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。
  10. 請求項２に記載の動画像符号化方法において、
    符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。
  11. 画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号する動画像復号方法であって、
    復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、
    前記予測参照情報予測データによって指し示される参照領域を復号した際に用いた１つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、
    前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、
    １つ又は複数存在する前記変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、
    符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と前記予測参照情報との差分情報を復号する差分参照情報復号ステップと
    を有する動画像復号方法。
  12. 請求項１１に記載の動画像復号方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
  13. 請求項１１に記載の動画像復号方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
  14. 請求項１１に記載の動画像復号方法において、
    前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する動画像復号方法。
  15. 請求項１４に記載の動画像復号方法において、
    前記予測参照情報予測データ変更ステップでは、前記復号対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像復号方法。
  16. 請求項１１に記載の動画像復号方法において、
    復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像復号方法。
  17. 請求項１１に記載の動画像復号方法において、
    復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像復号方法。
  18. 請求項１１に記載の動画像復号方法において、
    復号対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法。
  19. 請求項１１に記載の動画像復号方法において、
    復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法。
  20. 請求項１に記載の予測参照情報生成方法における各ステップを実現する手段を備える予測参照情報生成装置。
  21. 請求項１に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラム。
  22. 請求項１に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
  23. 請求項２に記載の動画像符号化方法における各ステップを実現する手段を備える動画像符号化装置。
  24. 請求項２に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラム。
  25. 請求項２に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  26. 請求項１１に記載の動画像復号方法における各ステップを実現する手段を備える動画像復号装置。
  27. 請求項１１に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラム。
  28. 請求項１１に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2008542055A 2006-10-30 2007-10-23 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 Active JP4999859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008542055A JP4999859B2 (ja) 2006-10-30 2007-10-23 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006293929 2006-10-30
JP2006293929 2006-10-30
JP2008542055A JP4999859B2 (ja) 2006-10-30 2007-10-23 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
PCT/JP2007/070636 WO2008053746A1 (fr) 2006-10-30 2007-10-23 Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme

Publications (2)

Publication Number Publication Date
JPWO2008053746A1 JPWO2008053746A1 (ja) 2010-02-25
JP4999859B2 true JP4999859B2 (ja) 2012-08-15

Family

ID=39344089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008542055A Active JP4999859B2 (ja) 2006-10-30 2007-10-23 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Country Status (10)

Country Link
US (2) US8355438B2 (ja)
EP (1) EP2079242A4 (ja)
JP (1) JP4999859B2 (ja)
KR (1) KR101023263B1 (ja)
CN (1) CN101529918B (ja)
BR (1) BRPI0717639A2 (ja)
CA (1) CA2665781C (ja)
RU (1) RU2434361C2 (ja)
TW (2) TWI376158B (ja)
WO (1) WO2008053746A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290532A1 (en) * 2007-12-28 2010-11-18 Tomoyuki Yamamoto Moving image encoder and moving image decoder
WO2010016534A1 (ja) * 2008-08-08 2010-02-11 シャープ株式会社 動画像符号化装置および動画像復号装置
FI3567854T3 (fi) 2009-03-23 2023-01-13 Kuvan prediktiivinen dekoodausmenetelmä
EP2541939A4 (en) * 2010-02-23 2014-05-21 Nippon Telegraph & Telephone MOTION VECTOR ANALYSIS METHOD, METHOD FOR ENCRYPTION OF MORE VIEW IMAGES, METHOD OF DECODING OF MORE VIEW IMAGES, MOTION VECTOR MEASURING DEVICE, DEVICE FOR ENCRYPTION OF MORE VIEW IMAGES, DEVICE FOR DECODING OF MORE VIEW IMAGES, MOTION VECTOR ANALYSIS PROGRAM PROGRAM FOR ENCRYPTION OF MORE VIEW IMAGES AND PROGRAM FOR DECODING OF MORE VIEW IMAGES
JP5368631B2 (ja) * 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
CA3102661C (en) * 2010-07-20 2022-05-17 Ntt Docomo, Inc. Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
CN107277550B (zh) * 2010-08-11 2020-11-20 Ge视频压缩有限责任公司 解码器、解码方法、编码器、编码方法以及存储介质
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
HUE039248T2 (hu) * 2010-08-17 2018-12-28 M&K Holdings Inc Eljárás intra predikció mód helyreállítására
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
KR101418100B1 (ko) * 2010-10-06 2014-07-14 에스케이 텔레콤주식회사 모순 검증을 이용한 부호화 및 복호화 방법과 장치
RU2580942C2 (ru) * 2010-10-06 2016-04-10 Нтт Докомо, Инк. Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
WO2012090497A1 (ja) * 2010-12-28 2012-07-05 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
PL2698999T3 (pl) * 2011-04-12 2017-10-31 Sun Patent Trust Sposób kodowania ruchomych obrazów, urządzenie do kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, urządzenie do dekodowania ruchomych obrazów, oraz urządzenie do kodowania/dekodowania ruchomych obrazów
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
EP2717573B1 (en) 2011-05-24 2018-03-28 Velos Media International Limited Image encoding method, image encoding apparatus, image decoding method, image decoding apparatus, and image encoding/decoding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
ES2959039T3 (es) 2011-05-27 2024-02-19 Sun Patent Trust Aparato, procedimiento y programa para codificar imágenes en movimiento
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
MX2013012209A (es) 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
CN103597833A (zh) * 2011-06-22 2014-02-19 索尼公司 图像处理装置以及方法
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CA2843560C (en) 2011-08-03 2020-09-22 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR101809881B1 (ko) * 2011-09-28 2017-12-15 가부시키가이샤 제이브이씨 켄우드 동영상 디코딩 장치, 동영상 디코딩 방법 및 동영상 디코딩 프로그램을 저장한 기록매체
IN2014CN02602A (ja) 2011-10-19 2015-08-07 Panasonic Corp
KR20130049524A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
US10390016B2 (en) 2011-11-04 2019-08-20 Infobridge Pte. Ltd. Apparatus of encoding an image
HUE055991T2 (hu) * 2011-12-16 2022-01-28 Jvc Kenwood Corp Dinamikus képkódoló készülék, dinamikus képkódoló eljárás, dinamikus képkódoló program, dinamikus képdekódoló készülék, dinamikus képdekódoló eljárás és dinamikus képdekódoló program
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
JP6078927B2 (ja) * 2012-01-10 2017-02-15 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、及び、動画像復号装置
WO2013108613A1 (ja) * 2012-01-17 2013-07-25 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
CN104185993B (zh) * 2012-03-30 2019-02-12 索尼公司 图像处理设备和方法以及记录介质
SI3833022T1 (sl) * 2012-04-12 2022-06-30 Jvckenwood Corporation Konstruiranje seznama kandidatov za spajanje
WO2013176485A1 (ko) * 2012-05-22 2013-11-28 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN104380744B (zh) * 2012-06-19 2018-05-04 Lg电子株式会社 处理视频信号的方法和设备
CN104396256B (zh) * 2012-06-29 2018-11-06 威勒斯媒体国际有限公司 解码设备和解码方法
US9948939B2 (en) 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9544566B2 (en) 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN105612749A (zh) * 2013-10-17 2016-05-25 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
US9807411B2 (en) * 2014-03-18 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method
JP6463900B2 (ja) * 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
KR20170059422A (ko) 2015-11-20 2017-05-30 한국전자통신연구원 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
CN108353168B (zh) * 2015-11-20 2023-04-21 韩国电子通信研究院 对图像进行编/解码的方法和编/解码图像的装置
GB2556319A (en) * 2016-07-14 2018-05-30 Nokia Technologies Oy Method for temporal inter-view prediction and technical equipment for the same
RU2666275C1 (ru) * 2017-11-13 2018-09-06 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ кодирования движущегося изображения, долговременный считываемый компьютером носитель записи, на который записана программа кодирования изображения
CN112714322B (zh) * 2020-12-28 2023-08-01 福州大学 一种面向游戏视频的帧间参考优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205164A (ja) * 1994-12-30 1996-08-09 Daewoo Electron Co Ltd 動きベクトル決定方法及び動きベクトル推定装置
JPH10136374A (ja) * 1996-10-28 1998-05-22 Nec Corp 動ベクトル予測装置
JP2004056823A (ja) * 2002-07-16 2004-02-19 Samsung Electronics Co Ltd 動きベクトル符号化／復号化方法及びその装置
JP2004336369A (ja) * 2003-05-07 2004-11-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127969A (zh) 1995-01-26 1996-07-31 大宇电子株式会社 用于在帧削减视频编码器中检测运动矢量的方法及装置
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP5032730B2 (ja) * 2000-03-31 2012-09-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの互いに関連したデータ列を符号化する方法
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
CN1258925C (zh) * 2003-06-27 2006-06-07 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
JP4421940B2 (ja) 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
JP2006293929A (ja) 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd データ伝送装置
US7933337B2 (en) 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
KR101370919B1 (ko) * 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205164A (ja) * 1994-12-30 1996-08-09 Daewoo Electron Co Ltd 動きベクトル決定方法及び動きベクトル推定装置
JPH10136374A (ja) * 1996-10-28 1998-05-22 Nec Corp 動ベクトル予測装置
JP2004056823A (ja) * 2002-07-16 2004-02-19 Samsung Electronics Co Ltd 動きベクトル符号化／復号化方法及びその装置
JP2004336369A (ja) * 2003-05-07 2004-11-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Also Published As

Publication number Publication date
JPWO2008053746A1 (ja) 2010-02-25
WO2008053746A1 (fr) 2008-05-08
US8675735B2 (en) 2014-03-18
US20100118939A1 (en) 2010-05-13
TW201233192A (en) 2012-08-01
US8355438B2 (en) 2013-01-15
CN101529918A (zh) 2009-09-09
TWI376158B (en) 2012-11-01
KR101023263B1 (ko) 2011-03-21
TWI502968B (zh) 2015-10-01
KR20090067176A (ko) 2009-06-24
CN101529918B (zh) 2011-08-03
EP2079242A4 (en) 2010-11-03
BRPI0717639A2 (pt) 2013-11-12
RU2009114363A (ru) 2010-10-20
TW200829036A (en) 2008-07-01
EP2079242A1 (en) 2009-07-15
US20130101038A1 (en) 2013-04-25
CA2665781A1 (en) 2008-05-08
RU2434361C2 (ru) 2011-11-20
CA2665781C (en) 2014-02-18

Similar Documents

Publication Publication Date Title
JP4999859B2 (ja) 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999860B2 (ja) 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US9066096B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
EP4120686B1 (en) Predictive encoding method, predictive encoding device, and predictive encoding program of motion vector, and, predictive decoding method, predictive decoding device, and predictive decoding program of motion vector
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
KR101550680B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
TW201909637A (zh) 影像預測解碼方法
KR102572012B1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
JP2008271217A (ja) 多視点映像符号化装置
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100127

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120515

R151 Written notification of patent or utility model registration

Ref document number: 4999859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350