WO2008053746A1

WO2008053746A1 - Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme

Info

Publication number: WO2008053746A1
Application number: PCT/JP2007/070636
Authority: WO
Inventors: Shinya Shimizu; Kazuto Kamikura; Yoshiyuki Yashima; Hideaki Kimata
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2006-10-30
Filing date: 2007-10-23
Publication date: 2008-05-08
Also published as: KR20090067176A; EP2079242A1; US8675735B2; RU2434361C2; CA2665781A1; JPWO2008053746A1; TWI376158B; CA2665781C; TW201233192A; TW200829036A; TWI502968B; CN101529918A; RU2009114363A; CN101529918B; EP2079242A4; US8355438B2; JP4999859B2; US20130101038A1; BRPI0717639A2; US20100118939A1

Description

明細書

予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

技術分野

[0001] 本発明は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法及びその装置と、その予測参照情報生成方法を用いる動画像符号化方法及びその装置と、その動画像符号化方法により生成された符号化データを復号する動画像復号方法及びその装置と、その予測参照情報生成方法の実現に用いられる予測参照情報生成プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像符号化方法の実現に用いられる動画像符号化プログラム及びそのプログラムを記録したコンビユータ読み取り可能な記録媒体と、その動画像復号方法の実現に用いられる動画像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

本願 (ま、 2006年 10月 30曰 ίこ出願された特願 2006— 293929号 ίこ基づき優先権を主張し、その内容をここに援用する。

背景技術

[0002] 多視点動画像（多視点映像）とは、複数のカメラで同じ被写体と背景を撮影した複数の動画像のことである。以下では、 1つのカメラで撮影された動画像を" 2次元動画像"と呼び、同じ被写体と背景を撮影した 2次元動画像群を"多視点動画像"と呼ぶ。

[0003] 多視点動画像に含まれる各カメラの 2次元動画像は、時間方向に関して強い相関力る。一方、各カメラが同期されていた場合、同じ時刻に撮影した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので、カメラ間で強い相関がある。動画像の符号化においては、これらの相関を利用することによって符号化効率を高めている。

[0004] まず、 2次元動画像の符号化技術に関する従来技術を述べる。

[0005] 国際標準動画像符号化規格である MPEG— 2や H.264などをはじめとした従来の多くの 2次元動画像符号化方式では、フレーム間予測符号化と呼ばれる方法によつて、時間方向の相関を利用して高!、符号化効率を実現して!/、る。

2次元動画像符号化におけるフレーム間予測符号化で用いる方法は、時間による映像の変化つまり動きを利用したものであるため、一般に動き補償と呼ばれる。以下では、その例に倣い時間方向のフレーム間予測符号化を動き補償と呼ぶ。なお、フレームとは動画像を構成するある時刻に撮影された 1枚の画像を表す。

[0006] 一般的な 2次元動画像符号化における各フレームの符号化モードには、フレーム間の相関を使わずに符号化する Iフレームと、過去に符号化した 1枚のフレームから動き補償を行いながら符号化する Pフレームと、過去に符号化した 2枚のフレームから動き補償を行いながら符号化する Bフレームとがある。

[0007] さらに、映像予測の効率を向上させるために、映像符号化方式 H.263と H.264では

、参照画像メモリに 2フレーム以上の複数フレーム分の復号画像を蓄積しておき、そのメモリから参照画像を選択して予測をすることができる。

参照画像はブロック毎に選択することができ、参照画像を指定する参照画像指定情報を符号化することで復号処理を可能としている。

[0008] 動き補償では、参照画像指定情報のほかに、参照画像内のどの位置を用いて符号化対象ブロックの予測を行うのかを示すためのベクトルが符号化される。このべクトノレは動きベクトルと呼ばれる。

[0009] 動きベクトルの符号化においては、 MPEG— 4や H.264では、符号化対象ブロックの隣接ブロックの動きベクトルから予測ベクトルを生成し、符号化対象ブロックの動き補償で用いる動きベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する。この方法によれば、隣接ブロック間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化することができる。

[0010] H.264における予測ベクトルの生成手順の詳細については、下記に示す非特許文献 1に記載されている力 S、以下で概要を説明する。 [0011] H.264では、図 20Aに示すように、符号化対象ブロックの左のブロック（図中の a)、上のブロック（図中の b)、右上のブロック（図中の c)で用いた動きベクトル（mv— a, m v— b, mv— c)から、水平成分及び垂直成分を個々に中央値をとつて求める。

[0012] H.264では、可変ブロックサイズ動き補償を採用しているため、符号化対象ブロックと周辺ブロックの動き補償ブロックサイズが同一でない場合がある力その場合は、図 20Bのように、ブロック aは左に隣接するブロックの内の最も上のブロックとし、ブロック bは上に隣接するブロックの内の最も左のブロックとし、ブロック cは右上に存在する最も近いブロックとする。

例外として、符号化対象ブロックのサイズが 8 X 16画素の場合は、図 20Cに示すように、中央ィ直の代わりに、左のブロックはブロック aを、右のブロックはブロック cを予測に用い、符号化対象ブロックのサイズが 16 X 8画素の場合は、図 20Dに示すように、中央ィ直の代わりに、下のブロックはブロック aを、上のブロックはブロック bを予測に用いる。

[0013] また、前述の通り、 H.264では、過去に符号化した複数のフレームの中から、ブロック毎に参照フレームを選択し、その参照フレームを用いて動き補償を行う。

[0014] 一般的に、被写体の動きは参照フレームによって変化するため、符号化対象ブロックの参照フレームと異なる参照フレームを用いて動き補償をしている場合の動きべクトルより、同じ参照フレームを用いて動き補償をしている場合の動きベクトルのほうが、符号化対象ブロックで用いる動きベクトルに近いベクトルであると考えられる。

そのため、 H.264では、ブロック a, b, cの内、符号化対象ブロックと参照フレームが等しいブロックがひとつだけある場合は、中央値の代わりに、そのブロックの動きべクトルを予測ベクトルとして用いることで、より信頼度の高レ、予測ベクトルを生成してレ、る

〇

[0015] 物体が等速直線運動をする場合など、複数のフレーム間に動きの連続性がある場合に、動きベクトルを符号化効率よく符号化する方法として、符号化順序で直前のフレームの動きベクトルを蓄積しておき、その動きベクトル情報を時間間隔に従ってスケーリングして動きベクトルを算出する方法がある。

[0016] この時間間隔を知るための情報には各フレームの出力時刻が利用される。一般的に、この時間情報は、撮影画像の入力順とエンコード順が異なる場合などに、映像を撮影時刻順序通りに復号する際に必要なため、フレーム毎に符号化される。つまり、エンコーダでは、入力順に応じて付けられた入力画像の時刻情報を設定して各フレームを符号化し、デコーダでは、各フレームの復号画像を設定されていた時刻情報によって指定された順に出力する。

[0017] 複数のフレーム間に存在する動きの連続性を利用して動きベクトルを符号化効率よく符号化する方法として、 H.264において時間ダイレクトモードと呼ばれているものがある。

[0018] 例えば、図 21に示すフレーム A, B, Cについて、フレーム A, C , Bの順に符号化を行い、フレーム Cがフレーム Aを参照フレームとして動き補償を行!/、ながら符号化されているとする。このような状況において、時間ダイレクトモードでは、フレーム Bのあるブロックの動きベクトルは次のように求められる。

まず、符号化対象ブロックと同位置のフレーム C上のブロックで使われている動きべクトノレ mvを見つける。

次に、下記の式に従って、フレーム Aを参照フレームとしたときの動きベクトル fmvと、フレーム Cを参照フレームとしたときの動きベクトル bmvとを計算する。

[0019] fmv = (mv X T ) /T

AB AC

bmv = (mv X T ) /Ύ

BC BC

ここで、 T 、T 、T は、それぞれ、フレーム Aとフレーム Bとの間の時間間隔、フレ

AB BC AC

ーム Bとフレーム Cとの間の時間間隔、フレーム Aとフレーム Cとの間の時間間隔を示す。

[0020] H.264においては、時間ダイレクトモードは、ブロック毎に参照フレームを 2枚用いる Bフレーム（B卜 predictive Frame:双予測フレーム）においてのみ利用することが可能である。

下記に示す非特許文献 2では、これを応用することで、ブロック毎に 1枚の参照フレームのみを使用する Pフレームにおいても、動きベクトルを効率よく符号化する方法が提案されている。

[0021] 隣接ブロック間の動きの連続性と、複数フレーム間の動きの連続性との両者を仮定して動きベクトルを効率よく符号化する方法として、下記に示す非特許文献 3に記載されている方法がある。

[0022] 図 22A〜22Dに、その概要を示す。この手法では、 H.264や MPEG— 4と同じように、符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成し、実際の動き補償で用いる動きベクトルと予測ベクトルとの差分ベクトルのみを符号化する（図 22A参照）。

H.264等と異なる点は、周辺ブロックの動きベクトルをそのまま使うのではなぐ以下の式を用いて、動きベクトルを時間間隔に従ってスケーリングして力も利用する点である。

[0023] mv_k， = mv_k X Τ /Ύ

ct ck

ここで、 mv kは元の動きべクトノレ、 mv k'はスケーリングされた動きべクトノレ、 T ct は符号化対象フレームと符号化対象ブロックが参照しょうとしているフレームとの間の時間間隔、 T は符号化対象フレームとその周辺ブロックが参照しているフレームとの

ck

間の時間間隔を表す（図 22B〜22D参照）。

[0024] 次に、従来の多視点動画像の符号化方式について説明する。

[0025] 一般的な多視点動画像の符号化では、カメラ間の相関を利用するために、同じ時刻に異なるカメラで撮影されたフレーム間に動き補償を適用した"視差補償"を用いることで高レ、符号化効率を実現してレ、る。

[0026] この手法が使われている例としては、 MPEG— 2 Multiview profileや非特許文献 4に記載される方法などがある。

[0027] 非特許文献 4の方法では、ブロック毎に動き補償と視差補償のどちらか一方を選択して符号化を行っている。ブロック毎に符号化効率のよいほうを選ぶことによって、時間方向の相関とカメラ間の相関の両方を利用することができ、どちらか一方しか使わなレ、場合に比べて高!/、符号化効率を達成してレ、る。

[0028] 視差補償では、予測残差のほかに視差ベクトルが符号化される。視差ベクトルとは

、フレーム間の時間変化である動きベクトルに対応するものであり、異なる位置に配置されたカメラで撮影された画像平面上で、被写体上の同じ位置が投影されている位置の差を表す。 [0029] 図 23に、このカメラ間で生じる視差ベクトルの概念図を示す。この概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。

[0030] 視差ベクトルの符号化においては、動きベクトルの符号化と同様に、符号化対象ブロックの隣接ブロックの視差ベクトルから予測ベクトルを生成し、符号化対象ブロックの視差補償で用いる視差ベクトルとこの予測ベクトルとの差分ベクトルのみを符号化する方法を用いることができる。この方法によれば、隣接ブロック間に視差の連続性力る場合に、視差ベクトルを符号化効率よく符号化することができる。

非特許文献 1 : ITU-T Rec.H.264/ISO/IEC 11496-10， "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-1 0 AVC), Draft 7"， Final Committee Draft, Document JVT— E022, pp. 63—64， and 117 -121， September 2002.

非特許文献 2 : Alexis Michael Tourapis, "Direct Prediction for Predictive(P) and Bidi rectionally Predictive(B) frames in Videoし oding," JVT- CI 28， Joint Video Team (JV T) of ISO/IEC MPEG&ITU-T VCEG Meeting, pp. 1—11， May, 2002.

非特許文献 3 :加藤禎篤，ブンチュンセン，〃時間的動きベクトル正規化を用いた複数予測参照画像の符号化における動きベクトル予測"， PCSJ2004画像符号化シンポジゥム資料 19th, P-2.18, Nov. 2004.

非特許文 Ι¾ 4： Hideaki imata and Masaki itahara, Preliminary results on multiple view video coding (3DAV)〃， document M10976 MPEG Redmond Meeting, July, 2004 発明の開示

発明が解決しょうとする課題

[0031] 符号化対象ブロックで実際に用いる動きベクトルや視差ベクトルを、隣接ブロックで使用された動きベクトルや視差ベクトルを用いて生成した予測ベクトルとの差分で符号化するという従来の方法は、実空間上で被写体は連続して存在し、被写体の動きは同じ被写体内では大きくは変化しなレ、確率が高!/、と!/、う事実に基づレ、て!/、るため、符号化対象ブロックで用いる動きベクトルや視差ベクトルを、より少な!/、符号量で符号化することが可能である。 [0032] しかしながら、符号化対象ブロックの画像を予測するのに最適な参照フレームが、隣接ブロックで使われてレ、なレ、ような場合、実際に用いる動きベクトルと予測べクトノレとの差は大きくなり、符号量を十分に削減することが出来ない。

[0033] 特に、ブロック毎に動き補償と視差補償とを適応的に選択して符号化を行う場合、動きベクトルと視差ベクトルとでは性質が大きく異なるため、動きベクトルから視差べクトルの予測ベクトルを生成したり、視差ベクトルから動きベクトルの予測ベクトルを生成したりすることは不可能であり、フレーム間予測のための情報を効率的に符号化することが出来ない。

[0034] 動きベクトルに関しては、非特許文献 1に記載の時間ダイレクトモードや、非特許文献 2や非特許文献 3に記載されているような方法を用いることで、符号化対象ブロックの画像を予測するのに最適な時刻の参照フレーム力隣接ブロックで使われて!/、な V、ような場合にお!/、ても、効率のよ!/、動きベクトルを生成することができる。

[0035] しかしながら、これらの方法はフレーム間の動きの連続性を仮定しているため、被写体が数フレームに渡りカメラに対して等速直線運動に近い動きをしていなければ、効率のよ!/、予測ベクトルを生成できな!/、。

[0036] 視差ベクトルに関しても、符号化対象ブロックを予測するのに最適なカメラで撮影された参照フレームが隣接ブロックで使われてレ、なレ、ような場合にお!/、て、効率のょレヽ視差ベクトルを生成するための方法として、時間間隔の変わりにカメラ間隔を用いて、隣接ブロックで使用された視差ベクトルをスケーリングして使用する方法が容易に類推可能である。

[0037] しかしながら、この方法では、カメラの向きが平行（光軸が平行）の場合には適切な予測ベクトルを生成できる力それ以外の場合には適切な予測ベクトルを生成することができないため、効率的な符号化を実現することができない。

[0038] また、当然のことながら、このような時間間隔やカメラ間隔を用いて既に符号化済みの動きベクトルや視差ベクトルをスケーリングして利用する方法を用いたとしても、ブロック毎に動き補償と視差補償とを適応的に選択して符号化するような場合においては、適切な予測ベクトルを生成することは困難であり、効率的な符号化を実現することは出来ない。 [0039] 本発明は力、かる事情に鑑みてなされたものであって、複数フレーム間で実際及び見かけ上の被写体やカメラの運動が等速直線運動でな!/、場合にお!/、ても、符号化時の映像予測に用いる動きベクトルや視差情報との差分が小さくなるような、予測べタトルや予測視差情報を生成する新たな技術の提供を目的とする。

課題を解決するための手段

[0040] 〔1〕本発明の予測参照情報生成装置

この目的を達成するために、本発明の予測参照情報生成装置は、画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する処理を行うために、（ィ)処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定手段と、（口）予測参照情報予測データによって指し示される参照領域を処理した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成手段と、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更手段と、（二） 1つ又は複数存在する変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成手段とを備える。

[0041] 以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンビュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされて CPU などの制御手段上で動作することにより本発明を実現することになる。

[0042] このように構成される本発明の予測参照情報生成装置では、先ず最初に、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する。

[0043] 続!/、て、予測参照情報予測データによって指し示される参照領域を処理した際に用いた 1つ以上の参照情報から参照領域参照情報を生成して、その設定した予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する。

[0044] 続!/、て、 1つ又は複数存在する変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成する。

[0045] このようにして、本発明の予測参照情報生成装置は、処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報をそのまま用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するのではなくて、被写体の非直線的な動きやカメラの非等速直線運動的な動きを考慮して、その隣接領域を処理した際の参照情報を予測参照情報予測データとして設定して、その予測参照情報予測データによって指し示される参照領域を処理した際に用いた 1つ以上の参照情報から参照領域参照情報を生成して、その生成した参照領域参照情報に基づ!/、て予測参照情報予測データを変更し、その変更した予測参照情報予測データを用いて、処理対象領域の参照情報の予測情報となる予測参照情報を生成するように処理するのである。

[0046] このとき、変更した予測参照情報予測データを使って予測参照情報予測データの変更処理を繰り返していくようにしてもよぐこの繰り返し処理を行う場合には、例えば、処理対象領域の参照フレームに到達するまで、この繰り返し処理を行うことになる。

[0047] このように構成される本発明の予測参照情報生成装置によれば、複数フレーム間における映像変化の時間的連続性がない場合や、処理対象領域毎に動き補償と視差補償を選択しながら多視点画像を符号化したり復号する場合においても、処理対象領域を符号化したり復号する際に用いる参照情報と予測参照情報との差を小さくすることができるようになることで、フレーム間予測符号化のための動きベクトルゃ視差情報を効率よく符号化したり復号することができるようになる。

[0048] 〔2〕本発明の動画像符号化方法

前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像符号化方法に適用することが可能である。

[0049] 即ち、本発明の動画像符号化方法は、画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報 (例えば、動きベクトルや視差ベクトル）とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化するという構成を採るときに、（ィ)符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（口）予測参照情報予測データによって指し示される参照領域を符号化した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（二） 1つ又は複数存在する変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、（ホ)符号化対象領域に対する予測画像を生成するために用いた参照情報と予測参照情報との差分情報を符号化する差分参照情報符号化ステップとを有する。

[0050] 典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。

[0051] 別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。

[0052] 好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する。

[0053] この場合、前記予測参照情報予測データ変更ステップでは、符号化対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。

[0054] 好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。

[0055] 別の好適例として、符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する。

[0056] 別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。

[0057] このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。

[0058] 別の好適例として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。

[0059] このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。

[0060] 〔3〕本発明の動画像復号方法

前述のように構成される本発明の予測参照情報生成装置により実現される本発明の予測参照情報生成方法は、動画像復号方法に適用することが可能である。

[0061] 次に、本発明の予測参照情報生成方法により実現される本発明の動画像復号方法について説明する。

[0062] 即ち、本発明の動画像復号方法は、画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号するという構成を採るときに、（ィ)復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、（口）予測参照情報予測データによって指し示される参照領域を復号した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ステップと、（ハ）予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、（二） 1つ又は複数存在する変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステップと、 ( ホ）符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と予測参照情報との差分情報を復号する差分参照情報復号ステップとを有する。

[0063] 典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する。

[0064] 別の典型例として、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する。

[0065] 好適には、前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する。

[0066] この場合、予測参照情報予測データ変更ステップでは、復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、予測参照情報予測データの対応点情報を、予測参照情報予測データの対応点情報と参照領域参照情報の対応点情報との和に変更するのか、参照領域参照情報の対応点情報に変更するのかを決定するようにしても良い。

[0067] 好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する。

[0068] 別の好適例として、復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステツプを有する。

[0069] 別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。 [0070] このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。

[0071] 別の好適例として、復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する。

[0072] このとき、予測参照情報予測データ探索ステップでは、予測参照情報予測データの上記対応情報の示す領域を探索中心とした探索を行い、その探索結果による情報に変更することがある。

発明の効果

[0073] 本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がな!/、場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなぐ符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予測符号化のための動きベクトルや視差情報を効率よく符号化することができる。

図面の簡単な説明

[0074] [図 1]本発明によって、予測参照情報予測データを予測参照情報予測データと参照領域参照情報との和に変更する場合の処理の一例を示す図である。

[図 2]本発明によって、予測参照情報予測データを参照領域参照情報に変更する場合の処理の一例を示す図である。

[図 3]本発明の動画像符号化装置の一実施形態例である。

[図 4]本実施形態例の動画像符号化装置が実行する動画像符号化処理のフローチヤートの一例である。園 5]本実施形態例における符号化において、時間方向の映像予測のみが可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。

園 6]本実施形態例における符号化において、符号化対象ブロック毎に時間方向又はカメラ間の映像予測のどちらか一方が可能な場合の予測参照情報予測データの変更処理のフローチャートの一例である。

[図 7]図 6のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。

[図 8]図 6のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。

[図 9]本実施形態例における符号化において、符号化対象ブロック毎に任意の映像予測が可能な場合の、予測参照情報予測データの変更処理のフローチャートの一例である。

[図 10]図 9のフローチャートの一部としての、符号化対象ブロックがカメラ間の映像変化の予測を行う場合のフローチャートの一例である。

[図 11]図 9のフローチャートの一部としての、符号化対象ブロックが時間的な映像変化の予測を行う場合のフローチャートの一例である。

[図 12]図 9のフローチャートの一部としての、符号化対象ブロックが時間的な変化と力メラ間の変化の混在した映像変化の予測を行う場合のフローチャートの一例である。

[図 13]図 7のフローチャートの S310で実行する予測参照情報予測データの変更処理の説明図である。

[図 14]図 7のフローチャートの S318で実行する予測参照情報予測データの変更処理の説明図である。

[図 15]図 10のフローチャートの S415で実行する予測参照情報予測データの変更処理の説明図である。

[図 16]図 11のフローチャートの S433で実行する予測参照情報予測データの変更処理の説明図である。

[図 17]図 12のフローチャートの S444で実行する予測参照情報予測データの変更処理の説明図である。 [図 18]本発明の動画像復号装置の一実施形態例である。

[図 19]本実施形態例の動画像復号装置が実行する動画像復号処理のフローチヤ一トの一例である。

[図 20Α]Η·264における動きベクトル予測の説明図である。

[図 20Β]同様に、 Η.264における動きベクトル予測の説明図である。

[図 20C]同様に、 Η.264における動きベクトル予測の説明図である。

[図 20D]同様に、 Η.264における動きベクトル予測の説明図である。

[図 21]ダイレクトモードにおける動きベクトル生成の説明図である。

[図 22Α]符号化対象ブロックの周辺ブロックの動きベクトルを用いて予測ベクトルを生成する手法の説明図である。

園 22Β]時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。園 22C]同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。

園 22D]同様に、時刻情報を用いてスケーリングを適用した動きベクトル予測の説明図である。

[図 23]カメラ間で生ずる視差の説明図である。

符号の説明

100 動画像符号化装置

101 画像入力部

102 ブロックマッチング実施部

103 予測画像作成部

104 差分画像符号化部

105 差分画像復号部

106 参照フレームメモリ

107 参照情報蓄積メモリ

108 予測参照情報予測データメモリ

109 予測参照情報生成部

110 差分参照情報符号化部 111 参照情報変更部

112 参照フレーム指定情報蓄積メモリ

113 参照フレーム選択部

114 参照フレーム指定情報符号化部

発明を実施するための最良の形態

[0076] 本発明による動画像符号化方法ある!/、は動画像復号方法によれば、符号化対象領域/復号対象領域を符号化/復号するために用いる参照情報を、符号化対象領域/復号対象領域の隣接領域の参照情報を用いて予測するにあたり、隣接領域を符号化/復号する際に参照していた参照領域を符号化/復号する際に用いた参照情報を用いて、隣接領域の参照情報に修正を加えることで、複数フレームの間に映像変化の連続性がなレ、場合にお!/、ても、精度の高レ、予測参照情報を生成することができる。

[0077] 従来の方法では、図 1の破線矢印で示すように、複数フレーム間の映像変化に連続性を仮定して、単純に参照情報を修正してしまって!/、た (参照情報から予測参照情報を生成していた)ため、複数フレーム間の映像変化に連続性がない場合は、誤つた変換を施してしまって!/、た。

[0078] これに対して、本発明によれば、隣接領域の参照フレームから別のフレームへの変化を、隣接領域の参照領域を符号化/復号した際の参照情報力も取得できるため、複数フレーム間の映像変化の連続性を仮定せずに、隣接領域の参照情報を修正すること力 Sでさる。

[0079] ここで、本発明では、この隣接領域の参照領域、つまり予測参照情報予測データによって示される領域を符号化/復号した際の参照情報を参照領域参照情報と呼んでいる。

[0080] この参照領域参照情報は、その参照領域を符号化/復号する際に実際に利用されたものであり、良い符号化効率のために映像の変化を信頼度高く表していると考えられる。そのため、そのような情報を用いて修正を施した情報も映像の変化を信頼度高く表していると言える。

[0081] 参照情報を修正する方法として、図 1に示すように、隣接領域に対する参照情報に、参照領域参照情報を加える方法 (ベ外ル合成する方法)をとつてもよい。

[0082] この方法では、隣接領域の参照フレームから符号化/復号対象フレームへの映像変化に、隣接領域の参照領域の参照フレームから隣接領域の参照フレームへの映像変化を加えることで、隣接領域の参照領域の参照フレームから符号化/復号対象フレームへの映像変化を求めることなる。

このことは既に符号化/復号されて!/、る映像変化が変化することはな!/、と!/、う事実に基づ!/ヽて、信頼度の高!/、参照情報変換を実現して!/、る。

[0083] ここで、隣接領域の参照領域が符号化/復号処理の単位領域になっておらず、その領域に複数の参照情報が含まれている場合が考えられる力、そのときは、 ω参照領域が最も多く含まれる符号化/復号処理の単位領域で用いられた参照情報を参照領域参照情報とする方法を用いたり、

(ii)参照領域の含まれる割合に応じて符号化/復号処理の単位領域の参照情報に重みをつけて求めた平均の参照情報を参照領域参照情報とする方法を用いたり、

(iii)符号化/復号処理の単位領域に対して符号化/復号される参照情報をその領域に含まれる全ての画素が持つものとして、複数の参照領域にぉレ、て最も多く現れる参照情報を参照領域参照情報とする

方法を用いてもよい。

[0084] また、この修正は 1度だけでなぐ修正を加えた参照情報に対して再度修正を加えるなど、繰り返し行っても構わない。

繰り返し修正を加えることで、隣接領域の参照領域の参照フレームが符号化/復号対象領域参照フレームに十分近くない場合は、符号化/復号対象領域参照フレームからの映像変化により近い予測参照情報予測データを得ることができる。

[0085] 参照情報を修正する方法として、図 2のように、隣接領域に対する参照情報を、参照領域参照情報で置き換える方法をとつてもよい。

[0086] この方法では、隣接領域の参照フレームから符号化/復号対象フレームへの映像変化が、隣接領域の参照フレームから符号化/復号対象領域参照フレームへの映像変化に等しいとして、符号化/復号対象領域参照フレームから符号化/復号対象フレームへの映像変化を求めることになる。 [0087] この方法では、実世界における 2つの事実を利用している。

[0088] 1つ目は実世界における被写体の変化には物理的な制約があるという事実である。

被写体の変化に物理的な制約があるとレ、うことは視差の時間相関が高レ、とレ、うことを示す。

つまり、時間的に異なるフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における視差は非常に類似性が高い。

したがって、隣接領域の時間的な参照情報を、隣接領域の参照領域におけるカメラ間の参照情報に置き換えることで、隣接領域におけるカメラ間の参照情報に精度よく変換すること力でさる。

[0089] 2つ目は実世界における被写体の運動は 1つであるという事実である。被写体の変化が 1つしかないということは、各カメラによって撮影された動きは全て同じであり、被写体の動きのカメラ間の相関が高レ、と!/、うことを示す。

つまり、カメラの異なる同時刻に撮影されたフレームにおける対応関係の与えられた領域、すなわち、隣接領域とその隣接領域の参照領域における動きは非常に類似性が高い。

したがって、隣接領域のカメラ間の参照情報を、隣接領域の参照領域における時間的な参照情報に置き換えることで、隣接領域における時間的な参照情報に制度よく変換すること力でさる。

[0090] これによつて、符号化対象領域とその隣接領域で、参照対象が時間方向とカメラ方向に異なっていても精度よく参照情報を予測できるようになる。

なお、この方法は、隣接領域の参照領域とその参照フレームの時刻関係と視点関係とが、符号化/復号対象フレームと符号化/復号対象領域参照フレームの時間関係と視点関係とにより適合しているほど、正確な予測を可能とする置換が可能であ

[0091] 参照情報を修正する方法は、符号化/復号対象領域毎に、上述したいずれかの方法を適宜選択しても力、まわなレ、。

[0092] それぞれの方法では、利用している映像の性質が異なるため、どちらの方法が適切であるかは、状況によって異なる。したがって、符号化/復号対象領域毎に切り替えることで、その領域に適した修正を加えることが可能となり、映像変化をより正しく表した予測参照情報を生成することができる。

[0093] ここで、先の方法はフレーム間の映像の時間変化を累積していくため、時間方向の映像変化を予測するのに適した方法であり、後の方法は映像変化の時間とカメラ間という次元を変換するのに適した方法であるため、符号化/復号対象領域で用いた映像予測の方法や予測参照情報予測データや参照領域参照情報によって示される映像変化の次元から、どちらの方法を適用したほうが望ましいかを判断することが可能である。

[0094] つまり、符号化/復号対象領域参照フレームの時刻情報及び視点情報と、参照領域の含まれるフレームの時刻情報及び視点情報と、参照領域を符号化/復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化/復号対象フレームの時刻情報及び視点情報とを用いることで、適用すべき方法を精度よく判定することができる。

[0095] 参照情報を修正する方法として、符号化/復号対象フレームの視点のカメラパラメータと、符号化/復号対象領域参照フレームの視点のカメラパラメータと、参照領域の含まれるフレームの視点のカメラパラメータとに従って、参照情報に幾何変換をカロえることで修正する方法をとつても良い。

[0096] また、このような変換を、予測参照情報予測データや、参照領域参照情報に加えること力 Sでさる。

[0097] これらの方法によれば、 2つのカメラで撮影されたフレームの映像変化を、別の組み合わせの 2つのカメラで撮影されたフレームの映像変化へと変換することができる。

[0098] 映像の時間変化と異なり、映像のカメラ間の変化はカメラの位置と被写体の位置に起因するものであるため、時刻の同じ 2つの異なる位置から撮影された画像があり、そのカメラの位置関係などを示すカメラパラメータが既知の場合、さらに別の位置から撮影された画像を精度良く予測することが可能である。

この対応関係はカメラ間隔に応じてスケーリングするだけで得られるものではないため、従来の時間間隔に応じてスケーリングする方法を拡張するだけの単純な方法では、正確な予測を可能とする変換を行うことができなレ、。

[0099] 参照情報を修正する方法として、符号化/復号対象領域の参照フレーム上の領域を探索対象として、予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとつても良い。

[0100] また、参照情報を修正する方法として、符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、予測参照情報予測データを探索結果の対応情報に置き換える方法をとつても良い。

[0101] これらの方法では、符号化側、復号側の両方で大量の演算を必要とするが、隣接領域の符号化/復号対象領域参照フレーム上の対応点をより正確に求めることができるため、映像変化をより正しく表した予測参照情報を生成することができ、その結果、参照情報を効率よく符号化することができる。

[0102] これらの方法で、対応点を正確に求めることができるかどうかは、対応領域を探索するときの探索方法や探索範囲、つまり演算コストに大きく依存してしまう。

しかしながら、予測参照情報予測データの参照フレームが、符号化/復号対象フレームよりも符号化/復号対象領域参照フレームに近い場合、予測参照情報予測データの参照情報が途中までの動きを表してくれていることになるため、そこからの変化だけを探索すれば済むことになり、演算コストを減らすことができる。

[0103] 以下、実施の形態に従って本発明を詳細に説明する。

[0104] 図 3に、本発明の動画像符号化装置 100の一実施形態例を示す。

[0105] この動画像符号化装置 100は、符号化対象となる画像を入力する画像入力部 101 と、符号化対象画像を分割した領域毎に、既に符号化済みの参照フレームにおける対応領域を求めるためにブロックマッチングを行うブロックマッチング実施部 102と、ブロックマッチングの結果と参照フレームとを用いて符号化対象領域の画像の予測画像を生成する予測画像作成部 103と、符号化対象領域の画像と予測画像との差分画像を符号化する差分画像符号化部 104と、差分画像符号化データを復号する差分画像復号部 105と、復号された差分画像と予測画像との和によって生成された符号化対象領域の画像の復号画像を参照フレームとして蓄積する参照フレームメモリ 106と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報を蓄積する参照情報蓄積メモリ 107と、予測画像を生成する際に用いたブロックマツチングの結果の参照情報の符号化に用いられる予測参照情報の候補となる参照情報を蓄積する予測参照情報予測データメモリ 108と、予測参照情報予測データから予測参照情報を生成する予測参照情報生成部 109と、予測画像を生成する際に用いたブロックマッチングの結果の参照情報と予測参照情報との差分を符号化する差分参照情報符号化部 110と、予測参照情報予測データメモリ 108上の予測参照情報予測データに修正を施す参照情報変更部 111と、符号化済みの各領域が参照したフレームの情報を蓄積する参照フレーム指定情報蓄積メモリ 112と、符号化対象領域の画像を符号化するときに用いる参照フレームを選択する参照フレーム選択部 113 と、符号化対象領域を符号化するときに用いた参照フレームを指定する情報を符号化する参照フレーム指定情報符号化部 114とを備える。

[0106] 図 4に、このように構成される動画像符号化装置 100の実行するフローチャートを示す。

[0107] このフローチャートに従って、このように構成される動画像符号化装置 100の実行する処理について詳細に説明する。

ただし、既に複数フレームの画像を符号化済みであり、その結果が参照フレームメモリ 106、参照情報蓄積メモリ 107、参照フレーム指定情報蓄積メモリ 112に蓄積されているものとする。

[0108] まず、画像入力部 101より符号化対象となる画像が入力される [S 101]。

入力された符号化対象画像は、画面全体を領域分割され領域毎に符号化を行う [ S 102〜S121]。

[0109] このフローチャートでは、ブロック（領域）のインデックスを blkと表し、一つの画像に対する総ブロック数を MaxBlkと表す。

つ -81¾〉ヮり、インデックス BLKを 1に初期化した後 [S 102]、 BLKが MAXBLKになるまで [S 120]、 BLKに 1を加算しながら [S121]、以下の処理 [S103〜S 119]を繰り返し実行することになる。

[0110] ブロック毎に行う処理では、そのブロックを符号化するために用いる参照フレーム be st— ref、参照情報 best— mv、予測参照情報 best— pmvを求め [S 103〜S 117]、この映像予測のための情報とこれらを用いて符号化されるブロッ外 lkの画像情報とを符号化して出力した後 [S 118]、以後の符号化処理のために、符号化データを復号して復号結果の画像情報、 best— ref、 best— mvを、それぞれ、参照フレームメモリ 1 06、参照フレーム指定情報蓄積メモリ 112、参照情報蓄積メモリ 107に格納する [S 1 19コ。

[0111] ここで、 S 118の符号化処理では、 best— refを示す情報は参照フレーム指定情報符号化部 114で符号化され、 best— mvと best— pmvとの差分が差分参照情報符号化部 110で符号化され、入力画像と、これらの情報を用いて予測画像作成部 103で生成された予測画像との差分画像が、差分画像符号化部 104で符号化される。また、 S 119の復号処理では、差分画像の符号化データを差分画像復号部 105で復号し、その結果と予測画像作成部 103で生成された予測画像との和を求めることでブロック blkの復号画像情報を得る。

[0112] 符号化時に用いる映像予測のための情報は、全ての利用可能な参照フレームに対して、以下の処理 [S 104〜S 115]を繰り返し実行することで求める。

つまり、参照フレームインデックス refを 1に初期化し、最小レート歪コスト bestCostを絶対に取りえない最大値 MaxCostに初期化した後 [S 103]、 refが全ての利用可能な参照フレームの数 010¾6 こなるまで[3116]、こ1を加算しながら[3117]、予測参照情報を生成する処理 [S 104〜S 107]と、レート歪コストが最小となるような参照情報を求める処理 [S 108〜S 115]とを繰り返し実行する。

[0113] 予測参照情報を生成する処理は、予測参照情報予測データメモリ 108を初期化した後 [S 104]、ブロッ外 lkに隣接する複数のブロックに関して、そのブロックを符号化したときに使用した参照フレーム番号 REFと、参照情報 MVと、そのブロックの位置を示す情報 POSとの組 {REF, MV, POS }を予測参照情報予測データメモリ 108 に格納する [S105L

このとき、 MV, REFは、それぞれ、参照情報蓄積メモリ 107、参照フレーム指定情報蓄積メモリ 112に、ブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。 [0114] なお、ブロック blkに隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすること力 Sでさる。

本実施形態例では、この 3つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。

[0115] 次に、予測参照情報予測データメモリ 108内の予測参照情報予測データを取り出し、参照情報変更部 1 11で変更を加えて、再度、予測参照情報予測データメモリ 10 8に蓄積する [S 106]。ここで行われる処理については後で詳しく説明を行う。

[0116] そして、予測参照情報予測データメモリ 108に蓄積されている複数の参照情報から予測参照情報 pmvを生成する [S 107]。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報 pmvを作成する。

つまり、参照情報が X— Yの 2次元のベクトルとして表される場合、成分ごとに、複数の予測参照情報予測データの持つ対応する成分の中間値を求めて、 pmvをその成分の値とする。

なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像復号装置が用いる基準と同じ基準を用いる必要がある。

[0117] このようにして求められた pmvを用いて、レート歪コストが最小となるような参照情報を求める処理を実行する。

つまり、参照情報インデックス mv—idxを 1に初期化した後 [S 108]、 mv— idxがブロック blkの符号化のために用いることのできる参照情報の候補の数 NumOiListMv に一致するまで [S I 14]、 mv—idxに 1を加算しながら [S 115]、以下の処理 [S 110 〜S 113]を繰り返す。

[0118] まず、 mv—idxに対応する参照情報 mvを得る [S 109]。ここでは、 mv—idxに対応する参照情報力^モリ cand—mvに既に蓄積されているものとする。

そして、この mvと参照フレーム refとを用いて、ブロック blkに対する予測画像 Preを生成する [S 110]。

具体的には、ブロック blkの位置力、ら mv (ベクトル）によって示される参照フレーム ref 上の領域の画像情報を予測画像とする。

[0119] 次に、生成された予測画像 Preと、ブロック blkの画像情報 Orgと、 pmv mv refとを用いてレート歪コスト costを次の式に基づ!/、て計算する [S 111]

[0120] 國

- D + λ X |bit(mv― mv) +,。ιΐ(τ /■)}

wd

[0121] ここで、 λはラグランジュの未定乗数であり、予め設定された値が利用される。また、 bit()は与えられた情報を符号化するのに必要な符号量を返す関数を表す。

なお、ここでは Dを 2つの画像情報の差分絶対値和とした力 S、差分二乗和としてもよ V、し、差分情報を周波数領域へ変換してから和を求める SATDと呼ばれる指標を用いてもよい。

さらに符号化処理の演算コストが増加するが、正確なレート歪コストを求める方法として、符号化対象領域の画像と予測画像との差分画像 Diff( = O_rg— Pre)を実際に符号化したときの符号量 BITSと、その差分画像の符号化データを復号して得られた復号差分画像 DecDiffとを用いて、以下の式で求める方法を用いてもよ!/、。

[0122] [数 2] cost - D + I K {bii(»iv一 pmv)+Mt{mf) i- JTSi

[0123] このようにして求められた costと bestCostとを比較して [S I 12] costの方が小さくなつたならば、、 bestCostを costに変更し、 best _ refを refに変更し、 best _ mvを mvに変更し、 best— pmvを pmvに変更する [S I 13]ことで、最もレート歪コストが小さくなるような符号化のための情報を得る。

[0124] 次に、図 5〜図 12に示すフローチャートに従って、参照情報変更部 111で行われる S 106の詳細な処理について説明する。

[0125] S 106の処理では、まず、予測参照情報予測データメモリ 108に蓄積された全ての予測参照情報予測データに対して割り当てられる変数 FINを 0で初期化し、全ての FI N力損になるまで、図 5〜図 12の処理を繰り返し実行する。 [0126] ここで、図 5は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。

また、図 6〜図 8は、多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフローチヤートを示す。

また、図 9〜図 12は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。

[0127] 図 5で示される、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートにつレ、て説明する。

[0128] まず、予測参照情報予測データメモリ 108から、変更が完了していない、つまり FIN 力 SOである予測参照情報予測データを取り出して p— canとする [S201]。

上述した S 105の処理で説明したように、予測参照情報予測データメモリは、符号化対象ブロックであるブロック blkに隣接する複数のブロックを符号化したときに使用した参照フレームと、参照情報と、そのブロックの位置を示す情報とを持つ情報であること力、ら、 p— canは、隣接ブロックの参照フレーム番号と、隣接ブロックの参照情報と、隣接ブロックの位置を示す情報とを持つ情報である。

[0129] そこで、 p— canの参照フレーム番号を ref— canに設定し、 p— canの参照情報を mv— canに設定する [S 202]。

[0130] ここで、 ref— canがブロック blkを符号化する際に用いようとしている参照フレームの参照フレーム番号 refと等しければ [S203]、 FINを 1にして [S204]、 p_canをそのまま予測参照情報予測データメモリ 108に格納する [S211]。

[0131] すなわち、隣接ブロックの参照フレーム ref— canと、符号化対象ブロック blkの参照フレーム refとが一致する場合には、予測参照情報予測データメモリ 108から取り出した予測参照情報予測データをそのまま用いて予測参照情報 pmvを生成した方がよいので、 p— canをそのまま予測参照情報予測データメモリ 108に格納するように処理するのである。

[0132] 一方、 ref— canがブロック blkを符号化する際に用いようとしている参照フレームの参照フレーム番号 refと等しくないときには、フレーム ref can上の、 p can (隣接領域)を mv— canだけずらした領域 (参照領域)を符号化する際に最も多くの画素で使われている参照フレームを ref— telとし、この領域内で参照フレームが ref— telのもので最も多くの画素で使われている参照情報を mv—telとして [S205]、次の条件式に基づき処理を行う [S206〜S210]。

[0133] 園

[0134] ここで、 TIME ()は、与えられた参照フレーム番号に対応するフレームの表示時刻

(撮影時刻）を返す関数である。

[0135] この条件式は、 ref— telという参照フレームが ref— canという参照フレームよりも符号化対象ブロック blkの参照フレーム refに時間的に近いのか否かを判断することを意味する。

[0136] この条件式が成り立つ場合は、 ref— canを ref— telに書き換え、 mv— canに mv— telをカロえる [S207]。

[0137] 一方、この条件式が成り立たない場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、符号化対象ブロック blkの参照フレーム refを探索対象とし、探索中心を mv— canに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv— canBMとし [S208]、 ref— canを refに書き換え、 mv 一 canに mv一 canBMを力□える [S209]。

[0138] そして、どちらの場合も ref— canと mv— canの変更が終わったら、 ref— canと mv— canとを p— canの参照フレーム番号と参照情報とに設定し [S210]、その p— canを予測参照情報予測データメモリ 108に格納して [S211]、処理を終了する。

[0139] ここで、図 5のフローチャートでは、全ての予測参照情報予測データに対して FINの値が 1に設定されるまで、すなわち、符号化対象ブロック blkの参照フレーム refに到達するまで、このフローチャートを繰り返し実行することを想定している力例えば規定回数（1回でもよレ、)だけ繰り返すとレ、うような方法を用いることも可能である。

[0140] また、図 5のフローチャートでは、 S208のブロックマッチング処理で、符号化対象ブロック blkの参照フレーム refを探索対象として、符号化対象ブロック blkの隣接領域に対応付けられる参照領域にマッチングする領域を探索するという方法を用いた力符号化対象ブロック blkの隣接領域にマッチングする領域を探索するという方法を用いることも可能である。

[0141] また、図 5のフローチャートでは、 S 206の判断処理に従って、 S 207の処理を実行するの力、、 S 208 , 209の処理を実行するのかを決定するという方法を用いた力無条件に、 S 207の処理を実行するという方法を用いることも可能である。

[0142] このようにして、参照情報変更部 1 1 1は、図 5のフローチャートを実行することで、図

1に示すような形で、予測参照情報予測データメモリ 108に格納される予測参照情報予測データを変更するように処理するのである。

[0143] 次に、図 6〜図 8で示される多視点画像が入力され、参照フレームが入力フレームと表示時刻（撮影時刻）が同じ画像か、同じカメラで撮影された画像である場合のフロ一チャートについて説明する。

[0144] ここで、図 6〜図 8のフローチャートでは、全ての予測参照情報予測データに対して FINの値が 1に設定されるまで、このフローチャートを繰り返し実行することを想定して!/、るが、例えば規定回数（1回でもよ!/、)だけ繰り返すと!/、うような方法を用いることも可能である。

[0145] まず、 FIN力 SOである予測参照情報予測データを取り出して p— canとする [S 301 ] 。次に、 p— canの参照フレーム番号を ref— canに設定し、 p— canの参照情報を m V— canに設定する [S 302]。

[0146] ここで、 ref— canがブロック blkを符号化する際に用いようとしている参照フレームの参照フレーム番号 refと等しければ [S 303]、 FINを 1にして [S 304]、 p_canをそのまま予測参照情報予測データメモリ 108に格納する [S 336 , S 337]。

[0147] そうでなければ、フレーム ref— can上の mv— canが示す領域（参照領域）を符号化する際に最も多くの画素で使われている参照フレームを ref— telとし、この領域内で参照フレームが ref— telのもので最も多くの画素で使われている参照情報を mv— telとして [S 305]、以下の処理 [S 306〜S 335]を行った後、 p— canを予測参照情報予測データメモリ 108に格納する [S 336 , S 337]。

[0148] S 306〜S 335の処理では、まず、 ref telが refと等しければ [S 306]、 ref can を refに書き換え、 mv_canに mv_telをカロえる [S307]。

そうでなければ、符号化対象フレーム curの表示時刻と符号化対象ブロックの参照フレーム refの表示時刻とを比較して [S308]、同じであれば、ブロック blkで映像のカメラ間の変化の予測を行う場合の処理 [図 7 : S309〜S320]を実行し、異なるのであれば、ブロック blkで映像の時間変化の予測を行う場合の処理 [図 8 : S321〜S33 5]を実行する。

[0149] ブロック blkで映像のカメラ間の変化の予測が行われる場合の処理 [図 7 : S309〜 S320]では、フレーム curとフレーム ref— canを撮影した視点（カメラ）が同じであるかどうかを調べる [S309]。

ここで、図 7のフローチャート上の VIEW 0は、与えられたフレーム番号に対応するフレームを撮影した視点（カメラ)インデックスを返す関数を表す。

[0150] フレーム curとフレーム ref— canとが異なるカメラで撮影されている場合、フレーム c urにおける p— canの位置の領域（隣接領域）のフレーム ref— canへの視差 mv— ca nを、該隣接領域のフレーム refへの視差 mv— translへ、フレーム curとフレーム ref —canとフレーム refのカメラパラメータを用いて幾何変換を行い [S310]、 ref— can を refに書き換え、 mv一 canを mv一 translに書き！ ^える [S311]。

S310の処理で行われる幾何変換は以下の手順で実行する。

[0151] 1. p_canで表される領域 (符号化対象領域の隣接領域）の中心位置 pos— cur を求める

2. p_canで表される位置力 mv— canだけずらした領域 (参照領域）の中心位 ¾ pos― canを求める

3. Xを変数として、 Trans cur, ref _ can, pos一 cur, xリを求める (これを p (下にべる対応画素）の上に〜が付加されたもので示す)。

Trans (src, dst, pix, d )は、次の式によって定義でき、視点 srcにおける画像上の位置 pixの画素から被写体までの距離力の場合に、視点 dstにおける画像上における画素 pixの対応画素 pの斉次座標値を表す。

[0152] [数 4]

[0153] ただし、 A, R, tはカメラパラメータであり、それぞれ内部パラメータ、回転パラメータ、並進パラメータを示す。内部パラメータと回転パラメータは 3 X 3行列であり、 tは 3次元のベクトノレである。

また、座標値に〜が付加されているものは斉次座標値を示している。特に、第三成分が 1の斉次座標値を座標値に「 '」を付加して表して!/、る。

なお、カメラパラメータの表し方は様々であり、本実施形態例では、上記式によってカメラ間の対応点が計算できるようなカメラパラメータであるとする。

4. 'ρ (ρの、第三成分が 1の斉次座標値）と pos—canとのユークリッド距離が最小になる Xを求め d とする

cur

5.次の式に従って mv— translを求める

[0154] [数 5] os ref - Tmm(cur, rej , _c , d_clLr )

m\ ransl - pos ref—卿—

[0155] なお、これらの式は各位置情報が 2次元座標で与えられ、参照情報が 2次元べタトルで表されて!/、る場合の式である。

[0156] 図 13に、 S310の処理で行われる幾何変換の一例を示す。なお、見やすくするために、 mv― canと mv― translを上下にずらして示してある。

[0157] この図に示すように、 S310では、

TIME(cur) =TIME(ref) =TIME(ref— can)

という状況下で、 mv— canを mv— translに幾何変換する処理が行われ、これを受けて、 S311では、 mv— canを mv— translに書き換える処理が行われることになる。

[0158] 一方、フレーム curとフレーム ref— canとが同じカメラで撮影されている場合 [S30

9で YESの場合]、フレーム ref— canとフレーム ref— telとが同じカメラで撮影されているかどうかを判定する [S312]。

[0159] 同じカメラで撮影されていた場合、フレーム curとフレーム ref— telの時間間隔が予め与えられた閾値 TH1よりも小さいかどうかを判定する [S313]。この時間間隔が T HIより小さい場合は、 ref— canを ref— telに書き換え、 mv— canに mv— telを加える [S314]。

一方、この時間間隔が THl以上の場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、参照フレーム ref上の対応領域を求め、 p— canの位置からの変位（対応情報）を mv—BMとし [S315]、 ref— canを refに書き換え、 mv— ca nを mv_BMに書き換える [S316]。

[0160] S312の判定処理で、フレーム ref— canとフレーム ref— telとが異なるカメラで撮影されていると判定された場合、フレーム refとフレーム ref— telとが同じカメラで撮影された力、どうかを判定する [S317]。

[0161] 同じカメラで撮影されて!/、な!/、場合、 VIEW(ref— can)で撮影された画像における、 p —can (隣接ブロックの位置）を mv— canだけずらした位置の領域 (参照領域）の、 VIE W(ref— tel)で撮影された画像への視差 mv— telを、該参照領域の、 VIEW(ref)で撮影された画像への視差 mv— trans2へ、 VIEW(ref— can)と VIEW(ref— tel)と VIEW(ref) のカメラパラメータを用いて幾何変換を行い [S318]、 ref— canを refに書き換え、 m v— canを mv— trans2に書き換える [S319]。

S318の処理で行われる幾何変換は以下の手順で実行する。

[0162] 1. p— canを mv— canだけずらした位置の領域の中心位置 pos— canを求める

2. p_canを mv— can +mv_telだけずらした位置の領域の中心位置 pos— tel を求める

3. Xを変数として、 Trans(ref _ can, ref _ tel, pos _ can，x)を永める (これを pの上に〜が付加されたもので示す）

4. ' pと pos— telとのユークリッド距離が最小になる xを求め d とする

can

5.次の式に従って mv— trans2を求める

[0163] [数 6] pos r«f - Tm (ref一 an.ref, pos_can_s< _∞, )

mv tra»s2 - os„ref - p»s_ can

[0164] 図 14に、 S318の処理で行われる幾何変換の一例を示す。

[0165] この図に示すように、 S318では、 TIME(cur) =TIME(rei) , VIEW(cur) =VIEW(ref_can)

TIME(ref_can) =TIME(ref_tel), VIEW(ref)≠ VIEW(ref— tel)という状況下で、 mv— telを mv— trans2に幾何変換する処理が行われ、これを受けて、 S319では、 mv— canを mv— trans2に書き換える処理（図中に示す破線が処理結果）が行われることになる。

[0166] S317の判定処理で、フレーム refとフレーム ref— telとが同じカメラで撮影されていると判定された場合、 ref— canを refに書き換え、 mv— canを mv— telに書き換える [ S320]。

[0167] 一方、ブロック blkで映像の時間変化の予測が行われる場合の処理 [図 8： S321 - S335]では、まず、フレーム curとフレーム ref— canとが同じカメラで撮影されたかどうかを判定する [S321]。

[0168] 同じカメラで撮影されたと判定された場合、フレーム ref— canとフレーム ref— telとが同じカメラで撮影された力、どうかを判定する [S322]。

これも同じカメラで撮影されたと判定された場合、フレーム ref— telとフレーム ref— canとで、どちらが時間的にフレーム refに近いかを判定する [S323]。

フレーム ref— telの方がフレーム refに時間的に近いと判定された場合には、 ref _canを ref_telに書き換え、 mv_canに mv_telをカロえる [S324]。

[0169] S322の判定処理で、フレーム ref— canとフレーム ref— telとが異なるカメラで撮影されたと判定された場合か、 S 323の判定処理で、フレーム ref— canの方がフレーム refに時間的に近いと判定された場合には、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— canに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv— canBMとし [S325]、 r ef— canを refに書き換え、 mv— canに mv— canBMを力□える [S326]。

[0170] 一方、 S321の判定処理において、フレーム curとフレーム ref— canとが異なるカメラで撮影されたと判定された場合、フレーム ref— canとフレーム ref— telとが同じ力メラで撮影された力、どうかを判定する [S327L

同じカメラで撮影されたと判定された場合、フレーム refの表示時刻とフレーム ref— telの表示時刻（撮影時刻）とが同じであるかどうかを判定する [S 328]。同じ表示時刻を持つと判定された場合、 ref— canを refに書き換え、 mv— canを mv — telに書き換える [S329]。

[0171] S328の判定処理で、異なる表示時刻を持つと判定された場合、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— telに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv— telBM とし [S330]、 ref— canを refに書き換え、 mv— canを mv— telと mv— telBMとの和に書き換える [S331]。

[0172] S327の判定処理で、フレーム ref— canとフレーム ref— telとが異なるカメラで撮影されたと判定された場合、 VIEW(cur)と VIEW(ref— tel)の撮影領域の一致割合が、予め与えられた閾ィ直 TH2より大き!/、かどうかを判定する [S332]。

このフローチャートでは、 Diff(caml，cam2)が撮影領域の一致度合いを表し、一方のカメラ（あらかじめどちらかに決められ、それに適合する閾値 TH2が選択される）で撮影可能な領域に対する両方のカメラで撮影可能な領域の割合を与える。ただし、カメラから、別途与えられる距離までの実空間のみを対象とする。また、与えられる閾値 T H2は、全てのカメラの組合せにお!/、て最も小さな Diff値よりも大き!/、とする。

[0173] S332の判定処理で、 VIEW(cur)と VIEW(ref— tel)の撮影領域の一致割合が閾値 T H2より大きかった場合、 ref— canを ref— telに書き換え、 mv— canに mv— telを加える [S333]。

[0174] 一方、 S332の判定処理で、 VIEW(cur)と VIEW(ref— tel)の撮影領域の一致割合が閾値 TH2以下だった場合、 p— canの位置の符号化対象フレームの復号画像情報を用いて、参照フレーム ref上の対応領域を求め、 p— canの位置からの変位（対応情報）を mv— BMとし [S334]、 ref— canを refに書き換え、 mv— canを mv— BMに書き換える [S335]。

[0175] 次に、図 9〜図 12で示される、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートについて説明する。

[0176] ここで、図 9〜図 12のフローチャートでは、全ての予測参照情報予測データに対して FINの値が 1に設定されるまで、このフローチャートを繰り返し実行することを想定して!/、る力例えば規定回数（1回でもよ!/、）だけ繰り返すと!/、うような方法を用いることも可能である。

[0177] まず、 FIN力 SOである予測参照情報予測データを取り出して p— canとする [S401] 。次に、 p— canの参照フレーム番号を ref— canに設定し、 p— canの参照情報を m V— canに設定する [S402]。

[0178] ここで、 ref— canがブロック blkを符号化する際に用いようとしている参照フレームの参照フレーム番号 refと等しければ [S403]、 FINを 1にして [S404]、 p_canをそのまま予測参照情報予測データメモリ 108に格納する [S452, S453]。

[0179] そうでなければ、フレーム ref— can上の、 p— can (隣接領域）を mv— canだけずらした領域 (参照領域)を符号化する際に最も多くの画素で使われている参照フレームを ref_telとし、この領域内で参照フレームが ref— telのもので最も多くの画素で使われている参照情報を mv— telとして [S405]、以下の処理 [S406〜S451]を行った後、 p— canを予測参照情報予測データメモリ 108に格納する [S452, S453]。

[0180] S406〜S451の処理では、まず、 ref— tel力 S_refと等しければ [S406]、 ref— can を refに書き換え、 mv_canに mv_telをカロえる [S407]。

そうでなければ、符号化対象フレーム curの表示時刻と符号化対象ブロックの参照フレーム refの表示時刻とを比較して [S408]、同じであれば、ブロック blkで映像のカメラ間の変化の予測を行う場合の処理 [図 10 : S409〜S420]を実行し、異なるのであれば、フレーム curとフレーム refを撮影したカメラが同じであるかどうかを判定する [S421 ]。

同じであれば、ブロック blkで映像の時間変化の予測を行う場合の処理 [図 11 : S4 22〜S441]を実行し、異なるのであれば、映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理 [図 12 : S442〜S451]を実行する。

[0181] ブロック blkで映像のカメラ間の変化の予測が行われる場合の処理 [図 10 : S409〜 S420]では、まず、フレーム curの表示時刻とフレーム ref— canの表示時刻とが同じであるかどうかを判定する [S409]。

同じであると判定された場合、前述の S310での処理と同様の方法で、フレーム cur における _P canの位置の領域（隣接領域）のフレーム ref canへの視差 mv can を、該隣接領域のフレーム refへの視差 mv— translへ、フレーム curとフレーム ref— canとフレーム refのカメラパラメータを用いて幾何変換を行い [S410]、 ref— canを r efに書き ¾え、 mv一 canを mv一 translに書き換える [S411」。

[0182] ここで、この S410で行われる幾何変換処理は、 S310で説明した幾何変換処理と同じものである。

[0183] 一方、 S409の判定処理で、フレーム curの表示時刻とフレーム ref— canの表示時亥 IJとが異なると判定された場合、フレーム ref— canの表示時刻とフレーム ref— telの表示時刻とが同じであるかどうかを判定する [S412]。

同じであると判定された場合、フレーム ref— telを撮影したカメラとフレーム refを撮影したカメラとが同じで、かつ、フレーム ref— canを撮影したカメラとフレーム curを撮影したカメラとが同じであるかどうかを判定する [S413L

2組のカメラ対がそれぞれ同じカメラであると判定された場合、 ref— canを refに書き換え、 mv— canを mv— telに書き換える [S414]。

[0184] S413の判定処理で、 2組のカメラ対のどちらか一方でも同じではないと判定された場合、 VIEW(ref— can)で撮影された画像における、 p— can (隣接ブロックの位置）を m V— canだけずらした位置の領域 (参照領域）の、 VIEW(ref— tel)で撮影された画像への視差 mv— telを、 VIEW(cur)で撮影された画像における p— canの位置の領域（隣接領域）の、 VIEW(ref)で撮影された画像への視差 mv— trans3へ、 VIEW(cur)と VIE W(ref— can)と VIEW(ref— tel)と VIEW(rei)のカメラパラメータを用いて幾何変換を行い [S415]、 ref _ canを refに書き換え、 mv一 canを mv一 trans3に書き換える [S416

L

S415の処理で行われる幾何変換は以下の手順で実行する。

[0185] 1. p— canを mv— canだけずらした位置の領域の中心位置 pos— canを求める

4. ' pと pos— telとのユークリッド距離が最小になる xを求め d とする 5.次の式に従って mv— trans3を求める

[0186] [数 7]

BOS cur2 - Γ - ί £Tw p{ s <^ϊ¾ )

mv r s«ns3 - pos_ref - j>«s_c«r2

[0187] 図 15に、 S415の処理で行われる幾何変換の一例を示す。なお、見やすくするために、 mv— telと mv— tran3を上下にずらして示してある。

[0188] この図に示すように、 S415では、

TIME(cur) =TIME(rei) ≠TIME(ref_can)=TIME(ref_tel)

VIEW(ref)≠VIEW(ref— tel)または VIEW(cur) ≠ VIEW(ref_can) という状況下で、 mv— telを mv— trans3に幾何変換する処理が行われ、これを受けて S416では、 mv— canを mv— trans3に書き換える処理（図中に示す破線が処理結果）が行われることになる。

[0189] S412の判定処理で、フレーム ref— canの表示時刻とフレーム ref— telの表示時亥 IJとが異なると判定された場合、フレーム curとフレーム ref— telの時間間隔が、予め与えられた閾ィ直 TH1よりも小さいかどうかを判定する [S417]

時間間隔が THlより小さい場合は、 ref— canを ref— telに書き換え、 mv— canに mv— telをカロえる [S418]

時間間隔が THl以上の場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、参照フレーム ref上の対応領域を求め、 p— canの位置からの変位 (対応情報）を mv— BMとし [S419] ref— canを refに書き換え、 mv— canを mv— B Mに書き換える [S420]

[0190] ブロック blkで映像の時間変化の予測を行う場合の処理 [図 11 : S422 S441]では、まず、フレーム curを撮影したカメラとフレーム ref— canを撮影したカメラとが同じであるかどうか判定する [S422]

同じであった場合、さらに、フレーム ref— canを撮影したカメラとフレーム ref— tel を撮影したカメラとが同じであるかどうかを判定する [S423]

[0191] これも同じであった場合、前述の〔数 3〕式による判定を行う [S424] この〔数 3〕式が成立する場合は、 ref— canを ref— telに置き換え、 mv— canに mv — telをカロえる [S425]。

一方、この〔数 3〕式が成立しなかった場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— canに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv— canBMとし [S426]、 r ef— canを refに書き換え、 mv— canに mv— canBMを力□える [S427]。

[0192] S423の判定処理で、フレーム ref— canを撮影したカメラとフレーム ref— telを撮影したカメラとが異なると判定された場合、フレーム refを撮影したカメラとフレーム ref —telを撮影したカメラとが同じであるかどうか判定する [S428]。

[0193] 同じであった場合、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— can +mv_telに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv—印 iBMlとし [S429]、 ref— canを refに書き換え、 mv— canに mv— telと mv—印 iBMlとを加える [S430]。

[0194] なお、この S429での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。

[0195] 1. _canを mv— can +mv_telだけずらした位置の領域の中心位置 pos— tel を求める

2. Xを変数として、 Trans(ref— tel, ref, pos— tel, x)を求める（これを pの上に〜力 S 付加されたもので示す）

3. Xを変化させたときに pの描くフレーム ref上の直泉を求める

ここでは、変化させる Xの値の最大値と最小値を決めないが、予め設定しておいても構わない

また、 S428の判定処理で、フレーム refを撮影したカメラとフレーム ref— telを撮影したカメラとが異なると判定された場合、前述の S426の処理と S427の処理とを行う。

[0196] 一方、最初に行う S422の判定処理で、フレーム curを撮影したカメラとフレーム ref —canを撮影したカメラとが異なると判定された場合、フレーム refの表示時刻とフレーム ref— telの表示時刻とが同じであるかどうかを判定する [S431]。

同じであった場合、さらに、フレーム refの表示時刻とフレーム ref canの表示時刻とが同じであるかどうかを判定する [S432]

[0197] これも同じであった場合、前述の S318での処理と同様の方法で、 VIEW(ref— can) で撮影された画像における、 p— can (隣接ブロックの位置）を mv— canだけずらした位置の領域（参照領域）の、 VIEW(ref— tel)で撮影された画像への視差 mv— telを、該参照領域の、 VIEW(ref)で撮影された画像への視差 mv— trans2 VIEW(ref_ca n)と VIEW(ref— tel)と VIEW(ref)のカメラパラメータを用いて幾何変換を行い [S433] ref— canを refに書き換え、 mv― canに mv― trans2を力！]える [S434]

[0198] 図 16に、 S433の処理で行われる幾何変換の一例を示す。

[0199] この図に示すように、 S433では、

VIEW(cur) =VIEW(rei), VIEW(cur)≠ VIEW(ref_can)

TIME(ref) =TIME(ref— can) =TIME(ref— tel)

という状況下で、 mv— telを mv— trans2に幾何変換する処理が行われ、これを受けて S434では、 mv— canに mv— trans2を加える処理（図中に示す破線が処理結果）が fiわれることになる。

[0200] なお、 S432の判定処理で、フレーム refの表示時刻とフレーム ref— canの表示時亥 IJとが異なると判定された場合は、前述の S429の処理と S430の処理とを行う。

[0201] また、 S431の判定処理で、フレーム refの表示時刻とフレーム ref— telの表示時亥 IJとが異なると判定された場合は、フレーム refの表示時刻とフレーム ref— canの表示時刻とが同じであるかどうかを判定す ' 81¾〉驕\ 3435]

[0202] 同じであると判定された場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— canに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv—印 iBM2とし [S436] ref— canを ref に書き換え、 mv— canに mv—印 iBM2を加える [S437]

[0203] なお、この S436での探索は、カメラ間の制約を用いることで、対応領域の中心が次の手順で得られる直線の周囲になる場合のみを探索することにしてもよい。

[0204] 1. p— canを mv— canだけずらした位置の領域の中心位置 pos— canを求める

2. Xを変数として、 Trans(ref _ can, ref, pos _ can, x)を永める、これを pの上に〜が付加されたもので示す） 3. χを変化させたときに pの描くフレーム ref上の直泉を求める

S435の判定処理で、フレーム refの表示時刻とフレーム ref— canの表示時刻とが異なると判定された場合は、次の 2つの条件式による判定を行う [S438]。

[0205] [数 8コ

[0206] どちらか一方でも成り立つ場合は、 ref— canを ref— telに書き換え、 mv— canに m v— telをカロえる [S439]。

どちらも成立しない場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、参照フレーム ref上の対応領域を求め、 p— canの位置からの変位（対応情報）を mv— BMとし [S440]、 ref— canを refに書き換え、 mv— canを mv— BMに書き換える [S441]。

[0207] ブロック blkで映像の時間変化とカメラ間の変化が合わさったものの予測を行う場合の処理 [図 12 : S442〜S451]では、まず、フレーム ref_canの表示時刻とフレーム refの表示時刻とが同じであるかどうかを判定する [S442]。

同じであると判定された場合、フレーム ref— telの表示時刻とフレーム refの表示時刻とが同じであるかどうかを判定する [S443L

[0208] これも同じであると判定された場合、前述の S318での処理と同様の方法で、 VIEW( ref— can)で撮影された画像における、 p— can (隣接ブロックの位置）を mv— canだけずらした位置の領域 (参照領域）の、 VIEW(ref— tel)で撮影された画像への視差 mv— telを、該参照領域の、 VIEW(rei)で撮影された画像への視差 mv— trans2へ、 VIEW( ref— can)と VIEW(ref— tel)と VIEW(rei)のカメラパラメータを用いて幾何変換を行い [ S444]、 ref— canを refに書き換え、 mv— canに mv— trans2を加える [S445]。

[0209] 図 17に、 S444の処理で行われる幾何変換の一例を示す。なお、見やすくするために、 mv— telと mv— trans2を上下にずらして示してある。

[0210] この図に示すように、 S444では、 TIME(cur)≠TIME(rei) , VIEW(cur)≠VIEW(rei)

TIME(rei) =TIME(ref_can)=TIME(ref_tel)

という状況下で、 mv_telを mv— trans2に幾何変換する処理が行われ、これを受けて、 S445では、 mv— canに mv— trans2を加える処理（図中に示す破線が処理結果）が fiわれることになる。

[0211] また、 S443の判定処理で、フレーム ref— telの表示時刻とフレーム refの表示時刻とが異なると判定された場合、 p— canの位置の符号化対象フレームの復号画像情報を用いて、探索中心を mv— canに設定して、参照フレーム ref上の対応領域を求め、探索中心からの変位（対応情報）を mv—印 iBM2とし [S446]、 ref— canを ref に書き換え、 mv— canに mv—印 iBM2を加える [S447]。

なお、この S446での探索は、カメラ間の制約を用いることで、対応領域の中心が、前述の S336の処理のときと同じ手順で得られる直線の周囲になる場合のみを探索することにしてあよい。

[0212] 一方、最初に行う S442の判定処理で、フレーム ref— canの表示時刻とフレーム ref

の表示時刻とが異なると判定された場合、前述の〔数 3〕式による判定を行う [S448]

〇

この〔数 3〕式が成立する場合は、 ref— canを ref— telに置き換え、 mv— canに mv —telをカロえる [S449]。

一方、この〔数 3〕式が成立しなかった場合は、 p— canの位置の符号化対象フレームの復号画像情報を用いて、参照フレーム ref上の対応領域を求め、 p— canの位置からの変位（対応情報）を mv— BMとし [S450]、 ref— canを refに書き換え、 mv— canを mv— BMに書き換える [S451]。

[0213] このようにして、参照情報変更部 11 1は、図 6〜図 12のフローチャートを実行することで、図 1や図 2に示すような形で、予測参照情報予測データメモリ 108に格納される予測参照情報予測データを変更するように処理するのである。

[0214] 次に、本発明を具備する動画像復号装置について説明する。

[0215] 図 18に、本発明の動画像復号装置 200の一実施形態例を示す。

[0216] この動画像復号装置 200は、復号対象となる画像の予測画像に対する差分画像の符号化データを復号する差分画像復号部 201と、予測画像を生成する際の参照情報の予測参照情報に対する差分参照情報の符号化データを復号する差分参照情報復号部 202と、予測画像を生成する際の参照フレーム指定情報の符号化データを復号する参照フレーム指定情報復号部 203と、既に復号済みのフレームであるところの参照フレームと参照フレーム指定情報と参照情報とを用いて復号対象フレームの予測画像を生成する予測画像作成部 204と、予測画像と復号された差分画像との和で求められる復号画像を蓄積する参照フレームメモリ 205と、予測参照情報予測データ（予測参照情報の候補となる参照情報)から予測参照情報を生成する予測参照情報生成部 206と、予測参照情報予測データを蓄積する予測参照情報予測データメモリ 207と、過去に画像を復号する際に用いた参照情報を蓄積する参照情報蓄積メモリ 208と、予測参照情報予測データメモリ 207上の予測参照情報予測データに修正を施す参照情報変更部 209と、過去に画像を復号する際に用いた参照フレーム指定情報を蓄積する参照フレーム指定情報蓄積メモリ 210とを備える。

[0217] 図 19に、このように構成される動画像復号装置 200の実行するフローチートを示す

〇

[0218] このフローチャートに従って、このように構成される動画像復号装置 200の実行する処理について詳細に説明する。ただし、既に複数フレームの画像を復号済みであり、その結果が参照フレームメモリ 205、参照情報蓄積メモリ 208、参照フレーム指定情報蓄積メモリ 210に蓄積されているものとする。

[0219] まず、差分画像の符号化データと、差分参照情報の符号化データと、参照フレーム指定情報の符号化データとが、動画像復号装置 200へ入力され、それぞれ、差分画像復号部 201と、差分参照情報復号部 202と、参照フレーム指定情報復号部 203へ送られる [S501]。

[0220] 復号対象画像は画像全体を領域分割し、領域毎に復号を行う [S502〜S515]。このフローチャートでは、ブロック（領域）のインデックスを blkと表し、一つの画像に含まれる総ブロック数を MaxBlkと表す。

つまり、インデックス blkを 1に初期化した後 [S502]、 blk力 SMaxBlkになるまで [S5 14]、 blkに 1を加算しながら [S515]、以下の処理 [S503〜S513]を繰り返し実行する。

[0221] ブロック毎に行う処理では、参照フレーム指定情報の符号化データを復号して、参照フレーム指定情報 refを取得し [S503]、参照フレーム refに対する参照情報を予測するための予測参照情報 pmvを生成する処理 [S504〜S507]を行った後に、差分参照情報の符号化データを復号して、差分参照情報 mvdを取得し [S508]、 pmv と mvdとの和で構成される参照情報 mvを生成する [S 509]。

[0222] そして、参照フレーム refと参照情報 mvとを用いて予測画像 Preを生成し [S 510]、差分画像の符号化データを復号して、差分画像 Subを取得し [S511]、 Preと Subとの画素ごとの和を計算することで復号画像 Decを生成する [S512]。

そして、復号画像 Decと、ブロック blkを復号するために用いた情報である参照情報 mvと、参照フレーム指定情報 refを、それぞれ、参照フレームメモリ 205、参照情報蓄積メモリ 208、参照フレーム指定情報蓄積メモリ 210に格納する [S 513]。

[0223] なお、各フレームについては、そのフレームに含まれる全てのブロックに関して復号処理が終わった後で、かつ、そのフレームより前の表示時刻を持つフレームが全て出力された後に、復号されたフレームが動画像復号装置 200から出力される。

[0224] 予測参照情報 pmvを生成する処理 [S504〜S507]では、予測参照情報予測デ一タメモリ 207を初期化した後 [S504]、ブロック blkに隣接する複数のブロックに関して、そのブロックを復号したときに使用した参照フレーム番号 REFと、参照情報 MV と、そのブロックの位置を示す情報 POSの組 {REF, MV, POS }とを予測参照情報予測データメモリ 207に格納する [S505]。

このとき、 MV, REFは、それぞれ、参照情報蓄積メモリ 208、参照フレーム指定情報蓄積メモリ 210にブロックインデックス又は画像内の位置に対応付けられて蓄積されているものとする。

[0225] なお、ブロック blkに隣接する複数のブロックとしては、例えば、画像を分割した領域をラスタースキャン順に符号化している場合には、上、左、右上で隣接するブロックとすること力 Sでさる。

本形態実施例では、この 3つの隣接ブロックの参照情報を予測参照情報予測データに設定することとする。ただし、該当するブロックが画面の外になるような場合は候補から除外するものとする。

[0226] 次に、予測参照情報予測データメモリ 207内の予測参照情報予測データを取り出し、参照情報変更部 209で変更を加えて、再度予測参照情報予測データメモリ 207 に蓄積する [S 506]。ここで行われる処理は後で詳しく説明を行う。

[0227] そして、予測参照情報予測データメモリ 207に蓄積されている複数の参照情報から予測参照情報 pmvを生成する [S507]。具体的には、参照情報の成分ごとに予測参照情報予測データの中間値を取ることで予測参照情報 pmvを作成する。

なお、中間値以外にも平均値や最大値、最小値などを任意の基準のものを用いても構わない。ただし、動画像符号化装置が用いる基準と同じ基準を用いる必要がある

[0228] 参照情報変更部 209で行われる S506の処理は、既に述べた図 3に示した動画像符号化装置 100内の参照情報変更部 111で行われる図 4中に示す S 106の処理と同様である。

[0229] つまり、最初に、予測参照情報予測データメモリ 207に蓄積された全ての予測参照情報予測データに対して FINを 0で初期化し、全ての FIN力損になるまで、図 5〜図 1

2のフローチャートの処理を繰り返し実行する。

[0230] ここで、図 5は、全ての入力フレーム及び参照フレームが同じカメラから撮影された画像である場合のフローチャートを示す。

また、図 9〜図 12は、多視点画像が入力され、任意の既に符号化済みのフレームを参照フレームとして用いることが出来る場合のフローチャートを示す。復号装置においては、任意の既に復号済みのフレームを参照フレームとして用いることが出来る場合のフローチャートとしてとらえれば良い。 [0231] 図示実施形態例に従って本発明を説明したが、本発明は、この実施形態例に限られるものではない。

[0232] 例えば、 mv_telを生成する方法としては、上述のような最頻値を取るほかに、成分ごとの中間値や平均値で生成する方法を用いてもよ!/、。

ただし、動画像符号化装置側と動画像復号装置側との対応した処理で同じ方法になっている必要がある。

[0233] また、実施形態例ではフレーム内符号化については述べていないが、予測画像を作る方法の 1つとして、例えば、参照フレーム指定情報として別の番号を割り当てることで容易に追加することができる。

なお、隣接ブロックがフレーム内符号化されているときは MV (参照情報）に 0を設定して予測参照情報予測データを生成し、 TIME ()や VIEW ()は、他の場合（即ち、フレーム内符号化されていない）には絶対返さないような絶対値の大きな値を返すこととすると、フレーム内符号化が行われているような場合にも、前述のフローチヤ一トで適切に処理可能である。また、参照フレーム指定情報を用いず、 H.264のように別途符号化モードを用意して実現した動画像符号化装置、動画像復号装置も本発明から容易に類推可能である。

[0234] 以上説明した動画像符号化及び復号の処理は、コンピュータとソフトウェアプロダラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

[0235] また、以上の実施形態例では動画像符号化装置及び動画像復号装置を中心に説明したが、これら動画像符号化装置及び動画像復号装置の各部の動作に対応したステップによって本発明の動画像符号化方法及び動画像復号方法を実現することができる。

[0236] 以上、図面を参照して本発明の実施形態例を説明してきたが、以上に説明した実施形態例は本発明の例示に過ぎず、本発明が以上に説明した実施形態例に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

産業上の利用可能性本発明によれば、符号化対象領域に隣接する領域を符号化するときに用いた参照情報を、その参照領域を符号化する際に用いた符号化情報を用いて、符号化対象フレームと符号化対象参照フレームとの時刻及び視点関係に適した参照情報に変換した後に、予測参照情報を生成することによって、複数フレーム間における映像変化の時間的連続性がな!/、場合や、符号化単位領域毎に動き補償と視差補償を選択しながら多視点画像を符号化する場合においても、変換操作の方法を示す付加情報を符号化することなぐ符号化対象領域を符号化する際に用いる参照情報と予測参照情報との差を小さくし、フレーム間予符号化のための動きベクトルや視差情報を効率よく符号化することができる。

Claims

請求の範囲

[1] 画像を領域分割し、領域毎に、時間的又は空間的なフレーム間予測符号化方式を適用して、処理対象領域の参照フレームとその参照フレームにおける処理対象領域の予測対象位置を示す参照情報とに基づいて処理対象領域の予測画像を生成して動画像を処理するときに用いられて、その参照情報の予測情報となる予測参照情報を生成する予測参照情報生成方法であって、

処理対象領域に隣接する既に処理済みの隣接領域を処理した際の参照情報を、処理対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、

前記予測参照情報予測データによって指し示される参照領域を処理した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ス前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、

1つ又は複数存在する前記変更した予測参照情報予測データを用いて、前記予測参照情報を生成する予測参照情報生成ステップと

を有する予測参照情報生成方法。

[2] 画像全体を領域分割して、領域毎に、既に符号化済みの複数のフレームの中から、その領域の画像情報を予測する際に参照フレームとして用いる符号化対象領域参照フレームを選択し、符号化対象領域参照フレームと、該符号化対象領域参照フレームにおける符号化対象領域の予測対象位置を示す参照情報とを用いて予測画像を生成して、予測画像と符号化対象領域の画像との差分情報を符号化することで動画像を符号化する動画像符号化方法であって、

符号化対象領域に隣接する既に符号化済みの隣接領域を符号化した際の参照情報を、符号化対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、

前記予測参照情報予測データによって指し示される参照領域を符号化した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、

1つ又は複数存在する前記変更した予測参照情報予測データを用いて、符号化対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ス符号化対象領域に対する予測画像を生成するために用いた参照情報と前記予測参照情報との差分情報を符号化する差分参照情報符号化ステップと

を有する動画像符号化方法。

[3] 請求項 2に記載の動画像符号化方法において、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。

[4] 請求項 2に記載の動画像符号化方法において、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。

[5] 請求項 2に記載の動画像符号化方法において、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報の対応点情報のいずれか一方に変更することによって、前記予測参照情報予測データを変更する動画像符号化方法。

[6] 請求項 5に記載の動画像符号化方法において、

前記予測参照情報予測データ変更ステップでは、前記符号化対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を符号化した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、符号化対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像符号化方法。

[7] 請求項 2に記載の動画像符号化方法において、

符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像符号化方法。

[8] 請求項 2に記載の動画像符号化方法において、

符号化対象フレームの視点のカメラパラメータと、前記符号化対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点のカメラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像符号化方法。

[9] 請求項 2に記載の動画像符号化方法において、

符号化対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。

[10] 請求項 2に記載の動画像符号化方法において、

符号化対象領域の参照フレーム上の領域を探索対象として、符号化対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像符号化方法。

[11] 画像全体を領域分割して、既に復号した複数のフレームから予測画像を生成しながら画像を復号するのにあたり、領域毎に、予測画像を生成するために用いる既に復号済みのフレームであるところの復号対象領域参照フレームを示す情報と、復号対象領域参照フレームにおける復号対象領域の予測対象位置を示す参照情報と、予測画像と復号対象領域の画像との差分情報とを復号することで、動画像を復号する動画像復号方法であって、

復号対象領域に隣接する既に復号済みの隣接領域を復号した際の参照情報を、復号対象領域の参照情報の予測に用いる予測参照情報予測データとして設定する予測参照情報予測データ設定ステップと、

前記予測参照情報予測データによって指し示される参照領域を復号した際に用いた 1つ以上の参照情報から参照領域参照情報を生成する参照領域参照情報生成ス前記予測参照情報予測データを、生成された前記参照領域参照情報を用いて変更する予測参照情報予測データ変更ステップと、

1つ又は複数存在する前記変更した予測参照情報予測データを用いて、復号対象領域の参照情報の予測情報となる予測参照情報を生成する予測参照情報生成ステ符号化データから、復号対象領域に対する予測画像を生成するために用いる参照情報と前記予測参照情報との差分情報を復号する差分参照情報復号ステップとを有する動画像復号方法。

[12] 請求項 11に記載の動画像復号方法におレ、て、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。

[13] 請求項 11に記載の動画像復号方法にお!/、て、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記参照領域参照情報が示す対応点情報に変更することによって、前記予測参照情報予測データを変更する動画像復号方法。

[14] 請求項 11に記載の動画像復号方法にお!/、て、

前記予測参照情報予測データ変更ステップでは、前記予測参照情報予測データが示す対応点情報を、前記予測参照情報予測データが示す対応点情報と前記参照領域参照情報が示す対応点情報との和、及び、前記参照領域参照情報が示す対応点情報のいずれか一方変更することによって、前記予測参照情報予測データを変更する動画像復号方法。

[15] 請求項 14に記載の動画像復号方法において、

前記予測参照情報予測データ変更ステップでは、前記復号対象領域参照フレームの時刻情報及び視点情報と、前記参照領域の含まれるフレームの時刻情報及び視点情報と、前記参照領域を復号した際の参照フレームであるところの参照領域参照フレームの時刻情報及び視点情報と、復号対象フレームの時刻情報及び視点情報とを用いて、前記予測参照情報予測データの対応点情報を、前記予測参照情報予測データの対応点情報と前記参照領域参照情報の対応点情報との和に変更するのか、前記参照領域参照情報の対応点情報に変更するのかを決定する動画像復号方法。

[16] 請求項 11に記載の動画像復号方法におレ、て、

復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点の力メラパラメータとを用いて、その予測参照情報予測データが示す対応点情報に幾何変換を加える予測参照情報幾何変換ステップを有する動画像復号方法。

[17] 請求項 11に記載の動画像復号方法におレ、て、

復号対象フレームの視点のカメラパラメータと、前記復号対象領域参照フレームの視点のカメラパラメータと、前記予測参照情報予測データの示すフレームの視点の力メラパラメータと、その予測参照情報予測データに対応する参照領域参照情報の示すフレームの視点のカメラパラメータとを用いて、その参照領域参照情報が示す対応点情報に幾何変換を加える参照領域参照情報幾何変換ステップを有する動画像復号方法。

[18] 請求項 11に記載の動画像復号方法にお!/、て、復号対象領域の参照フレーム上の領域を探索対象として、前記予測参照情報予測データによって指し示される参照領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法。

[19] 請求項 11に記載の動画像復号方法にお!/、て、

復号対象領域の参照フレーム上の領域を探索対象として、復号対象領域の隣接領域に対応付けられる領域を探索し、前記予測参照情報予測データを探索結果の対応情報に変更する予測参照情報予測データ探索ステップを有する動画像復号方法

[20] 請求項 1に記載の予測参照情報生成方法における各ステップを実現する手段を備える予測参照情報生成装置。

[21] 請求項 1に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラム。

[22] 請求項 1に記載の予測参照情報生成方法における各ステップをコンピュータに実行させるための予測参照情報生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

[23] 請求項 2に記載の動画像符号化方法における各ステップを実現する手段を備える動画像符号化装置。

[24] 請求項 2に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラム。

[25] 請求項 2に記載の動画像符号化方法における各ステップをコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

[26] 請求項 11に記載の動画像復号方法における各ステップを実現する手段を備える動画像復号装置。

[27] 請求項 11に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラム。

[28] 請求項 11に記載の動画像復号方法における各ステップをコンピュータに実行させるための動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。