JPH11161800A - 多視点画像符号化／復号化装置および多視点画像符号化／復号化方法ならびに三次元物体の画像符号化／復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】多視点画像の持つ性質を有効に活用してその情
報量を大幅に削減できる多視点画像符号化装置を提供す
る。 【解決手段】多視点画像入力部１００から入力される多
視点画像から、被写体の対称性の判定結果に基づいて所
定範囲の多視点画像を選択し、被写体面上の各点に対し
て各点の座標値と選択された多視点画像中でモデルとし
て使用される視点画像内の該各点に対応する輝度値とか
ら構成されるモデル情報を生成するモデルリング部１０
３と、モデル情報を符号化する符号化部１１３と、モデ
ル情報から多視点画像中の各視点画像を予測して生成さ
れた予測画像と各視点画像との予測誤差を符号化する符
号化部１０６〜１１０と、符号化されたモデル情報およ
び予測誤差と対称性に関する情報を多重化して符号化ス
トリームを生成する多重化部１１６とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像を用い
て任意の視点から見たような画像を作成する画像処理シ
ステムにおける多視点画像符号化／復号化装置および多
視点画像符号化／復号化方法ならびに三次元物体の画像
符号化／復号化装置に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は構成要素がＣＧ（コ
ンピュータグラフィクス）によって生成されるものが大
半であるが、これに対して、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年“image based re
ndering ”と称して、実写を利用してリアリティを高め
ようという動きがある。このような技術として既に実用
に供せられている例として、文献１(S.E.Chen et al,SI
GGRAPH‘95 pp.29-38)に開示されているQuickTime ＶＲ
が挙げられる。

【０００４】QuickTime ＶＲは、一つの視点から撮った
パノラマ画像から視線方向を切り出す技術であり、自分
の周りの３６０°の視野をインタラクティブに見渡すよ
うな画像表現ができる。但し、この方法では画像入力の
際の視点はある一点に固定されているので、任意視点か
らの画像を再構成することはできない。すなわち、視線
方向は選択できるものの視点は常に同一視点に固定され
ているので、視点が変わったときに発生するオクルージ
ョン（隠れ）の状況の変化を再現することはできない。

【０００５】このような物体との距離方向も含めた任意
視点の実現、オブジェクトとしての操作可能性、空間へ
の配置可能性といった更に進んだ機能を実現することが
できる画像表現方法としては、例えば文献２（「光線情
報による３次元実空間の効率的記述へ向けた光線空間射
影法」苗村他、信学技報IE95-119）に開示されている方
法が知られている。この方法では、３次元空間上を通る
光線を表現する「光線空間」という概念を導入し、多視
点画像と光線空間とを相互に変換することにより、入力
された多視点画像から任意視点画像を生成している。以
下、この原理につき具体的に説明する。

【０００６】光線情報に基づく記述の考え方は、３次元
空間を伝播する光線の情報を３次元の直交座標空間上に
おける光線の通過位置（Ｘ，Ｙ，Ｚ）とその方向（θ，
φ）によって定義される５次元情報空間ｆ（Ｘ，Ｙ，
Ｚ，θ，φ）に記述する、というものである。ここで、
θは、直交座標空間上の任意の点（Ｘ，Ｙ，Ｚ）を通過
する光線の水平方向の傾き、つまりＸ−Ｚ平面上の角度
を示し、φは（Ｘ，Ｙ，Ｚ）を通過する光線の垂直方向
の傾き、つまりＸ−Ｚ平面上からＹ軸方向への角度を示
す。

【０００７】画像情報が直交座標空間上の任意の点
（Ｘ，Ｙ，Ｚ）に視点を置いたときにそこを通過する
（θ，φ）方向の光線の集合により形成されるものであ
ることを考慮すると、画像情報と前述の光線情報は相互
に変換可能であることがわかる。ここで、光線が減衰せ
ずに直進するとの仮定が成立するような場合には、５次
元情報空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）を４次元に縮退さ
せることができる。上述した文献２には、光線情報を記
録する面の取り方によって平面記録、円筒記録、球面記
録の３通りの記録方法があることが記されているが、こ
こでは以後の説明を行うために必要な円筒記録について
簡単に説明する。

【０００８】図３０に、円筒記録のための座標系を示
す。まず、空間を４次元に縮退するために、（Ｘ，Ｙ，
Ｚ）から（Ｐ，Ｑ，Ｒ）への座標変換が行われる。ここ
で、（Ｐ，Ｑ，Ｒ）座標のＲ軸は、図示のように光線の
進行方向（θ，φ）と一致するように規定される。これ
によりＲ軸に沿った信号の変化はなくなり、この軸は無
視することができるので、（Ｘ，Ｙ，Ｚ，θ，φ）は
（Ｐ，Ｑ，Ｒ）、つまり（Ｐ，Ｑ，θ，φ）の４次元に
変換される。次に、円筒記録ではθが同一であるφ方向
の全ての光線は、θ方向に法線を持つ（Ｐ，Ｑ）平面上
の各点に記録される。これより、 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （１） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （２） の関係が得られる。

【０００９】図３０は、直交座標系０−ＸＹＺの原点
（０，０，０）を通る進行方向（θ，φ）の光線を記録
する例である。Ｒ軸からＸ−Ｙ平面上に降ろした垂線の
足をＭとした場合、Ｏ−Ｍを法線とする（Ｐ，Ｑ）平面
が定義され、そこにφ方向の全ての光線が記録されるこ
とになる。このようにして、同一θ方向の光線は、その
φ方向に関わらず全て同一の（Ｐ，Ｑ）平面上の対応す
る座標位置に記録される。

【００１０】次に、この原理を使って多視点画像から光
線空間への記録を行い、記録された光線空間から任意視
点画像を生成する原理について説明する。上述の原理に
よって光線空間が４次元に縮退されたといっても、扱う
べき多視点画像の数や演算量は非常に多く、現実的では
ないので、文献３（「光線情報に基づく３次元空間操
作」石川他、ＰＣＳＪ９６ Ｐ−３．１３）において
は、φ方向の視差を無視して（ｐ，θ）の２次元空間へ
の記録で代用している。

【００１１】また、実際に扱える光線の数には限りがあ
るので、実用にはサンプリングが介在することになる。
すなわち、入力として扱われる視点の数は有限個にとど
められる。このとき、Ｙ＝一定の平面上でのある視点の
座標（Ｘ，Ｚ）が決まると、その点を通る光線の軌跡は
式（１）のみで与えられる。Ｙ＝一定の平面上ではＱ方
向の値は変化しないからである。有限個の複数の視点を
設定して画像を入力してやると、光線空間はある視点の
座標（Ｘ，Ｚ）を通る光線の軌跡に沿った光線情報によ
って埋められてくる。光線空間上で光線情報の得られて
いない部分は、得られている光線情報により内挿等によ
って補間してやると、密に光線情報で埋まった光線空間
が得られる。再生の際は任意視点（Ｘ，Ｚ）を指定する
と、その点を通る光線の軌跡が式（１）から得られるの
で、その軌跡上の光線情報を入力画像情報から取ってく
ることにより、任意の視点画像の画面のＹ＝一定におけ
る一つの走査線、つまりある特定のＹの値に対応する一
本の表示ライン上の画像が得られる。こうして得られる
走査線をＹ方向に積み重ねることによって、任意の視点
から見た１画面分の画像を得ることができる。

【００１２】上述したように、光線空間を用いた原理に
基づく任意視点画像の生成においては、扱うべき情報が
できる限り少なくて済むように簡略化を施してはいる
が、現状では、このような簡略化を施しても情報量、処
理量は依然として非常に多く、再生のリアルタイム化、
情報量の削減などが課題として挙げられている。

【００１３】次に、情報量削減の観点から見た従来技術
につき説明する。通常、情報量の削減のためには符号化
が施される。多視点画像を符号化する場合、種々の方法
が考えられる。第１は、各視点からの画像をそれぞれ静
止画とみなしてＪＰＥＧなどの方法により符号化する方
法である。この方法は、各視点からの画像同士の相関を
使っておらず無駄がある。第２は、多視点画像を動画像
とみなしてＭＰＥＧなどの方法により符号化する方法で
あり、動き補償予測によって隣り合う視点画像同士の相
関がある程度取り除かれる。特に、多視点画像の１つの
ケースとしてのステレオ画像の符号化では、同様の原理
は視差補償予測と呼ばれており、これは例えば文献４
（特開平２−１００５９２号公報）などに開示されてい
る。

【００１４】また、ＭＰＥＧ２標準においても類似の原
理はマルチビュープロファイルの範疇にてサポートされ
ている。この方法は画像に対して一種のモデル化を行っ
ていることになるが、モデル化がブロック毎にしか行わ
れておらず、画素単位で見たときにはモデルからのずれ
が大きくなりがちである。また、モデルのパラメータと
しても各ブロックに動きベクトルの形でパラメータを与
えることになり、全体としてモデルパラメータの情報量
もかなり大きくなる。

【００１５】光線空間の概念を取り入れた多視点画像の
符号化に関する技術としては、文献５（「複合現実感表
示のための光線空間データの圧縮」片山他、ＩＭＰＳ９
６Ｉ−６．１）に開示されている技術がある。この方法
では、同一被写体から得た１２０枚の多視点画像のうち
の何枚かを参照画像として設定してそのまま送り、他の
画像については参照画像中のどの画素値に近いか、とい
う画素を指定する情報として送ることによって情報を圧
縮している。従って、上述の動き補償の流用と比較し
て、モデル化が画素単位で行われてる点でモデルからの
ずれは少なくなるが、モデルのパラメータ情報は逆に多
くなる。

【００１６】また、文献６（特開平８−１１５４３４号
公報）では多視点画像の圧縮に関連する別の技術とし
て、（少ない）多視点画像の対応点の軌跡を規定するパ
ラメータを利用することにより、受信側で任意視点画像
のための内挿を行う技術が開示されている。この際、こ
のパラメータのみによって光線空間を表現すれば、非常
に少ない情報量による表現が可能となる。

【００１７】文献５，６はいずれもモデルのみによって
多視点画像を表現しようとするものであるが、実際には
特に後者の場合、多視点画像からのモデルの推定はかな
り難しく、誤差を伴うものとなる。この結果、モデルの
推定に誤差が生じた部分については、再生される画像が
不自然になってしまう。

【００１８】これに対して、文献７（「３次元構造推定
に基づく多眼３次元画像の圧縮と補間」藤井、原島 ３
次元画像コンファレンス’94 1-4）には、３次元構造モ
デルから多眼画像の予測信号を生成し、予測誤差を送る
方法が開示されている。この文献７でのモデルは、平面
や平面パッチなどの近似であって、これによる予測の精
度はあまりよいとは言えない。しかし単純にモデルの精
度を良くすると、精度を良くするほどモデル自体の情報
量が大きくなってしまい、全体の情報量を減らすことは
出来ない。

【００１９】

【発明が解決しようとする課題】上述したように従来で
は多視点画像の情報量を削減するために圧縮符号化を行
っているが、多視点画像の持つ性質が十分に活用されて
おらず、膨大な情報量を大幅に削減するには至っていな
いという問題点があった。

【００２０】本発明は、上記事情を考慮してなされたも
のであり、多視点画像の持つ性質を有効に活用してその
情報量を大幅に削減できる多視点画像符号化／復号化装
置および方法ならびに三次元物体の画像符号化／復号化
装置を提供することを目的とする。

【００２１】

【課題を解決するための手段】上述した課題を解決する
ため、本発明は被写体の対称性を利用して多視点画像に
ついて符号化すべき情報量を削減することを骨子とす
る。ここで、被写体の対称性とは被写体の形状およびテ
キスチャの対称性であり、場合によっては形状の対称性
のみを利用してもよい。

【００２２】すなわち、本発明に係る多視点画像の符号
化においては、被写体との位置関係が既知の複数の視点
によってそれぞれ得られた複数の視点画像からなる多視
点画像を符号化するに当たり、被写体の対称性の判定結
果に基づいて多視点画像を選択し、この選択された多視
点画像を符号化するとともに、この符号化結果に対称性
に関する情報を多重化して符号化ストリームを生成する
ことを基本的な特徴とする。

【００２３】より具体的には、被写体面上の各点に対し
て、該各点の座標値と、選択された多視点画像中でモデ
ルとして使用される視点画像内の該各点に対応する輝度
値とから構成されるモデル情報を生成するモデル化を行
い、このモデル情報と、このモデル情報から多視点画像
中の各視点画像を予測して生成された予測画像と各視点
画像との予測誤差を符号化し、これら符号化されたモデ
ル情報および予測誤差と対称性に関する情報を多重化し
て符号化ストリームを生成する。

【００２４】被写体の対称性に基づく多視点画像の選択
は、例えば対称性の判定結果が対称性有りの場合、対称
性を有する範囲に対応する多視点画像から対称構造単位
の視点画像を選択し、対称性の判定結果が対称性無しの
場合、対称性を有しない範囲に対応する多視点画像を全
て選択する。

【００２５】この場合、符号化ストリームには対称性に
関する情報として、対称性の判定結果が対称性有りの場
合は対称性の種類と対称構造単位の視点画像に対応する
被写体面の範囲および該対称構造単位の視点画像のコピ
ー先の被写体面の範囲を示す情報を多重化し、対称性の
判定結果が対称性無しの場合は対称性を有しない被写体
面の範囲を示す情報を多重化する。

【００２６】また、被写体の対称性を仮定し、この仮定
した対称性に基づいて多視点画像を選択してもよい。こ
の場合には、モデル情報に被写体の対称性を仮定した範
囲内の非対称性に起因する誤差を加算したモデル情報
と、この誤差を加算したモデル情報から多視点画像中の
各視点画像を予測して生成された予測画像と各視点画像
との予測誤差を符号化し、これらの符号化されたモデル
情報および予測誤差と仮定した対称性に関する情報を多
重化して符号化ストリームを生成する。

【００２７】さらに、予測誤差の符号化はモデル情報か
ら多視点画像中の各視点画像を予測して生成された予測
画像と各視点画像との予測誤差のうち、選択された多視
点画像に対応する予測誤差のみを符号化してもよい。

【００２８】一方、本発明に係る多視点画像の復号化に
おいては、多視点画像の符号化ストリーム、すなわち選
択された多視点画像の符号化結果と被写体の対称性に関
する情報とが多重化されている符号化ストリームを復号
化して所望の視点画像を再生する場合、符号化ストリー
ムに多重化された符号化結果と対称性に関する情報を分
離し、分離された対称性に関する情報に従って、分離さ
れた多視点画像の符号結果を復号化して所望の視点画像
を再生する。

【００２９】また、符号化ストリームに被写体面上の各
点の座標値と被写体の対称性の判定結果に基づいて選択
された多視点画像中でモデルとして使用される視点画像
内の該各点に対応する輝度値とから構成されるモデル情
報と、このモデル情報から多視点画像中の各視点画像を
予測して生成された予測画像と各視点画像との予測誤差
と、対称性に関する情報とが多重化されている場合に
は、符号化ストリームからモデル情報と予測誤差および
対称性に関する情報を分離した後、予測誤差およびモデ
ル情報を復号化し、対称性に関する情報に従って、復号
化されたモデル情報から再生対象の視点画像を予測して
予測画像を生成し、復号化された予測誤差と生成された
予測画像とを合成して再生対象の視点画像を再生する。

【００３０】さらに、符号化ストリームに被写体面上の
各点の座標値と被写体の対称性の判定結果に基づいて選
択された多視点画像中でモデルとして使用される視点画
像内の該各点に対応する輝度値とから構成されるモデル
情報に被写体の非対称性に起因する誤差を加算したモデ
ル情報と、誤差を加算したモデル情報から多視点画像中
の各視点画像を予測して生成された予測画像と各視点画
像との予測誤差と、対称性に関する情報とが多重化され
ている場合には、符号化ストリームからモデル情報と予
測誤差および対称性に関する情報を分離した後、予測誤
差と、被写体の非対称性に起因する誤差を加算したモデ
ル情報を復号化し、対称性に関する情報に従って、復号
化されたモデル情報から再生対象の視点画像を予測して
予測画像を生成し、復号化された予測誤差と生成された
予測画像とを合成して再生対象の視点画像を再生する。

【００３１】このように本発明では、被写体の形状やテ
キスチャの判定結果に応じて多視点画像を選択し、多視
点画像のうち被写体の対称性のある範囲については、例
えば共通の部分である対称構造単位の情報のみを符号化
し、この符号化結果に復号化側で必要な対称性に関する
情報を多重化して符号化ストリームを生成することによ
って、復号化側に伝送すべき情報量を大幅に削減でき
る。

【００３２】また、本発明によると被写体との位置関係
が既知の複数の視点によってそれぞれ得られた複数の視
点画像からなる多視点画像を符号化した符号化ストリー
ムとして、被写体面上の各点の座標値と被写体の対称性
の判定結果に基づいて選択された多視点画像中でモデル
として使用される視点画像内の該各点に対応する輝度値
とから構成されるモデル情報と、このモデル情報から多
視点画像中の各視点画像を予測して生成された予測画像
と各視点画像との予測誤差と、対称性に関する情報とが
多重化された符号化ストリームが記録された記録媒体が
提供される。

【００３３】さらに、本発明によると、被写体面上の各
点の座標値と被写体の対称性の判定結果に基づいて選択
された多視点画像中でモデルとして使用される視点画像
内の該各点に対応する輝度値とから構成されるモデル情
報に被写体の対称性を仮定した範囲内の非対称性に起因
する誤差を加算したモデル情報と、この誤差を加算した
モデル情報から多視点画像中の各視点画像を予測して生
成された予測画像と各視点画像との予測誤差と、対称性
に関する情報とが多重化された符号化ストリームが記録
された記録媒体が提供される。

【００３４】本発明に係る三次元物体の画像符号化装置
は、三次元物体からなる被写体の対称性の判定結果に基
づいて被写体面の一部を選択する選択手段と、この選択
手段により選択された被写体面の部分の情報を符号化す
る符号化手段とを具備し、選択手段により選択されなか
った被写体面の部分については、選択された被写体面の
部分の情報を利用して表現することを特徴とする。

【００３５】本発明に係る他の三次元物体の画像符号化
装置は、三次元物体からなる被写体の対称性を仮定し、
この仮定した対称性に基づいて被写体面の一部を選択す
る選択手段と、選択手段により選択された被写体面の部
分の情報を符号化し、選択されなかった被写体面の部分
については対象であるとの仮定の下に予測を行い、予測
誤差を符号化する符号化手段とを具備することを特徴と
する。

【００３６】さらに、これらの三次元物体の画像符号化
装置において、符号化手段の符号化結果に被写体の対称
性に関する情報を多重化して符号化ストリームを生成す
る多重化手段をさらに具備することを特徴とする。

【００３７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （多視点画像符号化装置について）図１に、本発明に係
る多視点画像符号化装置の一実施形態を示す。図１にお
いて、多視点画像入力部１００は三次元物体からなる被
写体とカメラの位置関係が既知の条件で複数の視点によ
って画像の撮影を行って、複数の視点画像からなる多視
点画像を入力できるように構成された画像入力装置であ
る。この多視点画像入力部１００により入力された多視
点画像の情報は、一旦ハードディスクのような記憶部１
０１に蓄えられる。制御部１０２は、符号化全体の制御
を行う。

【００３８】符号化の手順は、多視点画像全体を見てモ
デル化、つまりモデルの推定を行い（フェーズ
［１］）、仮符号化を行って全体の符号量との関係から
量子化ステップサイズなどの符号化パラメータを決定し
（フェーズ［２］）、この後に実際の符号化ストリーム
を生成するための本符号化を行う（フェーズ［３］）の
３フェーズよりなる。制御部１０２は、これらの手順に
ついての制御も行う。

【００３９】まず、制御部１０２はモデリング部１０３
にモデル生成の指示を出し、モデルリング部１０３はそ
の指示に従って記憶部１０１をアクセスして記憶部１０
１に記憶されている多視点画像を読み込み、モデル推定
のフェーズ［１］を開始する（モデルの推定方法の詳細
については後述する）。本実施形態では、このモデルを
表す情報（以下、モデル情報という）は被写体面上の各
点の座標値（極座標）とその点の輝度の代表値（代表輝
度値）とから構成される。代表輝度値としては、被写体
面上の対応する点からの法線方向に最も近い視点によっ
て撮影された視点画像の該当する輝度値が用いられる
が、後述する予測を考慮して全体の予測を最適化する値
を代表輝度値として求めてもよい。そして、各点につい
てのモデル情報の代表輝度値は、その点からの法線方向
に最も近い視点により撮影された視点画像の輝度値とし
てフレーム内符号化されて送られる（詳細は後述す
る）。

【００４０】このようにモデルリング部１０３の処理
は、被写体面上の各点に対応する座標値ｒの推定と、各
点に対応する代表輝度値を得るべき視点画像の特定であ
る。この際、モデリング部１０３ではさらに被写体の対
称性（形状およびテキスチャの対称性）が判定される。
そして、被写体の対称性がある場合は、その対称性を有
する被写体面の範囲の視点画像についてのみモデル推定
が行われる。モデリング部１０３の処理については、後
に詳しく説明する。

【００４１】モデリング部１０３の処理が終了すると、
被写体面上の各点の代表輝度値として使用される視点画
像内の該当するブロックが対応する座標値よりなるブロ
ックとともにＤＣＴ回路１１１、量子化回路（Ｑ）１１
２、可変長符号化回路（ＶＬＣ）１１３よりなるフレー
ム内符号化回路に送られる。このフレーム内符号化回路
においては、まずＤＣＴ回路１１１で輝度値および座標
値のブロックが離散コサイン変換（ＤＣＴ）され、これ
によって得られたＤＣＴ係数が量子化回路１１２で量子
化された後、可変長符号化回路１１３で可変長符号化さ
れ、多重化回路１１６に送られる。量子化回路１１２に
より量子化されたＤＣＴ係数データは、また逆量子化回
路（Ｑ^-1）１１４で逆量子化され、さらに逆ＤＣＴ回路
（ＩＤＣＴ）１１５で逆離散コサイン変換（逆ＤＣＴ）
された後、モデル蓄積部１０４に蓄えられる。

【００４２】ここで、座標値は後述する予測信号の作成
の性能に大きく影響を与えるので、できるだけ細かく量
子化することが望ましい。また、ＤＣＴに代えてＤＣＰ
ＣＭなど他の符号化方式を用いてもよいし、さらに完全
に可逆な符号化を用いるようにしてもよい。また、輝度
値についても多視点画像全体の予測に使われる予測値の
基となるので、細かいステップサイズで量子化するのが
望ましい。

【００４３】ＭＰＥＧなどの動画像符号化方式では通
常、ＩピクチャおよびＰピクチャをＢピクチャよりも細
かく量子化するが、この差別化の度合いよりも大きく差
別化する、すなわちモデル情報として送る輝度値は後述
する誤差の符号化で用いる量子化よりもかなり細かく行
うことが望ましい。制御部１０２は、トータルの目標符
号化ビット数よりこれらのモデルの量子化ステップサイ
ズを決定し、それを量子化回路１１２および逆量子化回
路１１４に通知する。但し、上述したような理由により
モデル量子化ステップサイズは目標符号化ビット数にあ
まり大きく影響されないように、細かい値に設定するこ
とが望ましい。

【００４４】こうして輝度値および座標値よりなるモデ
ル情報の符号化が終了すると、次のフェーズ［２］で予
測誤差の仮符号化が行われ、これによって予測誤差符号
化のための量子化ステップサイズが決定される。この場
合、まず記憶部１０１より多視点画像が１フレームずつ
読み出される。なお、各視点画像がそれぞれここでいう
フレームで構成されているとする。各フレームに対し
て、モデル蓄積部１０４に蓄えられた座標値と輝度値よ
りなるモデル情報から、予測信号生成部１０５において
予測信号が作成される。

【００４５】次に、図１の各部について詳細に説明す
る。図２に、多視点画像入力部１００の構成例を示す。
この例では、被写体２０１は回転台２０２に載せられ、
カメラ２０３により撮影される。カメラ２０３の光軸２
０６は回転台２０２の回転軸２０５と交差しており、回
転軸２０５と光軸２０６とは互いに直交しているものと
する。回転軸２０５と光軸２０６の位置関係は既知であ
り、その間の距離はＲであるとする。回転台２０２は制
御装置２０４により一定の角度（例えば３°）ずつステ
ップ的に回転するように制御され、その都度カメラ２０
３により画像が入力される。この例では、カメラ２０３
の一回転で視点の異なる１２０枚の画像が入力されるこ
とになる。次に、この場合の光線空間について説明す
る。

【００４６】前述した文献２に示されているように、円
筒記録の場合、点（Ｘ，Ｙ，Ｚ）を通る光線は、光線空
間上の次式により表現される座標に記録される。 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （３） Ｑ＝−Ｘｓｉｎθｔａｎφ＋Ｙ−Ｚｃｏｓθｔａｎφ （４） ここで今、従来技術の項でも説明したように、扱う情報
量、演算量が大きくなりすぎないようにＱ方向の光線の
変化は考えないものとし、また光線空間は回転軸２０５
に直交する平面（例えば、２０７）で定義してＹ方向に
積み上げて近似するものとする。この場合、φ方向の変
化によるオクルージョンなどは再現されない。

【００４７】図３は、平面２０７上での被写体２０１の
断面３０１とカメラ２０３の位置関係を表している。こ
こで表記上、回転台２０２の回転軸２０５を中心とする
極座標表現（ｒ，ψ）を図３に示すように導入すると、 Ｘ＝ｒｓｉｎψ （５） Ｚ＝ｒｃｏｓψ （６） であるから、式（３）より Ｐ＝ｒｃｏｓθｓｉｎψ−ｒｓｉｎθｃｏｓψ ＝ｒｓｉｎ（ψ−θ） （７） となる。従って、図４に示すように１２０枚の視点画像
の光線空間上における軌跡４１１は、 Ｐ＝Ｒｓｉｎ（ｎ＊３°−θ），ｎ＝０，…，１１９ （８） で表される。軌跡４１１の中の曲線４０１，４０２，４
０３，４０４，…は、それぞれ３°ずつ異なる角度から
撮影した視点画像を示している。すなわち、曲線４０
１，４０２，４０３，４０４，…は、それぞれ互いに３
°ずつ異なる角度から撮影した複数の視点画像における
特定のＹ位置に対応する一走査線分の画像を表してい
る。

【００４８】同様の性質は、被写体面上の点においても
当てはまり、被写体面を表す関数ｒ（ψ）を導入する
と、点（ｒ（ψ），ψ）から出る光線の軌跡４１２は、 Ｐ＝ｒ（ψ）ｓｉｎ（ψ−θ） （９） で表される。

【００４９】従って、被写体面上の任意の点（ｒ
（ψ），ψ）から出る光線の軌跡４１２の光線情報は、
軌跡４１１の中の各曲線４０１，４０２，４０３，４０
４，…と軌跡４１２との交点４０５，４０６，４０７，
４０８で与えられることになる。このことは、被写体面
上の点のみならず、（Ｘ，Ｙ，Ｚ）座標上の任意の点に
ついても言える。

【００５０】そこで、任意の視点の視点画像を再生する
場合には、その視点の位置情報によってその視点を通る
光線の軌跡が図４の光線空間上に決定され、その軌跡と
軌跡４１１の中の各曲線４０１，４０２，４０３，４０
４，…との交点における光線情報を採ってくることによ
り、任意の視点画像の画面の一つの走査線が再生され
る。従って、この例においては平面２０７に平行な各平
面で同様の操作を行い、得られた各走査線をＹ方向に積
み上げることによって、任意の視点画像の画面全体、つ
まり全てのＹについての走査線を再生できる。

【００５１】被写体面上の一点ｒ（ψ）から出る光線の
光線空間上の軌跡が前述の式（９）で表せるということ
は、被写体面が、光線の方向によって光線情報の値があ
まり変わらない完全拡散面に近い性質の面である場合
は、被写体面上の一点ｒ（ψ）に対応する多視点画像
は、その点の座標値ｒと代表輝度値でモデル化でき、ま
た被写体面が完全拡散面から遠い性質の場合は、座標値
ｒと、θの関数である輝度Ｌ（θ）でモデル化できるこ
とを示している。ここでいう輝度とは、ＴＶカメラでい
うと輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ、または３原
色信号Ｒ，Ｇ，Ｂなどに対応するものを称している点に
注意されたい。文献２では、この輝度は光線情報と称せ
られている。

【００５２】次に、図５を用いて予測信号の作成原理を
説明する。図５は、図４で説明したｐ−θ平面の図であ
り、前述したように多視点画像をＹ＝一定の断面で切っ
た一つの走査線に対応している。フレーム５０１は現在
符号化しようとしているフレーム（ある特定角度から被
写体を撮影することによって得られた視点画像）、フレ
ーム５０２はモデルを含むフレーム（代表輝度値として
使用された部分を含む特定角度の視点画像）、ブロック
５０６はモデルとして符号化され、復号化されたブロッ
クを示している。

【００５３】予測信号の作成は、入力される符号化対象
フレームに対して、ブロック５０６のようにモデルとし
て符号化された全てのブロック上の点から、その符号化
対象フレームに対して投影を行うことにより行われる。
ブロック５０６上の点５０７は、復号化された輝度値お
よび座標値ｒの値を有している。この点５０７も被写体
上の点より投影されてできているものであるから、点５
０７の輝度値は既に説明した原理より、点５０７の輝度
の源となっている被写体上の点の極座標表現を（ｒ，
ψ）とすれば、ｒｓｉｎ（ψ−θ）とフレーム５０２の
交点として表現される。これらのうち座標値ｒは情報と
して復号化されており、θの値はフレーム５０２の位置
により一意に決まるため、ψの値を求めればよい。

【００５４】点５０７を通るｒｓｉｎ（ψ−θ）の曲線
は、例えば図５の例では５０３，５０４の２通り存在す
るが、図６に示すようにｐ−θ平面に見える点として投
影されるのは、ｚ＝ｒｃｏｓ（ψ−θ）の値が大きい方
のψ１であることにより、一意に求められる。従って、
点５０７を通る光線の軌跡は５０３と確定する。このこ
とから、点５０７より投影されるフレーム５０１上の点
は曲線５０３，５０１の交点５０８となる。点５０８に
投影される光線の軌跡は他にも存在し得る（この例では
５０５）。一点に複数の光線が投影された場合、図６の
原理に従いｚの値が最も大きい光線が最終的に投影され
たことになる（図の例では５０３）。モデルとして符号
化された５０７のような全ての点からフレーム２０１へ
の投影を行うと、フレーム５０１は予測信号で密に埋ま
る。モデルはこれを満たすように選択され、符号化され
ている。このようにして、符号化対象の各フレーム毎に
被写体面上の各点のモデル情報によってそのフレームの
画像が予測される。

【００５５】また、別の方法としてモデル化の負荷を小
さくし、不完全なモデルを許容する方法も考えられる。
この場合は、モデルの全点を投影し終わっても予測信号
が形成されない点があり得ることになる。その場合、予
測信号は０であるとしてよい（方法１）。あるいは生成
された近隣の予測信号から内挿する（方法２）。また逆
に、本実施形態ではモデルの符号化の最小単位はブロッ
クになっているので、被写体面上のある点に対応する視
点画像上の点は被写体面上のその一つの点に対して、複
数回符号化される可能性があり得る。この場合、一点に
重複して投影されたときは、モデルからの投影における
規則として例えば非投影面に角度的に一番近い視点画像
上でモデルとして符号化された点からの投影を有効にす
るなどとして、符号化側と復号側で投影による予測信号
生成にミスマッチが起こらないようにすることが必要で
ある。

【００５６】このようにして生成された各フレームの予
測信号は、図１中の減算器１０６において対応する入力
フレームとブロック単位で差分が取られ、予測誤差が求
められる。この予測誤差はＤＣＴ回路１０７に送られ、
ブロック単位でＤＣＴが行われる。これにより得られた
ブロック単位のＤＣＴ係数は、記憶部１０８に蓄積され
ると共に、量子化回路（Ｑ）１０９によりブロック単位
で量子化される。ステップサイズ決定のための仮符号化
のステージでは、量子化は固定の２通りのステップサイ
ズＱ１，Ｑ２で行われ、それぞれについて符号量カウン
タ１１７で符号量が全てのフレームについて累積され
る。

【００５７】制御部１０２は、二通りのステップサイズ
に対してそれぞれ得られた符号量とトータルの目標符号
量から、モデルの符号量に費やした符号量およびヘッダ
等の付加情報に費やす符号量を差し引いた残りの符号量
に従って、図７に示すようにトータルの符号量が目標内
に入るためのステップサイズＱＥを符号量とステップサ
イズとの関係を表す曲線を内挿することによって推定
し、この値が次のステップである実際の予測誤差の符号
化に使われる。具体的には、 ｌｏｇ（符号量）＝αｌｏｇＱ＋β （１０） を仮定して、Ｑ１，Ｑ２による符号化結果からαとβを
推定し、目標符号量から逆にステップサイズＱＥを求め
る。ここで、各フレームの予測誤差情報はどれも同じ性
質を有しており、ＭＰＥＧのように再生フレーム間に性
質の違いはないので、どのフレームの予測誤差について
も同じステップサイズで量子化されるとの前提で、ステ
ップサイズの推定を行う。

【００５８】次の本符号化のフェーズ［３］では、予測
誤差情報の生成およびＤＣＴについては仮符号化のステ
ージで既に終了しているので、記憶部１０８に蓄えられ
ているＤＣＴ係数を読み出し、量子化回路１０９で量子
化する。量子化回路１０９での量子化は、前述した制御
部１０２で推定された最適なステップサイズＱＥによっ
て行われ、量子化結果が可変長符号化回路（ＶＬＣ）１
１０で可変長符号化されて多重化回路１１６に送られ
る。ここで、量子化回路１０９により量子化されたＤＣ
Ｔ係数情報が全て０のブロックについては無効と判定
し、そのブロックについては情報を全く送らないものと
する。本実施形態の予測は物理現象に直接対応したモデ
ルを使用しているので、モデル化が良好に行われる画像
については予測誤差がほとんど発生しないことが期待で
きる。従って、このように有効判定を行って無効なブロ
ックを送らないようにすることは、情報量を大幅に減ら
す上で非常に重要である。

【００５９】なお、図１では記憶装置１０１と１０８は
独立に書かれているが、これらは物理的に同じもので構
成してもよい。また、ＤＣＴ回路１０７と１１１、量子
化回路１０９と１１２、可変長符号化回路１１０と１１
３についても、モデルの符号化と予測誤差の符号化が同
時には行われない点を考えると、ハード的に共通化する
ことができる。

【００６０】次に、多重化回路１１６は可変長符号化回
路１１３からのモデル情報および対称性に関する情報の
符号化結果と、可変長符号化回路１１０からの予測誤差
の符号化結果とを多重化して、多視点画像の符号化スト
リームを出力する。この時の多重化フォーマットについ
ては後述する。

【００６１】次に、図８を用いて本発明の本質に関係す
る被写体の対称性と光線空間の性質について説明する。
ここで、対称性とは被写体の形状およびテキスチャの対
称性であり、後述するように形状の対称性のみを指すこ
ともある。図８は、図２においてＹ＝一定の平面２０７
で切ったときの被写体２０１の断面形状が表面のテキス
チャも含めて対称である場合の対応する光線空間の性質
を表しており、図中左側が被写体面の断面図を示し、右
側が対応する光線空間を示している。図８（ａ）は、回
転軸（原点）を中心とした軸対称の場合であり、面８０
２，８０３，８０４が被写体表面上の図中太線で示した
基準面８０１と形状、テキスチャ共に同一となってい
る。図８（ｂ）は、原点を通る平面を対称面とする面対
称（ｘ−ｚ平面内で見ると、ｘ軸を対称線とする線対
称）の場合であり、面８１０は図中太線で示した基準面
８０９を形状、テキスチャ共に鏡像反転した関係となっ
ている。ここで、基準面８０１，８０９は被写体面が対
称性を有する場合の共通の形状およびテキスチャを持つ
単位、すなわち対称構造単位である。

【００６２】図８（ａ）の場合、対応する光線空間は基
準面８０１をｐ＝０なる光線が通過するような方向から
撮影して生成した、図中太線で囲んだ光線空間情報８０
５がθ方向に繰り返されるような構造になる。

【００６３】一方、図８（ｂ）の場合、対応する光線空
間は同様に基準面８０９に対応する光線空間情報８１１
が、対称面に平行な方向θを軸対称の中心とした軸対称
の構造、つまりｐ−θ平面内で見るとθ軸上の点（図で
は原点）を対称中心として折り返した点対称構造の光線
空間となる。すなわち、基準面８０９に対応した図中太
線で示す光線空間情報の領域８１１を原点に対して点対
称にコピーしたものが領域８１２になっている。

【００６４】従って、図８（ａ）（ｂ）のいずれの場合
も、対称性の種類（軸対称、面対称等）が分かっていれ
ば、基準面８０１，８０９の情報のみを受け取ることに
よって、残りの部分は繰り返しのコピー、または軸対称
のコピーを行うのみで、光線空間全体を生成することが
できる。被写体の表面形状は一部が繰り返し、一部が面
対称というように、両者が混在することももちろん可能
である。

【００６５】次に、図９を用いて図１中のモデリング部
１０３について説明する。モデリング部１０３では、ま
ず図８を用いて説明したような被写体の対称性の判定を
行い、その判定結果に従って被写体面の所定の角度範囲
に対応した多視点画像を選択した後、被写体面上の各点
に対して、これら各点の座標値と、対称性の判定結果に
従って選択された被写体面の所定の角度範囲に対応する
多視点画像中でモデルとして使用される視点画像内の各
点に対応する輝度値とから構成されるモデル情報を生成
する。

【００６６】図９において、図１中の記憶部１０１に蓄
えられた多視点画像は、まず光線空間作成部９０１に入
力され、図４に示したような光線空間が各ｙの値に対し
て作成される。作成された各光線空間は、マッチング部
９０２において図８で説明したような対称性の判定がな
され、対称性の有無と対称性が有る場合の対称性の種類
と、この判定結果がカバーする被写体面の範囲（θの範
囲）が後述する手順によりチェックされ、このチェック
結果が対称性に関する情報として得られる。

【００６７】マッチング部９０２で得られた対称性に関
する情報は、図１中に示す予測信号生成部１０５でモデ
ル生成のためのデータとして参照される。また、この対
称性に関する情報は、可変長符号化回路１１３および多
重化回路１１６を経由して、後述する多視点画像復号化
装置に送られ、復号側の予測信号生成部においてもモデ
ル生成のためのデータとして参照される。

【００６８】また、マッチング部９０２で得られた対称
性に関する情報は符号化画像選択部９０４にも送られ、
この情報に基づき被写体面の所定の範囲に対応する多視
点画像が選択される。すなわち、符号化画像選択部９０
４では被写体が例えば図８に示したように対称性を有す
る場合は、基準面を形成するθの範囲（θ１）に対応す
る多視点画像が選択され、また対称性を有しない場合
は、対称性を有しない被写体面の範囲に対応する全ての
多視点画像が選択される。範囲θ１は被写体の断面形状
によるので、可能性としてはｙの値毎に全て異なること
がある。但し、後述するようにモデル情報はブロック符
号化されるので、実際は符号化単位であるマクロブロッ
クをライン状に並べたスライスを単位として符号化され
る視点画像は決定される。

【００６９】符号化画像選択部９０４で選択された範囲
θに対応する多視点画像は、図１中の蓄積部１０１より
再度読み出される。さらに、符号化画像選択部９０４に
より選択された範囲の視点画像についてモデル推定部９
０５でモデル推定が行われ、これにより得られたモデル
情報が図１中のＤＣＴ回路１１１以降よりなる符号化部
で符号化される。

【００７０】次に、図１０に示すフローチャートを用い
てマッチング部９０２における対称性の判定手順を説明
する。まず、ステップ１００１で光線空間の包絡線の形
状をチェックする。次に、このチェック結果に基づき、
ステップ１００２で対称となり得る候補を見出だし、対
称性の可能性を判断する。図８で説明したように、軸対
称の場合は包絡線も繰り返し、面対称の場合は包絡線も
軸対称となるので、ステップ１００２では対称となり得
る候補に対して、繰り返しや軸対称によって予測を試
み、その予測結果を実際と比較して予測誤差を評価する
ことにより、軸対称の可能性をチェックする。

【００７１】ステップ１００２で軸対称の可能性ありと
判断された場合は、さらにステップ１００３で視点画像
内部のテキスチャのチェックを行い、そのチェック結果
に基づきステップ１００４で軸対称か否かの判定を行
う。ステップ１００４で軸対称と判定されなかった場
合、ステップ１００２に戻って別の候補についての軸対
称可能性を調ベる。

【００７２】ステップ１００４で軸対称と判定される
と、ステップ１００５で基準面を再分割してその各分割
面内に更に繰り返しの構造がないかどうかをチェックす
る。繰り返しの構造がある場合、ステップ１００６で再
分割不可能さ判断されるまでステップ１００５の処理を
繰り返し、最小限の基準面が得られるまで分割する。こ
の際、基準面を形成するθの範囲θ１（例えばθ１＝０
°〜９０°）と、対称性を利用したコピーによりカバー
されるθの範囲θ２（例えばθ２＝９０°〜２７０°）
の情報が保存される。こうして保存されたθ１，θ２の
情報のうち、θ１の情報は図９中の符号化画像選択部９
０４に送られ、θ１の範囲の視点画像の選択に用いられ
る。

【００７３】次に、ステップ１００７により被写体面の
全角度範囲（３６０°）が軸対称でカバーされたかどう
かを判断し、３６０°カバーされた場合は全体が軸対称
であるという判定結果を出力し（１００８）、対称性の
判定は終了する。また、ステップ１００７で３６０°カ
バーされなかった場合は、ステップ１００２に戻って対
称性の判定を繰り返す。

【００７４】ここで、軸対称の候補がなくなった場合に
は、次にステップ１００９の面対称の判定に入る。ステ
ップ１００９では、ステップ１００１で得られた包絡線
の形状から対称となる候補について面対称の可能性が判
定され、可能性があると判断されるとステップ１０１０
で視点画像内部のテキスチャのチェックを行う。このチ
ェック結果に基づき、ステップ１０１１で面対称か否か
の判定を行う。この際にも同様に、基準面を形成するθ
の範囲θ１と対称性を利用したコピーによりカバーされ
るθの範囲θ２の情報が保存される。こうして保存され
たθ１，θ２の情報のうち、θ１の情報は図９中の符号
化画像選択部９０４に送られ、θ１の範囲の視点画像の
選択に用いられる。

【００７５】ステップ１０１１で面対称と判定されれ
ば、被写体面の３６０°の範囲がカバーされたかどうか
の判定（ステップ１０１２）に入る。３６０°カバーさ
れていれば、さらにステップ１０１３で軸対称の有無が
判定され、この判定結果に応じて軸対称でなければ面対
称のみ（１０１４）、軸対称であれば軸対称と面対称の
混在（１０１５）が判定結果として得られる。

【００７６】ステップ１０１２で３６０°カバーされて
いなければ、ステップ１００９に戻って別の候補につい
て面対称の可能性をチェックする。面対称の可能性をチ
ェックすべき候補がなくなったら、ステップ１０１６に
おいて今までの判定結果に基づき、判定結果は軸対称
（１０１７）／面対称（１０１９）／混在（１０１５）
／対称性無し（１０１８）に分けられる。

【００７７】マッチング部９０２では、インタラクティ
ブ操作部９０３を介して入力される人間のチェックによ
る情報を参照することもできる。このように人手を介す
ることによってマッチングの演算を減らすことができ、
また完全には対称ではないが局所的に非対称な部分があ
って残りは完全に対称であるような場合（例えば、被写
体として自動車を考えた場合、ハンドルとマフラーの部
分を除けば完全に左右対称）などにも容易に対処できる
ようになる。

【００７８】図１１（ａ）〜（ｇ）に、図１中の多重化
回路１１６における多重化フォーマットの例を示す。こ
の多重化フォーマットは、ＴＶ会議用のＩＴＵ−Ｔ勧告
Ｈ．２６１の多重化フォーマットの記述方法に準じて記
述されている。本実施形態では、多重化フォーマットは
可能な限りＭＰＥＧ等の既存の符号化に似せたフォーマ
ットとなるようにした。まず、フォーマットは階層的な
構造とした。各レイヤの情報にはスタートコード、エン
ドコードなどレイヤ固有の情報を含むヘッダおよびトレ
イラが存在する。最上位レイヤは、１セットの多視点画
像で表現される図１１（ａ）のオブジェクトレイヤであ
る。

【００７９】オブジェクトレイヤは、次に図１１（ｂ）
のモデルレイヤと図１１（ｃ）の誤差レイヤに分れる。
モデルレイヤのヘッダは輝度情報を量子化するステップ
サイズ（ＱＵＡＮＴ）、ｒを量子化するステップサイズ
（ＱＵＡＮＴ＿ｒ）を含み、誤差レイヤのヘッダは誤差
情報を量子化するステップサイズ（ＱＵＡＮＴ）を含
む。再生側では、モデルレイヤはどのような視点からの
画像を再生する場合でも必ず全てが復号の初期のステー
ジでアクセスされるのに対して、誤差レイヤは視点によ
ってアクセスされる部分が変わるので、モデルレイヤは
図に示すようにオブジェクトレイヤの情報のうち前の方
に固めて配置され、その後に誤差レイヤの情報が続くよ
うにするのが良い。モデル全体がｙの値によらず共通の
対称性を有している場合には、モデルレイヤのヘッダに
は、モデルについての対称性の情報を記述したシンメト
リテーブル（Ｓ＿Ｔａｂｌｅ）が含まれる。これは、図
９中のマッチング部９０２で得られた情報を基に、図１
中の可変長符号化回路１１３で符号化される。

【００８０】図１１（ｂ）（ｃ）に示したモデルレイヤ
と誤差レイヤの内容は共通の構造を持つ。まず、モデル
レイヤと誤差レイヤの直ぐ下のレイヤとして図１１
（ｄ）に示すフレームレイヤが来る。フレームレイヤの
へッダはフレーム番号（ＰＮ）、そのフレームが撮影さ
れた条件である、被写体の中心軸とカメラとの距離Ｒお
よびカメラの光軸と交わる被写体面の角度座標ψの情報
を含む。Ｒ、ψの情報は、図２で説明したように固定距
離、固定回転角での撮影である場合に限定すれば、オブ
ジェクトレイヤのヘッダに入っていてもよいが、より一
般的にはフレーム毎に異なっても問題なく、本実施形態
ではフレームレイヤに存在するものとする。また、この
情報は論理的にはモデルまたは誤差のいずれか一方に入
っていれば再生可能であるが、アクセスを簡単にする都
合上、ここでは両方に入っているものとする。フレーム
レイヤの下は図１１（ｆ）に示すＭＢ（マクロブロッ
ク）レイヤであるが、ＭＰＥＧのようにフレームレイヤ
とＭＢレイヤの間に図１１（ｅ）に示すスライスレイヤ
が入ってもよい。スライスレイヤは、ＳＳＣ（Ｓｌｉｃ
ｅＳｔａｒｔ Ｃｏｄｅ）、ＳＮ（Ｓｌｉｃｅ Ｎｕｍ
ｂｅｒ）およびそのスライスに属する複数のマクロブロ
ックレイヤから構成されている。スライスレイヤが入る
とスライス毎へのアクセスがしやすくなり、復号処理が
楽になると共にオブジェクトを軸に直交する面で切った
一部のみの再生がしやすくなる。また、ｙの値によって
対称性の性質が変化する場合は、スライスレイヤにシン
メトリテーブル（Ｓ＿Ｔａｂｌｅ）を含め、スライス単
位で対称性の情報を指定することができる。

【００８１】マクロブロックレイヤの下は図１１（ｇ）
に示すブロックレイヤであり、この中はＤＣＴ係数（Ｔ
ｃｏｅｆｆ）とＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）よ
りなる。モデルのマクロブロックは、図１２に示すよう
にＹ（輝度）、ｒ、ＣｒおよびＣｂ（色差）のブロック
よりなる。また、誤差のマクロブロックは図１２からｒ
のブロックを取り除いたＹ（輝度）、ＣｒおよびＣｂ
（色差）のブロックよりなる。スライス、マクロブロッ
ク共にへッダにはフレーム内でのアドレス情報を含み
（ＳＮおよびＭＢＡ）、情報の無いスライス、マクロブ
ロックは送られない（スキップ）。マクロブロックレイ
ヤのパリティ（ＰＡＲＩＴＹ）は、図５の説明で前述し
たψを指示するためのパリティ（ｚ：＋ｏｒ−を示す）
であり、モデルレイヤについてのみ送られる。ＣＢＰは
マクロブロック内の情報を含むブロックのパターンを示
す情報であり、誤差レイヤのマクロブロックについての
み送られる。

【００８２】図１１（ｈ）にシンメトリテーブル（Ｓ＿
Ｔａｂｌｅ）の構成例を示す。シンメトリテーブルはユ
ニークワードであるスタートコード（ＳＴＳＣ）で始ま
る。続く可変長のマクロブロックラインアドレス（ＭＢ
ＬＡ）は、後続の対称性に関する情報がマクロブロック
ラインのどの範囲に適用されるかを前との差分の値とし
て示す。マクロブロックラインは０から始まるとして、
最初のデータ組は０〜ＭＢＬＡ、次のデータ組は前のＭ
ＢＬＡ＋１〜次のＭＢＬＡという具合に、適用される範
囲の下端のマクロブロックライン番号を示すものであ
る。スライスレイヤにＳ＿Ｔａｂｌｅがある場合には、
ＭＢＬＡは不要である。

【００８３】ＭＢＬＡに続いて、対称性に関する情報と
してＳＹＭ、ＯｒＳ、ＲＡＮＧＥ、ＣｐＳ、ＲＡＮＧＥ
が順次配置される。まず、ＳＹＭは対称性の種類を示す
情報であり、これは後でも説明するように、対称性無し
／軸対称／面対称＝“０”／“１０”／“１１”のよう
な符号である。次のＯｒＳとＲＡＮＧＥは、基準面とし
て選択された範囲を示す情報であり、この範囲のスター
ト位置の角度と角度範囲（θ１）を示す。次のＣｐＳと
ＲＡＮＧＥは、コピー先の範囲を示す情報であり、この
範囲のスタート位置の角度と角度範囲（θ２）を示す。

【００８４】例えばＳＹＭ＝“１０”、ＯｒＳ＝
“０”、ＲＡＮＧＥ＝“９０”、ＣｐＳ＝“９０”、Ｒ
ＡＮＧＥ＝“１８０”であるとすれば、視点画像は０°
から９０°までは基準面として送られており、この範囲
の光線空間を９０°から２７０°まで軸対称としてコピ
ーすることにより光線空間を埋められることを示してい
る。但し、対称性無しの場合はＯｒＳとＲＡＮＧＥでそ
の範囲を示し、ＣｐＳとＲＡＮＧＥは無とする。また、
対称性を有する被写体面が複数混在する場合には、この
組を存在するだけ記述すればよい。ＭＢＬＡ以降のルー
プは、ＭＢＬＡが最後のマクロブロックアドレスを指す
まで続く。

【００８５】上述した図１１の多重化フォーマットの形
式で作成された多視点画像ストリームは、コンピュータ
読み取り可能な記録媒体（例えば光ディスク）に蓄積さ
れ、この記録媒体を介して再生側に伝送されるか、また
は伝送路を介して再生側に伝送される。

【００８６】（多視点画像復号化装置について）次に、
図１３を用いて図１に示した多視点画像符号化装置に対
応する多視点画像復号化装置について説明する。この復
号化装置は視点を示す情報を入力し、その視点からの画
像を再生する復号化装置である。

【００８７】まず、図１の多視点画像符号化装置で生成
された符号化ストリームが記録媒体から読み出され、ま
たは伝送路を介して受信された後、分離回路１３０１に
入力される。この分離回路１３０１により、符号化スト
リーム内のオブジェクトレイヤの情報はモデルレイヤの
情報（モデル情報）と誤差レイヤの情報（予測誤差の情
報）とに分離される。モデル情報は可変長復号回路（Ｖ
ＬＤ）１３０７で可変長復号され、そのうちのＤＣＴ係
数情報は逆量子化回路（Ｑ^-1）１３０８で逆量子化、さ
らに逆ＤＣＴ回路（ＩＤＣＴ）１００９で逆ＤＣＴされ
てフレーム番号やＲ，ψの値などのようなヘッダに含ま
れていた付随する情報とともにモデル蓄積部１３１０に
蓄積される。また、予測誤差の情報は誤差記憶部１３０
３に蓄積される。これで再生の準備が整った状態にな
る。

【００８８】次に、再生の次のステップとして、視点入
力部１３００より再生すべき視点の位置を表す情報が入
力される。視点入力部１３００の例としては、ＶＲＭＬ
ブラウザで実現されている、表示画面上に仮想的なレバ
ーやハンドルを表示し、これをマウスなどのポインティ
ング装置で仮想的に操作することによって視点の位置を
入力するシステムなどが挙げられる。この入力によっ
て、対応する視点の画像の生成が開始される。この様子
を図１４を参照しつつ説明する。

【００８９】まず、視点入力部１３００は視点に対応す
るパラメータ（視点座標）をアドレス計算回路１３０２
に送る。アドレス計算回路１３０２は、視点座標と前述
の式（９）からｐ−θ平面上で再生すべき画面を表す曲
線１４０１を求め、更にモデル蓄積部１３１０からのモ
デル情報を参照して被写体面の各点の座標毎にそれに対
応する光線の軌跡を求める。図１４においては、被写体
面上のある特定の一点に対応する光線の軌跡１４０２だ
けが示されている。

【００９０】次いで、アドレス計算回路１３０２は、曲
線１４０１と、軌跡１４０２のような被写体面上の各点
に対応する光線の軌跡との各交点について、その交点位
置に対応する画像情報を再生する場合に、複数の視点画
像の中のどの視点画像のどの画素位置を参照すべきかを
計算によって求める。この場合、交点位置から一番近い
視点画像上の画素位置が参照すべき画素位置として決定
される。例えば、曲線１４０１上における点１４０３に
ついては、それに一番近い視点画像１４０５上の画素位
置１４０４が参照画素位置となる。この実施形態では、
指定された視点の画像を再生する場合に、参照すべき画
素位置（例えば、１４０４）上に完全にその位置に対応
する被写体面上の点の画像が復号される。これは多視点
画像としてある程度多くの視点からの画像を用いる場
合、受信側で任意視点の画像を再生する際に、対応する
視線方向に近い光線を選択してこれで代用することに相
当する。

【００９１】次に、予測信号生成部１３１１は、計算さ
れた参照画素位置の情報に基づいてモデル情報の各点か
ら再生すべき画面１４０１上の１４０３に相当する各点
に対して投影を行い、１４０４に相当する位置に予測信
号を生成する。

【００９２】この予測信号生成動作について、図１５お
よび図１６を用いて少し詳しく説明する。符号化装置に
おいても説明したように、この操作はスライス単位で行
われる。図１５は予測信号生成部１３１１の構成例を示
すブロック図、図１６（ａ）はモデル情報として予測信
号生成部１３１１がモデル蓄積部１３１０より受け取っ
た光線空間データである。

【００９３】モデル蓄積部１３１０に蓄積されているモ
デル情報は、符号化装置で説明した被写体の基準面につ
いてのデータ１６００のみである。そこで、まず図１５
中のモデル配置部１５０１でデータ１６００を光線空間
に配置する。実際にモデルとして符号化されているの
は、データ１６００に含まれる視点画像内で後述する方
法により選ばれたイントラ符号化されたブロック１６０
１である。次に、モデルコピー部１５０２によりこの部
分が光線空間全体に対称性の規則に従ってコピーされ
る。対称性の情報（シンメトリテーブルＳ＿Ｔａｂｌ
ｅ）は前述したようにモデルデータ内に含まれ、図１３
中の可変長復号回路１３０７で可変長復号されてモデル
コピー部１５０２に送られてきている。図１６（ｂ）
は、このコピーの様子を示しており、θ方向に繰り返し
コピーされる軸対称の場合の例である。この際に、Ｓ＿
Ｔａｂｌｅ内の基準面としてとられた範囲とコピー先の
範囲を参照してコピーを行う。

【００９４】最後に、モデル投影部１５０３においてコ
ピーも含めた図のモデルの実体全体１６０２から、図１
４で説明した方法で表示すべき視点画像の位置に投影が
行われて予測信号が形成される。説明は省略したが、符
号化装置における図１中の予測信号生成部１０５の動作
も、ここで説明したものと全く同じである。

【００９５】この予測信号生成処理と並行して、アドレ
ス計算回路１３０２は計算された参照画素位置の情報に
基づいて、フレームメモリ１３１３に対して指定された
視点画像を生成すべくアドレスを発生する。このとき、
誤差蓄積部１３０３に対しては、対応する参照画素をア
ドレス指定するのに必要な、誤差情報を含むフレーム番
号、マクロブロック番号、画素番号を送る。このアドレ
スに対応するマクロブロックが誤差蓄積部１３０３から
読み出されて可変長復号回路（ＶＬＤ）１３０４で可変
長復号され、さらに逆量子化回路（Ｑ^-1）１３０５で逆
量子化、逆ＤＣＴ回路（ＩＤＣＴ）１３０６で逆ＤＣＴ
される。

【００９６】こうして作成された予測信号と逆ＤＣＴさ
れた予測誤差信号が加算器１３１２で加算され復号され
た後、フレームメモリ１３１３の対応する位置に書き込
まれる。ここで、予測信号は画素毎に、予測誤差はブロ
ック単位でそれぞれ生成されるが、参照すべき画素位置
は近い画素では同じ参照画面に属している可能性が高い
ため、画素の数だけ上述した処理を繰り返すのではな
く、一回の予測誤差ブロックの復号でそこに使用できる
画素が複数含まれている場合は、それらの画素は全てま
とめて復号される。このようにして、参照すべき画素位
置毎に、モデル情報から生成された予測信号と復号化さ
れた予測誤差信号とが加算されてフレームメモリ１３１
３の対応する位置に書き込まれることにより、指定され
た視点の画像が作成される。

【００９７】なお、上記説明では再生すべき視点に対応
する図１４の曲線１４０１上における各点につき一番近
い視点画像から参照すべき画素位置を求めてそれを参照
するようにしたが、別の例として曲面の各点（例えば、
１４０３）を挟む２つの視点画像（１４０５，１４０
６）上にそれぞれ参照すべき画素位置（１４０４，１４
０７）を求め、それら画素位置についてそれぞれそれを
参照して画素を生成し、それら２つの画素値から内挿に
よって再生すべき画素値を決定するようにしてもよい。

【００９８】以上、本発明の一実施形態に係る多視点画
像符号化／復号化装置について説明したが、本発明は次
のように種々変形して実施することが可能である。

【００９９】（１）上記実施形態では、被写体の対称性
を利用してモデル情報の符号量を削減したが、予測誤差
も含めた全体について同じ考え方により符号量を削減す
ることも可能である。この場合は、モデル情報のみでな
く、予測誤差についても対称性の判定結果に従って被写
体面の選択された範囲に対応する予測誤差のみを符号化
する。そして、復号側では予測誤差を予測信号に加算す
る完全な復号を行った後に、被写体の対称性に基づく光
線空間上でのコピーを行えばよい。

【０１００】（２）上記実施形態では、被写体の対称性
の判定結果に従って対称と判定された範囲の視点画像に
ついてのみモデル化を行ってモデル情報を削減し、この
削減したモデル情報を符号化するものとしたが、前述し
た自動車の例に見られるように、被写体の形状またはテ
キスチャあるいはその両方に局所的に非対称の部分が存
在し、残りは完全に対称であるような場合にも、本発明
は対応することができる。

【０１０１】この場合、被写体に局所的に非対称の部分
があっても、対称性があると仮定して上記実施形態と同
様にモデル化を行ってモデル情報を削減し、削減したモ
デル情報を符号化する。そして、このモデル化に際して
の局所的な非対称に起因するモデル化誤差を求め、この
モデル化誤差の情報をモデル化によって得られモデル情
報に加算した最終的なモデル情報から、多視点画像を構
成する各視点画像を予測して予測信号を生成し、この予
測信号と各視点画像との予測誤差を符号化するようにす
る。

【０１０２】一方、復号側では対称性によるコピーでモ
デルを情報を再生した後、モデル化誤差を加算して最終
的なモデル情報を得るという処理を行う。ここで、モデ
ル化誤差はモデルに対してのみ送られるのに対して、予
測誤差は各視点画像について送られるので、局所的に被
写体の形状やテキスチャが非対称の場合でも、このよう
にした方が送るべき情報量は格段に少なくなる。

【０１０３】また、人手のみにより被写体の形状および
テキスチャの対称性を判別することが可能である場合、
多視点画像入力部１００の段階で入力される視点画像自
体を削減してしまうことも可能である。

【０１０４】さらに、上記実施形態では被写体の対称性
は形状とテキスチャの両方に必要とされているが、形状
のみ対称でテキスチャは対称でないような場合は、モデ
ル情報のうち座標値ｒにのみ対称性に基づく予測を適用
することが可能であり、そのようなバリエーションも考
えられる。その場合、予測される座標値ｒは予測誤差と
して送られるか、あるいは全く送られない。

【０１０５】（多視点画像符号化方法について）次に、
図１７および図１８を参照して本発明に係る多視点画像
符号化方法の一実施形態を説明する。この符号化方法は
図１で説明した多視点画像符号化装置の符号化処理と同
じ操作をコンピュータプログラムを用いて実行するもの
であり、説明は大部分は図１の符号化装置の説明と重複
するため、詳細な説明は省略し、必要最低限の説明にと
どめる。

【０１０６】ここでは、例として多視点画像に含まれる
視点画像の枚数はｎmax （例えば１２０枚）として説明
する。まず、ステップ１７００で、符号化しようとする
オブジェクトの目標総符号量を設定し、この値に基づき
モデル情報（座標値ｒと輝度値）を量子化するためのス
テップサイズＱｒ（モデルレイヤのＱＵＡＮＴ＿ｒとし
て符号化される）、ＱＬ（モデルレイヤのＱＵＡＮＴと
して符号化される）が決定される。次に、ステップ１７
０１で多視点画像が入力される。多視点画像は記憶部に
蓄えられる。

【０１０７】次に、ステップ１７０２でモデル推定が行
われる。ステップ１７０２では、図１におけるモデル化
部１０３で行われるのと同様に、被写体面上の各点の座
標値と輝度値の推定が行われる。

【０１０８】次に、ステップ１７０３でモデル情報の符
号化が行われる。モデル情報の符号化は、図１で説明し
たＤＣＴ回路１１１、量子化回路１１２で行われる符号
化と全く同じであり、それらのハードウェアを利用する
ことによって、あるいはソフトウェアのみによって行わ
れる。

【０１０９】次に、ステップ１７０４においてステップ
１７０３で符号化されたモデル情報が復号され、モデル
情報として蓄積される。これと並行して、ステップ１７
０５においてステップ１７０３で符号化されたモデル情
報を可変長符号化し、一時記憶部に蓄える。

【０１１０】次に、各視点画像の仮符号化のフェーズに
入る。このフェーズでは、まずステップ１７０６でｎと
ＳＵＭ１，ＳＵＭ２を０にセットし、符号化のループが
開始する。ステップ１７０８で画像ｎが読み出され、ス
テップ１７０９で画像ｎが符号化される。符号化のステ
ップについては後述するが、この中の量子化ステップで
は予め決められた量子化ステップサイズＱ１およびＱ２
を使って量子化する。ＤＣＴまでのステップは仮符号化
後の本符号化でも同じなので、ここまでの結果を記憶部
に蓄積する。この場合、先に蓄積した画像ｎは不要とな
るので、ここに上書きしてよい。

【０１１１】次に、ステップ１７１０でＳＵＭ１，ＳＵ
Ｍ２にそれぞれＱ１，Ｑ２で符号化したときに発生した
符号量Ｎｏｂ１，Ｎｏｂ２を加算する。このループを画
像の枚数分繰り返した後、ステップ１７１２でＳＵＭ
１，ＳＵＭ２の値を使って予測誤差を本符号化するため
のステップサイズＱＥ（誤差レイヤのＱＵＡＮＴとして
符号化される）を決定する。決定の方法については、既
に図１の符号化装置の説明で述べた通りである。

【０１１２】続いて、ステップ１７１３以降の本符号化
のループに入る。本符号化では、まずステップ１７１５
で画像ｎに対応するＤＣＴ処理までなされた結果を順次
読み出す。次に、ステップ１７１６においてステップ１
７１５で読み出されたデータを符号化する。この場合の
符号化は図１で説明した量子化回路１０９での量子化お
よび可変長符号化回路１１０での可変長符号化と同じで
おり、これらのハードウェアを利用することによって、
あるいはソフトウェアのみによって符号化が行われる。
量子化においては、ステップ１７１２で決定した量子化
ステップサイズＱＥを使用する。所定の枚数の画像の符
号化処理が終了したら、最後にステップ１７１８におい
てステップ１７０５で得られたモデル情報の後に誤差の
情報を多重化して、一つのオブジェクトの全体の符号化
処理は終了する。

【０１１３】次に、図１９を使って図１７におけるステ
ップ１７０２のモデリング処理の詳細手順について説明
する。モデリング処理の手順は、図１の符号化装置のモ
デリング部１０３で説明した手順と全く同じである。ま
ず、ステップ１９０１で多視点画像を入力し、光線空間
を各ｙの値に対して作成する。次に、ステップ１９０２
で各光線空間が図８で説明したような対称性の構造を持
たないかどうかをマッチングによりチェックする。この
とき、図１の例で説明したように人手を介してインタラ
クティブにマッチングする手法を取り入れてもよい。対
称性のチェック結果は、後のステップで使われるため保
存される。次に、ステップ１９０２の対称性のチェック
結果に基づき、ステップ１９０３で多視点画像の中から
符号化されるべき視点画像を選択する。次に、この選択
された視点画像からステップ１９０４でモデル推定を行
う。

【０１１４】次に、図２０を用いて図１７におけるステ
ップ１７０９の符号化処理の詳細な手順につき説明す
る。まず、ステップ２００１で画面ｎに対する予測信号
をモデル情報から計算によって求める。この求め方は、
既に図１で説明した方法と全く同じである。次に、ステ
ップ２００２からの画面内のマクロブロックの処理ルー
プに入る。まず、ステップ２００４でｍｂ番目のマクロ
ブロックのデータを読み出して対応する部分の予測信号
との差分をとる。次に、ステップ２００５，２００６，
２００８によりそれぞれＤＣＴ、量子化、可変長符号化
を施す。これらの処理は図１で説明したＤＣＴ回路１０
８、量子化回路１０９、可変長符号化回路１１０で行わ
れるのと全く同じ処理であり、これらのハードウェアを
利用することによって、あるいはソフトウェアのみによ
って行われる。なお、ＤＣＴ後のデータは図１８中のス
テップ１７１５で読み出すために蓄積される。量子化で
は先に述べたようにステップサイズＱ１，Ｑ２が用いら
れる。また、ステップ２００７はここではスルーであ
る。１画面のマクロブロックを全て処理し終わったら
（ｍｂ＝ｍｂlast）、その画面の処理は終了する。

【０１１５】図１８におけるステップ１７１６の符号化
処理は、図２０の手順からステップ２００１，２００
４，２００５を除き、ステップ２００６をＤＣＴ処理さ
れたデータを読み込んだ後に量子化する処理とする。こ
の場合の量子化ステップサイズは、既に述べたようにＱ
Ｅである。

【０１１６】次に、ステップ２００７でそのマクロブロ
ックの有効判定を行い、有効なマクロブロックのみをス
テップ２００８で可変長符号化する。

【０１１７】（多視点画像復号化方法について）次に、
図２１および図２２を参照して本発明に係る多視点画像
復号化方法の処理手順を説明する。この復号化方法は、
図１３で説明した復号化装置と同じ操作をコンピュータ
プログラムを用いて行う方法であり、説明の大部分は復
号化装置の説明と重複するため、詳細な説明は省略し、
必要最低限の説明にとどめる。

【０１１８】まず、ステップ２１００で符号化されたデ
ータを入力する。入力されたデータは既に説明したよう
にモデル情報と予測誤差の情報が多重されているので、
これらの情報をステップ２１０１で分離する。次に、分
離された情報のうちまずモデル情報をステップ２１０２
で復号し、記憶部に蓄える。復号は図１３で説明した可
変長復号回路１３０７、逆量子化回路１３０８、逆ＤＣ
Ｔ回路１３０９で行われる処理と全く同じであり、これ
らのハードウェアを利用することによって、あるいはソ
フトウェアのみによって行われる。

【０１１９】次に、ステップ２１０３で視点の位置情報
を入力する。以下、このループ内ではこの視点から見た
画像作成の処理が行われる。

【０１２０】まず、図１４で説明した再生画面のｐ−θ
面上での曲線１４０１を計算する。この曲線はＹの値に
よらず共通である。次にスライスのループに入る。この
例では、１マクロブロックラインを１スライスとして符
号化したものとし、復号はスライス毎に行うとして説明
する。

【０１２１】画面１４０１の再生においては、被写体の
形状に応じて異なったｐに相当する部分が参照画素とし
て使用されるが、Ｙ座標は同じ値が参照されるので、マ
クロブロックライン（＝スライス）毎の処理は、この性
質に適している。

【０１２２】次に、ステップ２１０７で再生画像の各点
（例えば、１４０３）に対する参照画素位置（例えば、
１４０４）を計算する。

【０１２３】次に、ステップ２１０８で参照画素位置に
モデルから投影を行って予測信号を作成する。これらの
手順は、図１４を用いて既に説明した通りである。

【０１２４】次に、ステップ２１０９で再生画像の画素
毎にステップ２１０６で得られた情報から参照すべき画
像内のマクロブロックアドレスを計算する。この時点で
１つのマクロブロックを復号することによって、再生画
像の何点が同時に再生可能かが認識される。この結果、
参照すべきマクロブロック数ｍｂmax が設定される。こ
こからｍｂmax のループが始まる。

【０１２５】まず、ステップ２１１２で誤差が読み出さ
れ、ステップ２１１３で誤差が復号される。誤差の復号
は、図１４で説明した可変長復号回路１４０４、逆量子
化回路１４０５、逆ＤＣＴ回路１４０６で行われる処理
と全く同じであり、これらのハードウェアを利用するこ
とによって、あるいはソフトウェアのみによって行われ
る。

【０１２６】次に、ステップ２１０４で予測信号と予測
誤差が加算されて画像が再生され、ステップ２１１５で
フレームメモリの対応するアドレスに書き込まれる。以
上の処理をｍｂmax 個の全てのマクロブロックに対して
行って、１スライスの処理を終了する。全スライスの処
理を終了して、入力された視点に対応する再生画像の生
成処理は終了し、別の視点の入力が新たに行われれば、
また同じ処理を繰り返す。

【０１２７】次に、図１の符号化装置および図１７〜図
１８の符号化方法で用いられるモデル関係の処理の一例
を説明する。

【０１２８】図２４は、モデル化の手順を示したフロー
チャートである。まず、ステップ２４００で各視点から
の画像に対してテキスチャとして特徴のある被写体上の
点を抽出する。この方法としては、例えば点を含む所定
の大きさ（あまり大きくない方が望ましいと思われる。
例えば５＊５画素など）のブロックについて水平方向の
エッジ検出を行い、しきい値以上の大きさのエッジが得
られたブロックを特徴点として抽出する。

【０１２９】ステップ２４０１では、得られた複数の特
徴点に対して処理する順序付けを行う。処理はｐ−θ平
面でｐ＝０に近いところにある特徴点から処理するもの
とする。

【０１３０】次に、ステップ２４０２から特徴点の数の
処理ループに入る。各点に対応するｒの値の推定はステ
ップ２４０６で上述したブロックでの動きベクトル（Ｍ
Ｖ）検出を行うことにより行われるが、その際のＭＶの
探索範囲がステップ２４０５で制限される。図２５を用
いて、この探索範囲の制限を行う原理を説明する。

【０１３１】今、注目している点に対応する光線のｐ−
θ平面上での軌跡を２５０１とすると、図２５において
ブロック２５０２についてＭＶ検出を行おうとすると
き、軌跡２５０１上でθ＝ψ±９０°に対応する点は、
図２６に示すようにその点が見えていればｒの値が直接
見えている視点である。従って、ｒの値はこの位置での
包絡線のうち小さい方よりも必ず小さい値となるので、
この値を一画面間隔に換算したＭＶをＭＶ探索すべき範
囲の最大値とする。このように多視点画像から得られる
性質を利用して、必要のない計算を避けることができ
る。

【０１３２】次に、ステップ２４０６で隣り合った画像
同士でのＭＶ探索を行う。これは図２７に示すように、
まず特徴点ｋから隣の画像に対して探索を行って得られ
たブロックから更に隣の画像に対して探索を行うという
ように連続して行う。この場合、全て探索の範囲はステ
ップ２４０５で得られた値が上限である。また、ＭＶ探
索で予測誤差を比較する際に誤差の差があまり無い場合
には、特徴点として選ばれた点が優先的に選ばれるよう
に判定基準を設定する。このステップ２４０６で特徴点
ｋと対応付けられた他の特徴点ｋ＋αについては、スキ
ップフラグを仮に立て、後述のステップでこの点ｋ＋α
についてｒの値が確定した時点でスキップフラグを確定
する。

【０１３３】ステップ２４０４の判定条件では、ステッ
プフラグの立っている特徴点は既にｒが確定した点に対
応するものとして、以降の処理をスキップする。次に、
ステップ２４０７において所定の枚数以上の画像間で共
通のｒの値でつじつまが合うようなＭＶが求められたか
を判断する。ここでＹＥＳであれば、その点に対してエ
ッジに対応する画素に対してｒの値がフィットするかを
ステップ２４０８で確認し、ｒの細かい精度に対して微
調節を行った後に、ステップ２４０９でその点に対して
ｒの値を確定し、対応するψの値と組にして記憶する。

【０１３４】以上の操作を特徴点の数だけ行うと、特徴
的なテキスチャを持つ点についてｒの値が決まるので、
ステップ２４１１でｒが決まった点の間の面上の点のｒ
を求める。この面上の点はテキスチャが無いので、ｒが
決まった点の間を直線近似したｒの値を初期近似として
再構成しながら、各視点の画像と比較してｒの値を調整
して確定する。

【０１３５】最後に、ステップ２４１２で得られたモデ
ルの推定値から全体の光線空間を再構成し比較して微調
整を行い、モデルの推定を終了する。

【０１３６】本実施形態においては、モデルの推定があ
る程度間違っていてもこれを用いて予測を行った後に誤
差を送るので、復号再生側で再構成される光線空間は実
際と大きく違ったものになることはない。

【０１３７】また、モデルの推定としてより確実に形状
情報を得られる別の方法としては、被写体の形状を入力
された多視点画像から推定するのではなく３Ｄディジタ
イザやレンジファインダといった３Ｄ計測機器で直接形
状情報を取得する方法を用いてもよい。この場合、入力
のフェーズでの手間はかかるが予測が非常によくなるこ
とが期待できる。

【０１３８】次に、上記により得られた被写体面上の各
点の座標の情報（＝被写体の形状の情報）から、モデル
情報をどの視点画像の情報として送るかを決定する方法
につき説明する。

【０１３９】図２８は、上記の形状の推定により得られ
た被写体断面を表した図である。断面上は通常、離散的
にサンプルされた点に対して得られた座標の形で表され
る。図で点Ａと点Ｂで挟まれる面を考えるとし、これら
の点Ａ，Ｂは極座標に変換すると、それぞれ（ｒ１，ψ
１）、（ｒ２，ψ２）で表され、そのなす角度はΔψで
あるとする。このとき、この面の法線方向を平均的に近
似する角度θＡＢは、ｒ１ｃｏｓθＡＢ＝ｒ２ｃｏｓ
（θＡＢ−Δψ）を解くことによって得られる。

【０１４０】図２９は、ｐ−θ平面で点Ａおよび点Ｂに
対応する光線の軌跡（それぞれ２９０１，２９０２）を
描いたものである。以上の計算により、点Ａと点Ｂとの
間の面はψ１からθＡＢだけずれた位置に最も近い視点
画像２９０３上で符号化されるのが最も解像度がとれて
いることになる。従って、この視点画像上で点Ａの軌跡
と点Ｂの軌跡で囲まれた領域２９０４をモデル情報とし
て前述したようにｒの値と共に符号化する。このとき、
ｒの値は画素毎に得られる限りの精度で符号化すること
は前述した通りである。

【０１４１】

【発明の効果】以上説明したように、本発明によれば形
状さらにはテキスチャに対称性のある被写体の多視点画
像を符号化する場合の符号量、すなわち符号化側から復
号化側に伝送すべき情報量を従来に比べて大幅に削減す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る多視点画像符号化装
置の構成を示すブロック図

【図２】図１中の画像入力部の構成例を示す図

【図３】被写体の断面と極座標の関係を説明する図

【図４】入力された多視点画像のｐ−θ平面上での位置
関係を説明する図

【図５】同実施形態における予測信号の作成原理を説明
する図

【図６】重なった光線の処理を説明する図

【図７】仮符号化により量子化ステップサイズを決定す
る原理を説明する図

【図８】被写体の対称性と光線空間の性質について説明
する図

【図９】図１中のモデリング部の構成を示すブロック図

【図１０】図９中のマッチング部の動作手順を説明する
フローチャート

【図１１】同実施形態における符号化ストリームの多重
化フォーマットの一例を示す図

【図１２】同実施形態におけるマクロブロックの構成例
を示す図

【図１３】本発明の一実施形態に係る多視点画像復号化
装置の構成を示すブロック図

【図１４】同実施形態における復号再生時の参照画素を
求める原理を説明する図

【図１５】図１３中の予測信号生成部の構成例を示すブ
ロック図

【図１６】図１５中のモデルコピー部の動作を説明する
図

【図１７】本発明の一実施形態に係る多視点画像符号化
方法の処理手順の一部を示すフローチャート

【図１８】同実施形態に係る多視点画像符号化方法の処
理手順の他の一部を示すフローチャート

【図１９】図１７中のモデリングステップの詳細を説明
するフローチャート

【図２０】図１８中の符号化ステップの詳細を説明する
フローチャート

【図２１】本発明の一実施形態に係る多視点画像復号化
方法の処理手順の一部を示すフローチャート

【図２２】同実施形態に係る多視点画像復号化方法の処
理手順の他の一部を示すフローチャート

【図２３】図２１中の予測信号作成ステップの詳細を説
明するフローチャート

【図２４】本発明の一実施形態に係る多視点画像符号化
で用いるモデル化手順を示すフローチャート

【図２５】図２４のモデル化手順における探索範囲の制
限について説明する図

【図２６】図２４のモデル化手順における探索範囲の制
限について説明する図

【図２７】図２４のモデル化手順における動きベクトル
検出について説明する図

【図２８】本発明の一実施形態に係る多視点画像符号化
においてモデルを送る視点画像を求める原理を説明する
図

【図２９】本発明の一実施形態に係る多視点画像符号化
においてモデルを送る視点画像を求める原理を説明する
図

【図３０】光線空間の円筒記録を説明する図

【符号の説明】

１００…多視点画像入力部 １０１、１０８…記憶部 １０２…制御部 １０３…モデリング部 １０４…モデル蓄積部 １０５、１０１１…予測信号生成部 １０６、１０１２…加算器 １０７、１１１…ＤＣＴ回路 １０９、１１２…量子化回路 １１０、１１３…可変長符号化回路 １１４、１００５、１００８…逆量子化回路 １１５、１００６、１００９…逆ＤＣＴ回路 １１６…多重化回路 １１７…符号量カウンタ １３００…視点入力部 １３０１…分離回路 １３０２…アドレス計算回路 １３０３…誤差記憶部 １３０４、１００７…可変長復号回路 １３１０…モデル蓄積部 １３１３…フレームメモリ

Claims (25)

【特許請求の範囲】
1. 【請求項１】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化する多視点画像符号化装置において、 前記被写体の対称性の判定結果に基づいて前記多視点画
   像を選択する選択手段と、 前記選択手段により選択された多視点画像を符号化する
   符号化手段と、 前記符号化手段の符号化結果に前記対称性に関する情報
   を多重化して符号化ストリームを生成する多重化手段と
   を具備することを特徴とする多視点画像符号化装置。
2. 【請求項２】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化する多視点画像符号化装置において、 前記被写体の対称性の判定結果に基づいて前記多視点画
   像を選択する選択手段と、 前記被写体面上の各点に対して、該各点の座標値と、前
   記選択手段により選択された多視点画像中でモデルとし
   て使用される視点画像内の該各点に対応する輝度値とか
   ら構成されるモデル情報を生成するモデル化手段と、 前記モデル情報を符号化するモデル情報符号化手段と、 前記モデル情報から前記多視点画像中の各視点画像を予
   測して生成された予測画像と各視点画像との予測誤差を
   符号化する予測誤差符号化手段と、 符号化されたモデル情報および予測誤差と前記対称性に
   関する情報を多重化して符号化ストリームを生成する多
   重化手段とを具備することを特徴とする多視点画像符号
   化装置。
3. 【請求項３】前記選択手段は、前記対称性の判定結果が
   対称性有りの場合、対称性を有する範囲に対応する多視
   点画像から対称構造単位の視点画像を選択し、前記対称
   性の判定結果が対称性無しの場合、対称性を有しない範
   囲に対応する多視点画像を全て選択し、 前記多重化手段は、前記対称性に関する情報として、前
   記対称性の判定結果が対称性有りの場合は対称性の種類
   と前記対称構造単位の視点画像に対応する被写体面の範
   囲および該対称構造単位の視点画像のコピー先の被写体
   面の範囲を示す情報を多重化し、前記対称性の判定結果
   が対称性無しの場合は対称性を有しない被写体面の範囲
   を示す情報を多重化することを特徴とする請求項１また
   は２記載の多視点画像符号化装置。
4. 【請求項４】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化する多視点画像符号化装置において、 前記被写体の対称性を仮定し、この仮定した対称性に基
   づいて前記多視点画像を選択する選択手段と、 前記被写体面上の各点に対して、該各点の座標値と、前
   記選択手段により選択された多視点画像中でモデルとし
   て使用される視点画像内の該各点に対応する輝度値とか
   ら構成されるモデル情報を生成するモデル化手段と、 前記モデル情報に前記被写体の対称性を仮定した範囲内
   の非対称性に起因する誤差を加算したモデル情報を符号
   化するモデル情報符号化手段と、 前記誤差を加算したモデル情報から前記多視点画像中の
   各視点画像を予測して生成された予測画像と各視点画像
   との予測誤差を符号化する予測誤差符号化手段と、 符号化されたモデル情報および予測誤差と前記仮定した
   対称性に関する情報を多重化して符号化ストリームを生
   成する多重化手段とを具備することを特徴とする多視点
   画像符号化装置。
5. 【請求項５】前記予測誤差符号化手段は、前記モデル情
   報から前記多視点画像中の各視点画像を予測して生成さ
   れた予測画像と各視点画像との予測誤差のうち、前記選
   択手段により選択された多視点画像に対応する予測誤差
   のみを符号化することを特徴とする請求項２〜４のいず
   れか１項記載の多視点画像符号化装置。
6. 【請求項６】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化した符号化ストリームを復号化して所望の
   視点画像を再生する復号化装置であって、前記符号化ス
   トリームには、選択された多視点画像の符号化結果と被
   写体の対称性に関する情報とが多重化されている多視点
   画像復号化装置において、 前記符号化ストリームに多重化された前記符号化結果と
   前記対称性に関する情報を分離する分離手段と、 前記符号化ストリームから分離された前記対称性に関す
   る情報に従って、前記符号化ストリームから分離された
   前記多視点画像の符号化結果を復号化して前記所望の視
   点画像を再生する再生手段とを具備することを特徴とす
   る多視点画像復号化装置。
7. 【請求項７】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化した符号化ストリームを復号化して所望の
   視点画像を再生する復号化装置であって、前記符号化ス
   トリームには、被写体面上の各点の座標値と被写体の対
   称性の判定結果に基づいて選択された多視点画像中でモ
   デルとして使用される視点画像内の該各点に対応する輝
   度値とから構成されるモデル情報と、このモデル情報か
   ら多視点画像中の各視点画像を予測して生成された予測
   画像と各視点画像との予測誤差と、前記対称性に関する
   情報とが多重化されている多視点画像復号化装置におい
   て、 前記符号化ストリームから前記モデル情報と前記予測誤
   差および前記対称性に関する情報を分離する分離手段
   と、 前記符号化ストリームから分離された前記予測誤差を復
   号化する予測誤差復号化手段と、 前記する符号化ストリームから分離された前記モデル情
   報を復号化するモデル情報復号化手段と、 前記符号化ストリームから分離された前記対称性に関す
   る情報に従って、前記モデル情報復号化手段により復号
   化されたモデル情報から再生対象の視点画像を予測して
   予測画像を生成する予測画像生成手段と、 前記予測誤差復号化手段により復号化された予測誤差と
   前記予測画像生成手段により生成された予測画像とを合
   成して前記再生対象の視点画像を再生する視点画像再生
   手段とを具備することを特徴とする多視点画像復号化装
   置。
8. 【請求項８】前記対称性の判定結果に基づいて選択され
   た多視点画像は、前記対称性の判定結果が対称性有りの
   場合、対称性を有する範囲に対応する多視点画像から選
   択された対称構造単位の視点画像であり、前記対称性の
   判定結果が対称性無しの場合、対称性を有しない範囲に
   対応する全ての多視点画像であり、 前記符号化ストリームには、前記対称性に関する情報と
   して、前記対称性の判定結果が対称性有りの場合は対称
   性の種類と前記対称構造単位の視点画像に対応する被写
   体面の範囲および該対称構造単位の視点画像のコピー先
   の被写体面の範囲を示す情報が前記対称性に関する情報
   が多重化され、前記対称性の判定結果が対称性無しの場
   合は対応する被写体面の範囲の情報が多重化されている
   ことを特徴とする請求項６または７記載の多視点画像復
   号化装置。
9. 【請求項９】被写体との位置関係が既知の複数の視点に
   よってそれぞれ得られた複数の視点画像からなる多視点
   画像を符号化した符号化ストリームを復号化して所望の
   視点画像を再生する復号化装置であって、前記符号化ス
   トリームには、被写体面上の各点の座標値と被写体の対
   称性の判定結果に基づいて選択された多視点画像中でモ
   デルとして使用される視点画像内の該各点に対応する輝
   度値とから構成されるモデル情報に前記被写体の対称性
   を仮定した範囲内の非対称性に起因する誤差を加算した
   モデル情報と、前記誤差を加算したモデル情報から多視
   点画像中の各視点画像を予測して生成された予測画像と
   各視点画像との予測誤差と、前記対称性に関する情報と
   が多重化されている多視点画像復号化装置において、 前記符号化ストリームから前記モデル情報と前記予測誤
   差および前記対称性に関する情報を分離する分離手段
   と、 前記符号化ストリームから分離された前記予測誤差を復
   号化する予測誤差復号化手段と、 前記する符号化ストリームから分離された前記誤差を加
   算したモデル情報を復号化するモデル情報復号化手段
   と、 前記符号化ストリームから分離された前記対称性に関す
   る情報に従って、前記モデル情報復号化手段により復号
   化されたモデル情報から再生対象の視点画像を予測して
   予測画像を生成する予測画像生成手段と、 前記予測誤差復号化手段により復号化された予測誤差と
   前記予測画像生成手段により生成された予測画像とを合
   成して前記再生対象の視点画像を再生する視点画像再生
   手段とを具備することを特徴とする多視点画像復号化装
   置。
10. 【請求項１０】前記符号化ストリームに多重化されてい
    る予測誤差は、前記モデル情報から前記多視点画像中の
    各視点画像を予測して生成された予測画像と各視点画像
    との予測誤差のうち前記被写体の対称性を仮定した範囲
    内の予測誤差のみであることを特徴とする請求項９記載
    の多視点画像復号化装置。
11. 【請求項１１】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化する多視点画像符号化方法において、 前記被写体の対称性の判定結果に基づいて前記多視点画
    像を選択する選択ステップと、 前記選択ステップにより選択された多視点画像を符号化
    する符号化ステップと、 前記符号化ステップの符号化結果に前記対称性に関する
    情報を多重化して符号化ストリームを生成する多重化ス
    テップとを具備することを特徴とする多視点画像符号化
    方法。
12. 【請求項１２】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化する多視点画像符号化方法において、 前記被写体の対称性の判定結果に基づいて前記多視点画
    像を選択する選択ステップと、 前記被写体面上の各点に対して、該各点の座標値と、前
    記選択ステップにより選択された多視点画像中でモデル
    として使用される視点画像内の該各点に対応する輝度値
    とから構成されるモデル情報を生成するモデル化ステッ
    プと、 前記モデル情報を符号化するモデル情報符号化ステップ
    と、 前記モデル情報から前記多視点画像中の各視点画像を予
    測して生成された予測画像と各視点画像との予測誤差を
    符号化する予測誤差符号化ステップと、 符号化されたモデル情報および予測誤差と前記対称性に
    関する情報を多重化して符号化ストリームを生成する多
    重化ステップとを具備することを特徴とする多視点画像
    符号化方法。
13. 【請求項１３】前記選択ステップは、前記対称性の判定
    結果が対称性有りの場合、対称性を有する範囲に対応す
    る多視点画像から対称構造単位の視点画像を選択し、前
    記対称性の判定結果が対称性無しの場合、対称性を有し
    ない範囲に対応する多視点画像を全て選択し、 前記多重化ステップは、前記対称性に関する情報とし
    て、前記対称性の判定結果が対称性有りの場合は対称性
    の種類と前記対称構造単位の視点画像に対応する被写体
    面の範囲および該対称構造単位の視点画像のコピー先の
    被写体面の範囲を示す情報を多重化し、前記対称性の判
    定結果が対称性無しの場合は対称性を有しない被写体面
    の範囲を示す情報を多重化することを特徴とする請求項
    １１または１２記載の多視点画像符号化方法。
14. 【請求項１４】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化する多視点画像符号化方法において、 前記被写体の対称性を仮定し、この仮定した対称性に基
    づいて前記多視点画像を選択する選択ステップと、 前記被写体面上の各点に対して、該各点の座標値と、前
    記選択ステップにより選択された多視点画像中でモデル
    として使用される視点画像内の該各点に対応する輝度値
    とから構成されるモデル情報を生成するモデル化ステッ
    プと、 前記モデル情報に前記被写体の対称性を仮定した範囲内
    の非対称性に起因する誤差を加算したモデル情報を符号
    化するモデル情報符号化ステップと、 前記誤差を加算したモデル情報から前記多視点画像中の
    各視点画像を予測して生成された予測画像と各視点画像
    との予測誤差を符号化する予測誤差符号化ステップと、 符号化されたモデル情報および予測誤差と前記仮定した
    対称性に関する情報を多重化して符号化ストリームを生
    成する多重化ステップとを具備することを特徴とする多
    視点画像符号化方法。
15. 【請求項１５】前記予測誤差符号化ステップは、前記モ
    デル情報から前記多視点画像中の各視点画像を予測して
    生成された予測画像と各視点画像との予測誤差のうち、
    前記選択ステップにより選択された多視点画像に対応す
    る予測誤差のみを符号化することを特徴とする請求項２
    〜４のいずれか１項記載の多視点画像符号化方法。
16. 【請求項１６】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化した符号化ストリームを復号化して所望
    の視点画像を再生する復号化方法であって、前記符号化
    ストリームには、選択された多視点画像の符号化結果と
    被写体の対称性に関する情報とが多重化されている多視
    点画像復号化方法において、 前記符号化ストリームに多重化された前記符号化結果と
    前記対称性に関する情報を分離する分離ステップと、 前記符号化ストリームから分離された前記対称性に関す
    る情報に従って、前記符号化ストリームから分離された
    前記多視点画像の符号化結果を復号化して前記所望の視
    点画像を再生する再生ステップとを具備することを特徴
    とする多視点画像復号化方法。
17. 【請求項１７】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化した符号化ストリームを復号化して所望
    の視点画像を再生する復号化方法であって、前記符号化
    ストリームには、被写体面上の各点の座標値と被写体の
    対称性の判定結果に基づいて選択された多視点画像中で
    モデルとして使用される視点画像内の該各点に対応する
    輝度値とから構成されるモデル情報と、このモデル情報
    から多視点画像中の各視点画像を予測して生成された予
    測画像と各視点画像との予測誤差と、前記対称性に関す
    る情報とが多重化されている多視点画像復号化方法にお
    いて、 前記符号化ストリームから前記モデル情報と前記予測誤
    差および前記対称性に関する情報を分離する分離ステッ
    プと、 前記符号化ストリームから分離された前記予測誤差を復
    号化する予測誤差復号化ステップと、 前記する符号化ストリームから分離された前記モデル情
    報を復号化するモデル情報復号化ステップと、 前記符号化ストリームから分離された前記対称性に関す
    る情報に従って、前記モデル情報復号化ステップにより
    復号化されたモデル情報から再生対象の視点画像を予測
    して予測画像を生成する予測画像生成ステップと、 前記予測誤差復号化ステップにより復号化された予測誤
    差と前記予測画像生成ステップにより生成された予測画
    像とを合成して前記再生対象の視点画像を再生する視点
    画像再生ステップとを具備することを特徴とする多視点
    画像復号化方法。
18. 【請求項１８】前記対称性の判定結果に基づいて選択さ
    れた多視点画像は、前記対称性の判定結果が対称性有り
    の場合、対称性を有する範囲に対応する多視点画像から
    選択された対称構造単位の視点画像であり、前記対称性
    の判定結果が対称性無しの場合、対称性を有しない範囲
    に対応する全ての多視点画像であり、 前記符号化ストリームには、前記対称性に関する情報と
    して、前記対称性の判定結果が対称性有りの場合は対称
    性の種類と前記対称構造単位の視点画像に対応する被写
    体面の範囲および該対称構造単位の視点画像のコピー先
    の被写体面の範囲を示す情報が前記対称性に関する情報
    が多重化され、前記対称性の判定結果が対称性無しの場
    合は対応する被写体面の範囲の情報が多重化されている
    ことを特徴とする請求項１６または１７記載の多視点画
    像復号化方法。
19. 【請求項１９】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化した符号化ストリームを復号化して所望
    の視点画像を再生する復号化方法であって、前記符号化
    ストリームには、被写体面上の各点の座標値と被写体の
    対称性の判定結果に基づいて選択された多視点画像中で
    モデルとして使用される視点画像内の該各点に対応する
    輝度値とから構成されるモデル情報に前記被写体の対称
    性を仮定した範囲内の非対称性に起因する誤差を加算し
    たモデル情報と、前記誤差を加算したモデル情報から多
    視点画像中の各視点画像を予測して生成された予測画像
    と各視点画像との予測誤差と、前記対称性に関する情報
    とが多重化されている多視点画像復号化方法において、 前記符号化ストリームから前記モデル情報と前記予測誤
    差および前記対称性に関する情報を分離する分離ステッ
    プと、 前記符号化ストリームから分離された前記予測誤差を復
    号化する予測誤差復号化ステップと、 前記する符号化ストリームから分離された前記誤差を加
    算したモデル情報を復号化するモデル情報復号化ステッ
    プと、 前記符号化ストリームから分離された前記対称性に関す
    る情報に従って、前記モデル情報復号化ステップにより
    復号化されたモデル情報から再生対象の視点画像を予測
    して予測画像を生成する予測画像生成ステップと、 前記予測誤差復号化ステップにより復号化された予測誤
    差と前記予測画像生成ステップにより生成された予測画
    像とを合成して前記再生対象の視点画像を再生する視点
    画像再生ステップとを具備することを特徴とする多視点
    画像復号化方法。
20. 【請求項２０】前記符号化ストリームに多重化されてい
    る予測誤差は、前記モデル情報から前記多視点画像中の
    各視点画像を予測して生成された予測画像と各視点画像
    との予測誤差のうち前記範囲に対応する予測誤差のみで
    あることを特徴とする請求項１９記載の多視点画像復号
    化方法。
21. 【請求項２１】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化した符号化ストリームが記録された記録
    媒体において、 前記符号化ストリームには、 被写体面上の各点の座標値と被写体の対称性の判定結果
    に基づいて選択された多視点画像中でモデルとして使用
    される視点画像内の該各点に対応する輝度値とから構成
    されるモデル情報と、 このモデル情報から多視点画像中の各視点画像を予測し
    て生成された予測画像と各視点画像との予測誤差と、 前記対称性に関する情報とが多重化されていることを特
    徴とする記録媒体。
22. 【請求項２２】被写体との位置関係が既知の複数の視点
    によってそれぞれ得られた複数の視点画像からなる多視
    点画像を符号化した符号化ストリームが記録された記録
    媒体において、 前記符号化ストリームには、 被写体面上の各点の座標値と被写体の対称性の判定結果
    に基づいて選択された多視点画像中でモデルとして使用
    される視点画像内の該各点に対応する輝度値とから構成
    されるモデル情報に前記被写体の対称性を仮定した範囲
    内の非対称性に起因する誤差を加算したモデル情報と、 前記誤差を加算したモデル情報から多視点画像中の各視
    点画像を予測して生成された予測画像と各視点画像との
    予測誤差と、 前記対称性に関する情報とが多重化されていることを特
    徴とする記録媒体。
23. 【請求項２３】三次元物体からなる被写体の対称性の判
    定結果に基づいて被写体面の一部を選択する選択手段
    と、 前記選択手段により選択された被写体面の部分の情報を
    符号化する符号化手段とを具備し、 前記選択手段により選択されなかった被写体面の部分に
    ついては、選択された被写体面の部分の情報を利用して
    表現することを特徴とする三次元物体の画像符号化装
    置。
24. 【請求項２４】三次元物体からなる被写体の対称性を仮
    定し、この仮定した対称性に基づいて前記被写体面の一
    部を選択する選択手段と、 前記選択手段により選択された被写体面の部分の情報を
    符号化し、選択されなかった被写体面の部分については
    対象であるとの仮定の下に予測を行い、予測誤差を符号
    化する符号化手段とを具備することを特徴とする三次元
    物体の画像符号化装置。
25. 【請求項２５】前記符号化手段の符号化結果に前記被写
    体の対称性に関する情報を多重化して符号化ストリーム
    を生成する多重化手段をさらに具備することを特徴とす
    る請求項２３または２４記載の三次元物体の画像符号化
    装置。