JP4999010B2 - 自由視点映像生成方式及び記録媒体 - Google Patents

Description

本発明は自由視点映像生成方式および記録媒体に関し、特に、３次元映像データに対するポインタ参照処理により、操作者の動きに応じて実時間で、任意の視点位置における映像を生成して表示する自由視点映像生成方式および記録媒体に関するものである。

従来、複数の視点位置で撮像された実写映像群を用いて、任意の視点位置における映像を生成・表示する場合、該実写映像群のデータをメモリ上に読み込んでおき、各映像データは３次元空間中を飛来する光線の集合であると考える光線空間の概念に基づいて、各画素の輝度値を計算して、任意の視点位置の映像を生成する方法が提案されている。

ここで、光線空間の概念について説明する。３次元空間内には、光源や物体の反射光により光線が発せられている。３次元空間内のある１点を横切る光線は、その位置（Ｘ，Ｙ，Ｚ）と方向（θ，φ）と時刻ｔを表す６個の変数により一意に定められる。この光線の光強度を表す関数をＦと定義すると、３次元空間内の光線群データはＦ（Ｘ，Ｙ，Ｚ，θ，φ，ｔ）と表され、３次元空間内の光線群は６次元のパラメータ空間として記述される。このパラメータ空間が光線空間と呼ばれている。

最初に、平面記録光線空間を用いる場合を、図６を参照して説明する。

いま、ある時間ｔ＝０においてＺ＝Ｚｃという平面を通過する光線群に着目する。この面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）はＺ軸との交点を原点として、Ｐ軸はＸ軸に平行に、Ｑ軸はＹ軸に平行にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図６に示すようになる。基準面から発せられる光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘｃ，Ｚｃ）を通過する光線群には、次の関係が成り立つ。

Ｐ＝Ｘｃ―（Ｚｃ）ｔａｎθ （１）

ここで、ｕ＝ｔａｎθという変数を定義すると、式（１）は、次のようになる。

Ｐ＝Ｘｃ―ｕＺｃ （２）

従って、平面記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（２）から、実空間内のある１点を通過する光線群は、Ｐ−ｕ空間上で直線に写像されることがわかる。

図７には、実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線がＰ−ｕ空間に写像された様子を示す。なお、Ｐ−ｕ空間は、前に述べた５次元の光線空間の部分空間をなすものである。以上のことは、下記の特許文献１，２にも示されている。

次に、円筒記録光線空間を用いる場合を、図８を参照して説明する。なお、円筒記録光線空間については、本出願人による特許出願（特願２００６−１８５６４８号）に開示されている。

いま、ある時間ｔ＝０においてθ＝θｃの方位角に伝播する光線群に着目する。Ｙ軸を通りこの光線群の伝播する方向に垂直な面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）は世界座標系の原点を原点として、Ｑ軸はＹ軸に平行に、Ｐ軸は光線群の伝播する方向とＱ軸の両方に対して垂直にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図８に示すようになる。基準面に対して垂直な方向に伝播する光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘｃ，Ｚｃ）を通過する光線群には、次の関係が成り立つ。

Ｐ＝（Ｘｃ）ｃｏｓθ―（Ｚｃ）ｓｉｎθ （３）

従って、円筒記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（３）から、実空間内のある１点を通過する光線群は、Ｐ−θ空間上で正弦曲線に写像されることがわかる。

図９には、実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線がＰ−θ空間に写像された様子を示す。なお、Ｐ−θ空間は、前に述べた５次元の光線空間の部分空間をなすものである。

この光線空間から任意の視点位置の画像を精度よく再構成するためには、本来はＱ軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともＰ−Ｑ−θ−φという４次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで、今までは、光線空間の部分空間であるＰ−θ空間（Ｐ−ｕ空間）のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。なぜなら、たとえＰ−θ空間（Ｐ−ｕ空間）だけを考えるとしても、画像を再構成するためにはＱ軸方向の画素情報が必要となるため、光線空間は３次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像の全ての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像（複数の異なる視点位置から撮像した画像）から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を元に任意の視点位置の画像を再構成するために、Ｐ−θ空間（Ｐ−ｕ空間）で式（２）および式（３）に基づいて行う計算のことである。

上記従来例では、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、Ｐ−θ空間（Ｐ−ｕ空間）と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。

このように、今までは、任意の視点位置の画像を生成・表示する際に、同じ光線空間演算を何度も繰り返す必要があり、さらに、非常に大きなワークメモリ容量を使用する必要があった。画素データを得るための計算回数が多いということは、リアルタイムな動きを損なう原因となってしまう。

任意の視点位置の画像を生成・表示する処理速度を落とさずに、使用するワークメモリ容量を削減するために、複数の視点位置で撮像した画像を入力し、この入力された多視点画像に基づいて、光線空間とこの多視点画像の座標とを対応付けた光線空間対応表を作成し、多視点画像に基づいて、光線空間データを生成し、観察者の視点位置と視線方向を検出し、この検出された観察者の視点位置と視線方向及び画像出力のためのパラメータから光線空間上の曲線を導出し、この導出された曲線と作成された光線空間対応表とに従って、多視点画像へのポインタを辿ることによって画素を抽出して画像を生成し、生成された画像を出力することが、下記の特許文献１に示されている。

ここで、作成する対応表は、光線空間の部分空間であるＰ−θ空間（Ｐ−ｕ空間）において、抽出したい画素（参照元の点）毎に、この画素のＰ座標とこれが辿る先の画素（参照先の点）の多視点画像がＰ−θ空間（Ｐ−ｕ空間）に格納された際のＰ座標との差（視差値）を記録した対応表を作成している。
特開平１０−１１１９５１号公報 特開２００４−２５８７７５号公報

しかしながら、上記従来例では、Ｐ−θ空間（Ｐ−ｕ空間）はＰ軸方向（横方向）の視差だけを考えたものであるから、Ｑ軸方向（縦方向）については正確な視差が再現できず、視点を縦移動する際も近似的な映像しか生成できなかった。その結果、画像上の、異なる局所領域の境界に相当する位置に縦方向の段差が現れる課題が生じていた。

本発明の目的は、前記した課題を解決し、任意の視点位置の画像を生成して表示する際に、縦方向の視差の情報を記録していなくても、縦方向の視差の情報を推定して再現できる自由視点映像生成方式および記録媒体を提供することにある。

前記した目的を達成するために、本発明は、 実際に撮影した多視点映像を元にして光線空間を用いて自由視点映像を生成する自由視点映像生成方式において、実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、横方向の視差の情報を記録した光線空間対応表を作成する手段と、該光線空間対応表を記憶手段に記憶する手段と、該光線空間対応表に記録されている前記横方向の視差の情報を基に、該光線空間中の各点の画素値を算出する手段と、該光線空間対応表に記録されている前記横方向の視差の情報を基に縦方向の視差を再現する手段とを具備し、前記光線空間が平面記録光線空間の場合、前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ（方位角θの正接の差Δｕ＝ｔａｎ（θ＋Δθ）−ｔａｎθ）、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めるようにした点に第１の特徴がある。
ΔＤ＝ΔＰ／｛ｔａｎ（θ＋Δθ）−ｔａｎθ｝＝ΔＰ／Δｕ
ΔＱ＝−ＱΔＰ／（ＤΔｕ）
また、前記光線空間が円筒記録光線空間の場合、前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めるようにした点に第２の特徴がある。
ΔＤ＝（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）／ｓｉｎΔθ
ΔＱ＝−（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）Ｑ／（ＤｓｉｎΔθ）

また、本発明は、実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報を記録した奥行きマップを作成する手段と、該奥行きマップを記憶手段に記憶する手段と、該奥行きマップに記録されている前記奥行きの情報を基に、該光線空間中の各点の画素値を算出する手段と、該奥行きマップに記録されている前記奥行きの情報を基に縦方向の視差を再現する手段とを具備し、前記光線空間が平面記録光線空間の場合、前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線空間の原点と視点との水平距離Ｄの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めるようにした点に第３の特徴がある。
ΔＱ＝−ＱΔＤ／Ｄ
また、前記光線空間が円筒記録光線空間の場合、前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線の仰角φの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めるようにした点に第４の特徴がある。
ΔＱ＝−ΔＤｔａｎφ

また、コンピュータに、前記第１、第２の特徴を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する点に、それぞれ、第５，第６の特徴がある。

さらに、コンピュータに、前記第３、第４の特徴を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する点に、それぞれ、第７，第８の特徴がある。

本発明によれば、任意の視点位置の画像を生成して表示する際に、縦方向の視差の情報を記録していなくても、縦方向の視差の情報を推定して再現することができる。図１２に、従来手法により得られた自由視点映像と、本発明手法により得られた自由視点映像とを示す。図１２の右側２枚の上下の映像から、従来手法では、映像中に縦方向の段差が生じていたのに対して、本発明手法では、縦方向の段差がない品質の良い映像が再現されていることが判る。

このことにより、縦方向の視差の情報が無くても高精度な自由視点映像を生成することができるようになり、局所領域分割型光線空間法においても従来手法では存在した局所領域間の段差がなくなる。したがって、同程度の精度の自由視点映像を生成する際にも、本発明手法を用いた場合の方が必要となるワークメモリおよびディスクの容量が小さくなり、高速な伝送が可能になる。

また、任意の視点位置の画像を生成して表示する際に、縦方向の視差の情報を記録していなくても、縦方向の視差の情報を推定して再現することができるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。

以下に、図面を参照して、本発明の一実施形態を説明する。図１に、複数の視点位置で撮像された実写画像群から任意の視点位置における画像を生成・表示する装置の一実施形態の概略ブロック図を示す。

図１において、多視点画像入力装置１０１は、該実写画像群を撮像するためのものであり、１台のカメラをずらすことによって多数枚の画像を撮像してもよいし、また複数台のカメラをセットすることで多数枚の画像を撮像してもよい。あるいは、多視点画像データベースに保持されている画像データを入力データとして読み込んでもよい。

ＭＰＵ１０２は記憶装置１０３に記憶されている処理手順に従って処理を行う。該記憶装置１０３には多視点で撮像した画像データや多視点画像から生成された光線空間、ＭＰＵ１０２の処理手順を示したプログラムを記憶しておく。光線空間データ送信装置１０８は、ＭＰＵ１０２で生成され記憶装置１０３に記憶されている光線空間のデータを出力し、伝送路１０９を通して光線空間データ受信装置１１０に伝送する。

伝送路１０９は光線空間データを伝送する。該伝送路１０９は、ＬＡＮ・インターネット・ケーブルテレビに用いられる汎用的な通信路でもよいし、携帯電話網・放送電波に用いられる汎用的な無線でもよい。

光線空間データ受信装置１１０は、伝送路１０９を通して光線空間データ送信装置１０８から伝送された光線空間のデータを入力し、記憶装置１１１に記憶させる。視点・視線検出装置１０４は観察者の視点の位置・視線の向きを検出するためのものであり、該視点・視線検出装置１０４には、キーボードやマウスなどの汎用的なコンピュータの入力デバイスを用いてもよいし、ジョイスティック・ゲームパッド・３次元マウス・加速度センサなどの専用の入力デバイスを用いてもよいし、また、空間センサの付いている装着型の入力デバイスを用いてもよい。

ＭＰＵ１１２は記憶装置１１１に記憶されている処理手順に従って処理を行う。記憶装置１１１には、受信した光線空間、ＭＰＵ１１２の処理手順を示したプログラムを記憶しておく。画像出力装置１０５は、観察者の視点の位置・視線の向きにしたがってＭＰＵ１１２で生成された画像を表示する。画像出力装置１０５には、ＣＲＴや液晶などの一般的な２次元ディスプレイを用いても、また、パララックスバリアやレンティキュラやＨＭＤなどの３次元ディスプレイを用いてもよい。なお、プログラムは、ＦＤ（フロッピー（登録商標）ディスク）・ＣＤ−ＲＯＭ・磁気テープなどの記憶媒体に記録しておき、記憶媒体読取装置１０６から読み出して記憶装置１０３に記憶させてもよい。バス１０７および１１３は前記した各部を接続する。

図２のフローチャートにより、図１に示した装置を用いて、多視点画像を撮像して光線空間を生成する処理方法、および光線空間から任意の視点位置における画像を生成・表示する処理方法を説明する。

ＭＰＵ１０２は記憶装置１０３に記憶されているプログラムに従って処理を実行し、ＭＰＵ１１２は記憶装置１１１に記憶されているプログラムに従って処理を実行する。なお、図２のステップＳ１〜Ｓ３は、多視点画像を撮像して光線空間を生成するまでの部分で、ＭＰＵ１０２上で処理される。また、ステップＳ４〜Ｓ６は、光線空間から任意の視点位置における画像を生成・表示するまでの部分で、ＭＰＵ１１２上で（主として実時間で）処理される。

最初に、多視点画像を撮像し、該撮像画像を用いて光線空間を作成する処理について説明する。ステップＳ１では、実写画像群を、多視点画像入力装置１０１を用いて撮像し、複数の視点位置から多視点画像を得る。ステップＳ２では、ステップＳ１で得た多視点画像を光線空間上の曲線に対応させる。また、奥行きの情報あるいは横方向の視差の情報を記録することで、光線空間とこの多視点画像の座標とを対応付けた奥行きマップあるいは光線空間対応表を作成する。この奥行きマップあるいは光線空間対応表は、光線空間中の各点に情報を記録する場合と、実際に撮影した多視点映像の光線情報が記録されている位置のみに記録し他の点の値は計算して求める場合とがある。次に、ステップＳ３では、ステップＳ２で作成された光線空間データである奥行きマップあるいは光線空間対応表と多視点画像を記憶装置１０３に保存する。ステップＳ１〜Ｓ３は、ＭＰＵ１０２で行われる光線空間の作成処理である。

次に、光線空間から任意の視点位置における画像を生成・表示する処理、つまり観察者の視点移動に伴って起きる処理について説明する。ステップＳ４では、視点・視線検出装置１０４を用いて、観察者の視点の位置・視線の向きが検出される。ステップＳ５では、ステップＳ４で検出された視点の位置・視線の向きで観察されるべき画像を、記憶装置１１１に記憶されている光線空間データ（奥行きマップあるいは光線空間対応表と多視点画像）を用いて、奥行きマップあるいは光線空間対応表に記録された奥行きの情報あるいは横方向の視差の情報に基づき逆算することによって多視点画像の対応する点を求め、多視点画像から対応する画素値を読み込み、本発明手法を用いて縦方向の視差を再現する処理を行い、画像を生成する。ステップＳ６では、ステップＳ５で生成された画像を画像出力装置１０５で表示する。ステップＳ４〜Ｓ６が、ＭＰＵ１１２で行われる自由視点画像の生成処理である。

前記ステップＳ１〜Ｓ６が、本発明の第１実施形態の全体的な処理の流れであるが、次に、本実施形態の主要部のステップの詳細な処理について説明する。

最初に、ステップＳ２の奥行きマップあるいは光線空間対応表の作成処理について図３のフローチャートを用いて説明する。ステップＳ２１では、カメラの位置（視点の位置）・姿勢（視線の向き）およびカメラの画角・焦点距離などのカメラパラメータに従って、各画像内の各画素値を３次元空間内の光線群データに変換する。ステップＳ２２では、ステップＳ２１で変換された光線群データを、前記式（２）または式（３）に基づいて光線空間の部分空間であるＰ−Ｑ−θ空間（Ｐ−Ｑ−ｕ空間）上に射影する。このとき、上下方向の視差を無視するので、光線の位置（Ｐ，Ｑ）と方位角θ（ｕ）が同じであれば、同一点上に射影されることになる。

しかし、ここで、ステップＳ２１の撮像におけるカメラ位置は離散的であるから、光線空間は部分的に射影されないところが生じる。ステップＳ２３では、ステップＳ２２で射影されない全ての部分について、内挿補間合成を行う。これにより、光線空間の全ての部分に、光線群データを射影することができる。ステップＳ２４では、ステップＳ２３の結果に従って、Ｐ−θ平面（Ｐ−ｕ平面）上に射影された光線すなわち画素に対する多視点画像のＩＤとＰ座標の差（奥行きの情報あるいは横方向の視差の情報）を記録した光線空間対応表を作成する。すなわち、光線空間の部分空間であるＰ−θ空間（Ｐ−ｕ空間）において、抽出したい画素（参照元の点）毎に、この画素のＰ座標とこれが辿る先の画素（参照先の点）の多視点画像がＰ−θ空間（Ｐ−ｕ空間）に格納された際のＰ座標との差の値（この値は、横方向の視差値に比例し、奥行値に反比例するので、奥行きの情報を記録した奥行きマップを作成することによって代替できる）を記録した対応表を作成する。奥行きマップあるいは光線空間対応表は、光線空間中の各点に奥行きの情報あるいは横方向の視差の情報を記録する場合と、実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報あるいは横方向の視差の情報も併せて記録し他の点の値は計算して求める場合とがある。このようにして作成された奥行きマップあるいは光線空間対応表は、記憶装置１０３に記憶される。

図４に、このときの奥行きマップあるいは光線空間対応表と元の多視点画像との関係の概念を示す。なお、ステップＳ２３における光線空間データの内挿補間合成手法としては、近傍データからの距離に基づいて線形に内挿する線形補間法などが適用できる。

次に、図２のステップＳ５における、光線空間データを用いて任意の視点の画像（自由視点画像）を生成する処理について説明する。この処理のアルゴリズムを図５に示す。

まずステップＳ５１では、奥行きマップあるいは光線空間対応表とともに多視点画像をメモリ上に読み込む。ステップＳ５２に移り、図２のステップＳ４で検出された観察者の視点の位置と視線の向きで観察されるべき画像を再構成するために、前記式（２）または式（３）に基づいてＰ−θ空間（Ｐ−ｕ空間）上の曲線を求める。ステップＳ５３に移り、Ｐ−θ空間（Ｐ−ｕ空間）上の曲線に従って奥行きマップあるいは光線空間対応表から参照すべき多視点画像のＩＤと奥行き値ΔＤあるいは横方向の視差値ΔＰを検出する。ステップＳ５４に移り、下記の式（４）または式（５）に基づいて縦方向の視差値ΔＱを算出し、この値に基づいて各画素の縦方向の座標を補正し縦方向の視差を再現する。該ステップＳ５４の処理の詳細を以下に説明する。

着目している点の光線空間座標（Ｐ，Ｑ）と奥行きマップあるいは光線空間対応表に記録された多視点画像との対応の情報（奥行きの情報あるいは横方向の視差の情報）とから、その視点位置での縦方向の視差が推定できる。それにより、縦方向の段差を解消し、縦方向の視差を正確に再現できる。

平面記録光線空間の場合には、図１０から明らかなように、参照元の点の光線空間座標（Ｐ，Ｑ）、光線空間対応表に記録された値（横方向の視差の情報）ΔＰ、参照元の点と参照先の点の方位角の差Δθ（方位角θの正接の差Δｕ＝ｔａｎ（θ＋Δθ）−ｔａｎθ）、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向視差ΔＱの値は下記となる。

ΔＤ＝＝ΔＰ／｛ｔａｎ（θ＋Δθ）−ｔａｎθ｝ΔＰ／Δｕ

ΔＱ＝−ＱΔＰ／（ＤΔｕ） （４）

平面記録光線空間の場合には、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線空間の原点と視点との水平距離Ｄの時、参照元の点における縦方向の視差の値ΔＱの値は下記となる。

ΔＱ＝−ＱΔＤ／Ｄ

円筒記録光線空間の場合には、参照元の点に対応する実空間中の点の座標（Ｘ，Ｙ，Ｚ）、参照元の点の方位角θの時、参照元の点における奥行きΔＤの値は下記となる。

ΔＤ＝Ｘｓｉｎθ＋Ｚｃｏｓθ

円筒記録光線空間の場合には、図１１から明らかなように、参照元の点の光線空間座標（Ｐ，Ｑ）、光線空間対応表に記録された値（横方向の視差の情報）ΔＰ、参照元の点と参照先の点の方位角の差Δθ、光線空間の原点と視点との水平距離Ｄの時、厚みΔＤと縦方向視差の値ΔＱは下記となる。

ΔＤ＝（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）／ｓｉｎΔθ

ΔＱ＝−（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）Ｑ／（ＤｓｉｎΔθ） （５）

円筒記録光線空間の場合には、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線の仰角φの時、参照元の点における縦方向の視差の値ΔＱは下記となる。

ΔＱ＝−ΔＤｔａｎφ

次いで、ステップＳ５５に移り、画素（Ｐ，Ｑ）の画素値を内挿補間して再構成画像の画素値とする。

次に、本発明の画像処理装置をより一般的な多視点画像列に適用した第２実施形態について説明する。

第１の実施形態では、多視点画像を一様な平行移動あるいは回転移動で視点移動させて物体を撮像した画像列とした。これに対して、本実施形態は、一様に視点位置を変化させるのではなく、あるところは密にあるところは疎に撮像した多視点画像列を用いるものである。

この場合においても、第１の実施形態に示したものと同様な画像処理装置を用いることができ、図７に示した処理の中で光線空間作成処理の部分だけ変更すればよい。なお、図１の多視点画像入力装置１０１においては、１台のカメラを用いる場合には、任意にずらした視点画像を撮像すればよいし、また複数台のカメラを用いる場合には、それらを等間隔ではなく任意の配置で撮像すればよい。

次に、第１の実施形態および第２の実施形態において、奥行きマップの奥行き値あるいは光線空間対応表の視差値を疎に記録し（多視点画像の画素値が記録された位置に記録するか、あるいは多視点画像の画素値が記録された位置とは無関係に記録する）、奥行き値あるいは視差値が記録されていない画素における奥行き値あるいは視差値は、周囲の記録された奥行き値あるいは視差値に基づいて推定する例について示す。第１の実施形態および第２の実施形態では、光線空間対応表の奥行き値あるいは視差値は密に記録されているが、本実施例では、密に記録するのではなく、疎に記録する。この場合においても、第１の実施形態および第２の実施形態に示したものと同様な画像処理装置を用いることができ、図７に示した処理の中で光線空間作成処理の直前に奥行きマップの奥行き値あるいは光線空間対応表の視差値を推定する処理を追加すればよい。

また、本発明はシステムあるいは装置にプログラムを供給することによって実施される場合にも適用される。この場合、本発明にかかるプログラムを格納した記録媒体、すなわち請求項１０，１１に記されているような記録媒体が、本発明を構成することになる。そして、該記録媒体からそのプログラムをシステムあるいは装置に読み出すことによって、そのシステムあるいは装置が、あらかじめ定められた方法で動作する。

本発明のシステムの一例の概略の構成を示すブロック図である。 本発明の一実施形態の自由視点映像生成方法の概略を示すフローチャートである。 図２のステップＳ２の詳細を示すフローチャートである。 光線空間対応表と元の多視点画像との関係の概念を示す図である。 図２のステップＳ５の詳細を示すフローチャートである。 平面記録光線空間の説明図である。 実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−ｕ空間に写像された様子を示す図である。 円筒記録光線空間の説明図である。 実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−θ空間に写像された様子を示す図である。 （４）式に係る説明図である。 （５）式に係る説明図である。 従来手法と本発明手法とで得られる自由視点映像の一例を示す図である。

符号の説明

１０１・・・多視点画像入力装置、１０２、１１２・・・ＭＰＵ、１０３、１１１・・・記憶装置、１０４・・・視点・視線検出装置、１０５・・・画像出力装置、１０６・・・記憶媒体読取装置、１０８・・・光線空間データ送信装置、１１０・・・光線空間データ受信装置。

Claims (10)

1. 実際に撮影した多視点映像を元にして光線空間を用いて自由視点映像を生成する自由視点映像生成方式において、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、横方向の視差の情報を記録した光線空間対応表を作成する手段と、
   該光線空間対応表を記憶手段に記憶する手段と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に、該光線空間中の各点の画素値を算出する手段と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に縦方向の視差を再現する手段とを具備し、
   前記光線空間が平面記録光線空間の場合、
   前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ（方位角θの正接の差Δｕ＝ｔａｎ（θ＋Δθ）−ｔａｎθ）、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めることを特徴とする自由視点映像生成方式。
   ΔＤ＝ΔＰ／｛ｔａｎ（θ＋Δθ）−ｔａｎθ｝＝ΔＰ／Δｕ
   ΔＱ＝−ＱΔＰ／（ＤΔｕ）
2. 実際に撮影した多視点映像を元にして光線空間を用いて自由視点映像を生成する自由視点映像生成方式において、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、横方向の視差の情報を記録した光線空間対応表を作成する手段と、
   該光線空間対応表を記憶手段に記憶する手段と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に、該光線空間中の各点の画素値を算出する手段と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に縦方向の視差を再現する手段とを具備し、
   前記光線空間が円筒記録光線空間の場合、
   前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めることを特徴とする自由視点映像生成方式。
   ΔＤ＝（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）／ｓｉｎΔθ
   ΔＱ＝−（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）Ｑ／（ＤｓｉｎΔθ）
3. 実際に撮影した多視点映像を元にして光線空間を用いて自由視点映像を生成する自由視点映像生成方式において、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報を記録した奥行きマップを作成する手段と、
   該奥行きマップを記憶手段に記憶する手段と、
   該奥行きマップに記録されている前記奥行きの情報を基に、該光線空間中の各点の画素値を算出する手段と、
   該奥行きマップに記録されている前記奥行きの情報を基に縦方向の視差を再現する手段とを具備し、
   前記光線空間が平面記録光線空間の場合、
   前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線空間の原点と視点との水平距離Ｄの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めることを特徴とする自由視点映像生成方式。
   ΔＱ＝−ＱΔＤ／Ｄ
4. 実際に撮影した多視点映像を元にして光線空間を用いて自由視点映像を生成する自由視点映像生成方式において、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手段と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報を記録した奥行きマップを作成する手段と、
   該奥行きマップを記憶手段に記憶する手段と、
   該奥行きマップに記録されている前記奥行きの情報を基に、該光線空間中の各点の画素値を算出する手段と、
   該奥行きマップに記録されている前記奥行きの情報を基に縦方向の視差を再現する手段とを具備し、
   前記光線空間が円筒記録光線空間の場合、
   前記縦方向の視差を再現する手段は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線の仰角φの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めることを特徴とする自由視点映像生成方式。
   ΔＱ＝−ΔＤｔａｎφ
5. 請求項１または２に記載の自由視点映像生成方式において、
   前記光線空間対応表には前記横方向の視差の情報が疎に記録されており、該記録された情報から他の位置における横方向の視差の情報が推定されることを特徴とする自由視点映像生成方式。
6. 請求項３または４に記載の自由視点映像生成方式において、
   前記光線空間対応表には前記奥行きの情報が疎に記録されており、該記録された情報から他の位置における奥行きの情報が推定されることを特徴とする自由視点映像生成方式。
7. コンピュータに、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手順と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、横方向の視差の情報を記録した光線空間対応表を作成する手順と、
   該光線空間対応表を記憶手段に記憶する手順と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に、該光線空間中の各点の画素値を算出する手順と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に縦方向の視差を再現する手順と、
   前記光線空間が平面記録光線空間の場合、
   前記縦方向の視差を再現する手順は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ（方位角θの正接の差Δｕ＝ｔａｎ（θ＋Δθ）−ｔａｎθ）、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めることとを、
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
   ΔＤ＝ΔＰ／｛ｔａｎ（θ＋Δθ）−ｔａｎθ｝＝ΔＰ／Δｕ
   ΔＱ＝−ＱΔＰ／（ＤΔｕ）
8. コンピュータに、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手順と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、横方向の視差の情報を記録した光線空間対応表を作成する手順と、
   該光線空間対応表を記憶手段に記憶する手順と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に、該光線空間中の各点の画素値を算出する手順と、
   該光線空間対応表に記録されている前記横方向の視差の情報を基に縦方向の視差を再現する手順と、
   前記光線空間が円筒記録光線空間の場合、
   前記縦方向の視差を再現する手順は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点と参照先の点の横方向の視差の値をΔＰ、参照元の点と参照先の点の方位角の差Δθ、光線空間の原点と視点との水平距離Ｄの時、奥行きΔＤと縦方向の視差の値ΔＱを下記の式で求めることとを、
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
   ΔＤ＝（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）／ｓｉｎΔθ
   ΔＱ＝−（Ｐ＋ΔＰ−ΔＰｃｏｓΔθ）Ｑ／（ＤｓｉｎΔθ）
9. コンピュータに、
   実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手順と、
   該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報を記録した奥行きマップを作成する手順と、
   該奥行きマップを記憶手段に記憶する手順と、
   該奥行きマップに記録されている前記奥行きの情報を基に、該光線空間中の各点の画素値を算出する手順と、
   該奥行きマップに記録されている前記奥行きの情報を基に縦方向の視差を再現する手順と、
   前記光線空間が平面記録光線空間の場合、
   前記縦方向の視差を再現する手順は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線空間の原点と視点との水平距離Ｄの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めることとを、
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
   ΔＱ＝−ＱΔＤ／Ｄ
10. コンピュータに、
    実際に撮影した多視点映像の光線情報を光線空間中の対応する位置に記録する手順と、
    該光線空間中の各点に、または光線空間中の実際に撮影した多視点映像の光線情報が記録されている位置のみに、奥行きの情報を記録した奥行きマップを作成する手順と、
    該奥行きマップを記憶手段に記憶する手順と、
    該奥行きマップに記録されている前記奥行きの情報を基に、該光線空間中の各点の画素値を算出する手順と、
    該奥行きマップに記録されている前記奥行きの情報を基に縦方向の視差を再現する手順と、
    前記光線空間が円筒記録光線空間の場合、
    前記縦方向の視差を再現する手順は、参照元の点の光線空間座標（Ｐ，Ｑ）、参照元の点における奥行きΔＤ、光線の仰角φの時、参照元の点における縦方向の視差の値ΔＱを下記の式で求めることとを、
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    ΔＱ＝−ΔＤｔａｎφ