JP4990852B2

JP4990852B2 - ３次元移動の自由視点映像生成システムおよび記録媒体

Info

Publication number: JP4990852B2
Application number: JP2008197858A
Authority: JP
Inventors: 彰夫石川; 茂之酒澤; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-07-31
Filing date: 2008-07-31
Publication date: 2012-08-01
Anticipated expiration: 2028-07-31
Also published as: US8259160B2; US20100026788A1; JP2010039501A

Description

本発明は３次元移動の自由視点映像生成システムおよび記録媒体に関し、特に、同一水平面上に被写体を取り囲むように複数のビデオカメラ（以下、単にカメラと呼ぶ）を配置すると共に天頂にカメラを配置し、これらのカメラにより撮影した被写体の画像を用いて３次元移動の自由視点映像を生成するシステムおよびプログラムを記録する記録媒体に関する。

従来、複数の視点位置で撮像された実写映像群を用いて、任意の視点位置における映像を生成・表示する場合、該実写映像群のデータをメモリ上に読み込んでおき、各映像データは３次元空間中を飛来する光線の集合であると考える光線空間の概念に基づいて、各画素の輝度値を計算して、任意の視点位置の映像を生成する方法が提案されている。

ここで、光線空間の概念について説明する。３次元空間内には、光源や物体の反射光により光線が発せられている。３次元空間内のある１点を横切る光線は、その位置（Ｘ，Ｙ，Ｚ）と方向（θ，φ）と時刻ｔを表す６個の変数により一意に定められる。簡単のため、ある時間ｔ＝０に着目すると、この光線の光強度を表す関数をＦと定義すると、３次元空間内の光線群データはＦ（Ｘ，Ｙ，Ｚ，θ，φ）と表され、３次元空間内の光線群は５次元のパラメータ空間として記述される。このパラメータ空間およびその部分空間が光線空間と呼ばれている。

最初に、平面記録光線空間を用いる場合を、図７を参照して説明する。

いま、Ｚ＝Ｚ_ｃという平面を通過する光線群に着目する。この面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）はＺ軸との交点を原点として、Ｐ軸はＸ軸に平行に、Ｑ軸はＹ軸に平行にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図７に示すようになる。基準面から発せられる光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘ_ｃ，Ｚ_ｃ）を通過する光線群には、次の関係が成り立つ。

Ｐ＝Ｘ_ｃ―Ｚ_ｃｔａｎθ （１）

ここで、ｕ＝ｔａｎθという変数を定義すると、式（１）は、次のようになる。

Ｐ＝Ｘ_ｃ―ｕＺ_ｃ（２）

従って、平面記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（２）から、実空間内のある１点を通過する光線群は、Ｐ−ｕ空間上で直線に写像されることがわかる。

図８には、実空間内の（Ｘ_ｃ，Ｚ_ｃ）の視点位置で観察された光線がＰ−ｕ空間に写像された様子を示す。なお、Ｐ−ｕ空間は、前に述べた５次元の光線空間の部分空間をなすものである。以上のことは、下記の特許文献１、２にも示されている。

次に、円筒記録光線空間を用いる場合を、図９を参照して説明する。なお、円筒記録光線空間については、本出願人による特許出願である下記の特許文献３に開示されている。

いま、ある時間ｔ＝０においてθ＝θ_ｃの方位角に伝播する光線群に着目する。Ｙ軸を通りこの光線群の伝播する方向に垂直な面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）は世界座標系の原点を原点として、Ｑ軸はＹ軸に平行に、Ｐ軸は光線群の伝播する方向とＱ軸の両方に対して垂直にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図９に示すようになる。基準面に対して垂直な方向に伝播する光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘ_ｃ，Ｚ_ｃ）を通過する光線群には、次の関係が成り立つ。

Ｐ＝Ｘ_ｃｃｏｓθ―Ｚ_ｃｓｉｎθ （３）

従って、円筒記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（３）から、実空間内のある１点を通過する光線群は、Ｐ−θ空間上で正弦曲線に写像されることがわかる。

図１０には、実空間内の（Ｘ_ｃ，Ｚ_ｃ）の視点位置で観察された光線がＰ−θ空間に写像された様子を示す。なお、Ｐ−θ空間は、前に述べた５次元の光線空間の部分空間をなすものである。

この光線空間から任意の視点位置の画像を精度よく再構成するためには、本来はＱ軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともＰ−Ｑ−θ−φという４次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで、今までは、光線空間の部分空間であるＰ−θ空間（Ｐ−ｕ空間）のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。なぜなら、たとえＰ−θ空間（Ｐ−ｕ空間）だけを考えるとしても、画像を再構成するためにはＱ軸方向の画素情報が必要となるため、光線空間は３次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像の全ての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像（複数の異なる視点位置から撮像した画像）から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を基に任意の視点位置の画像を再構成するために、Ｐ−θ空間（Ｐ−ｕ空間）で式（２）および式（３）に基づいて行う計算のことである。

上記従来例では、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、Ｐ−θ空間（Ｐ−ｕ空間）と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。
特開平１０−１１１９５１号公報特開２００４−２５８７７５号公報特開２００８−１５７５６号公報

しかしながら、従来手法は縦方向の視差の情報が得られていないため、被写体を上から見下ろすような視点からの映像を合成すること等はできなかった。

本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、縦方向の視差の情報を記録しなくても縦方向の視差を再現できるようにする３次元移動の自由視点映像生成システムおよび記録媒体を提供することにある。また、他の目的は、被写体を上から見下ろすような視点からの自由視点映像を合成することができる３次元移動の自由視点映像生成システムおよび記録媒体を提供することにある。

前記した目的を達成するために、本発明は、同一平面上にある複数のカメラと該平面上にないカメラとを併用して、任意の視点の映像を生成する３次元移動の自由視点映像生成システムにおいて、前記同一平面上にある複数のカメラで撮影された多視点映像から、目的の視点と方位角が等しい前記平面上にある視点（仰角Φｈ）の映像Ｇｈを生成する手段と、前記平面上にないカメラ（仰角Φｖ）の映像Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点の映像Ｇｈとから、下記の式により、目的の視点の映像Ｇｆを生成する手段とを具備した点に特徴がある。また、光線空間を用いた点にも特徴がある。

Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）

本発明によれば、水平面上に配置されたカメラに天頂カメラを加えた多視点映像を基に、被写体を上から見下ろすような視点からの自由視点映像を合成することができるようになる。また、縦方向の視差の情報を記録しなくても縦方向の視差を再現できるようになる。すなわち、従来の自由視点映像合成のデータそのままに天頂カメラのデータを追加するだけで、３次元的な視点移動を実現することが可能になる。

以下に、図面を参照して、本発明を詳細に説明する。本発明の原理は、水平面上に配置された複数のカメラに、該水平面上にないカメラ例えば天頂カメラを加えた多視点映像を基に、被写体を上から見下ろすような視点からの自由視点映像を合成するものである。近年、天井から吊り下げられたテレビカメラ（以下、天頂カメラ）で撮影を行う機会が増えている。このように、同一平面上にないカメラを併用することにより、視点を３次元的に移動させることが可能になる。

図１は、本発明の前記原理の概略の説明図である。図１には、複数の水平配置カメラ１，２，３，４，５と１台の天頂カメラ６とで、被写体１０を取り囲んで撮影する場合の例が示されている。本発明では、目的の視点であるある仮想カメラ(1)１１からの自由視点画像（見下ろし画像）を得るために、前記仮想カメラ(1)１１と方位角が等しい前記水平面上にある視点の画像、すなわちを、仮想カメラ(2)１２からの自由視点画像を、従来手法を用いて、前記水平配置カメラ１，２，３，４，５からの画像を用いて生成する。そして、該自由視点画像と前記天頂カメラ６で撮影した画像とを例えば線形補間して、前記仮想カメラ(2)１２と天頂カメラ６を含む平面内にある仮想カメラ(1)１１からの自由視点画像（見下ろし画像）を得ようとするものである。

以下に、本発明の一実施形態を詳細に説明する。図１は、被写体１０およびその周囲および天頂に配置されたカメラ１〜６を横から見た図であり、図２は、図１を真上から見た図である。なお、図１、２は、説明を簡単化するために、複数の水平配置カメラと１台の天頂カメラで被写体を取り囲んで撮影した場合を示すが、本発明はこれに限定されるものではない。

いま、被写体１０上の一点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）に着目する。また、目的とする視点（仮想カメラ(1)１１）の位置を（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）、方位角をΘ_ｆ、仰角をΦ_ｆとし、該仮想カメラ(1)１１に対応する仮想カメラ(2)１２の位置を（Ｘ_ｈ，Ｙ_ｈ，Ｚ_ｈ）とし、天頂カメラ６の位置を（Ｘ_ｖ，Ｙ_ｖ、Ｚ_ｖ）とする。

本実施形態では、まず、水平配置カメラによる多視点映像から従来手法（例えば、光線空間法）を用いて、位置（Ｘ_ｈ，０，Ｚ_ｈ）・方位角Θ_ｆの視点からの自由視点画像（仮想カメラ(2)１２の画像）を合成する。その際、その自由視点画像を構成する各画素の奥行き値も算出しておく。

一方、図３に示されているように、下式(4)の射影変換を用いて、被写体表面の点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）が仮想カメラ(2)１２による画像のどの画素に対応するかを求める。ここで、（Ｕ_ｈ，Ｖ_ｈ）は仮想カメラ(2)１２による画像の画素座標、Ｐ_ｈは仮想カメラ(2)１２の射影行列である。

ｓ_ｈ（Ｕ_ｈ，Ｖ_ｈ，１）^Ｔ＝Ｐ_ｈ（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ，１）^Ｔ・・・(4)
また、図４に示されているように、下式(5)の射影変換を用いて、被写体表面の点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）が天頂カメラ６による画像のどの画素に対応するかを求める。ここで、（Ｕ_ｖ，Ｖ_ｖ）は天頂カメラ６による画像の画素座標、Ｐ_ｖは天頂カメラ６の射影行列である。

ｓ_ｖ（Ｕ_ｖ，Ｖ_ｖ，１）^Ｔ＝Ｐ_ｖ（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ，１）^Ｔ・・・(5)

さらに、図５に示されているように、下式(6)の射影変換を用いて、被写体表面の点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）が目的とする視点による画像（仮想カメラ(1)１１の画像）のどの画素に対応するかを求められる。ここで、（Ｕ_ｆ，Ｖ_ｆ）は仮想カメラ(1)１１による画像の画素座標、Ｐ_ｆは仮想カメラ(1)１１の射影行列である。

ｓ_ｆ（Ｕ_ｆ，Ｖ_ｆ，１）^Ｔ＝Ｐ_ｆ（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ，１）^Ｔ・・・(6)

そこで、仮想カメラ(1)１１による画像の画素座標（Ｕ_ｆ，Ｖ_ｆ）に対応する天頂カメラ６の（Ｕ_ｖ，Ｖ_ｖ）の画素値Ｇ_ｖと、前記画素座標（Ｕ_ｆ，Ｖ_ｆ）に対応する仮想カメラ(2)１２の（Ｕ_ｈ，Ｖ_ｈ）の画素値Ｇ_ｈとを内挿補間して、前記画素座標（Ｕ_ｆ，Ｖ_ｆ）の画素値Ｇ_ｆに代入することにより、目的とする視点からの画像が得られる。

すなわち、仮想カメラ(1)１１の画素値Ｇ_ｆは、下式(7)に基づき仮想視点(2)１２と天頂カメラ６の仰角（それぞれΦ_ｈおよびΦ_ｖとする）に応じた線形補間を行うことにより、算出することができる。この線形補間は、例えば光線空間を用いて行うことができる。

Ｇ_ｆ＝（Φ_ｖＧ_ｈ＋Φ_ｈＧ_ｖ）／（Φ_ｈ＋Φ_ｖ）・・・(7)

以上では、被写体１０上の一点（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）に着目して仮想カメラ(1)１１の画素値Ｇ_ｆを求める方法を説明したが、上記と同様にして被写体１０上の全ての点につき仮想カメラ(1)１１の画素値Ｇ_ｆを求めることにより、仮想カメラ(1)１１からみた被写体画像が得られることは明らかである。また、上記の実施形態では、天頂カメラを用いて説明したが、本発明は天頂カメラに限定されず、天頂以外の他の位置の平面上にないカメラであってもよいことは勿論である。

なお、前記光線空間として、平面記録光線空間、円筒記録光線空間、球面記録光線空間、あるいは局所領域分割型光線空間を用いることができる。
次に、本発明の３次元移動の自由視点映像生成方法を実現するシステム構成の概略を、図６を参照して説明する。図示されているように、本システムは、前記複数のカメラ１〜５および天頂カメラ６からの画像を入力するカメラ画像入力装置２１と、該カメラのカメラ内パラメータや実空間の複数の位置データなどが入力されるキーボードやマウスなどの入力装置２２と、本発明の要部である３次元移動の自由視点映像生成プログラムなどが格納されているメモリ２３（ＲＯＭ、ハードディスクなど）と、該メモリ２３に格納されているプログラムに従って処理手順を実行するＣＰＵ２４と、該ＣＰＵ２４の処理により作成された３次元移動の自由視点画像などを蓄積する画像データ記憶装置２５と、ディスプレイ装置（ＣＲＴ，液晶ディスプレイなど）の画像出力装置２６と、前記したそれぞれの構成要素を結合するバス２７から構成されている。なお、前記３次元移動の自由視点映像生成プログラムは、ＣＤ−ＲＯＭなどの外部記憶装置に記憶させておき、処理の実行時に該外部記憶装置を図示されていないデータ読み込み装置にセットして、ＣＰＵ２４などに供給するようにしてもよい。

前記３次元移動の自由視点映像生成プログラムは、同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、目的の視点と方位角が等しい前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とからなる。

また、他の３次元移動の自由視点映像生成プログラムは、同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、光線空間を用いて、目的の視点と方位角が等しく前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、光線空間を用いて、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とからなる。

本発明の概略の構成を示す説明図である。図１を真上から見た場合の説明図である。仮想カメラ(2)の画像の説明図である。天頂カメラの画像の説明図である。仮想カメラ(1)の画像の説明図である。本発明の３次元移動の自由視点映像生成方法を実現するシステム例のブロック図である。平面記録光線空間の説明図である。実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−ｕ空間に写像された様子を示す図である。円筒記録光線空間の説明図である。実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−θ空間に写像された様子を示す図である。

符号の説明

１〜５・・・水平配置カメラ、６・・・天頂カメラ、１０・・・被写体、１１・・・仮想カメラ(1)、１２・・・仮想カメラ(2)

Claims

同一平面上にある複数のカメラと該平面上にないカメラとを併用して、任意の視点の映像を生成する３次元移動の自由視点映像生成システムにおいて、
前記同一平面上にある複数のカメラで撮影された多視点映像から、目的の視点と方位角が等しい前記平面上にある視点（仰角Φｈ）の映像Ｇｈを生成する手段と、
前記平面上にないカメラ（仰角Φｖ）の映像Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点の映像Ｇｈとから、下記の式により、目的の視点の映像Ｇｆを生成する手段とを具備した、
ことを特徴とする３次元移動の自由視点映像生成システム。

Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）
同一平面上にある複数のカメラと該平面上にないカメラとを併用して、光線空間を用いて任意の視点の映像を生成する３次元移動の自由視点映像生成システムにおいて、
前記同一平面上にある複数のカメラで撮影された多視点映像から、光線空間を用いて、目的の視点と方位角が等しい前記平面上にある視点（仰角Φｈ）の映像Ｇｈを生成する手段と、
前記平面上にないカメラ（仰角Φｖ）の映像Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点の映像Ｇｈとから、光線空間を用いて、下記の式により、目的の視点の映像Ｇｆを生成する手段とを具備した、
ことを特徴とする３次元移動の自由視点映像生成システム。

Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）
請求項２に記載の３次元移動の自由視点映像生成システムにおいて、
前記光線空間として、平面記録光線空間を用いることを特徴とする３次元移動の自由視点映像生成システム。
請求項２に記載の３次元移動の自由視点映像生成システムにおいて、
前記光線空間として、円筒記録光線空間、または球面記録光線空間を用いることを特徴とする３次元移動の自由視点映像生成システム。
請求項４に記載の３次元移動の自由視点映像生成システムにおいて、
前記光線空間として、局所領域分割型光線空間を用いることを特徴とする３次元移動の自由視点映像生成システム。
請求項５に記載の３次元移動の自由視点映像生成システムにおいて、
前記局所領域において、視点の位置に応じて最終的に合成される前記自由視点映像内における該局所領域の視点画像の位置を移動させる処理、または視点の位置に応じて読み取る光線の情報の位置を移動させる処理をすることを特徴とする３次元移動の自由視点映像生成システム。
コンピュータに、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
前記同一平面上にある複数のカメラで撮影された多視点映像から、目的の視点と方位角が等しい前記平面上にある視点（仰角Φｈ）の映像Ｇｈを生成する工程と、
前記平面上にないカメラ（仰角Φｖ）の映像Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点の映像Ｇｈとから、下記の式により、目的の視点の映像Ｇｆを生成する工程と、
を実現するためのプログラムを記録したコンピュータ読取り可能な記録媒体。

Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）
コンピュータに、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
前記同一平面上にある複数のカメラで撮影された多視点映像から、光線空間を用いて、目的の視点と方位角が等しい前記平面上にある視点（仰角Φｈ）の映像Ｇｈを生成する工程と、
前記平面上にないカメラ（仰角Φｖ）の映像Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点の映像Ｇｈとから、光線空間を用いて、下記の式により、目的の視点の映像Ｇｆを生成する工程と、
を実現するためのプログラムを記録したコンピュータ読取り可能な記録媒体。

Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）