JP4354708B2 - 多視点カメラシステム - Google Patents
多視点カメラシステム Download PDFInfo
- Publication number
- JP4354708B2 JP4354708B2 JP2003006773A JP2003006773A JP4354708B2 JP 4354708 B2 JP4354708 B2 JP 4354708B2 JP 2003006773 A JP2003006773 A JP 2003006773A JP 2003006773 A JP2003006773 A JP 2003006773A JP 4354708 B2 JP4354708 B2 JP 4354708B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- dimensional
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多視点カメラシステムにおいて、多視点カメラに撮影された対象物の３次元形状を再構成（復元）することに関する。
【０００２】
【従来の技術】
多視点カメラシステムとは、多視点カメラシステムを構成している各カメラ（以降「多視点カメラ」という）を用いて同一の対象物を多視点から撮影し、それらの撮影した画像から対象物の３次元形状を再構成（復元）するシステムである。例えば、仮想視点から見た画像（任意視点画像）を生成するために、このような多視点カメラシステムが利用されている。
従来、このような多視点カメラシステムにおいては、各カメラの内部パラメータ（焦点距離、投影中心座標など）および外部パラメータ（カメラの３次元位置、向き（回転３自由度）など）を推定する手続である、カメラキャリブレーション（校正）を行なう必要があった（例えば非特許文献１参照）。
このカメラキャリブレーションは、対象空間中に存在する点の３次元座標と、その点が画像に投影される２次元座標との関係（以降「３次元−２次元マップ」という）を６組以上あらかじめ測定しておくことにより行なわれる。実際には、例えば、各カメラについて同時に撮影されたマーカ点から、各カメラのキャリブレーションを行なう。
【０００３】
しかしながら、カメラキャリブレーションによる手法の場合、各カメラ独立にカメラパラメータの推定を行なっているために、各カメラ間で推定されたカメラパラメータ間に、推定誤差による矛盾が発生してしまう。具体的には、各カメラで独立に推定されたカメラパラメータから計算したカメラ間のエピポーラ幾何と、各カメラに共通に見えるマーカ点から検出したカメラ間の対応関係から推定したエピポーラ幾何との間に微妙な誤差を発生してしまう。この誤差は、特に離れたカメラ間で大きい（例えば非特許文献２参照）。
また、このような多視点カメラシステムにおいては、基本的には複数のカメラ間で共通に見える点を検出して、三角測量の原理により３次元形状を再構成するものであるため、カメラ間の相対的幾何学関係を出来るだけ正確に扱うことが重要となる。一方で、多数のカメラに対して同時に３次元位置の既知なマーカ点を撮影させてキャリブレーションするのは手間がかかる。しかも、屋外のように広い撮影空間を対象とする場合に、マーカ点を広範囲にわたって正確に設置することは非常に困難である。
【０００４】
上記の問題点を解決するために、発明者らは、カメラキャリブレーションを行なわずに対象物の３次元形状を再構成できる多視点カメラシステムを提案してきた（非特許文献２および非特許文献３参照）。
この手法では、まず、多視点カメラのうち、基準となるカメラ（以降「基底カメラ」という）を任意に２台選択する。そして、これらの２台の基底カメラから他のカメラに投影されるエピポーラ線を用いて、射影グリッド空間（Projective Grid Space）と呼ばれる３次元空間を構築する。そして、この射影グリッド空間内で対象物の３次元形状を再構成する。
【０００５】
以下に、発明者らが従来提案してきた射影グリッド空間による手法を詳しく説明する。
上述したように、多視点カメラシステムにおいて対象物の３次元形状を再構成するためには、３次元形状を再構成しようとする３次元空間の各点（３次元座標）と、多視点カメラの各々の画像上に投影される点（２次元座標）との関係（３次元−２次元マップ）が必要となる。
従来の手法における多視点カメラシステムを、図１（ａ）に示す。図１（ａ）において、１１１〜１１６は多視点カメラシステムを構成している各カメラ（多視点カメラ）である。なお、多視点カメラの数は図に示されている数に限られない。従来の手法では、カメラの配置とは無関係にユークリッド空間１２０を定義し、ユークリッド空間１２０上の座標と、各カメラ（１１１〜１１６）の画像上の座標とをカメラごとに関連づけるカメラキャリブレーションが必要であった。
【０００６】
一方、発明者らが従来提案してきた、射影グリッド空間を定義した多視点カメラシステムを図１（ｂ）に示す。図１（ｂ）において、１１１〜１１６は、図１（ａ）と同様に多視点カメラシステムを構成している各カメラである。
射影グリッド空間１３０は次のように定義される。まず、数台あるカメラのうち任意の２台（この例では、カメラ１１１およびカメラ１１２）をそれぞれ基底カメラ１、基底カメラ２とする。これらの基底カメラそれぞれの視点からの中心射影によって３次元空間（射影グリッド空間）１３０を定義する。つまり、空間を定義する３軸として、基底カメラ１の画像のＸ軸およびＹ軸、そして基底カメラ２の画像のＸ軸を用いる。そして、これらの３軸をそれぞれＰ軸、Ｑ軸、Ｒ軸として、射影グリッド空間１３０を定義する。
【０００７】
射影グリッド空間内の点Ａ（ｐ，ｑ，ｒ）と各カメラの画像との関係づけを図２および図３に示す。図２は、射影グリッド空間内の点Ａ（ｐ，ｑ，ｒ）の基底カメラ画像への投影を示した図である。図２において、点２１０は基底カメラ１の視点、点２２０は基底カメラ２の視点である。また、２１２は基底カメラ１から得られる画像（画像１）、２２２は基底カメラ２から得られる画像（画像２）を示している。点ａ１（ｐ，ｑ）および点ａ２（ｒ，ｓ）は、それぞれ画像１および画像２上における点Ａの投影点である。
ここで、画像ｈの画像ｋに対する基礎行列をＦｈｋと表すものとする。このとき、点Ａ（ｐ，ｑ，ｒ）は射影グリッド空間の定義より、画像１では点ａ１（ｐ，ｑ）に投影される。また、画像２の画像１に対する基礎行列Ｆ２１を用いて点ａ１（ｐ，ｑ）を画像２に直線ｌとして投影すると、直線ｌは下記の式（１）で表される。
【数１】
射影グリッド空間の定義より、点Ａ（ｐ，ｑ，ｒ）の画像２における投影点ａ２（ｒ，ｓ）のＸ座標はｒであるから、点ａ２（ｒ，ｓ）は、直線ｌ上の、Ｘ座標がｒである点として定めることができる。
【０００８】
図３は、点Ａ（ｐ，ｑ，ｒ）の基底カメラ以外のカメラ（カメラｉ）の画像への投影を示した図である。図３において、基底カメラ１における点２１０、２１２で示されている画像１、および点ａ１（ｐ，ｑ）、基底カメラ２における点２２０、２２２で示されている画像２、および点ａ２（ｒ，ｓ）については、図２と同様である。点２３０は基底カメラ以外のカメラｉの視点であり、２３２で示されている画像はカメラｉから得られる画像ｉであり、点ａｉは画像ｉ上における点Ａの投影点である。また、Ｆｉ１は画像ｉの画像１に対する基礎行列、Ｆｉ２は画像ｉの画像２に対する基礎行列である。
【０００９】
点ａｉを決定するには、まずＦｉ１を用いて点ａ１を画像ｉに直線ｌ１として投影する。さらにＦｉ２を用いて点ａ２を画像ｉに直線ｌ２として投影する。そして、これらの２直線ｌ１とｌ２の交点が、画像ｉ上における点Ａの投影点ａｉとなる。なお、直線ｌ１およびｌ２は下記の式（２）および（３）で表される。
【数２】
【数３】
【００１０】
このように、従来提案してきた射影グリッド空間による手法では、まず、多視点カメラの中から２つの基底カメラを選び、これらの基底カメラ間での基礎行列により、３次元のグリッド位置を定義する。そして、このグリッド位置と、基底カメラ以外の多視点カメラの画像位置との関係は、基底カメラと多視点カメラとの基礎行列により記述される。
また、３次元形状の再構成は、例えばシルエット法など（非特許文献４参照）を用いて行なう。射影グリッド空間による手法においてシルエット法を用いる場合、基底カメラと多視点カメラとの基礎行列から、射影グリッド空間の任意の点が各カメラに投影される２次元位置を求め、この位置がシルエットの内部か外部かの判定を行なうことによって、対象物の３次元形状を再構成する。
３次元形状の再構成には、全カメラ数をＮとすると、２つの基底カメラ間の基礎行列と、各基底カメラとそれ以外の多視点カメラ間の基礎行列との、合計１＋（Ｎ−２）×２組の基礎行列が必要となる。
【００１１】
上述したように、発明者らが提案してきた射影グリッド空間による手法では、射影グリッド空間と画像上の点との関係を、カメラ間のエピポーラ幾何を表す基礎行列のみを用いて記述することができる。このため、多視点カメラシステムでカメラキャリブレーション（校正）を行なわなくても、対象物の３次元形状を復元することが可能である。
【００１２】
【非特許文献１】
R. Tsai: "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation RA-3, 4, pp.323-344, 1987
【非特許文献２】
斎藤英雄，金出武雄：「多数のカメラによるダイナミックイベントの仮想化」，情報処理学会研究報告「コンピュータビジョンとイメージメディア」Ｎｏ．１１９−０１６，１９９９年１１月
【非特許文献３】
斎藤英雄，木村誠，矢口悟志，稲本奈穂；「多視点映像による現実シーンの仮想化−カメラ間の射影的関係の利用による中間視点映像生成−」，情報処理学会研究報告「コンピュータビジョンとイメージメディア」Ｎｏ．１３１−００８，２００２年１月
【非特許文献４】
矢口悟志，木村誠，斎藤英雄，金出武雄：「未校正多視点カメラシステムを用いた任意視点画像生成」，情報処理学会コンピュータビジョンとイメージメディア研究会論文誌，Ｖｏｌ．４２，Ｎｏ．ＳＩＧ６（ＣＶＩＭ２），ｐｐ．９−２１，２００１年６月
【００１３】
【発明が解決しようとする課題】
しかしながら、発明者らが従来提案してきた上述の手法では、対象物を撮影するためのカメラから２台のカメラを基底カメラとして選択するため、基底カメラによって構成される３次元空間（射影グリッド空間）の各軸は透視投影の影響で直交せず、歪んだ空間となってしまう場合があった。この場合、射影グリッド空間において再構成された３次元形状にも歪みが生じてしまう。
本発明の目的は、再構成された３次元形状に歪みが生じない多視点カメラシステムを提供することである。
【００１４】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、対象物に対する複数の多視点カメラと、視線がほぼ直交するように設置した２台の基底カメラから画像を得る複数画像取得手段と、前記２台の基底カメラから得た画像から生成した、視線を座標軸とする３次元の射影グリッド空間と前記複数の多視点カメラから得た画像とを関連付ける３次元−２次元マップを、基底カメラの画像上の視線を多視点カメラの画像上に投影したエピポーラ線を用いて算出する関連付け手段と、前記複数の多視点カメラから得た画像の２次元座標と前記３次元の射影グリッド空間の３次元座標とを、前記３次元−２次元マップを利用して関連付け、前記３次元の射影グリッド空間に対象物の３次元形状を復元する復元処理手段とを備えることを特徴とする多視点カメラシステムである。
前記複数画像取得手段は、前記多視点カメラから得た画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力することを特徴としてもよい。
また、前記復元処理手段は、前記シルエット画像から、８分木モデル生成手法を用いて３次元モデルを作成することを特徴としてもよい。
また、前記復元処理手段は、８分木モデル生成手法を用いて生成された３次元モデルのボクセルのうち、内部ボクセルを除去し、対象物の色彩画像により表面ボクセルに着色することで対象物を任意視点で観察した画像を生成することを特徴としてもよい。
また、前記複数の多視点カメラは、視差画像を得ることができるステレオカメラであり、前記複数画像取得手段は、前記多視点カメラから得た視差画像および色彩画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力することを特徴としてもよい。
【００１５】
【発明の実施の形態】
以降、図を参照しながら、本発明の多視点カメラシステムの実施形態の一例を説明する。
まず、図４および図５を参照しながら、本発明において３次元空間（射影グリッド空間）を定義する手法について説明する。
次に、図６および図７を参照しながら、本発明の実施形態の構成および処理の流れを説明する。
次に、図８〜図１５を参照しながら、本実施形態において定義された射影グリッド空間で対象物の３次元形状を復元する手法について説明する。
最後に、図１６〜図２０を参照しながら、本実施形態を用いて行なった実験とその結果を示す。
【００１６】
＜射影グリッド空間の定義＞
まず、図４および図５を参照しながら、本発明において３次元空間（射影グリッド空間）を定義する手法について説明する。
上述したように、発明者らが従来提案してきた射影グリッド空間による手法では、多視点カメラのうち任意の２台を基底カメラとして選択し、これら２台の基底カメラを用いて３次元座標系を構成していた。
本発明では、従来手法の問題点であった歪みを解消するために、２台の基底カメラを多視点カメラとは別に用意して３次元座標系を構成する。図４は本発明におけるカメラ配置の例を示したものである。
【００１７】
図４において、ステレオカメラ４１１〜４１４は、多視点カメラである。本発明では、これらの多視点カメラ４１１等に対して、別途用意した基底カメラ４３１および４３２を配置する。
基底カメラ４３１および４３２は、焦点距離をほぼ無限遠にして使用する。また、図４に示しているように、これら２つの基底カメラの視線（ｒ軸とｐ軸）がほぼ直交するように配置し、対象空間をできるだけ大きく捕えることができるよう、遠くに配置する。これにより、これら２つの基底カメラの視線で構成される座標軸の歪みを軽減することができる。
なお、本発明において基底カメラ４３１および４３２は、単に３次元座標系を構成するためにのみ用いられる。このため、動きのある対象物を撮影するような場合であっても、基底カメラ４３１および４３２には、動画像の撮影には向かないが空間解像度に優れているカメラを用いることが可能である。その結果、対象空間の解像度を向上することもできる。
【００１８】
図５に、本発明において定義される射影グリッド空間を示す。この射影グリッド空間において、基底カメラと多視点カメラとを基礎行列によって関連付ける手法は、発明者らが従来提案してきた上述の手法とほぼ同様である。
２台の基底カメラをそれぞれ基底カメラ１、基底カメラ２とする。図５において、点５１０および点５２０はそれぞれ基底カメラ１および基底カメラ２の視点である。ここで、射影グリッド空間上の点Ｐ（ｐ，ｑ，ｒ）は、基底カメラ１の画像５１２上の点ｐ１（ｐ，ｑ）と基底カメラ２の画像５２２上の点ｐ２（ｒ，ｙ）の２点によって定義される。ここで、点ｐ２（ｒ，ｙ）は、基底カメラ１の視点５１０から点ｐ１を通る基底カメラ１の視線を、基底カメラ２の画像５２２上に投影したエピポーラ線上の点である。このエピポーラ線は、上述の式（１）で表される。点ｐ２の座標ｙは、このエピポーラ線の一次方程式で求められる。
【００１９】
次に、射影グリッド空間と各カメラで撮影される画像とを関連付ける３次元−２次元マップを算出する。画像５３２上の直線ｌ１は、基底カメラ１の画像５１２上の点ｐ１を通る基底カメラ１の視線を、カメラｉの画像５３２上に投影したエピポーラ線である。エピポーラ線ｌ１は、上述の式（２）で表される。同様に、直線ｌ２は基底カメラ２の画像上の点ｐ２を通る基底カメラ２の視線を、カメラｉの画像上に投影したエピポーラ線である。エピポーラ線ｌ２は、上述の式（３）で表される。
このようにして求められたエピポーラ線ｌ１とｌ２の交点が、射影グリッド空間上の点Ｐ（ｐ，ｑ，ｒ）に対応するカメラｉの画像５３２上の点ｐｉ（ｕｉ，ｖｉ）である。
同様にして、射影グリッド空間と全ての多視点カメラの画像との３次元−２次元マップを算出する。この３次元−２次元マップは、ルックアップ表として保存される。このルックアップ表は、後述の対象物の３次元形状を再構成する処理において、射影グリッド空間上の３次元座標を多視点カメラの画像上の２次元座標に変換する際に参照される。
【００２０】
従来は、この３次元−２次元マップを算出するために、少なくとも対象空間における６つの３次元座標を定義し、それらの座標を各カメラの画像へ投影して、カメラパラメータを推定する（カメラキャリブレーションを行なう）必要があった。しかしながら、特に対象空間が広大である場合には、空間内の３次元座標を測定してカメラキャリブレーションを行なうのは非常に困難である。本発明の手法によれば、エピポーラ線を算出するのみでよいため、各カメラの画像上で２次元の座標を測定すれば足りる。このため、対象空間が広大である場合であっても、測定に費やす労力は増大しない。さらに、本実施形態の射影グリッド空間は歪みがほとんどない。なぜなら、この空間の座標軸は２台の基底カメラの視線により構成されているが、この視線は直交していることが前提だからである。
【００２１】
＜本実施形態の構成および処理の流れ＞
次に、図６および図７を参照しながら、本発明の多視点カメラシステムの実施形態の構成および処理の流れを説明する。
図６は、本実施形態の多視点カメラシステムのシステム構成の例を示す図である。また、図７は本実施形態の多視点カメラシステムで任意視点画像を生成する処理の流れを示したフローチャートである。本実施形態では４台の多視点カメラからなる多視点カメラシステムを例として説明するが、カメラの台数はこれに限られない。また、各々の処理の内容は後で詳しく説明する。
【００２２】
図６において、４台のステレオカメラ（６１１〜６１４）、４台のＰＣ（６２１〜６２４）、１台のホストＰＣ６３０、モニタ６４０がＬＡＮで接続されている。本実施形態ではこのほかに、３次元座標系を構成するために２台のカメラを基底カメラとして使用する。
４台のステレオカメラ６１１等には、色彩画像とともに視差画像を撮ることのできるタイプのものを用いる。ステレオカメラ６１１等は、それぞれ画像キャプチャ用の４台のＰＣ６２１等に接続されている。画像キャプチャ用のＰＣ６２１等と接続しているホストＰＣ６３０は、任意視点画像を生成する処理などを行なうホストＰＣである。
まず、ステレオカメラ６１１等により、対象物が撮影される（図７のＳ７１０）。ＰＣ６２１等は、ステレオカメラ６１１等が撮影した画像からシルエット（輪郭）を抽出し、シルエット画像を生成する（Ｓ７２０）。この処理は画像キャプチャ用のＰＣ６２１等でローカルに行なわれる。
【００２３】
本実施形態では、シルエットを抽出するために色彩画像と視差画像の両方を用いる。その結果、画像の背景を効果的に除去することができる。一方、撮影した画像の視差値は３次元形状の再構成に使用するには粗い値であるため、３次元形状の再構成の際には視差画像は用いない。
色彩画像および上述のＳ７２０で生成されたシルエット画像は、画像キャプチャ用のＰＣ６２１等においてＪＰＥＧ圧縮され、ホストＰＣ６３０に送信される。これらの画像は３次元形状の再構成の処理で用いられる。
次に、ホストＰＣ６３０で３次元形状の再構成（復元）を行なう。３次元形状の再構成においては、まず、８分木モデルの生成を行なう（Ｓ７３０）。８分木モデルの生成には、シルエット法による形状生成手法とともに、８分木生成アルゴリズム（octree generation algorithm）の手法を用いる。この手法によれば、処理時間を短縮することができる。次に、８分木モデルからボクセルモデルを生成する（Ｓ７４０）。次に、内部ボクセルの除去を行なう（Ｓ７５０）。内部ボクセルの除去を行なうのは、最終的な任意視点画像の表示には表面ボクセルのみで足りるからである。最後に表面ボクセルに彩色（Ｓ７６０）すれば、任意視点画像が完成する。生成された任意視点画像は、例えばモニタ６４０に出力される。
【００２４】
＜３次元形状の復元＞
次に、図８〜図１５を参照しながら、多視点カメラに撮影された対象物の画像を用いて、基底カメラにより構成された射影グリッド空間で対象物の３次元形状を再構成し、任意視点画像を生成する手法について説明する。
【００２５】
（シルエット画像の生成）
対象物の３次元形状を再構成する前に、まず、本実施形態の各ステレオカメラで撮影された画像から背景を除去してシルエット画像を生成する（図７のＳ７２０に示す処理）。
上述したように、本実施形態では、シルエット画像を生成する際に、各ステレオカメラで撮影された色彩画像だけでなく、視差画像も使用する。色彩画像のみでは、鏡面反射や影が、生成されるシルエット画像に影響を及ぼすからである。一方、視差画像のみを用いた場合ではこれらの影響はほとんどないが、粗いシルエットしか得ることができない。このため、本実施形態では色彩画像と視差画像の両方の情報を用いて背景除去を行なう。
【００２６】
背景画像の画素（ｘ，ｙ）について色彩（color）をｃｂ（ｘ，ｙ），視差値（disparity value）をｄｂ（ｘ，ｙ）で表し、対象物を含む画像の画素（ｘ，ｙ）の色彩をｃｃ（ｘ，ｙ），視差値をｄｃ（ｘ，ｙ）で表すとすると、本実施形態では下記の擬似コードに示す処理でシルエットを生成する。
ここで、ｐ（ｘ，ｙ）はシルエット画像の画素の状態を表す。ｔｈＤは視差（disparity）の閾値で、対象物を含む画像と背景画像の視差の差分値がｔｈＤ以下なら背景（NOT_SILHOUETTE）と判定し、それ以外なら色彩（color）を使った判定を行う。色彩の判定に用いる閾値はｔｈＵ，ｔｈＬの２種類あり、対象物を含む画像と背景画像の色彩（color）の差分値が、前者のｔｈＵより大きければシルエット内部（SILHOUETTE）と判定し、後者のｔｈＬより小さければ背景（NOT_SILHOUETTE）と判定する。それ以外の場合、つまり色彩（color）の差分値が、ｔｈＵ以下ｔｈＬ以上になる場合は、色差θを使った判定を行う。この判定では、色差がｔｈＡ以上の場合はシルエット内部（SILHOUETTE）と判定し、それ以外の場合は背景（NOT_SILHOUETTE）と判定する。
【００２７】
上述の手法を用いてシルエット画像を生成する様子を、図８〜図１０に示す。
図８および図９は、ステレオカメラにより撮影された色彩画像および視差画像である。図８（ａ）はシルエット画像生成の対象物（人物）を含む色彩画像、図８（ｂ）はシルエット画像生成の対象物を含まない（背景のみの）色彩画像である。また、図９（ａ）はシルエット画像生成の対象物（人物）を含む視差画像、図９（ｂ）はシルエット画像生成の対象物を含まない（背景のみの）視差画像である。
図１０（ａ）は、図９の視差画像を用いず、図８の色彩画像のみを用いて生成されたシルエット画像である。一方、図１０（ｂ）は図８の色彩画像および図９の視差画像を用いて（すなわち本実施形態における手法を用いて）生成されたシルエット画像である。
図１０の（ａ）と（ｂ）を比較すると、図１０（ａ）では、図８（ａ）に写り込んでいる人物の影が、シルエット画像の人物の足周りに影響している（人物の影も、シルエットとして抽出されてしまっている）のがわかる。一方、視差画像は影に影響されないため、図１０（ｂ）のシルエット画像には影の影響はなく、人物のみがシルエットとして抽出されている。
【００２８】
（シルエット画像からの３次元形状の生成）
次に、３次元形状の再構成を行なうためにシルエット画像からの３次元形状の生成を行なう。本実施形態では、射影グリッド空間と各カメラで撮影された画像との関連付けにより、８分木データ構造を用いてシルエットから３次元形状を生成する（図７のＳ７３０に示す処理）。なお、８分木モデルの生成については後述する。
従来手法であるユークリッド空間を用いた場合、シルエット画像の透視投影により円錐形モデルが多数生成される。そして、結果として生成される３次元形状は全ての円錐形モデルの共通部分である。すなわち、下記の式（４）によりシルエット画像から３次元形状が生成される。
【数４】
ここで、Ｉは全てのシルエット画像の組であり、ｉはその組の中にあるひとつのシルエット画像である。Ｖｉはｉ個目のシルエット画像から生成される形状モデルである。
【００２９】
一般的に、ユークリッド空間においては、各ボクセルを全てのシルエット画像に投影させることにより、そのボクセルがシルエットの内部にあるか外部にあるかを判断する。そして、ひとつの画像においてボクセルがシルエットの外部にあれば、そのボクセルは対象物の一部ではない。一方、ボクセルが全ての画像においてシルエットの内部にあれば、そのボクセルは対象物の一部であると判断される。
このシルエット法を、本実施形態の射影グリッド空間を用いた場合にあてはめると、透視投影による変換の代わりに、あらかじめ用意しておいた上述のルックアップ表を用いて、射影グリッド空間における３次元座標を画像上の２次元座標に変換する。この変換は、上述のように、基礎行列によってあらかじめ射影グリッド空間と各カメラ画像との関連付けを行なっているために可能である。
【００３０】
（８分木モデルの生成）
上述した８分木データ構造は、対象とする３次元空間全体（ユニバーサル・スペースと呼ぶ）を再帰的に８分割（縦、横、奥行き方向にそれぞれ２分割）していくことにより生成される８分木モデルである。
８分割された空間の中のひとつの領域（オクタント）を構成するボクセルのタイプがすべて同じになった場合には、そのオクタントはそれ以上分割しない。それ以外の場合には、そのオクタントはさらに８つの立方体に分割され、場合によっては単一のボクセルにまで分割されることになる。
【００３１】
図１１は、対象空間から８分木モデルを生成する様子を示したものである。
図１１（ａ）は、図１１（ｂ）に示す対象空間１１５０から生成された８分木である。この８分木の各ノード（１１００，１１１０，１１２０，１１３０等）は、図１１（ｂ）で再帰的に分割された各空間に対応している。レベル０に示されているノード（１１００）は空間全体に対応している。レベル１に示されている８個のノード（１１１０等）はそれぞれ１回目の分割による８個の空間に対応している。同様に、レベル２は２回目の分割による空間、レベル３は３回目の分割による空間に対応している。
また、ノードの色は、その空間が対象物であるかを示している。空間に対象物を含まない（背景のみである）場合には対応するノードを黒色で表す。また、空間全体が対象物である場合には対応するノードを白色で表す。空間の一部に対象物を含む場合には対応するノードを灰色で表す。そして、空間の一部に対象物を含む場合は、その空間をさらに８分割する。なお、その空間が対象物であるかを判断する手法は後述で説明する。
【００３２】
上述したノードと空間との対応により図１１（ａ）および（ｂ）を参照すると、空間全体（１１５０）はその一部に対象物を含むため、ノード１１００は灰色で表される。この場合、空間１１５０は８分割（縦、横、奥行き方向にそれぞれ２分割）される。
８分割された空間のうち、図１１（ｂ）において対象物１１６２を含むオクタントおよび対象物１１６４を含むオクタントは、対象物のみのオクタントであるため、それ以上分割されない。図１１（ａ）においてこれらのオクタントに対応しているノードは黒色で表される。
一方、対象物１１７２を含むオクタントおよび対象物１１７４，１１８２を含むオクタントは、一部に対象物を含むオクタントであるため、さらに８分割される。図１１（ａ）においてこれらのオクタントに対応しているノードは灰色で表される。
それ以外のオクタントは対象物を含まない（背景のみである）ため、それ以上分割されない。図１１（ａ）においてこれらのオクタントに対応しているノードは白色で表される。
こうして、その一部に対象物を含む空間がなくなるまで（対応するノードが全て黒色か白色のいずれかになるまで）、空間の分割を再帰的に繰り返す。
【００３３】
空間をオクタントに分割し、全てのシルエット画像に変換するにあたって、本実施形態では下記のような手法を用いる。
まず、オクタントの８頂点を画像平面内座標へ変換し、その立方体の画像内領域を探索することで、対象としている立方体が対象物を表すかどうかを調べていく。このとき、画像内領域は長方形になるとは限らない。そこで本実施形態のシステムでは、計算量削減のため、立方体の画像内領域を囲む最小の長方形を探索領域として、インターセクション・チェックを行なってオクタントの属性（キューブ・タイプ）を調べる。
【００３４】
図１２はインターセクション・チェックを説明した図である。図１２（ａ）〜（ｃ）はシルエット画像であり、黒く示された部分（１２１０）は背景、灰色で示された部分（１２２０）は対象物のシルエットである。また、矩形１２３２，１２３４，および１２３６は、チェック対象の矩形領域である。
図１２（ｂ）に示すように、ある画像におけるチェック対象の矩形領域１２３４がシルエットと背景からなる場合には、その領域に対応する空間（オクタント）のキューブ・タイプは”ＧＲＡＹ”であると仮定される。なお、キューブ・タイプが”ＧＲＡＹ”であるとは、その空間の一部に対象物を含んでいることを意味する。
また、図１２（ａ）に示すように、チェック対象の矩形領域１２３２の全ての画素が背景である場合には、その領域に対応する空間のキューブ・タイプは”ＢＬＡＣＫ”であると仮定される。キューブ・タイプが”ＢＬＡＣＫ”であるとは、その空間全体が背景からなることを意味する。
一方、図１２（ｃ）に示すように、チェック対象の矩形領域１２３６の全ての画素がシルエットである場合には、その領域に対応する空間のキューブ・タイプは”ＷＨＩＴＥ”であると仮定される。キューブ・タイプが”ＷＨＩＴＥ”であるとは、その空間全体が対象物からなることを意味する。
【００３５】
ある画像における矩形領域のインターセクション・チェックの結果、キューブ・タイプが”ＢＬＡＣＫ”であると仮定されると、シルエット法の概念に基づいて、この空間のキューブ・タイプは”ＢＬＡＣＫ”であると確定される。
それ以外の場合には、その空間の立方体に対して、他の全ての画像が参照されるまでインターセクション・チェックを続行する。
全ての画像が参照されると、その空間のキューブ・タイプが確定する。全ての画像において、仮定されたキューブ・タイプが”ＷＨＩＴＥ”である場合には、その空間のキューブ・タイプは”ＷＨＩＴＥ”であると確定される。それ以外の場合には”ＧＲＡＹ”であると確定される。”ＧＲＡＹ”であると確定された場合、その空間に対して仮定されたキューブ・タイプは全て保存され、以降の処理でも参照する。これにより、計算時間を短縮することができる。
【００３６】
図１３（ａ）（ｂ）は、ある空間のキューブ・タイプが”ＧＲＡＹ”であると確定された場合に、上記により保存された仮定キューブ・タイプを後続の処理で参照する様子を示したものである。ここでは、対象モデルを４台のカメラ（カメラ１〜カメラ４）で捕らえた場合（４つのシルエット画像に対してインターセクション・チェックを行なう場合）で説明する。
図１３（ａ）は４つのシルエット画像に対してインターセクションを行なった結果を、カメラごとにスタックで示している。図中の”Ｗ”は”ＷＨＩＴＥ”を、”Ｇ”は”ＧＲＡＹ”を、”？”は不明（これからチェックされる）であることを示している。図１３（ａ）は４つのシルエット画像に対してインターセクション・チェックを行なった結果を、空間（キューブ）ごとに８分木で示している。
【００３７】
図１３において、親ノード１３５２の仮定キューブ・タイプが、１３１２に示すように、カメラ１の画像で”ＷＨＩＴＥ”，カメラ２の画像で”ＷＨＩＴＥ”，カメラ３の画像で”ＧＲＡＹ”，カメラ４の画像で”ＧＲＡＹ”であった場合、その親ノード１３５２に対応する空間のキューブ・タイプは”ＧＲＡＹ”であると確定する。この場合、この空間の立方体は８分割され、それぞれが８分木の子ノード（１３５４等）となる。ここで、子ノード１３５４等においても、カメラ１およびカメラ２の画像における仮定キューブ・タイプは”ＷＨＩＴＥ”であることが確定し（１３１４を参照）、カメラ１およびカメラ２の画像についてはインターセクション・チェックを再び行なう必要はない。
このように、親ノードの仮定キューブ・タイプを保存しておき、子ノードの処理の際に参照することで、処理の無駄を省くことができる。
【００３８】
キューブ・タイプが確定すると、キューブ・タイプによって後工程が分かれる。キューブ・タイプが”ＢＬＡＣＫ”または”ＷＨＩＴＥ”で確定した場合は、対応する空間をそれ以上分割する必要はない。すなわち、その時点で８分木の各ノードはそのまま葉節点となる。一方、キューブ・タイプが”ＧＲＡＹ”で確定した場合には、対応する空間はさらに８分割される。すなわち、対応する８分木のノードは８つの子ノードを持つことになる。ある空間に対して上記の処理が終了したら、他の空間についても同様の処理を再帰的に繰り返す。
なお、８分木の手法については、例えば M. Potmesil, "Generating octree models of 3D objects from their silhouettes in a sequence of images", Computer Vision, Graphics, and Image Processing, vol. 40, pp. 1-29, 1987 等を参照されたい。
【００３９】
（内部ボクセルの除去）
８分木構造の生成が終了したら、画像表示のために８分木モデルをボクセルモデルに変換する。８分木のそれぞれのノードについて、２３ｎ個（ｎは８分木のレベル数である）のボクセルがある。これらのボクセル全てを最終的な表示対象として処理すると、多大な処理時間を要する。この問題を避けるために、本実施形態では、対象物の内部に対応している内部ボクセルを処理対象から除去し、対象物の表面に対応している表面ボクセルのみを着色して表示する。なお、これらの処理は、図７のＳ７４０〜Ｓ７６０に示す処理である。
本実施形態において内部ボクセルを除去する様子を、図１４（ａ）（ｂ）に示す。図１４（ａ）において、１４００で示された対象空間内に１４１０等の立方体で示された対象物がある。この対象物を表現した８分木は、上述の図１１に示したように、最大レベル数は３であった。図１４（ｂ）では、対象物をレベル数３の分割に対応するボクセル（１４３０等）で示している。後続の着色処理においては、これらのボクセルのうち、対象物の表面を構成している表面ボクセルのみを着色の対象とすればよく、表面を構成していない内部ボクセルは除去してよい。
【００４０】
あるボクセル（ボクセルｖ）が内部ボクセルであるか表面ボクセルであるかは、次のようにして判断する。
ボクセルｖの６つの面と隣り合うボクセルのうち１つ以上のボクセルが、対象物の含まれていない空のボクセルである場合、ボクセルｖは表面ボクセルである。それ以外の場合、ボクセルｖは内部ボクセルである。
以降の処理（ボクセルモデルの着色）においては、表面ボクセルのみを処理の対象とする。
【００４１】
（ボクセルモデルの着色）
次に、３次元形状の表面ボクセルに着色する。本実施形態では、実際に各カメラで撮影された画像のうち２つの画像を選択し、それらの画像上の画素をもとに、表面ボクセルの色を動的に決定する。どの画像を選択するかは、任意視点の位置により決定される。
表面ボクセルの色を決定する手法を、図１５および下記の式（５）を用いて説明する。
【数５】
【００４２】
図１５および上記の式（５）において、θはカメラｉと任意視点との水平角、φはカメラ（ｉ＋１）と任意視点との水平角である。色彩の混合の重みはこれらの角度によって決定される。対象物１５４０上の点Ｐが、前述で生成されたルックアップ表によりカメラｉの画像１５１０上の点ｐ１およびカメラ（ｉ＋１）の画像１５２０上の点ｐ２に変換される。点ｐ１の色彩（color）をｃ（ｐ１）、点ｐ２の色彩（color）をｃ（ｐ２）、任意視点の画像１５３０上において点ｐ１および点ｐ２と対応する点ｐの色彩（color）をｃ（ｐ）とすると、上記の式（５）により、ｃ（ｐ）を算出することができる。
上述により表面ボクセルへの着色を行なえば、任意視点における３次元形状を表示することができる。
なお、ボクセルに対する処理については、例えば G. K. M. Cheung, T. Kanade, J. Y. Bouguet, and M. Holler, "A real time system for robust 3D voxel recostruction of human motions", CVPR 2000 IEEE Comput. Soc, Los Alamitos, CA, USA, vol. 2, pp. 714-729, 2000 等を参照されたい。
【００４３】
＜本実施形態を用いた実験結果＞
最後に、本実施形態を用いて行なった実験とその結果を図１６〜図２０に示す。
この実験は、以下の条件で行なった。
・ボクセル数：２５６×２５６×２５６（個）
・８分木の最大レベル数：８
・画像の解像度：３２０×２４０ピクセル
・色彩の深度：２４ビット
・視差の深度：８ビット
【００４４】
なお、この実験は図６に示すような４台のステレオカメラ（カメラ１〜カメラ４とする）を用いた多視点カメラシステムを用いて行なった。
図１６はこの実験において各処理に要した時間を示した図である。
図１６において "Camera PC" で示されている４本の時間軸は、多視点カメラと接続している画像キャプチャ用ＰＣの処理を時間軸で示している。また "Host PC" で示されている時間軸は、ホストＰＣにおける処理を時間軸で示している。
【００４５】
"Capture" の処理は、ステレオカメラで対象モデルを撮影して画像キャプチャ用ＰＣに保存する処理であり、この処理は５０ミリ秒で行なわれている。
"Disparity image generation" は視差画像を生成する処理であり、この処理は１００ミリ秒で行なわれている。
"Silhouette image generation" はシルエット画像を生成する処理であり、この処理は７０ミリ秒で行なわれている。
"Image transfer" の処理は、色彩画像とシルエット画像をＪＰＥＧ圧縮してホストＰＣに送信する処理である。この処理は１００ミリ秒で行なわれている。
"3D shape reconstruction" の処理は、シルエット画像から８分木モデルを生成する処理である。この処理は１２０ミリ秒で行なわれている。なお、本実施形態の８分木生成アルゴリズムを使用しないでこの処理を実行した場合には５２０ミリ秒を要した。本実施形態の８分木生成アルゴリズムにより処理速度が向上していることがわかる。
"Display" の処理は、８分木モデルからボクセルモデルを生成し、内部ボクセルを除去し、表面ボクセルに色彩を施す処理である。この処理は１００ミリ秒で行なわれている。
【００４６】
図１７（ａ）〜（ｄ）は、４台のステレオカメラで捕らえた実際の画像である。（ａ）はカメラ１の画像、（ｂ）はカメラ２の画像、（ｃ）はカメラ３の画像、（ｄ）はカメラ４の画像である。
図１８（ａ）〜（ｌ）は、図１７に示した画像をもとに、本実施形態の手法を用いて生成された任意視点の画像である。（ａ）〜（ｄ）はカメラ１とカメラ２の中間視点における生成画像であり、画像の下に示された１０：０，７：３などの比率は、上述で示した色彩の混合の重みである。同様に、（ｅ）〜（ｈ）はカメラ２とカメラ３の中間視点における画像、（ｉ）〜（ｌ）はカメラ３とカメラ４の中間視点における画像である。
図１８の各画像に示すように、本実施形態の射影グリッド空間による手法を用いれば、カメラキャリブレーションが必要な従来のユークリッド空間による手法と同程度の画像を生成できる。
【００４７】
図１９および図２０は、発明者らが従来提案してきた射影グリッド空間による手法（多視点カメラから任意の２台を基底カメラとする手法）を用いた処理結果と、本実施形態の射影グリッド空間による手法を用いた処理結果とを比較する実験を示したものである。
図１９（ａ）〜（ｄ）は、それぞれカメラ１〜４により撮影された画像である。被写体となっている二人の人物Ａ，Ｂは、実際にはほぼ同じ身長である。
図２０（ａ）および（ｂ）は、処理の結果を示した図である。図２０（ａ）は、カメラ１およびカメラ４を基底カメラとして（すなわち、従来の射影グリッド空間の手法により）生成された画像である。一方、図２０（ｂ）は別途２台のカメラを基底カメラとして（すなわち、本実施形態の射影グリッド空間の手法により）生成された画像である。
【００４８】
カメラ１とカメラ４から定義された射影グリッド空間の歪みの影響で、図２０（ａ）の画像にも歪みが生じている。被写体の２人の人物Ａ，Ｂは実際にはほぼ同じ身長であるのに、３次元形状が再構成された図２０（ａ）においては、人物Ａの身長は１７８ボクセル、人物Ｂの身長は１５８ボクセルとなっており、差が生じている。
これに対し、図２０（ｂ）においては人物ＡおよびＢは実際と同様にほぼ同じ身長（Ａが２０９ボクセル、Ｂが２０１ボクセル）で再構成されている。なぜなら、本実施形態の手法によれば、２台の基底カメラのエピポーラ線はほぼ平行になるため、歪みがほとんど生じないからである。
また、図２０（ａ）上の白線は、射影グリッド空間におけるｐ−ｒ平面の断面を表している。ｐ−ｒ平面上の直線は、図１９の各画像上でエピポーラ線として表示されている。図１９（ａ）〜（ｃ）上では白線、図１９（ｄ）上では白い点として示されている。しかしながら、図２０（ａ）においては、人物Ｂはｐ−ｒ平面を表す白線上に立っているが、人物Ａは足が白線より下に出てしまっている。
一方、図２０（ｂ）上の白線も、図２０（ａ）と同様に射影グリッド空間におけるｐ−ｒ平面の断面を表しているが、人物Ａ，Ｂともｐ−ｒ平面を表す白線上に立っている。
【００４９】
【発明の効果】
本発明では、多視点カメラとは別に、透視投影の歪みを無視できるような２台のカメラを別途用意して、これら２台のカメラを基底カメラとし、多視点カメラと２台の基底カメラとのエピポーラ幾何を利用して、基底カメラにより構成された３次元座標系において対象物の３次元形状を再構成（復元）する。これにより、再構成された３次元形状の歪みを防ぐことができる。
【図面の簡単な説明】
【図１】（ａ）対象空間をユークリッド空間で定義した従来の多視点カメラシステムの例を示す図である。
（ｂ）対象空間を射影グリッド空間で定義した従来の多視点カメラシステムの例を示す図である。
【図２】射影グリッド空間内の点Ａの基底カメラ画像への投影を示す図である。
【図３】射影グリッド空間内の点Ａの基底カメラ以外のカメラ画像への投影を示す図である。
【図４】本発明におけるカメラ配置の例を示す図である。
【図５】本発明において定義される射影グリッド空間を示す図である。
【図６】本実施形態における多視点カメラシステムのシステム構成の例を示す図である。
【図７】本実施形態の処理の流れを示したフローチャートである。
【図８】（ａ）対象物（人物）を含む色彩画像である。
（ｂ）対象物を含まない（背景のみの）色彩画像である。
【図９】（ａ）対象物（人物）を含む視差画像である。
（ｂ）対象物を含まない（背景のみの）視差画像である。
【図１０】（ａ）視差画像を用いず、色彩画像のみを用いて生成されたシルエット画像である。
（ｂ）色彩画像および視差画像を用いて生成されたシルエット画像である。
【図１１】８分木モデルを生成する様子を示す図である。
【図１２】インターセクション・チェックの手法を説明する図である。
【図１３】（ａ）インターセクション・チェックの結果をカメラごとのスタックで示す図である。
（ｂ）インターセクション・チェックの結果を空間ごとの８分木で示す図である。
【図１４】（ａ）（ｂ）内部ボクセルを除去する手法を説明する図である。
【図１５】表面ボクセルの色を決定する手法を説明する図である。
【図１６】本実施形態を用いた実験において、各処理に要した時間を示す図である。
【図１７】（ａ）〜（ｄ）本実施形態を用いた実験において、それぞれ４台のステレオカメラで捕らえた画像である。
【図１８】（ａ）〜（ｌ）図１７の画像をもとに、本実施形態の手法を用いて生成された任意視点画像である。
【図１９】（ａ）〜（ｄ）本実施形態を用いた実験において、それぞれ４台のステレオカメラで捕らえた画像である
【図２０】（ａ）カメラ１およびカメラ４を基底カメラとして生成された任意視点画像である。
（ｂ）別途２台のカメラを基底カメラとして生成された任意視点画像である。
【発明の属する技術分野】
本発明は、多視点カメラシステムにおいて、多視点カメラに撮影された対象物の３次元形状を再構成（復元）することに関する。
【０００２】
【従来の技術】
多視点カメラシステムとは、多視点カメラシステムを構成している各カメラ（以降「多視点カメラ」という）を用いて同一の対象物を多視点から撮影し、それらの撮影した画像から対象物の３次元形状を再構成（復元）するシステムである。例えば、仮想視点から見た画像（任意視点画像）を生成するために、このような多視点カメラシステムが利用されている。
従来、このような多視点カメラシステムにおいては、各カメラの内部パラメータ（焦点距離、投影中心座標など）および外部パラメータ（カメラの３次元位置、向き（回転３自由度）など）を推定する手続である、カメラキャリブレーション（校正）を行なう必要があった（例えば非特許文献１参照）。
このカメラキャリブレーションは、対象空間中に存在する点の３次元座標と、その点が画像に投影される２次元座標との関係（以降「３次元−２次元マップ」という）を６組以上あらかじめ測定しておくことにより行なわれる。実際には、例えば、各カメラについて同時に撮影されたマーカ点から、各カメラのキャリブレーションを行なう。
【０００３】
しかしながら、カメラキャリブレーションによる手法の場合、各カメラ独立にカメラパラメータの推定を行なっているために、各カメラ間で推定されたカメラパラメータ間に、推定誤差による矛盾が発生してしまう。具体的には、各カメラで独立に推定されたカメラパラメータから計算したカメラ間のエピポーラ幾何と、各カメラに共通に見えるマーカ点から検出したカメラ間の対応関係から推定したエピポーラ幾何との間に微妙な誤差を発生してしまう。この誤差は、特に離れたカメラ間で大きい（例えば非特許文献２参照）。
また、このような多視点カメラシステムにおいては、基本的には複数のカメラ間で共通に見える点を検出して、三角測量の原理により３次元形状を再構成するものであるため、カメラ間の相対的幾何学関係を出来るだけ正確に扱うことが重要となる。一方で、多数のカメラに対して同時に３次元位置の既知なマーカ点を撮影させてキャリブレーションするのは手間がかかる。しかも、屋外のように広い撮影空間を対象とする場合に、マーカ点を広範囲にわたって正確に設置することは非常に困難である。
【０００４】
上記の問題点を解決するために、発明者らは、カメラキャリブレーションを行なわずに対象物の３次元形状を再構成できる多視点カメラシステムを提案してきた（非特許文献２および非特許文献３参照）。
この手法では、まず、多視点カメラのうち、基準となるカメラ（以降「基底カメラ」という）を任意に２台選択する。そして、これらの２台の基底カメラから他のカメラに投影されるエピポーラ線を用いて、射影グリッド空間（Projective Grid Space）と呼ばれる３次元空間を構築する。そして、この射影グリッド空間内で対象物の３次元形状を再構成する。
【０００５】
以下に、発明者らが従来提案してきた射影グリッド空間による手法を詳しく説明する。
上述したように、多視点カメラシステムにおいて対象物の３次元形状を再構成するためには、３次元形状を再構成しようとする３次元空間の各点（３次元座標）と、多視点カメラの各々の画像上に投影される点（２次元座標）との関係（３次元−２次元マップ）が必要となる。
従来の手法における多視点カメラシステムを、図１（ａ）に示す。図１（ａ）において、１１１〜１１６は多視点カメラシステムを構成している各カメラ（多視点カメラ）である。なお、多視点カメラの数は図に示されている数に限られない。従来の手法では、カメラの配置とは無関係にユークリッド空間１２０を定義し、ユークリッド空間１２０上の座標と、各カメラ（１１１〜１１６）の画像上の座標とをカメラごとに関連づけるカメラキャリブレーションが必要であった。
【０００６】
一方、発明者らが従来提案してきた、射影グリッド空間を定義した多視点カメラシステムを図１（ｂ）に示す。図１（ｂ）において、１１１〜１１６は、図１（ａ）と同様に多視点カメラシステムを構成している各カメラである。
射影グリッド空間１３０は次のように定義される。まず、数台あるカメラのうち任意の２台（この例では、カメラ１１１およびカメラ１１２）をそれぞれ基底カメラ１、基底カメラ２とする。これらの基底カメラそれぞれの視点からの中心射影によって３次元空間（射影グリッド空間）１３０を定義する。つまり、空間を定義する３軸として、基底カメラ１の画像のＸ軸およびＹ軸、そして基底カメラ２の画像のＸ軸を用いる。そして、これらの３軸をそれぞれＰ軸、Ｑ軸、Ｒ軸として、射影グリッド空間１３０を定義する。
【０００７】
射影グリッド空間内の点Ａ（ｐ，ｑ，ｒ）と各カメラの画像との関係づけを図２および図３に示す。図２は、射影グリッド空間内の点Ａ（ｐ，ｑ，ｒ）の基底カメラ画像への投影を示した図である。図２において、点２１０は基底カメラ１の視点、点２２０は基底カメラ２の視点である。また、２１２は基底カメラ１から得られる画像（画像１）、２２２は基底カメラ２から得られる画像（画像２）を示している。点ａ１（ｐ，ｑ）および点ａ２（ｒ，ｓ）は、それぞれ画像１および画像２上における点Ａの投影点である。
ここで、画像ｈの画像ｋに対する基礎行列をＦｈｋと表すものとする。このとき、点Ａ（ｐ，ｑ，ｒ）は射影グリッド空間の定義より、画像１では点ａ１（ｐ，ｑ）に投影される。また、画像２の画像１に対する基礎行列Ｆ２１を用いて点ａ１（ｐ，ｑ）を画像２に直線ｌとして投影すると、直線ｌは下記の式（１）で表される。
【数１】
【０００８】
図３は、点Ａ（ｐ，ｑ，ｒ）の基底カメラ以外のカメラ（カメラｉ）の画像への投影を示した図である。図３において、基底カメラ１における点２１０、２１２で示されている画像１、および点ａ１（ｐ，ｑ）、基底カメラ２における点２２０、２２２で示されている画像２、および点ａ２（ｒ，ｓ）については、図２と同様である。点２３０は基底カメラ以外のカメラｉの視点であり、２３２で示されている画像はカメラｉから得られる画像ｉであり、点ａｉは画像ｉ上における点Ａの投影点である。また、Ｆｉ１は画像ｉの画像１に対する基礎行列、Ｆｉ２は画像ｉの画像２に対する基礎行列である。
【０００９】
点ａｉを決定するには、まずＦｉ１を用いて点ａ１を画像ｉに直線ｌ１として投影する。さらにＦｉ２を用いて点ａ２を画像ｉに直線ｌ２として投影する。そして、これらの２直線ｌ１とｌ２の交点が、画像ｉ上における点Ａの投影点ａｉとなる。なお、直線ｌ１およびｌ２は下記の式（２）および（３）で表される。
【数２】
このように、従来提案してきた射影グリッド空間による手法では、まず、多視点カメラの中から２つの基底カメラを選び、これらの基底カメラ間での基礎行列により、３次元のグリッド位置を定義する。そして、このグリッド位置と、基底カメラ以外の多視点カメラの画像位置との関係は、基底カメラと多視点カメラとの基礎行列により記述される。
また、３次元形状の再構成は、例えばシルエット法など（非特許文献４参照）を用いて行なう。射影グリッド空間による手法においてシルエット法を用いる場合、基底カメラと多視点カメラとの基礎行列から、射影グリッド空間の任意の点が各カメラに投影される２次元位置を求め、この位置がシルエットの内部か外部かの判定を行なうことによって、対象物の３次元形状を再構成する。
３次元形状の再構成には、全カメラ数をＮとすると、２つの基底カメラ間の基礎行列と、各基底カメラとそれ以外の多視点カメラ間の基礎行列との、合計１＋（Ｎ−２）×２組の基礎行列が必要となる。
【００１１】
上述したように、発明者らが提案してきた射影グリッド空間による手法では、射影グリッド空間と画像上の点との関係を、カメラ間のエピポーラ幾何を表す基礎行列のみを用いて記述することができる。このため、多視点カメラシステムでカメラキャリブレーション（校正）を行なわなくても、対象物の３次元形状を復元することが可能である。
【００１２】
【非特許文献１】
R. Tsai: "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation RA-3, 4, pp.323-344, 1987
【非特許文献２】
斎藤英雄，金出武雄：「多数のカメラによるダイナミックイベントの仮想化」，情報処理学会研究報告「コンピュータビジョンとイメージメディア」Ｎｏ．１１９−０１６，１９９９年１１月
【非特許文献３】
斎藤英雄，木村誠，矢口悟志，稲本奈穂；「多視点映像による現実シーンの仮想化−カメラ間の射影的関係の利用による中間視点映像生成−」，情報処理学会研究報告「コンピュータビジョンとイメージメディア」Ｎｏ．１３１−００８，２００２年１月
【非特許文献４】
矢口悟志，木村誠，斎藤英雄，金出武雄：「未校正多視点カメラシステムを用いた任意視点画像生成」，情報処理学会コンピュータビジョンとイメージメディア研究会論文誌，Ｖｏｌ．４２，Ｎｏ．ＳＩＧ６（ＣＶＩＭ２），ｐｐ．９−２１，２００１年６月
【００１３】
【発明が解決しようとする課題】
しかしながら、発明者らが従来提案してきた上述の手法では、対象物を撮影するためのカメラから２台のカメラを基底カメラとして選択するため、基底カメラによって構成される３次元空間（射影グリッド空間）の各軸は透視投影の影響で直交せず、歪んだ空間となってしまう場合があった。この場合、射影グリッド空間において再構成された３次元形状にも歪みが生じてしまう。
本発明の目的は、再構成された３次元形状に歪みが生じない多視点カメラシステムを提供することである。
【００１４】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、対象物に対する複数の多視点カメラと、視線がほぼ直交するように設置した２台の基底カメラから画像を得る複数画像取得手段と、前記２台の基底カメラから得た画像から生成した、視線を座標軸とする３次元の射影グリッド空間と前記複数の多視点カメラから得た画像とを関連付ける３次元−２次元マップを、基底カメラの画像上の視線を多視点カメラの画像上に投影したエピポーラ線を用いて算出する関連付け手段と、前記複数の多視点カメラから得た画像の２次元座標と前記３次元の射影グリッド空間の３次元座標とを、前記３次元−２次元マップを利用して関連付け、前記３次元の射影グリッド空間に対象物の３次元形状を復元する復元処理手段とを備えることを特徴とする多視点カメラシステムである。
前記複数画像取得手段は、前記多視点カメラから得た画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力することを特徴としてもよい。
また、前記復元処理手段は、前記シルエット画像から、８分木モデル生成手法を用いて３次元モデルを作成することを特徴としてもよい。
また、前記復元処理手段は、８分木モデル生成手法を用いて生成された３次元モデルのボクセルのうち、内部ボクセルを除去し、対象物の色彩画像により表面ボクセルに着色することで対象物を任意視点で観察した画像を生成することを特徴としてもよい。
また、前記複数の多視点カメラは、視差画像を得ることができるステレオカメラであり、前記複数画像取得手段は、前記多視点カメラから得た視差画像および色彩画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力することを特徴としてもよい。
【００１５】
【発明の実施の形態】
以降、図を参照しながら、本発明の多視点カメラシステムの実施形態の一例を説明する。
まず、図４および図５を参照しながら、本発明において３次元空間（射影グリッド空間）を定義する手法について説明する。
次に、図６および図７を参照しながら、本発明の実施形態の構成および処理の流れを説明する。
次に、図８〜図１５を参照しながら、本実施形態において定義された射影グリッド空間で対象物の３次元形状を復元する手法について説明する。
最後に、図１６〜図２０を参照しながら、本実施形態を用いて行なった実験とその結果を示す。
【００１６】
＜射影グリッド空間の定義＞
まず、図４および図５を参照しながら、本発明において３次元空間（射影グリッド空間）を定義する手法について説明する。
上述したように、発明者らが従来提案してきた射影グリッド空間による手法では、多視点カメラのうち任意の２台を基底カメラとして選択し、これら２台の基底カメラを用いて３次元座標系を構成していた。
本発明では、従来手法の問題点であった歪みを解消するために、２台の基底カメラを多視点カメラとは別に用意して３次元座標系を構成する。図４は本発明におけるカメラ配置の例を示したものである。
【００１７】
図４において、ステレオカメラ４１１〜４１４は、多視点カメラである。本発明では、これらの多視点カメラ４１１等に対して、別途用意した基底カメラ４３１および４３２を配置する。
基底カメラ４３１および４３２は、焦点距離をほぼ無限遠にして使用する。また、図４に示しているように、これら２つの基底カメラの視線（ｒ軸とｐ軸）がほぼ直交するように配置し、対象空間をできるだけ大きく捕えることができるよう、遠くに配置する。これにより、これら２つの基底カメラの視線で構成される座標軸の歪みを軽減することができる。
なお、本発明において基底カメラ４３１および４３２は、単に３次元座標系を構成するためにのみ用いられる。このため、動きのある対象物を撮影するような場合であっても、基底カメラ４３１および４３２には、動画像の撮影には向かないが空間解像度に優れているカメラを用いることが可能である。その結果、対象空間の解像度を向上することもできる。
【００１８】
図５に、本発明において定義される射影グリッド空間を示す。この射影グリッド空間において、基底カメラと多視点カメラとを基礎行列によって関連付ける手法は、発明者らが従来提案してきた上述の手法とほぼ同様である。
２台の基底カメラをそれぞれ基底カメラ１、基底カメラ２とする。図５において、点５１０および点５２０はそれぞれ基底カメラ１および基底カメラ２の視点である。ここで、射影グリッド空間上の点Ｐ（ｐ，ｑ，ｒ）は、基底カメラ１の画像５１２上の点ｐ１（ｐ，ｑ）と基底カメラ２の画像５２２上の点ｐ２（ｒ，ｙ）の２点によって定義される。ここで、点ｐ２（ｒ，ｙ）は、基底カメラ１の視点５１０から点ｐ１を通る基底カメラ１の視線を、基底カメラ２の画像５２２上に投影したエピポーラ線上の点である。このエピポーラ線は、上述の式（１）で表される。点ｐ２の座標ｙは、このエピポーラ線の一次方程式で求められる。
【００１９】
次に、射影グリッド空間と各カメラで撮影される画像とを関連付ける３次元−２次元マップを算出する。画像５３２上の直線ｌ１は、基底カメラ１の画像５１２上の点ｐ１を通る基底カメラ１の視線を、カメラｉの画像５３２上に投影したエピポーラ線である。エピポーラ線ｌ１は、上述の式（２）で表される。同様に、直線ｌ２は基底カメラ２の画像上の点ｐ２を通る基底カメラ２の視線を、カメラｉの画像上に投影したエピポーラ線である。エピポーラ線ｌ２は、上述の式（３）で表される。
このようにして求められたエピポーラ線ｌ１とｌ２の交点が、射影グリッド空間上の点Ｐ（ｐ，ｑ，ｒ）に対応するカメラｉの画像５３２上の点ｐｉ（ｕｉ，ｖｉ）である。
同様にして、射影グリッド空間と全ての多視点カメラの画像との３次元−２次元マップを算出する。この３次元−２次元マップは、ルックアップ表として保存される。このルックアップ表は、後述の対象物の３次元形状を再構成する処理において、射影グリッド空間上の３次元座標を多視点カメラの画像上の２次元座標に変換する際に参照される。
【００２０】
従来は、この３次元−２次元マップを算出するために、少なくとも対象空間における６つの３次元座標を定義し、それらの座標を各カメラの画像へ投影して、カメラパラメータを推定する（カメラキャリブレーションを行なう）必要があった。しかしながら、特に対象空間が広大である場合には、空間内の３次元座標を測定してカメラキャリブレーションを行なうのは非常に困難である。本発明の手法によれば、エピポーラ線を算出するのみでよいため、各カメラの画像上で２次元の座標を測定すれば足りる。このため、対象空間が広大である場合であっても、測定に費やす労力は増大しない。さらに、本実施形態の射影グリッド空間は歪みがほとんどない。なぜなら、この空間の座標軸は２台の基底カメラの視線により構成されているが、この視線は直交していることが前提だからである。
【００２１】
＜本実施形態の構成および処理の流れ＞
次に、図６および図７を参照しながら、本発明の多視点カメラシステムの実施形態の構成および処理の流れを説明する。
図６は、本実施形態の多視点カメラシステムのシステム構成の例を示す図である。また、図７は本実施形態の多視点カメラシステムで任意視点画像を生成する処理の流れを示したフローチャートである。本実施形態では４台の多視点カメラからなる多視点カメラシステムを例として説明するが、カメラの台数はこれに限られない。また、各々の処理の内容は後で詳しく説明する。
【００２２】
図６において、４台のステレオカメラ（６１１〜６１４）、４台のＰＣ（６２１〜６２４）、１台のホストＰＣ６３０、モニタ６４０がＬＡＮで接続されている。本実施形態ではこのほかに、３次元座標系を構成するために２台のカメラを基底カメラとして使用する。
４台のステレオカメラ６１１等には、色彩画像とともに視差画像を撮ることのできるタイプのものを用いる。ステレオカメラ６１１等は、それぞれ画像キャプチャ用の４台のＰＣ６２１等に接続されている。画像キャプチャ用のＰＣ６２１等と接続しているホストＰＣ６３０は、任意視点画像を生成する処理などを行なうホストＰＣである。
まず、ステレオカメラ６１１等により、対象物が撮影される（図７のＳ７１０）。ＰＣ６２１等は、ステレオカメラ６１１等が撮影した画像からシルエット（輪郭）を抽出し、シルエット画像を生成する（Ｓ７２０）。この処理は画像キャプチャ用のＰＣ６２１等でローカルに行なわれる。
【００２３】
本実施形態では、シルエットを抽出するために色彩画像と視差画像の両方を用いる。その結果、画像の背景を効果的に除去することができる。一方、撮影した画像の視差値は３次元形状の再構成に使用するには粗い値であるため、３次元形状の再構成の際には視差画像は用いない。
色彩画像および上述のＳ７２０で生成されたシルエット画像は、画像キャプチャ用のＰＣ６２１等においてＪＰＥＧ圧縮され、ホストＰＣ６３０に送信される。これらの画像は３次元形状の再構成の処理で用いられる。
次に、ホストＰＣ６３０で３次元形状の再構成（復元）を行なう。３次元形状の再構成においては、まず、８分木モデルの生成を行なう（Ｓ７３０）。８分木モデルの生成には、シルエット法による形状生成手法とともに、８分木生成アルゴリズム（octree generation algorithm）の手法を用いる。この手法によれば、処理時間を短縮することができる。次に、８分木モデルからボクセルモデルを生成する（Ｓ７４０）。次に、内部ボクセルの除去を行なう（Ｓ７５０）。内部ボクセルの除去を行なうのは、最終的な任意視点画像の表示には表面ボクセルのみで足りるからである。最後に表面ボクセルに彩色（Ｓ７６０）すれば、任意視点画像が完成する。生成された任意視点画像は、例えばモニタ６４０に出力される。
【００２４】
＜３次元形状の復元＞
次に、図８〜図１５を参照しながら、多視点カメラに撮影された対象物の画像を用いて、基底カメラにより構成された射影グリッド空間で対象物の３次元形状を再構成し、任意視点画像を生成する手法について説明する。
【００２５】
（シルエット画像の生成）
対象物の３次元形状を再構成する前に、まず、本実施形態の各ステレオカメラで撮影された画像から背景を除去してシルエット画像を生成する（図７のＳ７２０に示す処理）。
上述したように、本実施形態では、シルエット画像を生成する際に、各ステレオカメラで撮影された色彩画像だけでなく、視差画像も使用する。色彩画像のみでは、鏡面反射や影が、生成されるシルエット画像に影響を及ぼすからである。一方、視差画像のみを用いた場合ではこれらの影響はほとんどないが、粗いシルエットしか得ることができない。このため、本実施形態では色彩画像と視差画像の両方の情報を用いて背景除去を行なう。
【００２６】
背景画像の画素（ｘ，ｙ）について色彩（color）をｃｂ（ｘ，ｙ），視差値（disparity value）をｄｂ（ｘ，ｙ）で表し、対象物を含む画像の画素（ｘ，ｙ）の色彩をｃｃ（ｘ，ｙ），視差値をｄｃ（ｘ，ｙ）で表すとすると、本実施形態では下記の擬似コードに示す処理でシルエットを生成する。
【００２７】
上述の手法を用いてシルエット画像を生成する様子を、図８〜図１０に示す。
図８および図９は、ステレオカメラにより撮影された色彩画像および視差画像である。図８（ａ）はシルエット画像生成の対象物（人物）を含む色彩画像、図８（ｂ）はシルエット画像生成の対象物を含まない（背景のみの）色彩画像である。また、図９（ａ）はシルエット画像生成の対象物（人物）を含む視差画像、図９（ｂ）はシルエット画像生成の対象物を含まない（背景のみの）視差画像である。
図１０（ａ）は、図９の視差画像を用いず、図８の色彩画像のみを用いて生成されたシルエット画像である。一方、図１０（ｂ）は図８の色彩画像および図９の視差画像を用いて（すなわち本実施形態における手法を用いて）生成されたシルエット画像である。
図１０の（ａ）と（ｂ）を比較すると、図１０（ａ）では、図８（ａ）に写り込んでいる人物の影が、シルエット画像の人物の足周りに影響している（人物の影も、シルエットとして抽出されてしまっている）のがわかる。一方、視差画像は影に影響されないため、図１０（ｂ）のシルエット画像には影の影響はなく、人物のみがシルエットとして抽出されている。
【００２８】
（シルエット画像からの３次元形状の生成）
次に、３次元形状の再構成を行なうためにシルエット画像からの３次元形状の生成を行なう。本実施形態では、射影グリッド空間と各カメラで撮影された画像との関連付けにより、８分木データ構造を用いてシルエットから３次元形状を生成する（図７のＳ７３０に示す処理）。なお、８分木モデルの生成については後述する。
従来手法であるユークリッド空間を用いた場合、シルエット画像の透視投影により円錐形モデルが多数生成される。そして、結果として生成される３次元形状は全ての円錐形モデルの共通部分である。すなわち、下記の式（４）によりシルエット画像から３次元形状が生成される。
【数４】
【００２９】
一般的に、ユークリッド空間においては、各ボクセルを全てのシルエット画像に投影させることにより、そのボクセルがシルエットの内部にあるか外部にあるかを判断する。そして、ひとつの画像においてボクセルがシルエットの外部にあれば、そのボクセルは対象物の一部ではない。一方、ボクセルが全ての画像においてシルエットの内部にあれば、そのボクセルは対象物の一部であると判断される。
このシルエット法を、本実施形態の射影グリッド空間を用いた場合にあてはめると、透視投影による変換の代わりに、あらかじめ用意しておいた上述のルックアップ表を用いて、射影グリッド空間における３次元座標を画像上の２次元座標に変換する。この変換は、上述のように、基礎行列によってあらかじめ射影グリッド空間と各カメラ画像との関連付けを行なっているために可能である。
【００３０】
（８分木モデルの生成）
上述した８分木データ構造は、対象とする３次元空間全体（ユニバーサル・スペースと呼ぶ）を再帰的に８分割（縦、横、奥行き方向にそれぞれ２分割）していくことにより生成される８分木モデルである。
８分割された空間の中のひとつの領域（オクタント）を構成するボクセルのタイプがすべて同じになった場合には、そのオクタントはそれ以上分割しない。それ以外の場合には、そのオクタントはさらに８つの立方体に分割され、場合によっては単一のボクセルにまで分割されることになる。
【００３１】
図１１は、対象空間から８分木モデルを生成する様子を示したものである。
図１１（ａ）は、図１１（ｂ）に示す対象空間１１５０から生成された８分木である。この８分木の各ノード（１１００，１１１０，１１２０，１１３０等）は、図１１（ｂ）で再帰的に分割された各空間に対応している。レベル０に示されているノード（１１００）は空間全体に対応している。レベル１に示されている８個のノード（１１１０等）はそれぞれ１回目の分割による８個の空間に対応している。同様に、レベル２は２回目の分割による空間、レベル３は３回目の分割による空間に対応している。
また、ノードの色は、その空間が対象物であるかを示している。空間に対象物を含まない（背景のみである）場合には対応するノードを黒色で表す。また、空間全体が対象物である場合には対応するノードを白色で表す。空間の一部に対象物を含む場合には対応するノードを灰色で表す。そして、空間の一部に対象物を含む場合は、その空間をさらに８分割する。なお、その空間が対象物であるかを判断する手法は後述で説明する。
【００３２】
上述したノードと空間との対応により図１１（ａ）および（ｂ）を参照すると、空間全体（１１５０）はその一部に対象物を含むため、ノード１１００は灰色で表される。この場合、空間１１５０は８分割（縦、横、奥行き方向にそれぞれ２分割）される。
８分割された空間のうち、図１１（ｂ）において対象物１１６２を含むオクタントおよび対象物１１６４を含むオクタントは、対象物のみのオクタントであるため、それ以上分割されない。図１１（ａ）においてこれらのオクタントに対応しているノードは黒色で表される。
一方、対象物１１７２を含むオクタントおよび対象物１１７４，１１８２を含むオクタントは、一部に対象物を含むオクタントであるため、さらに８分割される。図１１（ａ）においてこれらのオクタントに対応しているノードは灰色で表される。
それ以外のオクタントは対象物を含まない（背景のみである）ため、それ以上分割されない。図１１（ａ）においてこれらのオクタントに対応しているノードは白色で表される。
こうして、その一部に対象物を含む空間がなくなるまで（対応するノードが全て黒色か白色のいずれかになるまで）、空間の分割を再帰的に繰り返す。
【００３３】
空間をオクタントに分割し、全てのシルエット画像に変換するにあたって、本実施形態では下記のような手法を用いる。
まず、オクタントの８頂点を画像平面内座標へ変換し、その立方体の画像内領域を探索することで、対象としている立方体が対象物を表すかどうかを調べていく。このとき、画像内領域は長方形になるとは限らない。そこで本実施形態のシステムでは、計算量削減のため、立方体の画像内領域を囲む最小の長方形を探索領域として、インターセクション・チェックを行なってオクタントの属性（キューブ・タイプ）を調べる。
【００３４】
図１２はインターセクション・チェックを説明した図である。図１２（ａ）〜（ｃ）はシルエット画像であり、黒く示された部分（１２１０）は背景、灰色で示された部分（１２２０）は対象物のシルエットである。また、矩形１２３２，１２３４，および１２３６は、チェック対象の矩形領域である。
図１２（ｂ）に示すように、ある画像におけるチェック対象の矩形領域１２３４がシルエットと背景からなる場合には、その領域に対応する空間（オクタント）のキューブ・タイプは”ＧＲＡＹ”であると仮定される。なお、キューブ・タイプが”ＧＲＡＹ”であるとは、その空間の一部に対象物を含んでいることを意味する。
また、図１２（ａ）に示すように、チェック対象の矩形領域１２３２の全ての画素が背景である場合には、その領域に対応する空間のキューブ・タイプは”ＢＬＡＣＫ”であると仮定される。キューブ・タイプが”ＢＬＡＣＫ”であるとは、その空間全体が背景からなることを意味する。
一方、図１２（ｃ）に示すように、チェック対象の矩形領域１２３６の全ての画素がシルエットである場合には、その領域に対応する空間のキューブ・タイプは”ＷＨＩＴＥ”であると仮定される。キューブ・タイプが”ＷＨＩＴＥ”であるとは、その空間全体が対象物からなることを意味する。
【００３５】
ある画像における矩形領域のインターセクション・チェックの結果、キューブ・タイプが”ＢＬＡＣＫ”であると仮定されると、シルエット法の概念に基づいて、この空間のキューブ・タイプは”ＢＬＡＣＫ”であると確定される。
それ以外の場合には、その空間の立方体に対して、他の全ての画像が参照されるまでインターセクション・チェックを続行する。
全ての画像が参照されると、その空間のキューブ・タイプが確定する。全ての画像において、仮定されたキューブ・タイプが”ＷＨＩＴＥ”である場合には、その空間のキューブ・タイプは”ＷＨＩＴＥ”であると確定される。それ以外の場合には”ＧＲＡＹ”であると確定される。”ＧＲＡＹ”であると確定された場合、その空間に対して仮定されたキューブ・タイプは全て保存され、以降の処理でも参照する。これにより、計算時間を短縮することができる。
【００３６】
図１３（ａ）（ｂ）は、ある空間のキューブ・タイプが”ＧＲＡＹ”であると確定された場合に、上記により保存された仮定キューブ・タイプを後続の処理で参照する様子を示したものである。ここでは、対象モデルを４台のカメラ（カメラ１〜カメラ４）で捕らえた場合（４つのシルエット画像に対してインターセクション・チェックを行なう場合）で説明する。
図１３（ａ）は４つのシルエット画像に対してインターセクションを行なった結果を、カメラごとにスタックで示している。図中の”Ｗ”は”ＷＨＩＴＥ”を、”Ｇ”は”ＧＲＡＹ”を、”？”は不明（これからチェックされる）であることを示している。図１３（ａ）は４つのシルエット画像に対してインターセクション・チェックを行なった結果を、空間（キューブ）ごとに８分木で示している。
【００３７】
図１３において、親ノード１３５２の仮定キューブ・タイプが、１３１２に示すように、カメラ１の画像で”ＷＨＩＴＥ”，カメラ２の画像で”ＷＨＩＴＥ”，カメラ３の画像で”ＧＲＡＹ”，カメラ４の画像で”ＧＲＡＹ”であった場合、その親ノード１３５２に対応する空間のキューブ・タイプは”ＧＲＡＹ”であると確定する。この場合、この空間の立方体は８分割され、それぞれが８分木の子ノード（１３５４等）となる。ここで、子ノード１３５４等においても、カメラ１およびカメラ２の画像における仮定キューブ・タイプは”ＷＨＩＴＥ”であることが確定し（１３１４を参照）、カメラ１およびカメラ２の画像についてはインターセクション・チェックを再び行なう必要はない。
このように、親ノードの仮定キューブ・タイプを保存しておき、子ノードの処理の際に参照することで、処理の無駄を省くことができる。
【００３８】
キューブ・タイプが確定すると、キューブ・タイプによって後工程が分かれる。キューブ・タイプが”ＢＬＡＣＫ”または”ＷＨＩＴＥ”で確定した場合は、対応する空間をそれ以上分割する必要はない。すなわち、その時点で８分木の各ノードはそのまま葉節点となる。一方、キューブ・タイプが”ＧＲＡＹ”で確定した場合には、対応する空間はさらに８分割される。すなわち、対応する８分木のノードは８つの子ノードを持つことになる。ある空間に対して上記の処理が終了したら、他の空間についても同様の処理を再帰的に繰り返す。
なお、８分木の手法については、例えば M. Potmesil, "Generating octree models of 3D objects from their silhouettes in a sequence of images", Computer Vision, Graphics, and Image Processing, vol. 40, pp. 1-29, 1987 等を参照されたい。
【００３９】
（内部ボクセルの除去）
８分木構造の生成が終了したら、画像表示のために８分木モデルをボクセルモデルに変換する。８分木のそれぞれのノードについて、２３ｎ個（ｎは８分木のレベル数である）のボクセルがある。これらのボクセル全てを最終的な表示対象として処理すると、多大な処理時間を要する。この問題を避けるために、本実施形態では、対象物の内部に対応している内部ボクセルを処理対象から除去し、対象物の表面に対応している表面ボクセルのみを着色して表示する。なお、これらの処理は、図７のＳ７４０〜Ｓ７６０に示す処理である。
本実施形態において内部ボクセルを除去する様子を、図１４（ａ）（ｂ）に示す。図１４（ａ）において、１４００で示された対象空間内に１４１０等の立方体で示された対象物がある。この対象物を表現した８分木は、上述の図１１に示したように、最大レベル数は３であった。図１４（ｂ）では、対象物をレベル数３の分割に対応するボクセル（１４３０等）で示している。後続の着色処理においては、これらのボクセルのうち、対象物の表面を構成している表面ボクセルのみを着色の対象とすればよく、表面を構成していない内部ボクセルは除去してよい。
【００４０】
あるボクセル（ボクセルｖ）が内部ボクセルであるか表面ボクセルであるかは、次のようにして判断する。
ボクセルｖの６つの面と隣り合うボクセルのうち１つ以上のボクセルが、対象物の含まれていない空のボクセルである場合、ボクセルｖは表面ボクセルである。それ以外の場合、ボクセルｖは内部ボクセルである。
以降の処理（ボクセルモデルの着色）においては、表面ボクセルのみを処理の対象とする。
【００４１】
（ボクセルモデルの着色）
次に、３次元形状の表面ボクセルに着色する。本実施形態では、実際に各カメラで撮影された画像のうち２つの画像を選択し、それらの画像上の画素をもとに、表面ボクセルの色を動的に決定する。どの画像を選択するかは、任意視点の位置により決定される。
表面ボクセルの色を決定する手法を、図１５および下記の式（５）を用いて説明する。
【数５】
図１５および上記の式（５）において、θはカメラｉと任意視点との水平角、φはカメラ（ｉ＋１）と任意視点との水平角である。色彩の混合の重みはこれらの角度によって決定される。対象物１５４０上の点Ｐが、前述で生成されたルックアップ表によりカメラｉの画像１５１０上の点ｐ１およびカメラ（ｉ＋１）の画像１５２０上の点ｐ２に変換される。点ｐ１の色彩（color）をｃ（ｐ１）、点ｐ２の色彩（color）をｃ（ｐ２）、任意視点の画像１５３０上において点ｐ１および点ｐ２と対応する点ｐの色彩（color）をｃ（ｐ）とすると、上記の式（５）により、ｃ（ｐ）を算出することができる。
上述により表面ボクセルへの着色を行なえば、任意視点における３次元形状を表示することができる。
なお、ボクセルに対する処理については、例えば G. K. M. Cheung, T. Kanade, J. Y. Bouguet, and M. Holler, "A real time system for robust 3D voxel recostruction of human motions", CVPR 2000 IEEE Comput. Soc, Los Alamitos, CA, USA, vol. 2, pp. 714-729, 2000 等を参照されたい。
【００４３】
＜本実施形態を用いた実験結果＞
最後に、本実施形態を用いて行なった実験とその結果を図１６〜図２０に示す。
この実験は、以下の条件で行なった。
・ボクセル数：２５６×２５６×２５６（個）
・８分木の最大レベル数：８
・画像の解像度：３２０×２４０ピクセル
・色彩の深度：２４ビット
・視差の深度：８ビット
【００４４】
なお、この実験は図６に示すような４台のステレオカメラ（カメラ１〜カメラ４とする）を用いた多視点カメラシステムを用いて行なった。
図１６はこの実験において各処理に要した時間を示した図である。
図１６において "Camera PC" で示されている４本の時間軸は、多視点カメラと接続している画像キャプチャ用ＰＣの処理を時間軸で示している。また "Host PC" で示されている時間軸は、ホストＰＣにおける処理を時間軸で示している。
【００４５】
"Capture" の処理は、ステレオカメラで対象モデルを撮影して画像キャプチャ用ＰＣに保存する処理であり、この処理は５０ミリ秒で行なわれている。
"Disparity image generation" は視差画像を生成する処理であり、この処理は１００ミリ秒で行なわれている。
"Silhouette image generation" はシルエット画像を生成する処理であり、この処理は７０ミリ秒で行なわれている。
"Image transfer" の処理は、色彩画像とシルエット画像をＪＰＥＧ圧縮してホストＰＣに送信する処理である。この処理は１００ミリ秒で行なわれている。
"3D shape reconstruction" の処理は、シルエット画像から８分木モデルを生成する処理である。この処理は１２０ミリ秒で行なわれている。なお、本実施形態の８分木生成アルゴリズムを使用しないでこの処理を実行した場合には５２０ミリ秒を要した。本実施形態の８分木生成アルゴリズムにより処理速度が向上していることがわかる。
"Display" の処理は、８分木モデルからボクセルモデルを生成し、内部ボクセルを除去し、表面ボクセルに色彩を施す処理である。この処理は１００ミリ秒で行なわれている。
【００４６】
図１７（ａ）〜（ｄ）は、４台のステレオカメラで捕らえた実際の画像である。（ａ）はカメラ１の画像、（ｂ）はカメラ２の画像、（ｃ）はカメラ３の画像、（ｄ）はカメラ４の画像である。
図１８（ａ）〜（ｌ）は、図１７に示した画像をもとに、本実施形態の手法を用いて生成された任意視点の画像である。（ａ）〜（ｄ）はカメラ１とカメラ２の中間視点における生成画像であり、画像の下に示された１０：０，７：３などの比率は、上述で示した色彩の混合の重みである。同様に、（ｅ）〜（ｈ）はカメラ２とカメラ３の中間視点における画像、（ｉ）〜（ｌ）はカメラ３とカメラ４の中間視点における画像である。
図１８の各画像に示すように、本実施形態の射影グリッド空間による手法を用いれば、カメラキャリブレーションが必要な従来のユークリッド空間による手法と同程度の画像を生成できる。
【００４７】
図１９および図２０は、発明者らが従来提案してきた射影グリッド空間による手法（多視点カメラから任意の２台を基底カメラとする手法）を用いた処理結果と、本実施形態の射影グリッド空間による手法を用いた処理結果とを比較する実験を示したものである。
図１９（ａ）〜（ｄ）は、それぞれカメラ１〜４により撮影された画像である。被写体となっている二人の人物Ａ，Ｂは、実際にはほぼ同じ身長である。
図２０（ａ）および（ｂ）は、処理の結果を示した図である。図２０（ａ）は、カメラ１およびカメラ４を基底カメラとして（すなわち、従来の射影グリッド空間の手法により）生成された画像である。一方、図２０（ｂ）は別途２台のカメラを基底カメラとして（すなわち、本実施形態の射影グリッド空間の手法により）生成された画像である。
【００４８】
カメラ１とカメラ４から定義された射影グリッド空間の歪みの影響で、図２０（ａ）の画像にも歪みが生じている。被写体の２人の人物Ａ，Ｂは実際にはほぼ同じ身長であるのに、３次元形状が再構成された図２０（ａ）においては、人物Ａの身長は１７８ボクセル、人物Ｂの身長は１５８ボクセルとなっており、差が生じている。
これに対し、図２０（ｂ）においては人物ＡおよびＢは実際と同様にほぼ同じ身長（Ａが２０９ボクセル、Ｂが２０１ボクセル）で再構成されている。なぜなら、本実施形態の手法によれば、２台の基底カメラのエピポーラ線はほぼ平行になるため、歪みがほとんど生じないからである。
また、図２０（ａ）上の白線は、射影グリッド空間におけるｐ−ｒ平面の断面を表している。ｐ−ｒ平面上の直線は、図１９の各画像上でエピポーラ線として表示されている。図１９（ａ）〜（ｃ）上では白線、図１９（ｄ）上では白い点として示されている。しかしながら、図２０（ａ）においては、人物Ｂはｐ−ｒ平面を表す白線上に立っているが、人物Ａは足が白線より下に出てしまっている。
一方、図２０（ｂ）上の白線も、図２０（ａ）と同様に射影グリッド空間におけるｐ−ｒ平面の断面を表しているが、人物Ａ，Ｂともｐ−ｒ平面を表す白線上に立っている。
【００４９】
【発明の効果】
本発明では、多視点カメラとは別に、透視投影の歪みを無視できるような２台のカメラを別途用意して、これら２台のカメラを基底カメラとし、多視点カメラと２台の基底カメラとのエピポーラ幾何を利用して、基底カメラにより構成された３次元座標系において対象物の３次元形状を再構成（復元）する。これにより、再構成された３次元形状の歪みを防ぐことができる。
【図面の簡単な説明】
【図１】（ａ）対象空間をユークリッド空間で定義した従来の多視点カメラシステムの例を示す図である。
（ｂ）対象空間を射影グリッド空間で定義した従来の多視点カメラシステムの例を示す図である。
【図２】射影グリッド空間内の点Ａの基底カメラ画像への投影を示す図である。
【図３】射影グリッド空間内の点Ａの基底カメラ以外のカメラ画像への投影を示す図である。
【図４】本発明におけるカメラ配置の例を示す図である。
【図５】本発明において定義される射影グリッド空間を示す図である。
【図６】本実施形態における多視点カメラシステムのシステム構成の例を示す図である。
【図７】本実施形態の処理の流れを示したフローチャートである。
【図８】（ａ）対象物（人物）を含む色彩画像である。
（ｂ）対象物を含まない（背景のみの）色彩画像である。
【図９】（ａ）対象物（人物）を含む視差画像である。
（ｂ）対象物を含まない（背景のみの）視差画像である。
【図１０】（ａ）視差画像を用いず、色彩画像のみを用いて生成されたシルエット画像である。
（ｂ）色彩画像および視差画像を用いて生成されたシルエット画像である。
【図１１】８分木モデルを生成する様子を示す図である。
【図１２】インターセクション・チェックの手法を説明する図である。
【図１３】（ａ）インターセクション・チェックの結果をカメラごとのスタックで示す図である。
（ｂ）インターセクション・チェックの結果を空間ごとの８分木で示す図である。
【図１４】（ａ）（ｂ）内部ボクセルを除去する手法を説明する図である。
【図１５】表面ボクセルの色を決定する手法を説明する図である。
【図１６】本実施形態を用いた実験において、各処理に要した時間を示す図である。
【図１７】（ａ）〜（ｄ）本実施形態を用いた実験において、それぞれ４台のステレオカメラで捕らえた画像である。
【図１８】（ａ）〜（ｌ）図１７の画像をもとに、本実施形態の手法を用いて生成された任意視点画像である。
【図１９】（ａ）〜（ｄ）本実施形態を用いた実験において、それぞれ４台のステレオカメラで捕らえた画像である
【図２０】（ａ）カメラ１およびカメラ４を基底カメラとして生成された任意視点画像である。
（ｂ）別途２台のカメラを基底カメラとして生成された任意視点画像である。
Claims (5)
- 多視点カメラシステムであって、
対象物に対する複数の多視点カメラと、視線がほぼ直交するように設置した２台の基底カメラから画像を得る複数画像取得手段と、
前記２台の基底カメラから得た画像から生成した、視線を座標軸とする３次元の射影グリッド空間と前記複数の多視点カメラから得た画像とを関連付ける３次元−２次元マップを、前記基底カメラの画像上の視線を多視点カメラの画像上に投影したエピポーラ線を用いて算出する関連付け手段と、
前記複数の多視点カメラから得た画像の２次元座標と前記３次元の射影グリッド空間の３次元座標とを、前記３次元−２次元マップを利用して関連付け、前記３次元の射影グリッド空間に対象物の３次元形状を復元する復元処理手段と
を備えることを特徴とする多視点カメラシステム。 - 請求項１に記載の多視点カメラシステムにおいて、
前記複数画像取得手段は、前記多視点カメラから得た画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力する
ことを特徴とする多視点カメラシステム。 - 請求項２に記載の多視点カメラシステムにおいて、
前記復元処理手段は、前記シルエット画像から、８分木モデル生成手法を用いて３次元モデルを作成する
ことを特徴とする多視点カメラシステム。 - 請求項３に記載の多視点カメラシステムにおいて、
前記復元処理手段は、８分木モデル生成手法を用いて生成された３次元モデルのボクセルのうち、内部ボクセルを除去し、対象物の色彩画像により表面ボクセルに着色することで対象物を任意視点で観察した画像を生成する
ことを特徴とする多視点カメラシステム。 - 請求項１〜４のいずれかに記載の多視点カメラシステムにおいて、
前記複数の多視点カメラは、視差画像を得ることができるステレオカメラであり、
前記複数画像取得手段は、前記多視点カメラから得た視差画像および色彩画像から、対象物のシルエット画像を生成し、対象物の色彩画像とともに出力する
ことを特徴とする多視点カメラシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003006773A JP4354708B2 (ja) | 2003-01-15 | 2003-01-15 | 多視点カメラシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003006773A JP4354708B2 (ja) | 2003-01-15 | 2003-01-15 | 多視点カメラシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004220312A JP2004220312A (ja) | 2004-08-05 |
| JP4354708B2 true JP4354708B2 (ja) | 2009-10-28 |
Family
ID=32897054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003006773A Expired - Fee Related JP4354708B2 (ja) | 2003-01-15 | 2003-01-15 | 多視点カメラシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4354708B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006059165A (ja) * | 2004-08-20 | 2006-03-02 | Riyuukoku Univ | ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体 |
| US8204133B2 (en) | 2004-10-12 | 2012-06-19 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding multi-view video using image stitching |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP4803594B2 (ja) * | 2006-07-05 | 2011-10-26 | Ｋｄｄｉ株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
| WO2009038149A1 (ja) | 2007-09-20 | 2009-03-26 | Nec Corporation | 映像提供システム、および映像提供方法 |
| JP5131848B2 (ja) * | 2008-09-18 | 2013-01-30 | Ｋｄｄｉ株式会社 | 画像表示装置、視点誘導方法及びプログラム |
| JP4998422B2 (ja) * | 2008-09-25 | 2012-08-15 | Ｋｄｄｉ株式会社 | 画像生成装置、方法、通信システム及びプログラム |
| JP5035195B2 (ja) * | 2008-09-25 | 2012-09-26 | Ｋｄｄｉ株式会社 | 画像生成装置及びプログラム |
| US11699247B2 (en) | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
| ES2392229B1 (es) * | 2010-08-27 | 2013-10-16 | Telefónica, S.A. | Método de generación de un modelo de un objeto plano a partir de vistas del objeto. |
| JP6857032B2 (ja) * | 2017-01-05 | 2021-04-14 | キヤノン株式会社 | 制御装置、システム、制御装置の制御方法 |
| JP2019128641A (ja) | 2018-01-22 | 2019-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2021106089A1 (ja) * | 2019-11-26 | 2021-06-03 | 日本電信電話株式会社 | 復号方法、符号化方法、復号装置、及びプログラム |
| CN110992474B (zh) * | 2019-12-13 | 2023-10-31 | 四川中绳矩阵技术发展有限公司 | 一种时域技术的实现方法 |
-
2003
- 2003-01-15 JP JP2003006773A patent/JP4354708B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004220312A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Debevec et al. | Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach | |
| Saito et al. | Shape reconstruction in projective grid space from large number of images | |
| US5821943A (en) | Apparatus and method for recreating and manipulating a 3D object based on a 2D projection thereof | |
| US7046840B2 (en) | 3-D reconstruction engine | |
| Bonfort et al. | General specular surface triangulation | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| JP4354708B2 (ja) | 多視点カメラシステム | |
| Zou et al. | A method of stereo vision matching based on OpenCV | |
| Şanlıoğlua et al. | PHOTOGRAMMETRIC SURVEY AND 3D MODELING OF IVRIZ ROCK RELIEF IN LATE HITTITE ERA. | |
| CN106023307B (zh) | 基于现场环境的快速重建三维模型方法及系统 | |
| JP2000268179A (ja) | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 | |
| Wenzel et al. | High-resolution surface reconstruction from imagery for close range cultural Heritage applications | |
| JPH11504452A (ja) | ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 | |
| JP4554231B2 (ja) | 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 | |
| JP2002032744A (ja) | ３次元モデリング及び３次元画像作成のための装置及び方法 | |
| Wong et al. | 3D object model reconstruction from image sequence based on photometric consistency in volume space | |
| CN115205491A (zh) | 一种手持多视图三维重建的方法及装置 | |
| Lai et al. | Projective reconstruction of building shape from silhouette images acquired from uncalibrated cameras | |
| JP2004013869A (ja) | ３次元形状生成装置及びそれに用いる３次元形状生成方法並びにそのプログラム | |
| Wang | 3D Reconstruction Using a Linear Laser Scanner and A Camera | |
| Yaguchi et al. | Arbitrary-view image generation from multiple silhouette images in projective grid space | |
| Lin et al. | Complete 3D model reconstruction from multiple views | |
| Jankó et al. | Creating entirely textured 3d models of real objects using surface flattening | |
| Fortenbury et al. | Robust 2D/3D calibration using RANSAC registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090730 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |