JP4599500B2 - 座標情報収集システム及び３次元形状推定システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、座標情報収集システム及び３次元形状推定システムに係り、より詳しくは、座標情報の収集対象とする領域内の任意の位置における座標情報を簡易かつ高精度に得ることができる座標情報収集システム及び３次元形状推定システムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
近年のコンピュータの処理能力やビデオ機器の発達に伴い、多視点カメラによって撮影された映像データをコンピュータ内部で融合し、その情報を用いて自由視点からの見え方を提示する研究が盛んに行われている。
【０００３】
多視点映像データの融合には、３次元形状推定やモデリングといったコンピュータビジョンの技術等が用いられ、自由視点映像の生成には、イメージベース、又はモデルベースのレンダリングに基づくコンピュータ・グラフィクス技術等が用いられている。
【０００４】
しかしながら、撮影対象とする空間が大きくなると、完全に同期のとれた多視点映像の撮影や、正確なカメラ校正（キャリブレーション）が困難になるため、ほとんどの研究は、数ｍ四方の空間内でのイベントを対象に行われている。
【０００５】
すなわち、ビデオカメラによって撮影された画像の画像データを処理するためには、実世界と、ビデオカメラによって得られた画像データが示す２次元画像との位置関係を予め得ておく必要があり、このためには、ビデオカメラの画像の中に正確な実世界の位置座標が分かる特徴点（以下、「ランドマークポイント」という）が複数存在する必要がある。
【０００６】
一方、ビデオカメラによる画像の解像度には限界があるので、カメラ校正には必然的に誤差が生じる。従って、正確なカメラ校正を行うためには、なるべく多くの正確なランドマークポイントを実空間中に均一に配置することが求められる。
【０００７】
しかしながら、イベントホールやスタジアムといった大規模な空間に、そのようなランドマークポイントを配置することは著しく困難であり、従来は、机上、或いは５ｍ程度の立方体空間でのランドマークポイントの配置に留まっていた。
【０００８】
本発明は上記事実に鑑みて成されたものであり、大規模空間においても多数の位置に簡易にランドマークポイントを配置することができると共に、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる座標情報収集システム及び３次元形状推定システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の座標情報収集システムは、座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材と、前記ランドマークポイントの前記表面上の２次元座標位置を示す２次元座標位置情報を予め記憶した記憶手段と、座標情報の収集対象とする３次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの３次元位置を計測するために前記基準マークの３次元位置を計測する３次元測量器と、前記３次元測量器によって計測された前記基準マークの３次元位置に基づいて、前記表面の各々の前記３次元測量器に対する傾きを導出する傾き導出手段と、前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記３次元測量器によって計測された前記基準マークの前記３次元位置、及び前記記憶手段に記憶されている前記２次元座標位置情報に基づいて、前記ランドマークポイントの３次元位置を示す座標情報を導出する３次元座標導出手段と、各々異なる位置に配置されると共に、前記３次元測量器によって前記ランドマークポイントの３次元位置が計測された前記マーク部材の前記ランドマークポイントを含む領域を撮影して画像信号として出力する複数の撮像器と、前記複数の撮像器の各々から出力された画像信号が示す画像における前記ランドマークポイントの２次元位置を示す座標情報を前記撮像器毎に導出する２次元座標導出手段と、前記２次元座標導出手段によって導出された前記ランドマークポイントの２次元位置を示す座標情報と、前記３次元座標導出手段によって導出された前記ランドマークポイントの３次元位置を示す座標情報とを対応付ける対応付手段と、前記対応付手段によって対応付けられた座標情報を記憶する記憶手段と、を備えている。
【００１０】
請求項１記載の座標情報収集システムによれば、座標情報の収集対象とする領域内に配置された、座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材の前記ランドマークポイントの前記表面上の２次元座標位置を示す２次元座標位置情報が記憶手段に予め記憶され、３次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの３次元位置が計測されるために前記基準マークの３次元位置が３次元測量器によって計測され、前記３次元計測器によって計測された前記基準マークの３次元位置に基づいて、前記表面の各々の前記３次元測量器に対する傾きが傾き導出手段によって導出され、前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記３次元測量器によって計測された前記基準マークの前記３次元位置、及び前記記憶手段に記憶されている前記２次元座標位置情報に基づいて、前記ランドマークポイントの３次元位置を示す座標情報が３次元座標導出手段によって導出され、各々異なる位置に配置された複数の撮像器により、上記３次元測量器によって上記ランドマークポイントの３次元位置が計測されたマーク部材のランドマークポイントを含む領域が撮影されて画像信号として出力される。
【００１１】
ここで、上記ランドマークポイントとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状を適用することができる。また、上記３次元測量器としては、レーザ光等の所定波長の光の反射光に基づいて計測対象の３次元位置を計測するタイプの測量器や、三角測量に基づいて計測対象の３次元位置を計測するタイプの測量器等の、あらゆる３次元測量器を適用することができる。また、上記基準マークとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状のマークを適用することができる。ここで、３次元測量器がレーザ光の反射光に基づいて計測対象の３次元位置を計測するタイプの測量器である場合には、レーザ光を反射するための反射板に上記基準マークを付する形態を適用することもできる。また、上記撮像器には、撮影対象の動画像を撮影するビデオカメラの他、撮影対象の静止画像を撮影するカメラが含まれる。なお、撮像器がビデオカメラの場合は、デジタル方式及びアナログ方式の何れのものも適用することができる。
【００１２】
また、本発明では、上記複数の撮像器の各々から出力された画像信号が示す画像における上記ランドマークポイントの２次元位置を示す座標情報が２次元座標導出手段によって撮像器毎に導出され、導出された上記ランドマークポイントの２次元位置を示す座標情報と、上記３次元座標導出手段によって導出された上記ランドマークポイントの３次元位置を示す座標情報とが対応付手段によって対応付けられ、更に該対応付けられた座標情報が記憶手段によって記憶される。ここで、上記記憶手段には、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュＥＥＰＲＯＭ（Flash ＥＥＰＲＯＭ）等の記憶素子、フロッピィディスク、ＣＤ−ＲＯＭ、光磁気ディスク、磁気テープ等の可搬記録媒体やハードディスク等の固定記録媒体、或いはネットワークに接続されたサーバーコンピュータ等に設けられた外部記憶装置等を適用することができる。
【００１３】
このように、請求項１に記載の座標情報収集システムによれば、座標情報の収集対象となる位置を示す平面状のランドマークポイントが付された移動可能なマーク部材を用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたマーク部材のランドマークポイントの３次元位置を３次元座標導出手段によって導出して、複数の撮像器によって得られた画像における上記ランドマークポイントの２次元位置を示す座標情報と３次元座標導出手段によって導出された上記ランドマークポイントの３次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる。
【００１４】
また、本発明によれば、上述のように多数の位置に簡易にランドマークポイントを配置することができる結果、座標情報の収集対象とする空間の形状や広さの自由度を増大させることができる。また、３次元測量器によって上記基準マークの３次元位置を計測して、該計測した３次元位置を基準として上記ランドマークポイントの３次元位置を示す座標情報を導出しているので、基準マークのみが３次元測量器によって計測できる状態にマーク部材を配置することが可能となり、マーク部材の配置の自由度を増すことができる。
【００１８】
また、請求項２記載の座標情報収集システムは、請求項１記載の発明における
前記マーク部材を、表面に前記ランドマークポイントと少なくとも３箇所の前記基準マークとが付された板状部材とするものである。
【００１９】
すなわち、マーク部材の形状を、移動の簡易性や設置の容易性を向上するために板状とし、かつ表面にランドマークポイントを付した場合、基準マークの３次元位置を基準としてランドマークポイントの３次元位置を導出するためには、ランドマークポイントを付した面の３次元測量器に対する傾斜を知る必要がある。
【００２０】
一方、上記傾斜は、ランドマークポイントを付した面の最低３箇所の３次元位置に基づいて導出することが可能である。従って、本発明では、マーク部材のランドマークポイントが付された面の少なくとも３箇所に上記基準マークを付しておくことによって、これらの基準マークの３次元位置を３次元測量器で計測して上記傾斜を導出し、該傾斜に基づいて上記ランドマークポイントの３次元位置を導出することができるようにしている。
【００２１】
このように請求項２に記載の座標情報収集システムによれば、請求項１記載の発明と同様の効果を奏することができると共に、マーク部材の形状を板状としたので、マーク部材の移動の簡易性や設置の容易性を向上することができる。
【００２２】
また、請求項３記載の座標情報収集システムは、請求項１または請求項２記載の発明において、前記マーク部材に複数の前記ランドマークポイントを付し、前記対応付手段は、前記複数のランドマークポイントの２次元位置を示す座標情報と前記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付けるものである。
【００２３】
請求項３記載の座標情報収集システムによれば、座標情報の収集対象とする領域内に配置された、座標情報の収集対象となる位置を示す複数のランドマークポイントが付された移動可能なマーク部材の上記複数のランドマークポイントの３次元位置が３次元座標導出手段によって導出され、各々異なる位置に配置された複数の撮像器により、上記３次元座標導出手段によって上記複数のランドマークポイントの３次元位置が導出されたマーク部材のランドマークポイントを含む領域が撮影されて画像信号として出力される。
【００２４】
また、この発明では、上記複数の撮像器の各々から出力された画像信号が示す画像における上記複数のランドマークポイントの２次元位置を示す座標情報が２次元座標導出手段によって撮像器毎に導出され、導出された上記複数のランドマークポイントの２次元位置を示す座標情報と、上記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報が対応付手段によって対応付けられる。
【００２５】
このように請求項３に記載の座標情報収集システムによれば、請求項１または請求項２記載の発明と同様の効果を奏することができると共に、マーク部材を複数のランドマークポイントが付されたものとしているので、マーク部材の設置毎に収集できる座標情報の位置数を複数とすることができ、より短時間に多数の座標情報を収集することができる。
【００２６】
更に、請求項４記載の座標情報収集システムは、請求項３記載の発明において、前記マーク部材の前記ランドマークポイントを含む領域に、前記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付し、前記対応付手段は、前記撮像器から出力された画像信号から前記起点マークの位置を検出し、所定ルールに基づいて、前記検出した位置を起点として前記複数のランドマークポイントの２次元位置を示す座標情報と前記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付けるものである。
【００２７】
請求項４記載の座標情報収集システムによれば、請求項３に記載の発明におけるマーク部材のランドマークポイントを含む領域に、上記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークが付される。なお、上記起点マークとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状のマークを適用することができる。
【００２８】
また、請求項４記載の発明では、対応付手段によって、上記撮像器から出力された画像信号から起点マークの位置が検出され、所定ルールに基づいて、上記検出された位置を起点として上記複数のランドマークポイントの２次元位置を示す座標情報と上記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報が対応付けられる。なお、上記所定ルールとしては、起点マークの最近傍に位置するランドマークポイントを起点として、上記複数のランドマークポイントの座標情報の順位を決定することができるルールであれば、如何なるルールも適用することができる。
【００２９】
このように請求項４に記載の座標情報収集システムによれば、請求項３記載の発明と同様の効果を奏することができると共に、マーク部材に対して複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付しておき、所定ルールに基づいて、上記起点マークの位置を起点として上記複数のランドマークポイントの２次元位置を示す座標情報と上記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報の対応付けを行っているので、該対応付けを人手を介在させることなく自動的に行うことができる。
また、請求項５記載の座標情報収集システムは、請求項１〜請求項４の何れか１項に記載の発明において、前記ランドマークポイントを市松模様の格子点としたものである。
また、請求項６記載の座標情報収集システムは、請求項１〜請求項４の何れか１項に記載の発明において、前記ランドマークポイントを円状または矩形状の図形の重心としたものである。
【００３０】
一方、上記目的を達成するために、請求項７記載の３次元形状推定システムは、請求項１〜請求項６の何れか１項に記載の座標情報収集システムと、前記記憶手段に記憶されている座標情報に基づいて、前記撮像器の撮像対象とされる３次元空間と前記撮像器によって得られる画像信号が示す画像との位置関係を示す射影変換行列を導出する行列導出手段と、前記行列導出手段によって導出された射影変換行列を用いて、前記撮像器の各々によって得られた画像信号が示す各画像を前記３次元空間における予め定められた平面に対して２次元射影変換し、前記平面上の各写像の重なる領域の前記画像信号を取得する処理を、前記平面の位置及び向きを変化させながら繰り返すことにより２次元形状の集合として３次元形状を推定する推定手段と、を含んで構成されている。
【００３８】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。まず、図１を参照して、本実施の形態に係る多視点映像撮影システム１０の構成について説明する。なお、図１は、本実施の形態に係る多視点映像撮影システム１０の全体構成を示すブロック図である。
【００３９】
同図に示すように、本実施の形態に係る多視点映像撮影システム１０は、撮影対象とする空間内を撮影して画像信号として出力する複数（本実施の形態では１５台）のビデオカメラ１２と、各ビデオカメラ１２から出力された画像信号の同期をとるための同期信号を発生する同期信号発生器１４と、各ビデオカメラ１２から出力された画像信号に書込むべき撮影時刻を示すタイムコードを発生するＬＴＣ（Longitudinal Time Code）発生器１８と、各々ＬＴＣ発生器１８によって発生されたタイムコードに応じた撮影時刻を対応するビデオカメラ１２から出力された画像信号に書込む複数（本実施の形態では１５台）のタイムスタンパ１６と、各々３枚の画像ボード２６が装着された画像信号取り込み用のパーソナル・コンピュータ（以下、「取込用ＰＣ」という）２０と、撮影対象とする空間内の任意点の３次元位置を計測するための３次元測量器２４と、本多視点映像撮影システム１０全体の動作を司る制御用のパーソナル・コンピュータ（以下、「制御用ＰＣ」という）２２と、を含んで構成されている。
【００４０】
なお、本実施の形態では、上記ビデオカメラ１２として、ソニー株式会社製、商品名ＤＸＣ−９０００というプログレッシブ・スキャン３ＣＣＤカメラを適用している。また、本実施の形態では、上記３次元測量器２４として、株式会社ニコン製、商品名ＧＦ−ＥＸ１を適用している。
【００４１】
各ビデオカメラ１２には同期信号発生器１４が接続されており、同期信号発生器１４によって発生された共通の同期信号が各ビデオカメラ１２に供給されるように構成されている。これによって、デジタイズされたフレームにおいてインターレース・スキャン撮影時のようなブレが発生することなく、かつ完全に同期した多視点映像の撮影が可能となる。
【００４２】
また、各ビデオカメラ１２の画像信号を出力する出力端子は、各々ＬＴＣ発生器１８が接続された対応するタイムスタンパ１６に接続されており、ＬＴＣ発生器１８によって発生されたタイムコードを各タイムスタンパ１６によってＶＩＴＣ（Vertical Interval Time Code）に変換した後、対応するビデオカメラ１２から入力された画像信号の垂直ブランク領域に書き込むことによって、フレームの撮影時刻の特定を可能としている。
【００４３】
更に、各タイムスタンパ１６のタイムコードが書込まれた画像信号を出力する出力端子は各々対応する画像ボード２６を介して対応する取込用ＰＣ２０に入力されるように構成されており、各タイムスタンパ１６によってタイムコードが書込まれた画像信号は対応する画像ボード２６によって取込用ＰＣ２０に内蔵された図示しないメモリ上に、デジタルカラー画像データとして、フルサイズ（６４０×４８０画素）、ビデオレート（毎秒３０フレーム）で取り込まれる。
【００４４】
また、各取込用ＰＣ２０は制御用ＰＣ２２に１００Ｂａｓｅ−ＴＸ Ｅｔｈｅｒネットワーク経由で接続されており、各取込用ＰＣ２０によって取り込まれたデジタルカラー画像データを制御用ＰＣ２２に入力できるように構成されている。このように、取込用ＰＣ２０と制御用ＰＣ２２が独立したシステム構成であるため、ビデオカメラ１２や取込用ＰＣ２０の増減設が容易に行える。
【００４５】
ビデオカメラ１２と取込用ＰＣ２０は比較的近接した位置に配置され、信号が劣化しやすいアナログビデオ信号は短いビデオケーブルで伝送される。一方、各ビデオカメラ１２間の距離は、１００Ｂａｓｅ−ＴＸ Ｅｔｈｅｒケーブルの最大延長可能距離によって決定されるが、このケーブルには時間的制約の大きい信号が流れ込まないため、ハブなどによるケーブルの延長が可能であり、大規模空間への拡張が容易に行える。
【００４６】
一方、３次元測量器２４は制御用ＰＣ２２にＲＳ２３２Ｃケーブルによって接続されており、３次元測量器２４によって計測された３次元位置を示す座標情報が必要に応じて制御用ＰＣ２２に入力されるように構成されている。
【００４７】
次に、図２を参照して、本実施の形態においてカメラ校正用に用いられるキャリブレーションボード３０の構成について説明する。図２（Ａ）に示すように、本実施の形態に係るキャリブレーションボード３０は、市松模様と、黒色の×印とされた起点マーカー３６とが付された矩形状の板状部材に対して、市松模様が付された面の外周近傍でかつ互いに離間する予め定められた３箇所に反射板取付部材３２が設置されて構成されている。
【００４８】
本実施の形態では、キャリブレーションボード３０の上記板状部材に付された市松模様の格子点をランドマークポイントＬｉ（ｉ＝１〜２８）として適用するものとしており、該ランドマークポイントＬｉが本発明のマークに相当する。
【００４９】
なお、本実施の形態に係るキャリブレーションボード３０では、上記板状部材を長手方向長さが１８０ｃｍ、短手方向長さが９０ｃｍの剛性の高いホワイトボードで構成しており、上記市松模様は、２０ｃｍ四方の黒紙を上記ホワイトボードに２０ｃｍ間隔で交互に貼り付けることによって構成している。
【００５０】
一方、図２（Ｂ）に示すように、キャリブレーションボード３０に設置されている各反射板取付部材３２には、３次元測量器２４による３次元位置の計測の際のターゲットとなる基準マーク３８が付された反射板３４Ａ及び反射板３４Ｂが取り付けられている。３次元測量器２４は、反射板３４Ａ又は反射板３４Ｂに対してレーザ光を射出し、反射板３４Ａ又は反射板３４Ｂによって反射されたレーザ光を受光することによって、３次元測量器２４による測量位置を原点座標（０、０、０）としたターゲットの３次元位置を示す座標情報を取得する。
【００５１】
上述したように、本実施の形態に係るキャリブレーションボード３０は、剛性の高い板状部材をベースとして構成されているので、キャリブレーションボード３０自身の歪みは無視できる。そのため、キャリブレーションボード３０上の個々のランドマークポイントＬｉについて３次元座標位置を測定する必要はなく、最低３点の基準点の測定値から、全てのランドマークポイントＬｉの３次元座標値を求めることができる。
【００５２】
すなわち、上記最低３点の基準点のうちの１つの基準点の２次元座標位置を基準位置（０、０）とした場合の各ランドマークポイントＬｉの２次元座標値を予め記憶しておく。そして、各ランドマークポイントＬｉの３次元位置を示す座標情報を導出する際には、まず、上記最低３個の基準点の３次元座標位置を３次元測量器２４によって計測し、次に、キャリブレーションボード３０のランドマークポイントが付された面の３次元測量器２４に対する傾きを、計測した上記最低３個の基準点の３次元座標位置に基づいて求め、最後に、上記傾きと、上記１つの基準点の３次元座標位置と、上記予め記憶しておいた各ランドマークポイントＬｉの２次元座標値と、に基づいて、各ランドマークポイントの３次元位置を示す座標情報を導出する。
【００５３】
本実施の形態では、反射板取付部材３２の３箇所の設置位置が上記基準点の位置に対応している。従って、３次元測量器２４によって反射板取付部材３２に設けられている反射板３４Ａ又は反射板３４Ｂに付された基準マーク３８の３次元位置を計測することによって、上述した手順により、各ランドマークポイントＬｉの３次元位置を示す座標情報を導出することができる。
【００５４】
次に、図３を参照して、本実施の形態に係る撮影対象と、各ビデオカメラ１２及び３次元測量器２４の配置位置について説明する。同図に示すように、本実施の形態では、イベントホール５０内の略中央に位置する撮影対象空間５２を撮影対象としている。
【００５５】
また、同図に示すように、本実施の形態では、イベントホール５０の図３紙面前後位置に位置する２面の壁面の各々に４台づつ、残りの２面の壁面に３台づつ、天井の中心近傍に１台、各々ビデオカメラ１２が設置されている。
【００５６】
更に、同図に示すように、本実施の形態では、３次元測量器２４をイベントホール５０内の天井近傍の壁面に設置しており、これによって、キャリブレーションボード３０を撮影対象空間５２のどの位置に配置した場合であっても、キャリブレーションボード３０上の基準マーク３８の３次元位置を３次元測量器２４によって計測することができる。
【００５７】
次に、図４を参照して、本実施の形態におけるキャリブレーションボード３０の配置位置について説明する。本実施の形態では、図４（Ａ）に示すように、平面視矩形状とされた撮影対象空間５２の２箇所の角部近傍位置及び該２箇所の角部に対向する２箇所の角部の略中心位置の３箇所の位置の各々について、図４（Ｂ）に示すように、撮影対象空間５２の上端部近傍、中心部近傍及び下端部近傍の３箇所づつ、合計９箇所にキャリブレーションボード３０を配置する。
【００５８】
多視点映像撮影システム１０が本発明の座標情報収集システムに、キャリブレーションボード３０が本発明のマーク部材に、３次元測量器２４が本発明の３次元測量器に、ビデオカメラ１２が本発明の撮像器に、制御用ＰＣ２２に内蔵されたハードディスク（図示省略）が本発明の記憶手段に、基準マーク３８が本発明の基準マークに、起点マーカー３６が本発明の起点マークに、各々相当する。
【００５９】
次に、図５〜図７を参照して、本実施の形態に係る多視点映像撮影システム１０の作用について説明する。なお、図５〜図７は、多視点映像撮影システム１０における各ビデオカメラ１２の撮影によって得られたデジタルカラー画像データが示す画像上のランドマークポイントＬｉの２次元位置を示す座標情報（ｕ、ｖ）と、３次元測量器２４による計測によって得られたランドマークポイントＬｉの３次元位置を示す座標情報（Ｘ、Ｙ、Ｚ）との位置関係、すなわち、各ビデオカメラ１２によって得られたデジタルカラー画像データが示す画像と実世界との位置関係を導出する際に多視点映像撮影システム１０において行われる処理の流れを示すフローチャートである。
【００６０】
まず、図５のステップ１００では、計測者により、図４に示したキャリブレーションボード３０の各配置位置のうちの何れか一箇所にキャリブレーションボード３０を配置する。このとき、キャリブレーションボード３０は必ずしもランドマークポイントＬｉが付された面を水平とする必要はない。
【００６１】
次のステップ１０２では、実世界ランドマークポイント取得処理を行う。以下、図６を参照して、本実施の形態に係る実世界ランドマークポイント取得処理について説明する。
【００６２】
同図のステップ２００では、計測者によりキャリブレーションボード３０の３箇所に設けられている反射板３４Ａ又は反射板３４Ｂのうちの何れか１つの基準マーク３８の中心位置を３次元測量器２４によって計測し、該計測によって得られた３次元位置を示す座標情報（Ｘ、Ｙ、Ｚ）を制御用ＰＣ２２に送信する。
【００６３】
そこで、次のステップ２０２では、制御用ＰＣ２２により、上記ステップ２００によって３次元測量器２４から受信された３次元位置を示す座標情報（Ｘ、Ｙ、Ｚ）を制御用ＰＣ２２に内蔵された図示しないメモリに記憶する。
【００６４】
次のステップ２０４では、３箇所全ての反射板３４における基準マーク３８の中心位置の計測及び制御用ＰＣ２２のメモリへの記憶が終了したか否かを判定し、終了していない場合（否定判定の場合）は上記ステップ２００へ戻って、残りの反射板３４の基準マーク３８に対する中心位置の計測及び上記メモリへの記憶を繰り返して実行し、全ての反射板３４について終了した時点（肯定判定となった時点）でステップ２０６へ移行する。
【００６５】
ステップ２０６では、制御用ＰＣ２２により、上記ステップ２００乃至ステップ２０４の繰り返し処理によって得られた３箇所の反射板３４における基準マーク３８の３次元位置を示す座標情報（Ｘ、Ｙ、Ｚ）に基づいて、キャリブレーションボード３０に付された全てのランドマークポイントＬｉの３次元位置を示す座標情報を演算する。
【００６６】
すなわち、前述したように、キャリブレーションボード３０のランドマークポイントが付された面の３次元測量器２４に対する傾きは、３箇所に設けられた反射板３４における基準マーク３８の３次元位置座標に基づいて得ることができる。そして、キャリブレーションボード３０の１つの反射板３４における基準マーク３８の中心位置を基準点とした各ランドマークポイントＬｉの２次元座標値は予め記憶されているので、上記傾きと上記１つの反射板３４における基準マーク３８の３次元位置を示す座標情報と、上記予め記憶されている各ランドマークポイントＬｉの２次元座標値と、に基づいて、各ランドマークポイントＬｉの３次元位置を示す座標情報を導出することができる。
【００６７】
具体的には、まず、キャリブレーションボード３０の３次元測量器２４に対する傾きを求め、次に上記各ランドマークポイントの２次元座標値を上記傾きに応じた３次元座標値に変換し、最後に、上記変換によって得られた各ランドマークポイントＬｉの３次元座標値を上記１つの反射板３４における基準マーク３８の３次元位置を示す座標情報に加算する。
【００６８】
次のステップ２０８では、制御用ＰＣ２２により、上記ステップ２０６で得られた各ランドマークポイントＬｉの３次元位置を示す座標情報を、キャリブレーションボード３０に付されている起点マーカー３６の位置を基準として一定のルールに従って並び替える。
【００６９】
なお、本実施の形態では、上記一定のルールを、キャリブレーションボード３０を平面視した場合において、起点マーカー３６の最近傍に位置する反射板３４（本実施の形態では図２紙面左上の反射板取付部材３２に設けられている反射板３４）の最近傍に位置するランドマークポイントを１番目とし、該１番目のランドマークポイントの図２紙面右側に位置するランドマークポイントに対して上記１番目のランドマークポイントに近い順に順次順番付けしていき、図２紙面右端のランドマークポイントに達したら、次の行の左端のランドマークポイントを上記右端のランドマークポイントの次の順番とするように順番付けすることを繰り返して行うことにより、全てのランドマークポイントに対して順番付けを行い、この順番付けによって決定された順番となるように、各ランドマークポイントＬｉの３次元位置を示す座標情報の順番を並べ替えるものとする。
【００７０】
この並べ替えによって、図２に示す例では、各ランドマークポイントの３次元位置を示す座標情報が、Ｌ１、Ｌ２、・・・、Ｌ２８という順番に並び替えられることになる。
【００７１】
次のステップ２１０では、制御用ＰＣ２２により、上記ステップ２００乃至ステップ２０８の処理によって得られたランドマークポイントＬｉの３次元位置を示す座標情報を図示しないメモリに記憶し、その後に本実世界ランドマークポイント取得処理を終了して、図５のステップ１０４に戻る。
【００７２】
ステップ１０４では、ビデオ画像ランドマークポイント取得処理を行う。以下、図７を参照して、本実施の形態に係るビデオ画像ランドマークポイント取得処理について説明する。なお、ここでは、上記ステップ１００（図５も参照）において撮影対象空間５２内に配置されたキャリブレーションボード３０に対する撮影によって各ビデオカメラ１２からデジタルカラー画像データが取込用ＰＣ２０を経由して制御用ＰＣ２２に入力されていることを前提に説明する。
【００７３】
同図のステップ２５０では、制御用ＰＣ２２により、何れか１台のビデオカメラ１２から入力されているデジタルカラー画像データが示す画像から起点マーカー３６の画像位置座標を抽出する。なお、本実施の形態の起点マーカー３６は黒色の×印とされているので、ここでは、上記デジタルカラー画像データにおいて、直線状でかつ長手方向の長さが略同一の２つの黒画素データ群が交差している領域を起点マーカー３６として検出し、該領域の中心位置の２次元座標を起点マーカー３６の画像位置座標として抽出する。
【００７４】
次のステップ２５２では、制御用ＰＣ２２により、上記ステップ２５０で起点マーカー３６の画像位置座標の抽出対象とされたビデオカメラ１２から入力されているデジタルカラー画像データから、全てのランドマークポイントＬｉの２次元位置を示す座標情報を抽出する。
【００７５】
ここでは、まず、上記デジタルカラー画像データに含まれる市松模様を示す領域から、黒色領域と白色領域の境界線を抽出する。図２に示す例では、この抽出によって、市松模様の左端から右端まで行方向に延びた４本の直線と、市松模様の上端から下端まで列方向に延びた７本の直線が得られることになるので、次に、上記行方向に延びた４本の直線と、列方向に延びた７本の直線の交点の２次元位置座標を求める。これによって、図２に示す例では、２８箇所の交点の２次元位置座標が得られる。この２次元位置座標が各ランドマークポイントＬｉの２次元位置を示す座標情報に相当する。なお、本実施の形態では、上記デジタルカラー画像データが示す画像領域の左上点を原点（０、０）として上記ランドマークポイントの２次元位置を示す座標情報を得る。
【００７６】
次のステップ２５４では、制御用ＰＣ２２により、上記ステップ２５２で抽出した各ランドマークポイントＬｉの２次元位置を示す座標情報を、上記ステップ２５０によって抽出した起点マーカー３６の画像位置座標を基準として一定のルールに従って並び替える。
【００７７】
なお、本実施の形態では、上記一定のルールを、キャリブレーションボード３０を平面視した場合において、起点マーカー３６の最近傍に位置する反射板３４（本実施の形態では図２紙面左上の反射板取付部材３２に設けられている反射板３４）の最近傍に位置するランドマークポイントを１番目とし、該１番目のランドマークポイントの図２紙面右側に位置するランドマークポイントに対して上記１番目のランドマークポイントに近い順に順次順番付けしていき、図２紙面右端のランドマークポイントに達したら、次の行の左端のランドマークポイントを上記右端のランドマークポイントの次の順番とするように順番付けすることを繰り返して行うことにより、全てのランドマークポイントに対して順番付けを行い、この順番付けによって決定された順番となるように、各ランドマークポイントＬｉの２次元位置を示す座標情報の順番を並べ替えるものとする。
【００７８】
この並べ替えによって、図２に示す例では、各ランドマークポイントの２次元位置を示す座標情報が、Ｌ１、Ｌ２、・・・、Ｌ２８という順番に並び替えられることになる。
【００７９】
次のステップ２５６では、制御用ＰＣ２２により、上記ステップ２５０乃至ステップ２５４の処理によって得られた各ランドマークポイントの２次元位置を示す座標情報を図示しないメモリに記憶し、次のステップ２５８では、全てのビデオカメラ１２について上記ステップ２５０乃至ステップ２５６の処理が終了したか否かを判定し、終了していないと判定された場合（否定判定された場合）は上記ステップ２５０に戻り、終了したと判定された時点（肯定判定された時点）で本ビデオ画像ランドマークポイント取得処理を終了して、図５のステップ１０６に戻る。
【００８０】
ステップ１０６では、制御用ＰＣ２２により、上記ステップ１０２の実世界ランドマークポイント取得処理によって得られた各ランドマークポイントＬｉの３次元位置を示す座標情報と、上記ステップ１０４のビデオ画像ランドマークポイント取得処理によって得られた各ランドマークポイントＬｉの２次元位置を示す座標情報との各座標情報に対して、同一のランドマークポイントの３次元位置を示す座標情報と２次元位置を示す座標情報とを対応付ける。
【００８１】
なお、本実施の形態では、上記実世界ランドマークポイント取得処理のステップ２０８の処理、及び上記ビデオ画像ランドマークポイント取得処理のステップ２５４の処理によって、各ランドマークポイントＬｉの３次元位置を示す座標情報と２次元位置を示す座標情報とは、同一ルールに従って並べ替えられて図示しないメモリに記憶されているので、本ステップ１０６では、同一順番の３次元位置を示す座標情報と２次元位置を示す座標情報とを対応付けることのみによって、同一ランドマークポイントの座標情報の対応付けを行うことができる。
【００８２】
次のステップ１０８では、制御用ＰＣ２２により、各ランドマークポイントＬｉの３次元位置を示す座標情報と２次元位置を示す座標情報とを上記ステップ１０６の処理で対応付けられた状態で、制御用ＰＣ２２に内蔵されたハードディスク（図示省略）に構築されているデータベースに追加記憶する。なお、本ステップ１０８の処理が初めて行われる際には、上記データベースをステップ１０６までの処理で得られている座標情報が含まれたものとして新規に作成する。
【００８３】
次のステップ１１０では、図４に示した全ての配置位置にキャリブレーションボード３０を配置して上記ステップ１００乃至ステップ１０８の処理が終了したか否かを判定し、終了していない場合（否定判定の場合）は上記ステップ１００へ戻る。ここで、計測者は、図４に示した配置位置のうちの残りの何れかの位置にキャリブレーションボード３０を配置する。
【００８４】
一方、上記ステップ１１０で処理が終了したと判定された場合（肯定判定された場合）はステップ１１２へ移行する。
【００８５】
以上のステップ１００乃至ステップ１１０の繰り返し処理によって、図４に示した全ての配置位置にキャリブレーションボード３０を配置したときの各ランドマークポイントの座標情報が得られることになる。
【００８６】
図８には、ステップ１００乃至ステップ１１０の繰り返し処理によって得られたデータベースの構造が模式的に示されている。図８（Ａ）に示すように、本実施の形態に係るデータベースは、各ビデオカメラ１２毎に所定サイズの領域が設けられており、各領域には、キャリブレーションボード３０の配置位置毎の領域（本実施の形態では、９つの領域）が設けられている。
【００８７】
また、キャリブレーションボード３０の配置位置毎の各領域には、図８（Ｂ）に示すように、キャリブレーションボード３０上の各ランドマークポイントＬｉ毎に、対応付けられた２次元位置を示す座標情報と３次元位置を示す座標情報とが記憶される。
【００８８】
一方、図５のステップ１１２では、制御用ＰＣ２２により、以上の処理によって得られた各位置における各ランドマークポイントの座標情報のデータベースに基づいて、実世界と各ビデオカメラ１２によって得られるビデオ画像の位置関係を示す射影変換行列Ｐｎを導出する。なお、この射影変換行列Ｐｎの導出方法としては、「３次元ビジョン」（徐 剛、辻 三郎著、共立出版）の第６章の６．１（第７９頁〜第８２頁）に示される方法（同文献では、上記射影変換行列Ｐｎに相当するものとして射影行列Ｐを導出）が例示されるが、これ以外のあらゆる方法を適用することができることは言うまでもない。
【００８９】
次のステップ１１４では、制御用ＰＣ２２により、上記ステップ１１２によって導出された射影変換行列Ｐｎを内蔵された図示しないハードディスクに記憶し、その後に本位置関係導出処理を終了する。
【００９０】
上記ビデオ画像ランドマークポイント取得処理におけるステップ２５２の処理が本発明の２次元座標導出手段に、上記位置関係導出処理におけるステップ１０６の処理が本発明の対応付手段に、上記実世界ランドマークポイント取得処理におけるステップ２０６の処理が本発明の３次元座標導出手段に、各々相当する。
【００９１】
次に、以上説明した位置関係導出処理によって得られた射影変換行列Ｐｎを用いた３次元形状の復元手法の一例について説明する。なお、以下で示す３次元形状の復元手法は、本発明者らによって研究が行われている手法である。
【００９２】
まず、図９に示すように、復元対象とする３次元形状を複数の平面上の形状、すなわち２次元形状の集合として定義する。この手法では、平面間の線形補間によって３次元形状の解像度を向上させることが可能であるため、ボクセルモデルを中間媒体にする手法に比べ、高解像度の場合でも処理の高速化が可能であるという優位性がある。また、一般的なボクセルモデルは、複数枚の平面を平行に等間隔で積み重ねたものであると考えることができるが、それらの平面が持つ見え方の情報には冗長性が存在し、効率的な表現であるとは言えない。一方、本手法は、平面の配置を適応的に変化させることで冗長性の削減が可能である。
【００９３】
次に、図１０を参照して、３次元物体の形状を平面上の２次元形状の集合として推定する手法について説明する。この時、カメラ位置Ｃ１において撮影された入力画像上の点Ｉｎ(ｕ、ｖ)と平面上の点Ｓｍ（ｉ、ｊ）の間には、次の（１）式に示すような射影変換行列Ｐｎによる関係が成り立っているものとする（ｎ＝１、・・・、Ｎ，ｍ＝１、・・・、Ｍ）。
【００９４】
Ｉｎ（ｕ、ｖ）＝ＰｎＳｍ（ｉ、ｊ） （１）
例えば、図１０に示すように、Ｘ−Ｚ平面に平行で高さＹ１の位置に平面Ｓ１を設定し、そこに入力映像を２次元射影変換する場合、撮影した３次元空間中で実際に高さＹ１に存在していた領域だけが、平面Ｓ１上に正確に投影される。この性質を利用して平面上での物体の形状を推定する。
【００９５】
まず、全ての入力映像を平面上に２次元射影変換し、それらの写像の重なる領域を求める。背景領域を除去した前景領域のみを射影する場合には、平面上で写像の論理積（ＡＮＤ）をとることで、領域を求めることができる。このようにして求めた領域の形状は、３次元物体を平面でスライスした形状であると仮定することができる。同様の処理を平面の位置、向きを様々に変化させながら繰り返すことで、２次元形状の集合として３次元形状を推定する。
【００９６】
次に、以上のようにして獲得した３次元形状を用いた自由視点映像の生成手法について述べる。なお、以下で示す生成手法も、本発明者らによって研究が行われている手法である。
【００９７】
図１１に、３次元シーン中の点Ｍ（Ｘ、Ｙ、Ｚ）と、各入力映像Ｉｎ、自由視点映像Ｉｖにおける観測点との幾何的関係を示す。
【００９８】
３次元形状情報が既知であれば、注目点がどの入力映像上のどこで観測されるかを求めることが可能である。また、与えられた自由視点映像撮影用カメラの３次元位置、姿勢を用いて、３次元シーン中の点Ｍ（Ｘ、Ｙ、Ｚ）と、自由視点映像Ｉｖにおける観測点の関係を表す射影変換行列Ｐｖを求めることができる。
【００９９】
自由視点映像Ｉｖ上での注目点Ｍ（Ｘ、Ｙ、Ｚ）の見え方の再現手法について説明する。まず、射影変換行列Ｐｖを用いて注目点の自由視点映像上での観測位置を求める。次に、３次元形状情報を用いて各入力画像上における注目点の見え方を求める。
【０１００】
それらの中から、３次元物体による隠れの影響や物体の表面方向を考慮に入れ、自由視点からの見え方に最も適していると思われるものを選択し、自由視点映像上の観測位置にマッピングを行うことで、自然な見え方を再現することが可能になる。
【０１０１】
以上詳細に説明したように、本実施の形態に係る多視点映像撮影システムでは、ランドマークポイントを示すものとして座標情報の収集対象となる位置を示すマーク（本実施の形態では、市松模様）が付された移動可能なキャリブレーションボードを用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたキャリブレーションボードのランドマークポイントの３次元位置を３次元測量器によって計測して、複数のビデオカメラによって得られた画像における上記ランドマークポイントの２次元位置を示す情報と３次元測量器によって計測された上記ランドマークポイントの３次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる。
【０１０２】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードに対してランドマークポイントが付されている位置の基準となる基準マークを付しておき、３次元測量器によって上記基準マークの３次元位置を計測して、該計測した３次元位置を基準として上記ランドマークポイントの３次元位置を示す座標情報を導出しているので、基準マークのみが３次元測量器によって計測できる状態にキャリブレーションボードを配置することが可能となり、キャリブレーションボードの配置の自由度を増すことができる。
【０１０３】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードの形状を板状としたので、キャリブレーションボードの移動の簡易性や設置の容易性を向上することができる。
【０１０４】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードを複数のランドマークポイントが付されたものとしているので、キャリブレーションボードの設置毎に収集できる座標情報の位置数を複数とすることができ、より短時間に多数の位置の座標情報を収集することができる。
【０１０５】
更に、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードに対して複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付しておき、かつ該起点マークの位置を起点とした所定ルールに基づいて、上記複数のランドマークポイントの２次元位置を示す座標情報と上記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報の対応付けを行っているので、該対応付けを人手を介在させることなく自動的に行うことができる。
【０１０６】
なお、本実施の形態では、キャリブレーションボード３０に付するランドマークポイントとして市松模様（図２も参照）を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、図１２に示すように、各ランドマークポイントを中心とした円状図形を適用する形態とすることもでき、各ランドマークポイントを中心とした矩形状図形（図示省略）を適用する形態とすることもできる。これらの場合は、各円状図形又は各矩形状図形の重心位置（中心位置）を導出することにより、各ランドマークポイントの２次元位置を示す座標情報を得ることができる。
【０１０７】
また、本実施の形態では、３次元物体の形状を復元する手法として、平面上の２次元形状の集合として３次元物体の形状を推定する手法について説明したが、本発明はこれに限定されるものではなく、例えば、前述の位置関係導出処理によって得られたデータベースに基づいて各ビデオカメラの設置位置及び撮影方向を導出し、かつ複数のビデオカメラによって得られた画像データが示す画像の中の対応点を導出した後、各対応点に対する各ビデオカメラによる画像中の位置のベクトルの交点位置を当該対応点の３次元位置座標として求めることによって３次元物体の形状を復元する、所謂ステレオ画像による３次元形状の復元にも本発明は適用することができる。
【０１０８】
また、本実施の形態では、図３で示した位置にビデオカメラ１２及び３次元測量器２４を配置した場合について説明したが、この配置位置は一例であり、同図以外の位置に配置してもよいことは言うまでもない。
【０１０９】
また、本実施の形態では、図４で示した位置にキャリブレーションボードを配置した場合について説明したが、この配置位置は一例であり、同図以外の位置に配置してもよいことは言うまでもない。
【０１１０】
【発明の効果】
以上説明したように、本発明に係る座標情報収集システム及び座標情報収集方法によれば、ランドマークポイントを示すものとして座標情報の収集対象となる位置を示すマークが付された移動可能なマーク部材を用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたマーク部材のマークの３次元位置を３次元測量器によって計測して、複数の撮像器によって得られた画像における上記マークの２次元位置を示す座標情報と３次元測量器によって計測された上記マークの３次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる、という効果が得られる。
【０１１１】
また、本発明に係るマーク部材によれば、マーク部材の形状を板状としたので、マーク部材の移動の簡易性や設置の容易性を向上することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係る多視点映像撮影システムの全体構成を示すブロック図である。
【図２】（Ａ）は本実施の形態に係るキャリブレーションボードの全体構成を示す斜視図であり、（Ｂ）はキャリブレーションボードに設けられた反射板取付部材の詳細な構成を示す斜視図である。
【図３】実施の形態に係る撮影対象と、各ビデオカメラ及び３次元測量器の配置位置を示す斜視図である。
【図４】実施の形態に係るキャリブレーションボードの配置位置を示す図であり、（Ａ）は平面図で、（Ｂ）は側面図である。
【図５】実施の形態に係る多視点映像撮影システムによって行われる位置関係導出処理の流れを示すフローチャートである。
【図６】図５に示す処理の途中で行われる実世界ランドマークポイント取得処理の流れを示すフローチャートである。
【図７】図５に示す処理の途中で行われるビデオ画像ランドマークポイント取得処理の流れを示すフローチャートである。
【図８】実施の形態に係るデータベースの構成例を示す模式図である。
【図９】３次元形状の復元手法の説明に供する概略図である。
【図１０】３次元形状の復元手法の説明に供する概略図である。
【図１１】自由視点映像の生成手法の説明に供する概略図である。
【図１２】キャリブレーションボードの他の形態例を示す平面図である。
【符号の説明】
１０ 多視点映像撮影システム（座標情報収集システム）
１２ ビデオカメラ（撮像器）
１８ ＬＴＣ発生器
２０ 取込用ＰＣ
２２ 制御用ＰＣ
２４ ３次元測量器
３０ キャリブレーションボード（マーク部材）
３２ 反射板取付部材
３４Ａ、３４Ｂ 反射板
３６ 起点マーカー（起点マーク）
３８ 基準マーク
５０ イベントホール
５２ 撮影対象空間
Ｌ１〜Ｌ２８ ランドマークポイント（マーク）

Claims (7)

1. 座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材と、
   前記ランドマークポイントの前記表面上の２次元座標位置を示す２次元座標位置情報を予め記憶した記憶手段と、
   座標情報の収集対象とする３次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの３次元位置を計測するために前記基準マークの３次元位置を計測する３次元測量器と、
   前記３次元測量器によって計測された前記基準マークの３次元位置に基づいて、前記表面の各々の前記３次元測量器に対する傾きを導出する傾き導出手段と、
   前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記３次元測量器によって計測された前記基準マークの前記３次元位置、及び前記記憶手段に記憶されている前記２次元座標位置情報に基づいて、前記ランドマークポイントの３次元位置を示す座標情報を導出する３次元座標導出手段と、
   各々異なる位置に配置されると共に、前記３次元測量器によって前記ランドマークポイントの３次元位置が計測された前記マーク部材の前記ランドマークポイントを含む領域を撮影して画像信号として出力する複数の撮像器と、
   前記複数の撮像器の各々から出力された画像信号が示す画像における前記ランドマークポイントの２次元位置を示す座標情報を前記撮像器毎に導出する２次元座標導出手段と、
   前記２次元座標導出手段によって導出された前記ランドマークポイントの２次元位置を示す座標情報と、前記３次元座標導出手段によって導出された前記ランドマークポイントの３次元位置を示す座標情報とを対応付ける対応付手段と、
   前記対応付手段によって対応付けられた座標情報を記憶する記憶手段と、
   を備えた座標情報収集システム。
2. 前記マーク部材は、表面に前記ランドマークポイントと少なくとも３箇所の前記基準マークとが付された板状部材である請求項１記載の座標情報収集システム。
3. 前記マーク部材に複数の前記ランドマークポイントを付し、
   前記対応付手段は、前記複数のランドマークポイントの２次元位置を示す座標情報と前記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付ける
   請求項１または請求項２記載の座標情報収集システム。
4. 前記マーク部材の前記ランドマークポイントを含む領域に、前記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付し、
   前記対応付手段は、前記撮像器から出力された画像信号から前記起点マークの位置を検出し、所定ルールに基づいて、前記検出した位置を起点として前記複数のランドマークポイントの２次元位置を示す座標情報と前記複数のランドマークポイントの３次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付ける
   請求項３記載の座標情報収集システム。
5. 前記ランドマークポイントを市松模様の格子点とした請求項１〜請求項４の何れか１項に記載の座標情報収集システム。
6. 前記ランドマークポイントを円状または矩形状の図形の重心とした請求項１〜請求項４の何れか１項に記載の座標情報収集システム。
7. 請求項１〜請求項６の何れか１項に記載の座標情報収集システムと、
   前記記憶手段に記憶されている座標情報に基づいて、前記撮像器の撮像対象とされる３次元空間と前記撮像器によって得られる画像信号が示す画像との位置関係を示す射影変換行列を導出する行列導出手段と、
   前記行列導出手段によって導出された射影変換行列を用いて、前記撮像器の各々によって得られた画像信号が示す各画像を前記３次元空間における予め定められた平面に対して２次元射影変換し、前記平面上の各写像の重なる領域の前記画像信号を取得する処理を、前記平面の位置及び向きを変化させながら繰り返すことにより２次元形状の集合として３次元形状を推定する推定手段と、
   を含む３次元形状推定システム。

Images