JP4680558B2 - 撮影及び３次元形状復元方法、並びに撮影及び３次元形状復元システム - Google Patents

Description

本発明は、一般的には画像処理の分野に係り、より具体的には、建物の室内のような広がりのある対象を撮影し、撮影した画像データに基づいて対象の３次元形状復元を行う技術に関する。

三次元の対象の形状復元もしくは測定方法は、対象に光波や超音波を照射する能動的な手法と、ステレオ画像法に代表される受動的な手法とがある。

能動的手法には、波動（光、電波、音波)を対象に照射し、対象からの反射波の伝播時間を計測することにより対象までの距離を求める手法、カメラと位置関係が既知の光源から特定のパターンを持った光（スリット光、スポット光等）を対象に照射し、その歪みを観測して対象物の形状を求める光投影法などがある。一般的に、能動的手法は、高速かつ高精度に距離を測定できるという長所がある反面、装置が大型・高価になる。

受動的手法は、多眼立体視と運動立体視に大別される。

多眼立体視は、互いの位置・姿勢が既知である複数のカメラを用いて対象を撮影した画像から、各画像間の特徴点または領域の対応付けを行い、三角測量の原理により対象の３次元形状を計算する。この場合、カメラ間の相対的な位置・姿勢情報が既知であるのでエピポーラ拘束（ｅｐｉｐｏｌａｒ ｃｏｎｓｔｒａｉｎｔ）と呼ばれる基礎的な拘束条件を用いることができ、対応付けに要する計算量を減らすことができる。しかし、カメラ間の距離に相対して遠距離にある被写体の場合には、大きな距離測定誤差を生じやすく、また装置を小型化しにくい。

運動立体視は、１台のカメラを移動させながら、対象を異なった位置から撮影し、得られた複数の画像の対応付けの結果から、カメラの位置・姿勢及び対象の３次元形状を計算する。一般的に、運動立体視は、装置を小型・低価格にでき、対象までの距離に応じて適切にカメラを移動させれば、対象の大きさや距離の問題を克服できるという利点がある。しかし、多眼立体視とは異なり、カメラの位置・姿勢という拘束を利用できないため、処理や計算が複雑であり、また、つ画像に含まれるノイズや対応付けの誤差が形状復元精度に影響しやすい、カメラを適切に動かすには熟練を要するなどの難点がある。

このような３次元形状復元もしくは測定に関する先行技術文献は極めて多いが、例えば下記の特許文献１〜３を挙げることができる。

特許文献１には、光源により照明された物体を、異なった視点位置から複数のカメラにより撮影し、撮影画像から、その物体の立体形状情報とテクスチャ情報を得る発明が記載されている。この発明ではカメラ、被写体、光源の相対位置関係は予め決まっているものとされている。

また、特許文献１には、光源特性を検出するために、既知のパターンが描かれた光学的特性が既知のパッドを被写体と一緒に撮影する発明も記載されている。この発明においては、パッドと視点位置との相対位置関係は既知とされている。

また、特許文献１には、説明の具体性にかけるが、形状・光学的特性が既知のパターンが描かれたパッド上に被写体を置き、左右鏡筒の相対位置関係が既知の複眼カメラにより複数の異なった視点位置から被写体とパッドを撮影し、パッドのパターンの変化により視点と被写体の相対位置関係を検出する発明が記載されている。

特許文献２には、複数のスポット光を同時に又は選択的に対象に照射して複数のカメラにより異なった位置より対象を撮影し、撮影した複数の画像のスポット光を特徴点として抽出し、それを対応付けする発明が記載されている。また、１台のカメラを用いて異なった位置で順次撮影する態様、個々のスポット光を色違いにする態様、スポット光を１つずつ順に点灯・消灯し、各スポット光点灯時に撮影することにより、画像間の特徴点の対応付けを容易にする態様も記載されている。

また、特許文献２には、ビデオカメラ、スポット光照射装置と制御装置との通信手段を備え、ビデオカメラで撮影しつつスポット光の点灯・消灯を行った後、記憶されているフレーム画像よりスポット光の点灯時のフレーム画像を自動的に取り出して特徴点の検出と対応付けを行う発明も記載されている。

特許文献３には、プラント内の立体空間を撮像した画像データから立体空間の３次元データ化を図る場合に、コントラストの少ない平面などに、その距離測定精度を向上させるためにレーザビームを照射するために用いられる位置情報指定装置の発明が記載されている。この発明に係る位置情報指定装置は、自在継手を介しレーザビーム照射方向を自在に可変としたレーザビーム照射手段を、筐体周囲に複数配設した構成である。立体空間の撮影のために、位置情報指定装置を立体空間の各隅に順次設置することに触れているが、具体的な撮影方法及び手段は記載されていない。

特開平４−１５５２１１号公報 特開２００４−４６７７２号公報 特開２００４−４０１６０号公報

建物の室内のような、広がりがあり、かつ、特徴点を得難いベタパターンの壁面などが多い対象を撮影し、撮影した画像データから対象の３次元形状を復元し、さらには対象のサーフェイスモデルの作成・編集・加工を行うようなシステムの需要が高まっている。

本発明は、そのようなシステムの実現に向けてなされたもので、その目的は、広がりがあり特徴点の得難いベタパターンの面の多い建物の室内のような対象に適した新規な撮影及び３次元形状復元方法、並びに、撮影及び３次元形状復元撮像システムを提供することにある。

請求項１記載の発明は、
３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、撮影エリア毎に撮像装置を用いて異なった任意の２位置から撮影し、
各撮影エリアの撮影時に、当該撮影エリアに対し特徴点を指定するための複数のスポット光を特徴点用スポット光照射装置を用いて照射し、
各撮影エリアの撮影時に、当該撮影エリアの隣接撮影エリアとの重複部分にそれぞれ、撮影エリア間のつなぎ合わせ点を指定するための、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる補助具を設置し、
前記隣接した２撮影エリアの重複部分に配置された補助具は、当該２撮影エリアの撮影が終了するまでは移動させないようにすると共に、
前記撮像装置により撮影された各撮影エリアの画像データを取得し、
前記取得された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出し、
前記検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う、
ことを特徴とする撮影及び３次元形状復元方法である。

請求項２記載の発明は、
３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、該撮影エリアをその並び順に従って順に選択して、該選択された撮影エリアを、撮像装置を用いて異なった任意の２位置から撮影し、
前記選択された撮影エリアの撮影時に、当該撮影エリアに対し特徴点を指定するための複数のスポット光を特徴点用スポット光照射装置を用いて照射し、
前記選択された撮影エリアの撮影時に、当該撮影エリアの、選択順序が相前後する他の２つの撮影エリアとの重複部分に対しそれぞれ、撮影エリア間のつなぎ合わせ点を指定するための、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる補助具を設置し、
ある撮影エリアの撮影を終了し、次に選択された撮影エリアの撮影を行う時には、少なくとも当該２撮影エリアの重複部分に配置された前記補助具は、前者の撮影エリアの撮影時の位置から移動させないようにすると共に、
前記撮像装置により撮影された各撮影エリアの画像データを取得し、
前記取得された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出し、
前記検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う、
ことを特徴とする撮影及び３次元形状復元方法である。

請求項３記載の発明は、請求項１もしくは２記載の撮影及び３次元形状復元方法において、
補助具の点光源の波長と、特徴点用スポット光照射装置によるスポット光の波長とが異なることを特徴とする。

請求項４記載の発明は、
３次元形状の撮影対象を、複数部分的に重複させた撮影エリアに分割し、撮影エリアを異なった任意の２位置から撮影するための少なくとも１つの撮像装置と、
前記撮像装置による撮影エリアの撮影時に当該撮影エリア内に特徴点指定用の複数のスポット光を照射するための少なくとも１つの特徴点用スポット光照射装置と、
前記撮像装置による撮影エリアの撮影時に当該撮影エリアの隣接撮影エリアとの重複部分に、撮影エリア間のつなぎ合わせ点を指定するために配置される、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる少なくとも２つの補助具と、
前記撮像装置及び前記特徴点用スポット光照射装置と情報伝達のためのインターフェース手段を介して接続された制御装置と、
を有し、
前記制御装置は、
撮影エリアに対する撮影開始指示を入力するための撮影開始指示入力手段と、
前記撮影開始指示入力手段による撮影開始指示入力に応じて、前記インターフェース手段を通じ、前記撮像装置の撮影動作及び前記特徴点用スポット光照射装置のスポット光照射動作を制御する制御手段と、
前記撮像装置により各撮影エリアを撮影して得られた画像データを前記インターフェース手段を介し受信する受信手段と、
前記受信手段により受信された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出する検出手段と、
前記検出手段により検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う演算処理手段と、
を含むことを特徴とする撮影及び３次元形状復元システムである。

請求項５記載の発明は、
３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、撮影エリアを異なった任意の２位置から撮影するための少なくとも１つの撮像装置と、
前記撮像装置による撮影エリアの撮影時に当該撮影エリア内に特徴点指定用の複数のスポット光を照射するための少なくとも１つの特徴点用スポット光照射装置と、
前記撮像装置による撮影エリアの撮影時に当該撮影エリアの隣接撮影エリアとの重複部分に、撮影エリア間のつなぎ合わせ点を指定するために配置される、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる少なくとも２つの補助具と、
前記撮像装置及び前記特徴点用スポット光照射装置と情報伝達のためのインターフェース手段を介して接続された制御装置と、
を有し、
前記撮像装置は、各撮影エリアを撮影して得られた画像データから特徴点及びつなぎ合わせ点を検出する検出手段と、この検出手段により検出された特徴点及びつなぎ合わせ点の画像データ上の座標を、前記インターフェース手段を介し前記制御装置へ送信する手段を含み、
前記制御装置は、
撮影エリアに対する撮影開始指示を入力するための撮影開始指示入力手段と、
前記撮影開始指示入力手段による撮影開始指示入力に応じて、前記インターフェース手段を通じ、前記撮像装置の撮影動作及び前記特徴点用スポット光照射装置のスポット光照射動作を制御する制御手段と、
前記撮像装置より前記インターフェース手段を介して特徴点及びつなぎ合わせ点の座標を受信する受信手段と、
前記受信手段により受信された特徴点及びつなぎ合わせ点の座標、並びに、前記長さ基標準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う演算処理手段と、
を含むことを特徴とする撮影及び３次元形状復元システムである。

請求項６記載の発明は、請求項４もしくは５記載の撮影及び３次元形状復元システムにおいて、
前記制御装置は、前記撮像装置よりプレビュー画像データを前記インターフェース手段を介し受信する受信手段と、前記受信手段により受信されたプレビュー画像データを画像として表示する手段とを含むことを特徴とする。

請求項７記載の発明は、請求項６記載の撮影及び３次元形状復元システムにおいて、
前記制御装置は、前記撮像装置より撮影エリアを撮影して得られた画像データを前記インターフェース手段を介して受信する受信手段と、前記受信手段により受信された画像データを画像として表示する手段を含むことを特徴とする。

請求項８記載の発明は、請求項４乃至７のいずれか１項に記載の撮影及び３次元形状復元システムにおいて、
前記制御装置は、特徴点及びつなぎ合わせ点の個数について判定する判定手段と、該判定手段により特徴点又はつなぎ合わせ点の個数が所定値未満であると判定されたときに警告を発する警告手段とを含むことを特徴とする。

本発明に係る撮影及び３次元形状復元方法によれば以下のような効果を得られる。
（１）広がりのある建物の室内のような対象についても柔軟に対応することができ、撮影手順も簡易であり、また、撮像装置として一般的なデジタルスチルカメラなどを利用可能である。特に、請求項２の発明によれば、撮影に必要な機材、すなわち、撮像装置、特徴点用スポット光照射装置、つなぎ合わせ指定点用補助具の必要数を最少にすることができる。
（２）画像データを利用して３次元形状復元などの処理を行うために必要な特徴点及び撮影エリア間のつなぎ合わせ点を、Ｔ字形の補助具の点光源によって人為的に指定するため、ベタパターンの壁面のような適当な特徴点やつなぎ合わせ点を得難い対象であっても、撮影した画像データより特徴点及びつなぎ合わせ点を安定かつ高精度に検出可能となり、撮影画像データを利用した３次元形状復元を確実に行うことができる。
（３）画像中の特徴点とつなぎ合わせ点とを波長の違いにより容易に識別可能となる。
（４）Ｔ字形の補助具を用いて、つなぎ合わせ点の指定と同時に長さ基準点とを指定することができるため、実寸ベースの３次元形状復元が可能になる。

本発明に係る撮影及び３次元形状復元システムによれば、撮影及び３次元形状復元方法と同様の効果に加え、さらに以下のような効果を得られる。
（１）表示されるプレビュー画像から撮影エリアもしくは撮像装置の撮影範囲を確認し、撮像装置の位置・向きを容易に修正することができため、撮像装置の位置・向きの設定ミスによる撮影の失敗を防止できる。
（２）既に撮影された撮影エリアの画像とプレビュー画像とを対比することができるため、撮影しようとする撮影エリアとその隣接撮影エリアとの重なり具合などを容易に確認することができ、撮影エリアの設定ミスによる撮影の失敗をより確実に防止できる。
（３）特徴点用スポット光又は補助具の点光源の物体による遮蔽などによる特徴点又はつなぎ合わせ点の不足が警告されるため、撮像装置の位置・向きを修正して同じ撮影エリアを再度撮影することにより、必要個数の特徴点及びつなぎ合わせ点が指定された画像データを確実に取得することができる。

以下、本発明の実施の形態について図面を用い説明する。

＜本発明の撮影方法＞
本発明の撮影方法の実施形態について説明する。本発明の撮影方法によれば、図１に模式的に示すように、撮影の対象（ここでは建物の室内）は、複数の撮影エリア１０１に分割され、撮影エリア毎に、撮像装置を用い異なった任意の２つの位置より撮影される。撮影エリアの分割に際しては、隣接した撮影エリアを部分的に重複させる。

なお、各撮影エリアを撮影する際に、撮像装置の撮影範囲と設定した撮影エリアとが必ずしも正確に一致する必要はないが、撮像装置の撮影範囲と設定された撮影エリアが略一致するように、少なくとも設定された撮影エリアの全体が撮像装置の撮影範囲に含まれるように、撮像装置の位置・向きを調整する。

図１には３つの撮影エリアのみ示されているが、室内を一巡するように撮影エリアを設定することにより、室内及び設置された家具類を３６０゜にわたって撮影することができる。また、上下方向にも撮影エリアを設定することにより、あるいは、画角の広い撮像装置を用いる場合には個々の撮影エリアに天井及び床を含めることにより、壁・天井・床の全体を撮影することができる。なお、ここでは室内の撮影を例に説明したが、対象はこれに限定されるものではなく、本発明は、広がりがあって、特徴点を取得し難いベタパターン面のある対象に好適に適用できる。

撮影エリアを撮影する順番は基本的に任意であり、また、複数の撮影エリアを同時に撮影することも可能であるが、本発明の撮影方法の好ましい態様によれば、撮影エリアの並び順に従って撮影エリアが順に選択され、撮影エリアが１つずつ撮影される。この態様は、撮影に必要な機材が最も少なくて済み、撮影システムの構成簡略化・低コスト化を図ることができる利点がある。よって、この態様を想定して、以下説明する。

図２は、撮影エリアの具体的な撮影方法の一例を説明するための模式図である。図２において、２０１は撮像装置である。この撮像装置として、例えば一般的なデジタルスチルカメラを用いることができる。２０３は特徴点用スポット光照射装置であり、撮影エリアに特徴点を指定するため例えば３０本のスポット光を照射するために用いられるものである。２０４，２０５はつなぎ合わせ点用スポット光照射装置であり、撮影エリアの隣接撮影エリアとの重複部分に撮影エリア間のつなぎ合わせ点を指定するため３本以上のスポット光を照射するために用いられるものである。特徴点用スポット光照射装置２０１及びつなぎ合わせ点用スポット光照射装置２０４，２０５より照射されるスポット光としては、通常、拡散が少なくスポット形状が安定するレーザビームが用いられる。２０６は間隔が既知の２つの光点又は点光源を有する長さ基準装置である。この長さ基準装置２０６は、撮影エリアに長さ基準点を指定するために、必要に応じて撮影エリア内に設置されるものである。なお、撮像装置２０１，特徴点用スポット光照射装置２０３、つなぎ合わせ点用スポット光照射装置２０４，２０５は、必要に応じてカメラ用三脚に装着し設置される。

ある選択された撮影エリア１０１を撮影する場合、図２に示すように、特徴点用スポット光照射装置２０３を、撮影エリア１０１の略全域に特徴点用スポット光が照射される位置・向きに設置し、つなぎ合わせ点用スポット光照射装置２０４，２０５を、撮影エリア１０１の隣接撮影エリアとの重複部分（この例では左右部分）につなぎ用スポット光が照射される位置・向きに設置する。この状態で、撮像装置２０１を適切な位置・向きに設置し、撮影エリア１０１を撮影する。撮影後、撮像装置２０１を移動させ破線２０１’で示すような別の適切な位置・向きに設置し、同じ撮像エリア１０１を撮影する。長さ基準点の指定が必要とされる場合には、いずれか一方又は両方の位置での撮影時に、長さ基準装置２０６を撮影エリア１０１内に設置し、撮影エリアと一緒に長さ基準装置２０６を撮影する。

つぎに、例えば撮影エリア１０１の右隣の撮影エリア１０１’（不図示）を撮影する際には、撮影エリア１０１，１０１’との重複部分のつなぎ合わせ点指定のために用いられたつなぎ合わせ点用スポット光照射装置２０５は移動させず、もう一方のつなぎ合わせ点用スポット光照射装置２０４を、撮影エリア１０１’のその右隣の撮影エリアとの重複部分にスポット光を照射する位置へ移動させる。撮像装置２０１及び特徴点用スポット光照射装置２０３も撮影エリア１０１’に対応した位置へ移動させて撮影を行う。

以上の手順を繰り返し、複数の撮影エリアのそれぞれについて異なった任意の２位置より撮影した画像データを取得することができる。このように、図２により説明した撮影方法によれば、室内のような広がりのある対象の３次元形状復元などの処理に必要な画像データを、簡単な手順で取得することができ、必要な機材は撮像装置が１台、特徴点用スポット光照射装置が１台、つなぎ合わせ点用スポット光照射装置が１台（必要に応じて長さ基準装置が１台）で足りる。また、スポット光の照射により特徴点及びつなぎ合わせ点が指定されるため、壁や天井などのベタパターン面が多い室内のような対象の場合にも、撮影された画像データから特徴点及びつなぎ合わせ点を容易かつ高精度に検出可能になる。このように、この撮影方法は、広がりがあり、特徴点検出が容易でない面などの多い室内のような対象に対する、３次元形状復元などのための画像データを取得するための撮影方法として最適である。

なお、特徴点用スポット光照射装置２０３、つなぎ合わせ点用スポット光照射装置２０４，２０５及び長さ基準装置２０６については、後述する撮影システムに関連してより具体的に説明する。

図３は、撮影エリアの具体的な撮影方法の別の一例を説明するための模式図である。この例においては、２台の撮像装置２０１，２０２が用いられる。それ以外の機材は図２に示した撮影方法の例の場合と同様である。

ある選択された撮影エリア１０１を撮影する場合、図３に示すように、特徴点用スポット光照射装置２０３を、撮影エリア１０１の略全域に特徴点用スポット光が照射される位置・向きに設置し、つなぎ合わせ点用スポット光照射装置２０４，２０５を、撮影エリア１０１の隣接撮影エリアとの重複部分（この例では左右部分）につなぎ用スポット光が照射される位置・向きに設置する。この状態で、撮像装置２０１，２０２を適切な位置・向きに設置し、撮影エリア１０１を撮像装置２０１，２０２により異なった位置より同時に撮影する。このように、２台の撮像装置２０１，２０２を用いることにより、１台の撮像装置を用いる図２の撮影方法に比べ、より効率的に撮影を行うことができる。

つぎに、例えば撮影エリア１０１の右隣の撮影エリア１０１’（不図示）を撮影する際には、撮影エリア１０１，１０１’との重複部分のつなぎ合わせ点指定のために用いられたつなぎ合わせ点用スポット光照射装置２０５は移動させず、もう一方のつなぎ合わせ点用スポット光照射装置２０４を、撮影エリア１０１’のその右隣の撮影エリアとの重複部分にスポット光を照射する位置へ移動させる。撮像装置２０１，２０２及び特徴点用スポット光照射装置２０３も撮影エリア１０１’に対応した位置へ移動させて撮影を行う。

以上の手順を繰り返し、複数の撮影エリアのそれぞれについて異なった任意の２位置より撮影した画像データを取得することができる。このように、図３より説明した撮影方法によれば、室内のような広がりのある対象の３次元形状復元などの処理に必要な画像データを、簡単な手順で取得することができ、必要な機材は撮像装置が２台、特徴点用スポット光照射装置が１台、つなぎ合わせ点用スポット光照射装置が１台（必要に応じて長さ基準装置が１台）で足りる。また、スポット光の照射により特徴点及びつなぎ合わせ点が指定されるため、壁や天井などの平面が多い室内のような対象の場合にも、撮影された画像データから特徴点及びつなぎ合わせ点を容易かつ高精度に検出可能になる。このように、この撮影方法は、室内のような広がりがあり、特徴点検出が容易でない平面などの多い対象の３次元形状復元などのための画像データを取得する方法として最適である。

図４は、撮影エリアの具体的な撮影方法の別の一例を説明するための模式図である。この例においては、適当な支持手段２１０により、２台の撮像装置２０１，２０２が相互の間隔を調節可能に支持されている。このような構成とすることにより、撮像装置２０１，２０２を支持するための三脚などを共通化できるため、必要機材をさらに減らすことができ、また、撮像装置２０１，２０２を一緒に移動させることができるため撮影作業を効率化できるなどの利点がある。撮影手順は図３の場合と同様であるので、その説明は繰り返さない。なお、支持手段２１０については、後述する撮影システムに関連してより具体的に説明する。

図５及び図６は、撮影エリアの具体的な撮影方法の別の一例を説明するための模式図である。この例においては、適当な支持手段２１１により２台の撮像装置２０１，２０２が相互の間隔を調節可能に支持され、また、この支持手段２１１に特徴点用スポット光照射装置２０３も取り付けられている。このような構成とすることにより、撮像装置２０１，２０２及び特徴点用スポット光照射装置２０３を支持するための三脚などを共通化できるため、必要機材をさらに減らすことができ、また、撮像装置２０１，２０２及び特徴点用スポット光照射装置２０３を一緒に移動させることができるため撮影作業を効率化できるなどの利点がある。撮影手順は図３の場合と同様であるので、その説明は繰り返さない。なお、図５は撮像装置２０１，２０２により水平方向にずれた位置から撮影する場合を示しており、図６は撮像装置２０１，２０２により垂直方向にずれた位置から撮影する場合を示している。支持手段２１１については、後述する撮影システムに関連してより具体的に説明する。

図７は、撮影エリアの具体的な撮影方法の別の一例を説明するための模式図である。この例においては、適当な支持手段２１０に、一方の撮像装置２０１と特徴点用スポット光照射装置２０３が取り付けられている。このような構成とすることにより、撮像装置２０１及び特徴点用スポット光照射装置２０３を支持するための三脚などを共通化できるため、必要機材を減らすことができ、また、撮像装置２０１及び特徴点用スポット光照射装置２０３を一緒に移動させることができるため撮影作業を効率化できるなどの利点がある。撮影手順は図３の場合と同様であるので、その説明は繰り返さない。なお、支持手段２１２については、後述する撮影システムに関連してより具体的に説明する。

ここで、特徴点用スポット光照射装置２０３より照射されるスポット光と、つなぎ合わせ点用スポット光照射装置２０３，２０５により照射されるスポット光を、同一波長とすることも異波長とすることも、さらにはスポット形状を異ならせることも可能である。

スポット光の波長又はスポット形状を異ならせる場合には、画像データ中に特徴点とつなぎ合わせ点が混在していても、その識別は容易である。したがって、特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０３，２０５から同時にスポット光を照射させた状態で撮影エリアの撮影を行っても、撮影した画像データに対する特徴点及びつなぎ合わせ点の検出などの処理か複雑化することはない。このように、特徴点指定用スポット光とつなぎ合わせ点指定用スポット光の波長又はスポット形状を異ならせ、両方のスポット光を撮影時に同時に照射する態様も本発明の撮影方法に含まれる。

一方、特徴点指定用スポット光とつなぎ合わせ点指定用スポット光の波長もスポット形状も同一とした場合、画像データ中に特徴点とつなぎ合わせ点が混在していると、その識別がやや難しくなる。その識別を容易にするには、特徴点指定用スポット光を照射した状態での撮影と、つなぎ合わせ点指定用スポット光のみ照射した状態での撮影とを行うと効果的である。このような態様も本発明の撮影方法に含まれる。

また、特徴点用スポット光照射装置２０３を、スポット光が１本ずつ又は複数本ずつ照射を制御できるような構成とし、特徴点指定用スポット光を１本ずつ又は複数本ずつ分割して照射し、それぞれの照射時に撮影を行うことも可能である。このようにすると、異なった２位置から撮影された画像データ中の特徴点の対応付けが容易になる利点がある（特徴点の対応付けについては後述の撮影システムの説明を参照）。かかる態様も本発明の撮影方法に含まれる。

なお、つなぎ合わせ点用スポット光照射装置２０４，２０５に代えて、３つ以上の点光源を有する補助具を撮影エリアの隣接撮影エリアとの重複部分に設置することにより、撮影エリア間のつなぎ合わせ点を指定することも可能である。この補助具の２つの点光源を所定の間隔で配置することにより、３つ以上の点光源により３つ以上のつなぎ合わせ点を指定することができ、同時に、そのうちの２つのつなぎ合わせ点を長さ基準点と兼ねさせることができる。つまり、つなぎ合わせ点と長さ基準点を同時に指定することができる。

かかる補助具の一例を図８に示す。ここに示す補助具は、略Ｔ字形状の本体２２０の各端部につなぎ合わせ点指定のための点光源２２１，２２２，２２３が設けられている。２つの点光源２２１，２２２は長さ基準点の指定にも利用されるもので、その間隔は例えば５０ｃｍに規定されている。点光源２２１，２２２，２２３としては例えば発光ダイオードが用いられる。なお、各点光源の波長と特徴点指定用スポット光の波長をある程度異ならせるならば、撮影した画像データから特徴点とつなぎ合わせ点を検出する際に、その識別が容易になる。図示しないが、本体２２０には点光源２２１，２２２，２２３の駆動回路が設けられている。なお、本体２２０の下端にカメラ用三脚に装着するためのねじ孔などが形成されていると、補助具の設置に都合がよい。

このような補助具を用いる撮影方法も、本発明の撮影方法に包含される。

さて、以上に説明した撮影方法により撮影された各撮影エリアの画像データは、撮像装置に装着された各種メモリカードのような記憶媒体に保存し、この記憶媒体を介してパソコンなどの処理装置に読み込ませて３次元形状復元処理などに利用することができる。撮像装置を有線のインターフェース手段又は無線（電波、赤外光など）のインターフェース手段を介してパソコンなどの処理装置と接続し、このインターフェース手段を介して撮像装置より撮影した画像データを処理装置へ転送することもできる。

このように、本発明の撮影方法により画像データを取得し、それを利用して３次元形状復元を行う方法も本発明に含まれる。詳細は後述の撮影システムに関連して説明するが、本発明の３次元形状復元方法は、本発明の撮影方法により対象を撮影エリア毎に撮影して各撮像エリアの画像データを取得する工程と、この工程により取得された画像データから特徴点及びつなぎ合わせ点（実寸ベースの３次元形状復元を目的とする場合には、特徴点、つなぎ合わせ点及び長さ基準点）を検出する工程と、この工程により検出された特徴点及びつなぎ合わせ点（特徴点、つなぎ合わせ点及び長さ基準点）の画像データ上の座標を用いて３次元形状復元のための演算処理を行う工程とからなる。

＜撮影システム＞
次に本発明の撮影システムの実施の形態について説明する。

図９は、本発明の撮影システムの実施形態を説明するためのブロック図である。この実施形態に係る撮影システムは、特徴点用スポット光照射装置２０３、つなぎ合わせ点用スポット光照射装置２０４，２０５、撮像装置２０１，２０２、これら各装置と有線又は無線のインターフェース手段３０１，３０２，３０３，３０４，３０５を介して接続された制御装置３００から構成されている。

なお、図２により説明したように１台の撮像装置２０１のみ撮影に使用する方法を採用する場合には撮像装置２０２をシステムから取り除くことができる。また、図１〜図６に関連して説明したように、つなぎ合わせ点用スポット光照射装置２０４，２０５に代えて図８に示したような補助具を用い、この補助具によりつなぎ合わせ点及び長さ基準点を指定する方法を採用する場合には、つなぎ合わせ点用スポット光照射装置２０４，２０５をシステムから取り除くことができる。長さ基準装置２０６を利用する場合には、これも撮影システムに含まれる。この場合、長さ基準装置２０６の半導体レーザ（図２０に関連して後述）の点灯、消灯を制御装置３００から遠隔制御することも可能であるが、ここに述べる実施形態では、その制御は行わないものとして説明する。

この実施形態にあっては、制御装置３００として、例えば図１０にブロック図として示すような構成のタッチパネル付きパソコン（ＰＣ）が用いられる。このＰＣは、ＣＰＵ３１０、メインメモリとしてのＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）３１１、ハードディスク装置（ＨＤＤ）３１２、各種入力装置を接続するための入力インターフェース３１３、ディスプレイ装置を接続するための表示インターフェース３１５、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ３１７、ＵＳＢポート３１８がバス３１９を介して相互接続され、表示インターフェース３１５に液晶ディスプレイ装置（ＬＣＤ）３１６が接続され、また、この液晶ディスプレイ装置３１６の前面に設けられたポインティングデバイスとしてのタッチパネル３１４が入力インターフェース３１３に接続された一般的なハードウェア構成のものである。

インターフェース手段３０１〜３０５としてＵＳＢケーブルを用いることができ、この場合は、それぞれのＵＳＢケーブルがＵＳＢポート３１８に接続される。ＵＳＢポート３１８は必要数用意されるか拡張ユニットが利用される。インターフェース手段３０１〜３０５として電波又は赤外光を利用することもでき、この場合は、電波又は赤外光による通信のための通信ユニットがＵＳＢポートに接続され、他の各装置２０１〜２０５にも同様の通信ユニットが設けられる。

ＨＤＤ３１２は、オペレーティングシステム（ＯＳ）３２０や、このＯＳ３２０上で動作し撮影システムの制御及びデータ処理を行う記録制御プログラム３２１、取得された画像データ等の記憶領域として利用される。なお、記録制御プログラム３２１は、例えばＤＶＤドライブ３１７にセットされたＤＶＤから読み込むことができる。

この撮影システムの動作時には、ＨＤＤ３２０よりＯＳ３２０の必要なプログラムと記録制御プログラム３２１がＳＤＲＡＭ３１１にロードされ、ＯＳ３２０の下で記録制御プログラムに従ってＣＰＵ３１０は撮影のための制御、画像データの取り込み、特徴点等の検出、対象の三次元形状復元のための演算処理などを実行する。

撮像装置２０１，２０２としては、例えば図１１にブロック図として示すようなデジタルスチルカメラが用いられる。図１１において、２３２は、当該デジタルスチルカメラ全体の制御を行うシステム制御部であり、ＣＰＵ、メモリ、タイマー等から構成されている。２３３は撮像部であり、撮像のための光学系（レンズ及びレンズ駆動モータ等）、ＣＣＤイメージセンサ、その駆動回路やＡ／Ｄ変換器等から構成されている。２３４は画像処理部であり、撮像部２３３より入力される画像データに対する種々の画像処理や圧縮伸長処理を行うほか、撮像部２３３のＣＣＤイメージセンサ等の駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行う。この画像処理部２３４はデジタル信号プロセッサ（ＤＳＰ）、メモリ等から構成される。

２３５はＬＣＤ表示制御部２３５であり、液晶ディスプレイ装置（ＬＣＤ）２３６へプレビュー画像データ（撮像部２３３の撮影視野内のシーンを表す画像データ）を表示させるための信号処理や、ユーザーインターフェイスのための種々のグラフィック画像を生成し表示させる処理を行う。液晶ディスプレイ装置２３６は、プレビュー画像やユーザーインターフェイスのためのグラフィックなどの表示に利用される。

２３８はビューファインダー内部に設けられた小型の液晶ディスプレイ装置などからなるファインダー表示器である。２３７はファインダー表示制御部であり、画像処理部２３４で処理された画像データをファインダー表示器２３８へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しファインダー表示器２３８へ表示させる制御などを行う。

２４０はフラッシュメモリ等からなるメモリカードのような着脱可能な記録メディアであり、画像データやその関連情報の記憶に利用される。２３９は記録メディアインターフェース部であり、記録メディア２３９の書き込みや読み出しを行う。

２３１はハードキーインターフェース部であり、不図示のレリーズスイッチやダイアル類、その他のユーザーインターフェイスのためのハードウェアの状態を検出する。２４２はＰＣなどの外部機器と接続するための外部機器インターフェース部である。この外部機器インターフェース部２４２にＵＳＢポートが含まれているならば、当該デジタルスチルカメラをＵＳＢケーブルを用いて制御装置３００と接続し、プレビュー画像データや撮影画像データを制御装置３００へ転送することができる。また、制御装置３００側から当該デジタルスチルカメラのレリーズ動作などを制御することができる。制御装置３００とのインターフェース手段として電波や赤外光などを利用する場合には、電波や赤外光の通信ユニットを外部機器インターフェース部２４２に備えるか、ＵＳＢポートなどに外付けすればよい。

特徴点用光スポット照射装置２０３は、例えば図１２に模式的に示すように、支持体２５１に３０個の半導体レーザモジュール２５２がそれぞれ向き調節機構２５３によってレーザビーム（スポット光）照射方向を調節可能に取り付けられた構成である。この特徴点用光スポット照射装置２０３は制御装置３００との接続のための外部インターフェース部２５４を備えている。例えば、半導体レーザユニット２５２はＴＴＬレベル入力によりＯＮ／ＯＦＦ制御され、ＴＴＬ入力レベルがＯＮの時に波長６５０ｎｍ（赤色）、パワー５ｍWのレーザビームを出力するもので、この場合、外部インターフェース部２５４は３０チャンネル以上のデジタル入出力（ＤＩＯ）ポートにより構成され、ＵＳＢケーブルなどで制御装置３００と接続することにより、個々の半導体レーザユニット２５２の点灯／消灯を制御装置３００側から制御可能である。制御装置３００と無線で接続することも可能であり、この場合は通信ユニットを外部インターフェース部２５２に備えるか外付けすればよい。

つなぎ合わせ点用光スポット照射装置２０４，２０５は、例えば図１３に模式的に示すように、支持体２６１に３個の半導体レーザモジュール２６２がそれぞれ向き調節機構２６３によってレーザビーム（スポット光）照射方向を調節可能に取り付けられた構成である。このつなぎ合わせ点用光スポット照射装置は制御装置３００との接続のための外部インターフェース部２６４を備えている。例えば、半導体レーザユニット２６２はＴＴＬレベル入力によりＯＮ／ＯＦＦ制御され、ＴＴＬ入力レベルがＯＮの時に波長５３２ｎｍ（緑色）、パワー５ｍWのレーザビームを出力するもので、この場合、外部インターフェース部２６４は３チャンネル以上のＤＩＯポートにより構成され、ＵＳＢケーブルなどで制御装置３００と接続することにより、個々の半導体レーザユニット２６２の点灯／消灯を制御装置３００側から制御可能である。制御装置３００と無線（電波、赤外光など）で接続することも可能であり、この場合は通信ユニットを外部インターフェース部２６２に備えるか外付けすればよい。

次に、図２に関連して説明したように、１台の撮像装置２０１、特徴点用スポット光照射装置２０３及び２台のつなぎ合わせ点用スポット光照射装置２０４，２０５を用いて対象を撮影する場合について、撮影システムの動作を説明する。図１４は、この場合の制御装置３００（図１０に示したコンピュータ）における制御及び処理の流れを示すフローチャートである。このような制御及び処理は記録制御プログラム３１２（図１０）により制御される。また、この場合の制御装置３００の液晶ディスプレイ装置３１６（図１０）の表示画面の一例を図１５に示す。

制御装置３００において、撮影エリアの選択順に対応するシーン番号Ｊを１に初期化し（ステップ４００）、次に液晶ディスプレイ装置３１６（図１０）に図１５に示すような画面４３０を表示する（ステップ４０１）。この段階では、コントロールボタンの中で画像１撮影ボタン４３１と終了ボタン４４０だけが有効状態とされる（図１６参照）。

撮像装置２０１（図１１のデジタルスチルカメラ）よりプレビュー画像データが出力され、制御装置３００はこのプレビュー画像データをインターフェース手段３０４を介して受信し、それを画面４３０のプレビュー表示エリア４３３に表示する。このプレビュー画像データの受信と表示は、一定の時間間隔で定常的に繰り返される。システム操作者は、表示されたプレビュー画像によって、撮像装置２０１の位置・向きの適否を容易に確認し、撮像装置２０１を適切な位置・向きに設定することができる。このように、制御装置３００はプレビュー画像データを受信する手段と、受信したプレビュー画像データを表示する手段を備えている。

制御装置３００は、終了ボタン４４０又は画像１撮影ボタン４３１の状態のチェックを繰り返す（ステップ４０３，４０４）。

システム操作者が、タッチパネル３１４（図１０）により画像１撮影ボタン４３１を操作し（この操作はタッチパネルの当該ボタンの部分に指を触れることにより行われる。他のコントロールボタンも同様）、これを制御装置３００で検知すると（ステップ４０４，ＹＥＳ）、制御装置３００は撮像装置２０１のレリーズ動作とスポット光照射動作を同時に実行させる。すなわち、インターフェース手段３０１〜３０３を介して特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射開始を命令するとともに、インターフェース手段３０４を介して撮像装置２０１へレリーズスイッチの操作を命令し、１回目の撮影動作を行わせる（ステップ４０５）。このステップ４０５では、引き続き、撮像装置２０１により撮影された画像データ（画像１）の記録メディア２４０への記録を確認した後、特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射停止を命令し、次に撮像装置２０１に対し、撮影された画像データ（画像１）のファイルの転送を要求し、その画像データのファイルを受信してＨＤＤ３１２に保存する。

このように画像１撮影ボタン４３１は各撮影エリアの第１の位置からの撮影の開始指示を入力する手段に相当する。すなわち、制御装置３００は、撮影開始指示入力手段と、それによる撮影開始指示入力に応答して撮影動作を制御する手段とを備えている。

ここでは特徴点用のスポット光とつなぎ合わせ点用スポット光を異色としているが、それを同色とした場合には、ステップ４０５において、特徴点用スポット光のみを照射させて１枚撮影し、次につなぎ合わせ点用スポット光のみ照射させて１枚撮影し、合計２枚の画像データを取得し保存するようにしてもよい。また、特徴点用スポット光を何回かに分けて照射させつつ撮影を繰り返し行い、複数枚の画像データを保存するにしてもよいことは前述の通りである。さらに、３次元形状の復元後にサーフェイスモデルの作成を予定している場合には、点群モデルに張り付けるための画像データを取得するため、いずれのスポット光も照射させない状態でも１枚撮影し、その画像データも保存するようにしてもよい。実寸ベースの３次元形状復元を意図する場合には、撮影時に長さ基準装置２０６を撮影エリア内に配置し、撮影画像データ中に長さ基準点を指定する。

なお、スポット光照射のみを指示するためのボタンを追加し、画像１（又は画像２）の撮影を指示する前に、このボタンを操作することにより、特徴点用スポット照射装置２０１及びつなぎ合わせ点用スポット光照射装置２０４，２０５にスポット光を一定時間照射させ、その照射位置の適否もしくは撮影エリアの確認を行うようにしてもよい。かかる態様も本発明に包含される。このことは、後述の図１８に関連した説明においても同様である。

次に、制御装置３００において、ＨＤＤ３１２に保存した画像１の画像データをＳＤＲＡＭ３１１（図１０）へ読み込み、特徴点及びつなぎ合わせ点の検出処理を実行する（ステップ４０６）。この点検出処理の詳細については後述する。そして、検出された特徴点及びつなぎ合わせ点の個数に問題がないか判定を行う（ステップ４０７）。例えば、特徴点（赤色レーザ点）の個数が１５個以上、かつ、つなぎ合わせ点（緑色レーザ点）の個数が６個であるときに判定結果はＯＫ（ＹＥＳ）となり、特徴点が１４個以下又はつなぎ合わせ点が５個以下のときには判定結果はＮＧ（ＮＯ）となる。

ステップ４０７でＮＧと判定された場合は、処理エラーが起きたか、あるいは撮影位置が適切でなくスポット光の物体による遮蔽が起こったことなどが考えられるため、制御装置３００は画面４３０にオーバーラップさせて例えば図１７に示すような警告画面を表示させてシステム操作者に警告し、ＯＫボタン４４２の操作を待つともにとともに、直前に保存した画像１のファイルを消去する（ステップ４０８）。ＯＫボタン４４２が操作されると、画像１の撮影をやり直すためにステップ４０３に戻る。

このように、制御装置３００は、取得した画像データから特徴点及びつなぎ合わせ点を検出する手段と、その個数の判定を行う手段と、この判定で特徴点又はつなぎ合わせ点の個数が所定値未満のときに警告を発する手段を備えている。このような構成とすることにより、スポット光の遮蔽や点検出処理のエラーを事前にチェックし、改めて撮影動作を行わせることにより、適切な画像データを確実に取得することができる。

ステップ４０７でＯＫと判定されると、制御装置３００は画像２撮影ボタン４３２の操作待ちとなる（ステップ４０９）。この段階では、画像１撮影ボタン４３１は無効状態とされる（図１６参照）。システム操作者は、撮像装置２０１を適当な位置・向きに設定し直してから、画像２撮影ボタン４３２を操作する。この際にも、プレビュー表示エリア４３３に表示されるプレビュー画像により、撮像装置２０１の位置・向きの適否を容易に確認することができる。

画像２撮影ボタン４３２が操作されると、制御装置３００はステップ４０５と同様の制御を行うことにより画像２の撮影を行わせ、その画像データのファイルを取り込みＨＤＤ３２０に保存する（ステップ４１０）。次に、保存した画像２のデータについて、ステップ４０６及びステップ４０７と同様の特徴点及びつなぎ合わせ点の検出とその個数判定を行う（ステップ４１１，４１２）。この判定の結果がＮＧならば、ステップ４０８と同様の警告表示処理を行い（ステップ４１３）、システム操作者によりＯＫボタン４４２（図１７）が操作されると、画像２の撮影をやり直すためステップＳ４０９に戻る。

ステップ４１２での判定結果がＯＫとなった場合には、制御装置３００は、今回撮影された画像１と画像２のサムネイル（縮小画像データ）を作成し、それをサムネイル表示エリア４３９（図１５）に画像表示するとともに、そのサムネイルを例えばＳＤＲＡＭ３１１に保存する（ステップ４１４）。この段階ではＪ＝１であるため、表示エリア４３８にはシーン番号４３８としてシーン１と表示される。Ｊが２以上ならば、２組以上のサムネイルが保存されているので、←ボタン４３６又は→ボタン４３７を操作することにより、保存されている任意のシーン番号（撮影エリア番号）のサムネイルを表示させることができる。システム操作者は、各シーン（撮影エリア）の撮影準備の際に、直前シーンのサムネイル４３４，４３５とプレビュー画像とを対比することにより、今回の撮影エリアの隣接撮影エリアとの重なり具合あるいは撮像装置２０１の位置・向きの適否を容易に確認することができる。なお、画面４３０のスペースに余裕があるならば、サムネイルに代えて、より大きな画像を表示するようにしてもよい。

このように、制御装置３００は、撮像装置２０１より取得済みの画像データを表示（ここでは縮小表示）する手段とプレビュー画像データを表示を備え、これにより上に述べたように撮影エリアもしくは撮像装置２０１の位置・向きの設定、確認が容易になる。

次に、制御装置３００は、３次元形状の演算処理として、今回撮影された画像１と画像２の特徴点及びつなぎ合わせ点の対応付け処理（ステップ４１５）、その結果を用いた３次元計算処理４１６（ステップ４１６）を実行する。これらの処理の詳細については後述する。このように、制御装置３００は、取得した画像データを用いて対象の３次元形状復元のための演算処理を行う手段を備える。

次に、制御装置３００は、シーン番号Ｊを１だけインクリメントし（ステップ４１７）、ステップ４０３に戻る。システム操作者は、次の撮影エリアの撮影のために撮像装置２０１、特徴点用スポット光照射装置２０３及び一方のつなぎ合わせ点用スポット光照射装置２０４又は２０５を移動する。これ以降のシステム操作者の作業及び制御装置３００の動作は同様であるので、説明を繰り返さない。

システム操作者は、終了ボタン４４０を操作することにより一連の動作を終了させることができる。制御装置３００は、ステップ４０３で終了ボタン４４０の操作を検知すると、必要なデータの保存や処理に使用した資源の解放、表示画面の消去等の終了処理を行い（ステップ４１８）、動作を終了する。

次に、図３〜図７に関連して説明したように、２台の撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び２台のつなぎ合わせ点用スポット光照射装置２０４，２０５を用いて対象を撮影する場合について、撮影システムの動作を説明する。図１８は、この場合の制御装置３００（図１０に示したコンピュータ）における制御及び処理の流れを示すフローチャートである。このような制御及び処理は記録制御プログラム３１２（図１０）により制御される。また、この場合の制御装置３００の液晶ディスプレイ装置３１６（図１０）の表示画面の一例を図１９に示す。

制御装置３００において、撮影エリアの選択順に対応するシーン番号Ｊを１に初期化し（ステップ４５０）、次に液晶ディスプレイ装置３１６（図１０）に図１９に示すような画面４７０を表示する（ステップ４５１）。

撮像装置２０１，２０２（図１１のデジタルスチルカメラ）よりプレビュー画像データがそれぞれ出力され、制御装置３００はこのプレビュー画像データをインターフェース手段３０４，３０５を介して受信し、それを画面４７０のプレビュー表示エリア４７３に並べて表示する。このプレビュー画像表示は一定の時間間隔で定常的に繰り返される。システム操作者は、プレビュー画像から、撮像装置２０１，２０２の位置・向きの適否を確認し、撮像装置２０１，２０２を適切な位置・向きに設定することができる。

制御装置３００は、終了ボタン４８１又は画像撮影ボタン４７１（図１９）の状態のチェックを繰り返す（ステップ４５２，４５３）。

システム操作者が、タッチパネル３１４（図１０）により画像撮影ボタン４７１を操作し（この操作はタッチパネルの当該ボタンの部分に指を触れることにより行われる。他のコントロールボタンも同様）、これを検知すると（ステップ４５３，ＹＥＳ）、制御装置３００は撮像装置２０１，２０２のレリーズ動作とスポット光照射動作を同時に実行させる。すなわち、インターフェース手段３０１〜３０３を介して特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射開始を命令するとともに、インターフェース手段３０４，３０５を介して撮像装置２０１，２０２へレリーズスイッチの操作を命令し、撮影動作を行わせる（ステップ４５４）。このステップ４５４では、引き続き、撮像装置２０１，２０２により撮影された画像データ（画像１，２）の記録メディア２４０への記録を確認した後、特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射停止を命令し、次に撮像装置２０１，２０２に対し、撮影された画像データ（画像１，２）のファイルの転送を要求し、その画像データのファイルを受信してＨＤＤ３１２に保存する。

このように画像撮影ボタン４７１は各撮影エリアの異なった２位置からの撮影の開始指示を入力する手段に相当する。すなわち、制御装置３００、撮影開始指示入力手段と、それによる撮影開始指示入力に応答して撮影動作を制御する手段とを備えている。

なお、ここでは特徴点用のスポット光とつなぎ合わせ点用スポット光を異色としているが、それを同色とした場合には、ステップ４５４において、特徴点用スポット光のみを照射させて撮影させ、次につなぎ合わせ点用スポット光のみ照射させて撮影させ、その画像データを取得し保存するようにしてもよい。また、特徴点用スポット光を何回かに分けて照射させつつ撮影を繰り返し行い、複数枚の画像データを保存するにしてもよいことは前述の通りである。さらに、３次元形状の復元後にサーフェイスモデルの作成を予定している場合には、点群モデルに張り付けるための画像データを取得するため、いずれのスポット光も照射させない状態でも撮影し、その画像データも保存するようにしてもよい。実寸ベースの３次元形状復元を意図する場合には、撮影時に長さ基準装置２０６を撮影エリア内に配置し、撮影画像データ中に長さ基準点を指定する。

次に、制御装置３００において、ＨＤＤ３１２に保存した画像１，２の画像データをＳＤＲＡＭ３１１（図１０）へ読み込み、特徴点及びつなぎ合わせ点の検出処理を実行する（ステップ４５５）。この点検出処理の詳細については後述する。そして、画像１，画像２より検出された特徴点及びつなぎ合わせ点の個数に問題がないか判定を行う（ステップ４５６）。例えば、画像１及び画像２の両方について特徴点（赤色レーザ点）の個数が１５個以上、かつ、つなぎ合わせ点（緑色レーザ点）の個数が６個であるときに判定結果はＯＫ（ＹＥＳ）となり、画像１又は画像２における特徴点が１４個以下又はつなぎ合わせ点が５個以下のときには判定結果はＮＧ（ＮＯ）となる。

ステップ４５６でＮＧと判定された場合は、処理エラーが起きたか、あるいは撮影位置が適切でなくスポット光の物体による遮蔽が行ったことなどが考えられるため、制御装置３００は画面４７０にオーバーラップさせて例えば図１７に示すような警告画面を表示させてシステム操作者に警告し、ＯＫボタン４４２の操作を待つともにとともに、直前に保存した画像１，２のファイルを消去する（ステップ４５７）。ＯＫボタン４４２が操作されると、撮影をやり直すためにステップ４５２に戻る。

ステップ４５６でＯＫと判定されると、制御装置３００は、今回撮影された画像１と画像２のサムネイル（縮小画像データ）を作成し、それをサムネイル表示エリア４７４（図１９）に表示するとともに、そのサムネイルを例えばＳＤＲＡＭ３１１に保存する（ステップ４５８）。この段階ではＪ＝１であるため、表示エリア４３８にはシーン１と表示される。Ｊが２以上ならば、２組以上のサムネイルが保存されているので、←ボタン４７８又は→ボタン４８０を操作することにより、保存されている任意のシーン番号（撮影エリア番号）のサムネイルを表示させることができる。システム操作者は、各シーン（撮影エリア）の撮影準備の際に、直前シーンのサムネイル４７５，４７６とプレビュー画像とを対比することにより、撮影エリアの適否もしくは撮像装置２０１，２０２の位置・向きの適否を容易に確認することができる。なお、画面４７０のスペースに余裕があるならば、サムネイルに代えて、より大きな画像を表示するようにしてもよい。

次に、制御装置３００は、３次元形状復元のための演算処理として、今回撮影された画像１と画像２の特徴点及びつなぎ合わせ点の対応付け処理（ステップ４５９）、その結果を用いた３次元計算処理４１６（ステップ４６０）を実行する。これらの処理の詳細については後述する。

次に、制御装置３００は、シーン番号Ｊを１だけインクリメントし（ステップ４１７）、ステップ４５２に戻る。システム操作者は、次の撮影エリアの撮影のために撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び一方のつなぎ合わせ点用スポット光照射装置２０４又は２０５を移動する。これ以降のシステム操作者の作業及び制御装置３００の動作は同様であるので、説明を繰り返さない。

システム操作者は、終了ボタン４８１を操作することにより一連の動作を終了させることができる。制御装置３００は、ステップ４５２で終了ボタン４８１の操作を検知すると、必要なデータの保存や資源解放、画面消去などの終了処理を行い（ステップ４６２）、動作を終了する。

なお、つなぎ合わせ点用スポット光照射装置２０４，２０５に代えて、図８に示すような補助具を２台用いて、同様の制御・処理フローにより撮影処理を行うことができる。ただし、図１４のステップ４０５，４１０又は図１８ステップ４５４では、つなぎ合わせ点用スポット光照射装置の制御を行わない。

図２０及び図２１に、本発明に係る撮像システムの物理的構成の一例を示す。なお、図２０は撮影システムの使用時の状態を示す簡略化された斜視図であり、図２１は撮影システムの不使用時の状態を示す簡略化された斜視図である。

この撮像システムの例では、図２０に見られるように、カメラ用三脚５００に装着可能なねじ孔（不図示）などが下面に形成された支持テーブル５００上に、特徴点用スポット光照射装置２０３と制御装置３００（図１０に示したタッチパネル付きコンピュータ）が固定されている。支持テーブル５００には、２枚のスライド板５０２，５０３が左右方向へスライド可能に取り付けられている。スライド板５０２，５０３の先端近傍に、撮像装置２０１，２０２が取り付けられている。したがって、スライド板５０２，５０３の支持テーブル５０１からの引き出し量を変えることにより、２台の撮像装置２０１，２０２の間隔を変更することができる。すなわち、撮像装置２０１，２０２は、共通の支持体である支持テーブル５０１に、可動部材であるスライド板５０２，５０３により相対位置を調節可能に支持されている。好ましくは、撮像装置２０１，２０２は、その左右上下に向きを調節可能にする適当な取り付け機構によってスライド板５０２，５０３に取り付けられる。

支持テーブル５０１の幅は例えば６５ｃｍ、スライド板５０２，５０３の長さは例えば６０ｃｍである。この場合、撮像装置２０１，２０２の最大間隔は１６０ｃｍとなる。

制御装置３００と特徴点用スポット光照射装置２０３は例えばＵＳＢケーブルにより接続される。制御装置３００とつなぎ合わせ点用スポット光照射装置２０４，２０５とのインターフェース手段としては、ＵＳＢケーブルなどのケーブル又は無線（電波、赤外光など）が利用される。

図２０には長さ基準装置２０６の例も示されている。ここに示す長さ基準装置２０６は、ヒンジ部５１０により折り畳み可能に結合されたバー５１１，５１２の先端部に半導体レーザユニット５１３，５１４が取り付けられた構成である。半導体レーザユニット５１３，５１４を発光させると、半導体レーザユニット５１３，５１４からバー５１１，５１２の近傍位置へ向けてレーザビームが照射されることにより、所定間隔の２つの光点（レーザスポット）５１５，５１６が形成される。この光点の指向性を弱めるため、好ましくはバー５１１，５１２の少なくとも光点５１５，５１６が形成される部分は拡散面とされる。

このような構成の撮影システムは、撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び制御装置３００を共通の三脚５００を用いて支持することができ、その全体を一括して移動させることができるため、図３〜図５に示したような方法による撮影に好都合である。また、スライド板５０２，５０３を支持テーブル５０１に押し込むことにより、図２１に示すように撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び制御装置３００をコンパクトに集合させることができるため、その運搬や収納に好都合である。また、長さ基準装置２０６も、図２１に示すように折り畳むことができるため、運搬及び収納に好都合である。

図示しないが、図２０に示したシステム構成のほかに、（１）支持テーブル５０１に特徴点用スポット光照射装置２０３のみ固定したようなシステム構成、（２）支持テーブル５０１に制御装置３００のみ固定したようなシステム構成、（３）支持テーブル５０１に特徴点用スポット光照射装置２０３を固定し、支持テーブル５０１に直接又はスライド板５０２のような可動部材を介して１台の撮像装置２０１又は２０２を支持したようなシステム構成、（４）支持テーブル５０１に制御装置３００と特徴点用スポット光照射装置２０３を固定し、支持テーブル５０１に直接又はスライド板５０２のような可動部材を介して１台の撮像装置２０１を支持したようなシステム構成を採用することも可能である。このような様々なシステム構成もしくは撮影システム用複合装置が本発明に包含される。

また、撮像装置２０１，２０２に、撮影した画像データ中の特徴点及びつなぎ合わせ点（さらには長さ基準点）を検出する点検出手段を内蔵させることもできる。このような点検出手段は、例えば図１１に示す画像処理部２３４又はシステム制御部２３２にプログラムとして実装することが可能である。このように撮像装置側に点検出手段を備える場合には、制御装置３００においては、図１４のステップ４０５，４１０又は図１８のステップ４５４で撮像装置側から特徴点及びつなぎ合わせ点（さらには渚基準点）の画像データ上の座標を取り込むようにし、図１４のステップ４０６，４１１又は図１８のステップ４５５を省略することができる。このように点検出手段を内蔵させた撮像装置も本発明に包含される。さらに、制御装置３００を撮像装置と統合することも可能であり、かかる複合装置（制御装置３００の機能を備えた撮像装置）も本発明に包含される。

次に、図１４のステップ４０６，４１１又は図１８のステップ４５５における特徴点及びつなぎ合わせ点の検出処理について説明する。図２３〜図２７は検出アルゴリズムの説明図である。

ｓｔｅｐＡ：特徴点又はつなぎ合わせ点の候補となり得る色の画素を抽出するためのフィルター処理を画像データの全画素に施す（図２２参照）。ここでは、特徴点指定用の赤色レーザスポット光である特徴点を検出するものとして説明する。この場合、ＲＧＢ各画素の色強度（０〜２５５）において、Ｒ成分の色強度がＧ＋α、Ｂ＋αと同等以上で、Ｒ成分が２５５の画素のみ抽出し、それ以外の画素を削除する。なお、αの値は通常７〜１０程度に選ばれるが、実験的に最適値を選ぶのがよい。

ｓｔｅｐＢ：ｓｔｅｐＡで抽出された画素についてＸ軸，Ｙ軸それぞれの方向の画素数のヒストグラム（周辺分布）を作成する（図２３参照）。ただし、ノイズとみなし得る所定値以下のヒストグラムは除去する。

ｓｔｅｐＣ：ｓｔｅｐＢで得られたＸ，Ｙ軸のヒストグラムの連続する区間の交差矩形を抽出する（図２４）。

ｓｔｅｐＤ：ｓｔｅｐＣで抽出された各交差矩形の内部に含まれる画素数を調べ、画素数が所定値未満の交差矩形は削除する（図２５参照）。

ｓｔｅｐＥ：ｓｔｅｐＤで削除されずに残った各交差矩形の内部の周辺分布を作成し、各交差矩形をさらに小さな交差矩形に分割する。

ｓｔｅｐＦ：ｓｔｅｐＥで細分化後の交差矩形の大きさや形状もしくは画素配置を分析し、特徴点指定用のレーザスポットと判断できる交差矩形のみ残す。

ｓｔｅｐＧ：ｓｔｅｐＦで残った交差矩形の重心を特徴点として検出し、その座標（ｘ，ｙ）を求める（図２６参照）。特徴点の候補としての交差矩形内のＲ成分の色強度は図２７のような分布となるため、色強度の分布から重心を容易に検出することができる。

以上のような検出アルゴリズムによれば、サブピクセルの精度で特徴点を検出することができる。

緑色レーザによるつなぎ合わせ点についても、同様の検出アルゴリズムを適用できることは明らかである。ただし、ｓｔｅｐＡでは、Ｇ成分の色強度がＲ＋α、Ｂ＋αと同等以上で、Ｇ成分が２５５の画素のみ抽出し、それ以外の画素を削除する。

なお、他の検出アルゴリズムを用いることも可能であることは当然である。

次に、図１４のステップ４１５又は図１８のステップ４５９の対応付け処理について説明する。

図２８に対応付け処理の全体的フローを示す。ステップ６０１において、シーンＪの画像１と画像２より検出されたつなぎ合わせ点の対応付けを行う。つなぎ合わせ点は画像両端部分に３個ずつしか存在しないため、位置関係から容易に対応付けることができる。

ステップ６０２において、シーンＪの画像１と画像２の特徴点についての第１段階の対応付け処理を行う。その処理フローを図２９に示す。

まず、ステップ６１０において画像１における「コーナー特徴の強度」を算出する。ここでは、コーナー特徴の強度を算出する方法として、文献（Ｃ．Ｈarris and Ｍ．Ｓtephens：”Ａ Ｃombined Ｃorner and Ｅdge Ｄetector”，Ｐroceedings of Ｔhe Ｆourth Ａlvey Ｖision Ｃonference，Ｍanchester，ｐｐ．１４７−１５１（１９８８））に記載されている方法を用いる。この文献によれば、画像上の各点（ｕ，ｖ）のコーナー強度を示す応答関数Ｒ（ｕ，ｖ）は次式で表される。

Ｉｕは画像のｕ軸方向の１次微分であり、Ｉｖは画像のｖ軸方向の１次微分である。またＧ（ｕ，ｖ）は２次元ガウス関数を示す。また、（１）式のｋは定数で、その値を０．０４とする。応答関数Ｒ（ｕ，ｖ）は、コーナーに対しては大きな正の値を、エッジに対しては負の値を、何の特徴もない平坦な部分に対しては０付近の値をとることが知られている。

次のステップ６１１において、画像１より検出された特徴点のうち、周囲に強いコーナー特徴を有する上位８点を抽出する。具体的には、画像１における各特徴点（ｕ，ｖ）を中心とする大きさ（２ｄｕ＋１）×（２ｄｖ＋１）の窓を用意し、この窓内における応答関数Ｒ（ｕ，ｖ）の総和

が大きい上位８点を抽出する。

次に、抽出された８つの特徴点それぞれについて、画像１の特徴点を中心とする大きさ（２ｄｕ＋１）×（２ｄｖ＋１）の範囲を切り出し、これをテンプレートとする。ここでは、ｄｕ、ｄｖとも例えば３２、すなわちテンプレートの大きさを６５×６５とするものとする。

次のステップ６１２において、前ステップで生成された８つのテンプレートについて、画像２においてテンプレートマッチングを行う。具体的には、画像１のテンプレートと、画像２における各特徴点（ｕ’，ｖ’）との正規化相互相関値Cを、次式に基づき計算する。

（４）式において、Ｉ１（ｕ，ｖ）はテンプレート上の点（ｕ，ｖ）における画素値である。Ｉ２（ｕ’，ｖ’）は画像２上の点（ｕ’，ｖ’）における画素値である。

各テンプレートに対し、以上の計算を画像２の全ての特徴点に対して実行し、その中で正規化相互相関値Cが最大となる特徴点（ｕ’，ｖ’）を対応点として選択する。これにより、画像１と画像２の８個の特徴点の対応付けがなされる。

図２８のステップ６０３について説明する。このステップでは、ステップ６０１，６０２による対応付けの結果を用いて、画像１の撮影から画像２撮影に至るカメラ運動を計算する。その手順を、図３０のフローチャートに示す。

まずステップ６２０においてカメラパラメータを取得する。具体的には、制御装置３００のＨＤＤ３１２（図１０）に保存されたシーンＪの画像１，２の画像データファイルのＥＸＩＦ（exchangeable image file format）ヘッダを読み込み、撮像装置２０１，２０２（デジタルスチルカメラ）のメーカー名、機種名及び焦点距離情報を読み取る。次に、読み取られたこれらの情報を基に、制御装置３００のＨＤＤ３１２に予め記憶されているカメラパラメータテーブルを検索し、該当するカメラパラメータ
・画面中心座標（ｕ０，ｖ０）
・画素換算焦点距離（ｆｕ，ｆｖ）
を読み出す。

例えば、ＥＸＩＦヘッダに記載されているカメラメーカー名が”ＲＩＣＯＨ”、機種名が”Ｃａｐｌｉｏ ＲＲ１”、焦点距離が”７．５０（ｍｍ）”である場合、記録制御プログラムは、例えば図３１に示す当該機種のカメラパラメータテーブルを見つけ出し、画面中心座標（１１３６．５２，８５５．３５）、画素換算焦点距離（２５７３．６５，２５６８．８７）という値を読み出す。これらのカメラパラメータの値は、予めカメラ校正（camera calibration）を実施しておくことで容易に得ることができる。

次のステップ６２１において、ステップ６０１，６０２の対応付けの結果と直前ステップ６２０で取得されたカメラパラメータを用いて、画像１の撮影から画像２撮影に至るカメラ運動を計算する。ここでは、８点アルゴリズムと射影変換アルゴリズムと呼ばれる２つの公知手法を組み合わせることによりカメラ運動を計算する手順を説明する。

まず導入として、カメラ運動の計算に主要な役割を果たすエピポーラ幾何について説明する。ここで、図３２で定義される座標系及び図３３及び図３４に示される幾何学的な関係を説明に使用する。ここで
カメラ座標系（camera coordinate system）において
・ｘ軸：画面右向きを正
・ｙ軸：画面下向きを正
・ｚ軸：光軸、対象に向かう向きを正
・原点ｏ：カメラの光学中心
・ｆ：焦点距離
画像座標系（image coordinate system）において
・ｕ軸：画面右向きを正
・ｖ軸：画面下向きを正
とし、
Ｒ：画像1撮影時のカメラ座標系を基準にした、画像2撮影時のカメラの回転行列
ｔ：画像1撮影時のカメラ座標系を基準にした、画像2撮影時のカメラの並進ベクトル
とする。

図３３においては、画像１における画像座標（ｕ，ｖ）と、画像２における画像座標
（ｕ′，ｖ′）が対応関係にあることが示されている。

まず、この２点に対応する以下のユークリッド座標系３次元ベクトルを定義する。

ここで、

は、カメラ座標系から画像座標系への変換を行うもので、カメラ内部行列（camera intrinsic matrix）と呼ばれる。また、各々のダッシュ付きの記号は画像２を撮影したときのカメラ設定に係るもので、意味は同じである。

これらの行列Ａ、Ａ′を用いて生成されたベクトルｘ、ｘ′は、各々の画像上の点（ｕ，ｖ）、（ｕ′，ｖ′）に対応する視線の向きを、第３成分（ｚ成分）が１になるように正規化して表した３次元ベクトルであり、以後これらを視線ベクトルと呼ぶことにする。これに対し、ｍ、ｍ′は、画像座標に１を第３成分として付け加えたベクトルである。

このとき、次の３つのベクトルｘ，ｔ，Ｒｘ′（ｘ′を画像１のカメラ座標系基準に変換したベクトル）は同一平面上に存在するので、その関係は次式で表される。

但し、

であり、［ｔ］×はｔを左辺とするベクトルの外積を表す３×３行列である。

（８）式は、基本行列Ｅと視線ベクトルｘが確定すれば、ｘ′、ｙ′をパラメータとする直線の方程式となる。これは、画像２において、視線ベクトルｘに対応する視線ベクトルｘ′はこの直線上に存在することを意味する。この直線をエピポーラ線（epipolar line）という。また、（８）式は３次元座標とは関係無く、２次元座標と並進ベクトルのみを変数とした方程式で、エピポーラ方程式（epipolar equation）と呼ばれる。したがって、基本行列Ｅと視線ベクトルｘが与えられれば、対応する視線ベクトルｘ′は（８）式で規定されるエピポーラ線上に存在するという幾何学的拘束が与えられる。この幾何学的拘束を、エピポーラ拘束（epipolar constraint）という。

８点アルゴリズムは、カメラパラメータと８点またはそれ以上の対応点とを用いて、基本行列Ｅを算出する線形解法である。基本行列Ｅから並進ベクトルｔ、回転行列Ｒを求める方法は、公知文献（徐 剛，辻三郎：『３次元ビジョン』，共立出版（１９９８））に詳しく記載されている。ここでは、８点アルゴリズムによりカメラ運動を計算し、得られたカメラ運動を｛Ｒ８Ｐ，ｔ８Ｐ｝とおく。

一方、８点アルゴリズムは、平面などの”critical surface”と呼ばれる形状を持つ対象に対しては精度的に破綻することが知られている（参考文献：Ｏ．Ｄ．Ｆaugeras，Ｑ−Ｔ．Ｌuong：Ｔhe Ｇeometry of Ｍultiple Ｉmages，ＭＩＴ Ｐress（２００１））。そのため、記録制御プログラムは、対象が平面であるときに有効に機能する３次元計算アルゴリズムも同時に実行する。以下、そのアルゴリズムについて説明する。

一般に、２枚の画像の視線ベクトル間で成立する２次元射影変換から、カメラ運動及び対象平面の方程式（ｎ，ｘ）＋ｄ＝０を計算できることが知られている。ここで、ｎは画像１撮影時のカメラ座標系を基準にした、対象平面の向き（単位ベクトル）、ｄは画像１の撮影時のカメラ座標系を基準にした、対象平面までの距離を示す定数である（図３４参照）。

今、視線ベクトルｘ、ｘ′との間で成立する２次元射影変換は、変換行列Ｈを用いて次のように記述されるとする。

また、変換行列Ｈは、４点またはそれ以上の対応点を用いて計算可能である。このとき、変換行列Ｈと３次元パラメータ｛Ｒ，ｔ，ｎ，ｄ｝との間で次の関係式が成立する。

ここで、Ｉは３×３単位行列である。

変換行列Ｈから３次元パラメータ｛Ｒ，ｔ，ｎ，ｄ｝を求める方法は、公知文献（森尻 智昭、小野寺 康浩、金谷 健一：“２画像からの平面の３次元運動の計算”、情報処理学会研究報告９０−ＣＶ−６７（１９９０））に詳しく記載されている。この文献に示されるように、｛Ｒ，ｔ，ｎ，ｄ｝の解は一般に２つ存在するが、大抵の場合、適切な３次元パラメータを判別することができる。

以上に説明した２次元射影変換を用いたアルゴリズムを実行し、得られたカメラ運動を｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝とおく。

ステップ６２２において、以上で得られた、８点アルゴリズムにより計算されたカメラ運動｛Ｒ８Ｐ，ｔ８Ｐ｝、２次元射影変換により計算されたカメラ運動｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝のうち、正しいと思われる計算結果を選択する。ここでは、エピポーラ幾何を用いた以下の方法を採用する。

まず、｛Ｒ８Ｐ，ｔ８Ｐ｝及び｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝を（９）式に代入し、それぞれの基本行列Ｅ８Ｐ、Ｅｐｒｏｊを算出する。

次に、全ての特徴点及びつなぎ合わせ点の組ｘｉ、ｘｉ’（ｉ＝１，…，Ｎ）に対し、次式に示される「対応点とエピポーラ線との距離の２乗和」を計算する。

Ｅ８Ｐを用いて算出されたＬをＬ８Ｐ、Ｅｐｒｏｊを用いて算出されたＬをＬｐｒｏｊとおき、以下の判定ルール
・Ｌ８Ｐ≦Ｌｐｒｏｊの場合、Ｅ８Ｐを基本行列Ｅとして、Ｒ８Ｐ，ｔ８Ｐ｝を
カメラ運動｛Ｒ，ｔ｝として選択
・Ｌ８Ｐ＞Ｌｐｒｏｊの場合、Ｅｐｒｏｊを基本行列Ｅとして、｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝を
カメラ運動｛Ｒ，ｔ｝として選択
に従い、最終的なカメラ運動を決定する。

次に図２８のステップ６０４において、ステップ６０２で対応付けがされなかった残りの特徴点についての対応付けを行う。すなわち、画像１の残りの特徴点に対して、画像２の特徴点との対応付けを行う。具体的には、画像１の特徴点ｍに対し、画像２において、対応するエピポーラ線と特徴点ｍ′との距離

が、所定値（例えば１０画素）以内となる組を検出する。ここで、行列Ｆは基礎行列（fundamental matrix）と呼ばれ、基本行列Ｅとの関係は次式で表される。

ここで、ｍに対して対応するｍ′が複数存在する場合には、テンプレートマッチングを更に行い、（４）式で示される正規化相互相関値Ｃが最も大きいものを対応点として選択する。

以上の手順により、画像１と画像２のつなぎ合わせ点間及び特徴点間の対応関係が特定される。対応付けが完了すると、記録制御プログラムはその結果を対応点テーブルという形式でＨＤＤ３１２（図１０）に保存する。

図３５は対応点テーブルの一例であり、「；特徴点」というタグの下には、特徴点の番号を示すインデックス番号、画像１の特徴点の画像座標（ｕ，ｖ）、それに対応する画像２の特徴点の画像座標（ｕ’，ｖ’）が順に記載されている。特徴点が無効な場合には（−１，−１）という画像座標が記載される。例えば、図３５のインデックス番号１５の場合、画像２における特徴点が物体による遮蔽や処理エラー等の事由により検出されなかったことを示している。つなぎ合わせ点の画像座標も同様の形式で、「；つなぎ合わせ点」というタグの下に記載される。ここで、インデックスＰｘ（ｘ：１〜３）は１つ前のシーンと共通に撮影される緑色レーザ点、インデックスＮｘ（ｘ：１〜３）は１つ後のシーンと共通に撮影される緑色レーザ点を示す。記録制御プログラムは、このような対応点テーブルをシーン毎に作成する。

次に、図１４のステップ４１６又は図１８のステップ４６０の処理について説明する。図３６は、この処理の手順を示すフローチャートである。

ステップ６３０において、前ステップで選択されたカメラ運動{Ｒ，ｔ｝を用いて、三角測量の原理に基づき、全ての特徴点及びつなぎ合わせ点の組（ｘｉ、ｘｉ’）に対する３次元座標を計算する。

理論的には、２つの対応点は３次元空間上の同一点の射影なので、２つの視線ベクトルｘｉ、Ｒｘｉ（両者とも画像を基準とする）を被写体に向かって延長すると、３次元空間上で１点に交わる。このとき、視線ベクトルｘｉのスケールをｒｉ、視線ベクトルｘｉ′のスケールをｒｉ′とおくと、次式が成立する。

ところが、一般に、図３７のように、ベクトルｘｉを延長した直線とＲｘｉ′を延長した直線は、誤差の影響により交差しない。そこで、これらの２つの直線間の距離が最短となる位置を、求める３次元座標Ｘｉとすればよい。そこで、次の評価関数Ｅを定義する。

Ｅをそれぞれｒｉ、ｒｉ′について微分したものを０とすると、ｒｉ、ｒｉ′は次のようになる。

（１９）式、（２０）式を（１８）式に代入し、ＥをベクトルＸｉで微分した式を０にすると、Ｅを最小にするＸｉは、最終的に次式で算出される。

ただし、

である。したがって、（２１）式の１次方程式を解くことによりＸｉを求めることができる。

なお、以上の計算では、並進ベクトルｔ８Ｐ、ｔｐｒｏｊの実際の長さを求めることができないため、通常は両者の長さを１に正規化しておく。したがって、上記計算により得られる３次元座標、及び２次元射影変換の結果得られるｄ（対象平面までの距離）の値も、並進の大きさが１であるという条件で算出されている。

ただし、以下の条件（ａ），（ｂ）のいずれか満たされている場合、実際の距離を反映した並進ベクトル及び３次元座標を求めることができる。
（ａ）)任意のシーンにおいて、特徴点又はつなぎ合わせ点の中のある１点までの実際の距離が既知である。
（ｂ）任意のシーンにおいて、２点の特徴点又はつなぎ合わせ点間の実際の距離が既知である。

図２０に示すような長さ基準装置２０６を撮影時に設置して撮影画像データ中に長さ基準点を指定し、これを特徴点などと共に検出するならば、２つの長さ基準点の間隔は既知である。あるいは、図８に示したような補助具をつなぎ合わせ点指定のための用いるならば、長さ基準点を兼ねる２つのつなぎ合わせ点の間隔は既知である。したがって、画像１又は画像２における２つの長さ基準点の３次元座標の計算値と、基準点間の既知の間隔を用いて、並進ベクトルｔ及び全ての３次元座標を実寸ベースに変換することができる。

以上で計算された３次元座標Ｘｉは、シーンＪの画像１を撮影したカメラ座標系を基準としたものである。シーン番号Ｊの値が２以上の場合（ステップ６３１，ＹＥＳ）、ステップ６３２において、記録制御プログラムは、これらの３次元座標を、既に算出されているシーン番号Ｊ−１までの３次元座標と同一の座標系を基準としたものに変換する。

具体的には、シーン番号Ｊ−１のインデックス番号Ｎ１〜Ｎ３のつなぎ合わせ点に対応する３次元座標と、シーン番号Ｊのインデックス番号Ｐ１〜Ｐ３のつなぎ合わせ点に対応する３次元座標とを用いて、両者の間で成立する相似変換（conformal transformation）を求める。

ここで、既に算出されているシーン番号Ｊ−１までの３次元座標系から見たシーン番号Ｊ−１のつなぎ合わせ点の３次元座標を

それに対応するシーン番号Ｊのつなぎ合わせ点の３次元座標を

（ｉ＝１，２，３）とする。また、既に算出されているシーン番号Ｊ−１までの３次元座標系から見たシーン番号Ｊの３次元座標系への回転行列及び並進ベクトルをそれぞれＲＳ、ｔＳとすると、両者の間で以下の相似変換が成立する。

ここで、ｓは３次元座標系のスケール比である。回転行列ＲＳ、並進ベクトルｔＳはそれぞれ３の自由度を持つ。また、スケール比ｓの自由度は１なので、（２４）式の自由度は７である。一方、対応する３次元座標の組が１つ与えられると３つの方程式が立つので、対応する３次元座標が３組以上あれば（２４）式を解くことができる。

以上の３次元座標の計算・統合が完了すると、ステップ６３３において、記録制御プログラムは、その結果を３次元座標テーブルという形式でＨＤＤ３１２（図１９）に保存する。

図３８は３次元座標テーブルの一例であり、「；特徴点」というタグの下に、特徴点の番号を示すインデックス番号、特徴点の３次元座標（ｘ，ｙ，ｚ）が順に記載されている。このインデックス番号は、図３５の対応点テーブルのものと一致している。

ここで、特徴点が無効な場合には、（０，０，０）という画像座標が記載される。例えば、図３８のインデックス番号１５の場合、画像１と画像２の何れかにおいて、特徴点が物体による遮蔽や処理エラー等の事由により検出されなかったことを示している。

つなぎ合わせ点の画像座標も同様の形式で、「；つなぎ合わせ点」というタグの下に記載される。このインデックスＰｘ（ｘ：１〜３）、Ｎｘ（ｘ：１〜３）の意味も、図３５の対応点テーブルのものと同様である。記録制御プログラムは、この３次元座標テーブルを各シーン毎に作成する。

なお、既に言及したことであるが、特徴点用スポット光照射装置２０３において図１２に示したような３０チャンネルのＬＤモジュールを用いる場合に、それらを例えば３チャンネル単位で１０分割し、３チャンネルずつスポット光を照射しながら画像１及び画像２の撮影を１０回を行い、画像１及び画像２の画像データを１０枚取得するようにしてもよい。このようにすると、各回に撮影された画像１及び画像２に含まれる特徴点は３個にすぎないため、相互相関により画像１から画像２への変位を求めることが困難な場合であっても、特徴点の対応付けを正確に行うことができる。

また、つなぎ合わせ点の指定のために図８に示したような補助具を利用する場合には、撮影した画像１及び画像２に補助具が写り込む。これに対し、つなぎ合わせ点用スポット光照射装置２０４，２０５を利用する場合には、同スポット光照射装置を撮影エリアの外側に配置することにより、その画像１及び画像２への写り込みを避けることができ、このことは、画像１及び画像２の画像データを対象のサーフェイスモデルの作成に利用する場合に都合がよい。

撮影エリア分割の説明図である。 撮影エリアの撮影方法の説明図である。 撮影エリアの撮影方法の説明図である。 撮影エリアの撮影方法の説明図である。 撮影エリアの撮影方法の説明図である。 撮影エリアの撮影方法の説明図である。 撮影エリアの撮影方法の説明図である。 つなぎ合わせ点指定のための補助具の一例を示す図である。 撮影システムのブロック図である。 制御装置として用いられるタッチパネル付きＰＣのブロック図である。 撮像装置として用いられるデジタルスチルカメラのブロック図である。 特徴点用スポット光照射装置の模式図である。 つなぎ合わせ点用スポット光照射装置の模式図である。 １台の撮像装置を用いる場合の撮影システムの動作を説明するためのフローチャートである。 表示画面の一例を示す図である。 画像１撮影前と画像１撮影後における画像１撮影ボタン、画像２撮影ボタン及び終了ボタンの状態を示す図である。 警告画面の一例を示す図である。 ２台の撮像装置を用いる場合の撮影システムの動作を説明するためのフローチャートである。 表示画面の一例を示す図である。 撮影システムの物理的構成の一例を示す概略斜視図である。 撮影システムの不使用時の様子を示す概略斜視図である。 点検出処理の説明用の図である。 点検出処理の説明用の図である。 点検出処理の説明用の図である。 点検出処理の説明用の図である。 点検出処理の説明用の図である。 点検出処理の説明用の図である。 対応付け処理のフローチャートである。 図２８中のステップ６０２のフローチャートである。 図２８中のステップ６０３のフローチャートである。 カメラパラメータテーブルの一例を示す図である。 カメラ座標系及び画像座標系を示す図である。 画像１と画像２の幾何学的関係を示す図である。 画像１と画像２の幾何学的関係を示す図である。 対応点テーブルの一例を示す図である。 図１４中のステップ４１６又は図１８中のステップ４６０のフローチャートである。 ３次元座標の計算方法の説明図である。 ３次元座標テーブルの一例を示す図である。

１０１ 撮影エリア
２０１，２０２ 撮像装置
２０３ 特徴点用スポット光照射装置
２０４，２０５ つなぎ合わせ点用スポット光照射装置
２０６ 長さ基準装置
３００ 制御装置
３０１〜３０５ インターフェース手段
５００ 三脚
５０１ 支持テーブル
５０２，５０３ スライド板

Claims (8)

1. ３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、撮影エリア毎に撮像装置を用いて異なった任意の２位置から撮影し、
   各撮影エリアの撮影時に、当該撮影エリアに対し特徴点を指定するための複数のスポット光を特徴点用スポット光照射装置を用いて照射し、
   各撮影エリアの撮影時に、当該撮影エリアの隣接撮影エリアとの重複部分にそれぞれ、撮影エリア間のつなぎ合わせ点を指定するための、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる補助具を設置し、
   前記隣接した２撮影エリアの重複部分に配置された補助具は、当該２撮影エリアの撮影が終了するまでは移動させないようにすると共に、
   前記撮像装置により撮影された各撮影エリアの画像データを取得し、
   前記取得された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出し、
   前記検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う、
   ことを特徴とする撮影及び３次元形状復元方法。
2. ３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、該撮影エリアをその並び順に従って順に選択して、該選択された撮影エリアを、撮像装置を用いて異なった任意の２位置から撮影し、
   前記選択された撮影エリアの撮影時に、当該撮影エリアに対し特徴点を指定するための複数のスポット光を特徴点用スポット光照射装置を用いて照射し、
   前記選択された撮影エリアの撮影時に、当該撮影エリアの、選択順序が相前後する他の２つの撮影エリアとの重複部分に対しそれぞれ、撮影エリア間のつなぎ合わせ点を指定するための、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる補助具を設置し、
   ある撮影エリアの撮影を終了し、次に選択された撮影エリアの撮影を行う時には、少なくとも当該２撮影エリアの重複部分に配置された前記補助具は、前者の撮影エリアの撮影時の位置から移動させないようにすると共に、
   前記撮像装置により撮影された各撮影エリアの画像データを取得し、
   前記取得された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出し、
   前記検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う、
   ことを特徴とする撮影及び３次元形状復元方法。
3. 補助具の点光源の波長と、特徴点用スポット光照射装置によるスポット光の波長とが異なることを特徴とする請求項１もしくは２記載の撮影及び３次元形状復元方法。
4. ３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、撮影エリアを異なった任意の２位置から撮影するための少なくとも１つの撮像装置と、
   前記撮像装置による撮影エリアの撮影時に当該撮影エリア内に特徴点指定用の複数のスポット光を照射するための少なくとも１つの特徴点用スポット光照射装置と、
   前記撮像装置による撮影エリアの撮影時に当該撮影エリアの隣接撮影エリアとの重複部分に、撮影エリア間のつなぎ合わせ点を指定するために配置される、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる少なくとも２つの補助具と、
   前記撮像装置及び前記特徴点用スポット光照射装置と情報伝達のためのインターフェース手段を介して接続された制御装置と、
   を有し、
   前記制御装置は、
   撮影エリアに対する撮影開始指示を入力するための撮影開始指示入力手段と、
   前記撮影開始指示入力手段による撮影開始指示入力に応じて、前記インターフェース手段を通じ、前記撮像装置の撮影動作及び前記特徴点用スポット光照射装置のスポット光照射動作を制御する制御手段と、
   前記撮像装置により各撮影エリアを撮影して得られた画像データを前記インターフェース手段を介し受信する受信手段と、
   前記受信手段により受信された各撮影エリアの画像データから特徴点及びつなぎ合わせ点を検出する検出手段と、
   前記検出手段により検出された特徴点及びつなぎ合わせ点の画像データ上の座標、並びに、前記長さ基準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う演算処理手段と、
   を含むことを特徴とする撮影及び３次元形状復元システム。
5. ３次元形状の撮影対象を、複数の部分的に重複させた撮影エリアに分割し、撮影エリアを異なった任意の２位置から撮影するための少なくとも１つの撮像装置と、
   前記撮像装置による撮影エリアの撮影時に当該撮影エリア内に特徴点指定用の複数のスポット光を照射するための少なくとも１つの特徴点用スポット光照射装置と、
   前記撮像装置による撮影エリアの撮影時に当該撮影エリアの隣接撮影エリアとの重複部分に、撮影エリア間のつなぎ合わせ点を指定するために配置される、略Ｔ字形の本体の各端部に点光源を有し、該点光源のうち２つの点光源の間隔は所定の長さに規定して長さ基準点を兼ねる少なくとも２つの補助具と、
   前記撮像装置及び前記特徴点用スポット光照射装置と情報伝達のためのインターフェース手段を介して接続された制御装置と、
   を有し、
   前記撮像装置は、各撮影エリアを撮影して得られた画像データから特徴点及びつなぎ合わせ点を検出する検出手段と、この検出手段により検出された特徴点及びつなぎ合わせ点の画像データ上の座標を、前記インターフェース手段を介し前記制御装置へ送信する手段を含み、
   前記制御装置は、
   撮影エリアに対する撮影開始指示を入力するための撮影開始指示入力手段と、
   前記撮影開始指示入力手段による撮影開始指示入力に応じて、前記インターフェース手段を通じ、前記撮像装置の撮影動作及び前記特徴点用スポット光照射装置のスポット光照射動作を制御する制御手段と、
   前記撮像装置より前記インターフェース手段を介して特徴点及びつなぎ合わせ点の座標を受信する受信手段と、
   前記受信手段により受信された特徴点及びつなぎ合わせ点の座標、並びに、前記長さ基標準点を兼ねる２つのつなぎ合わせ点の間隔を用いて、前記複数の部分的に重複させた撮影エリアに分割された撮影対象の３次元形状を、実際の距離を反映させて１つの座標系上に復元するための演算処理を行う演算処理手段と、
   を含むことを特徴とする撮影及び３次元形状復元システム。
6. 前記制御装置は、前記撮像装置よりプレビュー画像データを前記インターフェース手段を介し受信する受信手段と、前記受信手段により受信されたプレビュー画像データを画像として表示する手段とを含むことを特徴とする請求項４もしくは５記載の撮影及び３次元形状復元システム。
7. 前記制御装置は、前記撮像装置より撮影エリアを撮影して得られた画像データを前記インターフェース手段を介して受信する受信手段と、前記受信手段により受信された画像データを画像として表示する手段を含むことを特徴とする請求項６記載の撮影及び３次元形状復元システム。
8. 前記制御装置は、特徴点及びつなぎ合わせ点の個数について判定する判定手段と、該判定手段により特徴点又はつなぎ合わせ点の個数が所定値未満であると判定されたときに警告を発する警告手段とを含むことを特徴とする請求項４乃至７のいずれか１項に記載の撮影及び３次元形状復元システム。

Images