JP4909543B2 - 三次元計測システム及びその方法 - Google Patents

Description

本発明は、三次元計測システム及び三次元計測方法に関する。詳しくは、三次元計測された各領域を接続統合して、広範囲な領域を自動的に計測可能な三次元計測システム及び三次元計測方法に関する。

従来は、非接触で三次元計測を行う場合、非接触三次元計測機と呼ばれるパターン投光機とＣＣＤカメラが一体となった比較的大型な装置で小領域ごとに計測を行い、さらにその小領域ごとに貼り付けたそれぞれのターゲットを写真測量手法で計測し、その座標点からそれら小領域を統合して、広範囲な計測を行っていた。

また、デジタルカメラなどの画像だけで三次元計測する場合、ステレオペアの設定、２枚以上の画像の標定、および計測位置の設定をマニュアルもしくは半自動処理にて行っていた。（特許文献１，２参照）
特開２００３−２８４０９８号公報（段落００１８〜００７３、図１〜図１１） 特開２００５−１７４１５１号公報（段落００２１〜００８７、図１〜図２４）

広範な領域を計測するには、大型の非接触三次元測定器で多数箇所の小領域を計測し、さらに写真測量手法により、各小領域に貼られた画像接続用のターゲットをカメラで撮影し、各ターゲット点を高精度に三次元計測し、そのカメラ座標系と各三次元測定器で計測した小領域中のターゲットの三次元座標系（地球座標系等）を統合して広範な全体領域としていた。

しかしながら、この手法によれば、小領域と広範な領域の測定に別々の測定器を利用しなければならず、煩雑であり、また、三次元計測全体を通した自動化ができないという問題があった。特に、高精度で広範囲にわたり多数の小領域を統合する場合は、各々の計測範囲が狭まるために結果として計測領域数が膨大になり、結果として煩雑で効率の悪い作業となっていた。例えば、車の側面を計測するだけでも小領域数は１００カット以上となっていた。このように、個々の作業は簡単でも全体としては手間がかかり、非効率な作業となっていたという問題があった。

本発明は、一つのシステムで広域の非接触三次元測定を効率化すること、自動化することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る三次元計測システム１００は、例えば図２に示すように（コード付き標識については図１参照）、面内に計測位置を示すための位置検出用パターンＰ１と、標識を識別するためのコードパターンＰ３とを有するコード付き標識ＣＴを含むように２方向から撮影された測定対象物１の一対の撮影画像を記憶する撮影画像データ記憶部１３と、一対の撮影画像からコード付き標識ＣＴの位置検出用パターンＰ１とコードパターンＰ３とを抽出する抽出部４１と、抽出部４１で抽出されたコード付き標識ＣＴのコードパターンＰ３から、コード付き標識ＣＴの識別コードを判別する識別コード判別部４６と、一対の撮影画像の一方について抽出部４１で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、コード付き標識ＣＴの基準点を設定する基準点設定部４２と、一対の撮影画像の他方について抽出部４１で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、識別コード判別部４６で判別された識別コードを用いて基準点に対応する対応点を探索する対応点探索部４３と、基準点及び対応点とに基づいて、一対の撮影画像について標定処理を行う標定部４４とを備える。

ここにおいてコードパターンのコードには、カラーコード、バーコードの他、文字、数字、記号をコンピュータが識別できるように配列したものが含まれる。また、測定対象物を２方向から撮影するとは、ステレオカメラで撮影する他に、単写真で場所を少し移動して撮影することを含むもので、２つの画像を大部分が重複するようにかつ距離計測が可能なように撮影することをいう。また○○部は物理的に独立した○○装置であっても良く、○○記憶部は物理的に離れた記憶装置内に構成されても良い。このように構成すると、コード付き標識ＣＴの位置検出用パターンＰ１とコードパターンＰ３とを用いて、一つのシステムで広域の非接触三次元測定を効率化すること、自動化することが可能になる。

本発明の第２の態様は、第１の態様に係る三次元計測システムにおいて、例えば図１に示すように、コードパターンＰ３が複数の色彩が施されたカラーコードパターンであり、コード付き標識ＣＴがカラーコード付き標識である。
ここにおいて、カラーコードパターンには、彩色された単位パターンの配列をコード化したパターンの他に、彩色したレトロターゲットを組み合わせてコード化したパターンも含まれる。このように構成すると、標識に多数の識別番号を付与でき、また、一見してパターンの同異を判別し易い。

本発明の第３の態様は、第１又は第２の態様に係る三次元計測システムにおいて、例えば図６に示すように、画像撮影装置１０で各撮影画像が少なくとも３個のコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では少なくとも２個のコード付き標識ＣＴを共有するようにして撮影した一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴの識別コードが一致するように、一連の撮影画像の配列を定める配列部４７を備える。

ここにおいて、少なくとも３個とあるのは、各頂点にコード付き標識を配置した三角形画像を連ねても広域計測が可能だからである。４個のコード付き標識を含むように撮影すると、矩形の画像を利用して広域をカバーする一連の撮影画像を得るのに便宜で好ましい。また、識別コードが一致するようにとは、採番後だけでなく採番前のパターンが一致する状態を含む意味である（コード番号が一致するとは表現が異なる）。また、典型的には撮影画像（一連の撮影画像を含む）は特に一対のとことわらなくてもペアで取り扱われる。後述のモデル画像についても同様である。このように構成すると、識別コードが同一であるコード付き標識を目印として画像間の配列を容易に見出すことができる。

本発明の第４の態様は、第３の態様に係る三次元計測システムにおいて、標定部４４は、一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴに係る基準点又は対応点の座標が一致するように、測定対象物１に係る一連の撮影画像について、順次標定を行う。
このように構成すると、ステレオ画像間のエピポーララインを水平で同じ高さにできるので、標定が容易になる。

本発明の第５の態様は、第４の態様に係る三次元計測システムにおいて、一対の撮影画像から、標定部４４で標定された標定要素に基づいて座標系を仮定した一対のモデル画像を形成するモデル画像形成部４８Ａと、一対のモデル画像を記憶するモデル画像記憶部４８Ｂとを備え、モデル画像形成部４８Ａは、一連の撮影画像ついて標定部４４で標定された標定要素に基づいて一連のモデル画像を形成し、配列部４７は、一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴの識別コードが一致するように配列し、標定部４４は、配列された一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴに係る基準点又は対応点の座標が一致するように、測定対象物１に係る一連のモデル画像について、順次標定を行い、モデル画像形成部４８Ａは、標定部４４で新たに標定された標定要素に基づいて新たな一連のモデル画像を形成する。
このように構成すると、ステレオ画像間のエピポーララインを水平で同じ高さにできるので、標定が容易になる。

本発明の第６の態様は、第４又は第５の態様に係る三次元計測システムにおいて、標定部４４は、一連のモデル画像について、さらにバンドル法による標定を行い、モデル画像形成部４８Ａは、標定部４４で標定された標定要素に基づいて新たな一連のモデル画像を形成する。
このように構成すると、画像全体に亘る位置座標の調整が行なわれるので、標定による誤差を微小にできる。

本発明の第７の態様は、第４乃至第６のいずれかの態様に係る三次元計測システムにおいて、標定部４４は、標定処理を繰り返すことにより、新たな一連のモデル画像を形成する。
ここにおいて、相互標定（第５の態様に係る標定）とバンドル法による標定（第６の態様に係る標定）を交互に繰り返すのが好ましいが、それぞれの標定を繰り返しても良く、標定処理の順序は任意である。このように構成すると、標定の精度を向上できる。

本発明の第８の態様は、第５乃至第７のいずれかの態様に係る三次元計測システムにおいて、測定対象物１に係る三次元座標データと撮影画像又はモデル画像とを、標定部４４で求められた標定要素を用いて対応付ける画像対応部５６を備える。
このように構成すると、高精度の三次元画像を得ることができる。なお、三次元画像データは絶対座標系で行なうのが好ましいが、相対座標系を用いても良い。

本発明の第９の態様は、第４乃至第８のいずれかの態様に係る三次元計測システムにおいて、対応点探索部４３は、一対の撮影画像又は一対のモデル画像について、コード付き標識ＣＴを少なくとも４個含むように探索範囲を自動的に定めて、マッチング処理を行う。
このように構成すると、ステレオマッチングの範囲を自動的に定めることができ、三次元計測の自動化を可能にする。

本発明の第１０の態様は、第２乃至第９のいずれかの態様に係る三次元計測システムにおいて、カラーコード付き標識ＣＴは、面内に色彩の基準として用いる複数の色彩が施された基準色パターンＰ２を有し、基準色パターンＰ２に施された色彩を基準にして、カラーコードパターンＰ３の色彩を補正する色彩補正部３１２を有する。
ここにおいて、典型的には基準色として赤、緑、青が用いられるが、識別可能であればこれに限定されない。このように構成すると、色補正によりカラーコード識別の精度が向上する。

本発明の第１１の態様は、本発明の第１０の態様に係る三次元計測システムにおいて、抽出部４１は、基準色パターンＰ２に施された色彩と画像撮影装置１０で撮像された測定対象物１の画像の色彩とを比較することにより、カラーコードパターンＰ３を判別する。
このように構成すると、基準色を用いるので、カラーコードパターンの判別精度が向上する。

本発明の第１２の態様は、第１０又は第１１の態様に係る三次元計測システムにおいて、色彩補正部３１２は、基準色パターンＰ２に施された色彩を基準にして、画像撮影装置１０で撮像された測定対象物１の画像の色彩を補正する。
このように構成すると、測定対象物の画像の色彩を精度良く補正できる。

本発明の第１３の態様は、第２乃至第１２のいずれかの態様に係る三次元計測システムにおいて、カラーコード付き標識ＣＴを投影する投影装置１２を備える。
このように構成すると、カラーコード付きターゲットを貼付せずに、撮影の自動化が可能になる。

本発明の第１４の態様に係る三次元計測方法は、例えば図４に示すように（システム構成については図２、コード付き標識については図１参照）、面内に計測位置を示すための位置検出用パターンＰ１と、標識を識別するためのコードパターンＰ３とを有するコード付き標識ＣＴを含むように測定対象物１を２方向から撮影する撮影工程（Ｓ１０）と、撮影工程（Ｓ１０）で撮影された測定対象物１の一対の撮影画像を記憶する画像データ記憶工程（Ｓ１１）と、一対の撮影画像からコード付き標識ＣＴの位置検出用パターンＰ１とコードパターンＰ３とを抽出する抽出工程（Ｓ１４）と、抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴのコードパターンＰ３から、コード付き標識ＣＴの識別コードを判別する識別コード判別工程（Ｓ１５）と、一対の撮影画像の一方について抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、コード付き標識ＣＴの基準点を設定する基準点設定工程（Ｓ１８）と、一対の撮影画像の他方について抽出工程（Ｓ１４）で抽出されたコード付き標識ＣＴの位置検出用パターンＰ１から、識別コード判別工程（Ｓ１５）で判別された識別コードを用いて基準点に対応する対応点を探索する対応点探索工程（Ｓ１９）と、基準点及び対応点とに基づいて、一対の撮影画像について標定処理を行う標定工程（Ｓ３０）とを備える。
第１の態様に係る三次元計測システムに相応する三次元計測方法である。

本発明の第１５の態様は、第１４の態様に係る三次元計測方法において、コードパターンＰ３が複数の色彩が施されたカラーコードパターンであり、コード付き標識ＣＴがカラーコード付き標識である。
第２の態様に係る三次元計測システムに相応する三次元計測方法である。

本発明によれば、一つのシステムで広域の非接触三次元測定を効率化、自動化することができる。

［第１の実施の形態］
本発明は、コード付き標識（ターゲット）を使用することにより、非接触三次元測定を効率化し、自動化するものである。
以下に図面の基づき本発明の実施の形態について説明する。
まず、コード付きターゲットの１例としてカラーコード付き標識（ターゲット）について説明する。

［カラーコード付きターゲット］
図１にカラーコード付きターゲットの例を示す。図１（ａ）はカラーコードの単位領域が３個、図１（ｂ）は６個、図１（ｃ）は９個のカラーコード付きターゲットである。図１（ａ）〜（ｃ）のカラーコード付きターゲットＣＴ（ＣＴ１〜ＣＴ３）は、位置検出用パターン（レトロターゲット部）Ｐ１、基準色パターン（基準色部）Ｐ２、カラーコードパターン（カラーコード部）Ｐ３、空パターン（白色部）Ｐ４で構成されている。

レトロターゲット部Ｐ１は、ターゲット自体の検出用、その重心検出用、ターゲットの向き検出用、ターゲット領域検出用として使用する。

基準色部Ｐ２は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用する。さらに、基準色部Ｐ２は、簡易な方法で作成されたカラーコード付きターゲットＣＴの色彩補正用として使用できる。例えば、色管理がなされていないカラープリンター（インクジェット・レーザー・昇華型等のプリンタ）で印刷したカラーコード付きターゲットＣＴを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部Ｐ２とカラーコード部Ｐ３の色を相対比較し補正することで、個体差の影響を押さえることができる。

カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。コードに使用するコード色の数により表現可能なコード数が変化する。例えば、コード色数がｎの場合、図１（ａ）のカラーコード付きターゲットＣＴ１では、カラーコード部Ｐ３の単位領域が３個のため、ｎ×ｎ×ｎ通りのコードを表せる。信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、ｎ×（ｎ−１）×（ｎ−２）通りのコードを表せる。そして、コード色数を増やせばコード数を増加できる。さらに、カラーコード部Ｐ３の単位領域の数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部Ｐ３に使用されるため、基準色部Ｐ２との比較のみでなく、カラーコード部Ｐ３の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコード付きターゲットＣＴを画像中から検出する際にも使用できる。これは、異なる識別コードをもつカラーコード付きターゲットＣＴ間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもターゲットＣＴを画像中から検出することが可能である。

白色部Ｐ４は、カラーコード付きターゲットＣＴの向き検出用と色ズレのキャリブレーション用として使用する。ターゲットＣＴの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをターゲットＣＴの向き検出用に使用できる。このように白色部Ｐ４はレトロターゲットと異なるパターンであれば良い。したがって、白色部Ｐ４には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。

［システム構成］
図２に第１の実施の形態における三次元計測システムの全体構成例のブロック図を示す。
三次元計測装置１００は、画像撮影装置１０、撮影画像データ記憶部１３、対応部４０、表示画像形成部５０、表示装置６０を備える。このうち、撮影画像データ記憶部１３、対応部４０、表示画像形成部５０は例えばコンピュータで構成されている。測定対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物、工場等の各種工作物や人物・風景等が該当する。

画像撮影装置１０は、測定対象物１の画像（典型的にはステレオ画像であるが、単写真画像をペアで用いても良い）を取得するもので、例えば測量用のステレオカメラ又は汎用のデジタルカメラと、これらのカメラで撮影された測定対象物１の画像に対してレンズ収差の補償を行なう装置を組合せた機器が用いられる。撮影画像データ記憶部１３は、測定対象物１の画像を記憶するもので、例えば画像撮影装置１０で撮影された測定対象物１の単写真画像やステレオ画像を記憶する。

対応部４０は、測定対象物１に係る一対の撮影画像又はモデル画像を対応づけて標定やマッチングを行なうもので、測定対象物１の画像がステレオ画像の場合には、コード付き標識の抽出、基準点設定、対応点探索の後に、標定処理を行う。また、三次元計測に際しステレオマッチングを行なう。抽出部４１、基準点設定部４２、対応点探索部４３、標定部４４、対応点指示部４５、識別コード判別部４６、配列部４７、撮影・モデル画像表示部４８、モデル画像形成部４８Ａ、モデル画像記憶部４８Ｂを有している。

図３にカラーコード付きターゲットを抽出する抽出部４１及びそのカラーコードを判別する識別コード判別部４６の構成例を示す。抽出部４１は、探索処理部１１０、レトロターゲットグループ化処理部１２０、カラーコード付きターゲット検出処理部１３０、画像・カラーパターン記憶部１４０を有する。また、識別コード判別部４６はカラーコード付きターゲット検出処理部１３０で検出されたカラーコードを判別しコード番号を付与する。

探索処理部１１０は、撮影画像データ記憶部１３又はモデル画像記憶部４８Ｂから読み込まれたカラー画像（撮影画像又はモデル画像）から、レトロターゲットパターン等の位置検出用パターンＰ１を検出する。位置検出用ターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。
レトロターゲットグループ化処理部は１２０は、探索処理部１１０で検出したレトロターゲットが同じカラーコード付きターゲットＣＴに属するものを同一グループにグループ化する。

カラーコード付きターゲット検出処理部１３０は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループから、当該カラーコード付きターゲットＣＴの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部１３１と、カラーコード付きターゲットの基準色部Ｐ２、カラーコード部Ｐ３における色彩の配列、画像中の測定対象物１の色彩を検出する色彩検出処理部３１１と、基準色パターンＰ２を参照してカラーコード部Ｐ３及び画像中の測定対象物１の色彩を補正する色彩補正部３１２と、グループ化が適正になされたかを確認する確認処理部３１３で構成されている。

画像・カラーパターン記憶部１４０は、抽出部４１に読み込んだ画像を記憶する読込画像記憶部１４１と、使用が予定される複数種類のカラーコード付きターゲットＣＴについて、カラーコード付きターゲットＣＴの種別を示す種別コード番号を記録し、さらに、各種のカラーコード付きターゲットＣＴについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表１４２で構成されている。

識別コード判別部４６は、カラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部１３０で検出されたカラーコード付きターゲットＣＴの領域と方向のデータに基づいて、カラーコード付きターゲットＣＴの座標を変換する座標変換処理部３２１と、座標変換されたカラーコード付きターゲットＣＴのカラーコード部Ｐ３における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部３２２で構成されている。

図２に戻り、配列部４７は、画像撮影装置１０で各撮影画像が少なくとも３個のコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では少なくとも２個のコード付き標識ＣＴを共有するようにして撮影した一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴの識別コードが一致するように、一連の撮影画像の配列を定める。また、一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴの識別コードが一致するように、測定対象物１に係る一連のモデル画像の配列を定める。

基準点設定部４２は、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。特徴点には、例えば測定対象物１の中心位置、重心位置、コーナー位置、測定対象物１に貼付された又は投影された標識（ターゲット）などがある。対応点探索部４３は、ステレオ画像の他方の画像（探索画像）上における、基準点設定部４２により設定された基準点と対応する対応点を定める。操作者が特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、基準点設定部４２によって操作者が基準画像で本来意図した特徴点に引き込まれると共に、対応点探索部４３によって探索画像の対応点が定められる。

標定部４４は、基準点設定部４２により設定された基準点と対応点探索部４３により求められた対応点を用いて、ステレオ画像などの一対の画像に関する撮影位置と傾きに基づき、一対の画像の対応点関係を求め、標定計算処理を行う。対応点指示部４５は、操作者が基準画像の特徴点近傍以外の点を指定した場合に、探索画像上での対応点を定める。操作者は、表示装置６０に表示される基準画像上の指示点と、対応点指示部４５によって定められる探索画像上での対応点の表示位置とを対比して、測定対象物１の特徴点の対応関係を容易に認識できる。また、対応点指示部４５による位置対応を用いて、標定部４４による相互標定が行なわれる。

モデル画像形成部４８Ａは、標定部４４によって標定計算処理されたパラメータ（撮影したカメラの位置、傾き）から、モデル画像を形成する。ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーラライン上に再配置し、立体視可能な画像に再配置したものである。モデル画像記憶部４８Ｂは、モデル画像形成部４８Ａで形成された測定対象物１のモデル画像を記憶する。撮影・モデル画像表示部４８は、対応部４０で行う抽出、基準点設定、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル画像形成部４８Ａにより形成されたモデル画像を一対の画像として表示装置６０に表示する。

表示画像形成部５０は、測定対象物１の三次元座標データ及び測定対象物１の撮影画像又はモデル画像に基づき、任意の方向からの測定対象物１の立体的二次元画像を作成するもので、三次元座標データ演算部５１、三次元座標データ記憶部５３、立体的二次元画像形成部５４、立体的二次元画像記憶部５５、画像対応部５６、立体的二次元画像表示部５７、姿勢指示部５８、画像変換部５９を有している。

三次元座標データ演算部５１は、標定部４４で求められた対応点関係から、測定対象物１の対応点の三次元座標データを求める。三次元座標データ記憶部５３には、三次元座標データ演算部５１で演算された測定対象物１の対応点の三次元座標データが記憶される。なお、予め測定対象物１について図示しない三次元位置測定装置で別途測定した三次元座標データを三次元座標データ記憶部５３に記憶しておき、標定処理で、三次元座標データを求めるに当り、三次元座標データ記憶部５３に記憶された三次元座標データを読み込んで用いても良い。

立体的二次元画像形成部５４は、対応点の三次元座標データから測定対象物１の立体的二次元画像を形成する。ここで、立体的二次元画像とは、測定対象物１の形状を三次元座標により、例えば、任意の方向からの斜視画像が得られるように、立体的に表現したものである。立体的二次元画像記憶部５５は、立体的二次元画像形成部５４で形成された測定対象物１の立体的二次元画像を記憶する。画像対応部５６は、撮影画像データ記憶部１３に記憶された撮影画像又はモデル画像記憶部４８Ｂに記憶されたモデル画像と、三次元座標データを用いて立体的二次元画像形成部５４で形成された立体的二次元画像とを、標定部４４で求められた対応点関係を用いて対応付ける。立体的二次元画像表示部５７は、画像対応部５６により対応付けられた測定対象物１の画像を、例えば、鳥瞰画像等の立体感テクスチャ付き画像を用いて、立体感のある二次元画像で表示装置６０に表示する。

姿勢指示部５８は、測定対象物１の立体的二次元画像の姿勢（立体的二次元画像を見る方向）を指示するもので、例えば操作者がマウス等のカーソル入力装置を操作して、表示装置６０に表示される測定対象物１の姿勢を指示する。画像変換部５９は、立体的二次元画像に対する姿勢指示に応じて、対応点の座標変換を行う。立体的二次元画像表示部５７は、姿勢指示部５８で指示された姿勢に応じた測定対象物１の立体画像を表示する。表示装置６０は、液晶表示装置やＣＲＴ等の画像表示装置である。

［システムの動作］
図４に、三次元計測システムの動作を説明するフローチャート例を示す。
まず、撮影対象物１にコード付きターゲットを貼付する（Ｓ０１）。コード付きターゲットを貼付する位置は、計測位置となる。本実施の形態では、コード付きターゲットとしてカラーコード付きターゲットＣＴを用いるものとする。次に、デジタルカメラ等の画像撮影装置１０を用いて撮影した測定対象物１の画像（典型的にはステレオ画像）を撮影し（Ｓ１０）、撮影した画像を撮影画像データ記憶部１３に画像登録する（Ｓ１１）。

図５にオーバーラップ撮影の例を示す。計測対象物１に対して、１台、２台もしくは複数台のカメラ１０にてオーバーラップするように撮影する（Ｓ１０）。撮影装置１０の台数は１台〜複数台、何台でも良く、とくに制約はない。基本的には図５（ｂ）に示すように、２台１組のカメラでステレオ撮影し、このステレオ撮影した画像の一部をオーバーラップさせながら一連のステレオ画像を取得し、三次元計測に供するのであるが、図５（ａ）に示すように、１台で複数方向からオーバーラップするように撮影しても良く、また、複数台のマルチカメラでオーバーラップするように撮影してもよい。この場合オーバーラップし合う２つの画像でペアを構成するが、１つの画像が例えば左隣の画像と１つのペアを構成し、右隣の画像と別のペアを構成しても良い。

図６に左右のステレオカメラで撮影される撮影画像の例を示す。図６（ａ）にステレオ画像のオーバーラップの様子を示す。計測される基本範囲は、２枚（一対）のステレオ撮影画像のオーバーラップ範囲である。このとき、４個のコード付きターゲットＣＴがオーバーラップ範囲に入るように撮影するが好ましい。このようにするとステレオ画像を用いて三次元測定が可能である。また、図６（ｂ）に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。この様に、上下左右方向のいずれかに２個のコード付きターゲットＣＴを含んでオーバーラップするように一連の画像を撮影するのが好ましい。このようにすると広域にわたる非接触三次元測定の自動化が可能になる。

次に、対応部４０は、撮影画像データ記憶部１３に登録された撮影画像又はモデル画像記憶部４８Ｂに記憶されたモデル画像を抽出部４１の画像・カラーパターン記憶部１４０へ読み込む。抽出部４１では撮影画像からコード付きターゲットＣＴを抽出する（Ｓ１４）。識別コード判別部４６において、抽出されたターゲットＣＴの識別コードを判別し（Ｓ１５）、識別コードを利用して画像（撮影画像）の配列を決定し、さらに、ステレオペアとなる左右画像の組を設定し（Ｓ１６）、標定処理を行う（Ｓ３０）。

［位置検出用ターゲットの検出］
このうち抽出部４１おける抽出処理（Ｓ１４）は、マニュアルもしくは自動処理で行う。自動処理の場合、カラーコード付きターゲットＣＴの色識別数もしくは撮影方法により異なったものとなる。まず最初に、カラーコード付きターゲットＣＴの色識別数が多い場合について説明する。この場合、撮影の順番に制約はなく、全自動処理が可能となる。

図７にカラーコード付きターゲットの抽出（Ｓ１４）のフロー例を示す。
まず、処理対象のカラー画像（撮影画像又はモデル画像）を抽出部４１の読込画像記憶部１４１に読み込む（Ｓ５００）。次に、読込まれた各画像よりカラーコード付きターゲットＣＴを検出する（Ｓ５１０）。

探索方法は、（１）カラーコード付きターゲットＣＴ中の位置検出用パターン（レトロターゲット）Ｐ１を探索する方法、（２）カラーコード部Ｐ３の色分散を検出する方法、あるいは（４）彩色された位置検出用パターンを用いる方法など種々の方法がある。
ここでは（１）、（２）及びこれらを組み合わせる例（３）を説明する。（４）については、第３の実施の形態で説明する。

（１）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を２値化することにより簡単にレトロターゲットを検出できる。

図８はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部２０４の明度が明るく、外円部２０６の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部２０４の明度が暗く、外円部２０６の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図８（Ａ１）のように内円部２０４の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図８（Ａ２）のようになり、光量分布の閾値Ｔｏからレトロターゲットの内円部２０４や中心位置を求めることが可能となる。

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。例えば、図８（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔｏ以上のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式１）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） −−−−（式２）
（ｘｇ、ｙｇ）：重心位置の座標、ｆ（ｘ、ｙ）：（ｘ、ｙ）座標上の濃度値
なお、図８（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔｏ以下のｘ、ｙ方向の点について、（式１）、（式２）を演算する。
これにより、レトロターゲット２００の重心位置が求まる。

（２）通常、カラーコード付きターゲットＣＴのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットＣＴを検出できる。
（３）カラーコード付きターゲットＣＴにレトロターゲットが含まれている場合では、まず明度の高い箇所（レトロターゲット部Ｐ１があり得る）を画像全体に対してスキャンして検出し、次に、検出した明度の高い箇所の周囲における色の分散値の高い箇所（カラーコード部Ｐ３があり得る）を見出すことにより効率よく検出できる。

ここでは、（１）の例について説明する。次に、レトロターゲット検出処理部１１１は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部１４１に保存する。
図７に戻り、レトロターゲットグループ化処理部１２０は、読込画像記憶部１４１に保存されたレトロターゲットの座標から、同じカラーコード付きターゲットＣＴに属するレトロターゲットのグループの候補を検出して（例えば座標がカラーコード付きターゲットＣＴ内にあるものを検出して）、読込画像記憶部１４１にその組み合わせをグループとして保存する（Ｓ５２０）。確認は、例えば、検出したカラーコード付きターゲットＣＴ内の３個のレトロターゲット間の距離及び３個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である（Ｓ５３０参照）。
さらに、検出したカラーコード付きターゲットのパターンをカラーコード付きターゲット対応表１４２と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。

次に、カラーコード付きターゲット検出処理部１３０は、領域方向検出処理部１３１において読込画像記憶部１４１に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットＣＴの領域と方向を求める（Ｓ５３０）。この領域と方向を求める前又は後に、色彩検出処理部３１１で基準色部Ｐ２、カラーコード部Ｐ３、画像中の測定対象物１の色彩を検出する。必要であれば、色彩補正部３１２で基準色部Ｐ２の色を基準にしてカラーコード部Ｐ３や画像中の測定対象物１の色彩を補正する。また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。そして確認処理部３１３において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットＣＴに属するか否かを確認する。同じグループに属すると判別された場合は次の識別コード判別処理（Ｓ５３５）に進み、同じグループに属さないと判別された場合には、再度グループ化処理（Ｓ５２０）に戻る。

図９、図１０にカラーコード付きターゲット領域方向検出処理部１３１の処理フロー例を示す。また、図１１、図１２でレトロターゲットのコード読み込みを説明する。ここでは、図１（ａ）のカラーコード付きターゲットＣＴ１からコードを読み込む手続きについて説明する。
カラーコード付きターゲットＣＴ１からコードを読み込むには、カラーコード付きターゲットＣＴ１の領域と方向を知る必要があるため、３つの位置検出用レトロターゲットの重心点をＲ１，Ｒ２，Ｒ３にラベリングする（図１１（ａ）参照）。

ラベリング方法は、対象の３つのレトロターゲットの重心点Ｒ１〜Ｒ３を通る三角形を作成する（Ｓ６００）。３つのレトロターゲットの重心点Ｒ１〜Ｒ３の中から適当に１つを選んでＴ１と仮にラベリングし（Ｓ６１０）、残りの２つの重心点を時計回りにＴ２，Ｔ３と仮にラベリングをする（Ｓ６１２、図１１（ｂ）参照）。
次に、それぞれの重心点を通る辺をラベリングする。Ｔ１とＴ２を通る辺をＬ１２、Ｔ２とＴ３を通る辺をＬ２３、Ｔ３とＴ１を通る辺をＬ３１とする（Ｓ６１４、図１２（ａ）参照）。

次に、三角形の内側を各頂点（重心点）から半径Ｒ離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる（図１２（ｂ）参照）。
重心点Ｔ１では、Ｌ１２からＬ３１を時計回りに、重心点Ｔ２では、Ｌ２３からＬ１２を時計回りに、重心点Ｔ３では、Ｌ３１からＬ２３を時計回りにスキャンをする（Ｓ６２０〜Ｓ６２５）。
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部Ｐ２の距離によって決められる。

さらにノイズなどの影響を少なくするため、スキャンする範囲に幅を持たせて、半径Ｒ−ΔｒからＲ＋Δｒの間で平均値等の代表値を決める方法も考えられる。
この例では、スキャンは弧状にスキャンをしたが、重心点でつくられた三角形の辺に垂直な直線上をスキャンする方法も考えられる。

図１（ａ）のカラーコード付きターゲットの例では、重心点Ｔ２の周りをスキャンした結果では色の変化があり、Ｒ・Ｇ・Ｂの値に変化が見られ、変化のピークがＲ・Ｇ・Ｂの順にあらわれる。Ｔ１とＴ３の周りのスキャンの結果では、色の変化はなく、Ｒ・Ｇ・Ｂの値はほぼ一定でピークがあらわれない（図１２（ｂ）参照）。このように、１つの重心点Ｔ２の周りには色の変化が見られ、残りの２つの重心点Ｔ１、Ｔ３の周りには色の変化がないという特徴により、カラーコード付きターゲットＣＴ１の方向を判断できる。

ラベリングの確認処理は、確認処理部３１３により行われる。スキャンの結果に色の変化があった重心点をＲ１とし、残りの２つの重心点は、色の変化があった重心点から時計回りにラベリングしてＲ２、Ｒ３とする（Ｓ６３０〜Ｓ６３２）。この例では、重心点Ｔ２をＲ１、重心点Ｔ３をＲ２、重心点Ｔ１をＲ３とする。色の変化があった重心点が１つ、色の変化がない重心点が２つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり（Ｓ６３３）、３組のレトロターゲットを新たに選出して（Ｓ６３４）、Ｓ６００に戻る。このように、処理の結果から、選ばれた３つレトロターゲットが、同じカラーコード付きターゲットＣＴ１に属するか否かも確認できる。このようにしてレトロターゲットのグループ化が確定する。
上記のラベリング方法は、図１（ａ）のカラーコード付きターゲットＣＴ１を例に説明したが、他の、カラーコード付きターゲットＣＴについても、一部の処理を変えることにより同様の処理ができる。

［コードの識別］
図７に戻り、識別コード判別部４６は、抽出部４１で抽出されたカラーコード付きターゲットＣＴ１について、座標変換処理部３２１においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットＣＴ１の設計値にあうように座標変換し、次に、コード変換処理部３２２において、カラーコードを識別し、コード変換してカラーコード付きターゲットＣＴ１の識別コードを求め（Ｓ５４０）、読込画像記憶部１４１に保存する。この処理フローを図１０で説明する。

曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルＲ１，Ｒ２，Ｒ３を用いて、歪のない正面図に座標変換する（Ｓ６４０）。座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部Ｐ１・基準色部Ｐ２・カラーコード部Ｐ３・白色部Ｐ４を判別しやすくなり、後の処理が進め易くなる。

次に、座標変換されたカラーコード付きターゲットＣＴ１上で、設計値どおりに白色部Ｐ４があるか確認をする（Ｓ６５０）。設計値どおりでない場合は検出エラーとなる（Ｓ６３３）。設計値どおりに白色部Ｐ４がある場合は、カラーコード付きターゲットＣＴ１が検出されたと判断される（Ｓ６５５）。

次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットＣＴ１のカラーコードの判別をする。
カラーコード部Ｐ３は、その各単位領域への配色の組み合わせによってコードを表現する。例えば、コード色数がｎで単位領域が３個の場合、ｎ×ｎ×ｎのコードを表せ、他の単位領域に使用されている色を重複して使用しないという条件を課した場合は、ｎ×（ｎ−１）×（ｎ−２）のコードを表せる。コード色数がｎ、単位領域がｎ個で、色を重複して使用しないという条件を課した場合は、ｎの階乗通りのコードを表現できる。
識別コード判別部４６は、コード変換処理部３２２において、カラーコード部Ｐ３における単位領域の配色の組み合わせを、カラーコード付きターゲット対応表１４２の配色の組み合わせと比較・照合して識別コードを判別する。

色彩の判別方法は、（１）基準色部Ｐ２の色とカラーコード部Ｐ３の色を比較して決める相対比較方法と、（２）基準色部Ｐ２の色と白色部Ｐ４の色を使ってカラーコード付きターゲットＣＴ１の色補正を行い、その補正された色でカラーコード部Ｐ３のコードの判別をする絶対比較方法の、二つの方法がある。例えば、カラーコード部Ｐ３に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部Ｐ３に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。前述のように、色彩の検出は色彩検出処理部３１１で、色補正は色彩補正部３１２で行う。

識別コード判別部４６は、コード変換処理部３２２において、（１）、（２）どちらかの方法を使用して、基準色部Ｐ２とカラーコード部Ｐ３を検出し（Ｓ６６０、Ｓ６７０）、カラーコード部Ｐ３の各色を判別し、色をコードに変換して、対象のカラーコード付きターゲットＣＴ１の識別コードを求める（Ｓ６８０、図７のＳ５４０）。
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットＣＴ１の番号を読込画像記憶部１４１に登録する（図７のＳ５４５）。読込画像記憶部１４１に登録されたデータは、撮影画像データ記憶部１３やモデル画像記憶部４８Ｂに戻される。

［ステレオペアの設定］
次に、ステレオペアの設定に移行する。図４において、撮影画像データ記憶部１３に登録された画像のうち、ステレオペアとなる左右画像の組を設定する（Ｓ１６）。

図１３に、ステレオペア選択（Ｓ１６）のフロー例を示す。この選択のフローは配列部４７で自動的に行う。まず。画像毎に登録されたコード付きターゲットＣＴの番号をリストアップし（Ｓ５５０）、この中から、共通のコード番号のターゲットＣＴが複数含まれている画像からステレオペアを選択する（Ｓ５６０）。撮影の際に図６（ａ）に示すように、４つのコード付きターゲットＣＴを含むようにステレオ撮影していれば、４つのコード付きターゲットＣＴが入った画像が２枚ずつあるので、ステレオペアが設定できる。また、図６（ｂ）に示すように、各ステレオペア間で共通のコード番号のコード付きターゲットＣＴが２個入っている場合は、その画像の上下左右いずれかの隣接画像の関係にあるので、各ステレオペア間での配置関係を決定できる（Ｓ５７０）。このように、配列部４７は、画像撮影装置１０で各撮影画像が４個のコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では２個のコード付き標識を共有するようにして撮影した一連の撮影画像について、隣接し合う撮影画像で共有されたコード付き標識ＣＴの識別コードが一致するように、一連の撮影画像の配列を定める。なお、各撮影画像が３個以上のコード付き標識ＣＴを含むように、かつ隣接し合う撮影画像間では２個以上のコード付き標識ＣＴを共有するようにして撮影すれば、配列可能である。

次に、カラーコード付きターゲットの色識別数が少ない場合のステレオペアの設定について説明する。

図１４に色識別数が少ない場合における撮影順番の一例を示す。撮影順番を決めて画像を取り込めば、画像の配置とステレオペアは既知であるため、ターゲットの抽出を待たずに自動的にステレオペアを設定できる。この例では、矢印の方向に順番に撮影するものと取り決める。
撮影順番が異なってしまった場合には、配列部４７を用いて読み込み画像記憶部１４１の画像を再配列しなおせばその後は自動処理できる。
マニュアルの場合は、画像を読込んでから表示装置６０にステレオ表示し、２つの画像を比較することによりステレオペアを設定すればよい。この場合でも、配列部４７で撮影順番を決めて画像を取り込めば、作業効率が良くなり好ましい。

［対応点決定処理］
ここで図４に戻る。次に、基準点設定部４２によって、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する（Ｓ１８）。また、対応点探索部４３によって、ステレオ画像の他方の画像（探索画像）上における、基準点と対応する対応点を定める（Ｓ１９）。

図１５は、対応点決定処理を説明するフローチャートの例である。左右画像の対応点を決定する具体的な処理過程を、図１５を参照して説明する。対応点決定処理に入ると（Ｓ２００）、対応点決定処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。

マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示装置上の左画像の特徴となるところを対応点指示部４５のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどに行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示装置の右画像上で対応点指示部４５のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４５により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。

半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、対応点探索部４３による自動探索モードに設定される（Ｓ２２２）。次に、表示装置６０の左画像上で特徴点（基準点、レトロターゲット等）を対応点指示部４５のマウスにより指示する（Ｓ２２４）。すると、対応点探索部４３は、右画像上の対応点（レトロターゲット等）を自動で探索する（Ｓ２２６）。

そして、オペレータは対応点探索部４３にて検索された右画像上の対応点が適切であるか判断する（Ｓ２２８）。この場合、対応点探索部４３にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示装置６０には、対応点指示部４５により、例えば右画像上で左画像上に対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印”⇒”から二重丸”◎”にカーソルマーク表示を変更する）、相互相関法における相互相関係数値を表示させたりすることを参照して、オペレータが判定する。右画像探索ＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。

ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４５の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。

そして、Ｓ２２８で右画像探索ＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上の対応付けしていれば、戻しとする。

上述した半自動モードは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示している。そこで、オペレータはカーソルマーク表示の表示を見て、対応点探索部４３にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。

自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。本実施の形態では、カラーコード付きターゲットＣＴのレトロターゲット部Ｐ１を使用する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測が可能となる。

まず、オペレータは、表示装置６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、自動モード処理に移行する（Ｓ２４６）。

自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４５により指示し、例えば抽出部４１の画像カラーパターン記憶部１４０にテンプレート画像として登録する（Ｓ２４８）。そして、基準点設定部４２と対応点探索部４３によりテンプレート画像を元に、左画像と右画像の各々のターゲット位置を探索する（Ｓ２５０）。このターゲット位置の探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示装置６０上に表示する（Ｓ２５２）。

オペレータは、探索されたターゲット位置がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧであれば、ターゲット位置の修正を行う（Ｓ２５６）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。

そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ２５８）。この作業は、対応部４０の対応点指示部４５により左右画像の対応点を表示装置６０を見ながら指示することにより行う。あるいは予めターゲットの配置を決めて、概略平行にステレオ撮影する。すると、ターゲットの配置は撮影した画像上でも保たれるため、対応付けを自動で行うことも可能である。更には、６点以上のターゲットマークを別々に決め、予めテンプレート指定しておいても、対応付けを自動で行うことが可能である。左右画像上での対応点の点数は、最小６点なので作業はマニュアルで行っても簡単にできる。
なお、自動の場合の位置検出用パターンの抽出方法は、図８の説明を参照されたい。

［標定］
つぎに、標定部４４によって、標定作業を行ない、撮影画像データ記憶部１３に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める（Ｓ３０）。

ここで、標定作業とは、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で基準点設定部４２と対応点探索部４３により、操作者がマウスカーソルなどで基準画像上で指示した指示点に対して、特徴点に適合する基準点と対応する対応点の画像座標を読み取る作業である。この対応点は通常画像毎に６点以上必要である。予め測定対象物１について図示しない三次元位置測定装置で別途測定した三次元座標データが三次元座標データ記憶部５３に記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。いなければ相対標定を実行する。
たとえば、オーバーラップしたステレオ画像の中にカラーコード付きターゲットＣＴが４個あり、１つのカラーコード付きターゲットＣＴ中に３点の位置検出用パターン（レトロターゲット部）Ｐ１があれば、合計１２点の位置検出用パターン（レトロターゲット部）Ｐ１の重心位置座標から標定処理できる。
標定は最低でも６点以上あれば行えるので、位置検出用パターンはカラーコード付きターゲット中に最低２点あればよい。その場合８点で標定処理される。

ここの処理はマニュアル、もしくは半自動によっても可能である。すなわち、カラーコード付きターゲットＣＴ内の位置検出用パターンＰ１を左右画像上でマウスによりその重心位置を目視にてクリック、または、先に説明したように、マウスで位置検出用パターンＰ１の近辺をクリックすれば、自動位置検出するようにもできる。

次にステレオペア選択された各画像について、標定作業により求めた対応点の座標を用いて、標定部４４により標定計算処理を行う（Ｓ４０）。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることができる。標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。
次に，標定計算処理の詳細について説明する。

［相互標定］
次に、標定部４４で行なう相互標定について説明する。
図１６は、ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。

まず、以下の共面条件式（式３）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。
この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。

上述の条件にすると、共面条件式（式３）は（式４）のように変形され、（式４）を解けば各パラメータが求まる。

ここで、モデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（式５）、（式６）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（式４）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（式５）、（式６）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
仮に、標定点の配置が悪い等の場合、収束しない場合がありうる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して上記計算を繰り返す。だめなら標定点の配置変更を行なう。

図４に戻り、モデル画像形成部４８Ａは、標定部４４で標定された標定要素に基づいて一対のモデル画像を形成し（Ｓ４２）、モデル画像形成部４８Ａで形成されたモデル画像は、モデル画像記憶部４８Ｂに記憶される（Ｓ４３）。撮影・モデル画像表示部４８は、このモデル画像をステレオ画像として表示装置６０に表示する（Ｓ４４）。

［精密標定］
ここでは、位置検出用標識としてカラーコード付きターゲットＣＴに加えてリファレンスポイントを有するターゲットを用いて精密標定を行なう例について説明する。

図１７にリファレンスポイントの自動対応付けのフロー例を示す。また、図１８にリファレンスポイントＲＦを有するターゲットの例を示す。図１８（ａ）ではリファレンスポイントＲＦとして複数のレトロターゲットが配置されている。平面的な測定対象物では、カラーコード付きターゲットＣＴだけでよい場合もあるが、測定対象物１の曲面が複雑な場合や曲率が大である場合は、カラーコード付きターゲットＣＴに加えてこれらリファレンスポイントＲＦとして多数のレトロターゲットを貼り付けたほうが計測の信頼性が高くなる。
ここではこのリファレンスポイントＲＦの自動位置検出、対応付けについて説明する。

図１７のフローに従って説明する。まず、カラーコード付きターゲットＣＴ内の位置検出用パターン（レトロターゲット部）Ｐ１の位置を検出する（Ｓ１１０）。レトロターゲットの検出については図８についての説明を参照されたい。図１８（ａ）において、４つのカラーコード付きターゲットＣＴ内の位置検出用パターンＰ１は合計６点以上あり、標定処理が可能である。そこで、標定処理を行い（Ｓ１２０）、次いで、偏位修正処理を行う（Ｓ１３０）。
尚、ここは偏位修正処理を行うが、他にアフィン変換やヘルマート変換などを行って画像を変換処理かけてもよい。その場合は、位置検出用ターゲットの数が４点以上でよい。

偏位修正処理により偏位修正画像（モデル画像）を作成する。偏位修正画像とは、左右画像のエピポーララインＥＰを横一線となるように並べ替えた画像である。従って、図１８（ｂ）に示すように、左右画像のリファレンスポイントＲＦは同一エピポーラライン（水平線）ＥＰ上に再配列される。標定処理の結果を用いてモデル画像を形成すると、このような偏位修正画像を得られる。アフィン変換やヘルマート変換などの他の変換を使用した場合、同一水平ライン上にくるとは限らないが、それでもその近辺にくる。

次に、同一エピポーララインＥＰ上のリファレンスポイントＲＦとなるターゲットを探索する（Ｓ１４０）。偏位修正画像になっていれば、同一ライン上の一次元探索だけで済むので、探索が容易である。他の変換を用いた場合は、エピポーララインＥＰだけではなく、その近辺を数ライン分探索する。
ここでの探索は、例えばテンプレートマッチングなどに代表される相互相関法を利用する。テンプレート画像として、リファレンスポイントＲＦをカラーコード付きターゲットＣＴ内の位置検出用パターンＰ１と同一パターンにしておけば、カラーコード付きターゲットＣＴの位置検出用パターンＰ１と同時に検出できるので、これを使用すると便宜である。
また、リファレンスポイントＲＦにレトロターゲットを使用すると、撮影条件から予め概略の大きさを計算できるのでテンプレートとして登録しておいてもよい。また、レトロターゲットを使用すると、その部分は反射強度が高いので、画像中のリファレンスポイントを画像スキャンした輝度から検出し、テンプレートとしてもよい。

［相互相関法］
相互相関係数による方法では、次式を用いた以下の手順による。

図１９は左右画像における探索範囲とテンプレート画像の一例を示す図である。例えば、対応部４０の対応点指示部４５により指示された特徴点となる点を中心とした、Ｎ１×Ｎ１画素の画像Ｔをテンプレート画像Ｔとして左画像から切出す。次に、テンプレート画像Ｔより大きい右画像中のＭ１×Ｍ１画素を探索範囲Ｉ（画素数（Ｍ１−Ｎ１＋１）^２）として、探索範囲Ｉ上でテンプレート画像Ｔを動かす。次に、上式の相互相関係数Ｃ（ａ，ｂ）が最大になるような画像位置を求めて、これによりテンプレート画像Ｔが探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ（ａ，ｂ）が１．０となる。図１７に戻り、一般的には、標定作業により撮影カメラの位置と傾きを求めて（Ｓ１２０）、その結果を用いて偏位修正画像を作成する作業が行われる（Ｓ１３０）。ここでは、標定部４４の標定結果を用いてモデル画像形成部４８Ａにより、偏位修正画像を作成する処理を行う。

図１８（ｂ）のように、同一ライン上でリファレンスポイントＲＦが見つかったら、それを対応点として識別（ナンバリング）する（Ｓ１５０）。ここで、もしリファレンスポイントＲＦが同一ライン上に複数ある場合は、その左右の位置から各リファレンスポイントＲＦを識別する。次に、検出されたリファレンスポイントＲＦを加えて、標定を行う（Ｓ１６０）。ここで、再度標定を行うことで、標定の信頼性を向上できる。標定結果の精度が十分で（Ｓ１７０）、問題なければ処理を終了する。不十分であれば、悪い点を削除し（Ｓ１８０）、再度標定をやり直す（Ｓ１６０）。

この標定処理もステレオ画像ペアごとに行う。モデル画像形成部４８Ａは、標定部で標定された標定要素に基づいて一対のモデル画像を形成し（Ｓ４２）、モデル画像形成部４８Ａで形成されたモデル画像は、モデル画像記憶部４８Ｂに記憶される（Ｓ４３）。撮影・モデル画像表示部４８は、このモデル画像をステレオ画像として表示装置６０に表示する（Ｓ４４）。リファレンスポイントを有するターゲットを用いて標定を行なうことにより、また、標定を繰り返すことにより、標定の精度が向上するが、このような標定は、通常は一度標定処理されたモデル画像に基づいて行われる。モデル画像はモデル画像記憶部４８Ｂから抽出部４１の読み込み画像記憶部１４１に読み込まれて、再標定に用いられる。

［バンドル調整の共線条件式］
再び図４のフローに戻り説明する。
次に、自動標定された全体の点（画像）を使用してバンドル調整を行う（Ｓ４０に含まれる）。この処理によって、全体の画像の精度が調整計算される。この処理自体は、以下の原理により計算で求められる。

共線条件式は、投影中心、写真像および地上の対象物が一直線上にあるというバンドル調整の基本式であり、（式１２）のようになる。

ここで、標定に相互相関法とバンドル法を用いる方法を説明したが、これらの標定をさらに繰り返して標定の精度を上げても良い。この場合、標定の前に配列部４７により、一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴの識別コードが一致するように、測定対象物１に係る一連のモデル画像を配列して用いても良い。

［マッチングエリア決定］
図４に戻り、次に、対応部４０にて計測位置指定（マッチングエリアの決定）（Ｓ４５）を行い、三次元座標演算部５１にてステレオ計測を行い（Ｓ５０）、三次元座標データ記憶部５３にステレオ画像の対応点の三次元座標を登録する。

［ステレオマッチングエリアの自動決定］
次に３次元計測（面計測）のための計測位置指定、すなわち、マッチングエリアの決定について説明する（Ｓ４５）。
マッチングエリアの決定は、図６（ａ）に示すように、ステレオ画像の４隅に配置されたカラーコード付きターゲットＣＴを含むように対応点探索部４３でマッチング範囲を自動設定する。なお、マッチングの前に配列部４７により、一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識ＣＴの識別コードが一致するように、測定対象物１に係る一連のモデル画像を配列して用いても良い。

図２０にステレオマッチングエリアの自動決定の処理フロー例を示す。また、図２１はステレオマッチングエリア設定を説明するための図である。図２１（ａ）はカラーコード付きターゲットＣＴが位置検出用の３つのレトロターゲットを有する例である。まず、ステレオ画像の４隅に配置されたカラーコード付きターゲットＣＴを検出する（Ｓ３００）。次に４つのカラーコード付きターゲットＣＴ内にある各レトロターゲット部Ｐ１を検出する（Ｓ３１０）。これらの検出については図７及び図８の説明を参照されたい。次に、その検出された各レトロターゲット部Ｐ１の座標値から全てのレトロターゲット部Ｐ１を含むように、最も外側のレトロターゲット部Ｐ１を繋いだエリアを計測エリアとして設定する（Ｓ３２０）。すなわち、左上を原点（０，０）とした場合、Ｙ座標が最小の点同士を結べば水平の上ライン、Ｙ座標が最大値の点を結べば水平の下ライン、Ｘ座標が最小値の点を結べば垂直方向の左ライン、Ｘ座標が最大値の点を結べば垂直方法の右ライン、というふうに、計測すべきマッチングエリアを自動で決定できる。

このように、マッチング領域を決定することで、図６（ｂ）に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。すなわち、カラーコード付きターゲットＣＴを画面の４隅の近くに配置し、常にこれらのカラーコード付きターゲットＣＴの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。この場合、各カラーコード付きターゲットＣＴに位置検出用パターン（レトロターゲット部）Ｐ１を最低２点以上配置すれば、マッチングエリアの自動設定処理が可能となる。図２１（ｂ）はカラーコード付きターゲットＣＴが位置検出用の２つのレトロターゲットを有する例である。この場合はカラーコード付きターゲットＣＴ内でレトロターゲットを結ぶ線が斜めになる部分が生じる。

全自動の場合、コード識別数が多ければ、隣接画像のオーバーラップをとりながら一対の画像（典型的にはステレオ）を基本単位として、任意の順序で撮影可能である。また、撮影順番を決めれば、コード識別数が少なくても自動化が可能である。その場合、ステレオ撮影された（オーバーラップした）２枚の画像中のカラーコード付きターゲットＣＴが識別できればよい。マッチングエリアの決定（Ｓ４５）がなされた領域については、ステレオ計測がなされる（Ｓ５０）。ステレオ計測には、例えば相互相関係数法を利用した画像相関処理が用いられる。

［計測位置指定］
計測位置指定は半自動、マニュアルにても可能である。次に半自動及びマニュアルの計測位置指定とこれに続く計測について説明する。
図２２に、計測位置指定の処理フロー例を示す。計測位置指定処理に入ると（Ｓ４００）、計測位置指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。

表示装置６０にて、立体画像を表示し、それを見、確認しながら計測することが可能である。更に、表示装置６０にはステレオ画像（撮影画像、モデル画像）を表示することも可能である。また、対応点指示部４５からの立体画像上における奥行き方向の指示は、マウスについたダイヤルや、あるいはダイヤル単体等により指示する。

マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが表示装置６０のステレオ画像を見ながら計測点を指示する手順を説明する。オペレータは、表示装置６０で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、表示装置６０で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、表示装置６０を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが指し示す点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４５のマウスを利用して計測したい位置を指示する（Ｓ４１８）。

オペレータが表示装置６０で立体画像を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでも、左右画像の位置あわせをすることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４２２）。

半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、表示装置６０を見ながら行なう。半自動計測モードでは、対応点探索部４３は、自動捜索モードに移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示すると（Ｓ４３４）、対応点探索部４３は、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この対応点探索部４３による左画像上の計測点と同一計測点を右画像上で探索するやり方は、対応点決定のＳ２２６にて説明した内容と全く同様である。そして、右画像の探索位置がＯＫか確認する（Ｓ４３８）。

もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４５のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは表示装置６０上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４４４）。この時、表示装置６０上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。

自動計測モードが選択されると、自動計測モードでの計測位置指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこで、計測したい領域について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、ほぼ矩形画面一杯の領域を一括計測したい場合は、図２１のように対応境界となる境界点を４点指示する。オペレータは表示装置６０上で境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。

左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示で計測領域を明確にする（Ｓ４５６）。すると、立体画像表示は、対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。

次に、計測領域指定された領域内の対応点に対して、対応点探索部４３により自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像をテンプレート、右画像をその探索領域として各点の対応点検出を行えばよい。図１９に示すように、例えば左画像上にテンプレート画像Ｔを設定し、右画像上で同一エピポーララインＥＰ上を探索する処理で、これを全画像中Ｉで行い、左右画像の対応点を求める処理である。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。

［画像表示］
図４に戻り、計測位置指定がなされた領域について、対応部４０（抽出部４１、基準点設定部４２、対応点探索部４３、標定部４４など）の機能により、ステレオ計測がなされ（Ｓ５０）、三次元座標データ演算部５１の演算処理にて測定対象物１の三次元座標が求められる（Ｓ５５）。三次元座標データ演算部５１にて求められた三次元座標、あるいは三次元座標データ記憶部５３から読み込まれた三次元座標から、立体的二次元画像形成部５４にて測定対象物１の立体的二次元画像を作成し、立体的二次元画像記憶部５５にて立体的二次元画像を記憶する。

次に、画像対応部５６は、測定対象物１のステレオ画像（撮影画像又はモデル画像）と三次元座標データを用いて立体的二次元画像形成部５４によって形成された立体的二次元画像とを、標定部４４で求められた対応点関係を用いて対応付ける。立体的二次元画像表示部５７は、画像対応部５６により対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像等の立体的二次元画像を表示装置６０に表示する。かかる立体的二次元画像の画面は、任意の方向からの斜視状態を表すことが可能な測定対象物１の立体的二次元画像であり、ワイヤーフレーム面やテクスチャマッピングによる画像の表示も可能である。テクスチャマッピングとは、測定対象物１の二次元画像に立体感を表現するテクスチャを貼り付けることをいう。また、カメラ撮影位置や基準点位置を表示してもよい。
このようにして、面の自動計測がなされ、測定対象物１の三次元座標が求められ、立体的画像が表示装置６０に表示される。

また、操作者が、マウスやキーボード等を利用して、姿勢指示部５８により測定対象物１の表示の向きを指示するすると、画像変換部５９が表示装置６０に表示された測定対象物１の表示の向きを、姿勢指示部５８により指示された向きに座標変換して、表示する。このような測定対象物１の表示の向きを任意に指定できる機能によって、あらゆる角度から視点位置を変化させて計測結果や測定対象物１を表示装置６０に表示させることで、操作者が視覚的に測定対象物１を確認することが可能となる。

以上のように、画像のステレオペア選択や、選択されたステレオペア内での対応点探索、標定、面計測のためのステレオマッチングエリア決定、面計測などは、コード付きターゲットＣＴを利用して、自動、半自動、マニュアルのいずれでも可能である。

［第２の実施の形態］
コード付きターゲットＣＴの貼付に代えて、又はコード付きターゲットＣＴの貼付と併用して投影装置１２により撮影対象物１に基準パターンを投影しても良い。

図２３に第２の実施の形態における三次元計測システム１００Ａの全体構成例のブロック図を示す。第１の実施の形態（図２参照）における三次元計測システム１００に比して、投影装置１２と計算処理部４９が追加されており、その他の構成は第１の実施の形態と同様である。投影装置１２は測定対象物１に位置検出用パターンなど各種パターンを投影し、画像撮影装置１０で投影された各種パターンを撮影して、標定や三次元計測に利用する。計算処理部４９は画像データを受け取って各種パターンを検出し、また、各種パターンを発生させ、投影装置１２から投影させる。

図２４に撮影対象物１に投影する基準パターンの例を示す。図２４（ｂ）はドット状のパターンであり、図２４（ｃ）は格子状のパターンである。格子は直交する縦横の線が等間隔に配置され、ドットは格子の交点に相当する位置に配置されている。図２４（ａ）に図２４（ｂ）の基準パターンを撮影対象物１に投影した例を示す。本実施の形態では、ドットの位置又は格子の位置に、例えばレトロターゲット（彩色されたものを含む）やカラーコード付きターゲットＣＴ（例えばカラーコードの単位領域が３箇所）のパターンが配置され、撮影対象物１に投影されるものとする。

図２４（ａ）において、１０は画像撮影装置であるステレオカメラ、１２は投影装置（プロジェクター）、４９は計算処理部である。計算処理部４９は、画像撮影装置１０から撮影画像を入力し、測定対象物１の特徴点や貼付けられたターゲットなどのパターンを検出するパターン検出部４９１、基準パターン、リファレンスポイントＲＦ、ワイヤフレームパターンなどの投影パターンを形成するパターン形成部４９２、パターン形成部４９２で形成された投影パターンを投影装置１２から投影させるパターン投影部４９３を有する。また、撮影画像や投影パターンの色彩を補正する色彩修正部４９４を有するものもある。色彩修正部４９４は、カラーコード付きターゲットＣＴの基準色に基づいて、各ステレオペア画像間の色をこの基準色により補正する機能を有する。計算処理部４９が対応部４０内に追加されるが、この場合、パターン検出部４９１は抽出部４１、基準点設定部４２、対応点探索部４３、標定部４４、識別コード判別部４６、配列部４７の機能を利用できるので（これらの機能を有する場合あり）、追加しなくても良いが、基準パターンやリファレンスポイントＲＦなどに特別なパターンを使用する場合は、追加すると便宜である。また、色彩修正部４９４も色彩補正部３１２の機能を利用できるので、同様である。

ステレオカメラ１０とプロジェクター１２は次のように利用できる。
（ａ）プロジェクター１２でカメラで撮影する範囲を照明し、ステレオカメラ１０でその範囲を撮影するように調整する。
（ｂ）プロジェクター１２でテクスチャ用照明（照明のみ）を投射し、カメラ１０では、１つのモデル画像のテクスチャ用の画像（測定対象物の画像）としてステレオペア画像を撮影する。

（ｃ）計測前準備として、プロジェクター１２から基準パターンなどのパターンを投影する。これをステレオ撮影する。たとえば、円のパターンを格子状に照射したり、あるいは格子状の線パターンなど、測定対象物１の形状が目視、あるいは計算処理にてわかるパターンならばなんでもよい。チェックは目視もしくは計算処理にて行う。円のパターンや格子パターンの場合、計測対象物１の形状により変形するので、パターンの変形点をチェックすることにより、測定対象物１の形状の概略を把握できる。計算処理の場合、パターン検出部４９１にてパターン検出する。例えば、格子状に配置された点が等間隔でない箇所などを変形点として検出すればよい。また、同時にリファレンスポイントＲＦやカラーコード付きターゲットＣＴを写しこんでもよいし、他の形状のものを写してもよい。

パターン変形点のチェック方法として、概略測定をこの領域について行ってしまうやり方もある。撮影画像をパターン検出部４９１に送り、標定計算をする。さらに、計測点数が少ないときなど、投影した標定点を計測点として計測処理を終了することも可能である。
計測前準備でわかった変形点に、リファレンスポイントＲＦを貼り付ける、もしくは、パターンを増加するなどの処置をとれる。撮影範囲を決めるためのカラーコード付きターゲットＣＴを貼り付けることも可能である。また、標定点の大きさ、数、配置などを計算して本番のパターン投影に反映できる。

（ｄ）標定処理において、プロジェクター１２からカラーコード付きターゲットＣＴ及びリファレンスポイントＲＦを投射する。ここで、カラーコード付きターゲットＣＴを照射された位置に貼り付ける。前準備で貼ってある場合はそれ以外の点に貼る。投射されたパターンから計測する場合は貼り付ける必要はない。これをステレオ撮影し、標定処理に利用する。

（ｅ）三次元計測において、プロジェクター１２から計測用のパターンを照射する。この場合、例えばステレオマッチング（三次元計測）用にランダムパターンなどを照射する。計測用パターンは、先にカメラコンディションにより必要精度が算出されており、その精度に見合った大きさの計測用パターンが照射される。これをステレオ撮影し、三次元計測に利用する。
（ｆ）次の撮影位置に移動するときに、プロジェクター１２によって次の撮影位置を概略ナビゲ−ションしてもよい。
なお、以上の処理を全自動化することも可能である。その場合、貼り付け作業は行わず、すべてプロジェクター投射のパターンのみにより計測する。
投影装置１２と計算処理部４９以外の構成及び、上記以外のプロセスは第１の実施の形態と同様であり、同様の効果を奏する。

［第３の実施の形態］
本実施の形態では、位置検出用パターンＰ１としてカラーレトロターゲットを使用する例を説明する。
本実施の形態は、ターゲットの位置抽出の探索方法として、（４）彩色された位置検出用パターンを用いる方法を採用するものである。

（４）カラーコード付きターゲットＣＴに使用している３隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。３隅のレトロターゲットに異なる色をもたせているため、１つのカラーコード付きターゲットに属する各レトロターゲットを判別しやすい。レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものを選択することにより、処理が簡単になる。

リファレンスポイントＲＦとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットＣＴのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットＣＴのレトロターゲットを彩色したレトロターゲットとし、単体のレトロターゲットを白色とすれば、判別し易い。
重心位置の検出については、図８での説明を参照されたい。

なお、位置検出用標識としてカラーコード付きターゲットＣＴに代えて単体又は複数のカラーレトロターゲットを使用することも可能である。例えば、配色の種類を増加したり、カラーの配置をランダムにするなどにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。また、複数のカラーレトロターゲットを組み合わせて使用することも可能である。例えば、４個のカラーレトロターゲットをまとめて１つの標識とし、その配色の組み合わせを変化させることにより、基準点に対する対応点、ステレオ画像ペアを探索し易くなる。
なお、カラーコード付きターゲット以外は第１の実施の形態と同様であり、同様の効果を奏する。

以上実施例を用いて説明した本発明の三次元計測装置によれば、コード付き標識（ターゲット）を使用することにより、広域の非接触三次元測定を効率化し、自動化できる。

また、本発明による三次元計測方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムとしても実現可能である。プログラムは対応部４０又は表示画像形成部５０の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施の形態に種々変更を加えられることは明白である。例えば、以上の実施の形態では、ステレオカメラで一対の画像を撮影する例を説明したが、単カメラの位置を少しずらして一対の画像を撮影しても良い。また、標定に関して、相互標定とバンドル法による標定を行なう例を説明したが、これらの標定を交互に繰り返して標定精度を向上しても良く、それぞれの標定を繰り返して標定精度を向上しても良い。またステレオ画像のマッチングに相互相関係数法を用いる例を説明したが、残差逐次検定法や最小二乗マッチング法を用いても良い。

また、上記実施の形態では三次元位置データの計測を行なわずに標定を行い、測定対象物の三次元座標を演算処理して求める例を説明したが、標定の前に予め三次元計測を行ない、そのデータを利用して標定を行なうことも可能であり、このように工程の順序が変更されても良い。また、上記実施の形態では、立体的二次元画像形成部で三次元座標データから立体的二次元画像を形成し、画像対応部により三次元座標データと撮影画像又はモデル画像とを標定部で求められた標定要素を用いて対応付けているが、画像対応部の機能を立体的二次元画像形成部に吸収させ、一体的に処理しても良い。また、立体的二次元画像の表示に、ワイヤーフレーム表示やテクスチャマッピングを用いて立体表示を解りやすくすることも可能である。また、カラーコード付き標識のパターンも種々のものが可能であり、リファレンスパターンとしてレトロターゲット以外のパターン、例えば黒地に白抜きの円、又はその逆で白地に黒抜きの円、地の色又は抜く色を青、赤、黄色など他の色としても良く、◎、＋、□、☆などの記号としても良い。

本発明は、非接触で対象物を三次元計測するものに利用される。

カラーコード付きターゲットの例を示す図である。 第１の実施の形態における三次元計測システムの全体構成例のブロック図である。 抽出部及び識別コード判別部の構成例を示す図である。 第１の実施の形態における三次元計測システムの処理フロー例を示す図である。 オーバーラップ撮影の例を示す図である。 ステレオカメラで撮影される撮影画像の例を示す図である。 カラーコード付きターゲットの抽出のフロー例を示す図である。 レトロターゲットを用いた重心位置検出の説明図である。 カラーコード付きターゲット領域方向検出処理部の処理フロー例を示す図である。 カラーコード付きターゲット領域方向検出処理部の処理フロー例（続）を示す図である。 レトロターゲットのコード読み込みを説明するための図（その１）である。 レトロターゲットのコード読み込みを説明するための図（その２）である。 ステレオペア選択のフロー例を示す図である。 カラーコード付きターゲットの色識別数が少ない場合における撮影順番の例を示す図である。 対応点決定処理を説明するフローチャートの例である。 ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。 リファレンスポイントの自動対応付けのフロー例を示す図である。 リファレンスポイントを有するターゲットの例を示す図である。 左右画像における探索範囲とテンプレート画像の一例を示す図である。 ステレオマッチングエリアの自動決定の処理フロー例を示す図である。 ステレオマッチングエリア設定を説明するための図である。 計測位置指定処理を説明するフローチャートの例である。 第２の実施の形態における三次元計測システムの全体構成例のブロック図である。 撮影対象物に投影された基準パターンの例を示す図である。

符号の説明

１ 測定対象物
１０ 画像撮影装置
１２ 投影装置
１３ 撮影画像データ記憶部
４０ 対応部
４１ 抽出部
４２ 基準点設定部
４３ 対応点探索部
４４ 標定部
４５ 対応点指示部
４６ 識別コード判別部
４７ 配列部
４８ 撮影・モデル画像表示部
４８Ａ モデル画像形成部
４８Ｂ モデル画像記憶部
４９ 計算処理部
５０ 表示画像形成部
５１ 三次元座標データ演算部
５３ 三次元座標データ記憶部
５４ 立体的二次元画像形成部
５５ 立体的二次元画像記憶部
５６ 画像対応部
５７ 立体的二次元画像表示部
５８ 姿勢指示部
５９ 画像変換部
６０ 表示装置
１００、１００Ａ 三次元計測システム
１１０ 探索処理部
１１１ レトロターゲット検出処理部
１２０ レトロターゲットグループ化処理部
１３０ カラーコード付きターゲット検出処理部
１３１ カラーコード付きターゲット領域方向検出処理部
１４０ 画像・カラーパターン記憶部
１４１ 読込画像記憶部
１４２ カラーコード付きターゲット対応表
２００ レトロターゲット
２０４ 内部円
２０６ 外部円
３１１ 色彩検出処理部
３１２ 色彩補正部
３１３ 確認処理部
３２１ 座標変換処理部
３２２ コード変換処理部
４９１ パターン検出部
４９２ パターン形成部
４９３ パターン投影部
４９４ 色彩修正部
ＣＴ、ＣＴ１〜ＣＴ３ カラーコード付きターゲット
ＥＰ エピポーラライン
Ｉ 探索範囲
Ｌ１２、Ｌ２３、Ｌ３１ 辺
Ｐ１ 位置検出用パターン（レトロターゲット部）
Ｐ２ 基準色パターン（基準色部）
Ｐ３ カラーコードパターン（カラーコード部）
Ｐ４ 空パターン（白色部）
Ｒ１〜Ｒ３ 重心点
ＲＦ リファレンスポイント
Ｔ テンプレート画像
Ｔｏ 閾値
Ｔ１〜Ｔ３ 仮のラベル

Claims (15)

1. 面内に計測位置を示すための位置検出用パターンと、標識を識別するためのコードパターンとを有するコード付き標識を含むように複数方向から撮影された測定対象物の撮影画像を記憶する撮影画像データ記憶部と；
   前記撮影画像から前記コード付き標識の位置検出用パターンとコードパターンとを抽出する抽出部と；
   前記抽出部で抽出されたコード付き標識のコードパターンから、前記コード付き標識の識別コードを判別し、前記識別コードを前記撮影画像ごとに前記撮影画像データ記憶部に記憶させる識別コード判別部と；
   前記撮影画像データ記憶部に記憶された識別コードに基づいて、識別コードが共通のコード付き標識が複数含まれている撮影画像からステレオペアを選択する配列部と；
   前記配列部で選択されたステレオペアの一対の撮影画像の一方について前記抽出部で抽出されたコード付き標識の位置検出用パターンから、前記コード付き標識の基準点を設定する基準点設定部と；
   前記一対の撮影画像の他方について前記抽出部で抽出されたコード付き標識の位置検出用パターンから、前記識別コード判別部で判別された識別コードを用いて前記基準点に対応する対応点を探索する対応点探索部と；
   前記基準点及び前記対応点とに基づいて、前記一対の撮影画像について標定処理を行う標定部とを備える；
   三次元計測システム。
2. 前記配列部は、画像撮影装置で各撮影画像が少なくとも３個の前記コード付き標識を含むように、かつ隣接し合う撮影画像間では少なくとも２個の前記コード付き標識を共有するようにして撮影した一連の撮影画像について、前記隣接し合う撮影画像で共有されたコード付き標識の識別コードが一致するように、前記一連の撮影画像の配列を定め、前記定められた配列から前記共通のコード付き標識が複数含まれている撮影画像を前記ステレオペアとして選択する；
   請求項１に記載の三次元計測システム。
3. 前記コードパターンが複数の色彩が施されたカラーコードパターンであり、前記コード付き標識がカラーコード付き標識である；
   請求項１又は請求項２に記載の三次元計測システム。
4. 前記カラーコード付き標識は、面内に色彩の基準として用いる複数の色彩が施された基準色パターンを有し；
   前記基準色パターンに施された色彩を基準にして、前記カラーコードパターンの色彩を補正する色彩補正部を有する；
   請求項３に記載の三次元計測システム。
5. 前記標定部は、前記一連の撮影画像について、隣接し合う撮影画像で前記共有されたコード付き標識に係る基準点又は対応点の座標が一致するように、前記測定対象物に係る一連の撮影画像について、順次標定を行う；
   請求項２に記載の三次元計測システム。
6. 前記一対の撮影画像から、前記標定部で標定された標定要素に基づいて座標系を仮定した一対のモデル画像を形成するモデル画像形成部と；
   前記一対のモデル画像を記憶するモデル画像記憶部とを備え；
   前記モデル画像形成部は、前記一連の撮影画像ついて前記標定部で標定された標定要素に基づいて一連のモデル画像を形成し；
   前記配列部は、前記一連のモデル画像について、隣接し合うモデル画像で共有されたコード付き標識の識別コードが一致するように配列し、
   前記標定部は、前記配列された一連のモデル画像について、隣接し合うモデル画像で前記共有されたコード付き標識に係る基準点又は対応点の座標が一致するように、前記測定対象物に係る一連のモデル画像について、順次標定を行い、
   前記モデル画像形成部は、前記標定部で新たに標定された標定要素に基づいて新たな一連のモデル画像を形成する；
   請求項５に記載の三次元計測システム。
7. 前記標定部は、標定処理を繰り返すことにより、新たな一連のモデル画像を形成する；
   請求項６に記載の三次元計測システム。
8. 前記測定対象物に係る三次元座標データと前記撮影画像又は前記モデル画像とを、前記標定部で求められた標定要素を用いて対応付ける画像対応部を備える；
   請求項６又は請求項７に記載の三次元計測システム。
9. 前記対応点探索部は、前記一対の撮影画像又は前記一対のモデル画像について、前記コード付き標識を少なくとも４個含むように探索範囲を自動的に定めて、マッチング処理を行う；
   請求項５乃至請求項８のいずれか１項に記載の三次元計測システム。
10. 面内に計測位置を示すための位置検出用パターンと、標識を識別するためのコードパターンとを有するコード付き標識を含むように２方向から撮影された測定対象物の一対の撮影画像を記憶する撮影画像データ記憶部と；
    前記一対の撮影画像から前記コード付き標識の位置検出用パターンとコードパターンとを抽出する抽出部と；
    前記抽出部で抽出されたコード付き標識のコードパターンから、前記コード付き標識の識別コードを判別する識別コード判別部と；
    前記一対の撮影画像の一方について前記抽出部で抽出されたコード付き標識の位置検出用パターンから、前記コード付き標識の基準点を設定する基準点設定部と；
    前記一対の撮影画像の他方について前記抽出部で抽出されたコード付き標識の位置検出用パターンから、前記識別コード判別部で判別された識別コードを用いて前記基準点に対応する対応点を探索する対応点探索部と；
    前記基準点及び前記対応点とに基づいて、前記一対の撮影画像について標定処理を行う標定部とを備え；
    前記コードパターンが複数の色彩が施されたカラーコードパターンであり、前記コード付き標識がカラーコード付き標識であり；
    前記カラーコード付き標識は、面内に色彩の基準として用いる複数の色彩が施された基準色パターンを有し；
    前記基準色パターンに施された色彩を基準にして、前記カラーコードパターンの色彩を補正する色彩補正部を有する；
    三次元計測システム。
11. 前記抽出部は、前記基準色パターンに施された色彩と前記画像撮影装置で撮像された前記測定対象物の画像の色彩とを比較することにより、前記カラーコードパターンを判別する；
    請求項１０に記載の三次元計測システム。
12. 前記色彩補正部は、前記基準色パターンに施された色彩を基準にして、前記画像撮影装置で撮像された前記測定対象物の画像の色彩を補正する；
    請求項１０又は請求項１１に記載の三次元計測システム。
13. 前記コード付き標識を投影する投影装置を備える；
    請求項１乃至請求項１２のいずれか１項に記載の三次元計測システム。
14. 面内に計測位置を示すための位置検出用パターンと、標識を識別するためのコードパターンとを有するコード付き標識を含むように測定対象物を複数方向から撮影する撮影工程と；
    前記撮影工程で撮影された前記測定対象物の撮影画像を撮影画像データ記憶部に記憶する画像データ記憶工程と；
    前記撮影画像から前記コード付き標識の位置検出用パターンとコードパターンとを抽出する抽出工程と；
    前記抽出工程で抽出されたコード付き標識のコードパターンから、前記コード付き標識の識別コードを判別し、前記識別コードを前記撮影画像ごとに前記撮影画像データ記憶部に記憶させる識別コード判別工程と；
    前記撮影画像データ記憶部に記憶された識別コードに基づいて、識別コードが共通のコード付き標識が複数含まれている撮影画像からステレオペアを選択する配列工程と；
    前記配列工程で選択されたステレオペアの一対の撮影画像の一方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記コード付き標識の基準点を設定する基準点設定工程と；
    前記一対の撮影画像の他方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記識別コード判別工程で判別された識別コードを用いて前記基準点に対応する対応点を探索する対応点探索工程と；
    前記基準点及び前記対応点とに基づいて、前記一対の撮影画像について標定処理を行う標定工程とを備える；
    三次元計測方法。
15. 面内に計測位置を示すための位置検出用パターンと、標識を識別するためのコードパターンとを有するコード付き標識を含むように測定対象物を２方向から撮影する撮影工程と；
    前記撮影工程で撮影された前記測定対象物の一対の撮影画像を記憶する画像データ記憶工程と；
    前記一対の撮影画像から前記コード付き標識の位置検出用パターンとコードパターンとを抽出する抽出工程と；
    前記抽出工程で抽出されたコード付き標識のコードパターンから、前記コード付き標識の識別コードを判別する識別コード判別工程と；
    前記一対の撮影画像の一方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記コード付き標識の基準点を設定する基準点設定工程と；
    前記一対の撮影画像の他方について前記抽出工程で抽出されたコード付き標識の位置検出用パターンから、前記識別コード判別工程で判別された識別コードを用いて前記基準点に対応する対応点を探索する対応点探索工程と；
    前記基準点及び前記対応点とに基づいて、前記一対の撮影画像について標定処理を行う標定工程とを備え；
    前記コードパターンが複数の色彩が施されたカラーコードパターンであり、前記コード付き標識がカラーコード付き標識であり；
    前記カラーコード付き標識は、面内に色彩の基準として用いる複数の色彩が施された基準色パターンを有し；
    前記基準色パターンに施された色彩を基準にして、前記カラーコードパターンの色彩を補正する色彩補正工程を備える；
    三次元計測方法。