JP4550081B2 - 画像測定方法 - Google Patents

Description

異なるカメラ位置から，三次元計測をする際の前段階の標定作業の自動化ならびに、ステレオマッチングの初期値を自動的に取得し、三次元計測の自動化を行う技術に関する。

地上写真測量において、三次元計測を行う場合、図１に示す流れで計測が行われる。すなわち、対象物のステレオ撮影（ａ）→位置検出（ｂ）→標定（ｃ）→ステレオモデル形成（ｄ）→三次元計測（ｅ）の処理が必要である。これらの処理はコンヒ゜ュータによる演算が中心であるが、その中で、位置検出（ｂ）及び三次元計測（ｅ）は従来から人手を介して行われている。位置検出（ｂ）は、撮影するカメラの位置や傾き等を求める標定の前処理である。

標定（ｃ）でカメラ間と測定対象物の位置関係を求めることにより、立体視可能なステレオモデルを形成することができ、三次元計測が可能となる。標定（ｃ）を行うための位置検出（ｂ）の処理は，異なるカメラに写し込まれている対応する６点以上のそれぞれのカメラ上における座標位置を求める作業である。

三次元計測（ｅ）には、ポイント計測と面計測の２種類がある。

ポイント計測の場合、対象物上の計測点を人手を介してマニュアルで計測しているが、自動化を画ったり精度を向上するためには、対象物にマークを貼る作業を行っている。

面計測の場合、画像処理によるステレオマッチングという手法を利用して自動で行う。その際に、テンプレート画像の決定や探索幅の設定等の初期設定は、人手を介して行う必要があった。

位置検出（ｂ）の作業は、作業者が撮影された左右画像の対象物上の６点以上の計測点を選択し、各画像を観察しながら対象物上の計測点の対応付け及び座標位置検出を行うものである。ところが、これらの作業は基本的に立体視をしながら行う必要があるため熟練を要し，かつ煩雑，困難，難解であった。

特に、計測点を決めて左右画像を対応付け、詳細な位置座標を検出する作業は、個人差が生じ易く結果が各人各様で十分な精度が得難かった。また、人によっては計測不能となることも多々あった。このような不具合を回避するために、対象物にマークを貼る等の処理を行う場合もある。

しかし、対象物自体にマークを貼るといった作業が増えることはマイナスであり、更に対象物によっては容易にマークを貼ることができないものもあるため、この手法は余り普及していない。

他方、ステレオ運台上に２台のカメラを強固に固定することにより，標定作業を行わずに三次元計測をするという手法もある。

しかし、その場合には、運台上の２台のカメラの位置関係が絶対にくるってはならず、測定環境や測定対象物が大幅に限定されてしまう。同時に、そのような装置は大きく重く持ち運び困難であり、かつ高価となるために、この手法による三次元計測法も余り普及していない。

また、三次元計測（ｅ）のポイント計測において、測定対象物にマーク等を貼らない場合には、作業者が撮影された画像上を観察しながら計測点を指示して計測する必要があった。このため、測定点が多いと手間や時間がかかっていた。また、精度良く計測しようとするとどうしても個人差が生じ易く、計測不能といった事態も生じていた。

対象物にマークを貼って計測すれば上記事態を避けることができるが、その場合には、前述のようにマークを貼るための手間が新たに生じ、対象物によってはマークを貼ることが難しかったり計測不能になることもあった。

面計測の場合は、前処理としてステレオマッチングによる自動計測を行う際のテンプレート画像の決定や、最適な探索幅の決定等を人手により行う必要があった。更に、ミスマッチング点等があった場合は人手を介して修正を行う必要があり、結局自動化することが難しかった。

本発明は、このような従来技術の問題点に鑑み、標定作業から測定までを効率良くかつ高精度で行え、測定対象物を選ばず持ち運び可能であって簡便な構成の画像測定装置を提供することを目的としている。

本発明の解決手段を例示すると、特許請求の範囲の各請求項に記載のとおりである。

本発明によれば、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求め、一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、前記概略位置測定部で求めた位置関係に基づいて基準画像に基準データブロックを設定し、捜索画像に捜索領域を設けその捜索領域中に捜索データブロックを設定し、その捜索領域中に設定される捜索データブロックと基準データブロックとの対応関係を求めるに当たって、概略の位置関係に基づいて、基準画像への基準データブロックの設定、捜索画像への捜索領域の設定及び捜索データブロックの設定の少なくとも一つを行うように構成することにより、対応関係を正確に求めることができる。

本発明の画像測定方法は、測定対象物を異なる方向から撮影した一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、前記一対の画像中それぞれに含まれており、前記基準画像と前記捜索画像とであらかじめ対応がついている投影特徴パターン像の位置を求め、前記基準画像または前記捜索画像上の前記投影特徴パターン像間の幅より前記基準画像への基準データブロックの設定を行い、前記捜索画像上の前記投影特徴パターンの位置より前記捜索画像への捜索領域の設定を行い、前記基準画像中の前記基準データブロックをテンプレート画像として、前記捜索画像中の捜索領域にステレオマッチングを施すようにしている。

前記捜索画像中に、前記特徴パターン像に基づいて捜索データブロックを設けて捜索領域の範囲の設定を行い、前記ステレオマッチングは、前記捜索データブロックに対して行うようにすることができる。

前記捜索データブロックは、前記捜索画像中の特徴パターン像の位置及び前記捜索データブロックの位置、又は前記基準画像中の特徴パターン像の位置及び前記基準データブロックの位置に基づいて、大きさが設定されるようにすることができる。

前記捜索データブロックは、前記捜索画像中の特徴パターン像の位置と捜索データブロックの位置、又は前記基準画像中の特徴パターン像の位置と基準データブロックの位置とが離れるにつれて、幅又は面積が大きく設定されるようにすることができる。

前記基準データブロックは、前記基準画像中の特徴パターン像の位置および前記基準データブロックの位置に基づいて大きさが設定されるようにすることができる。

前記基準データブロックは、前記基準画像中の特徴パターン像の位置と基準データブロックの位置とが離れるにつれて、高さ又は幅が大きく設定されるようにすることができる。

前記基準データブロックは、前記基準画像中の特徴パターン像に基づき異なる大きさで複数設定されるようにすることができる。

まず、図１７を参照して、本発明による画像測定装置の概要を説明する。

画像測定装置３０は概略位置測定部３１、データ設定部３２、対応判別部３３を備えている。

概略位置測定部３１は、予め位置関係が分っている特徴パターン像を用いて、測定対象物を異なる方向から撮影した一対の画像からそれぞれの画像中での測定対象物の位置関係を概略求める構成になっている。

データ設定部３２は、一対の画像の一方を基準画像、他方を捜索画像と定め、概略位置測定部３１で求めた位置関係に基づいて、基準画像に基準データブロックを設定し、捜索画像に捜索領域を設定する構成になっている。

対応判別部３３は、捜索領域中に設定された捜索データブロックと基準データブロックとの対応関係を求める構成になっている。

この画像測定装置３０を利用することにより、以下で詳細に説明する三次元計測の自動化を画り、計測の精度を向上することができる。

以下、本発明の画像測定装置を利用した形状測定装置について詳細に説明する。

図１は形状測定装置における計測の流れを示しており、図２はその構成を概念的に示すブロック図である。

ａ．対象物のステレオ撮影
まず、コントローラ４からの指示によって特徴パターン投影部３から測定対象物０に特徴パターンをあてる。そして、測定対象物０の画像を左右画像撮影部１及び２により撮影し、特徴パターン抽出部５に画像データを転送する。

左右画像撮影部１及び２は、図３に示すように、光学系１１、ＣＣＤ１２、ＣＣＤドライバ１３、オペアンプ１４、Ａ／Ｄ変換器１５等から構成される。

図５と図６は、特徴パターンの例を示している。これらの特徴パターン２０は円形で構成されているが、特徴パターン投影によるマーク像の位置が求められるものであれば、円形以外のどんな形状のものでも良い。

特徴パターン投影部３は、スライドプロジェクターやレーザポインタ等、特徴パターン２０を投影できるものなら何でもよい。

図４は、特徴パターン抽出部５の詳細なブロック図である。

左右画像撮影部１及び２により転送される画像データは、図３のＡ／Ｄ変換器１５によりデジタルデータに変換され、特徴パターン抽出部５の特徴パターン投影用画像メモリ５１に転送される。

次に，コントローラ４からの指示により、特徴パターン投影を停止し、左右画像撮影部１及び２により特徴パターンなしの画像を撮影し、特徴パターン抽出部５の特徴パターンなし用画像メモリ５２にデジタル画像データを転送する。

特徴パターン投影用画像メモリ５１と特徴パターンなし用画像メモリ５２に画像転送が終わったら、コントローラ４の指示により、画像差分演算器５３を通して二つの画像を差分する。そして、差分画像を、特徴パターン画像メモリ５４に取り込む。

この結果、特徴パターン画像メモリ５４内のデータは、測定対象物０の画像情報が消去されたもの、すなわち特徴パターン２０に関する情報（マーク像のデータ）のみとなる。

ｂ．位置検出
標定処理を行うために，特徴パターン投影によるマーク像の位置検出を行う。

特徴パターン位置検出部５５により、特徴パターン画像メモリ５４内の特徴パターン座標位置を検出する。

特徴パターン２０は、その位置が明確にわかるものであればどんな形状のものでも良いが、ここでは図５や図６のような特徴パターン２０を仮定する。また、特徴パターンは図５や図６のように６点以上あれば，何点でもかまわない。

特徴パターン画像メモリ５４には特徴パターン投影によるマーク像以外の情報は含まれていないため、誤検出をなくすことができる。更に、自動で位置検出を行うことが容易になるので、常に安定した位置座標検出を個人差なく高精度で行うことができる。

ここでは、点の概略位置検出にテンプレートマッチング法を用い、詳細位置検出にモーメント法を用いる場合を説明する。

テンプレートマッチング法については相関法の一種である残差逐次検定法（ＳＳＤＡ法）を説明するが、正規化相関法等を使用しても良い。また、詳細位置検出にはモーメント法でなくＬＯＧフィルタ法等を用いても良い。

以下、位置検出処理について説明する。

（概略位置検出）
１．テンプレート画像を登録する。

テンプレート画像は、図５や図６の投影特徴パターン２０の一つのマークと似たようなシミュレーション画像を作成しても良い、あるいは、実際の画像をどれか選んで用いても良い。

２．Ｓ＞Ｒ（ａ，ｂ）となる点を画像全体で探索する（数式１参照）。

Ｒ（ａ，ｂ）が０に近いほど類似度が高い。Ｓは適当な値を前持って決めておく。この場合、特徴パターン以外の画像情報は消去されているため容易に決定できる。テンプレートマッチングには正規化相関法等を用いても良いが、残差逐次検定法を使用すれば、処理をさらに高速化できる。

［残差逐次検定法（ＳＳＤＡ法）］
ＳＳＤＡ法の原理図を図７に、式を数式１に示す。

残差Ｒ（ａ，ｂ）が最小になる点が求めるマークの位置である。

式の加算において、Ｒ（ａ，ｂ）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（ａ，ｂ）に移るよう計算処理を行うことにより、処理の高速化をはかることができる。

３．Ｒ（ａ，ｂ）最小かつ隣接するマーク位置の間隔等の条件により、投影特徴パターンのマーク位置をマーク数分決定し、位置座標とする。

（詳細位置決定）
１．探索領域決定
前述の（概略位置検出）によって決まった点に対し、そこを中心とした探索領域を設定する。

２．マーク領域の決定
探索領域について、濃度値がしきい値以上の領域を一つのマークとする（図８参照）。

しきい値は、ある適当な値を予め決めておく。画像は、マーク以外は差分処理を施しているため殆ど０となっている。

３．重心位置算出
モーメント法を行い、重心位置座標を算出する。

［モーメント法］
図８に示されている通り、しきい値Ｔ以上の点について（マークＫ）、以下の式を施す。

この数式２及び数式３によって、サブピクセル位置まで重心位置が算出可能となる。

４．点数分だけ１〜３を行う。

以上で、図５あるいは図６のような特徴パターン投影によるマーク像の位置座標を算出することができる。

概略位置検出を行わずに、最初から詳細位置検出を行っても良く、また、他のアルゴリズムによって位置検出しても構わない。

いずれにしても，画像は特徴パターン情報のみなので、高速かつ、高精度に位置を算出することが可能である。

ｃ．標定
次に，特徴パターン位置検出部５５で求めた座標値を姿勢算出部６に送り、標定計算を行う。

この計算により、左右それぞれのカメラの位置等が求めるられる。

次の共面条件式により、それらのパラメータを求める。

モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。

このような条件にすると、数式４の共面条件式は数式５のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。

これらの数式を用いて、次の手順により、未知パラメータを求める。

１．初期近似値は通常０とする。

２．共面条件式５を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数式６、７により求め、観測方程式をたてる。

３．最小二乗法をあてはめ、近似値に対する補正量を求める。

４．近似値を補正する。

５．補正された近似値を用いて、上記２．〜５．までの操作を収束するまで繰り返す。

仮に、どこかのマークが対象物の形状等で、うまく位置検出されていない場合には、収束しない場合がありうる。その場合は、１点１点削除して、上記１〜５までを行い、収束したもの、あるいは、一番良いもののパラメータを使用する。

ｄ．ステレオモデル形成
次に、標定により求められたパラメータにより、立体視可能なステレオモデル座標系へ画像を変換し、ステレオモデルを形成する。

モデル座標への変換式は以下のようになる。

このようにして、三次元計測が可能な状態となる。

ｅ．三次元計測
（１）ポイント計測
図６のような６点以上の特徴パターン２０を使用し、複数のマークを位置検出（ｂ）と同様な処理をすることにより、その三次元座標を自動で高精度に求められる。

（２）面計測
図６のような投影特徴パターン２０を使用することにより、ステレオマッチングの初期値とすることが可能となる。

面計測の場合の初期値の決めかたについて説明する。

図９と図１０は説明図であり、図６のような投影特徴パターンのうちの一部について抜き出したものである。図９は基準とする基準画像、図１０は探索を行う捜索画像である。これら基準・捜索画像は、左右どちらの画像でもよい。例えば、左画像を基準画像、右画像を捜索画像と決める。

投影特徴パターンは基準画像Ｓ’１、Ｓ’２、Ｓ’５、Ｓ’６に対し捜索画像上ではＳ１、Ｓ２、Ｓ５、Ｓ６が対応している。

対応点探索は、基準画像中の基準データブロックをテンプレート画像として、捜索画像中の捜索領域にステレオマッチングを施すことにより行う。ステレオマッチングには画像相関処理等を使用する。

［捜索領域の決定］
投影特徴パターンをもとに、捜索領域を決定する方法について説明する。

投影特徴パターンＳ１〜Ｓ２（水平方向）を幅Ａ、Ｓ１〜Ｓ５（垂直方向）を幅Ｂとし、Ｓ１，Ｓ２、Ｓ５，Ｓ６で囲まれた部分を捜索領域Ｒ１とする。以下同様にＳ２，Ｓ３、Ｓ６，Ｓ７で囲まれた部分を捜索領域Ｒ２、…と順次それぞれの投影特徴パターンで囲まれた部分を捜索領域として決定する。

実際の投影特徴パターンによるマーク像は、それぞれ図１１に示されるように、対象物の形状やＣＣＤの向きによって同一ライン上にあるとは限らない。そこで、各投影特徴パターンの４点から最大のＡ、Ｂの幅が得られるような四角形を作成し、捜索領域とする。例えば図１１では、Ｓ１，Ｓ２，Ｓ５，Ｓ６でとりうる最大の幅は水平方向Ａ１，垂直方向Ｂ１となり、これで作成した四角形の領域を捜索領域Ｒ１、同様に、Ｓ２，Ｓ３，Ｓ６，Ｓ７でとりうる最大幅Ａ２，Ｂ２で作成される四角形を捜索領域Ｒ２とする。このようにすると、多少オーバーラップする領域ができるが、Ｒ１、Ｒ２領域の境界も確実に探索が可能となる。

これは、既に求めた捜索画像中のマーク像の位置に基づいて、捜索画像に捜索領域の範囲を決定するものである。

図１２はこの捜索領域決定の変形例である。

例えば、それぞれの投影特徴パターンは、左右画像上ですでに対応点として求められているので、捜索領域の捜索開始位置と終了位置を投影点近隣の領域とすると効率がよい。すなわち、図１１の例だと、垂直方向にＳ１からＳ５まで捜索幅Ａ１づつ探索を進めていくと、Ｓ５のライン周辺に近づくにつれ、無駄な探索領域（明らかに対応点が存在しない領域）がでる。

そこで、図１２のＳ１〜Ｓ５間（垂直方向）の１／２のＤ１までは、Ｓ１と同一の水平方向の点を捜索領域の開始点とし、Ｄ１〜Ｓ５間ではＤ１とＳ５を結んだ線上を水平方向の捜索開始点にとる。

このような処理を各投影点につき捜索領域として設定し、捜索領域を多少オーバーラップさせながらステレオマッチングを行えば、ある程度効率のよい探索が可能となる。

図１３、図１４は、捜索領域中の捜索データブロックを設定することにより、さらに捜索領域の探索を効率化したものである。

たとえば、捜索画像中のマークＳ１〜Ｓ２のＡ１の区間において、図９で示される基準画像上の基準データブロックＴ１、Ｔ２、Ｔ３…、それぞれに対応する捜索領域上の位置を求めるとき、それぞれの捜索データブロックを図１３で示されるように、Ｕ１、Ｕ２、Ｕ３、…、と何ブロックかにわけて設定する。このようにすれば、捜索領域探索における時間を短かくし効率的に探索できる。この場合、捜索データブロックの範囲は、基準データブロックをいくつにとるかで決定できる。例えば基準画像Ｓ’１〜Ｓ’２のＡ’間でｎ個基準データブロックを設定するとすれば、Ａ１／ｎ、あるいはＡ１／（ｎ−１）等とすれば良い。（ｎ−１）としたのは、多少捜索データブロックをオーバーラップさせて探索を行う場合である。

これは、既に求めた捜索画像中のマーク像の位置及び捜索領域の位置に基づいて、捜索画像に捜索領域の範囲を設定するものである。見方を変えると基準画像中のマーク像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲を設定するものともいえる。

図１３の方式の変形例が図１４に示されている。これは、捜索データブロックのサイズを可変としたものである。すなわち、マークＳ１、Ｓ２の近隣領域は、基準データブロックに対する対応点が近くにあることがわかっているので、捜索データブロックのサイズを小さく、離れるにしたがって対応点位置が不確かとなるため大きくするものである。従って、基準データブロックがＡ’／２の位置で最大の捜索データブロックサイズとなる。

これら捜索データブロックのサイズは、Ｓ１〜Ｓ２の捜索領域Ａ１より決定する。

例えば、ｎをＡ’間の基準データブロック数とすれば、
・Ｓ１〜Ｓ１＋Ａ１／２の区間の捜索データブロックサイズ：
（１＋ｔ×ｉ／ｎ）×Ａ１／ｎ、
・Ｓ１＋Ａ１／２〜Ｓ２の区間の捜索データブロックサイズ：
（１＋ｔ×（ｎ−ｉ）／ｎ）×Ａ１／ｎ、
但し、ｉはそれぞれの基準データブロックに対応する捜索データブロックの位置、すなわちｉ＝１〜ｎとする。また、ｔは倍率の定数で所定の値に設定する。例えばＳ１＋Ａ１／２の位置でＳ１の位置（Ｕ１）の捜索データブロックサイズの倍にしたければ２を選ぶ。

これら捜索データブロックサイズは、基準画像中のマークＳ’１、Ｓ’２及び基準データブロックＴ１，Ｔ２、…、に基づいて決定してもよい。その際は、上述のＡ１をＡ’とし、倍率Ａ１／Ａ’を加味した項を掛け合わせる。

このように、捜索領域及び捜索データブロックを設定することにより、対応点探索を効率よく、すなわち高速かつ信頼性を高めながら行うことが可能となる。

この方式では、捜索画像中のマーク像の位置及び捜索領域の位置との位置関係に基づいて、見方を変えれば基準画像中のマーク像の位置及び基準データブロック位置との位置関係に基づいて、捜索画像に捜索領域の範囲の大きさを設定している。

［基準データブロックの決定］
基準となる基準データブロックは、基準画像上のＳ’１、Ｓ’２、Ｓ’５、Ｓ’６、あるいは捜索画像上のＳ１、Ｓ２、Ｓ５、Ｓ６から決定する。例えば基準画像（図９）Ｓ’１〜Ｓ’２をＡ’、Ｓ’１〜Ｓ’５をＢ’とすれば、水平方向の基準データブロック幅はＡ’／ｎ、垂直方向はＢ’／ｍのように決定できる。

あるいは、左右画像の比率に比例した大きさにしてもよい。例えば、水平方向はＡ’／Ａ＊ｎ、垂直方向は、Ｂ’／Ｂ＊ｍのように設定する。

ｎ、ｍは計測したい対象物の大きさと画素数の関係によって適切な大きさを求めることができるが、Ａ’、Ｂ’の値によって適宜定数としても良い。

図１５は基準データブロックサイズを１種類でなく３種類として相関積をとりながら、上述の処理と同様にステレオマッチングしていく方法である。この場合も、この３種類のサイズをＡ’，Ｂ’の情報をもとに決定できる。

図１６は、本発明の基準データブロック決定における更なる変形例である。Ｓ’１及びＳ’２近隣の領域は、基準・捜索画像上で比較的対応が取れているために基準データブロックは小さくてよいが、離れるにしたがって、対応位置が不確かとなるため基準データブロックサイズを動的に変化させる。たとえば、Ｔ１位置、Ｔ２位置、Ｔ３位置において図１４のように基準データブロックを拡大していく。そして、基準データブロック位置がＡ’／２地点で最大の大きさとする。Ａ’／２からＳ’２に向かっては、基準データブロックサイズを逆に順次小さくしていく。

このようにすることにより、ステレオマッチングの信頼性を高めることができる。

これら基準データブロックサイズは、Ｓ’１〜Ｓ’２の水平方向の幅Ａ’、Ｓ’１〜Ｓ’５の垂直方向の幅Ｂ’より決定する。

例えば、ｎ，ｍをＡ’、Ｂ’間の基準データブロック数とすれば、
・Ｓ’１〜Ｓ’１＋Ａ’／２の区間の基準データブロックサイズ：
水平方向：（１＋ｔ×ｉ／ｎ）×Ａ’／ｎ、
垂直方向：（１＋ｔ×ｌ／ｍ）×Ｂ’／ｍ
・Ｓ’１＋Ａ’／２〜Ｓ’２の区間の基準データブロックサイズ
水平方向：（１＋ｔ×（ｎ−ｉ）／ｎ）×Ａ’／ｎ、
垂直方向：（１＋ｔ×（ｍ−ｉ）／ｍ）×Ｂ’／ｍ
但し、ｉ，ｌはそれぞれの基準データブロック位置、すなわちｉ＝１〜ｎ、ｌ＝１〜ｍとする。

ここで、ｔは倍率の定数であり、所望の値に設定する。例えばＳ’１＋Ａ’／２の位置でＳ’１の位置（Ｔ１）の基準データブロックサイズの倍にしたければ２を選ぶ。

このようにすれば、基準データブロックを可変にできる。

また、図１５のような３種類の基準データブロックを上述の例のように可変とし、相関積をとることにより、ステレオマッチングしていけば、更に信頼性の高い対応点探索が可能となる。

これら基準データブロックの決定は、捜索画像におけるマークＳ１，Ｓ２によって同様に行ってもよい。その際は、Ａ’をＡ１、Ｂ’をＢ１として更に基準画像と捜索画像の倍率Ａ’／Ａ１を加味した項を掛け合わせる。

以上のようにすることによって、各初期値が自動で求められる。

次に、実際に行う計測（ステレオマッチング）の手順について説明する。

例として図６の投影特徴パターンＳ１〜Ｓ８の場合について、図９、１１により説明する。

垂直方向は標定処理が終了し、縦視差が除去されている（位置合わせしてある）ので、基準画像、捜索画像の同一ライン上を探索するだけで良い。また捜索データブロックを設定する際は、各捜索領域において上述のように適宜設定して行う。

１．捜索画像のＳ１〜Ｓ２までの捜索領域Ｒ１の水平方向のラインＬ１の探索幅Ａ１に対し、
基準画像中のＴ１、Ｔ２、Ｔ３、…の基準データブロックで順次対応点探索を行う。

これら初期値は、先に述べたような方法で決定しておく。

捜索領域Ｒ１のラインＬ１上のＡ１が終了したら、
２．Ｓ２〜Ｓ３の捜索領域Ｒ２に対し、この領域で決められた基準データブロック位置からラインＬ１のＡ２上の対応点探索を順次繰り返す。

３．次に、Ｓ３〜Ｓ４の捜索領域Ｒ３のラインＬ１のＡ３を対応点探索する。捜索領域Ｒ３に対しては、この領域で決められたテンプレートサイズ、位置で順次行う。

ラインＬ１の対応点探索が終了したら、次のラインＬ２に移動して、また、捜索領域Ｒ１の探索幅Ａ１から、対応点探索を１〜３と同様に繰り返す。

これを必要なライン数分繰り返す。

以上のようにすれば、投影特徴パターンの位置から、ステレオマッチングする際の初期値、すなわち、捜索領域、捜索データブロック、および基準データブロックを自動で決定し、自動計測が可能となる。

さらに、基準・捜索画像の捜索領域と基準データブロックをＡ’、Ｂ’以内と限定できるため、通常のステレオマッチングよりはるかに高速な処理が可能となる。すなわち、通常は、各探索位置において１水平ライン分（図６、line）ステレオマッチングを行うのであるが、その処理時間が投影点の数により数分の１となる。

また、基準・捜索画像上の対応領域があらかじめ限定され求められているため、ミスマッチングが大幅に減少できる。すなわち、ステレオマッチングの信頼性を大幅に向上させることができる。

これに加えて、基準データブロックや捜索領域、捜索データブロックを投影点の位置情報により適切に決定できるので、更にステレオマッチングの信頼性が高められる。

また、基準データブロックや捜索データブロックをその探索位置により動的に可変可能となるので、信頼性がそれ以上に高められる。

そして、これらステレオマッチングは、投影特徴パターンのない画像上で行えるので特徴パターンによる誤検出が生じない。また、特徴パターンがない画像は画像データベースとしての価値が生じ，計測と同時に原画像の蓄積が行える。

さらに、前述の実施例によれば、特徴パターンを投影した画像と投影しない画像を使用するために、対象物に計測用のマークを貼るという作業が必要なくなり、マークの貼れないような対象物においても計測が可能になる。

このように、特徴パターンがある画像とない画像を差分することにより、特徴パターン情報のみの画像が作成できることから、特徴パターン位置検出〜標定〜ステレオモデル形成〜三次元計測までを、人手によらず自動で精度良く行うことが可能となる。すなわち、従来熟練を要し煩雑であった人手による標定作業と三次元計測作業をなくすことができ、すべてを自動で行って信頼性を向上することが可能となる。

さらに，カメラをステレオ運台上に強固に固定する必要はなく、現場で２台のカメラをラフに設置して撮影するだけで、高精度な三次元計測が可能になるので、現場や対象物によらず簡便に計測可能であるという卓越した効果がある。

また，特徴パターンの点を増やすことにより，ステレオマッチングの初期値とすること、すなわち自動で探索幅、テンプレート画像の決定を行いステレオマッチングすることが可能となり、更にステレオマッチング時間の短縮と信頼性を大幅に向上させながら，対象物の表面形状を自動測定できるという卓越した効果がある。

本発明の形状測定装置における計測の流れを示すブロック図。 本発明の形状測定装置を概念的に示すブロック図。 形状測定装置の左右画像撮影部を示す概念図。 形状測定装置のパターン抽出部を示すブロック図。 投影パターンの一例を示す平面図 投影パターンの別の例を示す平面図 ＳＳＤＡ法によるテンプレートマッチングを示す説明図。 モーメント法を示す説明図。 基準画像を示す説明図。 捜索画像を示す説明図。 捜索画像を示す説明図。 捜索画像を示す説明図。 捜索画像を示す説明図。 捜索画像を示す説明図。 基準画像を示す説明図。 基準画像を示す説明図。 本発明による画像測定装置の概要を示すブロック図。

符号の説明

０ 測定対象物
１，２ 左右画像撮影部
３ パターン投影部
４ コントローラ
５ パターン抽出部
６ 姿勢算出部
７ ステレオモデル形成部
８ 形状測定部
９ テンプレートマッチング画像
１０ 形状測定装置
１１ 光学系
１２ ＣＣＤ
１３ ＣＣＤドライバ
１４ オペアンプ
１５ Ａ／Ｄ変換器
２０ 投影パターン
３０ 画像測定装置
３１ 概略位置測定部
３２ データ設定部
３３ 対応判別部
５１ パターン投影用画像メモリ
５２ パターンなし用画像メモリ
５３ 画像差分演算部（器）
５４ パターン画像メモリ
５５ パターン位置検出部

Claims (7)

1. 測定対象物を異なる方向から撮影した一対の画像中、一方の画像を基準画像、他方の画像を捜索画像と定め、
   前記一対の画像中それぞれに含まれており、前記基準画像と前記捜索画像とであらかじめ対応がついている投影特徴パターン像の位置を求め、
   前記基準画像または前記捜索画像上の前記投影特徴パターン像間の幅より前記基準画像への基準データブロックの設定を行い、
   前記捜索画像上の前記投影特徴パターンの位置より前記捜索画像への捜索領域の設定を行い、
   前記基準画像中の前記基準データブロックをテンプレート画像として、前記捜索画像中の捜索領域にステレオマッチングを施す画像測定方法。
2. 前記捜索画像中に、前記特徴パターン像に基づいて捜索データブロックを設けて捜索領域の範囲の設定を行い、
   前記ステレオマッチングは、前記捜索データブロックに対して行う請求項１記載の画像測定方法。
3. 前記捜索データブロックは、前記捜索画像中の特徴パターン像の位置及び前記捜索データブロックの位置、又は前記基準画像中の特徴パターン像の位置及び前記基準データブロックの位置に基づいて、大きさが設定される請求項２記載の画像測定方法。
4. 前記捜索データブロックは、前記捜索画像中の特徴パターン像の位置と捜索データブロックの位置、又は前記基準画像中の特徴パターン像の位置と基準データブロックの位置とが離れるにつれて、幅又は面積が大きく設定される請求項２又は請求項３記載の画像測定方法。
5. 前記基準データブロックは、前記基準画像中の特徴パターン像の位置および前記基準データブロックの位置に基づいて大きさが設定される請求項１記載の画像測定方法。
6. 前記基準データブロックは、前記基準画像中の特徴パターン像の位置と基準データブロックの位置とが離れるにつれて、高さ又は幅が大きく設定される請求項１又は請求項５記載の画像測定方法。
7. 前記基準データブロックは、前記基準画像中の特徴パターン像に基づき異なる大きさで複数設定される請求項１記載の画像測定方法。

Images