JPH10318732A - 形状測定装置及び形状測定用画像形成装置 - Google Patents

Abstract

(57)【要約】 【課題】 標定から三次元計測までを自動的に効率良く
高精度で行う。 【解決手段】 基準となる特徴パターンが設けられた測
定対象物を異なる方向から撮影した一対の第１撮影画像
と、基準となる特徴パターンが設けられていない測定対
象物を第１撮影画像の撮影方向と同じ方向から撮影した
一対の第２撮影画像とに基づいて、各方向で得られた第
１撮影画像と第２撮影画像との差をとり特徴パターンを
抽出する特徴パターン抽出部と、特徴パターン抽出部で
得られた差分画像から、一対の第１撮影画像又は第２撮
影画像の位置関係を求める位置関係算出部と、前記位置
関係算出部で求めた位置関係に基づき、第１撮影画像又
は第２撮影画像が立体視可能なステレオモデルとなるよ
うに関係付けるステレオモデル形成部と、ステレオモデ
ル形成部で形成されたステレオモデルに基づいて対象物
の形状を求める形状測定部と、から構成される形状測定
装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なるカメラ位置
から三次元計測をする際の前段階の標定作業の自動化な
らびに、ステレオマッチングの初期値を自動的に取得、
三次元計測の自動化を行う技術に関する。

【０００２】

【従来の技術】地上写真測量において、三次元計測を行
う場合、図１に示す流れで計測が行われる。すなわち、
対象物のステレオ撮影（ａ）→位置検出（ｂ）→標定
（ｃ）→ステレオモデル形成（ｄ）→三次元計測（ｅ）
の処理が必要である。これらの処理はコンヒ゜ュータに
よる演算が中心であるが、その中で、位置検出（ｂ）及
び三次元計測（ｅ）は従来から人手を介して行われてい
る。位置検出（ｂ）は、撮影するカメラの位置や傾き等
を求める標定の前処理である。

【０００３】標定（ｃ）でカメラ間と測定対象物の位置
関係を求めることにより、立体視可能なステレオモデル
を形成することができ、三次元計測が可能となる。標定
（ｃ）を行うための位置検出（ｂ）の処理は，異なるカ
メラに写し込まれている対応する６点以上のそれぞれの
カメラ上における座標位置を求める作業である。

【０００４】三次元計測（ｅ）には、ポイント計測と面
計測の２種類がある。

【０００５】ポイント計測の場合、対象物上の計測点を
人手を介してマニュアルで計測しているが、自動化を画
ったり精度を向上するためには、対象物にマークを貼る
作業を行っている。

【０００６】面計測の場合、画像処理によるステレオマ
ッチングという手法を利用して自動で行う。その際に、
テンプレート画像の決定や探索幅の設定等の初期設定
は、人手を介して行う必要があった。

【０００７】

【発明が解決しようとする課題】位置検出（ｂ）の作業
は、作業者が撮影された左右画像の対象物上の６点以上
の計測点を選択し、各画像を観察しながら対象物上の計
測点の対応付け及び座標位置検出を行うものである。と
ころが、これらの作業は基本的に立体視をしながら行う
必要があるため熟練を要し，かつ煩雑，困難，難解であ
った。

【０００８】特に、計測点を決めて左右画像を対応付
け、詳細な位置座標を検出する作業は、個人差が生じ易
く結果が各人各様で十分な精度が得難かった。また、人
によっては計測不能となることも多々あった。このよう
な不具合を回避するために、対象物にマークを貼る等の
処理を行う場合もある。

【０００９】しかし、対象物自体にマークを貼るといっ
た作業が増えることはマイナスであり、更に対象物によ
っては容易にマークを貼ることができないものもあるた
め、この手法の普及を妨げている。

【００１０】他方、ステレオ運台上に２台のカメラを強
固に固定することにより，標定作業を行わずに三次元計
測をするという手法もある。

【００１１】しかし、その場合には、運台上の２台のカ
メラの位置関係が絶対にくるってはならず、測定環境や
測定対象物が大幅に限定されてしまう。同時に、そのよ
うな装置は大きく重く持ち運び困難であり、かつ高価と
なるために、この手法による三次元計測法も余り普及し
ていない。

【００１２】また、三次元計測（ｅ）のポイント計測に
おいて、測定対象物にマーク等を貼らない場合には、作
業者が撮影された画像上を観察しながら計測点を指示し
て計測する必要があった。このため、測定点が多いと手
間や時間がかかっていた。また、精度良く計測しようと
するとどうしても個人差が生じ易く、計測不能といった
事態も生じていた。

【００１３】対象物にマークを貼って計測すれば上記事
態を避けることができるが、その場合には、前述のよう
にマークを貼るための手間が新たに生じ、対象物によっ
てはマークを貼ることが難しかったり計測不能になるこ
ともあった。

【００１４】面計測の場合は、前処理としてステレオマ
ッチングによる自動計測を行う際のテンプレート画像の
決定や、最適な探索幅の決定等を人手により行う必要が
あった。更に、ミスマッチング点等があった場合は人手
を介して修正を行う必要があり、結局自動化することが
難しかった。

【００１５】本発明は、このような従来技術の問題点に
鑑み、標定作業から三次元計測までを自動的に効率良く
かつ高精度で行える形状測定装置及びその形状測定用の
画像形成装置を提供するものである。

【００１６】

【課題を解決するための手段】本願第１発明の形状測定
装置は、基準となる特徴パターンが設けられた測定対象
物を異なる方向から撮影した一対の第１撮影画像と、基
準となる特徴パターンが設けられていない測定対象物を
第１撮影画像の撮影方向と同じ方向から撮影した一対の
第２撮影画像とに基づいて、各方向で得られた第１撮影
画像と第２撮影画像との差をとり特徴パターンを抽出す
る特徴パターン抽出部と、特徴パターン抽出部で得られ
た差分画像から、一対の第１撮影画像又は第２撮影画像
の位置関係を求める位置関係算出部と、前記位置関係算
出部で求めた位置関係に基づき、第１撮影画像又は第２
撮影画像が立体視可能なステレオモデルとなるように関
係付けるステレオモデル形成部と、ステレオモデル形成
部で形成されたステレオモデルに基づいて対象物の形状
を求める形状測定部と、から構成されることを特徴とし
ている。

【００１７】前記特徴パターン抽出部は、各方向から得
られた第１撮影画像と第２撮影画像との差をとった差分
画像と、予め記憶されている基準特徴パターン画像とを
比較して特徴パターン画像を抽出するように構成するこ
とができる。

【００１８】前記特徴パターン抽出部は、各方向から得
られた第１撮影画像と第２撮影画像との差をとった差分
画像と、予め記憶されている基準特徴パターン画像との
比較を、テンプレートマッチング法により行い特徴パタ
ーン画像を抽出するように構成することができる。

【００１９】前記特徴パターン抽出部は、テンプレート
マッチング法を施し粗検出を行った後に、特徴パターン
付近の画像に対して所定の処理を行い精密検出を行い特
徴パターン画像を抽出するように構成することができ
る。

【００２０】本願第２発明の形状測定用画像形成装置
は、測定対象物に基準となる特徴パターンを選択的に形
成する特徴パターン形成部と、基準となる特徴パターン
が形成された測定対象物を異なる方向から一対の第１撮
影画像として、又基準となる特徴パターンが形成されて
いない測定対象物を第１撮影画像の撮影方向と同様な方
向から第２撮影画像として撮影する画像形成部とから構
成されることを特徴としている。

【００２１】前記特徴パターン形成部は、測定対象物に
基準となる特徴パターンを選択的に投影する特徴パター
ン投影部で構成することができる。

【００２２】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００２３】図１は本発明における計測の流れを示して
おり、図２は本発明の形状測定装置を概念的に示すブロ
ック図である。

【００２４】ａ．対象物のステレオ撮影 まず、コントローラ４からの指示によって特徴パターン
投影部３から測定対象物０に特徴パターンをあてる。そ
して、測定対象物０の画像を左右画像撮影部１及び２に
より撮影し、特徴パターン抽出部５に画像データを転送
する。

【００２５】左右画像撮影部１及び２は、図３に示すよ
うに、光学系１１、ＣＣＤ１２、ＣＣＤドライバ１３、
オペアンプ１４、Ａ／Ｄ変換器１５等から構成される。

【００２６】図５と図６は、特徴パターンの例を示して
いる。これらの特徴パターン２０は円形で構成されてい
るが、特徴パターン投影によるマーク像の位置が求めら
れるものであれば、円形以外のどんな形状のものでも良
い。

【００２７】特徴パターン投影部３は、スライドプロジ
ェクターやレーザポインタ等、特徴パターン２０を投影
できるものなら何でもよい。

【００２８】図４は、特徴パターン抽出部５の詳細なブ
ロック図である。

【００２９】左右画像撮影部１及び２により転送される
画像データは、図３のＡ／Ｄ変換器１５によりデジタル
データに変換され、特徴パターン抽出部５の特徴パター
ン投影用画像メモリ５１に転送される。

【００３０】次に，コントローラ４からの指示により、
特徴パターン投影を停止し、左右画像撮影部１及び２に
より特徴パターンなしの画像を撮影し、特徴パターン抽
出部５の特徴パターンなし用画像メモリ５２にデジタル
画像データを転送する。

【００３１】特徴パターン投影用画像メモリ５１と特徴
パターンなし用画像メモリ５２に画像転送が終わった
ら、コントローラ４の指示により、画像差分演算器５３
を通して二つの画像を差分する。そして、差分画像を、
特徴パターン画像メモリ５４に取り込む。

【００３２】この結果、特徴パターン画像メモリ５４内
のデータは、測定対象物０の画像情報が消去されたも
の、すなわち特徴パターン２０に関する情報（マーク像
のデータ）のみとなる。

【００３３】ｂ．位置検出 標定処理を行うために，特徴パターン投影によるマーク
像の位置検出を行う。

【００３４】特徴パターン位置検出部５５により、特徴
パターン画像メモリ５４内の特徴パターン座標位置を検
出する。

【００３５】特徴パターン２０は、その位置が明確にわ
かるものであればどんな形状のものでも良いが、ここで
は図５や図６のような特徴パターン２０を仮定する。ま
た、特徴パターンは図５や図６のように６点以上あれ
ば，何点でもかまわない。

【００３６】特徴パターン画像メモリ５４には特徴パタ
ーン投影によるマーク像以外の情報は含まれていないた
め、誤検出をなくすことができる。更に、自動で位置検
出を行うことが容易になるので、常に安定した位置座標
検出を個人差なく高精度で行うことができる。

【００３７】ここでは、点の概略位置検出にテンプレー
トマッチング法を用い、詳細位置検出にモーメント法を
用いる場合を説明する。

【００３８】テンプレートマッチング法については相関
法の一種である残差逐次検定法（ＳＳＤＡ法）を説明す
るが、正規化相関法等を使用しても良い。また、詳細位
置検出にはモーメント法でなくＬＯＧフィルタ法等を用
いても良い。

【００３９】以下、位置検出処理について説明する。

【００４０】（概略位置検出） １．テンプレート画像を登録する。

【００４１】テンプレート画像は、図５や図６の投影特
徴パターン２０の一つのマークと似たようなシミュレー
ション画像を作成しても良い、あるいは、実際の画像を
どれか選んで用いても良い。

【００４２】２．Ｓ＞Ｒ（ａ，ｂ）となる点を画像全体
で探索する（数式１参照）。

【００４３】Ｒ（ａ，ｂ）が０に近いほど類似度が高
い。Ｓは適当な値を前持って決めておく。この場合、特
徴パターン以外の画像情報は消去されているため容易に
決定できる。テンプレートマッチングには正規化相関法
等を用いても良いが、残差逐次検定法を使用すれば、処
理をさらに高速化できる。

【００４４】［残差逐次検定法（ＳＳＤＡ法）］ＳＳＤ
Ａ法の原理図を図７に、式を数式１に示す。

【００４５】残差Ｒ（ａ，ｂ）が最小になる点が求める
マークの位置である。

【００４６】

【数１】 式の加算において、Ｒ（ａ，ｂ）の値が過去の残差の最
小値を越えたら加算を打ち切り、次の（ａ，ｂ）に移る
よう計算処理を行うことにより、処理の高速化をはかる
ことができる。

【００４７】３．Ｒ（ａ，ｂ）最小かつ隣接するマーク
位置の間隔等の条件により、投影特徴パターンのマーク
位置をマーク数分決定し、位置座標とする。

【００４８】（詳細位置決定） １．探索領域決定 前述の（概略位置検出）によって決まった点に対し、そ
こを中心とした探索領域を設定する。

【００４９】２．マーク領域の決定 探索領域について、濃度値がしきい値以上の領域を一つ
のマークとする（図８参照）。

【００５０】しきい値は、ある適当な値を予め決めてお
く。画像は、マーク以外は差分処理を施しているため殆
ど０となっている。

【００５１】３．重心位置算出 モーメント法を行い、重心位置座標を算出する。

【００５２】［モーメント法］図８に示されている通
り、しきい値Ｔ以上の点について（マークＫ）、以下の
式を施す。

【００５３】

【数２】

【００５４】

【数３】 この数式２及び数式３によって、サブピクセル位置まで
重心位置が算出可能となる。

【００５５】４．点数分だけ１〜３を行う。

【００５６】以上で、図５あるいは図６のような特徴パ
ターン投影によるマーク像の位置座標を算出することが
できる。

【００５７】概略位置検出を行わずに、最初から詳細位
置検出を行っても良く、また、他のアルゴリズムによっ
て位置検出しても構わない。

【００５８】いずれにしても，画像は特徴パターン情報
のみなので、高速かつ、高精度に位置を算出することが
可能である。

【００５９】ｃ．標定 次に，特徴パターン位置検出部５５で求めた座標値を姿
勢算出部６に送り、標定計算を行う。

【００６０】この計算により、左右それぞれのカメラの
位置等が求めるられる。

【００６１】次の共面条件式により、それらのパラメー
タを求める。

【００６２】

【数４】 モデル座標系の原点を左側の投影中心にとり、右側の投
影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線
長を単位長さにとる。このとき求めるパラメータは、左
側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右
側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ
軸の回転角ω２の５つの回転角となる。この場合、左側
のカメラのＸ軸の回転角ω１は０なので、考慮する必要
ない。

【００６３】このような条件にすると、数式４の共面条
件式は数式５のようになり、この式を解けば各パラメー
タが求まる。

【００６４】

【数５】 ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間
には、次に示すような座標変換の関係式が成り立つ。

【００６５】

【数６】

【００６６】

【数７】 これらの数式を用いて、次の手順により、未知パラメー
タを求める。 １．初期近似値は通常０とする。 ２．共面条件式５を近似値のまわりにテーラー展開し、
線形化したときの微分係数の値を数式６、７により求
め、観測方程式をたてる。 ３．最小二乗法をあてはめ、近似値に対する補正量を求
める。 ４．近似値を補正する。 ５．補正された近似値を用いて、上記２．〜５．までの
操作を収束するまで繰り返す。

【００６７】仮に、どこかのマークが対象物の形状等
で、うまく位置検出されていない場合には、収束しない
場合がありうる。その場合は、１点１点削除して、上記
１〜５までを行い、収束したもの、あるいは、一番良い
もののパラメータを使用する。

【００６８】ｄ．ステレオモデル形成 次に、標定により求められたパラメータにより、立体視
可能なステレオモデル座標系へ画像を変換し、ステレオ
モデルを形成する。

【００６９】モデル座標への変換式は以下のようにな
る。

【００７０】

【数８】

【００７１】

【数９】

【００７２】

【数１０】 このようにして、三次元計測が可能な状態となる。

【００７３】ｅ．三次元計測 （１）ポイント計測 図６のような６点以上の特徴パターン２０を使用し、複
数のマークを位置検出（ｂ）と同様な処理をすることに
より、その三次元座標を自動で高精度に求められる。 （２）面計測 図６のような投影特徴パターン２０を使用することによ
り、ステレオマッチングの初期値とすることが可能とな
る。

【００７４】面計測の場合の初期値の決めかたについて
説明する。

【００７５】図９と図１０は説明図であり、図６のよう
な投影特徴パターンのうちの一部について抜き出したも
のである。図９は基準とする基準画像、図１０は探索を
行う捜索画像である。これら基準・捜索画像は、左右ど
ちらの画像でもよい。例えば、左画像を基準画像、右画
像を捜索画像と決める。

【００７６】投影特徴パターンは基準画像Ｓ’１、Ｓ’
２、Ｓ’５、Ｓ’６に対し捜索画像上ではＳ１、Ｓ２、
Ｓ５、Ｓ６が対応している。

【００７７】対応点探索は、基準画像中の基準データブ
ロックをテンプレート画像として、捜索画像中の捜索領
域にステレオマッチングを施すことにより行う。ステレ
オマッチングには画像相関処理等を使用する。

【００７８】［捜索領域の決定］投影特徴パターンをも
とに、捜索領域を決定する方法について説明する。

【００７９】投影特徴パターンＳ１〜Ｓ２（水平方向）
を幅Ａ、Ｓ１〜Ｓ５（垂直方向）を幅Ｂとし、Ｓ１，Ｓ
２、Ｓ５，Ｓ６で囲まれた部分を捜索領域Ｒ１とする。
以下同様にＳ２，Ｓ３、Ｓ６，Ｓ７で囲まれた部分を捜
索領域Ｒ２、…と順次それぞれの投影特徴パターンで囲
まれた部分を捜索領域として決定する。

【００８０】実際の投影特徴パターンによるマーク像
は、それぞれ図１１に示されるように、対象物の形状や
ＣＣＤの向きによって同一ライン上にあるとは限らな
い。そこで、各投影特徴パターンの４点から最大のＡ、
Ｂの幅が得られるような四角形を作成し、捜索領域とす
る。例えば図１１では、Ｓ１，Ｓ２，Ｓ５，Ｓ６でとり
うる最大の幅は水平方向Ａ１，垂直方向Ｂ１となり、こ
れで作成した四角形の領域を捜索領域Ｒ１、同様に、Ｓ
２，Ｓ３，Ｓ６，Ｓ７でとりうる最大幅Ａ２，Ｂ２で作
成される四角形を捜索領域Ｒ２とする。このようにする
と、多少オーバーラップする領域ができるが、Ｒ１、Ｒ
２領域の境界も確実に探索が可能となる。

【００８１】これは、既に求めた捜索画像中のマーク像
の位置に基づいて、捜索画像に捜索領域の範囲を決定す
るものである。

【００８２】図１２はこの捜索領域決定の変形例であ
る。

【００８３】例えば、それぞれの投影特徴パターンは、
左右画像上ですでに対応点として求められているので、
捜索領域の捜索開始位置と終了位置を投影点近隣の領域
とすると効率がよい。すなわち、図１１の例だと、垂直
方向にＳ１からＳ５まで捜索幅Ａ１づつ探索を進めてい
くと、Ｓ５のライン周辺に近づくにつれ、無駄な探索領
域（明らかに対応点が存在しない領域）がでる。

【００８４】そこで、図１２のＳ１〜Ｓ５間（垂直方
向）の１／２のＤ１までは、Ｓ１と同一の水平方向の点
を捜索領域の開始点とし、Ｄ１〜Ｓ５間ではＤ１とＳ５
を結んだ線上を水平方向の捜索開始点にとる。

【００８５】このような処理を各投影点につき捜索領域
として設定し、捜索領域を多少オーバーラップさせなが
らステレオマッチングを行えば、ある程度効率のよい探
索が可能となる。

【００８６】図１３、図１４は、捜索領域中の捜索デー
タブロックを設定することにより、さらに捜索領域の探
索を効率化したものである。

【００８７】たとえば、捜索画像中のマークＳ１〜Ｓ２
のＡ１の区間において、図９で示される基準画像上の基
準データブロックＴ１、Ｔ２、Ｔ３…、それぞれに対応
する捜索領域上の位置を求めるとき、それぞれの捜索デ
ータブロックを図１３で示されるように、Ｕ１、Ｕ２、
Ｕ３、…、と何ブロックかにわけて設定する。このよう
にすれば、捜索領域探索における時間を短かくし効率的
に探索できる。この場合、捜索データブロックの範囲
は、基準データブロックをいくつにとるかで決定でき
る。例えば基準画像Ｓ’１〜Ｓ’２のＡ’間でｎ個基準
データブロックを設定するとすれば、Ａ１／ｎ、あるい
はＡ１／（ｎ−１）等とすれば良い。（ｎ−１）とした
のは、多少捜索データブロックをオーバーラップさせて
探索を行う場合である。

【００８８】これは、既に求めた捜索画像中のマーク像
の位置及び捜索領域の位置に基づいて、捜索画像に捜索
領域の範囲を設定するものである。見方を変えると基準
画像中のマーク像の位置及び基準データブロック位置と
の位置関係に基づいて、捜索画像に捜索領域の範囲を設
定するものともいえる。

【００８９】図１３の方式の変形例が図１４に示されて
いる。これは、捜索データブロックのサイズを可変とし
たものである。すなわち、マークＳ１、Ｓ２の近隣領域
は、基準データブロックに対する対応点が近くにあるこ
とがわかっているので、捜索データブロックのサイズを
小さく、離れるにしたがって対応点位置が不確かとなる
ため大きくするものである。従って、基準データブロッ
クがＡ’／２の位置で最大の捜索データブロックサイズ
となる。

【００９０】これら捜索データブロックのサイズは、Ｓ
１〜Ｓ２の捜索領域Ａ１より決定する。

【００９１】例えば、ｎをＡ’間の基準データブロック
数とすれば、 ・Ｓ１〜Ｓ１＋Ａ１／２の区間の捜索データブロックサ
イズ： （１＋ｔ×ｉ／ｎ）×Ａ１／ｎ、 ・Ｓ１＋Ａ１／２〜Ｓ２の区間の捜索データブロックサ
イズ： （１＋ｔ×（ｎ−ｉ）／ｎ）×Ａ１／ｎ、 但し、ｉはそれぞれの基準データブロックに対応する捜
索データブロックの位置、すなわちｉ＝１〜ｎとする。
また、ｔは倍率の定数で所定の値に設定する。例えばＳ
１＋Ａ１／２の位置でＳ１の位置（Ｕ１）の捜索データ
ブロックサイズの倍にしたければ２を選ぶ。

【００９２】これら捜索データブロックサイズは、基準
画像中のマークＳ’１、Ｓ’２及び基準データブロック
Ｔ１，Ｔ２、…、に基づいて決定してもよい。その際
は、上述のＡ１をＡ’とし、倍率Ａ１／Ａ’を加味した
項を掛け合わせる。

【００９３】このように、捜索領域及び捜索データブロ
ックを設定することにより、対応点探索を効率よく、す
なわち高速かつ信頼性を高めながら行うことが可能とな
る。

【００９４】この方式では、捜索画像中のマーク像の位
置及び捜索領域の位置との位置関係に基づいて、見方を
変えれば基準画像中のマーク像の位置及び基準データブ
ロック位置との位置関係に基づいて、捜索画像に捜索領
域の範囲の大きさを設定している。

【００９５】［基準データブロックの決定］基準となる
基準データブロックは、基準画像上のＳ’１、Ｓ’２、
Ｓ’５、Ｓ’６、あるいは捜索画像上のＳ１、Ｓ２、Ｓ
５、Ｓ６から決定する。例えば基準画像（図９）Ｓ’１
〜Ｓ’２をＡ’、Ｓ’１〜Ｓ’５をＢ’とすれば、水平
方向の基準データブロック幅はＡ’／ｎ、垂直方向は
Ｂ’／ｍのように決定できる。

【００９６】あるいは、左右画像の比率に比例した大き
さにしてもよい。例えば、水平方向はＡ’／Ａ＊ｎ、垂
直方向は、Ｂ’／Ｂ＊ｍのように設定する。

【００９７】ｎ、ｍは計測したい対象物の大きさと画素
数の関係によって適切な大きさを求めることができる
が、Ａ’、Ｂ’の値によって適宜定数としても良い。

【００９８】図１５は基準データブロックサイズを１種
類でなく３種類として相関積をとりながら、上述の処理
と同様にステレオマッチングしていく方法である。この
場合も、この３種類のサイズをＡ’，Ｂ’の情報をもと
に決定できる。

【００９９】図１６は、本発明の基準データブロック決
定における更なる変形例である。Ｓ’１及びＳ’２近隣
の領域は、基準・捜索画像上で比較的対応が取れている
ために基準データブロックは小さくてよいが、離れるに
したがって、対応位置が不確かとなるため基準データブ
ロックサイズを動的に変化させる。たとえば、Ｔ１位
置、Ｔ２位置、Ｔ３位置において図１４のように基準デ
ータブロックを拡大していく。そして、基準データブロ
ック位置がＡ’／２地点で最大の大きさとする。Ａ’／
２からＳ’２に向かっては、基準データブロックサイズ
を逆に順次小さくしていく。

【０１００】このようにすることにより、ステレオマッ
チングの信頼性を高めることができる。

【０１０１】これら基準データブロックサイズは、Ｓ’
１〜Ｓ’２の水平方向の幅Ａ’、Ｓ’１〜Ｓ’５の垂直
方向の幅Ｂ’より決定する。

【０１０２】例えば、ｎ，ｍをＡ’、Ｂ’間の基準デー
タブロック数とすれば、 ・Ｓ’１〜Ｓ’１＋Ａ’／２の区間の基準データブロッ
クサイズ： 水平方向：（１＋ｔ×ｉ／ｎ）×Ａ’／ｎ、 垂直方向：（１＋ｔ×ｌ／ｍ）×Ｂ’／ｍ ・Ｓ’１＋Ａ’／２〜Ｓ’２の区間の基準データブロッ
クサイズ 水平方向：（１＋ｔ×（ｎ−ｉ）／ｎ）×Ａ’／ｎ、 垂直方向：（１＋ｔ×（ｍ−ｉ）／ｍ）×Ｂ’／ｍ 但し、ｉ，ｌはそれぞれの基準データブロック位置、す
なわちｉ＝１〜ｎ、ｌ＝１〜ｍとする。

【０１０３】ここで、ｔは倍率の定数であり、所望の値
に設定する。例えばＳ’１＋Ａ’／２の位置でＳ’１の
位置（Ｔ１）の基準データブロックサイズの倍にしたけ
れば２を選ぶ。

【０１０４】このようにすれば、基準データブロックを
可変にできる。

【０１０５】また、図１５のような３種類の基準データ
ブロックを上述の例のように可変とし、相関積をとるこ
とにより、ステレオマッチングしていけば、更に信頼性
の高い対応点探索が可能となる。

【０１０６】これら基準データブロックの決定は、捜索
画像におけるマークＳ１，Ｓ２によって同様に行っても
よい。その際は、Ａ’をＡ１、Ｂ’をＢ１として更に基
準画像と捜索画像の倍率Ａ’／Ａ１を加味した項を掛け
合わせる。

【０１０７】以上のようにすることによって、各初期値
が自動で求められる。

【０１０８】次に、実際に行う計測（ステレオマッチン
グ）の手順について説明する。

【０１０９】例として図６の投影特徴パターンＳ１〜Ｓ
８の場合について、図９、１１により説明する。

【０１１０】垂直方向は標定処理が終了し、縦視差が除
去されている（位置合わせしてある）ので、基準画像、
捜索画像の同一ライン上を探索するだけで良い。また捜
索データブロックを設定する際は、各捜索領域において
上述のように適宜設定して行う。

【０１１１】１．捜索画像のＳ１〜Ｓ２までの捜索領域
Ｒ１の水平方向のラインＬ１の探索幅Ａ１に対し、基準
画像中のＴ１、Ｔ２、Ｔ３、…の基準データブロックで
順次対応点探索を行う。

【０１１２】これら初期値は、先に述べたような方法で
決定しておく。

【０１１３】捜索領域Ｒ１のラインＬ１上のＡ１が終了
したら、 ２．Ｓ２〜Ｓ３の捜索領域Ｒ２に対し、この領域で決め
られた基準データブロック位置からラインＬ１のＡ２上
の対応点探索を順次繰り返す。

【０１１４】３．次に、Ｓ３〜Ｓ４の捜索領域Ｒ３のラ
インＬ１のＡ３を対応点探索する。捜索領域Ｒ３に対し
ては、この領域で決められたテンプレートサイズ、位置
で順次行う。

【０１１５】ラインＬ１の対応点探索が終了したら、次
のラインＬ２に移動して、また、捜索領域Ｒ１の探索幅
Ａ１から、対応点探索を１〜３と同様に繰り返す。

【０１１６】これを必要なライン数分繰り返す。

【０１１７】以上のようにすれば、投影特徴パターンの
位置から、ステレオマッチングする際の初期値、すなわ
ち、捜索領域、捜索データブロック、および基準データ
ブロックを自動で決定し、自動計測が可能となる。

【０１１８】さらに、基準・捜索画像の捜索領域と基準
データブロックをＡ’、Ｂ’以内と限定できるため、通
常のステレオマッチングよりはるかに高速な処理が可能
となる。すなわち、通常は、各探索位置において１水平
ライン分（図６、line）ステレオマッチングを行うので
あるが、その処理時間が投影点の数により数分の１とな
る。

【０１１９】また、基準・捜索画像上の対応領域があら
かじめ限定され求められているため、ミスマッチングが
大幅に減少できる。すなわち、ステレオマッチングの信
頼性を大幅に向上させることができる。

【０１２０】これに加えて、基準データブロックや捜索
領域、捜索データブロックを投影点の位置情報により適
切に決定できるので、更にステレオマッチングの信頼性
が高められる。

【０１２１】また、基準データブロックや捜索データブ
ロックをその探索位置により動的に可変可能となるの
で、信頼性がそれ以上に高められる。

【０１２２】そして、これらステレオマッチングは、投
影特徴パターンのない画像上で行えるので特徴パターン
による誤検出が生じない。また、特徴パターンがない画
像は画像データベースとしての価値が生じ，計測と同時
に原画像の蓄積が行える。

【０１２３】さらに、前述の実施例によれば、特徴パタ
ーンを投影した画像と投影しない画像を使用するため
に、対象物に計測用のマークを貼るという作業が必要な
くなり、マークの貼れないような対象物においても計測
が可能になる。

【０１２４】このように、特徴パターンがある画像とな
い画像を差分することにより、特徴パターン情報のみの
画像が作成できることから、特徴パターン位置検出〜標
定〜ステレオモデル形成〜三次元計測までを、人手によ
らず自動で精度良く行うことが可能となる。すなわち、
従来熟練を要し煩雑であった人手による標定作業と三次
元計測作業をなくすことができ、すべてを自動で行って
信頼性を向上することが可能となる。

【０１２５】さらに，カメラをステレオ運台上に強固に
固定する必要はなく、現場で２台のカメラをラフに設置
して撮影するだけで、高精度な三次元計測が可能になる
ので、現場や対象物によらず簡便に計測可能であるとい
う卓越した効果がある。

【０１２６】また，特徴パターンの点を増やすことによ
り，ステレオマッチングの初期値とすること、すなわち
自動で探索幅、テンプレート画像の決定を行いステレオ
マッチングすることが可能となり、更にステレオマッチ
ング時間の短縮と信頼性を大幅に向上させながら，対象
物の表面形状を自動測定できるという卓越した効果があ
る。

【０１２７】

【発明の効果】本発明の形状測定装置によれば、基準と
なる特徴パターンが設けられた測定対象物を異なる方向
から撮影した一対の第１撮影画像と、基準となる特徴パ
ターンが設けられていない測定対象物を第１撮影画像の
撮影方向と同じ方向から撮影した一対の第２撮影画像と
に基づいて、標定作業から三次元計測までを人手を介さ
ずに自動的に効率良くかつ高精度に行うことができる。

【０１２８】また、本発明の形状測定用画像形成装置に
よれば、基準となる特徴パターンが設けられた測定対象
物を異なる方向から撮影した一対の第１撮影画像と、基
準となる特徴パターンが設けられていない測定対象物を
第１撮影画像の撮影方向と同じ方向から撮影した一対の
第２撮影画像を形成することができる。

【図面の簡単な説明】

【図１】本発明の形状測定装置における計測の流れを示
すブロック図。

【図２】本発明の形状測定装置を概念的に示すブロック
図。

【図３】形状測定装置の左右画像撮影部を示す概念図。

【図４】形状測定装置のパターン抽出部を示すブロック
図。

【図５】投影パターンの一例を示す平面図

【図６】投影パターンの別の例を示す平面図

【図７】ＳＳＤＡ法によるテンプレートマッチングを示
す説明図。

【図８】モーメント法を示す説明図。

【図９】基準画像を示す説明図。

【図１０】捜索画像を示す説明図。

【図１１】捜索画像を示す説明図。

【図１２】捜索画像を示す説明図。

【図１３】捜索画像を示す説明図。

【図１４】捜索画像を示す説明図。

【図１５】基準画像を示す説明図。

【図１６】基準画像を示す説明図。

【符号の説明】

０ 測定対象物 １，２ 左右画像撮影部 ３ パターン投影部 ４ コントローラ ５ パターン抽出部 ６ 姿勢算出部 ７ ステレオモデル形成部 ８ 形状測定部 ９ テンプレートマッチング画像 １０ 形状測定装置 １１ 光学系 １２ ＣＣＤ １３ ＣＣＤドライバ １４ オペアンプ １５ Ａ／Ｄ変換器 ２０ 投影パターン ５１ パターン投影用画像メモリ ５２ パターンなし用画像メモリ ５３ 画像差分演算部（器） ５４ パターン画像メモリ ５５ パターン位置検出部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 基準となる特徴パターンが設けられた測
   定対象物を異なる方向から撮影した一対の第１撮影画像
   と、基準となる特徴パターンが設けられていない測定対
   象物を第１撮影画像の撮影方向と同じ方向から撮影した
   一対の第２撮影画像とに基づいて、各方向で得られた第
   １撮影画像と第２撮影画像との差をとり特徴パターンを
   抽出する特徴パターン抽出部と、 特徴パターン抽出部で得られた差分画像から、一対の第
   １撮影画像又は第２撮影画像の位置関係を求める位置関
   係算出部と、 前記位置関係算出部で求めた位置関係に基づき、第１撮
   影画像又は第２撮影画像が立体視可能なステレオモデル
   となるように関係付けるステレオモデル形成部と、 ステレオモデル形成部で形成されたステレオモデルに基
   づいて対象物の形状を求める形状測定部と、 から構成される形状測定装置。
2. 【請求項２】 請求項１記載の形状測定装置において、 前記特徴パターン抽出部は、各方向から得られた第１撮
   影画像と第２撮影画像との差をとった差分画像と、予め
   記憶されている基準特徴パターン画像とを比較して特徴
   パターン画像を抽出するように構成されていることを特
   徴とする形状測定装置。
3. 【請求項３】 請求項１記載の形状測定装置において、 前記特徴パターン抽出部は、各方向から得られた第１撮
   影画像と第２撮影画像との差をとった差分画像と、予め
   記憶されている基準特徴パターン画像との比較を、テン
   プレートマッチング法により行い特徴パターン画像を抽
   出するように構成されていることを特徴とする形状測定
   装置。
4. 【請求項４】 請求項１記載の形状測定装置において、 前記特徴パターン抽出部は、テンプレートマッチング法
   を施し粗検出を行った後に、特徴パターン付近の画像に
   対して所定の処理を行い精密検出を行い特徴パターン画
   像を抽出するように構成されていることを特徴とする形
   状測定装置。
5. 【請求項５】 測定対象物に基準となる特徴パターンを
   選択的に形成する特徴パターン形成部と、 基準となる特徴パターンが形成された測定対象物を異な
   る方向から一対の第１撮影画像として、又基準となる特
   徴パターンが形成されていない測定対象物を第１撮影画
   像の撮影方向と同様な方向から第２撮影画像として撮影
   する画像形成部とからなる形状測定用画像形成装置。
6. 【請求項６】 請求項５記載の形状測定用画像形成装置
   において、 前記特徴パターン形成部は、測定対象物に基準となる特
   徴パターンを選択的に投影する特徴パターン投影部で構
   成されていることを特徴とする形状測定用画像形成装
   置。