JPH0495806A - ３次元位置計測装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、２台のＴＶ左カメラ観Ｇｌ対象を撮像し、
その視差を用いて観測対象の３次元位置を計測する３次
元位置計測装置に関する。

〔従来の技術〕

従来の３次元位置計測には、 （１）ロボットのアーム先端に接触式の位置検出プロー
ブを取り付け、この位置検出プローブを観測対象物に実
際に接触させて対象物の位置、形状を計測する方法 （２）レーザ光を観測対象物に照射し、その反射光の強
度変化から欠陥位置などを計測する光切断法 （３）２台のカメラによって観測対象物を撮像し、撮像
画像中のエツジなとの特徴点を識別することにより対象
物の位置、形状を計測する２眼ステレオのよる方法 等かある。

〔発明が解決しようとする課題〕

しかしなから、上記（１）の方法は実際にロボットを動
かして観測対象物の各点にプローブを接触しなければい
けないので、計測に時間かかかるという問題がある。ま
た、上記（２）の方法では、レーザ光を走査、照射する
機構が複雑で高価であるとともに、受光カメラに特殊な
フィルタを装着する必要かある問題かある。さらに、上
記（３）の方法では、特徴点を識別することにより対象
物の位置、形状を計測するようにしているので、観測対
象物かそれぞれの画面のどこに現れているかを識別する
ことが困難であり、これか実用化の障壁となっていた。

この発明はこのような実情に鑑みてなされたもので、余
分な付加装置が不要で、高速かつ信頼性の高い３次元位
置計測をなし得る３次元位置計測装置を提供することを
目的とする。

〔課題を解決するための手段〕

この発明では、同一高さ位置に並設され、それぞれ観測
対象物を撮像する２台の撮像手段と、これら２台の撮像
手段の撮像データをグレイスケール画像データ（中間調
画像データ）として記憶する第１および第２の画像メモ
リ手段と、前記観測対象物の基本モデルをクレイスケー
ル画像データとして記憶するモデルメモリ手段と、前記
第１および第２の画像メモリ手段の各画像データと前記
基本モデルとの相関を取り、前記各画像メモリ手段上の
最大相関係数をとるマツチング点をそれぞれ求める相関
演算手段と、前記第１および第２の画像メモリ手段にお
ける各マツチング点の座標位置と、あらかじめ設定され
た前記２台の撮像手段の焦点深度および２台の撮像手段
の設置間距離とを用いて前記観測対象物の３次元位置を
求める３次元位置演算手段とを具えるようにする。

〔作用〕

かかる構成によれば、２台の撮像手段によって撮像した
観測対象物の画像をグレイスケール画像データとしても
つとともに、相関演算に用いる観測対象物の基本モデル
パターンもグレイスケール画像データとしてもつように
し、この基本モデルパターンと一致または似ているパタ
ーンを相関演算によって前記２台の撮像手段による各撮
像ブタの中から探す。相関係数か最大の点をマツチング
点とすると、各撮像データの中からマツチング点の座標
を求め、これら一対のマツチング点の座標と前記２台の
撮像手段の焦点深度および２台の撮像手段の設置間距離
とを用いて前記観測対象物の３次元位置を求める。

〔実施例〕

以下、この発明の実施例を添付図面にしたかって詳細に
説明する。

第１図は、この発明の実施例を原理的に示すもので、２
台のＴＶカメラ＃］、＃２を同一高さ位置に併置してお
り、これら２台のＴＶカメラ＃１、＃２で観測対象物３
をそれぞれ撮像する。この場合、２台のカメラ＃１、＃
２か併置された方向をＸ方向とし、高さ方向をＹ方向と
し、観測対象物３へ向かう方向をＺ方向としている。こ
の第１図では、ＴＶカメラ＃１、＃２のイメージ面のみ
を示している。各ＴＶ右カメラ１、＃２においては、各
々のカメラのイメージ面の中心（光軸かイメージ面と交
わる点）を各画像データの原点とし、地上での絶対座標
系（Ｘ、Ｙ、Ｚ）の原点をカメラ＃］の焦点位置に設定
し、カメラ＃１、＃２の設置間隔をｈとし、焦点深度を
ｆとする。

かかる構成において、観測対象物３を２台のＴＶカメラ
＃１、＃２て撮像しｔ：とすると、これら２台のＴＶカ
メラ＃１、＃２は同一高さ位置に設定されているので、
観測対象物３は各カメラにおいて、同一のｙ座標もしく
は１〜２画素程度の違いとして現れるので、この場合は
、２台のＴＶカメラ＃１、＃２てのｙ方向の座標位置を
同じに設定する。これにより、観測対象物がＴＶカメラ
＃１には座標（ｘ＋、ｙ）に現れ、ＴＶカメラ＃２には
座標（Ｘ２．Ｙ）に現れたとすると、観測対象物３の絶
対座標系（Ｘ、Ｙ、Ｚ）に置ける位置は以下のように現
される。

Ｘ＝ｈ−ｘ１／　（ｘ＋　−Ｘ２　）−（１）Ｙ−ｈ　
−ｆ／　（ｘ＋　−Ｘ２　）　　　・・（２）Ｚ＝ｈ　
−ｙ／　（ｘ＋　−Ｘ２　）　　−（３）第２図はこの
発明の実施例を示すもので、ＴＶカメラ＃１、＃２の画
像データはマルチプレクサ３を介して択一的にカメラ制
御回路４に人力される。カメラ制御回路４はＴＶカメラ
＃１、＃２のクロック制御、入力されたカメラ＃１、＃
２の画像データのＡ／Ｄ　（アナログデジタル）変換な
との処理を実行する。カメラ制御回路４てＡ／Ｄ変換さ
れた画像データはフレームメモリ］０．２０に入力され
る。フレームメモリ１０．２０はそれぞれＴＶカメラ＃
１、＃２の画像データを取り込んで記憶するもので、各
画像データは第３図に示すようにＷ　ｉ　Ｘ　Ｈｉの画
素からなり、それぞれの画素は２°階調の異なった明る
さを表現するためにｎビットからなっている。モデルメ
モリ３０には、フレームメモリ１０．２０に記憶した画
像ブタとの相関をとるために観測対象物３の基準モデル
パターンが設定記憶されている。この基準モデルパター
ンは、第３図に示すように、前記フレムメモリ］０．２
０の記憶画像データより少ない画素数のＷ　ｍ　Ｘ　Ｈ
ｍの画素からなり、前記同様それぞれの画素が２　階調
の異なった明るさを表現するためにｎビットからなって
いる。この基準モデルパターンは、観測対象物３の位置
計測に先立ってＴＶカメラ＃１、＃２のいずれかで観測
対象物３を撮像した撮像データを切り出して設定登録す
るようにしてもよく、あるいは所要の観測対象物に対応
する画像データを３次元位置計測に先立って予めシステ
ムに登録記憶するようにしてもよい。

パラメータ設定器４０は先の（１）〜（３）式で用いる
カメラ＃１、＃２の設置間隔りや焦点深度ｆ等のパラメ
ータを設定するものである。相関演算器５０ては、フレ
ームメモリ１０．２０に記憶されたＴＶカメラ＃１、＃
２の画像データとモデルメモリ３０に設定登録された観
測対象物３の基準モデルパターンとの相関をとり、それ
ぞれの相関係数を求める処理を実行する。メモリ７０に
はＣＰＵ６０を動作させるための所定のプログラムか記
憶されており、ＣＰＵ６０はこのプログラムに従って相
関演算器５０て求めた相関係数の最大マツチング点を求
める処理などを実行する。モニタＴＶ８０にはＤ／Ａ変
換器７５を介してフレームメモリ１０，２０の記憶画像
データが入力されることによりＴＶカメラ＃１、＃２の
撮像ブタが選択的に表示される。

以下、第４図のフローチャートなどに従って上記実施例
装置の作用を説明する。

まず、ＣＰＵ６０は観測対象物３の位置計測を実行する
際には、ＴＶカメラ＃１、＃２の画像デ夕をカメラ制御
回路４を介して取り込み、該取り込んだ画像データをフ
レームメモリ１０．２０に記憶する（ステップ１００、
］］０）。次に、ＣＰＵ６０はますフレームメモリ］Ｏ
に記憶したカメラ＃１の画１象データについてモデルメ
モリ３０の基準モデルとの相関をとる処理を実行する。

すなわち、ＣＰＵ６０はフレームメモリ］Ｏに記憶した
カメラ＃］の画像データから基準モデルと同し大きさの
画像エリアを、第３図に示すように、左上部から順次抽
出し、該抽出した画像データを相関演算器５０に人力す
る。相関演算器５０ては入力された画像データとモデル
メモリ３０の基準モデルとの相関をとり、求めた相関係
数をＣＰＵ６０に入力する。次に、ＣＰＵ６０は、抽出
する画像エリアを１画素右にすらせて画像データをフレ
ームメモリ１０から抽出し、この抽出した画像データを
相関演算器５０に人力する。相関演算器５０では、前記
同様、入力された画像データとモデルメモリ３０の基準
モデルとの相関をとり、求めた相関係数をＣＰ’Ｕ６０
に入力する。以下同様にして、画像エリアを１画素ずつ
右にすらせながらフレームメモリ１０から順次画像デー
タを順次読み出し、これらの画像データと基準モデルと
の相関を順次求めていき、その後は画像エリアを１画素
下にずらせて同様の処理を実行していく。

このようにしてラスク走査と同様のスキャンによってフ
レームメモリ１０の企画面分の相関演算か終了すると（
ステップ１２０）、（Ｗｉ　−Ｗｍ＋ｌ）ｘ　（Ｈｉ−
Ｈｍ＋１）個の相関係数が求まる。ＣＰＵ６０はこれら
求まった複数の相関係数のうちの最大のものを求め、そ
れをマツチング点とし、その座標位置をカメラ＃１に関
するマツチング点の座標位置（ｘ＋　　ｙ）として記憶
しておく。

なお、基準モデルパターンを別の画面で登録した場合は
相関係数は１００％とはならないか、８０〜９０９６程
度のマツチングか通常前られる。ただし、この場合は相
関係数が極端に低い（例えば５０％以下）ときはその画
面に対象モデルか見当たらないと判断して何らかのエラ
ーメツセージを発するようにしている（ステップ１４０
）。

このようにして、カメラ＃１の画像データから座標か（
ｘｌ、ｙ）であるマツチング点が得られたとすると、今
度はカメラ＃２の画像データからマツチング点を探すの
であるか、この場合には２台のカメラの設置関係からこ
のカメラ＃２においてもｙ方向の座標に関しては座標ｙ
近傍でマツチングがとれることが判っているので、今度
は全画面をサーチせずにｙ近傍の数ラインをサーチする
ようにすることでマツチング点走査に要する所要時間を
短縮するようにする（ステップ１６０．１７０）。この
場合も適当なマツチング点が見当ｔ：らないときは何ら
かのエラーメツセージを発するようにしている（ステ・
ンプ１８０）。このようにして、カメラ＃２の画像デー
タからマツチング点の座標（ｘ２．ｙ）か求まると（ス
テップ］９０）、次にＣＰＵ６０はパラメータ設定器４
０に設定されたカメラ＃１、＃２の設置間隔りや焦点深
度ｆと先の（１）〜（３）式を用いて観測対象物３の絶
対座標（Ｘ、Ｙ、Ｚ）を求める（ステップ２００）　。

ところで、カメラで撮像した画像データをフレムメモリ
１０．２０に取り込む際、カメラの同期信号のタイミン
グすれなどにより、必ずしもフレームメモリの中心位置
とカメラ光軸が一致しないことがある。この様な場合は
、カメラを適当な手段を使ってキャリプレートし、カメ
ラ光軸のフレームメモリ上の真の座標を予め求めておき
、この座標値を使ってマツチング点の座標（ｘｎ、Ｙ）
を補正するようにすれば、より精度の高い計測を行うこ
とをできる。また、カメラのレンズには収差があるため
画像の端のほうで画像が歪む。そこで、この歪みを補正
するためのパラメータも別のキャリブレーションによっ
て求め、このパラメータを使って画像歪ろを補正するよ
うにすれば、より精度の高い計測を行うことができる。

また、モデルメモリ３０にモデルパターンを登録する際
、カメラで撮像したそのままの中間調画像を登録するの
ではなく、カメラで撮像した中間調画像データを画面の
明るさで規格化するようにすると、より画面の明るさの
変動に強い計測を行うことができる。すなわち、モデル
パターンを登録した時点から周囲の明るさか天候や照明
の変化によって変動した場合であっても、モデルパター
ンか画面の明るさで規格化されていれば、こうした影響
を取り除くことができる。なお、モデルパターンの規格
化の手法としては以下のようなものがある。

■モデルパターン内の明るさの平均値をある一定の値（
例えばグレイスケールの中間値）に合わせる。

■上記■の処理の後、平均値のシフト量に応してモデル
パターン内の明るさの分散を定倍する。

■モデルパターン内の最大の明るさと最低の明るさの値
を予め設定した値に合わせる。

なお、上記実施例では、カメラ＃１の画像をサチする際
、全画面をサーチするようにしたが、モニタＴＶ８０等
により観測対象物の位置のおおよその見当がつく場合は
、見当をつけた一部の領域のみをサーチするようにすれ
ばよい。

〔発明の効果〕

以上説明したようにこの発明によれば、２台の撮像手段
で撮像した観測対象物のグレイスケール画像データを観
測対象物のグレイスケールの基準モデルパターンと相関
をとることで観測対象物の３次元位置を計測するように
したので、余分な付加装置が不要で、高速かつ信頼性の
高い３次元位置計測をなし得るようになる。

【図面の簡単な説明】

第１図はこの発明の詳細な説明する図、第２図はこの発
明の実施例を示すブロック図、第３図は基準モデルパタ
ーンによる画像サーチを例示する図、第４図は実施例の
作用を示すフローチャートである。 ＃１．＃２・・・ＴＶカメラ、　　１０２０・・・フレ
ムメモリ、　３０・・モデルメモリ ５０・・・相関演算器　　６０・・・ＣＰＵ仁チル チルラ帽遭シイ嵌 クメラ＃２這シ傷 第２ 第４

Claims (2)

【特許請求の範囲】
1. （１）同一高さ位置に並設され、それぞれ観測対象物を
   撮像する２台の撮像手段と、 これら２台の撮像手段の撮像データをグレイスケール画
   像データとして記憶する第１および第２の画像メモリ手
   段と、 前記観測対象物の基本モデルをグレイスケール画像デー
   タとして記憶するモデルメモリ手段と、前記第１および
   第２の画像メモリ手段の各画像データと前記基本モデル
   との相関を取り、前記各画像メモリ手段上の最大相関係
   数をとるマッチング点をそれぞれ求める相関演算手段と
   、 前記第１および第２の画像メモリ手段における各マッチ
   ング点の座標位置と、あらかじめ設定された前記２台の
   撮像手段の焦点深度および２台の撮像手段の設置間距離
   とを用いて前記観測対象物の３次元位置を求める３次元
   位置演算手段と、を具える３次元位置計測装置。
2. （２）前記相関演算手段は、前記第１の画像メモリ手段
   の画像データと前記基本モデルとの相関を取ることで前
   記第１の画像メモリ手段上の最大相関係数をとるマッチ
   ング点を求めた後、前記第２の画像メモリ手段の画像デ
   ータと前記基本モデルとの相関を取る際、前記求めた第
   １の画像メモリ手段のマッチング点の位置近傍に対応す
   る第２の画像メモリ手段上の位置座標のみを部分的に走
   査することを特徴とする特許請求の範囲（１）項記載の
   ３次元位置計測装置。