JP3638569B2 - ３次元計測装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、スリットレーザを照射して光切断面から物体の形状を測定する３次元計測装置に関する。
【０００２】
【従来の技術】
産業ロボットなどでワークを処理するには、対象物の３次元位置や姿勢に関する情報を与える必要がある。従来、３次元位置・姿勢を測定する装置として、２台のＣＣＤカメラを用いたステレオ計測装置や、１台のＣＣＤカメラとレーザスリット投光器を組み合わせた光切断式３次元計測装置が用いられてきた。
ステレオ視計測装置では、２台のＣＣＤカメラで得られた画像中の対象物の視差に基づいて３次元計測を行うので、２画像間の対応を取ることが可能なエッジやテクスチャが明確に存在することが前提となる。また、光切断式３次元計測装置では、スリットレーザが当たった部分しか３次元形状情報を得ることができないため、レーザが対象物に確実に当たっていることが前提となる。
【０００３】
したがって、従来のステレオ計測装置では、２画像いずれについても特徴点となる点以外の位置については視差を算出することができないため、対象物における任意の部分について計測することができるわけではない。
また、光切断式３次元計測装置では、計測対象位置にレーザが確実に照射するように位置調整しなければならない。ところが、対象物の３次元形状は未知であるから、確実にレーザを当てるためには複数回の移動が必要になり、場合によってはタクトタイムが大きくなることがあった。
【０００４】
なお、走査機構を用いてレーザスリットを走査しスリット画像を大量に取得して処理することにより距離画像を得る装置が実用化されているが、このような装置は複雑で高価である。さらに、対象物における計測位置が予め決められるような場合には、画像全体の３次元情報を生成して計測することは効率的でない。
また、たとえば特開平４−１６９８０５には、可視光による物体像を形成するＴＶカメラと物体の距離画像を形成する赤外レーザレーダを組み合わせて物体像上の画素に距離情報を付加するようにした３次元画像測定装置が開示されている。この装置は、ＴＶカメラとレーザレーダの画角を同じにして画素毎の対応を取るため、装置構造と演算処理が複雑になる。
【０００５】
【発明が解決しようとする課題】
そこで、本発明が解決しようとする課題は、対象とする部分を測定するために対象物体に対してセンサヘッドを移動させる必要が無く、センサヘッドを動かさないで複数の測定点について３次元位置測定が可能であり、さらに対象位置に対応可能な特徴点がない場合にも測定できるような、より簡単な構造を持ち情報処理が簡単な３次元計測装置を提供することである。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の３次元計測装置は、計測対象の２次元画像を得る第１カメラと、第１カメラのレンズの光学中心近傍を通る揺動軸の周りを表面が揺動するスキャニングミラーと、このスキャニングミラー表面の揺動軸位置にスリットレーザを投射するレーザスリット投光器と、光軸がスキャニングミラーで反射するスリットレーザ面に対して角度を持ちかつ光軸が計測対象に向くようになっている第２カメラと、第１カメラと第２カメラから出力される画像信号を用いて画像処理する画像処理装置を備えるものである。
【０００７】
本発明の３次元計測装置は、第１カメラの画像に基づいて目的位置にスリットレーザが照射するときを判定し、この目的位置において第２カメラが撮像した画像信号を出力し、この出力画像信号とスリットレーザの位置に基づいて対象物の３次元形状を算定することを特徴とする。
ここで用いるカメラは、ＣＣＤカメラであってもよい。ＣＣＤカメラは扱いが簡単であり画像出力を直接取り込んでデジタル処理でき、しかも処理方法についてよく知られているので便利である。
このように、揺動スキャニングミラーによる振動スキャン方式を用いると、構造が単純で信頼性が高く、装置の小型化が可能である。
【０００８】
本発明の３次元計測装置によれば、レーザを照射しない状態で第１カメラで測定対象を撮影して測定位置を確定し、その位置にスリット状レーザ光が対応するときに第１カメラと第２カメラで撮影する。
このとき、第１カメラの光学中心近傍を通る揺動軸の周りにスキャニングミラー表面が揺動するため、スリット状レーザ光は揺動軸を中心として放射状に測定対象に照射する。
したがって、スリット状レーザ光はいつでも第１カメラの２次元画像中に直線として表わされる。また、第２カメラは光切断面を側方から観察した画像を取得する。
【０００９】
スリット状レーザ光の位相位置を知り、第２カメラのカメラパラメータを用いればスリット状レーザ光の照射点における３次元位置を求めることができる。なお、スリット状レーザ光が所定の位相位置に来たときに発生するトリガー信号に基づいて第１カメラと第２カメラで撮影を行い、スリット状レーザ光の位相に代えて第１カメラのカメラパラメータを用いてレーザ照射点の３次元位置を求めることもできる。第１カメラのカメラパラメータを使用する場合は、場合場合で変化する照射レーザ面についてプロジェクタパラメータを求める必要がないので、演算がより簡単になる。
【００１０】
本発明の装置では、計測位置がセンサヘッドの直下になくても、スリット状レーザ光を反射するスキャニングミラーの角度を変化させることにより、３次元位置計測をすることができるので、センサヘッドを移動させる必要がない。また、センサヘッドを移動させなくても複数の位置における３次元計測が可能である。このように、従来装置で行われる不要な位置の計測を省いて目的とする部分のみ計測すればよいので効率が向上する。
【００１１】
また、従来のステレオ計測では特徴点が抽出できないため計測できなかった曲面形状など、特徴に乏しい形状についても３角法に基づいた３次元計測が可能である。
なお、第１カメラで撮影した測定対象の画像から対象物体の反射率を求めて、求めた反射率に基づいて、スリット状レーザ光を照射して撮影するときのカメラの露光時間を制御して、最適な光切断像を得るようにすることができる。
【００１２】
【発明の実施の形態】
以下実施例を用いて本発明を詳細に説明する。
図１は、本発明の１実施例における３次元計測装置のセンサヘッド部を示す構成図、図２は本実施例の３次元計測装置を示すブロック図、図３は本実施例の３次元計測装置における処理フロー図、図４は本実施例のカメラにおける取得画像の例を示す図面である。
【００１３】
本実施例の３次元計測装置は、センサヘッド１０とコントローラ８から構成され、センサヘッド１０には、２個のＣＣＤカメラ１，４とレーザ投光器３とスキャニングミラー２が設けられている。
第１のＣＣＤカメラ１は、計測対象の２Ｄ画像を取得するものである。スキャニングミラー２は揺動軸６の周りに揺動してレーザ光の反射方向を変化させる。揺動軸６は第１ＣＣＤカメラ１の光学レンズ系５の主点を通るように構成され、ミラー反射面が揺動軸６を含む面に存在するようになっている。
【００１４】
レーザ投光器３は発生するレーザ光を円柱レンズなどによってスリット状に形成し、スリット状レーザ光をスキャニングミラー２の揺動軸６に沿って入射させ、反射したスリット状レーザ光７が計測面を走査するようになっている。
スキャニングミラー２の揺動角度値はアナログ信号またはデジタル信号で出力されていて、スリット状レーザ光７の照射方向はいつでも把握することができる。
第２のＣＣＤカメラ４は、光軸が計測対象に向くように設置されている。光軸はスリット状レーザ光７に対して適当な角度を有し、レーザ照射中に撮影するとレーザ光による光切断面を側方から見た画像を取得することができる。
【００１５】
コントローラ８は、インターフェース９を介してスキャニングミラー２からのミラー角度情報を取り込み、適切なトリガー信号を第１カメラ１、第２カメラ４、レーザ投光器３に与える。
第１カメラ１と第２カメラ４が生成する画像信号を入力する画像処理装置１１が備えられていて、それぞれの画像処理を行い、これらを統合して３次元形状の計測を行う。計測結果は表示装置１２に分かりやすく表示する。
【００１６】
対象物体の２次元計測を行うときは、図３のフロー図に従って、初めに、レーザ投光器３の出力を遮断した状態で第１カメラ１で比較的長時間露光させて対象物体の映像を取得し、画像処理により対象物体を検出し、３次元的測定を行う位置を決定する（Ｓ１）。このときの第１カメラ１の取得する画面は、たとえば図４の左側の画面２１のような対象物体の鳥瞰図になっている。第１カメラの取得した画像から測定対象を抽出するためには、パターンマッチング、その他の特徴量抽出処理など、公知の２次元画像処理方法を利用することができる。
【００１７】
スリット状レーザ光７は第１カメラ１の光学系５の主点を通る揺動軸６を中心として放射されるため、スリット状レーザ光７の面は第１カメラ１の視線方向と一致する。したがって、対象物上の照射線は表面の凹凸に依存せず画像中で直線として表れることになる。このような第１カメラ１とスキャニングミラー２の位置関係から、対象物の測定したい位置を決めれば、その位置をスリット状レーザ光７が走査するときのスキャニングミラー２の角度を簡単に算定することができる。
【００１８】
画像処理装置１１は、測定対象の測定位置を抽出してその位置にスリット状レーザ光７を照射するときのスキャニングミラー２の角度を算出して（Ｓ２）、コントローラ８に伝送する。
また、第１カメラ１の画像を解析して、測定位置にある物体の反射状態を推定し、レーザ光が当たったときに取得する画像が適当なコントラストを持つように第１カメラ１と第２カメラ４のシャッタ速度を設定する。
【００１９】
次に、レーザ投光器３を作動させてスリット状レーザ光７のスキャンを開始する。
コントローラ８は、スキャニングミラー２からの角度信号を入力していて、所定の角度値になったときに、第１カメラ１と第２カメラ４に撮影トリガ信号を送る（Ｓ３）。
第１カメラ１と第２カメラ４は、撮影トリガ信号を受けた瞬間の画像を画像処理装置１１に送付する（Ｓ４）。
【００２０】
第１カメラ１の映像は、図４の参照番号２２に示す画面のように、スリット状レーザ光７の照射位置が直線状に現れている。一方、第２カメラ４の映像は参照番号２３に示すように、光切断面を斜め上方から観察した状況が映し出されていて、対象物の輪郭情報が表されている。
画像処理装置１１は、第１カメラ１と第２カメラ４の画像信号を取り込んで、取り込み画像についてエピポーラ拘束に基づく対応点探索をすることによりステレオ処理して、スリット状レーザ光７が当たっている対象点の３次元位置を算定する（Ｓ５）。
【００２１】
なお、それぞれのカメラについてカメラパラメータを求めておけば、画像中の点についてその点を含む３次元視線方程式が求められるので、２個のカメラの画像を用いることにより、対象点の３次元位置座標を得ることができる。この方法は２個のカメラパラメータを取得しておけばよく、角度毎に異なるスリット状レーザのプロジェクターパラメータを求める必要がないため、演算が容易である。また、本方式によればパターン認識処理が１度で済み、計算負荷が非常に小さい。
【００２２】
さらにまた、スキャニングミラー２は、反射面の角度を出力するようにしてあるため、必ずしも精密な機構を用いる必要が無く構造が簡単で信頼性が高くしかも小型な振動スキャナーを利用することができる。なお、ミラーの角度信号は、角度検出器により発生させてもよいが、従来装置に特別な機器を付属させることなく、たとえばミラー振動の向きの変換時点からの時間経過に基づいて発生させる方式などにより簡単に発生させることも可能である。
【００２３】
本実施例の３次元計測装置は、第１カメラ１の画面から測定対象点を抽出してその位置にスリット状レーザ光７が当たるときの角度を検出して同時に２個のカメラで撮影し、それらの映像信号に基づいて計測をする。したがって、３次元位置情報を得る必要がない部分について測定を行う必要がない。また、スリット状レーザ光７は第１カメラの視野内をスキャニングするため、計測対象がスキャニング領域に含まれている限りセンサヘッドを移動する必要が無い。
また、従来のステレオ計測で必要とされるようなそれぞれの画面中に画像処理により検出できるような特徴を持たない点であっても計測点を指定して計測することができるので、曲面や平面などを対象とした３次元計測も実施できる。
【００２４】
従来型式の光切断式３次元計測装置は、自動車製造ラインにおける蓋物取り付け工程などで利用されているが、スリット状レーザ光の向きがセンサヘッドに対して固定されているため、センサヘッドを固定して用いるときは同一ポイントしか測定することができず、測定の信頼性が低かった。
一方、本実施例の３次元計測装置では、ラインに対して固定されていても、スリット状レーザ光が測定対象を走査するので、複数のポイントで計測することができ、局所的な外乱に影響を受けにくい信頼性の高い３次元計測が可能になる。
また、ボディ穴の位置計測を行う場合には、従来はボディ穴が円形であることを前提として、互いに直交する２本のスリット状レーザ光を対象に照射して端点位置を検出し、これら端点位置から穴の重心と穴表面の法線方向を算出していた。しかし、本実施例の装置を用いれば、第１カメラの画像から計測対象点を選択することができるので、円形以外の穴であっても自由に３次元計測を行うことができる。
【００２５】
ピッキングロボットにおいて、ピッキングポイントの３次元位置を正確に検出するため、カメラにより広視野画面を取得して対象物を特定した後に、ロボットの手先に付けた高精度な３次元計測装置を対象に近づけて精査する方法がある。しかし、スリット状レーザ光がセンサヘッドに固定される場合は、計測位置にレーザ光が当たるまでロボットの手先位置を移動する探り動作が必要になる。
本実施例の３次元計測装置を用いれば、第１カメラで取得した画像中の指定した座標にスリット状レーザ光が照射したときに撮影して計測するので、従来の探り動作が不要となり、タクトタイムを減らした実用的なシステムを構築することができる。
【００２６】
曲面形状を有するワークを測定する場合に、従来のスリット状レーザ光が固定される３次元計測装置を用いると、１カ所では１本のスリットに沿った３次元情報しか得ることができない。したがって、面的な広がりについて計測するためには、ワークあるいはセンサを移動させて隣接位置の測定を多数回繰り返す必要があった。
本実施例の３次元計測装置はスリット状レーザ光を走査するので、カメラが取得する１枚の画像中であれば、センサやワークを移動しなくても角度を変えて複数回撮影した結果を用いて広範囲の面情報を取得することができる。
なお、１枚の画像から外れるほど広い範囲について計測する場合でも、１カ所で計測できる範囲が広いため、従来法と比較して計測時間を大幅に短縮することができ、極めて効率的に計測を行うことができる。
【００２７】
ロボットにより複数の部品の組み立て作業を行う場合、センサは複数種類のワークを識別して認識した上で把持位置や挿入位置などを計測する必要がある。従来型式の３次元計測装置でも、視野の大きさを複数の部品に対応できるように設定することができるが、露出やレーザ照射位置を調整できないため、多様な部品について認識したり位置決めを可能にすることが困難であった。
本実施例の３次元計測装置を用いれば、初めの第１カメラ撮影画面に基づいて対象部品毎に適当な露出時間制御を行うことができ、またレーザ照射位置を自在に変化させることができるので、複数種類の部品を１台のセンサで認識することができる。このように、本実施例の装置は、知的作業ロボットのハンドアイセンサとして使用することができる。
【００２８】
【発明の効果】
以上説明した通り、本発明の３次元計測装置は、簡単な構造を有し信頼性が高く小型でありながら、任意点の３次元情報を簡単に取得することができ、しかもエッジやテクチャーなどの特徴を持たない曲面などを対象とした計測も可能で、ロボットのセンサなど広い分野に利用することができる。
【図面の簡単な説明】
【図１】本発明の１実施例における３次元計測装置のセンサヘッド部を示す構成図である。
【図２】本実施例の３次元計測装置を示すブロック図である。
【図３】本実施例の３次元計測装置における処理フロー図である。
【図４】本実施例のカメラにおける取得画像の例を示す図面である。
【符号の説明】
１ 第１カメラ
２ スキャニングミラー
３ レーザ投光器
４ 第２カメラ
５ 光学レンズ系
１０ センサヘッド
６ 揺動軸
７ スリット状レーザ光
８ コントローラ
９ インターフェース
１１ 画像処理装置
１２ 表示装置
２１，２２，２３ カメラ撮像画面

Claims (4)

1. 計測対象の２次元画像を得る第１カメラと、該第１カメラのレンズの光学中心近傍を通る揺動軸の周りを表面が揺動するスキャニングミラーと、該スキャニングミラー表面の揺動軸位置にスリットレーザを投射するレーザスリット投光器と、光軸が前記スキャニングミラーで反射するスリットレーザ面に対して角度を持って前記計測対象に向くようになっている第２カメラと、前記第１カメラと第２カメラから出力される画像信号を用いて画像処理する画像処理装置を備え、該画像処理装置が、前記第１カメラが取得した前記２次元画像から測定位置を確定し、該目的位置に前記スリットレーザが照射するときを判定し、この目的位置に前記スリットレーザが照射するときにおいて前記第２カメラが撮像した画像信号を入力し、該第２カメラの出力画像信号と前記スリットレーザの位置に基づいて対象物の３次元形状を算定することを特徴とする３次元計測装置。
2. 前記第１カメラの画像信号に基づいて前記計測対象の反射率を推定し、推定した前記反射率に基づいて前記第２カメラの露光制御を行うことを特徴とする請求項１記載の３次元計測装置。
3. 前記目的位置に前記スリットレーザが照射するときに前記第１および第２カメラで画像を取得し、該画像に基づいて前記対象物の３次元形状を第１カメラと第２カメラのカメラパラメータを使用して算定することを特徴とする請求項１または２記載の３次元計測装置。
4. 前記第１カメラと第２カメラはＣＣＤカメラであることを特徴とする請求項１から３のいずれかに記載の３次元計測装置。

Images