JP3516668B2

JP3516668B2 - ３次元形状認識方法、装置およびプログラム

Info

Publication number: JP3516668B2
Application number: JP2001341372A
Authority: JP
Inventors: 雅幸榎本; 孝夫金丸
Original assignee: Kawasaki Jukogyo KK
Current assignee: Kawasaki Motors Ltd
Priority date: 2001-11-07
Filing date: 2001-11-07
Publication date: 2004-04-05
Anticipated expiration: 2021-11-07
Also published as: JP2003141511A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、距離画像を用いた
３次元物体の認識装置における規準物体の教示方法や対
象物体の位置姿勢検出方法に関する。

【０００２】

【従来の技術】自動化作業、特にロボットによる自動作
業には、対象物を撮影した画像を用いて対象物の位置と
姿勢を知る認識技術が必須である。対象物の認識は正確
にかつ迅速に行う必要がある。さらに実用のためには、
低廉な装置により実行できることが望まれる。３次元画
像中の立体パターンを検出して対象物として認識しその
位置姿勢を判定するものとして、画像中の対象物を予め
決められた規準物体と照合して判定する方法があるが、
従来、ロボット装置などに付属させて使用できるところ
まで実用化された方法はなかった。これは、３次元物体
が６個の自由度を持つ上、実際の物体形状は多様であ
り、画像中の見え方も多様であるため、モデルと照合し
て判定する場合でも特に簡単な形状をもつ物のみを扱う
か対象物の位置や姿勢を制約しないと、膨大な処理時間
を要するからである。

【０００３】なお、特開１０−８９９６０３には、３次
元ＣＡＤデータと画像を照合して位置姿勢を判定する方
法が開示されている。この開示方法は、ＣＡＤにより製
造された物体を撮像した画像に対して、同じ画像中にＣ
ＡＤデータから仮想的に描画したＣＡＤデータ像の位置
と姿勢を変化させて撮像物体像と重なったときの位置姿
勢データから対象物体の位置姿勢を推定するようにした
ものである。この開示方法は、撮像画面中からモデルに
合致する物体を検出しようとするものではなく、またＣ
ＡＤデータ像の姿勢を実物画像に一致させるためにＣＡ
Ｄデータ像に施す平行移動と回転移動の処理時間は膨大
なものとなる。さらに、正確な３次元位置を求めるため
には異なる方向から取得した２個以上の撮像画像を使用
しなくてはならないので装置の簡略化と低廉化が困難で
ある。

【０００４】

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、対象物体の位置と姿勢を素早く算
出できる新しい３次元形状認識方法と装置であって、対
象物体と照合する規準物体の諸元も簡単に取得できるも
のを提供することである。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、本発明の３次元形状認識方法は、規準物体の距離画
像に基づいて規準物体上に決めた基準点の３次元座標と
その基準点に立てた法線ベクトルと適当に定めた複数の
教示点の３次元座標を求めることにより規準物体座標系
を形成する。さらに対象物体について距離画像を取得す
る。取得した対象物体距離画像の平面座標上を走査しな
がら対象物体表面における法線ベクトルを求め、その法
線ベクトルに規準物体の法線ベクトルを一致させて規準
物体座標系を法線ベクトルの回りに所定角度ずつ回転し
ては各教示点ごとに対象物体表面との高さ誤差を求めて
回転角ごとに積算しておく。必要な走査が終わったとき
に、走査を通じて極小だった誤差積算値を抽出する。そ
の誤差積算値が所定の閾値より小さければ、対象物体が
規準物体と同一であると判定し、その極小誤差積算値を
与えた基準点の３次元座標と法線と回転角をもって対象
物体の位置と姿勢を定めることを特徴とする。

【０００６】ここで、距離画像とは、基準面から物体表
面までの高さＺをＸＹ座標の値として与えた立体表示図
面を指す。距離画像は、撮像画面における輝度表示を高
さ表示に変えた２次平面画像に対応し、地形図と類似す
る。距離画像は、１視点から物体表面までの距離を測定
した距離データに基づいて、ＸＹ平面から計った物体表
面の高さ情報として展開することにより形成することが
できる。１視点から距離測定する装置として、レーザス
ポットの反射位置を３角測量により求めて距離を算定す
るレーザスポットスキャン装置やレーザをスリット状に
照射して反射線の形状から一挙に対象までの距離を求め
るレーザスリットスキャナーを使用することができる。

【０００７】なお、距離画像を生成する測定装置には、
この他にも空間コード化パターン投影を用いた３次元形
状測定装置などがある。また、規準物体座標系は、物体
上に適宜定めた基準点を原点とし基準点に立つ法線を１
個の座標軸とする相対座標系であることが好ましい。規
準物体の表面に適宜定めた教示点をこのような規準物体
座標系にプロットすれば、対象物体の距離画像中で重ね
合わせ処理をより容易に行うことができるからである。

【０００８】本発明の３次元形状認識方法によれば、距
離画像として取得した対象物体の映像について、画面上
をスキャンしながら、機械的で簡単な手順を重ねること
により、きわめて高速に規準物体像との照合を行って、
対象物体の検知と位置姿勢の推定を行うことができる。
また、規準物体について座標変換をしながら対象物体と
照合することになるが、対象物体の演算位置に立てた法
線を規準物体座標系の軸に一致させて探索処理を行うた
めに、姿勢について探索動作を軸を固定した回転に限定
することができるので、高速処理が可能である。

【０００９】すなわち、たとえば画面上をＸ方向に主走
査しＹ方向に副走査するラスタースキャンにより演算位
置を移動させながら、各位置について近傍の形状に基づ
き法線を求める。次に、この法線に規準物体座標系の座
標軸を重ねて規準物体像を座標軸の回りに所定角度ずつ
回転させては、規準物体座標上の教示点ごとに対象物体
像との誤差を算出し全教示点にわたって積算して、誤差
積算値が最低になる角度を検出し、この角度における誤
差積算値が所定の閾値より小さくなる場合に、その演算
位置、およびその法線、角度、誤差積算値などを記憶す
る。

【００１０】このような誤差積算値算出手順を各演算位
置について繰り返して実行し、全領域あるいは適当な領
域について走査を終えたときに、上記算出した誤差積算
値を比較して最小もしくはＸＹ平面中で極小の値を示す
演算位置を求める。すると、この最小（極小）誤差積算
値を示す演算位置が対象物体の基準点位置でありその法
線方向と回転角から対象物体の姿勢が与えられる。な
お、誤差積算値は、距離画像座標系における教示点の高
さと物体表面の高さの差の絶対値を積算したものであっ
てもよい。差の絶対値は簡単に求めることができるの
で、演算時間を節約できる。もちろん、誤差を２乗して
積算した値など他の評価方法を用いてもよいことはいう
までもない。

【００１１】また、上記演算位置は、その座標位置にお
ける高さ値が所定の閾値より大きい位置に限定するよう
にして、距離画像中の対象物体が存在する可能性がある
場所についてのみ演算を実行するようにしてもよい。こ
のようにして演算を省略することにより、演算時間を大
幅に節約することができる。なお、規準物体座標系を確
定するために使用する規準物体の距離画像は、たとえば
ＣＡＤデータを用いて数学的にプロットしたものであっ
てもよいが、距離画像取得装置を用いて実際の物体につ
いて取得した距離画像を利用して基準点や教示点を指定
することにより求めることができる。

【００１２】このように実際の物体をそのまま距離画像
化して使用するようにすると、コンピュータが利用でき
る形で設計データを所持しない場合でも簡単に規準物体
座標系を形成することができる。なお、教示点に対応す
る位置に対象物体の表面高さデータがない場合は、その
教示点についての誤差データは無視するようにしてもよ
い。１視点から測定した距離データはその視点から見通
せない位置については距離画像が欠如するため、適当な
処理を行わないと大きな外乱要素になる可能性があるか
らである。

【００１３】さらに、上記課題を解決するため、本発明
の３次元形状認識装置は、距離画像取得装置と画像処理
装置を備え、その距離画像取得装置が対象物体の距離画
像を取得し、画像処理装置が規準物体の基準点を原点と
し基準点に立てた法線を１個の座標軸とした規準物体座
標系を格納する記憶装置を備え、距離画像取得装置から
入力した対象物体の距離画像について、画面を走査しな
がら座標点に立つ対象物体表面の法線ベクトルを算出
し、その法線ベクトルに規準物体座標系の原点と座標軸
を一致させて規準物体座標系を法線ベクトルの回りに所
定角度ずつ回転しては各教示点ごとに対象物体表面の高
さ誤差を求めて回転角ごとに積算し、走査を通じて極小
だった誤差積算値が閾値より小さいときに対象物体が規
準物体と同一であると認識し、その極小誤差積算値を与
えた平面座標と法線と回転角をもってその対象物体の位
置と姿勢を定めることを特徴とする。

【００１４】なお、距離画像取得装置は、レーザスリッ
トスキャンにより測定した測定器から対象物表面までの
距離情報を用いて基準面からの高さ情報に変換して距離
画像を生成するものであってもよい。また、規準物体座
標系は、距離画像取得装置により求めた規準物体の距離
画像に基づいて画像処理装置が求めるようにしてもよ
い。さらに、画像処理装置は、一旦求めた対象物体の位
置と姿勢の近傍において、規準物体座標系をさらに細か
い回転角で変化させて誤差積算値が最小になる回転角を
求めて、より精密な位置と姿勢を決定するようにしても
よい。

【００１５】なお、本発明の３次元形状確認装置は、コ
ンピュータ装置を利用して構成することができる。コン
ピュータ装置は、３次元形状認識プログラムを稼働させ
ることにより、規準物体の距離画像に基づいて規準物体
の基準点についての３次元座標と法線ベクトルと複数の
教示点の３次元座標を求めて規準物体座標系を形成する
手段と、距離画像取得装置が対象物体について距離画像
を取得し生成した画像信号を取り込む手段と、対象物体
距離画像の画像信号に関する平面座標上を走査しながら
対象物体表面における法線ベクトルを求める手段と、対
象物体表面の法線ベクトルに規準物体の法線ベクトルを
一致させて規準物体座標系を法線ベクトルの回りに所定
角度ずつ回転しては各教示点ごとに対象物体表面の高さ
誤差を求めて回転角ごとに積算する手段と、走査を通じ
て極小だった誤差積算値を所定の閾値と比較する手段
と、誤差積算値が閾値より小さいときに対象物体が規準
物体と同一であることを認識し、その積算値を与えた基
準点の座標と法線と回転角をもって対象物体の位置と姿
勢を定める手段として機能させることができる。

【００１６】なお、上記３次元形状認識プログラムは、
ＣＤ−ＲＯＭ、ＤＶＤディスク、メモリスティック、コ
ンピュータ本体内の記憶装置など、コンピュータ読みと
り可能な記録媒体に記憶させることにより、新規なコン
ピュータを本発明の３次元形状認識装置として使用する
ことができる。また、可搬性のある記録媒体に記憶させ
て流通させることができる。

【００１７】

【発明の実施の形態】以下、本発明について実施例に基
づき図面を参照して詳細に説明する。本実施例の３次元
形状認識装置は、規準物体を表示する相対座標系である
規準物体座標系を用いて位置合わせにより対象物体の認
識と位置姿勢の判定をするもので、対象物体の距離画像
を取得し、距離画像面を走査しながら、走査点ごとに物
体表面の法線を求め、この法線に規準物体座標系の軸を
合わせて回転処理し、規準物体と対象物体が適合する位
置を求めることにより、対象物体が規準物体と同じか否
かを認識し、規準物体と同じ場合に規準物体座標系の位
置姿勢に基づいて対象物体の位置姿勢を決定する。

【００１８】図１は本実施例において対象物体の位置姿
勢を決定する手順を示すフローチャート、図２は本実施
例において規準物体座標系を算出する手順を示すフロー
チャート、図３は本実施例の構成を示すブロック図、図
４は距離画像の作成例を説明する図面、図５は規準物体
について座標系を求める手順について説明する図面、図
６は規準物体座標系の例を示す図面、図７は規準物体を
当て嵌める手順を説明する概念図、図８は対象物体の距
離画像を示す図面、図９は観測点の走査方法を示す図面
である。

【００１９】本実施例の３次元形状認識装置は、図３に
示すように、画像取得装置１と画像処理装置２からな
る。画像処理装置２は、画像取込部２１とフレームメモ
リを含む記憶装置２２と演算ユニットＭＰＵ２３からな
る。なお、画像処理装置２はパソコンなどの簡易な電子
計算機システムにより構成することができる。

【００２０】画像取得装置１は、図４（ａ）に示すよう
に、レーザスポットスキャナー１１を備えて、対象物体
３の形状を計測するものである。レーザスポットスキャ
ナー１１は、平面状に走査するレーザ光を対象に照射
し、表面からの反射光がリニアセンサなどの光検出器に
入射した位置に基づいて３角測量法により対象までの距
離を算出する。なお、レーザスリットスキャナを用いる
と、一挙に平板状のレーザを照射するため光学系が簡単
になるので、製造費用を節減することができる。このよ
うにして収集した１視点からの距離データを画像取込部
２２を介して画像処理装置２に取り込み、演算ユニット
２３で基準面に垂直な方向に展開して物体表面の高さデ
ータに変換し、記憶装置２２中のフレームメモリに記録
する。

【００２１】フレームメモリのデータは、ＸＹ面上の点
ごとに基準面からの高さをＺとして表したもので、基準
面上に置かれた物体を地形図で表したものに当たる。フ
レームメモリに記憶された値を輝度に変換してディスプ
レー上に表示すれば、高い部分ほど輝度が強く表現さ
れ、視覚的に把握しやすい立体的映像として物体像を得
ることができる。また、図４（ｂ）に示すように、等高
線で高さを表した平面画像として得ることもできる。

【００２２】なお、１視点から物体表面３１を測定する
ときは、光線が届かない陰の部分３２は距離画像化した
ときに距離データが欠如する部分３３になる。このよう
なデータ欠落部３３を補充するためには、別の視点から
測定したデータを加味して距離画像を作成すればよい。
しかし、ロボットハンドなどに適用する場合には、この
ような欠落部分が一部に存在しても必要な確度で物体の
認識等を行うことができるので、１個のレーザスポット
スキャナー１１を用いて、１視点からの距離データに基
づいた距離画像を生成して使用することができる。

【００２３】本実施例の３次元形状認識装置が対象物体
の認識作業をするためには、事前に規準物体の形状モデ
ルを記憶しておく必要がある。このため、認識すべき物
体を表わす規準物体を画像取得装置で計測し、規準物体
の距離画像を取得して、この距離画像を直接利用して標
準となるモデルの教示を行う。規準物体に対して相対的
に固定された座標系を規準物体座標系と呼ぶ。

【００２４】図２は、規準物体座標系を算出する手順を
示すフローチャート、図５はＴ形の配管継手について規
準物体の距離画像を表す図面である。図５は単色表現の
ため面からの高さを等高線で表してある。画像取得装置
１を用いて規準物体を計測し、画像処理装置２により規
準物体の距離画像を作成して、このデータを直交座標系
ＸＹＺに表しフレームメモリに記憶する（Ｓ２１）。こ
こでＺ軸は基準面からの高さを表す。なお、このＸＹＺ
座標系は距離画像に固定された座標系なので、以下では
距離画像座標系ということもある。

【００２５】オペレータは、距離画像をディスプレーで
観察しながら、マウスなどのポインティングデバイスを
用いて規準物体の適当な位置に認識基準点Ｏを指定す
る。距離画像は高さを輝度や色彩により表現したもので
あっても、また等高線で表したものであってもよい。基
準点Ｏが指定されると、画像処理装置２が基準点Ｏの近
傍の表面位置データを使用して基準点Ｏに立つ法線Ｎｏ
を算定する（Ｓ２２）。さらに、基準点Ｏを原点、基準
点に立つ法線ＮｏをＷ軸、Ｗ軸に垂直な適当な方向をＵ
軸、Ｕ軸とＷ軸に垂直な方向にＶ軸を取った直交座標系
ＵＶＷを構成する（Ｓ２３）。

【００２６】認識基準点Ｏに立つ法線ＮｏはＵＶＷ座標
系の軸方向を決定するため、方向が安定している必要が
あるが、物体の表面が凸凹している部分では、少しでも
位置がずれると法線の方向が大きく変化するので、規準
物体の表面がなめらかな部分を選んで基準点Ｏを置くこ
とが好ましい。また、Ｕ軸は座標系の回転基準となるた
め、規準物体の形状と関連して、分かりやすい方向に選
ぶことが好ましい。

【００２７】次に、規準物体表面の適当な位置を適当数
指定して教示点とする。各教示点Ｊが指定されると、教
示点のＸＹＺ座標値（ｘｊ，ｙｊ，ｚｊ）を算出する
（Ｓ２４）。教示点Ｊは、規準物体の形状を的確に代表
して他の形状と紛れないような適当な位置を選択するよ
うにする。教示点Ｊを座標変換してＵＶＷ座標系上の座
標点（ｕｊ，ｖｊ，ｗｊ）として表す（Ｓ２５）。図６
は、配管継手について作成した規準物体座標系の例を示
す図面である。教示点Ｊは基準点Ｏに対する相対的位置
関係により座標系に固定されている。こうして構成され
た規準物体座標系の諸元は記憶装置２２に記憶される。

【００２８】このようにして、規準物体の特徴点という
べき教示点を搭載した規準物体座標系ＵＶＷを構成する
ことができる。ＵＶＷ座標系は、認識すべき物体の距離
画像に固定される距離画像座標系ＸＹＺ上で相対的に移
動させることができる相対座標系である。本実施例の規
準物体座標系は対象物体と同定できる実物を計測するこ
とにより構成することができ、ＣＡＤなどの設計データ
を用いた高度な処理を必要としない。また、規準物体座
標系が帯同する情報量は極めて小さい。したがって、よ
り簡単な装置を利用することができる。

【００２９】本実施例の３次元形状認識装置は、図１お
よび図７に示した手順により対象物体の同定と位置姿勢
の判定を行う。対象物体を計測して距離画像を作成し、
このデータを距離画像座標系ＸＹＺに表しフレームメモ
リに記憶する（Ｓ１）。無造作に置いたＴ形継手につい
て計測すると、たとえば、図８に示すような距離画像を
得ることができる。図８は、図５におけると同様、等高
線により高さを表現しているが、輝度により表現しても
よい。なお、対象物の同定や位置姿勢の判定は自動的に
行われるため、ディスプレーに表示する必要はない。も
ちろんオペレータが監視する目的で距離画像等を表示す
ることは有益である。

【００３０】次に、図９に示すように、フレームメモリ
上でＸＹ平面についてラスタースキャンと同じようにＸ
方向に主走査、Ｙ方向に副走査を行うことにより対象領
域全域について万遍なく走査する。走査点Ｉを移動する
たびに（Ｓ２）、その走査点ＩにおけるＺ座標値ｚｉを
読み出し、観測点Ｍｉ（ｘｉ，ｙｉ，ｚｉ）を定める。
さらにその近傍における距離画像から観測点Ｍｉに立つ
法線ベクトルＮｉを求める（Ｓ３）。なお、物体の表面
がない場所で法線を求めるための演算をするのは無駄で
あるので、走査点ＩにおけるＺ座標ｚｉが所定の閾値よ
り小さいときには物体がないと見なし演算を省略して次
の位置に移動させるようにしてもよい。

【００３１】法線ベクトルＮｉが求まったら、図７
（ａ）に示すように、規準物体座標系ＵＶＷを呼び出し
て、その原点Ｏを観測点Ｍｉに重ねる。さらに、図７
（ｂ）に示すように、原点Ｏを支点としてＵＶＷ座標系
を傾けてＷ軸が法線ベクトルＮｉに重なるようにする
（Ｓ４）。Ｗ軸と法線ベクトルＮｉが一致したＵＶＷ座
標系を（Ｕｔ，Ｖｔ，Ｗｔ）で表すものとする。ＵｔＶ
ｔＷｔ座標系をＷｔ軸の回りに所定の角度ずつ回転させ
ながら、物体表面との位置誤差を算出する（Ｓ５）。こ
のとき、たとえばＵｔ軸が距離画像座標系のＸ軸と平行
になる方向を規準として回転角を決めるなど、回転角を
距離画像座標系と関連づけて規定する必要がある。

【００３２】回転したＵｔＶｔＷｔ座標系上の教示点Ｊ
（ｕｊ，ｖｊ，ｗｊ）の位置を絶対座標系であるＸＹＺ
座標系上の座標値（ｘｊ，ｙｊ，ｚｊ）で表す（Ｓ
６）。本実施例では、簡単のため、教示点Ｊと対象物体
表面の偏差をＺ軸方向の差により把握する。このため、
フレームメモリに格納された距離画像データからＸＹ座
標（ｘｊ，ｙｊ）における物体表面高さｚｏｊを読み出
す。すなわち、教示点Ｊに対応する物体表面の対応点Ｍ
ｊの座標は（ｘｊ，ｙｊ，ｚｏｊ）となる（Ｓ７）。こ
の結果から、教示点Ｊと対応点ＭｊのＺ方向距離を算出
して誤差距離絶対値｜ｚｊ−ｚｏｊ｜を求める（Ｓ
８）。

【００３３】この方法は、対象物体と規準物体とのずれ
を形状上の対応点によって評価する代わりに、Ｚ軸方向
偏差によって評価するので、演算が簡単である。なお、
対象物体の姿勢によっては、測定時に陰になって対応点
のデータが欠如する場合があるが、多数の教示点を使う
ときには、データの欠如した対応点を無視しても規準物
体との合致性を判断する上で重大な過誤とはならない。
また、ずれの指標としてＷｔ軸方向の偏差を利用しても
よいが、演算がより複雑になるので、本実施例ではＺ軸
方向偏差を用いた。

【００３４】ＵｔＶｔＷｔ座標系上の全ての教示点Ｊに
ついて上記方法を繰り返すことにより求めた誤差距離絶
対値を積算し、残差絶対値和ＳＡＤとする（Ｓ９）。対
象物体が規準物体と全く一致すればＳＡＤはゼロにな
り、ずれが大きければ大きいほどＳＡＤが大きくなるの
で、ＳＡＤは規準物体との一致を判定するためのよい評
価関数になる。なお、誤差の絶対値に代えて自乗値に基
づくものなど他の評価関数を用いてもよいことはいうま
でもない。ＳＡＤは各回転角ごとに算出される。

【００３５】Ｗｔ軸回りに１回転させて収集した各角度
ごとのＳＡＤのうち、ＳＡＤが最小になる角度における
条件を記憶装置に記録する（Ｓ１０）。記録する条件
は、観測点Ｍｉの座標（ｘｉ，ｙｉ，ｚｉ）、法線ベク
トルＮｉ、ＳＡＤが最小になる回転角、そのときのＳＡ
Ｄなどである。このとき、規準物体と合致する可能性を
検討するまでもないケースを除外するため、適当な閾値
を使用して、ＳＡＤが閾値より小さい場合だけ記録する
ようにしてもよい。

【００３６】１個の走査点Ｉについて上記演算を終了し
たら、次の走査点Ｉに移っては同じ演算を繰り返すこと
により画面全体について走査をする。なお、対象が限ら
れる場合は、予め走査する領域を限定しておいてもよ
い。必要領域の走査を終了したら、ＳＡＤが所定の閾値
より小さい観測点を検出する。このような観測点を持つ
対象物体は、図７（ｃ）に示すように、規準物体と形状
が一致し、観測点における法線ベクトルの姿勢と規準物
体座標系の回転角により対象物体の姿勢を決定すること
ができる（Ｓ１１）。

【００３７】なお、条件を満たす観測点が集合している
場合は、極小になる観測点を抽出することにより最も妥
当な位置と姿勢を決定することができる。なお、条件を
満たす観測点が離れた位置に複数存在するときは、対象
とする距離画像中に規準物体と同定できる物体が複数存
在することになるが、それぞれについて観測点とその観
測点における法線ベクトルと回転角により位置と姿勢を
決定することができる。

【００３８】さらに、精密に対象物体の姿勢を測定する
ためには、上記走査により求めたＳＡＤの結果から条件
に合致した観測点を抽出した上で、その回転角の近傍で
刻みをさらに細かくしてＳＡＤを算出し、より小さいＳ
ＡＤを有する回転角を見い出して対応する姿勢を決定す
ればよい。また、対象物体の位置をさらに精密に求める
には、上記で求めた観測点に対応する走査点の近傍につ
いて演算位置の間隔をより小さくして上記演算を行い、
ＳＡＤの極小値を求めて位置決定をすればよい。

【００３９】また、異なる形状を有する複数の規準物体
を対象とする場合にも、１枚の距離画像を取得して上記
手順をそれぞれの規準物体について繰り返すことによ
り、対象物体の同定と位置姿勢の決定を行うことができ
る。さらに、対象とする規準物体は、独立した物品であ
ることを要せず、物品の部分であってもよいことはいう
までもない。ロボットの把持を支援する場合は、把持し
ようとする部分を抽出して検出し、姿勢などを決定すれ
ばよい。また、たとえば鼻を規準物体として用いること
により人物の顔の位置と向きを検出することもできる。

【００４０】画像処理装置を電子計算機システムで構成
するときは、コンピュータ装置に上記それぞれの手順を
実行する機能を付与するコンピュータプログラムを装填
して使用すればよい。コンピュータプログラムは、ＣＤ
−ＲＯＭ、ＤＶＤ、メモリカードなど可搬の記録媒体に
記憶させて頒布することができる。また装置内にセット
するＥＥＰＲＯＭなどに記録して利用することもでき
る。

【００４１】

【発明の効果】以上説明したように、本発明の３次元形
状認識方法および装置によれば、距離画像を利用して、
１個の基準点と適当数の教示点を指定するだけで簡単に
規準物体を教示することができる。また、対象物体の距
離画像について自動的に走査演算して法線ベクトルを求
め規準物体座標系の１軸回りの回転を用いた簡単かつ高
速な演算処理により対象物体の同定と位置姿勢の判定を
行うので、ロボットによるピッキングなどに適用する場
合にも十分実用的な時間で処理することができる。

【図面の簡単な説明】

【図１】本発明の３次元形状認識装置の１実施例におい
て対象物体の位置姿勢を決定する手順を示すフローチャ
ートである。

【図２】本実施例において規準物体座標系を算出する手
順を示すフローチャートである。

【図３】本実施例の構成を示すブロック図である。

【図４】本実施例における距離画像の作成例を説明する
図面である。

【図５】本実施例において規準物体の座標系を求める手
順について説明する図面である。

【図６】本実施例の規準物体座標系の例を示す図面であ
る。

【図７】本実施例において規準物体を当て嵌める手順を
説明する概念図である。

【図８】本実施例における対象物体の距離画像例を示す
図面である。

【図９】本実施例における観測点の走査方法を示す図面
である。

【符号の説明】

１画像取得装置１１レーザスポットスキャナー２画像処理装置２１画像取込部２２記憶装置２３演算ユニット３対象物体３１物体表面３２陰の部分３３データ欠落部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平５−215531（ＪＰ，Ａ) 特開平８−136220（ＪＰ，Ａ) 特開平10−89960（ＪＰ，Ａ) 特開2001−56865（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G01B 21/20 101 G06T 7/00 G06T 7/00 300

Claims

(57)【特許請求の範囲】

【請求項１】規準物体の距離画像に基づいて該規準物
体の基準点の３次元座標と該基準点に立てた法線ベクト
ルと複数の教示点の３次元座標を求めて規準物体座標系
を形成し、対象物体について距離画像を取得し、該対象
物体距離画像の平面座標上を走査しながら対象物体表面
における法線ベクトルを求め、該対象物体表面の法線ベ
クトルに前記規準物体の法線ベクトルを一致させて該規
準物体座標系を該法線ベクトルの回りに所定角度ずつ回
転しては各教示点ごとに該対象物体表面の高さ誤差を求
めて回転角ごとに積算しておいて、走査を通じて極小だ
った該誤差積算値が所定の閾値より小さいときに、該対
象物体が前記規準物体と同一であることを認識し、その
積算値を与えた基準点の座標と法線と回転角をもって該
対象物体の位置と姿勢を定めることを特徴とする３次元
形状認識方法。
【請求項２】前記距離画像が、１視点から物体表面ま
での距離を測定した距離データに基づいて、平面座標上
に該物体の高さ情報として展開したものであることを特
徴とする請求項１記載の３次元形状認識方法。
【請求項３】前記規準物体の教示点座標は、前記基準
点を原点とし該基準点に立てた法線を１個の座標軸とす
る３次元の規準物体座標系の上にプロットすることを特
徴とする請求項１または２記載の３次元形状認識方法。
【請求項４】前記誤差積算値が、距離画像座標系にお
ける規準物体座標系の教示点の高さと物体表面の高さの
差の絶対値を積算したものであることを特徴とする請求
項１から３のいずれかに記載の３次元形状認識方法。
【請求項５】前記距離画像平面座標上の走査は、高さ
値が所定の閾値より小さいときには前記規準物体座標系
の適合操作を省略することを特徴とする請求項１から４
のいずれかに記載の３次元形状認識方法。
【請求項６】距離画像取得装置と画像処理装置を備え
た３次元形状認識装置であって、該距離画像取得装置が
対象物体の距離画像を取得し、該画像処理装置が規準物
体の基準点を原点とし基準点に立てた法線を１個の座標
軸とした３次元座標に複数の教示点の座標をプロットし
た規準物体座標系を格納する記憶装置を備えて、前記距
離画像取得装置から入力した対象物体の距離画像につい
て、画面を走査しながら座標点に立つ該対象物体の法線
ベクトルを算出し、該対象物体の法線ベクトルに前記規
準物体座標系の原点と座標軸を一致させて該規準物体座
標系を該法線ベクトルの回りに所定角度ずつ回転しては
各教示点ごとに該対象物体表面の高さ誤差を求めて回転
角ごとに積算し、走査を通じて極小だった前記誤差積算
値を見いだして所定の閾値と比較し該誤差積算値が該閾
値より小さいときに該対象物体が前記規準物体と同一で
あることを認識し、該極小誤差積算値を与えた平面座標
と法線と回転角をもって該対象物体の位置と姿勢を定め
る画像処理装置とを備える３次元形状認識装置。
【請求項７】前記距離画像取得装置が、レーザスリッ
トスキャンにより測定した測定器から対象物表面までの
距離情報を用いて基準面からの高さ情報に変換して距離
画像を生成することを特徴とする請求項６記載の３次元
形状認識装置。
【請求項８】前記規準物体座標系は、前記距離画像取
得装置により求めた前記規準物体の距離画像に基づいて
前記画像処理装置が求めることを特徴とする請求項６ま
たは７記載の３次元形状認識装置。
【請求項９】前記画像処理装置が、一旦求めた前記対
象物体の位置と姿勢の近傍において、前記規準物体座標
系をさらに細かい回転角で変化させて前記誤差積算値が
最小になる回転角を求めて、より精密な位置と姿勢を決
定することを特徴とする請求項６から８のいずれかに記
載の３次元形状認識装置。
【請求項１０】対象物の３次元形状を判定するための
コンピュータを、規準物体の距離画像に基づいて該規準
物体の基準点の３次元座標と該基準点に立てた法線ベク
トルと複数の教示点の３次元座標を求めて規準物体座標
系を形成する手段と、距離画像取得装置が対象物体につ
いて距離画像を取得し生成する画像信号を取り込む手段
と、該対象物体距離画像の画像信号に関する平面座標上
を走査しながら対象物体表面における法線ベクトルを求
める手段と、該対象物体表面の法線ベクトルに前記規準
物体の法線ベクトルを一致させて該規準物体座標系を該
法線ベクトルの回りに所定角度ずつ回転しては各教示点
ごとに該対象物体表面の高さ誤差を求めて回転角ごとに
積算する手段と、走査を通じて極小だった該誤差積算値
を所定の閾値と比較する手段と、該誤差積算値が該閾値
より小さいときに該対象物体が前記規準物体と同一であ
ることを認識し、その積算値を与えた基準点の座標と法
線と回転角をもって該対象物体の位置と姿勢を定める手
段として機能させるための３次元形状認識プログラム。
【請求項１１】前記距離画像が、１視点から物体表面
までの距離を測定した距離データに基づいて、平面座標
上に該物体の高さ情報として展開したものであることを
特徴とする請求項１０記載の３次元形状認識プログラ
ム。
【請求項１２】請求項１０または１１記載の３次元形
状認識プログラムを記録したコンピュータ読みとり可能
な記録媒体。