JP5287152B2 - ３次元モデルの作成方法および物体認識装置 - Google Patents

Description

この発明は、所定の形状を具備する物体を対象として、複数のカメラを用いたステレオ計測により復元された３次元情報を用いて物体の位置および姿勢を認識する処理を行うために、当該物体の３次元モデルを作成する方法に関する。さらにこの発明は、上記の３次元モデルを作成して登録した後に、そのモデルを用いて物体の認識処理を行う装置に関する。

ステレオカメラを用いた３次元認識処理により物体の位置や姿勢を認識するには、認識対象の物体の種々の面の３次元情報を含む３次元モデルを作成する必要がある。
上記の点を課題とした発明を開示したものとして、下記の特許文献１がある。この特許文献１には、認識対象物の実物モデルに対し、複数の方向からのステレオ計測を行って、各計測により復元した３次元情報を位置合わせして統合することにより、物体全体の幾何モデルを作成することが、記載されている。

また、特許文献１には、「セグメントベーストステレオ」と呼ばれる手法により、ステレオ画像に表されたエッジから実物モデルの輪郭線の３次元情報を復元することが記載されている。特許文献１によれば、「セグメントベーストステレオ」とは、ステレオ画像中のエッジを「セグメント」と呼ばれる単位に分割し、セグメント単位でステレオ対応検索を行って、輪郭線の３次元情報を復元する処理をいう。

さらに特許文献１には、３次元情報の位置合わせに関して、回転テーブルを用いて実物モデルを定められた角度まで回転させて、その回転角度に基づく座標変換を行う方法が記載されている。また、未知の観測方向からの３次元情報を位置合わせする方法として、作成中のモデルと新たに復元された３次元輪郭線とを照合して複数とおりの位置合わせの候補を求め、これらの中で一致度が最も高くなる場合の位置合わせを特定することも記載されている。

さらに、下記の非特許文献１には、２次元のセグメントを画像間で対応づけし、３次元情報を復元する手法が詳しく記載されている。また、非特許文献２には、復元された３次元情報をあらかじめ登録された３次元モデルと照合して、物体の位置や姿勢を認識する手法が開示されている。

特許２９６１２６４号公報（段落００１３，００１７，００２８〜００３６参照。） 「セグメントベーストステレオにおける連結性に基づく対応評価」 情報処理学会論文誌 Ｖｏｌ．４０，Ｎｏ．８，３２１９−３２２９ページ，１９９９年８月発行 「ステレオビジョンによる３次元物体の認識」 電子情報通信学会論文誌 Ｄ−II，ｖｏｌ．Ｊ８０−Ｄ−II，Ｎｏ．５，１１０５−１１１２ページ、１９９７年５月発行

特許文献１に記載された発明は、種々の方向から見た物体の３次元的特徴を統合した３次元モデルを作成するので、バラ積みされた部品など、位置や姿勢が定まらない物体を認識するのに適した３次元モデルを作成することができる。しかし、特許文献１の「未知の観測方向からの３次元情報を位置合わせする方法」を用いて３次元モデルを作成した場合には、下記の理由により、３次元モデルの精度を確保するのが困難であると思われる。

特許文献１の「未知の観測方向からの３次元情報を位置合わせする方法」は、具体的には、実物モデルとステレオカメラとの位置関係を任意に変更して実行された２つのステレオ計測間でそれぞれの計測により復元した３次元情報を複数とおりに対応づけて一致度を算出し、一致度が最も高くなったときの対応関係を採用して位置合わせを行うものである。したがって、３次元情報間の対応づけを精度良く行うことができなければ、位置合わせの精度を確保できず、最終的な３次元モデルも精度が悪いものとなる。

まず面取り部分や曲面が計測対象となる場合には、図１７に示すような原因で対応づけの誤りが生じる場合がある。
図１７は、認識対象物Ｓｂのコーナー部に対してｆ１，ｆ２の２方向からそれぞれステレオ計測を行う例を示すものである。この図は、認識対象物Ｓｂの一断面であって、図中のＲ１，Ｒ２は、平坦面と曲率が大きな面との境界位置に相当する。
この例の場合、ｆ１の方向からの計測では、図中のＲ１の位置に３次元のエッジが復元されるのに対し、ｆ２の方向からの計測では、Ｒ２の位置に３次元のエッジが復元される。したがって、それぞれの方向からの計測により復元された３次元情報を対応づける際に、Ｒ１に対応するエッジとＲ２に対応するエッジとが誤って対応づけされ、その分、位置合わせの精度が劣化するおそれがある。

図１８は、繰り返し構造を含む部位の対応づけに誤りが生じた例を示す。繰り返し構造のエッジが不鮮明で、３次元情報の復元精度が悪くなった場合などには、このような誤った対応づけが生じるおそれがある。
また、対称形の部位を具備する物体を認識対象とする場合にも、対称形の部位の表と裏とが誤って対応づけられた状態が、正しいものとして認識される可能性がある。

工業製品や成型品には面取り部分や曲面を含むものが多く、また繰り返し構造や対称形の部位も多く認められる。したがって、これらの物体に関する３次元モデルを作成する際には、上記のような原因により誤った位置合わせが行われる可能性が高くなり、３次元モデルの精度を確保するのが困難になる。

したがって、特許文献１に記載された発明において３次元モデルの精度を確保するには、この文献の段落００２８に記載された方法、すなわち回転テーブルを用いて、毎回、定めた角度で実物モデルを回転させて撮像を行って、この既知の回転角度に基づく座標変換を行う方法を採用せざるを得ない。しかし、この方法では、回転テーブルなどの設備が必要となるため、コストがかかる。また、毎回の回転角度を正確に定めなければならないため、ユーザの負担が大きくなる。

この発明は、この問題点に着目し、実物モデルとカメラとの位置関係を任意に変更して３次元計測を行って、各計測により復元された３次元情報を位置合わせして統合する方法を採用する場合でも、精度の良い３次元モデルを作成できるようにすることを課題とする。

この発明による３次元モデルの作成方法では、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークを、認識対象物の実物モデルの表面の平坦な一面に１つ取り付け、このマークがステレオカメラを構成するすべてのカメラの視野に含まれる状態が維持されることを条件として、各カメラと実物モデルとの位置関係を毎回変更して複数回の撮像を実行する。また、毎回の撮像により生成されたステレオ画像からエッジの特徴を検出し、検出された特徴の３次元座標を求めることによって、実物モデルおよびマークの輪郭線の特徴を表す３次元情報を復元する。そして、毎回の撮像に伴い復元された複数の３次元情報の全てまたはその一部に相当する２以上の３次元情報を統合の対象として、これら統合対象の３次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各統合対象の３次元情報を位置合わせした後に統合する。さらに、統合された３次元情報からマークに対応する情報を消去または無効化し、この処理後の３次元情報を３次元モデルとして確定する。

上記において、３次元計測により復元される３次元情報は、実物モデルおよびマークの個々の輪郭線に対応する複数の３次元特徴データの集合体である。また３次元情報の「位置合わせ」とは、それぞれ異なる方向からのステレオ計測により復元された複数の３次元情報を、それぞれの間の位置ずれや角度ずれがなくなるように座標変換する処理をいう。

「回転対称性を持たない多角形」は、３つ以上の頂点を具備する平面図形であり、３６０度の範囲で回転させた場合に、どの回転角度においても回転前の図形に重なり合わない形状のものをいう。また、同じ形状の図形に対して回転ずれがない状態で対応づけた場合の一致度と、その他の対応づけによる一致度との間に有意な差が生じるような形状の多角形であるのが望ましい。

実物モデルに取り付けられるマークは、たとえば、紙、布、樹脂などによりシート状に形成され、実物モデルの表面に貼着される。この場合、マークを構成するシートの裏面に接着層を形成すれば、いわゆる「シール」としてマークを手軽に貼付することができる。また実物モデルが金属製であれば、磁性シートによるマークを作成して、磁力により実物モデルの表面に装着することも可能である。

また、明色の実物モデルには暗色のマークを取り付け、暗色の実物モデルには明色のマークを取り付けるのが望ましい。このようにすれば、マークと背景とのコントラストが強い画像を生成することができるから、マークのエッジを精度良く検出することができる。

上記の方法で実施される撮像処理は、常にすべてのカメラの視野に同一のマークが含まれる状態で行われるから、実物モデルの輪郭線とともに、マークのエッジの３次元情報を復元することができる。さらに、３次元情報を統合する際の位置合わせ処理でも、マークのエッジを位置合わせの対象にすることができる。

３次元情報の位置合わせでは、３次元情報間の一致度が最も高くなる場合の対応関係を特定し、その対応関係に基づく座標変換により、各３次元情報間の位置ずれや角度ずれを解消する。ここでマークの形状は回転対称性を持たない多角形であり、その多角形の内部に輪郭線は含まれていないから、マークにつき復元される３次元情報は多角形の辺を表す情報のみとなる。したがって、復元される３次元情報が表すマークの姿勢は計測方向毎に一意のものとなるから、マークの３次元情報を対応づける場合には、正しく位置合わせされたときでなければ、必ずいずれかの辺または頂点にずれが生じる。
よって、正しく位置合わせされていない場合にはマークの辺や頂点に大きなずれが生じるようにマークの形状を定めておけば、３次元情報の位置合わせにおいても、位置合わせが正しくない場合のマーク部分の一致度を大幅に低下させることができる。

上記によれば、マークの３次元情報が正しく位置合わせされたか否かによって、３次元情報全体の一致度が大きく変動するようになる。すなわち、マークを含む各部が正しく対応づけられた場合の一致度は十分な大きさになるのに対し、正しい対応づけがされていない場合には、マーク部分の一致度の大幅な低下によって全体の一致度が引き下げられる。したがって、実物モデルの３次元情報中に誤った対応づけが行われる可能性のある特徴が含まれている場合でも、その対応づけによる位置合わせが確定されるのを防止することができ、精度の良い３次元モデルを作成することが可能になる。

上記の方法において、マークを曲面に取り付けると、その面の曲率の大きさによっては、マークにつき本来のものとは大きく異なる３次元情報が復元されるが、マークの幾何学的特徴に基づく照合を行うには、マークの本来の３次元情報を精度良く復元する必要がある。この点を考慮して、この発明では、実物モデルの表面の平坦な一面にマークを取り付けるようにしている。

単一色の多角形を上記のマークとして当該マークとは色彩が異なる背景部と一体に形成し、この一体物を実物モデルの表面に取り付けてもよい。このようにすれば、繰り返し構造など、位置合わせ時の対応づけに誤りが生じやすい特徴が現れている箇所を一体物により覆って、対応づけの誤りを防止することが可能になる。

好ましい態様による方法では、あらかじめ上記のマークの幾何学的特徴を表す３次元特徴データを登録しておく。そして、３次元情報を統合する処理に先立ち、毎回の撮像により生成されたステレオ画像により復元された３次元情報をマークの３次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定し、この幾何学的特徴が良好に復元されていないと判定した３次元情報を、統合処理の対象から除外する。

実物モデルとカメラとの位置関係を毎回任意に設定して３次元計測を行う場合には、実物モデルの３次元的形状が判明していない限り、復元された３次元情報からその情報の精度を確認するのは困難である。しかし、この発明の場合には、マークの設計や作成を行う過程でその寸法や形状を知ることができ、また計測された３次元情報の中にマークを表す情報が含まれているから、このマークの既知の幾何学的特徴を利用して３次元情報の精度を判定することができる。よって、判定結果に基づいて精度の悪い３次元情報を統合対象から除外することができ、３次元モデルの精度をより一層向上することができる。

他の好ましい態様では、３次元計測において、各カメラにより生成された画像からエッジを検出して、検出されたエッジを複数の２次元セグメントに分割するステップと、各２次元セグメントを画像間で対応づけて、対応するセグメントの組毎に複数の３次元座標を算出し、算出された３次元座標の分布状態に基づき直線または曲線の３次元セグメントを設定するステップと、各３次元セグメントの交点を特徴点に設定するステップとを実行することにより、複数の特徴点を含む３次元情報を作成する。また特徴点を設定するステップでは、他のセグメントに交わっていない端縁を具備する直線の３次元セグメントの当該端縁を所定の長さまで延長し、この延長部分が他の３次元セグメントまたはその延長部分に交わるとき、または所定値以内の距離をもって交差するときに、その交点または交差位置に基づき特徴点を設定する。さらに、３次元情報の統合前の位置合わせ処理では、統合対象の３次元情報の１つを基準とし、その他の３次元情報を変換対象として、前記基準の３次元情報中の特徴点群に対する変換対象の３次元情報中の特徴点群の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき変換対象の３次元情報中の特徴点群の座標変換処理を実行する。

上記の態様では、各エッジをセグメントの単位に分割して、対応づけや３次元座標の算出を行う。そして、最終的に構成された３次元セグメントの各交点を特徴点に設定し、位置合わせの際には、特徴点および３次元セグメントが基準の３次元情報に最も一致した状態を、適切な位置合わせ状態とする。しかし、マークとカメラの位置関係によっては、シェーディングなどによってマークの一部が不鮮明になり、その結果、マークの一部の頂点の３次元情報を復元できなくなり、位置合わせの精度が低下する可能性がある。この点に鑑み、上記の態様では、直線の３次元セグメントの他と交わっていない端縁を所定長さまで延長して、その延長部分が他の３次元セグメントまたはその延長部分と交わるか、所定値以内の距離をもって交差する場合には、その交点または交差するセグメントの間に特徴点を設定するので、マーク内の復元できなかった頂点も、この手法により復元することが可能になる。よって、マークの３次元セグメントにより位置合わせの精度を確保して、精度の良い３次元モデルを作成することが可能になる。

さらに他の好ましい態様では、実物モデルの表面の前記マークが取り付けられた平坦面とは異なる平坦な一面に、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成の第２のマークを１つ取り付けて、双方のマークにつきそれぞれ当該マークがすべてのカメラの視野に含まれる状態が複数とおり成立し、かつ双方のマークが共に各カメラの視野に含まれる状態が少なくとも１回成立するように、前記複数回の撮像における各カメラと実物モデルとの位置関係を調整する。さらに、一方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した３次元情報と、他方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した３次元情報とを変換対象として、双方のマークを共に各カメラの視野に含めて撮像したときのステレオ画像から復元した基準の３次元情報に対する各変換対象の３次元情報の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき各変換対象の３次元情報を前記基準の３次元情報に位置合わせした後にこれらの３次元情報を統合する。

認識対象物の全体の構成を示す３次元モデルを作成するには、実物モデルの各面が撮像対象となるように実物モデルとカメラとの位置関係の態様を多く設定する必要があるが、この場合にマークが常に全てのカメラの視野に含まれる状態を設定するには、１つのマークを付すだけでは困難である。

この点につき、上記の態様では、実物モデルの表面の上記マークが取り付けられた平坦面とは異なる平坦面に第２のマークを取り付けて、２つのマークの少なくとも一方を計測できれば良いようにしたので、実物モデルとカメラとの位置関係を変更できる範囲が限定されるのを防ぐことができる。また、一方のマークのみを計測対象とした場合の３次元情報と、他方のマークのみを計測対象とした場合の３次元情報とを、双方のマークを共に計測対象とした場合の３次元情報を基準に位置合わせすることができるから、位置合わせの精度を確保することができる。

上記の方法が適用された物体認識装置は、ステレオカメラにより生成された認識対象物のステレオ画像を入力する画像入力手段と、入力されたステレオ画像からエッジの特徴を検出し、検出された特徴に対する３次元計測を行うことによって３次元情報を復元する３次元計測手段と、復元された３次元情報をあらかじめ登録した３次元モデルと照合することにより認識対象物の位置および姿勢を認識する認識処理手段と、認識処理手段により使用される３次元モデルを作成して登録する３次元モデル登録手段とを具備する。さらに、３次元モデル登録手段は、以下のマーク登録手段、計測制御手段、判定手段、３次元情報統合手段、モデル確定手段、の各手段を具備する。

マーク登録手段は、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークについて、その幾何学的特徴を表す３次元特徴データを登録するためのものである。計測制御手段は、上記のマークが表面の平坦な一面に１つ取り付けられた実物モデルが、各カメラに対する位置関係が毎回変更されて複数回撮像されることを前提として、毎回の撮像により生成されるステレオ画像を画像入力部より受け付けて、３次元計測手段に処理させる。判定手段は、計測制御手段の処理によりステレオ画像から復元された３次元情報を、マーク登録手段に登録された３次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定する。

３次元情報統合手段は、複数回の撮像に伴い復元された複数の３次元情報のうち、マークの幾何学的特徴が良好に復元されていると判定された２以上の３次元情報を対象にして、これらの３次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各対象の３次元情報を位置合わせした後に統合する。モデル確定手段は、統合後の３次元情報中のマークに対応する情報を消去または無効化し、この処理後の３次元情報を登録対象の３次元モデルとして確定する。

なお、上記構成において、判定手段の処理のうち、マークの３次元情報が良好に復元されているか否かを判定する処理には、装置で自動的に実行する態様のほか、３次元情報とマークの３次元特徴データとの照合結果を表示して、ユーザによる判定結果の入力を受け付ける態様を含めることができる。

上記の装置によれば、ユーザが回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークを実物モデルの適所に取り付けて、同一のマークが各カメラの視野に共通に含まれる状態が維持されるように、毎回の実物モデルとカメラとの位置関係を調整して複数回の撮像を行うことにより、各撮像によるステレオ画像から復元された３次元情報のうち精度が良いものを選択して、３次元モデルを作成することが可能になる。よって、精度の良い３次元モデルを作成して登録した後に、これをもって物体の位置および姿勢を正確に認識することが可能になる。

この発明によれば、対象物の実物モデルの表面の平坦な一面に、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークを１つ取り付けて、このマークが各カメラの視野に共通に含まれる状態を維持して複数回の撮像を行うことにより、３次元情報の位置合わせの精度を高めることが可能になる。よって、実物モデルとカメラとの位置関係を任意に変更しても、３次元情報の位置合わせの精度を確保して、精度の良い３次元モデルを作成することが可能になる。また位置関係を厳密に調整する必要がないので、３次元モデルの作成に要するユーザの手間を削減でき、利便性を高めることができる。

（１）装置構成
図１は、３次元認識処理を適用したピッキングシステムの例を示す。
このピッキングシステムは、工場内で収容ボックス６内に収容されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、実際の作業を行う多関節ロボット４や、このロボット４の動作を制御するロボット制御装置３が含まれる。さらに、このピッキングシステムには、処理対象のワークＷの位置および姿勢を認識するために、ステレオカメラ１および物体認識装置２が設けられる。

ステレオカメラ１は、位置関係が固定された３台のカメラ１１，１２，１３により構成される。物体認識装置２には、カメラ１１，１２，１３の位置関係や光軸の向きなどを表す情報や、認識対象のワークＷの３次元モデルが登録されており、各カメラ１１，１２，１３から入力したステレオ画像を処理して、ワークＷの輪郭線の３次元情報を復元した後に、復元した３次元情報を３次元モデルと照合してワークＷの位置や姿勢を認識する。この認識結果を示す情報は、物体認識装置２からロボット制御装置３に出力され、ロボット制御装置３において、ロボット４のアーム４０の動作を制御する処理に使用される。

図２は、物体認識装置２のハードウェア構成を示す。
この装置には、各カメラ１１，１２，１３に対応する画像入力部２１，２２，２３のほか、ＣＰＵ２４、メモリ２５、入力部２６、表示部２７、通信インターフェース２８などが設けられる。入力部２６はキーボードやマウスであり、表示部２７は液晶モニタである。入力部２６および表示部２７は、以下に述べる３次元モデルの作成の際に、ユーザが実物モデルの撮像状態を確認したり、選択操作や設定操作を行う用途に用いられる。通信インターフェース２８は、ロボット制御装置４との通信に用いられる。

メモリ２５は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含む。
ＣＰＵ２４は、メモリ２５に格納されたプログラムに基づき、３次元計測およびワークＷの認識に関する一連の処理を実行し、認識結果（具体的には、ワークＷの位置を表す３次元座標、および３次元モデルに対する回転角度）を通信インターフェース２８より出力する。

また、メモリ２５には３次元モデルを作成するためのプログラムも格納される。ＣＰＵ２４は、認識処理に先立ち、このプログラムに基づき、各カメラ１１〜１３から入力された実物モデルの画像を用いてワークＷの３次元モデルを作成し、これをメモリ２５内に登録する。

さらに図２には示していないが、この実施例の物体認識装置２には、各カメラ１１，１２，１３に駆動信号を出力する回路が設けられ、ＣＰＵ２４には、この回路を介して各カメラ１１〜１３の撮像動作を制御する機能が設定される。

（２）３次元計測処理について
上記の物体認識装置２では、ステレオ画像からエッジを検出した後に、特許文献１に記載された発明と同様に、「セグメント」と呼ばれる単位毎に３次元情報を復元し、さらにセグメント単位で３次元モデルとの照合を行うようにしている。図３は、この方法により１つのワークを認識するために実行される処理の概略手順を示すものである。以下、この図３のステップ符号を参照しつつ、この実施例における３次元認識処理を説明する。

まず、各カメラ１１〜１３によるステレオ撮像を行い、生成された各画像にエッジ抽出用のフィルタを適用して、画像中のエッジを検出する（ＳＴ１，２）。つぎに、検出されたエッジを細線化し（１画素幅のデータにする。）、細線化後のエッジを連結点や分岐点を基準に直線や曲線のセグメントに分割する（ＳＴ３，４）。この２次元画像上のエッジから抽出されたセグメントを、以下では「２次元セグメント」と呼ぶ。

つぎに、画像間で対応関係にある２次元セグメントを対応づける処理を実行する（ＳＴ５）。この対応づけでは、３つの画像のうちの１つを基準に、この基準画像の各２次元セグメントに順に着目し、着目した２次元セグメント毎に、他の２つの画像の中から対応する２次元セグメントを特定する。すなわち、着目した２次元セグメントに対し、エピポーラ条件を満たし、近傍のセグメントとの連結関係が整合する２次元セグメントを、各画像から検出することになる（詳細については非特許文献１等を参照されたい。）。

つぎに、上記の処理により対応づけられた各２次元セグメントの組み合わせ毎に、その対応関係から３次元情報を復元する処理を実行する（ＳＴ６）。
簡単に説明すると、対応づけられた２次元セグメントの組み合わせ毎に、そのセグメント間で対応関係にある画素の３次元座標を算出する。また、算出された３次元座標の分布状態を直線および円弧のモデルと照合して、これらの３次元座標の集合が直線／曲線のいずれに相当するかを判別する。この処理により、２次元セグメントの組み合わせ毎に、その組み合わせに対応する直線または曲線の３次元セグメントが特定される。

さらに、ＳＴ６では、各３次元セグメントについて、それぞれそのセグメントをあらかじめ設定された間隔毎にサンプリングし、セグメントの種別（直線または曲線）と各サンプリング点の３次元座標とを対応づけた情報を作成する。これにより、２次元セグメントから算出された３次元座標の数が少なかった３次元セグメントについても、サンプリング間隔を細かくすれば、当初より多くの３次元座標を得ることが可能になる。

上記の処理により復元された３次元セグメントの集合が、認識対象のワークの３次元情報に相当する。つぎの段階では、３次元座標系のあらかじめ定めた基準位置に３次元モデルを設定し、この３次元モデルと復元された３次元情報とを照合することによって、３次元モデルに対するワークの位置ずれ量および回転角度を認識する（ＳＴ７）。

ＳＴ７における照合処理では、各３次元セグメントの交点を特徴点として、各特徴点を総当たり式に対応づけながら、その対応づけをした場合の各３次元セグメントの一致度を算出し、一致度が最大になったときの対応づけを正しい対応関係として特定する。

ＳＴ７について、もう少し詳しく説明する。この実施例では、照合対象の３次元情報の各特徴点に順に対応づけて、対応づけ毎に、３次元モデル側の特徴点を対応点に移動させるのに必要なシフト量および回転角度を算出する。これらはいずれも、Ｘ，Ｙ，Ｚの軸毎に算出される。つぎに、算出したシフト量および回転角度に基づいて、３次元モデルに含まれる全ての座標を変換し、変換後の３次元モデルと照合対象の３次元情報との一致度を算出する。

上記の処理を、３次元モデル側のすべての特徴点につき実行することにより、特徴点が総当たり式に対応づけられ、対応付け毎に一致度を求めることができる。この後、最終的に最も高い一致度が得られたときの座標変換に用いたシフト量および回転角度を、認識対象のワークの３次元モデルに対する位置ずれ量および回転角度として認識する。

この後は、認識した位置ずれ量および回転角度をロボット制御装置３に出力し（ＳＴ８）、処理を終了する。

（３）３次元モデルの作成処理
３−１）原理説明
上記した３次元認識処理を実行するには、あらかじめ、ワークＷの３次元モデルをメモリ２５に登録する必要がある。この実施例の物体認識装置では、ワークＷの実物モデルを種々の方向からステレオ計測し、各計測結果から復元した３次元情報を統合する方法により、３次元モデルを作成するようにしている。以下、この処理について詳細に説明する。
なお、以下の図面では、ワークＷの実物モデルをＷＭの符号で示すとともに、明細書中では、この実物モデルＷＭを「ワークモデルＷＭ」という。

この実施例では、図４（１）に示すように、ステレオカメラ１の位置および光軸方向を固定して、ステレオカメラ１に対するワークモデルＷＭの姿勢を変更しながら複数回のステレオ計測を実行する。

図中、Ｘ，Ｙ，Ｚの各軸による３次元座標系は、３次元座標の算出用の座標系（以下、「計測座標系」という。）であり、ステレオカメラ１に対して一意に定められる。一方、Ｘ１，Ｙ１，Ｚ１の各軸による３次元座標系は、ワークモデルＷＭに対して一意に定められた座標系（以下、「ワーク座標系」という。）である。図４（１）では、Ｘ１，Ｙ１，Ｚ１の各軸がそれぞれＸ，Ｙ，Ｚ軸に平行な状態を示すが、ワークモデルＷＭの姿勢が変わると、ワーク座標系の各軸の方向もこれに応じて変化する。

ワークモデルＷＭの姿勢はユーザが自由に定めることができるが、この実施例では、常にＸ１Ｚ１平面に沿う特定の面がワーク支持面（この例ではＸＺ平面）に接するものとして、ＸＺ平面に直交するＹ１軸に対してワークモデルＷＭを１回転させ、その間に、複数回の撮像を行うものとする。なお、このワークモデルＷＭの回転は、回転テーブルを用いずに、ユーザの手でワークモデルＷＭの向きを変更する方法により行うので、回転角度のみならず、計測座標系に対するワークモデルＷＭの位置も、毎回位置ずれする。

図４（２）は、ワーク座標系を基準にして、ワークモデルＷＭに対するステレオカメラ１の位置関係の変化を表したものである。図中、１〜１２の数字入りの矩形は、それぞれ、撮像時のステレオカメラ１の場所を示し、また矩形内の数字は撮像の順序を示す。
これらの位置での撮像により生成されたステレオ画像は、いずれも３次元計測の対象となる。よって以下では、各矩形が表すステレオカメラの位置を「計測ポイント」と呼ぶ。また各計測ポイントに個別に言及する場合には、「計測ポイント［１］」「計測ポイント［２］」のように、計測の順序を表す数字を引用する。

この実施例では、上記１２個の計測ポイント毎に、図３のＳＴ１〜６と同様の処理を実行して３次元情報を復元する。また、計測ポイント［１］を除く各計測ポイントでは、それぞれその計測ポイントで復元した３次元情報を１つ前の計測ポイントの３次元情報と照合することにより、一段階前の３次元情報に対する位置ずれ量および回転角度を認識する。これらの認識処理は、いずれも図３のＳＴ７で実施されるのと同様の方法により行われる。

なお、最後の計測ポイント［１２］については、計測ポイント［１１］の３次元情報に対する位置ずれ量および回転角度に加えて、計測ポイント［１］の３次元情報に対する位置ずれ量および回転角度も求める。または、計測ポイント［１２］から再度計測ポイント［１］に移行して、計測を再実行し、復元された３次元情報の計測ポイント［１２］の３次元情報に対する位置ずれ量および回転角度を求めてもよい。

さらにこの実施例では、計測ポイント毎に復元された３次元情報の精度を確認し、良好であることを確認した２以上の３次元情報を選択して、選択された情報を位置合わせした後に統合するようにしている。これらの処理の詳細については、後に説明する。

つぎに、この実施例では、ワークモデルＷＭの表面の適所に三角形のマークＭを付けて、ステレオ計測を行っている。このマークＭはシールとして構成され、ワークモデルＷＭの平坦な面（この実施例では上面の中央部）に貼付される。各計測ポイントは、すべてのカメラ１１〜１３の視野にマークＭが含まれる状態にすることを条件に定められる。したがって、いずれの計測ポイントでも、マークＭの各辺を表す３次元セグメントを含む３次元情報が復元される。

図５は、上記のマークＭを付したワークモデルＷＭにつき、上記１２の計測ポイントで復元された３次元情報のうちの３つ（図中、ａ，ｂ，ｃで示す。）を用いて３次元モデルを作成する場合の処理手順を、模式的に示す。なお、図中の３次元情報ａは、図４（２）の計測ポイント［１２］で復元されたものである。また、３次元情報ｂは計測ポイント［３］で復元されたものであり、３次元情報ｃは計測ポイント［６］で復元されたものである。また、いずれの３次元情報にも、マークＭの情報ｍが含まれている（ただし、情報ｍの実質的な内容は計測ポイントによって異なる。後記する情報ｍ１，ｍ２も同様である。）。

この例では、３次元情報ａを基準に、この基準の３次元情報ａに対する位置ずれおよび角度ずれが解消するように、他の３次元情報ｂ，ｃを座標変換する。そして、変換後の３次元情報ｂ´，ｃ´を基準の３次元情報ａと統合することによって、それぞれの情報の特徴を含む３次元情報ｄを作成する。さらに、この統合された３次元情報ｄから三角形のマークＭに対応する情報ｍを消去することにより、ワークモデルＷＭの３次元形状のみを表す３次元情報ｅを作成し、この情報ｅを３次元モデルに設定する。

上記の３次元情報の座標変換処理は、先に計測ポイント毎に求めた位置ずれ量および回転角度を用いて行われる。たとえば、計測ポイント［３］で復元した３次元情報ｂを計測ポイント［１２］で復元した３次元情報ａに位置合わせするには、計測ポイント［３］と［２］、計測ポイント［２］と［１］、計測ポイント［１］と［１２］の各組み合わせにつき求めた位置ずれ量および回転角度を用いて、座標変換を行う。計測ポイント［６］で復元した３次元情報ｃについても同様に、計測ポイント［６］から計測ポイント［１２］までの範囲（この場合は時計回り・半時計回りのいずれでもよい。）で算出された位置ずれ量および回転角度を用いて、座標変換を実行することにより、３次元情報ａへの位置合わせを行う。

上記のように、距離を隔てた計測ポイント間の位置ずれ量および回転角度を求める際に、これらの間にある各計測ポイントを隣り合うもの毎に組み合わせて、計測ポイントの組毎に３次元情報の位置ずれ量および回転角度を算出する理由は、共通する特徴をできるだけ多く含む情報同士を照合する方が、照合の精度を確保できるからである。ただし、以下に述べるマークＭの機能によって照合処理の精度を十分に確保できるのであれば、３次元情報ｂ，ｃを３次元情報ａと直接照合して、座標変換処理に必要なパラメータを算出してもよい。

つぎに、三角形のマークＭをワークモデルＷＭに貼付する理由について説明する。
この実施例で使用するマークＭが表す三角形は、図６に示すように、各辺の比が６：７：８になるように設定されている。この比率によれば、マークＭの各頂点Ａ，Ｂ，Ｃを容易に特定することができるから、たとえば頂点Ａから辺ＢＣへの垂線の方向によって、マークＭの向きを一意に特定することができる。また図７に示すように、同じ形状の三角形Ａ´Ｂ´Ｃ´と位置合わせする場合にも、位置合わせの精度を確保することができる。

図７（１）では、上記の比率による三角形ＡＢＣとこれに合同な三角形Ａ´Ｂ´Ｃ´から、それぞれ頂点を１個ずつ選択し、選択された頂点を基準に各三角形を位置合わせした結果を示す。この図に示すように、各三角形は、正しい対応関係にある頂点が組み合わせられたときでなければ、完全に重なり合うことはない。

上記の三角形の対応づけについて、発明者らは、実際に頂点の組み合わせ毎に、三角形全体の一致度を求めてみた。図７（２）は、その結果を示すグラフである。このグラフに示すとおり、各頂点が正しく対応づけられた場合の一致度を１とすると、他の対応関係による一致度は最大でも０．４程度となる。これにより、三角形の対応関係の正否を正しく判定できることが判明した。

上記のとおり、図６に示した形状の三角形によれば、三角形の各頂点が正しく対応づけされた場合と対応づけに誤りがある場合とで、一致度に大きな差異が生じる。この三角形の各辺を３次元セグメントとして対応づけを行っても、同様の効果を得られるはずであるから、マークＭの３次元セグメントを含む３次元情報全体を照合した場合には、三角形の各辺の３次元セグメントに関する一致度が全体の一致度に大きく影響を及ぼすようになる。

すなわち、ワークモデルＷＭの本来の３次元セグメントの中に誤った位置合わせを生じさせるような要素があっても、誤った対応づけが行われた場合には、三角形の３次元セグメントの一致度が大きく低下することによって３次元情報全体の一致度が引き下げられる。一方、三角形の３次元セグメントを含む各３次元セグメントが正しく位置合わせされた場合には、いずれの３次元セグメントでも一致度が高くなるから、３次元情報全体の一致度も高い値になる。よって、正しく対応づけられている場合の一致度を他の場合より大きくすることができ、位置合わせの精度を確保することができる。

なお、マークＭが示す三角形の形状は図６の例に限定されるものではなく、上記した効果を得ることができるものであれば、辺の比率は問わない。また三角形に限らず、頂点が４点以上で向きを一意に特定できる多角形によるマークを作成してもよい。

またワークモデルＷＭが不透明で、マークＭの貼付面に対向する面の側からマークＭを透視することができない場合には、二等辺三角形などの線対称形状の図形によりマークＭを構成してもよい。すなわち、回転対称性を持たない図形であって、同一の図形に位置ずれおよび角度ずれなく対応づけたときの一致度と、その他の対応付けにおける一致度との間に有意な差が生じるように設計された図形であれば、３次元情報全体の位置合わせの精度を確保する目的に使用できると考えられる。

つぎに、上記のマークＭを平坦面に貼付する理由について説明する。
マークＭを曲面に貼付すると、三角形の各辺も曲線の３次元セグメントとして認識される可能性が高くなる上、曲面の曲率によってマークＭの復元される形状が変動する。したがって、マークＭが曲面に取り付けられた場合には、その３次元情報を正しく復元できたとしても、復元された３次元情報は、本来の三角形の形状とは異なる形状を表す可能性が高いから、以下に述べるモデル三角形との照合による３次元情報の検証処理を安定して行うのが困難になる。

つぎに、マークＭの３次元情報を精度良く復元するには、マークＭの各辺のエッジが確実に検出されるようにする必要がある。この観点から、この実施例では、マークＭの面に模様などを描かずに、ほぼ一様な色彩で着色するとともに、図８に示すように、ワークの色彩の明暗に応じた２種類のマークＭを用意している。このように、背景となるワークの色彩に応じてマークＭの色彩を変更すれば、マークＭと背景部分とのコントラストを強めてエッジの検出精度を高めることができる。

さらに、図９に示すように、ワークモデルＷＭの表面に対応づけの誤りを生じさせるようなパターンｐｎがある場合には、一様な色彩による背景ＢＫとマークＭとを一体化したシールＳを作成し、このシールＳを、パターンｐｎが隠れるように貼付するとよい。

３−２）３次元モデルの精度の確保に関する処理
さらに、この実施例では、３次元モデルの精度を確保するために、以下の処理を実行する。

［特徴点の補完処理］
図８，９に示したように、ワークモデルＷＭの色彩やパターンを考慮したマークＭを貼付しても、撮像方向によっては、シェーディングなどの影響でマークＭの一部が不鮮明になり、その影響でマークＭの３次元セグメントを十分に復元できない場合がある。特に３次元情報の照合の基準となる頂点の座標が欠けてしまうと、三角形によって位置合わせの精度を向上するのが困難になる可能性がある。

上記の問題に鑑み、この実施例では、復元された３次元セグメントのうちの直線のセグメントを対象に、図１０（１）に示すような処理を行うことにより、消失した頂点に対応する３次元座標を補完するようにしている。なお、図１０では、処理内容を明確にするために、各３次元セグメントを拡大して示す。

図１０（１）の例では、直線セグメントのうち他のセグメントと連結していない端縁を有するものを対象に、その連結のない端縁を所定の上限値までの範囲で延長する。ここで延長された部分（たとえば、図中のセグメントＬ１の延長部分）が、他の３次元セグメントＬ２またはそのセグメントＬ２を同様に延長した部分と交わった場合には、その交点Ｐを特徴点として、その３次元座標を算出する。

また、計測用のパラメータの誤差などにより、連結すべきセグメントが交わらずに交差する可能性があることも考慮して、図１０（２）に示すような方法による特徴点の特定も行っている。この例では、２つの直線のセグメントＬ１，Ｌ２（いずれも延長部分を含む。）が交差する場合に、その交差箇所でのセグメントＬ１，Ｌ２の間の距離Ｄを算出する。そしてこの距離Ｄが所定のしきい値以内であれば、該当するセグメント間の中点Ｑを特徴点として、その３次元座標を算出する。なお、直線のセグメントの延長幅の上限値やセグメント間の距離Ｄと比較するしきい値は、マークＭのサイズや想定される計測誤差に基づいてあらかじめ定められる。

上記の図１０（１）（２）の処理によれば、マークＭに対応する三角形の一部の辺や頂点が画像から消失しても、三角形の消失した頂点の座標を補完することができるから、三角形の一致度が３次元情報全体の一致度に及ぼす影響が保証される。また三角形の頂点に限らず、ノイズや計測誤差などによって主要な特徴点が復元されなかった場合にも、これらの座標を補完することができるから、３次元情報の照合の際の精度を確保することができる。

［３次元情報の検証］
先に述べたように、この実施例では、種々の方向からワークモデルＷＭを計測するが、いずれの計測ポイントでも、精度良く３次元情報を復元できるとは限らない。ワークモデルＷＭの向きによっては、計測用のパラメータの誤差が大きく反映されたり、誤認識されやすい特徴を多く含む画像が生成されるなどして、３次元情報の精度が劣化することがある。

また、この実施例では、毎回のステレオ計測におけるワークモデルＷＭの位置をユーザが定めているため、ユーザのミスにより各カメラの視野にマークＭが含まれない状態で計測が行われる場合がある。マークＭの情報を含まない３次元情報では、位置合わせの精度が悪くなる可能性があるから、事前に統合対象から除外する必要がある。

上記の点から、この実施例では、計測ポイント毎にマークＭの３次元情報が良好に復元されているかどうかを判定し、良好であると判定した３次元情報を統合処理に使用するようにしている。

具体的に判定処理では、図１１の（ａ）に示すように、実際の三角形に近い情報が復元されている場合に、この情報を含む３次元情報全体を良好であるとして統合の対象にする。他方、図１１（ｂ）のように辺が曲線化された場合や、図１１（ｃ）のように頂点が正しく復元できなかった場合など、三角形の再現性が悪い場合には、３次元情報全体も良好でないと判断して、統合の対象から除外する。

さらに、この実施例では、３次元情報が良好でないと判定した場合には、その３次元情報を破棄して、再度の計測を行ったり、計測ポイントを変更するなどの対応をとる。また、計測を所定回数やり直しても、良好な３次元情報を得られない場合には、ステレオカメラ１の位置調整や３次元キャリブレーションの再実行など、最初の設定処理からやり直す。このような処理により、統合に用いられる３次元情報の精度を確保するとともに、統合の際の座標変換に必要な位置ずれ量や回転角度が精度の悪い３次元情報により算出されるのを防止して、３次元モデルの精度を確保することができる。

上記の判定処理は、具体的には、マークＭの幾何学的情報を表す３次元モデルデータ、具体的には、三角形の三辺の好ましい３次元セグメントを表すデータの組み合わせを用いて行われる（以下、このモデルデータを「モデル三角形」という。）。すなわち、各計測ポイントの３次元情報をモデル三角形により照合して、モデル三角形に対する一致度を求める。この照合も、３次元モデルによる照合の場合と同様の方法、すなわちモデル三角形の各特徴点を３次元情報中の各特徴点に総当たり式に対応づけて、モデル三角形に対する一致度が最も高いときの対応づけを確定する方法により行われる。

上記の照合を行った後は、算出された一致度を所定のしきい値と比較し、一致度がしきい値を上回る場合には３次元情報を良好と判定し、一致度がしきい値以下であれば、該当する３次元情報を削除する。

つぎにこの実施例では、良好と判定された３次元情報をすべて統合するのではなく、その中から、さらに統合対象の３次元情報を選択する。この選択は、全ての計測処理が完了した時点で、ユーザの判断に基づいて行われる。

図１２は、統合に使用する３次元情報を選択するための画面の例を示す。
この画面には、３次元情報を画像化して表示するためのウィンドウ３０や、「モデルに追加」「追加しない」の２つの選択ボタン３１，３２などが設けられる。ウィンドウ３０内には、選択候補の３次元情報に基づく輪郭線が表示されるとともに、先の照合結果に基づき、モデル三角形に対応すると判定された場所に、そのモデル三角形の輪郭線Ｍ０が表示されている。さらに、このウィンドウ３０内には、上記のモデル三角形に対する３次元情報の一致度も表示されている。

ユーザは上記の表示を確認して、表示中の３次元情報を３次元モデルに加えるべきであると判断すると、「モデルに追加」のボタン３１を操作する。これにより、表示中の３次元情報が統合対象として選択される。一方、「追加しない」のボタン３２が操作された場合には、表示中の３次元情報は統合対象から除外される。ただし、後記するように、この３次元情報は統合後の３次元情報の精度を向上する目的で３次元モデルに追加登録される場合もある。

なお、先の説明では、モデル三角形に対する一致度をしきい値と比較することにより、マークの３次元情報の復元精度を自動判定するとしたが、これに代えて、図１２と同様の画面を提示して、マークの３次元情報が良好であるか否かについてユーザの判定入力を受け付けてもよい。また、この判定入力とモデルに追加するか否かの選択とを、同じ画面上で受け付けるようにしてもよい。

３−３）３次元モデルの作成・登録処理の手順
図１３は、ステレオ計測を行ってから３次元モデルを登録するまでの処理の手順をフローチャートにまとめたものである。以下、このフローチャートの流れに沿って、この実施例の３次元モデルの作成手順を説明する。

この実施例では、計測時のワークモデルＷＭの位置決めをユーザの裁量にゆだねることから、計測処理の間は、各カメラ１１〜１３からのプレビュー画像を表示部２７に表示するようにしている。ユーザが、この表示画面で各カメラ１１〜１３によりワークモデルＷＭやマークＭが正しく撮像されているかどうかを確認して、計測指示の操作を行うと、図１３中の「ステレオ計測」のステップ（ＳＴ１０１）が実行される。このステップＳＴ１０１では、具体的にはステレオ撮像から３次元情報の復元までの処理（図３のＳＴ１〜６と同様のもの）が実行される。

つぎに、復元された３次元情報をモデル三角形により照合し、３次元情報の精度を判定する（ＳＴ１０２）。ここでの判定は、先に述べたように、一致度に基づく自動判定または照合結果の表示画面でユーザの判定を受け付ける方法を用いて行うことができる。

ここで、３次元情報が良好でないと判定された場合（ＳＴ１０３が「ＮＯ」）には、復元された３次元情報を消去し、表示部２７に、エラーメッセージなどを表示する。これに応じて、ユーザは、ワークモデルＷＭの位置を変更するなどして、計測指示をやり直すことになる。

復元された３次元情報が良好であると判定された場合（ＳＴ１０３が「ＹＥＳ」）には、さらにこの３次元情報の一段階前の３次元情報に対する位置ずれおよび回転角度を認識する（ＳＴ１０５）。さらに、回転角度については、認識した値を毎回加算する方法によって、最初に復元された３次元情報に対する回転角度を算出する（ＳＴ１０６）。ただし、一番最初に３次元情報を復元した場合（ＳＴ１０４が「ＹＥＳ」）には、上記ＳＴ１０５，１０６の各ステップはスキップされる。

つぎに、この実施例では、最初の３次元情報に対する回転角度が３６０度を超えたことをもって、ステレオカメラに対してワークモデルＷＭが１回転したと判断する（ＳＴ１０７）。またワークモデルＷＭが１回転したと判断するまでは、ＳＴ１０１〜１０７の処理を繰り返す。

最初の３次元情報に対してワークモデルＷＭが１回転したと判定すると、ＳＴ１０１〜１０７のループを終了し、図１２に示した画面を表示して、統合対象の３次元情報の選択を受け付ける（ＳＴ１０８）。そして、選択された３次元情報の１つを基準として、この基準の３次元情報に他の３次元情報を位置合わせし（ＳＴ１０９）、位置合わせ後の各３次元情報を統合する（ＳＴ１１０）。

なお、統合対象の３次元情報を選択する処理は、ユーザによらずに自動的に行うようにしてもよい。たとえば、毎回の計測に伴うＳＴ１０６で認識された回転角度に基づき、ワークモデルＷＭが一定角度以上回転したときの計測で復元された３次元情報を、統合対象として選択することができる。

図１４は、先に示した１２の計測ポイントの中から、計測ポイント３，６，９，１２の４つを選択して統合を行う例を模式的に示す。この例のように、ワークモデルＷＭを囲む全範囲の中から特定の範囲に偏らないように配慮して統合対象の計測方向を選択することによって、バランスの良い３次元モデルを作成することができる。

統合処理が終了すると、統合された３次元情報からマークＭに対応する情報を削除する（ＳＴ１１１）。これは、実際の認識対象のワークＷにはマークＭが付されていないため、３次元モデルにマークＭの情報を含めたままにすると、照合精度がかえって低下する可能性があるためである。ただし、ここでは、マークＭの情報を削除せずに、照合対象とならないように無効化するにとどめてもよい。

つぎに、図１４に示したように、特定の範囲の計測によるものに偏らないように配慮して統合対象の３次元情報を選択しても、ワークモデルＷＭの形状によっては、ワークモデルＷＭの姿勢がわずかに変化しただけで、統合された３次元情報による認識が不可能になる場合がある。この点に鑑み、この実施例では、マークＭの情報が削除された３次元情報を３次元モデルとして仮登録した後に（ＳＴ１１２）、以下の処理により、３次元モデルの精度をさらに高めるようにしている。

具体的には、仮登録された３次元モデルにより統合対象として選択されなかった３次元情報を順に照合して、３次元モデルに対する位置ずれ量および回転角度を算出し、これらの算出値を、先に計測ポイント毎に求めた位置ずれ量および回転角度から導出した値と比較することにより、正しい認識が行われた否かを判定する（ＳＴ１１３，１１４）。ここで、照合対象の３次元情報を正しく認識できなかったと判定した場合（ＳＴ１１４が「ＮＯ」）には、照合に用いられた３次元情報を３次元モデルに位置合わせして、３次元モデルに追加する（ＳＴ１１５）。一方、照合対象の３次元情報を正しく認識できた場合（ＳＴ１１４が「ＹＥＳ」）には、この３次元情報を３次元モデルに追加せずに、つぎに進む。なお、上記の位置合わせは、計測ポイント毎に求めた位置ずれ量および回転角度に基づく座標変換により行われる。

このように、統合から除外された３次元情報を順に対象として、その３次元情報が統合された情報により正しく認識できるかどうかを判定し、認識に誤りが生じたと判定された３次元情報を３次元モデルに追加する。このような処理により、仮登録された３次元モデルにそのモデルでは認識できなかった３次元情報が追加されるので、以後の３次元モデルで同様の誤認識が生じることはなくなり、３次元モデルの精度を向上することができる。一方で、正しく認識できた３次元情報が３次元モデルに追加されることはないので、３次元モデルのデータ量が増えるのを防止できる。

この後は、さらに３次元モデルの精度を高めるために、ノイズを除去する処理を実行する（ＳＴ１１７）。たとえば、３次元モデルを構成する３次元セグメントの中で、長さが所定のしきい値以下のものや、３次元座標のサンプル点数が所定数以下のものを削除する。またＸＺ平面上の３次元座標の分布状態から影に相当するものを検出し、これを削除する。また、直線のセグメントの延長部分について、設定された上限値を超えるものがないかどうかをチェックし、上限値を超える延長箇所があれば、その箇所を設定した交点とともに削除する。

このように、短い３次元セグメント、サンプル点数の少ない３次元セグメント、影を表す３次元セグメント、誤った延長が行われた３次元セグメントなどを削除することにより、照合処理において誤った対応づけがされるのを防止できる。また３次元モデルの容量が削減されるので、照合処理の時間を短縮することができる。

ノイズの除去が終了すると、このノイズ除去後の３次元モデルを本登録し（ＳＴ１１８）、処理を終了する。

上記の処理によれば、ワークモデルＷＭとステレオカメラ１との関係を少しずつ変更しながら、毎時、三角形のマークＭの情報を含む３次元情報を照合することによって、直前に得た３次元情報に対する位置ずれ量や回転角度を精度良く求めるので、統合処理時の位置合わせの精度を確保することができる。よって、種々の方向からの計測により復元された３次元情報により、精度の良い３次元モデルを作成することができる。

また、上記の実施例によれば、各カメラ１１〜１３の視野に同一のマークＭが含まれる状態にしてステレオ撮像を行う必要はあるが、マークＭの効果によって位置合わせの精度を確保できる。また、ワークモデルＷＭの回転角度を厳密に調整しなくて良いから、回転テーブルなどの設備が不要になる。また、ワークモデルＷＭを適当な角度ずつ動かすことで精度の良い３次元モデルを作成することができるから、ユーザの負担を軽くすることができる。

３−４）複数のマークＭを使用する実施例
上記した実施例では、計測座標系のＸＺ平面に常にワークモデルＷＭのＸ１Ｚ１平面に沿う特定の面が接するようにして、ワーク座標系のＹ１軸に対してワークモデルＷＭを回転させることで、ワークＷの輪郭線の全体形状を表す３次元モデルを作成したが、３次元モデルの精度をより高めるために、Ｙ１軸以外の方向にもワークモデルＷＭを回転させてもよい。この場合には、各カメラ１１〜１３に常にマークＭを撮像させるのが困難になるが、つぎに説明する実施例のように、ワークモデルＷＭに複数のマークＭを取り付けることで、この問題を解決できる。

図１５は、２個のマークＭ１，Ｍ２が付されたワークモデルＷＭを用いて３次元モデルを作成する場合の計測処理の例を示す。図１５（１）に示すように、一方のマークＭ１は、ワーク座標系のＹ１軸がＹ軸に平行になるようにワークモデルＷＭを配置したときに上面になる位置に取り付けられ、他方のマークＭ２は、ワークモデルＷＭの側面に取り付けられる。なお、各マークＭ１，Ｍ２は、いずれも、各辺の比率が図６に示したように設定された三角形であるが、大きさは、それぞれの貼付面の大きさに応じて適宜変更される。

この実施例でも、先の図４に示した例と同様に、Ｙ１軸に対してワークモデルＷＭを回転させながら複数回の計測を行う（図１５（１））。一連の計測が終了すると、回転軸をＹ１軸からＸ１軸に変更して、図１５（２）に示すように、ワークモデルＷＭを９０度回転させて計測を行う。さらに図１５（３）に示すように、ワークモデルＷＭを再度９０度回転させて計測を行う。

Ｙ１軸に対してワークモデルＷＭを回転させて計測を行う場合には、マークＭ１が常に各カメラ１１〜１３の視野に含まれるようにし、Ｘ１軸に対してワークモデルＷＭを回転させて計測を行う場合には、マークＭ２が常に各カメラ１１〜１３の視野に含まれるようにする。さらに、少なくともＹ１軸に対する回転からＸ１軸に対する回転に移行する際に、２つのマークＭ１，Ｍ２がともにカメラ１１〜１３の視野に含まれる状態を設定して計測を行う。

図１６は、上記の計測処理により復元された３次元情報を統合する例を示す。
図中のａ，ｂ，ｃは、先の図５の例と同様に、Ｙ１軸に対してワークモデルＷＭを回転させている間に復元された３次元情報である。これらの３次元情報のうち、３次元情報ａには、２つのマークＭ１，Ｍ２の情報ｍ１，ｍ２が含まれる。他の３次元情報ｂ，ｃにはマークＭ１の情報ｍ１は含まれているが、マークＭ２の情報は含まれていない。

つぎに、図中のｇは、ワークモデルＷＭが図１５（２）の状態で配置されているときの計測により復元された３次元情報である。またｈは、ワークモデルＷＭが図１５（３）の状態で配置されているときの計測により復元された３次元情報である。これらの３次元情報ｇ，ｈには、マークＭ２に対応する情報ｍ２は含まれているが、マークＭ１に対応する情報は含まれていない。

この実施例では、３次元情報ａ，ｂ，ｃについては、図５の例と同様の統合処理を行う。すなわち３次元情報ａを基準として、３次元情報ｂ，ｃが基準の３次元情報ａに位置合わせされるように座標変換した後に、変換後の３次元情報ｂ´，ｃ´および基準の３次元情報ａを統合した情報ｄを作成する。３次元情報ａ，ｂ，ｃにはそれぞれマークＭ１に対応する情報ｍ１が含まれているので、この情報ｍ１によって位置合わせ処理の精度を確保することができる。

つぎにこの実施例では、Ｘ１軸に対してワークモデルＷＭを回転させて計測を行う方法により復元された３次元情報ｇ，ｈについても、３次元情報ａに位置合わせするための座標変換を行う。そして、変換後の３次元情報ｇ´，ｈ´と３次元情報ａとを統合した情報ｉを作成する。３次元情報ａ，ｇ，ｈにはそれぞれマークＭ２に対応する情報ｍ２が含まれているので、この情報ｍ２によって位置合わせ処理の精度を確保することができる。

この後は、３次元情報ａ，ｂ，ｃにより作成された統合情報ｄと、３次元情報ａ，ｇ，ｈにより作成された統合情報ｉとを統合することにより、ワークモデルＷＭの全面の輪郭形状およびマークＭ１，Ｍ２の輪郭形状を表す３次元情報ｊを作成する。さらにこの３次元情報ｊからマークＭ１，Ｍ２に対応する情報ｍ１，ｍ２を消去することにより、ワークモデルＷＭの全体の輪郭形状のみを表す３次元情報ｋを作成し、これを３次元モデルに確定する。

上記の処理において、統合情報ｄ，ｉは、いずれも３次元情報ａを基準にした位置合わせにより作成されたものであるから、理論上は、両者の間に位置ずれや回転は生じておらず、容易に統合することができる。また、計測誤差などの影響で情報ｄ，ｉ間に若干のずれが生じていたとしても、両者に共通に含まれるマークＭ１，Ｍ２の情報ｍ１，ｍ２をもって、精度の良い位置合わせを行うことができる。

なお、ワークモデルＷＭをＸ１軸に対して回転する場合にも、９０度回転させる毎に、その状態下でＸＺ平面に直交する軸（図１５（２）の場合にはＺ１軸、図１５（３）の場合にはＹ１軸）に対してワークモデルＷＭを回転させることにより、ワークモデルＷＭの姿勢を複数とおりに変更し、変更の都度計測を行ってもよい。この場合にも、各計測により復元された複数の３次元情報のうちの所定数（２以上）を統合対象として選択することができる。さらに、マークＭ２が付された面が上面になるようにワークモデルＷＭを配置して、同様に姿勢を種々に変更させて計測を行ってもよい。

また、この実施例でも、統合処理により作成された３次元モデルｋにより統合処理に採用されなかった３次元情報を照合して、正しい認識が行われるかどうかを判定し、認識に失敗した場合には、照合対象の３次元情報を新たに３次元モデルに追加する処理を行うことができる。

さらに、ワークモデルＷＭに取り付けるマークは１〜２個に限らず、３個以上のマークを取り付けてもよい。この場合も、いずれか１のマークを基準にして、他のマークについて、それぞれ基準のマークと共に各カメラ１１〜１３の視野に含まれる状態を少なくとも１回設定して計測を行えば、その２以上のマークの情報を含む３次元情報を介して、統合対象の各３次元情報の位置合わせを行うことができる。また、その位置合わせの精度を確保することもできる。

３次元認識処理を適用したピッキングシステムの概略構成を示す図である。 物体認識装置のブロック図である。 ３次元認識処理の手順を示すフローチャートである。 ワークモデルの計測方法を示す図である。 ３次元モデルの作成処理の概略手順を示す図である。 マークが表す三角形の特徴を表す図である。 三角形の各頂点の複数とおりの対応づけ状態を示す図、および一致度を表すグラフである。 マークの種類を示す図である。 繰り返し構造のあるワーク用のマークを示す図である。 特徴点の補完処理方法を示す図である。 統合対象の３次元情報の選択に用いられるマークの３次元情報の例を示す図である。 統合に使用する３次元情報を選択するための画面の例を示す図である。 ３次元モデルの作成・登録に関する手順を示すフローチャートである。 統合対象の３次元情報の選択例を示す図である。 ２つのマークを付けたワークモデルによる計測方法の例を示す図である。 図１５の計測方法により復元された３次元情報を用いて３次元モデルを作成する場合の概略手順を示す図である。 ３次元情報の対応づけに誤りが生じる原因を説明する図である。 ３次元情報の対応づけに誤りが生じる他の原因を説明する図である。

符号の説明

１ ステレオカメラ
２ 物体認識装置
１１，１２，１３ カメラ
２４ ＣＰＵ
２５ メモリ
Ｗ ワーク
ＷＭ ワークモデル
Ｍ マーク
ｍ，ｍ１，ｍ２ マークの３次元情報
ａ，ｂ，ｃ，ｇ，ｈ 復元された３次元情報
ｄ，ｊ 統合された３次元情報
ｅ，ｋ ３次元モデル

Claims (6)

1. ステレオカメラを用いた３次元計測により復元した３次元情報から所定の形状の物体の位置および姿勢を認識するために、当該物体の実物モデルに対する３次元計測の結果を用いて物体の３次元モデルを作成する方法であって、
   回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークを前記実物モデルの表面の平坦な一面に１つ取り付け、前記マークが前記ステレオカメラを構成するすべてのカメラの視野に含まれる状態が維持されることを条件として、各カメラと実物モデルとの位置関係を毎回変更して複数回の撮像を実行し、
   毎回の撮像により生成されたステレオ画像からエッジの特徴を検出し、検出された特徴の３次元座標を求めることによって、前記実物モデルおよびマークの輪郭線の特徴を表す３次元情報を復元し、
   前記複数回の撮像に伴い復元された複数の３次元情報の全てまたはその一部に相当する２以上の３次元情報を統合の対象として、これら統合対象の３次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各統合対象の３次元情報を位置合わせした後に統合し、
   統合された３次元情報から前記マークに対応する情報を消去または無効化し、この処理後の３次元情報を前記３次元モデルとして確定する、
   ことを特徴とする３次元モデルの作成方法。
2. 請求項１に記載された方法において、
   単一色の多角形を前記マークとして当該マークとは色彩が異なる背景部と一体に形成し、この一体物を実物モデルの表面に取り付ける、３次元モデルの作成方法。
3. 請求項１または２に記載された方法において、
   あらかじめ前記マークの幾何学的特徴を表す３次元特徴データを登録しておき、
   前記３次元情報を統合する処理に先立ち、毎回の撮像により生成されたステレオ画像より復元された３次元情報を前記マークの３次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定し、前記幾何学的特徴が良好に復元されていないと判定した３次元情報を、統合処理の対象から除外する、３次元モデルの作成方法。
4. 請求項１または２に記載された方法において、
   前記３次元計測では、各カメラにより生成された画像からエッジを検出して、検出されたエッジを複数の２次元セグメントに分割するステップと、各２次元セグメントを画像間で対応づけて、対応するセグメントの組毎に複数の３次元座標を算出し、算出された３次元座標の分布状態に基づき直線または曲線の３次元セグメントを設定するステップと、各３次元セグメントの交点を特徴点に設定するステップとを実行することにより、複数の特徴点を含む３次元情報を作成し、
   前記特徴点を設定するステップでは、他のセグメントに交わっていない端縁を具備する直線の３次元セグメントの当該端縁を所定の長さまで延長し、この延長部分が他の３次元セグメントまたはその延長部分に交わるとき、または所定値以内の距離をもって交差するときに、その交点または交差位置に基づき特徴点を設定し、
   ３次元情報の統合前の位置合わせ処理では、統合対象の３次元情報の１つを基準とし、その他の３次元情報を変換対象として、前記基準の３次元情報中の特徴点群に対する各変換対象の３次元情報中の特徴点群の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき変換対象の３次元情報中の特徴点群の座標変換処理を実行する、３次元モデルの作成方法。
5. 請求項１に記載された方法において、
   前記実物モデルの表面の前記マークが取り付けられた平坦面とは異なる平坦な一面に、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成の第２のマークを１つ取り付けて、双方のマークにつきそれぞれ当該マークがすべてのカメラの視野に含まれる状態が複数とおり成立し、かつ双方のマークが共に各カメラの視野に含まれる状態が少なくとも１回成立するように、前記複数回の撮像における各カメラと実物モデルとの位置関係を調整し、
   一方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した３次元情報と、他方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した３次元情報とを変換対象として、双方のマークを共に各カメラの視野に含めて撮像したときのステレオ画像から復元した基準の３次元情報に対する各変換対象の３次元情報の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき各変換対象の３次元情報を前記基準の３次元情報に位置合わせした後にこれらの３次元情報を統合する、３次元モデルの作成方法。
6. ステレオカメラにより生成された認識対象物のステレオ画像を入力する画像入力手段と、入力されたステレオ画像からエッジの特徴を検出し、検出された特徴に対する３次元計測を行うことによって３次元情報を復元する３次元計測手段と、復元された３次元情報をあらかじめ登録した３次元モデルと照合することにより認識対象物の位置および姿勢を認識する認識処理手段と、前記認識処理手段により使用される３次元モデルを作成して登録する３次元モデル登録手段とを具備する装置であって、
   前記３次元モデル登録手段は、
   回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークについて、その幾何学的特徴を表す３次元特徴データを登録するためのマーク登録手段と、
   前記多角形のマークが表面の平坦な一面に１つ取り付けられた実物モデルが、各カメラに対する位置関係が毎回変更されて複数回撮像されることを前提として、毎回の撮像により生成されるステレオ画像を画像入力部より受け付けて、前記３次元計測手段に処理させる計測制御手段と、
   前記計測制御手段の処理により前記ステレオ画像から復元された３次元情報を前記マーク登録手段に登録された３次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定する判定手段と、
   前記複数回の撮像に伴い復元された複数の３次元情報のうち、前記マークの幾何学的特徴が良好に復元されていると判定された２以上の３次元情報を対象にして、これらの３次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各対象の３次元情報を位置合わせした後に統合する３次元情報統合手段と、
   統合後の３次元情報中の前記マークに対応する情報を消去または無効化し、この処理後の３次元情報を登録対象の３次元モデルとして確定するモデル確定手段とを、
   具備することを特徴とする物体認識装置。

Images