JP3101674B2

JP3101674B2 - Ｃａｄ情報を用いた３次元認識手法及び装置

Info

Publication number: JP3101674B2
Application number: JP07327408A
Authority: JP
Inventors: 紘一大▲崎▼; 充神代; 康博梶原; 良臣宗澤; 孝夫内田
Original assignee: 岡山大学長; 岡山県新技術振興財団
Priority date: 1995-12-15
Filing date: 1995-12-15
Publication date: 2000-10-23
Anticipated expiration: 2015-12-15
Also published as: JPH09167234A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば自動化され
た生産ラインの組立用ロボットを制御するコンピュータ
によって、対象となる物体を３次元的に認識する手法及
び装置に関する。

【０００２】

【従来の技術】生産コストを削減し、安全性を高めるた
め、加工又は組立の生産ラインについてはロボットを用
いた大幅な自動化が図られるようになってきている。い
わゆるＣＡＭは、予め作成したＣＡＤ情報、例えばＣＡ
Ｄデータに基づいてロボットを制御しながら、所定の材
料を研削、切断といった加工工程において広く見られる
ところであるが、こうした加工品をアセンブルする組立
工程では、ロボットを制御するコンピュータに被対象物
を３次元的に認識させなければならないため、今だ自動
化が完全には達成されていない。しかしながら、急速な
コンピュータ技術の発達の恩恵から、カメラで物体を捉
え、その画像からコンピュータが３次元的に物体を認識
してロボットを制御できるようになってきている。

【０００３】従来における被対象物を３次元的に認識す
る手法は、概ね、この被対象物を捉える方向を予め定め
ておき、その方向から見た被対象物の画像データとコン
ピュータが記憶している比較物の前記方向の図形データ
とを突き合わせることによって被対象物の種類を判別す
るという手順を用いており、比較物と突き合わせる被対
象物の画像を得るために、被対象物を多角的に写すカメ
ラが必要であった。

【０００４】

【発明が解決しようとする課題】従来の３次元の認識手
法は、被対象物を多角的に捉えるために、画像を得るカ
メラを複数台用意するか、１台のカメラを物体に対して
方向を変える装置が必要となり、生産ラインの自動化の
コストを引き上げる要因となっていた。しかも、多品種
少量生産を目指した生産ラインでは、外観が類似した物
体も少なくなく、このような従来の手法では認識を誤る
虞があった。

【０００５】そこで、生産ラインの自動化を進めるに際
してそのコストを抑制しつつ、より正確かつ高速にロボ
ットを制御することを目標として、新たな３次元認識手
法を開発することとした。

【０００６】

【課題を解決するための手段】検討の結果開発したもの
が、複数の対象物の各ＣＡＤ情報からこれら対象物それ
ぞれを所定方向の直交面に投影した各２次元図形を導い
て、この２次元図形の重心、輪郭線、該輪郭線上に配列
した各点における輪郭線との法線方向、重心から輪郭線
上に配列した各点までの距離等のＣＡＤ図形特徴量を算
出し、カメラが所定方向から捉えた特定の対象物(以
下、特定物と称する)から得られる２次元画像における
前記ＣＡＤ図形特徴量と同様のカメラ図形特徴量を算出
して、ＣＡＤ図形特徴量とカメラ図形特徴量とを比較し
て、カメラが捉えた特定物の種類、姿勢等を判別するＣ
ＡＤ情報を用いた３次元認識手法である。

【０００７】ＣＡＤ情報は３次元ＣＡＤデータが好まし
いが、場合によっては三面図を構成する２次元ＣＡＤデ
ータからまず３次元ＣＡＤデータを起こし、その３次元
ＣＡＤデータを利用するようにしてもよい。ＣＡＤデー
タのファイル形式は、特定するものではないが、汎用性
を考慮すれば、ＤＸＦ形式が好ましい。

【０００８】まず、ＣＡＤデータからなる対象物の３次
元図形を任意の視点から見た２次元図形に変換する。一
般に、３次元物体は重力下で安定する姿勢(以下、安定
姿勢と呼ぶ)をとるため、固定したカメラが捉える特定
物の画像データは、この安定姿勢にある特定物に限られ
る。なお、水平回転の角度は、位相差として計算時にオ
フセット扱いすればよい。３次元図形を変換して得る２
次元図形は、カメラが捉える前記画像データの種類のみ
について作成すればよい。任意の視点から見た３次元図
形は、特定物に対応する対象物のＣＡＤデータについ
て、３次元図形の中心が３次元空間の原点に重なるよう
に平行移動させた各頂点(ｘ,ｙ,ｚ)を、Ｘ軸を中心とし
たＲx回転(数１)、Ｙ軸を中心としたＲy回転(数２)、Ｚ
軸を中心としたＲz回転(数３)により座標(Ｘ,Ｙ,Ｚ)へ
移動させて得ることができる。

【０００９】

【数１】

【００１０】

【数２】

【００１１】

【数３】

【００１２】こうして回転させた３次元図形を２次元図
形に変換するには、３次元図形を投影する仮想スクリー
ンと視点Ｅとの距離をＤとして、３次元座標(Ｘ,Ｙ,Ｚ)
を２次元座標(ＭＸ,ＭＹ)へと座標変換する(数４、数
５)。

【００１３】

【数４】

【００１４】

【数５】

【００１５】本発明は、こうして得られた２次元図形を
塗りつぶして二値化し、特徴量を抽出する。まず、二値
化した２次元図形から、重心(Ｇx,Ｇy)(数６、数７)
と、輪郭線追跡処理(「画像処理」:1983,P187〜P188,尾崎
弘,谷口慶治,小川秀夫)によって輪郭線を表わす点(ＤＸ
j,ＤＹj)(ｊ＝１,２,…,Ｎc)を得る。特徴量は、前記重
心や輪郭線のほかに、対象物の重心から輪郭線までの距
離(ＣＬj、数８)、輪郭線の法線方向(Ｖj、数９)があ
る。

【００１６】

【数６】

【００１７】

【数７】

【００１８】

【数８】

【００１９】

【数９】

【００２０】カメラから取り込んだ特定物を二値化し、
二値化された特定物の画像データの重心から輪郭線まで
の距離ＩＬn(ｎ＝１,２,…,dr)と、上記ＣＡＤデータか
ら導き出して来た対象物の重心から輪郭線までの距離Ｃ
Ｌjとを比較し、同一性を判断する。この場合、画像デ
ータにおけるＩＬnとＣＡＤデータからのＣＬjとは、そ
の尺度とデータ数とが必ずしも一致するとは限らないの
で、尺度については比例定数Ｋ(数10)をＣＬjに掛け合
わせ、データ数については、ＩＬnにおいてＩＬnとＩＬ
n+1との間で一次補間して連続折線に変換し、この連続
折線をＮc（ＣＬjの個数)で再分割し、ＭＬjとして整合
を図る。

【００２１】

【数10】

【００２２】カメラから取り込んだ画像データと、ＣＡ
Ｄデータの３次元図形を任意の視点から見た２次元図形
とは、ＣＬjの各極大値{ＣＬj1,ＣＬj2,…,ＣＬjm}とＭ
Ｌjの最大値max{ＭＬj}(1≦j≦Nc)とを一致させた際の
各点と重心との距離ＣＬj及びＭＬjとの差から求められ
る一致度Ｐmax(数11)と、ＣＬjの各極小値{ＣＬk1,ＣＬ
k2,…,ＣＬkt}とＭＬjの最小値min{ＭＬj}(1≦j≦Nc)と
を一致させた際の前記同様の一致度Ｐmin(数11)とが共
に最小になるものが最も同一性が高いと判断でき、この
場合にカメラが捉えた特定物がどのＣＡＤデータの対象
物であるか、そしてその対象物をどの方向から見ている
かが特定できるのである。

【００２３】

【数11】

【００２４】本発明による特定物の認識手法は、コンピ
ュータ内にＣＡＤ情報による仮想空間を想像し、カメラ
が捉えた画像データがこの仮想空間内においてどの対象
物をどの方向から見た場合の２次元画像と一致するかを
判断するものであり、１体のＣＡＤ情報についても相当
なデータ量が必要となる。そこで、複数の対象物を識別
するには、前記データ量は対象物の数だけ増加すること
になり、現状ではリアルタイムに認識のための計算を実
行することは難しい。そのため、ＣＡＤ情報からの特徴
量については、予め算出してデータベースを構築してお
くと処理が高速化できる。カメラの画像データについ
て、その尺度を変え、データ数の整合を図るのは、こう
したデータベースの使用を前提とし、計算を要するデー
タが少なくなるように配慮したものである。例えば、将
来より高速のコンピュータが出現すれば、ＣＡＤデータ
からの２次元図形についても、その都度計算して比較す
ることができる。

【００２５】こうして種類と方向とが認識された特定物
について、上記ＣＡＤ図形特徴量のうち、(1)２次元図
形の重心から輪郭線上に配列した各点までの距離ＣＬj
の極大値ＣＬj1の示す点(ＤＸj1,ＤＹj1)とこの極大値
を除いた次の極大値ＣＬj2の示す点(ＤＸj2,ＤＹj2)と
を結んだ方向の法線方向Ｈ(数12)、(2)２次元図形の重
心から輪郭線上に配列した各点までの距離ＣＬjの極小
値ＣＬk1の示す点(ＤＸk1,ＤＹk1)とこの極小値を除い
た次の極小値ＣＬk2の示す点(ＤＸk2,ＤＹk2)とを結ん
だ方向Ｈ(数13)、(3)２次元図形の輪郭線上に配列した
各点における輪郭線との法線方向Ｖjに殆ど変化がない
点が並ぶ輪郭線部分のうち最も長いものの法線方向Ｖ
a、又は(4)２次元図形の輪郭線上に配列した各点におけ
る輪郭線との法線方向Ｖjの度数分布の極大値{Ｖb1,Ｖb
2,…,Ｖbu}を調べ、この極大値のうち約πだけずれた法
線方向の組の一方Ｖbw、をそれぞれの方法で認識した特
定物の把持方向とする。そして、更に前記把持方向のう
ち複数が一致する方向に平行かつ重心を通過する方向を
把持位置とし、前記把持方向がすべて異なる場合には
(4)の把持方向に平行かつ重心を通過する方向を把持位
置として判別して、ロボットハンドによる対象物の把持
方向及び位置を認識する。

【００２６】

【数12】

【００２７】

【数13】

【００２８】特定物の認識は、概ね何らかの装置又は機
械を動かすための前提(場合によっては、認識だけで十
分な場合もある)であり、上記認識手法により、ＣＡＤ
図形特徴量を利用して、例えば、認識した特定物をロボ
ットハンドによる把持方向及び把持位置を判別するので
ある。把持方向は、特定物の向きを認識するデータとし
て、そのほか特定物を一定方向に水平回転させるターン
テーブル等の制御にも利用できる。これら把持方向及び
位置は、ＣＡＤ図形特徴量から導くことができるので、
予め算出しておき、上述同様の理由からデータベースを
構築しておくのが好ましい。把持方向は、算出した複数
の結果を比較して多数決を採ることで、より安定したロ
ボットハンド等による把持を実現できるようにするが、
結果が不一致の場合、ＣＡＤ図形特徴量として算出した
輪郭線の法線方向Ｖjが、ロボットハンド等による把持
に最も適正なものとして、把持位置として決定する。

【００２９】現在多用されているロボットハンドの殆ど
は、対となる指を対面的に接近、離隔させるものであ
り、こうしたロボットハンドで特定物を掴むためには、
この特定物の輪郭のうち、対向する二辺が平行かつ長い
ことが好ましい。但し、計算による把持位置の認識は、
必ずしもロボットハンドの把持に適したものを算出でき
るとは限らないので、まず把持方向としてＣＡＤ図形特
徴量から前記条件(対向する二辺が平行かつ長い)に適合
する方向を複数算出し、どの把持方向が最も好ましいか
を判断して、具体的な把持位置を決定するのである。

【００３０】(1)の方法は、２次元図形の重心から輪郭
線に配列した各点までの距離ＣＬjの極大値ＣＬj1の示
す点(ＤＸj1,ＤＹj1)とこの極大値を除いた次の極大値
ＣＬj2の示す点(ＤＸj2,ＤＹj2)とが、それぞれ輪郭線
上大きく凸状に屈曲した点であると判断し、前記点(Ｄ
Ｘj1,ＤＹj1),(ＤＸj2,ＤＹj2)を結んだ間に重心までの
距離ＣＬjの変化が最も少ない辺、すなわち滑らかな辺
の部分が存在するものとして、その法線方向をロボット
ハンドの把持方向と決定する。例えば、台形の場合、４
つの頂点のうち隣り合う２点が選ばれる結果、この２点
を両端に持つ辺の法線方向が把持方向Ｈと判別されるこ
とになる。(2)の方法は、２つの極小値の示す点(ＤＸk
1,ＤＹk1),(ＤＸk2,ＤＹk2)を結んだ間に、重心までの
距離ＣＬjの変化が最も少ない辺の部分が存在するもの
として、前記点を結んだ方向をロボットハンドの把持方
向Ｈと決定する。

【００３１】(3)の方法は、２次元図形の輪郭線上に配
列した各点における輪郭線との法線方向Ｖjに殆ど変化
がない点が並ぶ輪郭線の部分は、概ね直線若しくは滑ら
かな曲線であると判断できるので、その輪郭線を把持方
向に直交する対象物の辺として、この辺のうち最も長い
ものの法線方向Ｖaを把持方向と判別する。(4)の方法
は、辺上の点における法線方向Ｖjが最も数が多いであ
ろうことから、２次元図形の輪郭線上に配列した各点に
おける輪郭線との法線方向Ｖjの度数分布の極大値を調
べ、この極大値のうちから約πだけずれた法線方向の組
はそれぞれ対向する二辺に存在するものとして、この法
線方向の一方Ｖbwを把持方向と判断する。

【００３２】対象物が単純な形状のものであれば、上記
各方法で算出した把持方向は一致するはずであり、少な
くとも複数が一致すれば、この一致した把持方向に平行
かつ重心を通る方向は、最も安定してロボットハンド等
で把持できるものとして把持位置として認定できる。す
べてが不一致の場合、少なくとも対向関係にある２点を
結んで得られる(4)の方法による把持方向が、より安定
してロボットハンド等で把持できるであろうから、この
把持方向に平行かつ重心を通る方向を把持位置と判断す
るのである。

【００３３】以上の３次元認識手法は、カメラとコンピ
ュータとからなる３次元認識装置として構成することが
できる。例えば、前記コンピュータが複数の対象物の各
ＣＡＤ情報を作成及び記憶するＣＡＤ情報取扱手段、Ｃ
ＡＤ情報から前記対象物それぞれを所定方向の直交面に
投影した各２次元図形を導いて、２次元図形の重心、輪
郭線、該輪郭線上に配列した各点における輪郭線との法
線方向、重心から輪郭線上に配列した各点までの距離等
のＣＡＤ図形特徴量を算出するＣＡＤ図形特徴量抽出手
段、カメラが所定方向から捉えた特定の対象物から２次
元画像を得る画像データ取得手段、２次元画像における
前記ＣＡＤ図形特徴量と同様のカメラ図形特徴量を算出
するカメラ図形特徴量抽出手段、ＣＡＤ図形特徴量とカ
メラ図形特徴量とを比較して、カメラが捉えた特定の対
象物の種類、姿勢等を判別する判別手段とを備える。

【００３４】更に、上記コンピュータに、カメラが捉え
た特定の対象物の種類、姿勢等と一致させた対象物のＣ
ＡＤ情報から導いた２次元図形のＣＡＤ図形特徴量から
この対象物の把持方向及び把持位置を算出する把持判定
手段を加えると、例えばロボットハンドでカメラが捉え
た特定物を把持するまでの３次元認識装置を構成するこ
とができる。

【００３５】判別する対象物の形状、種類、数にもよる
が、昨今、ＣＰＵの性能向上が著しいことから、オフコ
ン、ミニコン等のほか、パーソナルコンピュータを使用
してもよい。また、各手段それぞれに１台ずつのコンピ
ュータを割り当てて分散処理をしてもよいし、手段の実
行に多少の時系列的流れがあることから、１台のコンピ
ュータに集中処理させてもよい。複数のコンピュータを
用いる場合には、各コンピュータはネットワークにより
結合しておくのが好ましい。

【００３６】

【発明の実施の形態】以下、本発明の３次元認識手法を
用いた３次元認識装置の構成について、その実施形態を
図により説明する。図１はロボット１のロボットハンド
２にカメラ３を取付けて、このカメラ３で特定物４を上
方から捉えながらコンピュータ５でいずれの対象物６,
７,８かを判別し、同時にこのコンピュータ５が判別し
た対象物７の把持位置のデータに従ってロボットハンド
２を操作する３次元認識装置の装置構成を表わしたブロ
ック図である。コンピュータ５は対象物６,７,８のＣＡ
Ｄデータを作成、記憶する手段でもあり、コンピュータ
５内では３次元図形のＣＡＤデータからＣＡＤ図形特徴
量を抽出してデータベース９を構築している。

【００３７】このデータベース９に対象物６,７,８ごと
の把持位置を計算して付随させておくと、特定物４を判
別した後すぐにロボットハンド２を操作することができ
る。更に、予め十分な時間を掛けてデータベース９を構
築できる場合には、各対象物６,７,８のＣＡＤ図形特徴
量を判別しやすい対象物８と判別しにくい対象物６,７
(転倒状態と起立状態とが考えられる)とでグループ分け
をし、実際の判別の際に、判別しにくいグループの対象
物６,７と認識したら、ロボットハンド２を動かして、
カメラ３が斜め上方からも特定物４を捉えるようにし
て、認識の確度を高めるようにしてもよい。また、特定
物４の水平回転については、ＣＡＤデータ特徴量とカメ
ラ画像特徴量との突き合わせにおいて、最小値と極小
値、又は最大値と極大値それぞれの重心に対する方向の
位相差をオフセット値として取り扱えばよい。

【００３８】ＣＡＤデータから得られるＣＡＤ図形特徴
量は、重心、輪郭線、重心から輪郭線までの距離であ
る。重心から輪郭線までの距離という特徴量からは、更
に極大値及び極小値と、この距離のデータをＦＦＴした
周波数特性とを得ることができる。このＦＦＴは、対象
物の大きさや形状等の外観に惑わされることなく、その
対象物の特徴を捉えることができる点で極めて特徴量と
して優れている。なお、上記ＣＡＤ図形特徴量を算出す
る手段と、画像データからカメラ図形特徴量を算出する
手段とは同一の処理であるため、両者の手段を同一の装
置、本例ではコンピュータ５で実現することができる。

【００３９】ＣＡＤ図形特徴量とカメラ図形特徴量と
は、図２に見られるフローチャートの順序で比較してい
けば、効率よく特定物を認識できる。手順１では、ＣＡ
Ｄ図形特徴量及びカメラ図形特徴量の各ＦＦＴの結果の
一致具合を見て、明らかに異なれば、カメラ３が捉えた
特定物４と、コンピュータ５内で比較として取り出した
ＣＡＤ図形特徴量の対象物６,８とは、以後比較検討の
必要がないとして除外する。ＦＦＴの一致具合は、ＣＡ
ＤデータのＣＬjから計算したＦＦＴの値ＦＣＬqの最大
値の示す周波数Ｆ1と、画像データのＩＬnのＦＦＴの値
ＦＩＬqの最大値の示す周波数Ｆ2とがほぼ等しいかどう
かによって判断する。

【００４０】手順２では、ＣＡＤ図形特徴量とカメラ図
形特徴量との比率を同じにし、手順３では、ＣＡＤ図形
特徴量のデータ数を再分割してカメラ図形特徴量のデー
タ数と一致させ、両者を比較できる状態にする。各特徴
量に、重心から輪郭線までの距離を選んだ場合、比率は
各特徴量で最も大きなものを比較して計算すれば求める
ことができ、データ数の一致はＣＡＤ図形特徴量を一次
補間して連続折線に変換し、カメラ図形特徴量のデータ
数で再分割することで実現できる。

【００４１】手順４において、ＣＡＤ図形特徴量とカメ
ラ図形特徴量とを比較する。この比較は、各特徴量とし
て重心から輪郭線までの距離を選んだ場合、まずカメラ
図形特徴量の最小値を検出してこの最小値にＣＡＤ図形
特徴量の極小値を１つずつ一致させながら一致度Ｐmin
(数11)を算出し、次いでカメラ図形特徴量の最大値を検
出してこの最大値にＣＡＤ図形特徴量の極大値を１つず
つ一致させながら一致度Ｐmax(数11)を算出し、各一致
度Ｐmin,Ｐmaxのうち最も低い値を、カメラ３で捉えた
特定物４とコンピュータ５内で比較している対象物７と
の一致度Ｐとするのである。

【００４２】以上の手順１〜手順４について、各対象物
６,７,８が持つ２次元図形の各々について実施し、比較
する対象物７のＣＡＤ図形特徴量が判別しにくいグルー
プに属するのであれば、この対象物７を斜めから見た２
次元図形のＣＡＤ図形特徴量と比較するようにし、特定
物４の認識の確度を高めるようにする。

【００４３】カメラ３で捉えた特定物４が、どの対象物
６,７,８をどの方向から見ているかを認識できれば、次
にこの認識した対象物７のＣＡＤ図形特徴量に付随させ
た把持位置のデータを用いて、ロボットハンド２を操作
し、特定物４を把持する。把持位置のデータは、特定物
４が基準座標に従っているものとして算出されているか
ら、上記で求めた水平回転のオフセット値を加算又は減
算して、ロボットハンド４を把持方向にあわせて水平回
転させるものとする。なお、起立状態において認識され
た特定物は、すでに３次元的に把握されているから、ま
ずロボットハンドを軽く当てて転倒させ、転倒状態で把
持位置を確定してロボットハンドで掴むようにするのが
好ましい。

【００４４】

【実施例】上記実施形態に基づいた実施例について説明
する。コンピュータ５はＰｅｎｔｉｕｍ（インテル社登
録商標）６０Ｈｚのパーソナルコンピュータ、ロボット
１は６軸多関節型の一般的工業用ロボットを使用し、コ
ンピュータ５とロボット１とはRS-232Cで接続してい
る。また、カメラ３については、ロボット１のロボット
ハンド２に備え付け、専用の画像ボードによってコンピ
ュータ５に画像データを取り込むようにしている(図１
参照)。図３に見られる対象物４のＣＡＤデータはＤＸ
Ｆファイル形式にてコンピュータ５内で作成し、更にこ
のＣＡＤデータから各頂点の座標ファイル(表１)と面定
義ファイル(表２)とを作成し、保存した。

【００４５】

【表１】

【００４６】

【表２】

【００４７】上記ＣＡＤデータから、図４、図５又は図
６に見られるような３次元空間内で対象物６,７,８を回
転させた３次元図形(斜視図１,２,３)を得て、最外隔の
輪郭線を境に内側を塗りつぶすことで、例えば図５の２
次元サーフェースモデルを得る(図７)。ＣＡＤ図形特徴
量は、この２次元サーフェースモデルについて算出す
る。本実施例のＣＡＤ図形特徴量としては、(1)重心、
(2)輪郭線、(3)重心から輪郭線までの距離、(4)重心か
ら輪郭線までの距離における極大値及び極小値、(5)重
心から輪郭線までの距離のＦＦＴデータを選択した。図
８は(3)重心から輪郭線までの距離(ＣＬj)の分布図であ
り、図９は(5)重心から輪郭線までの距離のＦＦＴデー
タの周波数特性図である。

【００４８】ＣＡＤ図形特徴量は、各対象物のＣＡＤデ
ータに対してデータベース９にまとめておく。表３は、
上記図４(左端番号１に対応)、図５(左端番号２に対応)
及び図６(左端番号３に対応)から得られる２次元サーフ
ェースモデルのＣＡＤ図形特徴量のデータベース９(図
１参照)を一覧にした表である。右から２列目の名称は
グループ名であり、noneは上方から見ただけの特定物４
の画像データと突き合わせればよいグループを、type_a
とtype_bとはそれぞれ上方及び斜め上方の２方向から見
た特定物４の画像データと突き合わせなければならない
グループ(aとbとは図形の外観による組分けであり、更
にc,d,…と増やしてもよい)を意味し、これらのデータ
はグループごとに分類して保管する。

【００４９】

【表３】

【００５０】ロボットハンド２の下方に特定物４が置か
れた後、カメラ３が特定物を捉え、この画像データにつ
いて二値化による２次元サーフェースモデルを得て、上
記手順に基づきカメラ画像特徴量を算出する。そして、
このカメラ画像特徴量を、ＣＡＤ図形特徴量のデータベ
ース９との突き合わせるのである。この実施例では、Ｆ
ＦＴデータによる大まかな一致を得た後の段階から説明
する。まずＣＡＤデータ特徴量(ＣＬj)に比例定数Ｋを
乗じてカメラ画像特徴量(ＩＬn)の分布の幅とを一致さ
せる。次に、図10の輪郭線の分布図に見られるように、
一次補間によりカメラ画像特徴量の個数をＣＡＤデータ
特徴量の個数Ｎcに一致させる。この状態で、特定物４
と対象物７とが同一であれば、前記分布図の重ね合せは
ほぼ一致(図11参照)し、異なればずれるのである(図12
参照)。なお、以上の比較は、コンピュータ５内で一致
度Ｐの計算として実施される。

【００５１】一致度Ｐが最も低いＣＡＤデータ特徴量を
持つ対象物７がカメラ３で捉えた特定物４であり、ＣＡ
Ｄデータの種類からその特定物４がどのような安定姿勢
を取っているかが判断され、ＣＡＤデータ特徴量とカメ
ラ画像特徴量との極小値と最小値、又は極大値と最大値
それぞれの重心への方向のずれを対象物７と特定物４と
の位相差として認識し、ロボットハンド２は、この位相
差だけ把持方向を水平回転させ、予め算出しておいた把
持位置に基づいて特定物４を掴むのである。なお、ロボ
ットハンド２の操作については、コンピュータ５を用い
た既存の操作手段を利用した。

【００５２】カメラが捉えた特定物がどの対象物である
かを判断するのは、上記手順に沿って計算、比較すれば
よいのであるが、実際の特定物の向きは必ずしも認識し
やすい方向とは限らない。場合によっては、ベルトコン
ベアで送られてくる部品を認識するため、動かしたり、
直立した特定物を倒したりするのが便宜である。本実施
例では、上記手順によりコンピュータが特定物を認識し
た時点でこの特定物の方向も識別されており、例えば、
直立した特定物はロボットハンドが倒すなどして、把持
しやすくするルーチンを付加している。これも、３次元
ＣＡＤデータを用いて特定物を３次元的に認識できるた
めに、特定物の高さ方向についての認識が可能であるこ
とによる利点である。

【００５３】

【発明の効果】本手法は、従来見られたＣＡＤ情報を用
いた加工工程と同様に、組立工程においてもＣＡＤ情報
を利用するもので、設計から加工、組立に至るまで一貫
したデータ管理を実現できる点が特徴である。しかも、
特定物の認識に利用するＣＡＤ情報が３次元データであ
ることから特定物を３次元的に認識できる利点があり、
より柔軟なロボットハンド等の操作が可能になるのであ
る。これは、従来の産業用ロボットを高知能化すること
を意味する。

【００５４】工場の生産ライン等で用いられているロボ
ットでは、かなりの高速性が要求されるため、現在では
ＣＡＤ情報から予めＣＡＤ図形特徴量及び把持位置のデ
ータをデータベースにまとめて記憶させ、特定物の認識
の段階では、このデータベースと特定物のカメラ図形特
徴量とを比較するのが便宜である。しかしながら、将来
的によりコンピュータの処理能力が向上すれば、リアル
タイムにＣＡＤ情報をコンピュータに移しながら、即座
に特定物の認識が可能になり、より広範な利用が可能に
なる。

【００５５】現在段階においては、本発明は、テレオペ
レーションによる工場の無人化に大きく貢献する。近年
では、コンピュータによるネットワークが大きく取り上
げられており、ＣＡＤ情報をパソコンのネットワークで
やり取りすることも少なくない。本発明の手法及び装置
により、遠隔地からロボットを操作するコンピュータへ
対象物のＣＡＤ情報を送り、更にそのデータに基づいて
ロボットが特定物を３次元的に認識、把持できるように
なれば、テレオペレーションによる工場の無人化が実現
できるようになるのである。

【図面の簡単な説明】

【図１】ロボットハンドを操作する３次元認識装置を表
わしたブロック図である。

【図２】各特徴量を比較する順序を表わしたフローチャ
ートである。

【図３】実施例で使用した対象物の斜視図である。

【図４】図３の対象物のＣＡＤ図形を回転させた３次元
図形の斜視図１である。

【図５】図３の対象物のＣＡＤ図形を回転させた３次元
図形の斜視図２である。

【図６】図３の対象物のＣＡＤ図形を回転させた３次元
図形の斜視図３である。

【図７】図５の３次元図形から得たサーフェースモデル
である。

【図８】ＣＡＤ図形特徴量である重心から輪郭線までの
距離の分布図である。

【図９】ＣＡＤ図形特徴量である重心から輪郭線までの
距離のＦＦＴデータの周波数特性図である。

【図１０】ＣＡＤ図形特徴量とカメラ画像特徴量との大
きさ、個数を一致させる状態の輪郭線の分布図である。

【図１１】図10の状態で、各輪郭線がほぼ一致状態の輪
郭線の分布図である。

【図１２】図10の状態で、各輪郭線が異なり、ずれた状
態の輪郭線の分布図である。

【符号の説明】

１ロボット２ロボットハンド３カメラ４特定物５コンピュータ６対象物７対象物８対象物９データーベース

───────────────────────────────────────────────────── フロントページの続き (72)発明者宗澤良臣岡山県岡山市庭瀬161番地の１ (72)発明者内田孝夫岡山県倉敷市宮前419番地の４ (56)参考文献特開平７−98217（ＪＰ，Ａ) 特開平５−127722（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G01B 11/24 - 11/255

Claims

(57)【特許請求の範囲】

【請求項１】複数の対象物の各ＣＡＤ情報から該対象
物それぞれを所定方向の直交面に投影した各２次元図形
を導いて、該２次元図形の重心、輪郭線、該輪郭線上に
配列した各点における輪郭線との法線方向、重心から輪
郭線上に配列した各点までの距離等のＣＡＤ図形特徴量
を算出し、カメラが所定方向から捉えた特定の対象物か
ら得られる２次元画像における前記ＣＡＤ図形特徴量と
同様のカメラ図形特徴量を算出して、ＣＡＤ図形特徴量
とカメラ図形特徴量とを比較して、カメラが捉えた特定
の対象物の種類、姿勢等を判別するに際し、２次元図形
の重心から輪郭線上に配列した各点までの距離の極大値
と該極大値を除いた次の極大値の示す２点を結んだ方向
の法線方向からなるＣＡＤ図形特徴量をロボットハンド
による対象物の把持方向として判別するＣＡＤ情報を用
いた３次元認識手法。
【請求項２】複数の対象物の各ＣＡＤ情報から該対象
物それぞれを所定方向の直交面に投影した各２次元図形
を導いて、該２次元図形の重心、輪郭線、該輪郭線上に
配列した各点における輪郭線との法線方向、重心から輪
郭線上に配列した各点までの距離等のＣＡＤ図形特徴量
を算出し、カメラが所定方向から捉えた特定の対象物か
ら得られる２次元画像における前記ＣＡＤ図形特徴量と
同様のカメラ図形特徴量を算出して、ＣＡＤ図形特徴量
とカメラ図形特徴量とを比較して、カメラが捉えた特定
の対象物の種類、姿勢等を判別するに際し、２次元図形
の重心から輪郭線上に配列した各点までの距離の極小値
と該極小値を除いた次の極小値の示す２点を結んだ方向
からなるＣＡＤ図形特徴量をロボットハンドによる対象
物の把持方向として判別するＣＡＤ情報を用いた３次元
認識手法。
【請求項３】複数の対象物の各ＣＡＤ情報から該対象
物それぞれを所定方向の直交面に投影した各２次元図形
を導いて、該２次元図形の重心、輪郭線、該輪郭線上に
配列した各点における輪郭線との法線方向、重心から輪
郭線上に配列した各点までの距離等のＣＡＤ図形特徴量
を算出し、カメラが所定方向から捉えた特定の対象物か
ら得られる２次元画像における前記ＣＡＤ図形特徴量と
同様のカメラ図形特徴量を算出して、ＣＡＤ図形特徴量
とカメラ図形特徴量とを比較して、カメラが捉えた特定
の対象物の種類、姿勢等を判別するに際し、２次元図形
の輪郭線上に配列した各点における輪郭線との法線方向
の度数分布の極大値を調べ、該極大値のうちから約πだ
けずれた法線方向の組の一方からなるＣＡＤ図形特徴量
をロボットハンドによる対象物の把持方向として判別す
るＣＡＤ情報を用いた３次元認識手法。
【請求項４】複数の対象物の各ＣＡＤ情報から該対象
物それぞれを所定方向の直交面に投影した各２次元図形
を導いて、該２次元図形の重心、輪郭線、該輪郭線上に
配列した各点における輪郭線との法線方向、重心から輪
郭線上に配列した各点までの距離等のＣＡＤ図形特徴量
を算出し、カメラが所定方向から捉えた特定の対象物か
ら得られる２次元画像における前記ＣＡＤ図形特徴量と
同様のカメラ図形特徴量を算出して、ＣＡＤ図形特徴量
とカメラ図形特徴量とを比較して、カメラが捉えた特定
の対象物の種類、姿勢等を判別するに際し、特定の対象
物について複数の把持方向がある場合、該把持方向のう
ち２つ以上が一致する把持方向に平行かつ重心を通過す
る方向を把持位置とし、前記把持方向がすべて異なる場
合、２次元図形の輪郭線上に配列した各点における輪郭
線との法線方向の度数分布の極大値を調べ、該極大値の
うちから約πだけずれた法線方向の組の一方からなるＣ
ＡＤ図形特徴量をロボットハンドによる対象物の把持方
向とし、該把持方向に平行かつ重心を通過する方向を把
持位置として判別するＣＡＤ情報を用いた３次元認識手
法。