JPH02110789A - ３次元物体の形状認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、ＦＭＳ　（フレキシブル生産システム）の
工作物の判別に適用して好適な３次元物体の形状認識方
法に係り、特に、光切断方式を用いた形状認識方法にお
いて反射光の悪影響を除去し、工作物の判別を正確に行
えるようにした３次元物体の形状認識方法に関する。

［従来の技術］ ＦＭＳ、ＦＭＣ（フレキシブル生産セル）においては、
加工機能をマシニングセンタ等のＮＣ機械が担当する。

ＮＣ機械は、ＮＣプログラムにて加工命令を与えるため
、自由な加工が実現でき、生産の柔軟性は高い。しかし
ながら、搬送装置や治具等の周辺装置は、現在のところ
柔軟性が低く、前記ＦＭＳ、ＦＭＣにおけるシステムの
柔軟性の一層の向上を阻害する大きな要因となっている
。

したがって、上記周辺装置の柔軟性を高める努力が必要
とされており、柔軟に対応し得る自動治具の開発や搬送
系の柔軟性を高めるための工夫がなされている。

ＦＭＳの搬送系の柔軟性を高め、搬送自動化による工作
機械の稼動率向上を実現する手段として、ＦＭＳに投入
される工作物の種類を人口で認識し、ＦＭＳの制御命令
を起動するビジョンシステム（画像認識装置）が開発さ
れ、最近注目され出している。

この種のビジョンシステムによれば、多品種の混流生産
において、ＦＭＳに投入される工作物の種類、投入時の
姿勢、位置などを入口で認識できる。したがって、これ
らの情報を利用して、加ニブログラムの呼出しやロボッ
トによる工作物の把握、および治具への設定などを自動
的に行うことが期待でき、搬送系の柔軟性を高めること
ができる。

このようなビジョンシステムの画像認識方法としては、
レーザレンジファインダを利用して対象工作物にレーザ
光をあて、その光線をテレビカメラでとらえ、３角測量
の原理にて工作物位置を求める方法がある。この方法に
は様々な手段があり、実用化されているが、その中に光
切断方式と呼ばれているものがある。

光切断方式と言うのは、レーザ光をレンズにて線条にし
て工作物に投射し、そのレンズ光と物体とが交差する部
分の輝線をテレビカメラで写し、その画像から３角測量
の原理を利用して、その光の当たった場所の３次元位置
を算出する方法である（第２図参照）。具体的には、レ
ンズで収束した光をミラースキャナを用いて工作物に投
射して走査を行うもので、スキャナを制御することによ
って、工作物全面にわたって位置座標を得、この得られ
た３次元データを基にして、工作物の種類、位置、姿勢
を割り出すようになついる。

レーザ光の代わりにスリット光を利用する方法もある。

要は、線条の光を工作物の表面に当て、その光がどの位
置に当たるかにより、光の当たった部分の位置を算出す
る方法である。

［発明が解決しようとする課題］ ところで、上述した従来の方法は、工作物表面からの反
射光をテレビカメラでとらえている。この場合、工作物
の表面の反射量と表面形状によっては、光源から出て工
作物表面で１回反射されテレビカメラにとらえられる正
規の反射光と、表面で２回以上反射されてテレビカメラ
に入るノイズ反射光とが混在することがある（第５図に
おいて、点ａからの反射光は正規の反射光であり、点す
からの反射光はノイズ反射光である）。このノイズ反射
光をとらえた場合、それを基に距離を求めると大きな誤
差となってあられれる。そこで、この反射を少なくする
ために、工作物を塗装するなどの細工が必要であった。

しかしながら、黒色等全く反射しない色にすると、本来
のレーザ光（正規の反射光）もテレビカメラに写らなく
なり、その調整が困難であった。

このため、得られた画像データには欠落等が生じ、工作
物の種類の識別、位置、姿勢の特定に正確さを欠くこと
があった。

この発明は、このような背景の下になされたもので、工
作物の種類、位置、姿勢を正確に識別することのできる
３次元物体の形状認識方法を提供することを目的とする
。

［課題を解決するための手段］ 上記課題を解決するためにこの発明は、レーザ光を工作
物にあて、該工作物からの反射光をテレビカメラでとり
、画像処理と３角測量の原理によって基準面から工作物
まで距離を求めて、投入された工作物の種類、姿勢を割
り出す形状認識方法において、 テレビカメラを２台設け、そのそれぞれのテレビカメラ
から得た画像に基づいて工作物上の被計測点までの距離
を求め、各被計測点につきそれぞれのテレビカメラで求
めた距離が一致したものを真の距離とす′ることを特徴
とする。

また、上記の３次元物体の形状認識方法において、認識
対象の工作物の最高点を中心として、特徴点を含む円弧
を設定し、該円弧エリアにおける各高さについてモデル
データと計測データを比較し、工作物の種類、姿勢、位
置を割り出すことを特徴とする。

［作用］ 上記方法によれば、レーザ光の出射位置と角度、および
２つのテレビカメラの位置と画像に基づいて、基準面か
ら工作物のある点までの距離が３角測量の原理によって
算出される。この場合、正規の反射光とその画像によっ
て求めた距離は、２つのテレビカメラで一致するが、ノ
イズ反射光とその画像によって求めた距離は、２つのテ
レビカメラで一致しない。なぜならば、ノイズ反射光は
正規の反射光と異なった方向に進むので、３角測量の原
理が適用できないからである。

したがって、２つのテレビカメラで一致した距離を採用
し、不一致のものを破棄すれば、ノイズ反射光によって
誤った距離を算出することがなくなり、信頼性の高いビ
ジョンシステムを提供できる。

また、工作物の最高点を中心とした円弧のエリアの３次
元データを採取し、これをモデルデータと比較して、工
作物の種類、位置、姿勢を割出すため、迅速かつ正確な
種類、位置、姿勢の認識が可能である。また、データの
採取範囲が限定されるから、モデルデータによる特徴量
の設定も簡単になる。

［実施例］ 以下、図面を参照して、本発明の詳細な説明する。

まず、第１図および第２図を参照して、この発明による
方法を適用した実施例装置を説明する。

第１図は、この装置の構成を示す平面図である。

この装置は、加工機能を受は持つマシニングセンタ１０
と、ビジョンステーション２０をもち工作物２１を搬入
する搬入コンベア３０と、製品４１を搬出する搬出コン
ベア４０と、搬入、搬出ロボット５０とから構成される
。

マシニングセンタ１０は、自動治具１１によってテーブ
ル１２上に固定された工作物２１を加工するもので、工
具ドラム１３ａとチェンジアーム１３ｂとからなる自動
工具交換装置（以下、ＡＴＣという）１３によって、自
動的に工具を交換しながら加工を実施する。

搬入、搬出口ボッ）５０は、搬入コンベア３０から工作
物２１を取り出して、マシニングセンタＩＯの自動治具
１１へ搬入する機能と、加工完了後、自動治具１１から
製品（加工品）４１を取り出し、搬送コンベア４０へ搬
出する機能を有するものである。

また、ビジョンステーション２０は、搬入コンベア３０
に搬入された工作物２１の種類、姿勢、位置を認識する
。ビジョンステーション２ｏにて認識された工作物２１
の種類、姿勢、位置は、マシニングセンタ１０およびロ
ボット５０に教えられ、この情報を基に加工が行われる
。すなわち、この情報に基づいて、マシニングセンタＩ
ＯにおけるＮＧテープの呼出、ＡＴＣ１３による工具の
交換、治具の選択、あるいはロボット５ｏの把握制御な
どが行われる。

この様に、ロボット５０は、ビジョンステーション２０
で得られたデータによって、工作物２１を把握してテー
ブル１２へ搬送する。よって、搬入コンベア３０への工
作物２１の投入は任意の姿勢で置くだけでよく、作業者
の負担が非常に軽くなる。　第２図は、ビジョンステー
ション２０の構成を示す斜視図である。ビジョンステー
ション２０は、搬入コンベア３０上の一定位置で、光電
スイッチ２２などによって工作物２１の通過を検出する
。工作物２１を検出すると、スキャナミラー２３で反射
されたレーザ光２４を工作物２１に照射し、テレビカメ
ラ（ＣＯＤカメラ）２５によって、工作物２１を撮影し
、３次元データを採取する。

次に、スキャナミラー２３を一定の角度回し、レーザ光
２４を移動させて同様にデータを採取する。この処理を
繰り返し、ビジョンステーション２０全面にわたるデー
タを採取し、得られた３次元データから位置、姿勢、特
徴量などを算出する。

第３図は、得られた３次元データに基づいて、基準面２
６から工作物２１の任意の点までの距離を計算する方法
、すなわち３角測量の原理を示すものである。

図において、テレビカメラ２５のレンズ中心を原点、こ
の原点を通りスキャナミラー２３の回転軸に直交する軸
をＸ軸、スキャナミラー２３の回転軸に平行で原点を通
過する軸をｙ軸、原点を通過する垂直下方を２軸、上記
Ｘ軸を含む水平面（ｘ−ｙ平面）を基準面２６とし、ス
キャナミラー２３の回転軸のＸ座標をＱとする。また、
基準面２６とレーザ光２４とがなす角度をθ、正規の反
射光２７と基準面２６とがなす角度をφ、搬入コンベア
３０の表面の２座標をし、工作物２１上の輝点Ｐの空間
座標を（ｘ、ｙ＋　　ｚ）とすると、座標（ｘ、ｙ＋　
　ｚ）は、次式から求められる。

ｚ＝１２＊ｔａｎθ＊　ｔａｎφ／（ｔａｎθ＋ｔａｎ
φ）ｘ＝ｘａ＊　ｚ／Ｌ ｙ＝ｙａ＊　ｚ／Ｌ φ＝　ａｒｃｔａｎ（Ｌ／ｘａ） ただし、Ｘａおよびｙａは搬入コンベア３０の表面での
反射位置の座標である。また角θはスキャンに対する指
令値から求められる。

こうして得られた黒酢の座標データを基にして、工作物
２１の種類、位置、姿勢を求める方法を以下に示す。

図示せぬコンピュータ内に工作物の特微量を工作物毎に
あらかじめ記憶しておき、計測データから得られたデー
タを基にして各特微量を出す。その特微量を順次比較し
、一致したものを目的の工作物とする。

これに利用される特微量としては、上からみたときの最
高部の高さ、位置、最高部の面積、正射影の面積などの
情報がある。

ところで、輝線の位置から高さを算出する場合、前述し
たように、輝線の反射光（工作物２１の表面で２回以上
反射したノイズ反射光）を本来の輝線として計算すると
、実際の高さ以上のデータが出る場合があり誤認の確率
が高くなる。

また、位置、姿勢が予め特定されるような工作物におい
ては、光切断法にて特定の場所の高さの変化を求め、そ
の変化具合から種類を求める方法もあるが、この様な２
次元情報に置き換えて認識する方法では、一部が見えな
いとか、陰になる部分が出るなどで正確なデータを得に
くい。そのため、種類あるいは位置、姿勢の認識に不都
合を生じるおそれがある。

そのため、本実施例では、得られた３次元情報を利用し
、物体の特徴点を含む円弧を判別基準として切り出し、
そのデータの並び状態で判別を行っている。工作物２１
を上面からみた場合、その高さが最大の部分は必ず見え
、データの採取が可能である。よって、本実施例は、工
作物２１の最大高さ部分の中心を中心とする、工作物２
１の特徴点を含む円弧を仮定し、そのデータの並びをモ
デルでの同様なデータ群と比較し、一致するか否かで種
類の認識をすることとした。

まず、モデル作成時に、特徴点を含む円弧を指定し、そ
のデータを０°から順次記憶し、データ群を作成してお
（。次に、工作物２１の認識時には種類、位置、姿勢が
不明であるから、モデル側からデータの円弧半径を調べ
、その円弧でデータを取り出し、Ｏｏからのデータを順
次並べてデー２群を作成する。これら２つのデータ群を
比較し、そのままで一致していれば、種類も姿勢も一致
していると判定し、モデルの工作物と計測した工作物２
１の種類は同一であるとする。また、工作物２１の姿勢
回転角はＯｏとなる。

データが一致しない場合は、一定角度毎にデータをずら
し一致するか否かを調べる。−回転分比較しても一致し
ない場合は、次のモデルを調べる。

以上の処理を、工作物２１とモデルとが一致するまで繰
り返し、モデルを探索する。この場合でも、円弧に当た
る部分のデータに陰の部分が生じ、データが取れないこ
とが有り得る。しかし、データの並び方を比較し、デー
タ採取された部分についてモデルデータとの間で、一致
、不一致を調べれば認識が可能となる。一致するかどう
か、計測したデータを一定角度毎に動かすから、一致し
たときの動かし量が工作物の姿勢角度に相当する。

また、モデルデータのｘ−ｙ座標値（０，０）をカメラ
中心という具合に決めておけば、そのモデルの中心と計
測データの円弧の中心を一致させるだめに動かした量が
位置ずれになる。

第４図を参照して、この方法について説明する。

今、第４図（ａ）に示すような工作物２１があった場合
、各面が底面となった５つの姿勢を取ることが想定され
る。この各姿勢についてモデルデータを認識装置に記憶
する。

第４図（ａ）の姿勢のごとく、面（ＰＬ−Ｐ２Ｐ５−Ｐ
４）を底とした姿勢を例として説明する。

この場合は、点Ｐ３が最大高さとなる。ここで、第４図
（ｂ）に示すように、この点Ｐ３を座標Ｘｙの原点にな
るように決め、その姿勢をテレビカメラ２５で撮像して
データを採取する。また、得られた黒酢データについて
基準円Ｃを仮定し、この基準円ＣとＸ軸と交差する点Ｐ
ｉを始点として、基準円Ｃの左回り（一定方向で有れば
よい）に分解能の単位でデータを整理し、モデルデータ
のテーブルとして記憶する。このテーブルには基準円Ｃ
の半径Ｒも記憶する。

次に、第４図（ｃ）に示す姿勢で工作物２１が置かれて
いた場合の、姿勢、位置、種類の決定方法について説明
する。

ビジョンステーション２０にて、データを採取し最大高
さ部を捜す。この場合も点Ｐ３が最大値となるから、こ
の点の位置（ｘ、ｙ）が位置ずれとなる。次に、モデル
データの基準円Ｃの半径Ｒを調べ、その半径Ｒの基準円
Ｃに沿ってデータを切り出し、計測データのテーブルを
作成する。このテーブルとモデルデータテーブルとを比
較して一致不一致を調べる。

不一致の場合、一定角度毎に計測データテーブルのデー
タを循環させ、同様に比較する。−回転分比較しても高
さのパターンが一致しない場合は、このモデルデータで
はないとして、次のモデルについて同様の処理を行う。

一致した場合は、選ばれたモデルがその工作物２１の種
類であり、そのときの回転角度が姿勢となる。

第４図では、モデルデータのＡ点（同図（ｂ））が計測
データのＡ′点（同図（Ｃ））に相当する。

すなわち、工作物２１は、モデルデータの点Ｐ３を中心
として、点Ａが点Ａ′に重なるように回転された姿勢に
あると認識される。言い換えれば、工作物乞、その位置
（ｘ、ｙ）、姿勢（Ａ−＋Ａ’）が認識され、このデー
タがロボット５０とマシニングセンタ２０に知らされる
。

通常、ビジョンシステム２０においては、レーザ光２４
を出力するレーザ発振器とその工作物上の輝線を画像と
して取り込むカメラ−台とが対になって構成される。

ところが、第５図に示すごとく、工作物２１に凹凸があ
ると、工作物２１上のａ点に当たった光が反射して、工
作物２１上の別の点すが光り、その点も正しい輝線と捕
らえられる。この場合、工作物２１上の複数の輝線から
目的の輝線を判別するのは困難であり、第５図のｂ部の
輝線をもとに算出された高さは実際とは違う高さになる
。

そこで、第５図では第１のカメラ２５−１の他に第２の
カメラ２５−２を設置し、カメラ２５１とスキャナミラ
ー２３との間の距離Ｑ１、点ａに向かうレーザ光２４と
基準面２６とのなす角θ、カメラ２５−１と点ａとを結
ぶ線が基準面２６となす角φ１．カメラ２５−１と点す
とを結ぶ線が基準面２６となす角φｌの各データから３
角測量の原理でａ点、ｂ点の高さを求める。

同様にカメラ２５−２とスキャナミラー２３との間の距
離１２２、点ａに向かうレーザ光２４と基準面２６との
なす角θ、カメラ２５−２と点ａとを結ぶ線が基準面２
６となす角φ２．カメラ２５２と点すとを結ぶ線が基準
面２６となす角φ２の各データから３角測量の原理でａ
点、ｂ点の高さを求める。

こうして、カメラ２５−１．２５−２で別々にａ点、ｂ
点の高さを求め、得られた高さ同志を比較して、一致し
たものを正しいものとする。第５図の場合、ａ点の高さ
は、カメラ２５−１，２５２から得られた高さが一致す
る。よって、ａ点が採用される。

一方、ｂ点は高さが一致しないので不明として捨てられ
る。この理由は、角θにある。すなわち、点ａの場合、
角θに基づいて３角測量によって正しい高さを求めるこ
とができるが、点すの場合は、角θによっては正しい高
さを求めることができないからである。

この様に、２台のカメラ２５−１．２５−２からみて、
両方のカメラ２５−１．２５−２から得られたデータの
うち、一致しているもののみを採用して距離と特微量を
算出する。よって、工作物２１を誤って認識することが
無い。

［発明の効果］ 以上説明したように、この発明は、２台のカメラを設け
ることによって、反射光に基づいて誤った距離を算出す
るといった不都合を解消することができる。したがって
、信頼性の高いビジョンシステムを提供することができ
る。

また、工作物の最高部を中心とした円弧によって形成さ
れる限られたエリア内で３次元データを採取し、これに
よって工作物の種類、位置、姿勢を割出す方式のため、
迅速、正確な種類、位置、姿勢の認識が可能である。ま
た、特微量の設定も簡単になる。

【図面の簡単な説明】

第１図はこの発明による方法を適用した実施例装置の構
成を示す平面図、第２図は同装置におけるビジョンステ
ーションの構成を示す斜視図、第３図は同実施例にて用
いる測定方法（３角測量法）の原理を説明するための図
、第４図は同実施例にて用いる特徴量抽出方法を説明す
るための図、第５図は工作物の表面反射光によって行わ
れる誤認を説明するための図である。 １０・・・・・・マシニングセンタ、２０・・・・・・
ビジョンステーション、２１・・・・・・工作物、２２
・・・・・・光電スイッチ、２３・・・・・・スキャナ
ミラー、２４・・・・・・レーザ光、２５．２５−１．
２５−２・・・・・・テレビカメラ、２６・・・・・・
基準面、３０・・・・・・搬入コンベア、４０・・・・
・・搬出コンベア、５０・・・・・・搬入、搬出ロボッ
ト。

Claims (2)

【特許請求の範囲】
1. （１）レーザ光を工作物にあて、該工作物からの反射光
   をテレビカメラでとり、画像処理と３角測量の原理によ
   って基準面から工作物まで距離を求めて、投入された工
   作物の種類、姿勢を割り出す形状認識方法において、 テレビカメラを２台設け、そのそれぞれのテレビカメラ
   から得た画像に基づいて工作物上の被計測点までの距離
   を求め、各被計測点につきそれぞれのテレビカメラで求
   めた距離が一致したものを真の距離とすることを特徴と
   する３次元物体の形状認識方法。
2. （２）請求項１記載の３次元物体の形状認識方法におい
   て、認識対象の工作物の最高点を中心として、特徴点を
   含む円弧を設定し、該円弧エリアにおける各高さについ
   てモデルデータと計測データを比較し、工作物の種類、
   姿勢、位置を割り出すことを特徴とする３次元物体の形
   状認識方法。