JP3787956B2 - 物体の位置姿勢検出装置及び記録媒体 - Google Patents
物体の位置姿勢検出装置及び記録媒体 Download PDFInfo
- Publication number
- JP3787956B2 JP3787956B2 JP14900297A JP14900297A JP3787956B2 JP 3787956 B2 JP3787956 B2 JP 3787956B2 JP 14900297 A JP14900297 A JP 14900297A JP 14900297 A JP14900297 A JP 14900297A JP 3787956 B2 JP3787956 B2 JP 3787956B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- orientation
- data
- circle
- confirmation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は物体の位置姿勢検出装置及び記録媒体に関し、特に、いわゆる三次元物体認識処理におけるモデルベーストマッチング法の実施に適用して有用なものである。
【０００２】
【従来の技術】
モデルベーストマッチング法による三次元物体認識処理は工業部品の認識・処理に汎用されている。ここで実際の工業部品には、ボルト、ビス、回転軸等を挿入するために表面に円形状の穴があるものが多い。また旋盤等で加工するため、部品上に円筒となる部分が存在するものが少なくない。ところが、かかる円形状を有する工業部品を画像として取り込んだ場合には、これらの穴や、円筒の端点が、当該工業部品が傾くことによって画像上で円にならない場合がある。そこで、この場合にでも良好なマッチングを実現すべく、円形状を閉曲線として抽出し、この閉曲線をマッチングに用いる技術が提案されている（例えば特願平９−１０２０４１号）。当該技術により頑健な物体認識処理が実現される。
【０００３】
【発明が解決しようとする課題】
ところが、閉曲線は部品表面や背景にあるシミ、影、凸凹等で作られる場合もあり、閉曲線だけでは「穴」や「円筒の端点」といった部分と区別がつき難い場合がある。このような場合はマッチング回数が増えるため処理時間が大きくなったり、本来正しくない閉曲線とマッチングすることによる誤認識を生じることがある。また、部品が傾いても穴や円筒の端点の円特徴の三次元位置姿勢を検出できるが、円特徴の中心軸に対する回転方向が定まっていないため、これだけでは部品全体としての姿勢が決定できない。
【０００４】
本願発明は、上記従来技術に鑑み、「穴」や「円筒の端点」といった円となる部分を正しく抽出して対象とする円特徴の位置と姿勢を正しく検出することができ、以て部品全体としての姿勢を良好に決定し得る物体の位置姿勢検出装置及びこれを記憶する記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成する本発明の構成は次の点を特徴とする。
【０００６】
１） 入力画像から円特徴を抽出する手段と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手段とを有すること。
【０００７】
２） 入力画像から円特徴を抽出する手順と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手順とをプログラムとして記憶していること。
【０００８】
３） 入力画像から円特徴を抽出する手段と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手段とを有すること。
４） 入力画像から円特徴を抽出する手順と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手順とを有することを特徴とする手順とをプログラムとして記憶していること。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００１０】
（１） 基本的な考え方
本発明の目的は「穴」や「円筒部分の端点」といった円特徴を持つ工業部品の三次元位置姿勢を検出することである。
工業製品の「穴」や「円筒部分の端点」の円特徴の位置姿勢が検出できた場合、部品の位置姿勢を求めるには、円特徴の中心軸に関する回転方向を決定できる部品上の点（以降これを“方向点”と呼ぶ）の位置が分かればよい。
そこで、本発明では次の手順により、部品の三次元位置姿勢を検出する。
▲１▼ 部品の「穴」や「円筒部分の端点」の円特徴の三次元位置姿勢を検出する。
▲２▼ 方向点の三次元位置を検出する。
▲３▼ 円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
このフローチャートを図１に示す。
【００１１】
（２） 方向点の設定方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから図２に示すように円特徴の乗る面（以降これを“円平面”と呼ぶ）からの距離ｚc と円特徴の中心軸からの距離ｒc によって設定する。
【００１２】
（３） 方向点の抽出方法
部品の円特徴が抽出されると、方向点は設定データから図３に示すように円平面からｚc の位置にあり、円特徴の中心軸に対して半径ｒc の円周上に存在する。そこでこの円周上の点をイメージ上へ投影した点に関して位置計測を行い、計測位置が円周上の正しい位置にある点を方向点とする。これを次の手順で行う。
▲１▼ 円平面上に投影した計測する点（以降これを“設定点”と呼ぶ）の位置（ｓ，ｔ）を計算し、設定点位置を（ｓ，ｔ，ｚc ）として求める。
▲２▼ 円平面系での設定点位置（ｓ，ｔ，ｚc ）を基準系での設定点位置（ｘ，ｙ，ｚ）へ変換する。
▲３▼ 基準系での設定点位置（ｘ，ｙ，ｚ）からイメージ上の設定点位置（ｕ，ｖ）を計算する。
▲４▼ イメージ上の設定点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求める。
▲５▼ 基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚc ′）へ変換する。
▲６▼ 設定位置ｚc と計測位置ｚc ′との差の絶対値（以降これを“方向点抽出誤差”と呼ぶ）をとり、設定した許容誤差に入る点を方向点とする。
このフローチャートを図４に示す。
【００１３】
（４） 部品の位置姿勢計算方法
部品の座標系（以降これを“部品系”と呼ぶ）を図５に示すように設定する。
原点：円特徴の中心
Ｚ軸：円特徴の中心を通る、円平面の法線ベクトルに平行な直線
Ｘ軸：円特徴の中心と、方向点を円平面に投影した点を通る直線
Ｙ軸：円特徴の中心を通る、ｚｘ平面に垂直な直線
このような部品系を設定し、基準系から部品系への座標変換を計算し、その座標変換データを部品の位置姿勢データとして設定する。
【００１４】
（５） 円特徴データの確認方法
抽出した円特徴の法線ベクトルや円中心位置が正しくない場合、その後の処理によって方向点は抽出されない場合が多い。また方向点が抽出されたとしても、その位置は正しくない場合が多く、結果的に得られる部品の位置姿勢データが正しく計算されない。
そこで方向点の抽出処理を行う前に、回転方向に依存しない円平面に平行な部分について位置計測を行い、その計測位置と設定データから得られる位置との比較を行い、円特徴データの正当性を判断する。
【００１５】
（５−１） 同心円位置の計測による円特徴データの確認
抽出した円特徴に対して、図６に示すような円特徴と同心円の、円特徴より大きい半径ｒr の円（以降これを“確認円”と呼ぶ）を設定し、確認円上の点をイメージ上へ投影した点に関して位置計測を行い、計測位置が確認円上の正しい位置にあるかどうかで、円特徴データの正当性を判断する。これを次の手順で行う。
▲１▼ 円平面系において確認する点（以降これを“確認点”と呼ぶ）の位置（ｓ，ｔ）を計算し、設定点位置を（ｓ，ｔ，０）として求める。
▲２▼ 円平面系での設定点位置（ｓ，ｔ，０）を基準系での確認点位置（ｘ，ｙ，ｚ）へ変換する。
▲３▼ 基準系での確認点位置（ｘ，ｙ，ｚ）からイメージ上の確認点位置（ｕ，ｖ）を計算する。
▲４▼ イメージ上の確認点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求める。
▲５▼ 基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚr ′）へ変換する。
▲６▼ 計測位置ｚr ′の絶対値をとり、設定した許容誤差に入る場合は、その点を合格点とする。
▲７▼ ▲１▼から▲６▼までの処理を確認円上の各点において行う。
▲８▼ 合格点数と全体の確認点数との比をとり、設定した値以上であれば円特徴データが正しいと判断する。
このフローチャートを図７に示す。
【００１６】
（６） 方向点の確認方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから設定するが、方向点の抽出は位置計測を基にしているため、部品の設計データ上円特徴から同じ高さに他の部分があったり、別の部品の一部が方向点抽出処理において紛らわしい位置にある場合は方向点が正しく抽出されない場合がある。
そこで、円特徴を基に方向点が正しく抽出された場合、部品上の全ての部分の位置を推定することができるため、部品上の穴、直線状の突起、輪郭や突起上の角、模様のある平面領域等の位置を計測し、それらの部分の計測位置と設計データから推定される位置との比較を行い、抽出した方向点の正当性を確認する。
【００１７】
（６−１） 直線部分の位置計測による方向点の確認
方向点の確認を行う部分（以降これを“方向確認部”と呼ぶ）を図８に示すような直線部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（直線）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（直線）の位置を推定する。
▲３▼ 方向確認部（直線）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（直線）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 合格点数と全体の確認点数との比（以降これを“確認成績”と呼ぶ）をとり、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図９に示す。
【００１８】
（６−２） 円部分の位置計測による方向点の確認
方向確認部を図１０に示すような円部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（円）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（円）の位置を推定する。
▲３▼ 方向確認部（円）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（円）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１１に示す。
【００１９】
（６−３） 角部分の位置計測による方向点の確認
方向確認部を図１２に示すような角部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（角）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（角）の位置を推定する。
▲３▼ 方向確認部（角）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（角）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１３に示す。
【００２０】
（６−４） 設定領域の位置計測による方向点の確認
方向確認部を図１４に示すような領域として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（領域）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（領域）の位置を推定する。
▲３▼ 方向確認部（領域）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（領域）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１５に示す。
【００２１】
（７） 最良方向点の選出方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから設定するが、方向点の抽出は位置計測を基にしているため、部品の設計データ上円特徴から同じ高さに他の部分があったり、別の部品の一部が方向点抽出処理において紛らわしい位置にある場合は方向点が複数点抽出される場合がある。このような場合は方向点を抽出したことによって得られるデータを基に各方向点を比較し、最も成績の良い方向点を最終的に抽出した方向点として選出する。
【００２２】
（７−１） 方向点抽出誤差の比較による最良方向点の選出
方向点を抽出した際の方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出する。
【００２３】
（７−２） 確認成績の比較による最良方向点の選出
方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出する。
【００２４】
以上、要するに本願発明の実施の形態としては、次の様な部品の円特徴の三次元位置姿勢検出装置、その検出方法及びこれを記憶する記録媒体を挙げることができる。
【００２５】
（１） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した物体の位置姿勢検出装置であって、
特に方向点を検出する部分において、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系の２成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２６】
（２） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２７】
（３） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した物体の位置姿勢検出装置であって、
特にその円特徴データの正当性を確認する部分ににおいて、円特徴と同心円となる確認円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において計測点の絶対値をとり、その値が設定した許容誤差に入るものを合格点とし、全体の合格点数と確認点数との比が設定値以上であれば円特徴データが正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２８】
（４） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２９】
（５） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の直線部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３０】
（６） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の円部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３１】
（７） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の角部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３２】
（８） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の任意領域を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３３】
（９） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するするように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３４】
（１０） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を認識し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果とするうに構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３５】
（１１） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向で決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するするように構成した物体の位置姿勢検出装置であって、特にその複数の方向点が見つかった場合の最良方向点の選出において、方向点を抽出した際にの方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３６】
（１２） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を認識し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果とするするように構成した物体の位置姿勢検出装置であって、
特にその複数の方向点が見つかった場合の最良方向点の選出において、方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３７】
【実施例】
上述の実施の形態は次のような実施例によって実現することができる。
【００３８】
１） 本発明による部品の三次元位置姿勢を検出する装置の第１の実施例を図１６に示す。この装置は、画像入力部１、円特徴抽出部２、方向点検出部３及び部品位置姿勢計算部４を有しており、円特徴抽出部２において入力画像から円特徴を抽出し、方向点検出部３において部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、部品位置姿勢計算部４において円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するようにしたものである。
【００３９】
２） 本発明による方向点を抽出する装置の実施例を図１７に示す。この装置は、設定点計算部１１、座標変換部１２，１３、位置計測部１４、座標変換部１５及び方向点判断部１６を有している。これらのうち設定点計算部１１は、方向点設定データに基づき設定点（ｓ，ｔ，ｚc ）を求めるものである。座標変換部１２は円平面系での設定点（ｓ，ｔ，ｚc ）を基準系での設定点（ｘ，ｙ，ｚ）へ変換するものである。座標変換部１３は基準系での設定点（ｘ，ｙ，ｚ）からイメージ上の設定点（ｕ，ｖ）へ変換するものである。位置計測部１４はイメージ上の設定点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求めるものである。座標変換部１５は基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点（ｓ′，ｔ′，ｚc ′）へ変換するものである。方向点判断部１６は設定位置ｚc と計測位置ｚc ′との差の絶対値である“方向点抽出誤差”をとり、設定した許容誤差に入る点を方向点として検出し、この結果を方向点データとして出力するものである。
【００４０】
かかる本実施例装置では、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を抽出する。
【００４１】
３） 本発明による部品の三次元位置姿勢を検出する装置の第２の実施例を図１８に示す。この装置は図１６に示す装置に円特徴データ確認部２１を追加したものである。この円特徴データ確認部２１は方向点の抽出を行う前に、回転方向に依存しない円平面に平行な部分について位置計測を行い、その計測位置と設定データから得られる位置との比較を行い、円特徴の正当性を判断するものである。
【００４２】
かかる本実施例装置では、入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
【００４３】
４） 本発明による同心円位置の計測による円特徴データの確認を行う装置の実施例を図１９に示す。この装置は、確認点計算部３１、座標変換部３２，３３、位置計測部３４、座標変換部３５、合格点判断部３６、カウンタ３７，３８及び円特徴データ正否判断部３９を有している。これらのうち確認点計算部３１は確認円設定データに基づき円平面系における確認点の位置（ｓ，ｔ）を計算し、確認点（ｓ，ｔ，０）を求めるものである。座標変換部３２は円平面での確認点（ｓ，ｔ，０）を基準系での確認点（ｘ，ｙ，ｚ）へ変換するものである。座標変換部３３は基準系での確認点（ｘ，ｙ，ｚ）からイメージ上の確認点（ｕ，ｖ）を計算するものである。位置計測部３４はイメージ上の確認点の位置計測を行い、基準系での計測点（ｘ′，ｙ′，ｚ′）を求めるものである。座標変換部３５は基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚr ′）へ変換するものである。合格点判断部３６は計測ｚr ′の絶対値をとり、設定した許容誤差に入る場合は、その点を合格点と判断するものである。カウンタ３７は合格点判断部３６が判断した合格点数をカウントするとともに、カウンタ３８は確認点計算部３１が確認した確認点数をカウントするものである。円特徴データ正否判断部３９は合格点数と全体の確認点数との比をとり、設定した値以上であれば円特徴データが正しいと判断するものである。
【００４４】
かかる本実施例装置では、円特徴と同心円となる確認円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において計測点の絶対値をとり、その値が設定した許容誤差に入るものを合格点とし、全体の合格点数と確認点数との比が設定値以上であれば円特徴データが正しいと判断する。
【００４５】
５） 本発明による部品の三次元位置姿勢を検出する装置の第３の実施例を図２０に示す。この装置は図１６に示す装置に方向点確認部４１を追加したものである。この方向点確認部４１は設計データから方向確認部（例えば直線、円、角、領域）を設定し確認データとして出力するものである。
【００４６】
６） 本発明による直線部分の位置計測によって方向点の確認を行う第１の装置の実施例を図２１に示す。この装置は、方向確認部位置推定部５１、位置計測部５２、合格点判断部５３、カウンタ５４，５５及び方向点正否判断部５６を有しており、部品上の直線部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するものである。
【００４７】
７） 本発明による円部分の位置計測によって方向点の確認を行う第２の装置の実施例を図２２に示す。この装置は、部品上の円部分を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の円部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置とを比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００４８】
８） 本発明による角部分の位置計測によって方向点の確認を行う第３の装置の実施例を図２３に示す。この装置は、部品上の角部分を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の角部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００４９】
９） 本発明による設定領域の位置計測によって方向点の確認を行う第３の装置の実施例を図２４に示す。この装置は、部品上の任意領域を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の任意領域を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００５０】
１０） 本発明による部品の三次元位置姿勢を検出する装置の第４の実施例を図２５に示す。この装置は図１６に示す装置に最良方向点選出部６１を追加したものである。この最良方向点選出部６１は方向点を抽出したことによって得られるデータに基づき各方向点を比較し、最も成績の良い方向点を最終的に抽出した方向点として選出するものである。
【００５１】
かかる本実施例装置では、入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
【００５２】
１１） 本発明による部品の三次元位置姿勢を検出する装置の第５の実施例を図２６に示す。この装置は図１６、図１８、図２０及び図２５に示す装置を合併するとともに一時記憶部７１及び検出データ決定部７２を追加したものである。検出データ決定部７２は最良方向点データと一時記憶部７１に記憶する位置姿勢データとに基づき最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果として出力するものである。
【００５３】
かかる本実施例装置では、入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果として出力する。
【００５４】
１２） 本発明による方向点抽出誤差の比較によって最良方向点を選出する第１の装置の例を図２７に示す。この装置は、一時記憶部８１、最小方向点抽出誤差選出部８２及び最良方向点判断部８３を有しており、方向点を抽出した際の方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出するものである。
【００５５】
１３） 本発明による確認成績の比較によって最良方向点を選出する第２の装置の例を図２８に示す。この装置は、一時記憶部９１、９４、最高確認成績選出部９２及び最良方向点判断部９３を有しており、方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出するものである。
【００５６】
【発明の効果】
以上実施の形態とともに具体的に説明したように、本発明は次の効果を奏する。
（１） 入力画像において、部品表面や背景にあるシミ、影、凸凹等がある場合でも、部品上の「穴」や「円筒の端点」といった円特徴部分を基に、部品の位置と姿勢を正しく検出することができる。
（２） 入力画像において、部品表面や背景にあるシミ、影、凸凹等がある場合でも、部品上の「穴」や「円筒の端点」といった円特徴を用いて、部品の認識の間違いを減らすことができる。
（３） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができる。
（４） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができるため、特徴の少ない部品でも、その位置と姿勢を検出することができる。
（５） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができるため、多くの種類の部品の位置と姿勢の検出に対応できる。
（６） 部品が傾いていた場合でも、「穴」や「円筒の端点」といった円特徴を基に部品の位置と姿勢を検出することができる。
（７） 「穴」や「円筒の端点」といった円特徴となる部分を基に部品を基に、部品が三次元的にどのような方向を向いているかを検出することができる。
（８） 部品上の円特徴を基に、対象部品がどのような位置にあるかを検出することができる。
（９） 部品上の円特徴を基に、対象部品がどのような方向を向いているかを検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る部品の三次元位置姿勢検出方法の基本的な考え方を示すフローチャート。
【図２】本発明の実施の形態に係る方向点の設定例を概念的に示す説明図。
【図３】本発明の実施の形態に係る部品に設定した方向点の存在する円周の例を概念的に示す説明図。
【図４】本発明の実施の形態に係る方向点抽出方法の手順を示すフローチャート。
【図５】本発明の実施の形態に係る部品に設定した部品系の例を概念的に示す説明図。
【図６】本発明の実施の形態に係る部品に設定した確認円の例を概念的に示す説明図。
【図７】本発明の実施の形態に係る同心円位置の計測による円特徴データ確認方法の手順を示すフローチャート。
【図８】本発明の実施の形態に係る方向確認部（直線）の例を概念的に示す説明図。
【図９】本発明の実施の形態に係る直線部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１０】本発明の実施の形態に係る方向確認部（円）の例を概念的に示す説明図。
【図１１】本発明の実施の形態に係る円部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１２】本発明の実施の形態に係る方向確認部（角）の例を概念的に示す説明図。
【図１３】本発明の実施の形態に係る角部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１４】本発明の実施の形態に係る方向確認部（領域）の例を概念的に示す説明図。
【図１５】本発明の実施の形態に係る設定領域の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１６】本発明による部品の三次元位置姿勢を検出するための装置の第１の実施例を示すブロック線図。
【図１７】本発明による方向点を抽出する装置の実施例を示すブロック線図。
【図１８】本発明による部品の三次元位置姿勢を検出するための装置の第２の実施例を示すブロック線図。
【図１９】本発明による同心円位置の計測による円特徴データの確認を行う装置の実施例を示すブロック線図。
【図２０】本発明による部品の三次元位置姿勢を検出するための装置の第３の実施例を示すブロック線図。
【図２１】本発明による直線部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２２】本発明による円部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２３】本発明による角部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２４】本発明による設定領域の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２５】本発明による部品の三次元位置姿勢を検出するための装置の第４の実施例を示すブロック線図。
【図２６】本発明による部品の三次元位置姿勢を検出するための装置の第５の実施例を示すブロック線図。
【図２７】本発明による方向抽出誤差の比較によって最良方向点を選出する装置の実施例を示すブロック線図。
【図２８】本発明による確認成績の比較によって最良方向点を選出する装置の実施例を示すブロック線図。
【符号の説明】
１ 画像入力部
２ 円特徴抽出部
３ 方向点検査部
４ 部品位置姿勢計算部
【発明の属する技術分野】
本発明は物体の位置姿勢検出装置及び記録媒体に関し、特に、いわゆる三次元物体認識処理におけるモデルベーストマッチング法の実施に適用して有用なものである。
【０００２】
【従来の技術】
モデルベーストマッチング法による三次元物体認識処理は工業部品の認識・処理に汎用されている。ここで実際の工業部品には、ボルト、ビス、回転軸等を挿入するために表面に円形状の穴があるものが多い。また旋盤等で加工するため、部品上に円筒となる部分が存在するものが少なくない。ところが、かかる円形状を有する工業部品を画像として取り込んだ場合には、これらの穴や、円筒の端点が、当該工業部品が傾くことによって画像上で円にならない場合がある。そこで、この場合にでも良好なマッチングを実現すべく、円形状を閉曲線として抽出し、この閉曲線をマッチングに用いる技術が提案されている（例えば特願平９−１０２０４１号）。当該技術により頑健な物体認識処理が実現される。
【０００３】
【発明が解決しようとする課題】
ところが、閉曲線は部品表面や背景にあるシミ、影、凸凹等で作られる場合もあり、閉曲線だけでは「穴」や「円筒の端点」といった部分と区別がつき難い場合がある。このような場合はマッチング回数が増えるため処理時間が大きくなったり、本来正しくない閉曲線とマッチングすることによる誤認識を生じることがある。また、部品が傾いても穴や円筒の端点の円特徴の三次元位置姿勢を検出できるが、円特徴の中心軸に対する回転方向が定まっていないため、これだけでは部品全体としての姿勢が決定できない。
【０００４】
本願発明は、上記従来技術に鑑み、「穴」や「円筒の端点」といった円となる部分を正しく抽出して対象とする円特徴の位置と姿勢を正しく検出することができ、以て部品全体としての姿勢を良好に決定し得る物体の位置姿勢検出装置及びこれを記憶する記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成する本発明の構成は次の点を特徴とする。
【０００６】
１） 入力画像から円特徴を抽出する手段と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手段とを有すること。
【０００７】
２） 入力画像から円特徴を抽出する手順と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手順とをプログラムとして記憶していること。
【０００８】
３） 入力画像から円特徴を抽出する手段と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手段とを有すること。
４） 入力画像から円特徴を抽出する手順と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手順とを有することを特徴とする手順とをプログラムとして記憶していること。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００１０】
（１） 基本的な考え方
本発明の目的は「穴」や「円筒部分の端点」といった円特徴を持つ工業部品の三次元位置姿勢を検出することである。
工業製品の「穴」や「円筒部分の端点」の円特徴の位置姿勢が検出できた場合、部品の位置姿勢を求めるには、円特徴の中心軸に関する回転方向を決定できる部品上の点（以降これを“方向点”と呼ぶ）の位置が分かればよい。
そこで、本発明では次の手順により、部品の三次元位置姿勢を検出する。
▲１▼ 部品の「穴」や「円筒部分の端点」の円特徴の三次元位置姿勢を検出する。
▲２▼ 方向点の三次元位置を検出する。
▲３▼ 円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
このフローチャートを図１に示す。
【００１１】
（２） 方向点の設定方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから図２に示すように円特徴の乗る面（以降これを“円平面”と呼ぶ）からの距離ｚc と円特徴の中心軸からの距離ｒc によって設定する。
【００１２】
（３） 方向点の抽出方法
部品の円特徴が抽出されると、方向点は設定データから図３に示すように円平面からｚc の位置にあり、円特徴の中心軸に対して半径ｒc の円周上に存在する。そこでこの円周上の点をイメージ上へ投影した点に関して位置計測を行い、計測位置が円周上の正しい位置にある点を方向点とする。これを次の手順で行う。
▲１▼ 円平面上に投影した計測する点（以降これを“設定点”と呼ぶ）の位置（ｓ，ｔ）を計算し、設定点位置を（ｓ，ｔ，ｚc ）として求める。
▲２▼ 円平面系での設定点位置（ｓ，ｔ，ｚc ）を基準系での設定点位置（ｘ，ｙ，ｚ）へ変換する。
▲３▼ 基準系での設定点位置（ｘ，ｙ，ｚ）からイメージ上の設定点位置（ｕ，ｖ）を計算する。
▲４▼ イメージ上の設定点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求める。
▲５▼ 基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚc ′）へ変換する。
▲６▼ 設定位置ｚc と計測位置ｚc ′との差の絶対値（以降これを“方向点抽出誤差”と呼ぶ）をとり、設定した許容誤差に入る点を方向点とする。
このフローチャートを図４に示す。
【００１３】
（４） 部品の位置姿勢計算方法
部品の座標系（以降これを“部品系”と呼ぶ）を図５に示すように設定する。
原点：円特徴の中心
Ｚ軸：円特徴の中心を通る、円平面の法線ベクトルに平行な直線
Ｘ軸：円特徴の中心と、方向点を円平面に投影した点を通る直線
Ｙ軸：円特徴の中心を通る、ｚｘ平面に垂直な直線
このような部品系を設定し、基準系から部品系への座標変換を計算し、その座標変換データを部品の位置姿勢データとして設定する。
【００１４】
（５） 円特徴データの確認方法
抽出した円特徴の法線ベクトルや円中心位置が正しくない場合、その後の処理によって方向点は抽出されない場合が多い。また方向点が抽出されたとしても、その位置は正しくない場合が多く、結果的に得られる部品の位置姿勢データが正しく計算されない。
そこで方向点の抽出処理を行う前に、回転方向に依存しない円平面に平行な部分について位置計測を行い、その計測位置と設定データから得られる位置との比較を行い、円特徴データの正当性を判断する。
【００１５】
（５−１） 同心円位置の計測による円特徴データの確認
抽出した円特徴に対して、図６に示すような円特徴と同心円の、円特徴より大きい半径ｒr の円（以降これを“確認円”と呼ぶ）を設定し、確認円上の点をイメージ上へ投影した点に関して位置計測を行い、計測位置が確認円上の正しい位置にあるかどうかで、円特徴データの正当性を判断する。これを次の手順で行う。
▲１▼ 円平面系において確認する点（以降これを“確認点”と呼ぶ）の位置（ｓ，ｔ）を計算し、設定点位置を（ｓ，ｔ，０）として求める。
▲２▼ 円平面系での設定点位置（ｓ，ｔ，０）を基準系での確認点位置（ｘ，ｙ，ｚ）へ変換する。
▲３▼ 基準系での確認点位置（ｘ，ｙ，ｚ）からイメージ上の確認点位置（ｕ，ｖ）を計算する。
▲４▼ イメージ上の確認点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求める。
▲５▼ 基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚr ′）へ変換する。
▲６▼ 計測位置ｚr ′の絶対値をとり、設定した許容誤差に入る場合は、その点を合格点とする。
▲７▼ ▲１▼から▲６▼までの処理を確認円上の各点において行う。
▲８▼ 合格点数と全体の確認点数との比をとり、設定した値以上であれば円特徴データが正しいと判断する。
このフローチャートを図７に示す。
【００１６】
（６） 方向点の確認方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから設定するが、方向点の抽出は位置計測を基にしているため、部品の設計データ上円特徴から同じ高さに他の部分があったり、別の部品の一部が方向点抽出処理において紛らわしい位置にある場合は方向点が正しく抽出されない場合がある。
そこで、円特徴を基に方向点が正しく抽出された場合、部品上の全ての部分の位置を推定することができるため、部品上の穴、直線状の突起、輪郭や突起上の角、模様のある平面領域等の位置を計測し、それらの部分の計測位置と設計データから推定される位置との比較を行い、抽出した方向点の正当性を確認する。
【００１７】
（６−１） 直線部分の位置計測による方向点の確認
方向点の確認を行う部分（以降これを“方向確認部”と呼ぶ）を図８に示すような直線部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（直線）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（直線）の位置を推定する。
▲３▼ 方向確認部（直線）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（直線）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 合格点数と全体の確認点数との比（以降これを“確認成績”と呼ぶ）をとり、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図９に示す。
【００１８】
（６−２） 円部分の位置計測による方向点の確認
方向確認部を図１０に示すような円部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（円）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（円）の位置を推定する。
▲３▼ 方向確認部（円）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（円）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１１に示す。
【００１９】
（６−３） 角部分の位置計測による方向点の確認
方向確認部を図１２に示すような角部分として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（角）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（角）の位置を推定する。
▲３▼ 方向確認部（角）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（角）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１３に示す。
【００２０】
（６−４） 設定領域の位置計測による方向点の確認
方向確認部を図１４に示すような領域として設定し、方向確認部上の点に関して位置計測を行い、方向確認部の位置が正しいかどうかで、方向点の正当性を判断する。これを次の手順で行う。
▲１▼ 設計データから方向確認部（領域）を設定する。
▲２▼ 部品の位置姿勢データから方向確認部（領域）の位置を推定する。
▲３▼ 方向確認部（領域）の各点の三次元位置計測を行う。
▲４▼ 方向確認部（領域）の各点の推定位置と計測位置を比較し、許容誤差に入る点を合格点とする。
▲５▼ 確認成績を計算し、確認成績が設定した値以上であれば、その方向点を正しいと判断する。
このフローチャートを図１５に示す。
【００２１】
（７） 最良方向点の選出方法
回転方向を決定するための方向点は、部品上の突起、穴、模様および部品の輪郭上の角や端点のような、点として見つけ易い部分を選び、部品の設計データから設定するが、方向点の抽出は位置計測を基にしているため、部品の設計データ上円特徴から同じ高さに他の部分があったり、別の部品の一部が方向点抽出処理において紛らわしい位置にある場合は方向点が複数点抽出される場合がある。このような場合は方向点を抽出したことによって得られるデータを基に各方向点を比較し、最も成績の良い方向点を最終的に抽出した方向点として選出する。
【００２２】
（７−１） 方向点抽出誤差の比較による最良方向点の選出
方向点を抽出した際の方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出する。
【００２３】
（７−２） 確認成績の比較による最良方向点の選出
方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出する。
【００２４】
以上、要するに本願発明の実施の形態としては、次の様な部品の円特徴の三次元位置姿勢検出装置、その検出方法及びこれを記憶する記録媒体を挙げることができる。
【００２５】
（１） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した物体の位置姿勢検出装置であって、
特に方向点を検出する部分において、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系の２成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２６】
（２） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２７】
（３） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するように構成した物体の位置姿勢検出装置であって、
特にその円特徴データの正当性を確認する部分ににおいて、円特徴と同心円となる確認円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において計測点の絶対値をとり、その値が設定した許容誤差に入るものを合格点とし、全体の合格点数と確認点数との比が設定値以上であれば円特徴データが正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２８】
（４） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００２９】
（５） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の直線部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３０】
（６） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の円部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３１】
（７） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の角部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３２】
（８） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認するするように構成した物体の位置姿勢検出装置であって、
特にその方向点および部品の位置姿勢データの正当性を確認する部分において、部品上の任意領域を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３３】
（９） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するするように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３４】
（１０） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を認識し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果とするうに構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３５】
（１１） 入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向で決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するするように構成した物体の位置姿勢検出装置であって、特にその複数の方向点が見つかった場合の最良方向点の選出において、方向点を抽出した際にの方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３６】
（１２） 入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を認識し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果とするするように構成した物体の位置姿勢検出装置であって、
特にその複数の方向点が見つかった場合の最良方向点の選出において、方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出するように構成した位置姿勢検出装置、この装置により実現される位置姿勢検出方法及びこれをプログラムとして記憶しているフロッピーディスク、ＣＤーＲＯＭ等の記録媒体。
【００３７】
【実施例】
上述の実施の形態は次のような実施例によって実現することができる。
【００３８】
１） 本発明による部品の三次元位置姿勢を検出する装置の第１の実施例を図１６に示す。この装置は、画像入力部１、円特徴抽出部２、方向点検出部３及び部品位置姿勢計算部４を有しており、円特徴抽出部２において入力画像から円特徴を抽出し、方向点検出部３において部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、部品位置姿勢計算部４において円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算するようにしたものである。
【００３９】
２） 本発明による方向点を抽出する装置の実施例を図１７に示す。この装置は、設定点計算部１１、座標変換部１２，１３、位置計測部１４、座標変換部１５及び方向点判断部１６を有している。これらのうち設定点計算部１１は、方向点設定データに基づき設定点（ｓ，ｔ，ｚc ）を求めるものである。座標変換部１２は円平面系での設定点（ｓ，ｔ，ｚc ）を基準系での設定点（ｘ，ｙ，ｚ）へ変換するものである。座標変換部１３は基準系での設定点（ｘ，ｙ，ｚ）からイメージ上の設定点（ｕ，ｖ）へ変換するものである。位置計測部１４はイメージ上の設定点の位置計測を行い、基準系での計測点位置（ｘ′，ｙ′，ｚ′）を求めるものである。座標変換部１５は基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点（ｓ′，ｔ′，ｚc ′）へ変換するものである。方向点判断部１６は設定位置ｚc と計測位置ｚc ′との差の絶対値である“方向点抽出誤差”をとり、設定した許容誤差に入る点を方向点として検出し、この結果を方向点データとして出力するものである。
【００４０】
かかる本実施例装置では、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を抽出する。
【００４１】
３） 本発明による部品の三次元位置姿勢を検出する装置の第２の実施例を図１８に示す。この装置は図１６に示す装置に円特徴データ確認部２１を追加したものである。この円特徴データ確認部２１は方向点の抽出を行う前に、回転方向に依存しない円平面に平行な部分について位置計測を行い、その計測位置と設定データから得られる位置との比較を行い、円特徴の正当性を判断するものである。
【００４２】
かかる本実施例装置では、入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
【００４３】
４） 本発明による同心円位置の計測による円特徴データの確認を行う装置の実施例を図１９に示す。この装置は、確認点計算部３１、座標変換部３２，３３、位置計測部３４、座標変換部３５、合格点判断部３６、カウンタ３７，３８及び円特徴データ正否判断部３９を有している。これらのうち確認点計算部３１は確認円設定データに基づき円平面系における確認点の位置（ｓ，ｔ）を計算し、確認点（ｓ，ｔ，０）を求めるものである。座標変換部３２は円平面での確認点（ｓ，ｔ，０）を基準系での確認点（ｘ，ｙ，ｚ）へ変換するものである。座標変換部３３は基準系での確認点（ｘ，ｙ，ｚ）からイメージ上の確認点（ｕ，ｖ）を計算するものである。位置計測部３４はイメージ上の確認点の位置計測を行い、基準系での計測点（ｘ′，ｙ′，ｚ′）を求めるものである。座標変換部３５は基準系での計測点位置（ｘ′，ｙ′，ｚ′）を円平面系での計測点位置（ｓ′，ｔ′，ｚr ′）へ変換するものである。合格点判断部３６は計測ｚr ′の絶対値をとり、設定した許容誤差に入る場合は、その点を合格点と判断するものである。カウンタ３７は合格点判断部３６が判断した合格点数をカウントするとともに、カウンタ３８は確認点計算部３１が確認した確認点数をカウントするものである。円特徴データ正否判断部３９は合格点数と全体の確認点数との比をとり、設定した値以上であれば円特徴データが正しいと判断するものである。
【００４４】
かかる本実施例装置では、円特徴と同心円となる確認円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において計測点の絶対値をとり、その値が設定した許容誤差に入るものを合格点とし、全体の合格点数と確認点数との比が設定値以上であれば円特徴データが正しいと判断する。
【００４５】
５） 本発明による部品の三次元位置姿勢を検出する装置の第３の実施例を図２０に示す。この装置は図１６に示す装置に方向点確認部４１を追加したものである。この方向点確認部４１は設計データから方向確認部（例えば直線、円、角、領域）を設定し確認データとして出力するものである。
【００４６】
６） 本発明による直線部分の位置計測によって方向点の確認を行う第１の装置の実施例を図２１に示す。この装置は、方向確認部位置推定部５１、位置計測部５２、合格点判断部５３、カウンタ５４，５５及び方向点正否判断部５６を有しており、部品上の直線部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断するものである。
【００４７】
７） 本発明による円部分の位置計測によって方向点の確認を行う第２の装置の実施例を図２２に示す。この装置は、部品上の円部分を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の円部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置とを比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００４８】
８） 本発明による角部分の位置計測によって方向点の確認を行う第３の装置の実施例を図２３に示す。この装置は、部品上の角部分を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の角部分を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００４９】
９） 本発明による設定領域の位置計測によって方向点の確認を行う第３の装置の実施例を図２４に示す。この装置は、部品上の任意領域を方向確認部として設定するものである。この点を除けば図２１に示す装置と同様であるので、同一部分には同一番号を付し、重複する説明は省略する。本装置は、部品上の任意領域を方向確認部として設定し、部品の位置姿勢データから方向確認部の位置を推定し、その各点の三次元位置計測を行い、推定位置と計測位置を比較した値が許容誤差に入る点を合格点とし、合格点数と全体の確認点数との比が設定した値以上であれば、その方向点を正しいと判断する。
【００５０】
１０） 本発明による部品の三次元位置姿勢を検出する装置の第４の実施例を図２５に示す。この装置は図１６に示す装置に最良方向点選出部６１を追加したものである。この最良方向点選出部６１は方向点を抽出したことによって得られるデータに基づき各方向点を比較し、最も成績の良い方向点を最終的に抽出した方向点として選出するものである。
【００５１】
かかる本実施例装置では、入力画像から円特徴を抽出し、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、円特徴の三次元位置姿勢データと選出した方向点の三次元位置データを基に、部品の三次元位置姿勢を計算する。
【００５２】
１１） 本発明による部品の三次元位置姿勢を検出する装置の第５の実施例を図２６に示す。この装置は図１６、図１８、図２０及び図２５に示す装置を合併するとともに一時記憶部７１及び検出データ決定部７２を追加したものである。検出データ決定部７２は最良方向点データと一時記憶部７１に記憶する位置姿勢データとに基づき最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果として出力するものである。
【００５３】
かかる本実施例装置では、入力画像から円特徴を抽出し、円特徴の中心軸に対する回転に依存しない平面上の点について位置計測を行うことで円特徴データの正当性を確認し、円特徴データが正しいと判断した場合に関して部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出し、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認し、方向点が複数見つかった場合は得られるデータを基に各方向点のうち最も成績の良い方向点を選出し、最良方向点から計算された部品の三次元位置姿勢データを最終的な検出結果として出力する。
【００５４】
１２） 本発明による方向点抽出誤差の比較によって最良方向点を選出する第１の装置の例を図２７に示す。この装置は、一時記憶部８１、最小方向点抽出誤差選出部８２及び最良方向点判断部８３を有しており、方向点を抽出した際の方向点抽出誤差を保存しておき、各方向点に対する方向点抽出誤差を比較し、最も方向点抽出誤差の小さい方向点を最良方向点として選出するものである。
【００５５】
１３） 本発明による確認成績の比較によって最良方向点を選出する第２の装置の例を図２８に示す。この装置は、一時記憶部９１、９４、最高確認成績選出部９２及び最良方向点判断部９３を有しており、方向点の確認処理を行った際の確認成績を保存しておき、各方向点に対する確認成績を比較し、最も確認成績の良い方向点を最良方向点として選出するものである。
【００５６】
【発明の効果】
以上実施の形態とともに具体的に説明したように、本発明は次の効果を奏する。
（１） 入力画像において、部品表面や背景にあるシミ、影、凸凹等がある場合でも、部品上の「穴」や「円筒の端点」といった円特徴部分を基に、部品の位置と姿勢を正しく検出することができる。
（２） 入力画像において、部品表面や背景にあるシミ、影、凸凹等がある場合でも、部品上の「穴」や「円筒の端点」といった円特徴を用いて、部品の認識の間違いを減らすことができる。
（３） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができる。
（４） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができるため、特徴の少ない部品でも、その位置と姿勢を検出することができる。
（５） 部品上に「穴」や「円筒の端点」といった円特徴となる部分と、回転方向を決めることができる部分さえあれば部品の位置と姿勢を検出することができるため、多くの種類の部品の位置と姿勢の検出に対応できる。
（６） 部品が傾いていた場合でも、「穴」や「円筒の端点」といった円特徴を基に部品の位置と姿勢を検出することができる。
（７） 「穴」や「円筒の端点」といった円特徴となる部分を基に部品を基に、部品が三次元的にどのような方向を向いているかを検出することができる。
（８） 部品上の円特徴を基に、対象部品がどのような位置にあるかを検出することができる。
（９） 部品上の円特徴を基に、対象部品がどのような方向を向いているかを検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る部品の三次元位置姿勢検出方法の基本的な考え方を示すフローチャート。
【図２】本発明の実施の形態に係る方向点の設定例を概念的に示す説明図。
【図３】本発明の実施の形態に係る部品に設定した方向点の存在する円周の例を概念的に示す説明図。
【図４】本発明の実施の形態に係る方向点抽出方法の手順を示すフローチャート。
【図５】本発明の実施の形態に係る部品に設定した部品系の例を概念的に示す説明図。
【図６】本発明の実施の形態に係る部品に設定した確認円の例を概念的に示す説明図。
【図７】本発明の実施の形態に係る同心円位置の計測による円特徴データ確認方法の手順を示すフローチャート。
【図８】本発明の実施の形態に係る方向確認部（直線）の例を概念的に示す説明図。
【図９】本発明の実施の形態に係る直線部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１０】本発明の実施の形態に係る方向確認部（円）の例を概念的に示す説明図。
【図１１】本発明の実施の形態に係る円部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１２】本発明の実施の形態に係る方向確認部（角）の例を概念的に示す説明図。
【図１３】本発明の実施の形態に係る角部分の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１４】本発明の実施の形態に係る方向確認部（領域）の例を概念的に示す説明図。
【図１５】本発明の実施の形態に係る設定領域の位置計測による方向点の確認方法の手順を示すフローチャート。
【図１６】本発明による部品の三次元位置姿勢を検出するための装置の第１の実施例を示すブロック線図。
【図１７】本発明による方向点を抽出する装置の実施例を示すブロック線図。
【図１８】本発明による部品の三次元位置姿勢を検出するための装置の第２の実施例を示すブロック線図。
【図１９】本発明による同心円位置の計測による円特徴データの確認を行う装置の実施例を示すブロック線図。
【図２０】本発明による部品の三次元位置姿勢を検出するための装置の第３の実施例を示すブロック線図。
【図２１】本発明による直線部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２２】本発明による円部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２３】本発明による角部分の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２４】本発明による設定領域の位置計測によって方向点の確認を行う装置の実施例を示すブロック線図。
【図２５】本発明による部品の三次元位置姿勢を検出するための装置の第４の実施例を示すブロック線図。
【図２６】本発明による部品の三次元位置姿勢を検出するための装置の第５の実施例を示すブロック線図。
【図２７】本発明による方向抽出誤差の比較によって最良方向点を選出する装置の実施例を示すブロック線図。
【図２８】本発明による確認成績の比較によって最良方向点を選出する装置の実施例を示すブロック線図。
【符号の説明】
１ 画像入力部
２ 円特徴抽出部
３ 方向点検査部
４ 部品位置姿勢計算部
Claims (4)
- 入力画像から円特徴を抽出する手段と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手段とを有することを特徴とする物体の位置姿勢検出装置。
- 入力画像から円特徴を抽出する手順と、円特徴データを基に方向点の存在する円を設定し、その円周上の点を円平面系で計算し、円平面系で計算した点を基準系に変換し、基準系に変換した設定点をイメージ上へ投影し、投影された設定点を基にその点の三次元位置計測を行い、計測点を基準系から円平面系へ変換し、円平面系のＺ成分において設定点と計測点との差の絶対値をとり、その値と設定した許容誤差との比較を行うことで方向点を検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に部品の三次元位置姿勢を計算する手順とをプログラムとして記憶していることを特徴とする記録媒体。
- 入力画像から円特徴を抽出する手段と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手段と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手段とを有することを特徴とする物体の位置姿勢検出装置。
- 入力画像から円特徴を抽出する手順と、部品の円特徴の中心軸に関する回転方向を決定できる方向点を位置計測によって検出する手順と、円特徴の三次元位置姿勢データと方向点の三次元位置データを基に、部品の三次元位置姿勢を計算し、部品の位置姿勢データから推定される直線部分、円部分、角部分又は任意領域等よりなる方向確認部の位置と位置計測によって計測した方向確認部の位置とを比較することで、方向点および部品の位置姿勢データの正当性を確認する手順とをプログラムとして記憶していることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14900297A JP3787956B2 (ja) | 1997-06-06 | 1997-06-06 | 物体の位置姿勢検出装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14900297A JP3787956B2 (ja) | 1997-06-06 | 1997-06-06 | 物体の位置姿勢検出装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10339609A JPH10339609A (ja) | 1998-12-22 |
| JP3787956B2 true JP3787956B2 (ja) | 2006-06-21 |
Family
ID=15465520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14900297A Expired - Fee Related JP3787956B2 (ja) | 1997-06-06 | 1997-06-06 | 物体の位置姿勢検出装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3787956B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100660415B1 (ko) * | 2005-06-07 | 2006-12-22 | 주식회사 아이너스기술 | 허용 오차 영역을 이용한 3차원 측정 데이터의 검출 방법 |
| CN116011107A (zh) * | 2023-01-10 | 2023-04-25 | 南京航空航天大学 | 大型复合材料构件孔特征提取方法、装置及系统 |
-
1997
- 1997-06-06 JP JP14900297A patent/JP3787956B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10339609A (ja) | 1998-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8526705B2 (en) | Driven scanning alignment for complex shapes | |
| US7847844B2 (en) | Information processing apparatus and method for determining whether a detected index is an index included in sensed image data | |
| JP3849228B2 (ja) | 部品の円特徴の三次元位置姿勢検出装置、その検出方法及びその記録媒体 | |
| Zhao et al. | Prediction-based geometric feature extraction for 2D laser scanner | |
| JP4864904B2 (ja) | コイン受付部に導入されたコインの正確な中心を決定する方法 | |
| JP3787956B2 (ja) | 物体の位置姿勢検出装置及び記録媒体 | |
| US5206917A (en) | Method for collating independent figure elements between images | |
| Bispo et al. | Free-form surface matching for surface inspection | |
| JP3763215B2 (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 | |
| Kröger et al. | Performance evaluation on contour extraction using Hough transform and RANSAC for multi-sensor data fusion applications in industrial food inspection | |
| US10802498B2 (en) | Target direction estimation using centroid follower | |
| JP4348859B2 (ja) | 部品の円特徴の精密三次元位置姿勢検出装置 | |
| Prieto et al. | A non contact CAD based inspection system | |
| JPH11173835A (ja) | 形状測定装置及びその方法 | |
| JPH09306957A (ja) | 異物検出方法 | |
| US20240078691A1 (en) | Model alignment method | |
| JP2001056865A (ja) | 部品の位置姿勢検出方法、その方法を実施する装置及びその方法を実現するソフトウェアを記録した媒体 | |
| JP3932201B2 (ja) | 帳票種識別装置および記録媒体 | |
| JP2000074642A (ja) | 三次元視覚位置決め方法及び装置 | |
| JP4595957B2 (ja) | 円特徴の三次元位置姿勢検出装置 | |
| JP3100098B2 (ja) | 形状処理方法 | |
| JP4569595B2 (ja) | 円特徴の三次元位置姿勢検出装置 | |
| Mora et al. | Towards robust 6-DoF detection in uncontrolled lightning enviroments | |
| JPH0520793B2 (ja) | ||
| JPH0250828B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060320 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |