JP3867410B2 - 三次元視覚位置決め方法及び装置 - Google Patents
三次元視覚位置決め方法及び装置 Download PDFInfo
- Publication number
- JP3867410B2 JP3867410B2 JP24796898A JP24796898A JP3867410B2 JP 3867410 B2 JP3867410 B2 JP 3867410B2 JP 24796898 A JP24796898 A JP 24796898A JP 24796898 A JP24796898 A JP 24796898A JP 3867410 B2 JP3867410 B2 JP 3867410B2
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- arc
- target object
- dimensional
- dimensional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は三次元視覚位置決め方法及び装置に関し、特にカメラを利用して取得する画像データを使用してカメラで撮像可能な範囲に存在する対象物を検知し、その位置と姿勢とを計測するもので対象物の形状を円弧と線分との集合で表現して検知するモデルマッチングに適用して有用なものである。
【０００２】
【従来の技術】
三次元的に視覚位置決めを行う方法については従来より多くの提案があり、本発明者等もこれまでに「三次元的物体認識方法及びその装置」（特願平８−１８６１３号）で、画像処理により抽出される特徴上の３点の三次元位置情報を利用して対象物の三次元的な位置と姿勢を計算する方法を提案した。
【０００３】
これは、まず取得した画像にエッジ検出処理と特徴抽出処理を施し抽出される円弧と線分について２台のカメラを使用したステレオ計測法などで三次元計測を行い、円弧が形成する円の中心点（以下、円弧中心点と呼ぶ）と線分の両端点の組み合わせ（グループ）で対象物の位置と姿勢を決定する３点を構成し、これをモデルとするモデルマッチングを行って対象物の位置決めを行う方法である。この方法によれば、特に入力画像のエッジ検出処理結果をベースにしているために、一般的な画像処理で使用する二値化処理や相関マッチングが照明の変動などの影響を受けやすいのに対して、計測条件の変化がある場合も安定な検出ができる点が大きな利点である。また、２線分が端点を共有するときこれを角と定義して、１点として円弧中心点の代わりに利用できるので、３点を構成する組み合わせの種類は円弧と線分、角と線分、２線分、３円弧など多くの組み合わせが利用でき、一般的な工業部品に広く適用可能である利点がある。図３はこれらの中で一つの円弧の円弧中心点と一つの線分の両端点の合計３点で三次元位置決めを行うことを示した説明図である。
【０００４】
また、上記特願平８−１８６１３号では実施例の一つとして、円弧中心点と線分の２端点の位置データを使用して対象物の位置と姿勢を決定する代わりに、円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法を提案した。これは視覚センサにより計測する線分の２端点の計測誤差を吸収することを目的として特定の３点の位置データを使用して対象物の三次元位置決めをする方法を使用する有効な方法である。図４はこの方法を示す説明図である。
【０００５】
さらに、本発明者等は「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）で、特徴抽出に閉曲線という概念を導入し、閉曲線の中心を一つの点として利用し三次元位置決めを行う方法を提案した。
【０００６】
これは、取得した画像のエッジ検出処理の結果得られるエッジ点列の中から連続していて閉じている点列を閉曲線として抽出し、小さい物はその中心を点として三次元位置決定の要素として利用するものである。この場合上述した組み合わせに加えて３点を構成するグループとして閉曲線と線分、３閉曲線などが利用できるためさらに多くの形状の部品の認識に適用可能であるというメリットがある。図５はこの方法を示す説明図である。
【０００７】
【発明が解決しようとする課題】
上述の「三次元物体認識方法及びその製造方法」（特願平８−１８６１３号）及び「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）のうち、図３と図５に示した一つの円弧または閉曲線の中心点と一つの線分の両端点の合計３点で三次元位置決めを行う方法には次の様な問題点が存在する。
【０００８】
第一に、線分の両端点の計測誤差の影響の問題がある。すなわち、対象物を決定するのに使用する線分の両端点の位置計測結果が、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、の影響でズレることがあり、この場合このデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまう。特に、特徴抽出において、図６に示すように、輪郭を線分と円弧に切り分けるときに、正確に再現性良く境界点を決定することは難しく、実用的にはこの境界点のデータに左右されない方法が望まれる。従来の方法では境界点の位置が線分の端点になるので境界点の検出のズレはそのまま対象物の位置検出のズレとなってあらわれる。
【０００９】
一方、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法（図４参照）によれば、正確な線分のモデルが存在し、特徴抽出時に図６の輪郭における線分を短めに抽出することで、ある程度の検出時と位置決め時の位置ズレを解消することができる。しかしながら、モデル作製時における特徴抽出時にも同様の計測誤差が含まれるため、モデルの線分自体に誤差が含まれ、結果的には三次元位置決めに誤差が含まれる。
【００１０】
第二に、線分抽出における線分の分断の問題がある。第一の場合と同様に線分抽出までの過程において、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い等の影響で本来１本として抽出されるべき線分が２本またはそれ以上に分断される場合があり、このときは従来法ではモデルとして設定した線分との照合ができず対象物体の検出ができない。また、線分両端点の位置が本来の端点から大きく違うためこのデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまうという問題がある。例えば、本来１本の線分として抽出されるべき輪郭が、照明や対象物の表面状態の影響で図７に示すようなコブを持つ形状になった場合はここで線分が２本に分断されることになり、この場合は対象物の検出ができない。この点に関しては対象物の検出自体ができないので「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法によっても対処することができない。
【００１１】
本発明は、上記従来技術に鑑み、画像データの入力時のノイズや量子化誤差等の各種の誤差の影響を受けることがなく、また本来１本であるべき線分が２本以上に分断された場合でも所定の検出を可能にする三次元視覚位置決め方法及び装置を提供することを目的とする。
【００１２】
上記目的を達成する本発明の構成は、次の点を特徴とする。
【００１３】
１） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択し、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００１４】
２） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００１５】
３） 上記１）に記載する三次元視覚位置決め方法において、
特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておき、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とすること。
【００１６】
４） 上記２）に記載する三次元視覚位置決め装置において、
前記モデル作成手段は、
更に、特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておくものであり、
前記対応付け手段は、
更に、記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とするものであること。
【００１７】
５） 上記３）に記載する三次元視覚位置決め方法において、
マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とすること。
【００１８】
６） 上記４）に記載する三次元視覚位置決め装置において、
前記対応付け手段は、
更に、マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とするものであること。
【００１９】
７） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択し、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２０】
８） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２１】
９） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択し、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２２】
１０） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２３】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００２４】
先ず、本発明の基本的な考え方について説明する。本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決めに関するものであり、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）で使用した線分の２端点の位置データの代わりに、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ３，ｙ３，ｚ３）、位置決めに使用する線分の方向余弦（ｌ１，ｍ１，ｎ１）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ０，ｙ０，ｚ０）により対象物の三次元的な位置と姿勢を決定する。
【００２５】
線分の方向余弦と、点Ａから線分またはその延長上に下ろした垂線と線分との交点の座標の計算方法を図１に基づき説明しておく。
【００２６】
１）２点を通る線分Ｌの方程式と方向余弦（図１参照）
【数１】
【００２７】
２）円弧中心点Ａから線分Ｌに下ろした垂線と線分Ｌとの交点Ｂの座標（図１参照）
【数２】
【００２８】
【数３】
【００２９】
上述の如く、本発明によれば、位置決めに使用する線分の長さ、端点の位置情報を使用しないので、画像前処理の段階で線分が正確に抽出されない場合、すなわちエッジ検出と特徴抽出処理の結果得られる線分の端点が正しくない場合や本来一本の線分が分断されて抽出された場合にも、本来のエッジ上に線分が抽出されていれば対象物の正確な位置決めが可能である。
【００３０】
図２は本願発明の実施の形態に係る三次元視覚位置決め装置の基本的な構成を示すブロック線図である。同図に示すように、カメラ１は認識する対象物体と同一形状のモデルとする対象物体（図示せず）を撮影し、モデル画像処理部２を介してその画像データを特徴抽出器３に供給する。特徴抽出器３は供給された画像データに基づき、これを構成する直線，円弧等を数値化した特徴要素を抽出する。したがって、特徴抽出器３が出力する特徴データは直線特徴，円弧特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３１】
モデル作製器４はオペレータの操作により、特徴抽出器３で抽出した特徴データの中からマッチングに使用する直線，円弧のそれぞれの特徴を選択するとともに、三次元位置姿勢計算に必要な３点を形成できる特徴データの組である特徴グループを選択し、これらをモデルメモリ５に記憶しておく。
【００３２】
カメラ６は対象物体を撮影し、画像処理部７を介してその画像データを特徴抽出器８に供給する。特徴抽出器８は供給された画像データに基づき、これを構成する直線，円，角を数値化した特徴要素を抽出する。すなわち、カメラ６、画像処理部７及び特徴抽出器８は、それぞれカメラ１、モデル画像処理部２及び特徴抽出器３に対応しており、同一機能を有する。したがって、特徴抽出器８が出力する特徴データも直線特徴，円特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３３】
対応付け器９はモデルメモリ５に記憶されている特徴グループのデータと特徴抽出器８の出力データとを比較し、両者のマッチングをとる。このマッチング操作によりマッチした特徴グループの対応点３点の組を基に三次元位置計算器（図示せず）で三次元位置姿勢を計算する。
【００３４】
次に、上記装置を用いるモデルマッチングの具体例、すなわち本発明を使用した対象物位置決めの手順の一つの実施の形態を説明しておく。この実施の形態は、位置決めに使用する円弧と線分の組を決定するのに、円弧中心点と線分との距離を評価関数として使用することを特徴とする。
【００３５】
先ず、本発明の考え方に基づく対象物体のモデルを作製する。このモデルは特徴的な一つの円弧と一つの線分の組み合わせで表現する。モデルの情報としては、▲１▼円弧中心点の三次元座標、▲２▼線分の三次元傾き（方向余弦）、▲３▼円弧中心点から線分に下ろした垂線と線分の交点の三次元座標の３つの三次元データを、対象物体を決定する情報として使用する。また、本形態ではこれらのデータから計算できる円弧中心点Ａと線分Ｌとの距離Ｌ１を計算して保存しておくものとする。ここで、円弧中心点Ａと線分Ｌとの距離Ｌ１の計算は、次のようにして行う（図１参照）。
【００３６】
【数４】
【００３７】
三次元位置決めをするときは、カメラ画像のデータを入力し、エッジ検出処理をし、特徴抽出処理をして入力画像中の円弧成分と線分成分を抽出し、モデルとして使用した円弧と合致する円弧を照合し、マッチした円弧と線分特徴の三次元計測をし、対応する円弧の円弧中心点座標と線分の方程式を計算する。この時、線分については特徴抽出された全ての線分の三次元計測を行うものとする。ただし、モデルに使用した線分と比べて極端に長い線分と短い線分は三次元計測しないことも考えられる。これによりこれらの線分の三次元計測にかかる時間を節約する効果が生ずる。
【００３８】
本形態では次に、モデルの円弧に対応する円弧の一つ一つについて、全ての線分との距離を計算し、予め計算してあるモデルの円弧中心と線分との距離Ｌ１と照合し一致する組み合わせを検索する。こうして選択された組み合わせは対象物を構成する円弧と線分の組の候補である。
【００３９】
最後に、選択された円弧の円弧中心点座標（ｘ3 ，ｙ3 ，ｚ3 ）と線分傾き（方向余弦）と線分上の任意の一点の座標（ｘ1 ，ｙ1 ，ｚ1 ）から計算される。円弧中心点から線分またはその延長上に下ろした垂線と線分との交点の座標（ｘ0 ，ｙ0 ，ｚ0 ）とで対象物体の位置と姿勢を決定する。このように距離で円弧と線分の組み合わせの候補を選択することで、画像処理の結果得られる円弧と線分の数が増加しても組み合わせの候補を増加させることなく照合することができる利点がある。
【００４０】
一方、円弧中心と線分との距離の照合の際に予め一定の許容値を設定してこの許容値の範囲内で一致する円弧と線分の組み合わせを検索することも可能である。これにより、円弧と線分の照合の過程で、画像データの量子化誤差や画像前処理に含まれる計算誤差などを吸収する固有の効果を得ることができる。
【００４１】
また、次のようなモデルマッチングも本発明に含ませることができる。上記実施の形態では位置決めに使用する特徴として一つの線分と一つの円弧中心点を使用したが、他の実施の形態として、円弧中心点の代わりに（特願平８−１８６１３）で使用した２線分の交点で決定される角を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する角Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および角Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に加工穴などがなく円もしくは円弧を使用できない部品の位置決めにも線分のみの組み合わせで適用可能になるという固有の利点を有する。
【００４２】
さらに、もう一つの実施の形態として、円弧中心の代わりに（特願平８−１００９７４）で使用した閉曲線の中心を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する閉曲線の中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に円もしくは円弧を形状がない部品でも表面に凹凸部やキー溝などが存在し画像前処理の結果で閉曲線として抽出できる部品の位置決めに適用可能になるという固有の利点を有する。。
【００４３】
以上実施の形態とともに詳細に説明した通り、本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決め方法に関するものであり、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定するものである。
【００４４】
【発明の効果】
以上実施の形態とともに詳細に説明した通り本発明によれば次の効果を得る。
▲１▼ 情報の入力手段としてカメラ等の撮像手段のみを使用した視覚位置決め方法であるため、対象物に触れることなく（非接触で）その三次元位置決めが可能である。
▲２▼ 入力画像のエッジ情報から抽出する線分と円弧を使用するので、二値化処理による方法やパターンマッチングによる方法など他の画像処理手法が照明の変動など計測条件の変化の影響を受けやすいのに対して、安定した三次元位置決めが可能になる。
▲３▼ 対象物体の決定を一つの円弧または角または閉曲線と一つの線分で行うので、加工穴やキー溝などが部品表面に存在する一般的な工業部品に広く適用することが可能になる。
▲４▼ 線分の両端点の位置情報を使用しないので、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、に起因する端点の位置情報の計測誤差の影響を受けない三次元位置決めが可能になる。
▲５▼ 線分の方向余弦の情報のみを使用するので、画像入力時や特徴抽出の過程で本来１本であるべき線分が２本以上に分断された場合にもそのいずれかまたは両方の線分の方向余弦を使用して対象物の検出と三次元位置決めが可能になる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための説明図である。
【図２】本発明の基本的な装置構成を示すブロック線図である。
【図３】従来技術を示す説明図である。
【図４】従来技術を示す説明図である。
【図５】従来技術を示す説明図である。
【図６】従来技術を示す説明図である。
【図７】従来技術を示す説明図である。
【符号の説明】
１ カメラ
３ 特徴抽出器
４ モデル作製器
５ モデルメモリ
９ 対応付け器
【発明の属する技術分野】
本発明は三次元視覚位置決め方法及び装置に関し、特にカメラを利用して取得する画像データを使用してカメラで撮像可能な範囲に存在する対象物を検知し、その位置と姿勢とを計測するもので対象物の形状を円弧と線分との集合で表現して検知するモデルマッチングに適用して有用なものである。
【０００２】
【従来の技術】
三次元的に視覚位置決めを行う方法については従来より多くの提案があり、本発明者等もこれまでに「三次元的物体認識方法及びその装置」（特願平８−１８６１３号）で、画像処理により抽出される特徴上の３点の三次元位置情報を利用して対象物の三次元的な位置と姿勢を計算する方法を提案した。
【０００３】
これは、まず取得した画像にエッジ検出処理と特徴抽出処理を施し抽出される円弧と線分について２台のカメラを使用したステレオ計測法などで三次元計測を行い、円弧が形成する円の中心点（以下、円弧中心点と呼ぶ）と線分の両端点の組み合わせ（グループ）で対象物の位置と姿勢を決定する３点を構成し、これをモデルとするモデルマッチングを行って対象物の位置決めを行う方法である。この方法によれば、特に入力画像のエッジ検出処理結果をベースにしているために、一般的な画像処理で使用する二値化処理や相関マッチングが照明の変動などの影響を受けやすいのに対して、計測条件の変化がある場合も安定な検出ができる点が大きな利点である。また、２線分が端点を共有するときこれを角と定義して、１点として円弧中心点の代わりに利用できるので、３点を構成する組み合わせの種類は円弧と線分、角と線分、２線分、３円弧など多くの組み合わせが利用でき、一般的な工業部品に広く適用可能である利点がある。図３はこれらの中で一つの円弧の円弧中心点と一つの線分の両端点の合計３点で三次元位置決めを行うことを示した説明図である。
【０００４】
また、上記特願平８−１８６１３号では実施例の一つとして、円弧中心点と線分の２端点の位置データを使用して対象物の位置と姿勢を決定する代わりに、円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法を提案した。これは視覚センサにより計測する線分の２端点の計測誤差を吸収することを目的として特定の３点の位置データを使用して対象物の三次元位置決めをする方法を使用する有効な方法である。図４はこの方法を示す説明図である。
【０００５】
さらに、本発明者等は「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）で、特徴抽出に閉曲線という概念を導入し、閉曲線の中心を一つの点として利用し三次元位置決めを行う方法を提案した。
【０００６】
これは、取得した画像のエッジ検出処理の結果得られるエッジ点列の中から連続していて閉じている点列を閉曲線として抽出し、小さい物はその中心を点として三次元位置決定の要素として利用するものである。この場合上述した組み合わせに加えて３点を構成するグループとして閉曲線と線分、３閉曲線などが利用できるためさらに多くの形状の部品の認識に適用可能であるというメリットがある。図５はこの方法を示す説明図である。
【０００７】
【発明が解決しようとする課題】
上述の「三次元物体認識方法及びその製造方法」（特願平８−１８６１３号）及び「閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法」（特願平８−１００９７４号）のうち、図３と図５に示した一つの円弧または閉曲線の中心点と一つの線分の両端点の合計３点で三次元位置決めを行う方法には次の様な問題点が存在する。
【０００８】
第一に、線分の両端点の計測誤差の影響の問題がある。すなわち、対象物を決定するのに使用する線分の両端点の位置計測結果が、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、の影響でズレることがあり、この場合このデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまう。特に、特徴抽出において、図６に示すように、輪郭を線分と円弧に切り分けるときに、正確に再現性良く境界点を決定することは難しく、実用的にはこの境界点のデータに左右されない方法が望まれる。従来の方法では境界点の位置が線分の端点になるので境界点の検出のズレはそのまま対象物の位置検出のズレとなってあらわれる。
【０００９】
一方、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法（図４参照）によれば、正確な線分のモデルが存在し、特徴抽出時に図６の輪郭における線分を短めに抽出することで、ある程度の検出時と位置決め時の位置ズレを解消することができる。しかしながら、モデル作製時における特徴抽出時にも同様の計測誤差が含まれるため、モデルの線分自体に誤差が含まれ、結果的には三次元位置決めに誤差が含まれる。
【００１０】
第二に、線分抽出における線分の分断の問題がある。第一の場合と同様に線分抽出までの過程において、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い等の影響で本来１本として抽出されるべき線分が２本またはそれ以上に分断される場合があり、このときは従来法ではモデルとして設定した線分との照合ができず対象物体の検出ができない。また、線分両端点の位置が本来の端点から大きく違うためこのデータをもとにして決定する対象物の三次元位置と姿勢が結果的にズレてしまうという問題がある。例えば、本来１本の線分として抽出されるべき輪郭が、照明や対象物の表面状態の影響で図７に示すようなコブを持つ形状になった場合はここで線分が２本に分断されることになり、この場合は対象物の検出ができない。この点に関しては対象物の検出自体ができないので「三次元物体認識方法及びその装置」（特願平８−１８６１３号）の実施例で提案した円弧中心から線分に下ろした垂線と線分との交点から一定の距離にある２点を仮想的な２端点とする方法によっても対処することができない。
【００１１】
本発明は、上記従来技術に鑑み、画像データの入力時のノイズや量子化誤差等の各種の誤差の影響を受けることがなく、また本来１本であるべき線分が２本以上に分断された場合でも所定の検出を可能にする三次元視覚位置決め方法及び装置を提供することを目的とする。
【００１２】
上記目的を達成する本発明の構成は、次の点を特徴とする。
【００１３】
１） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択し、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００１４】
２） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００１５】
３） 上記１）に記載する三次元視覚位置決め方法において、
特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておき、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とすること。
【００１６】
４） 上記２）に記載する三次元視覚位置決め装置において、
前記モデル作成手段は、
更に、特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておくものであり、
前記対応付け手段は、
更に、記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とするものであること。
【００１７】
５） 上記３）に記載する三次元視覚位置決め方法において、
マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とすること。
【００１８】
６） 上記４）に記載する三次元視覚位置決め装置において、
前記対応付け手段は、
更に、マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とするものであること。
【００１９】
７） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択し、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２０】
８） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２１】
９） 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択し、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うこと。
【００２２】
１０） 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有すること。
【００２３】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００２４】
先ず、本発明の基本的な考え方について説明する。本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決めに関するものであり、「三次元物体認識方法及びその装置」（特願平８−１８６１３号）で使用した線分の２端点の位置データの代わりに、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ３，ｙ３，ｚ３）、位置決めに使用する線分の方向余弦（ｌ１，ｍ１，ｎ１）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ０，ｙ０，ｚ０）により対象物の三次元的な位置と姿勢を決定する。
【００２５】
線分の方向余弦と、点Ａから線分またはその延長上に下ろした垂線と線分との交点の座標の計算方法を図１に基づき説明しておく。
【００２６】
１）２点を通る線分Ｌの方程式と方向余弦（図１参照）
【数１】
２）円弧中心点Ａから線分Ｌに下ろした垂線と線分Ｌとの交点Ｂの座標（図１参照）
【数２】
【数３】
上述の如く、本発明によれば、位置決めに使用する線分の長さ、端点の位置情報を使用しないので、画像前処理の段階で線分が正確に抽出されない場合、すなわちエッジ検出と特徴抽出処理の結果得られる線分の端点が正しくない場合や本来一本の線分が分断されて抽出された場合にも、本来のエッジ上に線分が抽出されていれば対象物の正確な位置決めが可能である。
【００３０】
図２は本願発明の実施の形態に係る三次元視覚位置決め装置の基本的な構成を示すブロック線図である。同図に示すように、カメラ１は認識する対象物体と同一形状のモデルとする対象物体（図示せず）を撮影し、モデル画像処理部２を介してその画像データを特徴抽出器３に供給する。特徴抽出器３は供給された画像データに基づき、これを構成する直線，円弧等を数値化した特徴要素を抽出する。したがって、特徴抽出器３が出力する特徴データは直線特徴，円弧特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３１】
モデル作製器４はオペレータの操作により、特徴抽出器３で抽出した特徴データの中からマッチングに使用する直線，円弧のそれぞれの特徴を選択するとともに、三次元位置姿勢計算に必要な３点を形成できる特徴データの組である特徴グループを選択し、これらをモデルメモリ５に記憶しておく。
【００３２】
カメラ６は対象物体を撮影し、画像処理部７を介してその画像データを特徴抽出器８に供給する。特徴抽出器８は供給された画像データに基づき、これを構成する直線，円，角を数値化した特徴要素を抽出する。すなわち、カメラ６、画像処理部７及び特徴抽出器８は、それぞれカメラ１、モデル画像処理部２及び特徴抽出器３に対応しており、同一機能を有する。したがって、特徴抽出器８が出力する特徴データも直線特徴，円特徴を表わすものであり、何れもステレオ計測等で得られた三次元位置データを有する。
【００３３】
対応付け器９はモデルメモリ５に記憶されている特徴グループのデータと特徴抽出器８の出力データとを比較し、両者のマッチングをとる。このマッチング操作によりマッチした特徴グループの対応点３点の組を基に三次元位置計算器（図示せず）で三次元位置姿勢を計算する。
【００３４】
次に、上記装置を用いるモデルマッチングの具体例、すなわち本発明を使用した対象物位置決めの手順の一つの実施の形態を説明しておく。この実施の形態は、位置決めに使用する円弧と線分の組を決定するのに、円弧中心点と線分との距離を評価関数として使用することを特徴とする。
【００３５】
先ず、本発明の考え方に基づく対象物体のモデルを作製する。このモデルは特徴的な一つの円弧と一つの線分の組み合わせで表現する。モデルの情報としては、▲１▼円弧中心点の三次元座標、▲２▼線分の三次元傾き（方向余弦）、▲３▼円弧中心点から線分に下ろした垂線と線分の交点の三次元座標の３つの三次元データを、対象物体を決定する情報として使用する。また、本形態ではこれらのデータから計算できる円弧中心点Ａと線分Ｌとの距離Ｌ１を計算して保存しておくものとする。ここで、円弧中心点Ａと線分Ｌとの距離Ｌ１の計算は、次のようにして行う（図１参照）。
【００３６】
【数４】
三次元位置決めをするときは、カメラ画像のデータを入力し、エッジ検出処理をし、特徴抽出処理をして入力画像中の円弧成分と線分成分を抽出し、モデルとして使用した円弧と合致する円弧を照合し、マッチした円弧と線分特徴の三次元計測をし、対応する円弧の円弧中心点座標と線分の方程式を計算する。この時、線分については特徴抽出された全ての線分の三次元計測を行うものとする。ただし、モデルに使用した線分と比べて極端に長い線分と短い線分は三次元計測しないことも考えられる。これによりこれらの線分の三次元計測にかかる時間を節約する効果が生ずる。
【００３８】
本形態では次に、モデルの円弧に対応する円弧の一つ一つについて、全ての線分との距離を計算し、予め計算してあるモデルの円弧中心と線分との距離Ｌ１と照合し一致する組み合わせを検索する。こうして選択された組み合わせは対象物を構成する円弧と線分の組の候補である。
【００３９】
最後に、選択された円弧の円弧中心点座標（ｘ3 ，ｙ3 ，ｚ3 ）と線分傾き（方向余弦）と線分上の任意の一点の座標（ｘ1 ，ｙ1 ，ｚ1 ）から計算される。円弧中心点から線分またはその延長上に下ろした垂線と線分との交点の座標（ｘ0 ，ｙ0 ，ｚ0 ）とで対象物体の位置と姿勢を決定する。このように距離で円弧と線分の組み合わせの候補を選択することで、画像処理の結果得られる円弧と線分の数が増加しても組み合わせの候補を増加させることなく照合することができる利点がある。
【００４０】
一方、円弧中心と線分との距離の照合の際に予め一定の許容値を設定してこの許容値の範囲内で一致する円弧と線分の組み合わせを検索することも可能である。これにより、円弧と線分の照合の過程で、画像データの量子化誤差や画像前処理に含まれる計算誤差などを吸収する固有の効果を得ることができる。
【００４１】
また、次のようなモデルマッチングも本発明に含ませることができる。上記実施の形態では位置決めに使用する特徴として一つの線分と一つの円弧中心点を使用したが、他の実施の形態として、円弧中心点の代わりに（特願平８−１８６１３）で使用した２線分の交点で決定される角を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する角Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および角Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に加工穴などがなく円もしくは円弧を使用できない部品の位置決めにも線分のみの組み合わせで適用可能になるという固有の利点を有する。
【００４２】
さらに、もう一つの実施の形態として、円弧中心の代わりに（特願平８−１００９７４）で使用した閉曲線の中心を使用して視覚位置決めを行うものを挙げることができる。つまり、位置決めに使用する閉曲線の中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定する。この場合の作用・効果は上述の如き「基本的な考え方」と同一であるが、本形態の場合には、加えて、部品表面に円もしくは円弧を形状がない部品でも表面に凹凸部やキー溝などが存在し画像前処理の結果で閉曲線として抽出できる部品の位置決めに適用可能になるという固有の利点を有する。。
【００４３】
以上実施の形態とともに詳細に説明した通り、本発明は、対象物体の位置決めのためにカメラ等の視覚センサを使用して計測した円弧中心点と線分の情報を使用する三次元視覚位置決め方法に関するものであり、線分の三次元的な傾きと円弧中心点と線分との三次元的な位置関係の情報を使用することを特徴とするものである。具体的には、位置決めに使用する円弧中心点Ａ（ｘ3 ，ｙ3 ，ｚ3 ）、位置決めに使用する線分の方向余弦（ｌ1 ，ｍ1 ，ｎ1 ）、および点Ａから線分またはその延長上に下ろした垂線と線分との交点Ｂ（ｘ0 ，ｙ0 ，ｚ0 ）により対象物体の三次元的な位置と姿勢を決定するものである。
【００４４】
【発明の効果】
以上実施の形態とともに詳細に説明した通り本発明によれば次の効果を得る。
▲１▼ 情報の入力手段としてカメラ等の撮像手段のみを使用した視覚位置決め方法であるため、対象物に触れることなく（非接触で）その三次元位置決めが可能である。
▲２▼ 入力画像のエッジ情報から抽出する線分と円弧を使用するので、二値化処理による方法やパターンマッチングによる方法など他の画像処理手法が照明の変動など計測条件の変化の影響を受けやすいのに対して、安定した三次元位置決めが可能になる。
▲３▼ 対象物体の決定を一つの円弧または角または閉曲線と一つの線分で行うので、加工穴やキー溝などが部品表面に存在する一般的な工業部品に広く適用することが可能になる。
▲４▼ 線分の両端点の位置情報を使用しないので、画像データの入力時のノイズや量子化誤差、およびエッジ抽出や特徴抽出の過程で発生する計算誤差、計測条件の変動による線分端点の検出間違い、に起因する端点の位置情報の計測誤差の影響を受けない三次元位置決めが可能になる。
▲５▼ 線分の方向余弦の情報のみを使用するので、画像入力時や特徴抽出の過程で本来１本であるべき線分が２本以上に分断された場合にもそのいずれかまたは両方の線分の方向余弦を使用して対象物の検出と三次元位置決めが可能になる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための説明図である。
【図２】本発明の基本的な装置構成を示すブロック線図である。
【図３】従来技術を示す説明図である。
【図４】従来技術を示す説明図である。
【図５】従来技術を示す説明図である。
【図６】従来技術を示す説明図である。
【図７】従来技術を示す説明図である。
【符号の説明】
１ カメラ
３ 特徴抽出器
４ モデル作製器
５ モデルメモリ
９ 対応付け器
Claims (10)
- 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択し、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。 - 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の円弧、第１の線分を抽出すると共に、一つの第１の円弧と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の円弧、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の円弧の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の円弧の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の円弧の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。 - 〔請求項１〕に記載する三次元視覚位置決め方法において、
特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておき、
記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とすることを特徴とする三次元視覚位置決め方法。 - 〔請求項２〕に記載する三次元視覚位置決め装置において、
前記モデル作成手段は、
更に、特徴グループを記憶する際、特徴グループ毎に、前記第１の円弧の中心点と前記第１の線分との第１の距離を計算して保存しておくものであり、
前記対応付け手段は、
更に、記憶された前記特徴グループとマッチングする前記第２の円弧及び前記第２の線分の組み合わせを選択する際、前記第２の円弧の中心点と前記第２の線分との第２の距離が、前記第１の距離と一致する前記第２の円弧と前記第２の線分の組み合わせを選択して対象物体の候補とするものであることを特徴とする三次元視覚位置決め装置。 - 〔請求項３〕に記載する三次元視覚位置決め方法において、
マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とすることを特徴とする三次元視覚位置決め方法。 - 〔請求項４〕に記載する三次元視覚位置決め装置において、
前記対応付け手段は、
更に、マッチング時における前記第２の円弧と前記第２の線分の組み合わせの選択に際して、前記第１の距離に対し、予め一定の許容値を設定しておき、その許容値の範囲内で一致する前記第２の線分と前記第２の円弧の組み合わせを選択して対象物体の候補とするものであることを特徴とする三次元視覚位置決め装置。 - 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択し、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。 - 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の角、第１の線分を抽出すると共に、一つの第１の角と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の角、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の角及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の角点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の角点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の角点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。 - 対象物体の位置決めに使用する特徴モデルを撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておき、
認識する対象物体を撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出し、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択し、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、
対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及 び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行うことを特徴とする三次元視覚位置決め方法。 - 対象物体の位置決めに使用する特徴モデルを撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第１の閉曲線、第１の線分を抽出すると共に、一つの第１の閉曲線と一つの第１の線分とを組み合わせた特徴グループを複数記憶しておくモデル作成手段と、
認識する対象物体を撮像手段で撮像し、撮像した入力画像からステレオ計測により得られた三次元情報を有する第２の閉曲線、第２の線分を抽出する抽出手段と、
記憶された前記特徴グループとマッチングする前記第２の閉曲線及び前記第２の線分の組み合わせを選択する対応付け手段と、
選択された前記第２の閉曲線の中心点及び前記第２の線分の方向余弦の２つの三次元情報に基づいて、前記第２の閉曲線の中心点から前記第２の線分に下ろした垂線と前記第２の線分との交点の三次元情報を求め、対象物体の位置及び姿勢を、前記第２の閉曲線の中心点、前記第２の線分の方向余弦及び前記交点の３つの三次元情報で表現して対象物体の検出と位置決めを行う検出・位置決め手段を有することを特徴とする三次元視覚位置決め装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24796898A JP3867410B2 (ja) | 1998-09-02 | 1998-09-02 | 三次元視覚位置決め方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24796898A JP3867410B2 (ja) | 1998-09-02 | 1998-09-02 | 三次元視覚位置決め方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000074642A JP2000074642A (ja) | 2000-03-14 |
| JP3867410B2 true JP3867410B2 (ja) | 2007-01-10 |
Family
ID=17171241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24796898A Expired - Lifetime JP3867410B2 (ja) | 1998-09-02 | 1998-09-02 | 三次元視覚位置決め方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3867410B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5538667B2 (ja) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
| CN105737757B (zh) * | 2016-02-23 | 2019-06-28 | 哈尔滨飞机工业集团有限责任公司 | 一种飞机外形线检测方法 |
| CN112580508A (zh) * | 2020-12-18 | 2021-03-30 | 蔚来汽车科技(安徽)有限公司 | 停车位角点修正方法以及停车位角点修正系统、车辆 |
| CN113798770B (zh) * | 2021-09-01 | 2023-10-10 | 渤海造船厂集团有限公司 | 一种壳体上焊接件安装定位方法 |
| CN114322943B (zh) * | 2021-12-15 | 2023-03-28 | 南京航空航天大学 | 一种基于无人机前视图像的目标距离测量方法及装置 |
-
1998
- 1998-09-02 JP JP24796898A patent/JP3867410B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000074642A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2919284B2 (ja) | 物体認識方法 | |
| CN108932475A (zh) | 一种基于激光雷达和单目视觉的三维目标识别系统及方法 | |
| US6868194B2 (en) | Method for the extraction of image features caused by structure light using image reconstruction | |
| CN109716348B (zh) | 独立地处理多个所关注的区域 | |
| US20120092680A1 (en) | Methods and apparatus for real-time digitization of three-dimensional scenes | |
| Zhang et al. | A study on automatic on-machine inspection system for 3D modeling and measurement of cutting tools | |
| CN114549400A (zh) | 一种图像识别方法及装置 | |
| JP3867410B2 (ja) | 三次元視覚位置決め方法及び装置 | |
| CN113689397A (zh) | 工件圆孔特征检测方法和工件圆孔特征检测装置 | |
| US7136171B2 (en) | Method for the extraction of image features caused by structure light using template information | |
| JP5160366B2 (ja) | 電子部品のパターンマッチング方法 | |
| JP3763215B2 (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 | |
| JP3437141B2 (ja) | パターン認識方法および装置 | |
| JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
| JP2001076142A (ja) | 指紋画像照合方法及び装置及びこの方法を記録した記録媒体 | |
| JPH0713997B2 (ja) | ウエハの要位置合せ角検出装置 | |
| FR2987685A1 (fr) | Procede de commande d'un robot pour le deplacement d'au moins un objet dispose sur un support dans un espace 3d | |
| JPH085333A (ja) | ３次元位置姿勢認識装置 | |
| Chen et al. | A 3D scanning system based on low-occlusion approach | |
| JP4402328B2 (ja) | ３次元画像による形状識別方法、形状識別システム、及びそのプログラム | |
| Lu et al. | Detecting textured objects using convex hull | |
| CN110769221B (zh) | 在拍摄图像中检测投影图像的角点的方法和投影仪 | |
| JP3365443B2 (ja) | ３次元位置計測方法 | |
| JP4348859B2 (ja) | 部品の円特徴の精密三次元位置姿勢検出装置 | |
| Ghita et al. | A systems engineering approach to robotic bin picking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |