JP3738456B2 - 物品の位置検出方法およびその装置 - Google Patents
物品の位置検出方法およびその装置 Download PDFInfo
- Publication number
- JP3738456B2 JP3738456B2 JP27928194A JP27928194A JP3738456B2 JP 3738456 B2 JP3738456 B2 JP 3738456B2 JP 27928194 A JP27928194 A JP 27928194A JP 27928194 A JP27928194 A JP 27928194A JP 3738456 B2 JP3738456 B2 JP 3738456B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- article
- dimensional
- image
- appearance model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、第１および第２の撮像手段を用いて、物品をステレオ視することにより物品の３次元位置を検出する物品の位置検出方法およびその装置に関し、特に、物品の２次元見え方モデルを介して２つの撮像画面の特徴部の対応付けを行なう物品の位置検出方法およびその装置に関する。
【０００２】
【従来の技術】
例えば自動車組立て工場における作業の自動化のためには部品のハンドリングが非常に重要な問題である。特に、組立て領域の自動化において必要とされているようなロボットによる多機能で正確な自動ハンドリングを実現するためには、多種類の部品の３次元位置を計測する技術が必要となる。
【０００３】
一般に知られている物品の位置検出方法は、所定の平面上に置かれた計測対象物品の２次元位置を画像により計測するもの（特開平１−３０５３０３号公報参照）や、対象物品に認識用のマーカを設置し、このマーカを計測することにより対象物品の３次元位置を計測するもの（特開平３−２８１１３０号公報参照）、あるいはスリット光により物品の高さを検出するもの（特開昭６２−３２５８２号公報参照）である。
【０００４】
また、対象物品の３次元位置を画像で計測する方法として、２台のＣＣＤカメラを用いるステレオ視法が知られている。
【０００５】
【発明が解決しようとする課題】
従来の画像による計測装置は、個々の物品専用に開発されているため、汎用性がなく、多種類の物品に対応させようとすると、すべての物品についてアルゴリズムを開発しなければならず、開発・投資効率が悪くなる。
【０００６】
また、ステレオ視法には、撮像装置が簡単で、高い計測精度が得られる特長がある一方で、左右画像間で特徴部の対応付けに問題がある。とくに、多種類物品の３次元位置をステレオ視法を用いて計測する場合には、下記のような問題がある。
【０００７】
すなわち、左右画像間で特徴部を対応付けする際に、物品の構造的情報を用いずに行なおうとすると、処理に長い時間を要する。そこで従来の手法では、対象物品の構造的情報をアルゴリズムに組み込むことにより対応付けを行なっているが、この場合、同じアルゴリズムを用いて他の物品の対応付けを行なうことはできないから、多種類物品に対応できる３次元計測装置には、従来の手法を適用することは不可能である。
【０００８】
本発明は、上記問題点を解決するためになされたもので、対象物品が変わっても共通のアルゴリズムで対応できるステレオ視法による物品の位置検出方法およびその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による物品の位置検出方法は、請求項１に記載されているように、第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルを設定し、上記１対の画像のそれぞれから抽出した特徴部を、上記２次元見え方モデルを介して対応付けを行なうことを特徴とする。
【００１０】
本発明による物品の位置検出方法の１つの態様によれば、請求項１に記載されているように、上記画像から抽出した特徴点と上記２次元見え方モデル上の特徴点とを用いて、上記画像データと上記２次元見え方モデルとをマッチングさせている。
【００１１】
また、上記特徴点によるマッチングを行なう場合には、請求項１に記載されているように、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせる方法を採用することができる。
【００１２】
さらに、上記特徴点による対応付けを行なう場合には、請求項２に記載されているように、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせる方法を採用することができる。
【００１３】
その場合に、請求項３に記載されているように、上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることができる。
【００１４】
さらに、上記物品に見える多角形の頂点を特徴点に選定する場合、請求項４に記載されているように、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることができる。
【００１５】
その場合に、請求項５に記載されているように、上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点のうちから第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることができる。
【００１６】
本発明による物品の位置検出方法の他の態様によれば、請求項６に記載されているように、上記画像から抽出した線分と上記２次元見え方モデル上の線分とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることができる。
【００１７】
その場合に、請求項７に記載されているように、上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることができる。
【００１８】
あるいは、請求項８に記載されているように、上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像の上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００１９】
本発明による物品の位置検出方法では、上記１対の画像からそれぞれ抽出した特徴部と上記２次元見え方モデル上の特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なって、請求項９に記載されているように、各特徴部の３次元位置を計測し、かつ上記物品の３次元構造モデルを設定して、上記３次元位置が計測された上記画像上の特徴部と上記３次元構造モデル上の特徴部とをマッチングさせることにより、上記物品の３次元位置を算出することができる。
【００２０】
また、請求項１０に記載されているように、上記物品の設計データを用いて上記３次元構造モデルを設定し、該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定することができる。
【００２１】
上記特徴点によるマッチングを行なう場合には、請求項１１ないし１３に記載されているように、上記物品上に見える穴の中心、多角形の頂点、あるいは、穴の中心と多角形の頂点との双方を特徴点として用いることができる。
【００２２】
本発明による物品の位置検出装置は、請求項１４に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴点とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備えているものとする。
【００２３】
そして、上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２４】
また、本発明による物品の位置検出装置は、請求項１５に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２５】
その場合に、請求項１６に記載されているように、上記２次元見え方モデルマッチング手段は、上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴 点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることもできる。
【００２６】
また、本発明による物品の位置検出装置は、請求項１７に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上に見える多角形の頂点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２７】
その場合に、請求項１８に記載されているように、上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点から第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から、第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることもできる。
【００２８】
また、本発明による物品の位置検出装置は、請求項１９に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上に見える線分を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像から抽出した特徴部と上記２次元見え方モデル上の特徴部とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることを特徴とする。
【００２９】
その場合、請求項２０に記載されているように、上記２次元見え方モデルマッチング手段は、上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００３０】
または、請求項２１に記載されているように、上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上 記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００３１】
さらに、本発明による物品の位置検出装置は、請求項２２に記載されているように、上記物品の設計データを用いて上記３次元構造モデルを設定し、かつ該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定するモデル生成手段を備えることができる。
【００３２】
上記２次元見え方モデルマッチング手段は、請求項２３に記載されているように、上記２次元見え方モデルと、相対的配置算出部と、対応付け部と、データ統合部とによって構成することができる。
【００３３】
【作用および発明の効果】
請求項１の発明によれば、ステレオ視法によって物品を撮像した１対の画像にの特徴部に対して、上記物品の２次元上の特徴部を有する「２次元見え方モデル」を用いて対応付けを行なっていることにより、左画像と右画像とを「２次元見え方モデル」を介して対応付けることができ、ステレオ視法における左右画像間の対応付けが可能になる。
【００３４】
また、計測対象物品が変わっても、アルゴリズムを変更することなく、その物品に応じた２次元見え方モデルを用意するだけでステレオ視の対応付けができるから、多種類の物品の３次元位置の検出に適用できる利点がある。
【００３５】
また、特徴点の角度のみに注目した場合、候補点を通る同一直線状の点を区別してマッチングさせることは不可能であるが、請求項２の発明のように、スケール合わせを行なうことにより、物品の画像データと２次元見え方モデルとのマッチング確度が高くなり、さらに請求項３の発明のように、距離情報を用いることにより、適用範囲が広がり、マッチング確度をより高めることができる。
【００３６】
請求項４の発明によれば、多角形の頂点の内角情報を利用するため、多角形の頂点の位置情報のみを用いる場合に比較して組合わせ可能な数を大幅に削減することができ、処理の高速化が達成できる。その場合にも、請求項５の発明のように、スケール合わせを行なうことにより、確実性が向上する。
【００３７】
請求項６の発明によれば、線分で構成されるモデルと計測画像から検出した線分とを比較し、最適なマッチングを判定することにより、モデルと計測画像との高速で確実なマッチングを行なうことができる。
【００３８】
その場合に、請求項７の発明によれば、多角形をマッチングの対象とし、見え方モデルおよび画像の特徴として各辺の線分の長さと方向とを表すベクトルを用いることにより、回転対称性のないモデルに関して、回転移動量と線分の対応とを同時に検出できるとともに、請求項１の発明ような点集合のマッチング手法を用いて線分のマッチングを容易に行なうことができる。また、回転の中心が固定されているので、マッチング評価の回数が少なくて済む利点がある。
【００３９】
また、請求項８の発明のように、画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせていることにより、マッチングのための角度パラメータ、位置補正パラメータおよびスケールパラメータの決定を高速かつ高精度をもって行なうことができる。すなわち、線分に関する少ない情報でマッチング判定を行なうことができるため、高速処理が可能である。
【００４０】
請求項９の発明によれば、３次元位置が計測された上記画像上の特徴部と上記３次元構造モデル上の特徴部とをマッチングさせることにより、上記物品の３次元位置を算出しているから、該物品の３次元位置の検出が容易になる。
【００４１】
また、請求項１０の発明によれば、上記物品の設計データを用いて、「２次元見え方モデル」と「３次元構造モデル」とを生成してマッチングを行なっているから、高速な処理が可能になる。
【００４２】
請求項１１ないし１３の発明によれば、穴を有する物品や、輪郭が直線で構成されている物品に関して、物品の画像データと２次元見え方モデルとのマッチングを行ない、対象物の画像中での位置および回転角度を求めることができる。
【００４３】
本発明による物品の位置検出装置は、請求項１４〜２１に記載されているように、ステレオ視法により撮影された画像からそれぞれ抽出された特徴部と上記物品の２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルとをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段とを備えていることにより、ステレオ視法における左右画像間の対応付けが可能になり、また、計測対象物品が変わっても、アルゴリズムを変更することなく、その物品に応じた２次元見え方モデルを用意するだけでステレオ視の対応付けができるから、多種類の物品の３次元位置の検出が容易になる。
【００４４】
また、請求項２２に記載されているように、上記構成に加え、上記物品の設計データを用いて、「２次元見え方モデル」と「３次元構造モデル」とを生成するモデル生成手段を備えている場合、高速な処理が可能になる。
【００４５】
さらに、本発明による物品の位置検出装置の２次元見え方モデルマッチング手段置が、請求項２３に記載されているように、２次元見え方モデルと、相対的配置算出部と、対応付け部と、データ統合部とによって構成されている場合、上記１対の画像間の対応付けを極めて容易に行なうことができる。
【００４６】
【実施例】
以下、本発明の実施例について図面に基づいて説明する。
【００４７】
（装置の全体構成）
図１は、本発明による物品の位置検出装置の全体構成図である。この物品の位置検出装置は、対象部品のステレオ画像を撮像する２台のＣＣＤカメラから構成された撮像装置１と、この撮像装置１により撮像された画像に対して前処理（微分、２値化、ノイズ除去、細線化、ラベル付け）を施すとともに、前処理された画像から、線分、円弧あるいは点等の特徴部を抽出する特徴抽出装置２と、画像から抽出された線分、円弧あるいは点等の特徴部と該特徴部に対応する２次元見え方モデル上の特徴部とをマッチングさせることにより、ステレオ視法における左右画像間の対応付けを行なう２次元見え方モデルマッチング装置３と、この対応付けの結果を用いて各特徴部の３次元位置を計測する３次元位置計測装置４と、３次元位置が計測された特徴部と３次元構造モデルとをマッチングさせることにより、物品の３次元位置を算出し、物品の把持位置をロボット制御装置６に出力する３次元構造モデルマッチング装置５と、物品の設計データとセンサデータとより、物品の３次元構造モデルと２次元見え方モデルとを生成するモデル生成装置７とによって構成されている。
【００４８】
（処理の流れ）
図２に、処理の流れを表すフローチャートを示す。
【００４９】
Ａ．オンライン処理
(1) 画像入力
２台のＣＣＤカメラから左右の原画像を入力する。
【００５０】
(2) 特徴抽出
入力された左右の原画像を前処理（微分、２値化、ノイズ除去、細線化、ラベル付け）し、前処理された画像から線分、円弧あるいは点等の特徴部を抽出する。
【００５１】
(3) ２次元見え方モデルマッチング画像から抽出された線分、円弧あるいは点等の特徴部と、オフラインで生成された２次元見え方モデルの特徴部とをマッチングさせる。２次元見え方モデルは、線分と円弧とで記述されており、各線分および円弧にはそれぞれ識別番号が付されている（図３参照）。また、特徴抽出装置２によって抽出された線分、円弧等の特徴部にもそれぞれ識別番号が付されている。２次元見え方モデルマッチング装置３では、左（右）画像のどの特徴部が２次元見え方モデルのどの特徴部とマッチングするかを求める。その結果として、下記の表１に示すような対応付け結果を出力する。すなわち、２次元見え方モデル上の線分Ｓ１２に対して左画像の線分Ｌｓ２が対応し、右画像の線分Ｒｓ８が対応するから、左画像の線分Ｌｓ２と右画像の線分Ｒｓ８が対応することになる。このようにして、２次元見え方モデルを介して左右画像間の特徴部の対応付けがなされている。
【００５２】
【表１】
【００５３】
(4) 特徴部の３次元位置の計測
左右画像間で対応付けがなされた特徴部について、ステレオ視法により３次元位置を計測する（図４参照）。
【００５４】
(5) ３次元構造モデルマッチング
３次元位置が計測された特徴部に３次元構造モデルを当てはめることにより部品の３次元位置を求め、ハンドリングのための部品の把持位置を出力する。
【００５５】
Ｂ．オフライン処理
(6) モデル生成
モデル生成装置７において、３次元構造モデルと２次元見え方モデルとがオフラインで生成される。３次元構造モデルは、部品の設計データを用いて生成され、線分と円弧とで記述されている。２次元見え方モデルは、既知であるセンサデータ（カメラパラメータ）を用いて３次元構造モデルを変換させることにより生成され、線分と円弧とで記述されている。
【００５６】
（２次元見え方モデルマッチング装置３の構成）
図５は、２次元見え方モデルマッチング装置３の基本的構成図である。
【００５７】
１つの物品に対して種々の方向から見た２次元見え方モデルが用意されているが、カメラに対する物品の置かれ方が予め特定されていることにより、物品の見え方も特定されており、これに対応した見え方を表す２次元見え方モデル３１がオフラインで用意される。相対配置算出部３２Ｌ，３２Ｒは、画像データ座標系と見え方モデル座標系との間の回転・平行移動量およびスケール係数を算出する。対応付け部３３Ｌ，３３Ｒは、算出された回転・平行移動量およびスケール係数を用いて、画像より抽出された線分、円弧あるいは点等の特徴部と２次元見え方モデル３１における線分、円弧あるいは点等の特徴部とを対応付ける。データ統合部３４は、左右画像の各対応付け結果を統合して、左右画像データ間の対応付け結果を出力する。
【００５８】
（２次元見え方モデルマッチング装置３における処理の流れ）
図６に、処理の流れを表すフローチャートを示す。
【００５９】
(1) 左画像から抽出された線分、円弧等の特徴部の画像中での位置を読み込み、
(2) ２次元見え方モデルデータを読み込み、
(3) 相対配置算出部３２Ｌにおいて、画像座標系とモデル座標系との回転・移動およびスケールを算出し、
(4) 左画像中の特徴部とモデルに記述されている特徴部とを対応付け、
(5) 右画像について、上記処理(1)〜(4)を同様に行ない、
(6) 左画像の特徴部と右画像の特徴部とを対応付け、
(7) 対応付け結果を出力する。
【００６０】
（３次元構造モデルマッチング装置５の構成）
３次元構造モデルマッチング装置５では、計測された画像の特徴部の３次元座標値から、把持のための部品の位置姿勢データを算出する。このため、画像の特徴部の計測データを移動回転させ、対応する３次元構造モデルに合わせる。
【００６１】
３次元構造モデルの座標系（Ｏ−Ｘ，Ｙ，Ｚ）は図７に示すように定義する。すなわち、座標系原点Ｏは把持中心に、Ｘ軸は把持軸（ロボットハンド座標系のＸh軸）に沿うように、Ｚ軸はロボットハンドの進入方向（ロボットハンド座標系のＺh軸）に沿うように定義する。このように定義することにより、計測データをモデルに合わせる手順を逆方向にたどることで、把持の位置姿勢を合わせることができる。
【００６２】
（３次元構造モデルマッチング装置５における処理の流れ）
３次元構造モデルマッチング装置３の処理の手順を図８に示す。
【００６３】
(1) ３次元構造モデルにおいて、３点以上の特徴点（円弧中心または多角形の頂点）を含む平面を選び、これを基準平面とする。
【００６４】
(2) 上記基準平面に含まれる特徴点に対して、これら特徴点に対応する画像上の特徴点の３次元座標値に基づいて、これら画像上の特徴点を平面を最小二乗法を適用することにより算出する。
【００６５】
(3) モデルの基準平面と上記(2) の平面のそれぞれの法線ベクトルを一致させることにより、計測データ座標系のＺ軸を３次元構造モデルの座標系のＺ軸に合わせる。
【００６６】
(4) ２次元見え方モデルマッチングの特徴点の対応付け（後述）と同様な手法に基づいて、基準平面に沿った平行移動量とＺ軸まわりの回転量とを決定する。ただし、２次元見え方モデルマッチングで既に特徴点の対応が判明しているので、本ステップでは対応点の探索を行なう必要はない。
【００６７】
(5) 以上の処理により物品の３次元位置を算出することができ、計測データを３次元構造モデルに合わせる上記手順を逆方向にたどることで、ロボットハンドの位置姿勢を物品位置姿勢に合わせることができる。
【００６８】
（３次元位置計測装置４）
図９に示すように、左カメラの座標系（ＯL−ＸL，ＹL，ＺL）を定義する。ただし、原点ＯLは左カメラの焦点にあり、ｘ軸は水平右向き、ｙ軸は垂直上向き、ｚ軸はカメラの視線方向とする。同様に、右カメラの座標系（ＯR−ＸR，ＹR，ＺR）を定義する。左カメラ座標系と右カメラ座標系の間の回転行列をＲ、平行移動ベクトルをｈとすると、同座標系の関係式は式（１）で表すことができる。
【００６９】
【数１】
【００７０】
特徴点（円弧中心または線分の端点）の３次元位置（ＸC，ＹC，ＺC）は左カメラ座標系を用いて表す。左画像の特徴点をｃL、右画像の特徴点をｃRとし、点ｃLの座標を（ｃxL，ｃyL，ｆL）（左カメラ座標系）、点ｃRの座標を（ｃxR，ｃyR，ｆR）（右カメラ座標系）とする。ここで、ｆL，ｆRはそれぞれ左カメラ、右カメラの焦点距離を表す。
【００７１】
特徴点の３次元位置は、左カメラで特徴点を見たときの視線と、右カメラで特徴点を見たときの視線との交点である。原点ｏＬと特徴点ｃＬとを通る直線の方程式は式（２）となる。
【００７２】
【数２】
【００７３】
また、原点原点ｏＲと特徴点ｃＲとを通る直線の方程式は式（３）となる。
【００７４】
【数３】
【００７５】
式（３）を左カメラ座標系に変換すると、式（３）′となる。
【００７６】
【数４】
【００７７】
したがって、円弧の３次元位置は式（２）と式（３）′の連立方程式を解くことによって式（４）のようになる。
【００７８】
【数５】
【００７９】
（２次元見え方モデルマッチング装置３の実施例の説明）
次に２次元見え方モデルマッチング装置３の実施例について説明する。これら実施例は、図５に示す相対配置算出部３２Ｌ，３２Ｒにおける処理手法の差異に応じて下記のように分類される。
【００８０】
(1) 点によるマッチング
(1-1) 任意の点と原点とを結ぶ線のなす角を求め、所定の評価式を用いて算出した評価値が最小となったとき対応がついたものとするもの
(1-2) 任意の点と原点とを結ぶ線のなす角を用いて、回転角とスケールとを求めるもの
(2) 内角２等分線ベクトルによるマッチング
(2-1) 各頂点の内角２等分線ベクトルを求め、第１、第２候補点による一致度評価によりマッチングを行なうもの
(3) 線分によるマッチング
(3-1) モデル各辺に角度情報と長さ情報とを持たせたベクトルを設け、撮像画像データの各辺にも上記ベクトルを設けた後、両ベクトル群の中心を一致させるとともにスケールを合わせ、回転角とスケール情報とを求めるもの
(3-2) モデルに評価線分を設定し、基準点合わせ処理（２線の交点合わせ）とスケール合わせ処理（モデルと画像との一致）とによりマッチングを行なうもの。
【００８１】
実施例１（点によるマッチング(1-1)）
本実施例は、画像より抽出された特徴点と、２次元見え方モデルに記述されている特徴点とを用いて、画像データと見え方モデルとのマッチングをとるようにしたものである。画像中の特徴点とモデルの特徴点との対応付けは、原点を通るように適当に選んだ基準線と、任意の点と原点とを結ぶ直線とがなす角度を比較することにより行なう。特徴点の生成の方法は、(1)穴の中心を用いる、(2)多角形の頂点を用いる、(3)円の中心と多角形の頂点とを用いる、等があるが、本実施例では特徴点として、穴の中心を用いる。
【００８２】
図１０は、本実施例の装置の概略構成図、図１１はその機能ブロック図、図１２は処理の流れを表すフローチャートをそれぞれ示す。
【００８３】
画像より抽出された特徴点を｛Ｉi：ｉ＝１，２，…，ｍ｝、モデルに記述された特徴点を｛Ｍj：ｊ＝１，２，…，ｎ｝とする。
【００８４】
処理(0)：図１０に示すように、画像から穴の中心を抽出する「円中心抽出装置」を本装置に接続することにより、特徴点の位置を本装置に入力する。また、穴の中心位置情報を有するモデルをオフラインで用意する。
【００８５】
処理(1)：特徴点Ｉiの中から任意の１点を選び、画像データの第１候補点ＩC1とする。また、特徴点Ｍjの中から任意の１点を選び、モデルの第１候補点ＭC1とする。
【００８６】
処理(2)：第１候補点ＩC1を除く（ｍ−１）個の画像中の点の中から任意の１点を選び、第２候補点ＩC2とし、第１候補点ＩC1と第２候補点ＩC2とを結ぶ直線を基準線ＬIとする。同様に、第１候補点ＭC1を除く（ｎ−１）個のモデルの点の中から任意の１点を選び、第２候補点ＭC2とし、第１候補点ＭC1と第２候補点ＭC2とを結ぶ直線を基準線ＬMとする（図１３参照）。
【００８７】
処理(3)：点ＩC1と点ＭC1、点ＩC2と点ＭC2とがそれぞれ対応すると仮定し、残りの点｛Ｉk：ｋ＝１，２，…，ｍ−２｝と｛Ｍｈ：ｈ＝１，２，…，ｎ−２｝との対応付けを以下の処理(4)〜(5)で行なう。
【００８８】
処理(4)：残りの画像中の点｛Ｉk：ｋ＝１，２，…，ｍ−２｝について、点Ｉkと第１候補点ＩC1とを結ぶ直線と基準線ＬIとのなす角度を求め、｛θk：ｋ＝１，２，…，ｍ−２｝とする。同様に、残りのモデルの点｛Ｍh：ｈ＝１，２，…，ｎ−２｝について、点Ｍｈと第１候補点ＭC1とを結ぶ直線と基準線ＬMとのなす角度を求め、｛φh：ｈ＝１，２，…，ｎ−２｝とする（図１４参照）。
【００８９】
処理(5)：｛φh：ｈ＝１，２，…，ｎ−２｝の中からθ1に最も近い値φθ1を探し、Ｉ1とＭθ1とが対応するものとする。以下同様にして、Ｉkに対応するＭhを見つけ出す。例えば、図１５の場合、φθ1＝φ2，φθ2＝φ3，φθ3＝φ5であるので、点Ｉ1と点Ｍ2、点Ｉ2と点Ｍ3、点Ｉ3と点Ｍ5がそれぞれ対応する。
【００９０】
処理(6)：下記に示す評価式を用いて評価値を計算する。
【００９１】
【数６】
【００９２】
図１２の場合、Ｅt＝｜θ1−φ2｜＋｜θ2−φ3｜＋｜θ3−φ5｜となる。
【００９３】
処理(7)：ＩC1，ＩC2，ＭC1，ＭC2の選び方のすべての組み合わせについて（m(m-1)n(n-1)通り）、上記処理(1)〜(6)を行ない、評価値Ｅtを計算する。
【００９４】
処理(8)：評価値Ｅtが最小になったときが最適なＩiとＭjの対応であると判断し、このときの回転・平行移動のパラメータを出力する。画面座標系における基準線ＬIの傾きαI、モデル座標系における基準線ＬMの傾きをαMとし、また、最適な対応結果を得るときの第１候補点の位置ベクトルをＴI，ＴMとすると、回転・平行移動のパラメータはそれぞれα＝αI−αM，Ｔ＝ＴI−ＴMとなる。
【００９５】
実施例２（点によるマッチング(1-1)）
輪郭が直線で構成されている物体の場合、物体の輪郭は多角形となる。この多角形の頂点を抽出すれば、特徴点として利用できる。この場合の装置の概略構成図および機能ブロック図は、それぞれ図１６および図１７に示すようになる。ここで、図１６、図１７は、実施例１における図１０、図１１にそれぞれ対応する。そして、処理(0)は次のようになる。
【００９６】
処理(0)：画像から線分特徴を抽出する「線分抽出装置」を本装置に接続することにより、線分の位置を本装置に入力する。入力された線分の位置から多角形を抽出し、多角形の頂点を求める。また、多角形の頂点情報を有するモデルをオフラインで用意する。
【００９７】
そして、多角形の頂点を特徴点として、実施例１における処理(1)〜(8)と同様の処理を実行する。
【００９８】
実施例３（点によるマッチング(1-1)）
特徴点として、穴の中心と多角形の頂点との双方を利用する。この場合、実施例１の処理(5)において穴の中心と多角形の頂点とが対応付けられないように、穴の中心と頂点とを区別して処理を行なう。画像より抽出された穴の中心と角度を｛Ｉｃi：ｉ＝１，２，…，ｍ｝，｛θｃi：ｉ＝１，２，…，ｍ｝、頂点と角度を｛Ｉνj：ｊ＝１，２，…，ｎ｝，｛θνj：ｊ＝１，２，…，ｎ｝、モデルに記述されている穴の中心と角度を｛Ｍｃk：ｋ＝１，２，…，ｐ｝，｛φｃk：ｋ＝１，２，…，ｐ｝、頂点と角度を｛Ｍνh：ｈ＝１，２，…，ｑ｝，｛φνh：ｈ＝１，２，…，ｑ｝とする。θｃiとφｃkとを用いてＩｃiとＭｃkとの対応付けを行ない、θνjとφνhとを用いてＩνjとＭνhとの対応付けを行なう。評価式は下記のようになる。
【００９９】
【数７】
【０１００】
以上の第１〜第３実施例によれば、穴を有する物品や、輪郭が直線で構成されている物品に関して、物品の画像データと２次元見え方モデルとのマッチングを行ない、対象物の画像中での位置および回転角度を求めることができる。
【０１０１】
また、左画像データと見え方モデルとのマッチング、および右画像データと見え方モデルとのマッチングを行なうことにより、見え方モデルを仲介して左画像と右画像とを対応付けることができる。
【０１０２】
実施例４（点によるマッチング(1-2)）
本実施例は、上述の実施例１〜３で用いた角度情報に加えて、スケール合わせを行なって距離情報を用いることで、適用範囲を広げ、さらにマッチングの確度を高めたものである。
【０１０３】
すなわち、特徴点の角度のみに注目した場合、候補点を通る同一直線状の点を区別してマッチングさせることは不可能であるが、本実施例のように、スケール合わせを行なって距離情報を用いることにより、適用範囲が広がり、さらにマッチング確度が高くなる。
【０１０４】
図１８は、本実施例の機能ブロック図、図１９は処理の流れを表すフローチャートをそれぞれ示す。
【０１０５】
画像より抽出された特徴点を｛Ｉi：ｉ＝１，２，…，ｍ｝、モデルに記述された特徴点を｛Ｍj：ｊ＝１，２，…，ｎ｝とする。特徴点として、例えば穴の中心を用いる。
【０１０６】
処理(0)：実施例１の図１０と同様に、画像から穴の中心を抽出する「円中心抽出装置」を本装置に接続することにより、特徴点の位置を入力する。また、穴の中心位置情報を有するモデルをオフラインで準備する。
【０１０７】
処理(1)：特徴点Ｉiの中から任意の１点を選び、画像データの第１候補点ＩC1とする。また、特徴点Ｍjの中から任意の１点を選び、モデルの第１候補点ＭC1とする。
【０１０８】
処理(2)：第１候補点ＩC1を除く（ｍ−１）個の画像中の点の中から任意の１点を選び、第２候補点ＩC2とし、第１候補点ＩC1と第２候補点ＩC2とを結ぶ直線を基準線ＬIとする。同様に、第１候補点ＭC1を除く（ｎ−１）個のモデルの点の中から任意の１点を選び、第２候補点ＭC2とし、第１候補点ＭC1と第２候補点ＭC2とを結ぶ直線を基準線ＬMとする（図２０参照）。
【０１０９】
処理(3)：点ＩC1とＭC1とが一致するようにモデルを平行移動させる。このときの移動ベクトルをＴとする（図２１参照）。
【０１１０】
処理(4)：基準線ＬIとＬMとが一致するように、点ＭC1（ＩC1）を中心にモデルを回転させる。このときの回転角をθとする（図２２参照）。
【０１１１】
処理(5)：点ＩC2とＭC2とが一致するように、点ＭC1（ＩC1）を中心にモデルを拡大・縮小する。このときのスケールをＳとする（図２３参照）。
【０１１２】
処理(6)：点ＩC1と点ＭC1、点ＩC2と点ＭC2とが対応すると仮定し、残りの点｛Ｉk：ｋ＝１，２，…，ｍ−２｝および｛Ｍh：ｈ＝１，２，…，ｎ−２｝について以下の処理(7)〜(8)を実行する。
【０１１３】
処理(7)：点Ｉkに距離が最も近いモデルの点Ｍhを見つけ、２点間の距離ｄ＝ｄ（Ｉk）を記憶する。
【０１１４】
処理(8)：全ての点Ｉkにについて距離ｄ（Ｉk）が求まれば、評価値Ｅtを下記に示す評価式を用いてを計算し記憶する。
【０１１５】
【数８】
【０１１６】
処理(9)：点ＩC1，ＩC2，ＭC1、ＭC2の選び方のすべての組み合わせについて（m(m-1)n(n-1)通り）、上記の処理(1)〜(8)を行ない、評価値Ｅを計算する。
【０１１７】
処理(10)：評価値Ｅが最小となったときの点ＩkとＭhが最適の対応であるとし、このときの回転角度θ、移動ベクトルＴ、スケールＳのパラメータと、画像データ点Ｉkとモデル点Ｍhの対応付けとを出力する。
【０１１８】
実施例５（内角２等分線方向ベクトルによるモデルマッチング(2-1)）
計測画像とモデルデータとの比較により対象物品の２次元位置を決定する場合、一般に行なわれているように、モデルデータをイメージ画像として持つ場合には２次元のパターンマッチングが必要になり、計算コストが増大する。そこで、２次元のモデルデータを直線や円弧で構成し、計測画像から得られた直線や円弧とのマッチングにより対象物品の２次元位置を推定できれば、高速なモデルマッチングが可能となるが、特徴の選択とマッチング判断とを適切に行なわなければ誤マッチングが発生する可能性がある。
【０１１９】
本実施例では、線分で構成されるモデルが、２つの直線の交点情報として内角の２等分線方向ベクトルと内角度に関する情報を有し（図２７参照）、また、計測画像から同様の情報を生成し、これらを比較することにより、高速かつ確実なマッチングを行なうものである。
【０１２０】
図２４は本実施例の全体構成図、図２５および図２６は処理のフローチャートをそれぞれ示す。
【０１２１】
本実施例では、図２４から明らかなように、対象物品の計測入力画像に対する画像処理により線分検出を行ない、その線分の交点情報をを求めている。また、対象物品と比較するために、モデルデータベースを備えており、このモデルデータと計測画像の交点情報との比較を行なって、最終的に対象物品の確度、位置およびスケール情報を得るものである。
【０１２２】
次に、図２５および図２６のフローチャートに基づいて、本実施例の全体処理を説明する。
【０１２３】
処理(1)：先ず、モデルデータとしては、直線の各交点Ｍ1〜Ｍ5について、その位置座標と２直線の内角２等分線の方向ベクトルと内角の角度値とを情報として準備しておく（図２７参照）。
【０１２４】
対象物品の計測画像については、例えば単色階調画像のエッジ抽出処理と線分セグメント抽出処理等により、画像から線分抽出を行なう。一般に計測画像から検出される線分は端点まで検出されずに短めの線分として抽出されるため、検出された線分については延長処理を行ない、その結果について交点を求めることができる。この交点については、モデルと同様に、その位置座標と２直線の内角２等分線の方向ベクトルと内角の角度値とを決定することができる（図２８参照）。
【０１２５】
処理(2)：次に、これらモデルと計測画像から得られた交点のマッチングを行なう。
【０１２６】
先ず、図２５のフローチャートに示すように、モデルから原点候補点Ｍn（例えばＭ1）を１点選択し、これに適合する計測画像の候補点Ｉn（例えばＩ1）を選定する。この選定には内角度情報を用い、予め設定した一定角度誤差以内で同じ内角度を有する点を原点用の第１候補点として選定する。
【０１２７】
処理(3)：次に、モデルの原点候補点Ｍ1と計測画像の原点候補点Ｉ1との位置誤差を補正するための平行移動量Ｔｑを求める。さらに、内角の２等分線の方向ベクトル情報を用いて、２点の内角方向が一致するような回転移動量Ｒｑを求める（図２９参照）。
【０１２８】
処理(4)：得られた変換量Ｔｑ，Ｒｑを用いて、モデルの全交点を平行移動および回転移動させる。この変換により、モデルの原点候補点Ｍ1は計測画像の原点候補点Ｉ1に位置と方向を一致させることができる。その他の点について角度の補正とスケーリングの補正とを行うために第２候補点を選択する。
【０１２９】
第２候補点はモデル点のうち原点以外の点で、計測画像の中である一定位置誤差以内に位置し、内角度がある一定角度誤差以内の点、例えばＭ2，Ｉ2を選択する（図３０参照）。
【０１３０】
処理(5)：このようにして決定したモデルと計測画像の第２候補点Ｍ2，Ｉ2と原点候補点Ｍ1，Ｉ1とを用いて、２点同士の位置が一致するような平行移動、回転移動、拡大縮小の各係数を求め、再度全モデル点に対してこの変換を行なう。
【０１３１】
処理(6)：変換されたモデルの各点と計測画像の各点とを比較して一致度を計算し、一致度評価得点を求める。このとき、点の一致判定には、点位置の誤差と併せて内角２等分線の方向ベクトルの方向誤差を用いることにより確実な一致判定ができる。一致度評価得点には一致点の個数と位置誤差の累積量とを用いることができる。
【０１３２】
以上の処理により、選択された第１候補点（原点候補点）と第２候補点とによる一致度評価得点が得られる。この処理を全ての、第１候補点と第２候補点の組み合わせについて実行し、最も一致度評価得点の高い組み合わせを選べば、最適なマッチングを行なうことができる。
【０１３３】
これらの処理のうち、第１候補点と第２候補点の選定については、点の内角情報を利用するため、点の位置情報のみで選定する場合に比較して組合わせ可能な数を大幅に削減することができ、処理の高速化と確実性の向上とを達成できる。なお、対象物品が長方形で構成されている場合には、隣接しない対角の内角２等分線は互いに向きが逆になっている。また、一般的にある特徴的な角度関係を持った複数の点を特徴点として前もってモデル情報に含ませることは容易である。これら複数の点の内角情報の特徴を用いれば、前述の第１候補点（原点候補点）と第２候補点の選定を１点ずつ全ての組合わせを判定する必要がなくなる（図３１参照）。
【０１３４】
例えば、長方形を有するモデルの場合に特徴点として対角上の２点を選ぶと、計測画像から互いに反対方向の内角２等分線の方向ベクトルを有する２点の組合わせについてのみを評価対象として選択すれば良い。同様に、三角形の３頂点を特徴点として選べば、計測画像の各点の角度情報から、モデルと同じ角度構成を有する３点の組を選択し、その組についてのみ一致評価を実行すれば良い。そして、これらの処理は点の位置情報が不要であるため、角度のリストから処理を行なうことができ、処理の簡単化、高速化が可能である。
【０１３５】
実施例６（線分によるモデルマッチング(3-1)）
本実施例は、多角形をマッチングの対象とし、見え方モデルおよび画像の特徴として各辺の線分の長さと方向とを用いる。各線分の長さと方向とをベクトルで表し、ベクトルの始点を合わせた図形を、モデルと画像双方で構成する。これらを、ベクトルの始点を中心にして、ベクトル終点の点集合のマッチングで回転とスケール合わせとを行なう。最後に、対応付けられたいずれかの線分を基準に平行移動することで、線分特徴のマッチングを行なう。
【０１３６】
マッチングに用いるベクトルとして、図３２（ａ）に示すように、多角形の線分集合に対して、各線分に垂直で多角形の外に向かう、線分の長さに比例したベクトルを設定し、始点を合わせる。あるいは、図３２（ｂ）に示すように、一定方向回りに（例えば左回りに）、各辺の方向をとってベクトルとし、始点を合わせる。
【０１３７】
モデルと計測画像の双方で、同じように特徴を抽出し、これを中心を含めて点集合マッチングを行なうことにより、前述の第１実施例の図１５に示した手法と同様の手法で回転角情報を求めて、式（５）に示す評価式を用いて評価値を計算する。これによって、各辺の対応と回転角とが検出できるので、対応付けされたいずれかの辺で平行移動することで、モデルを計測画像に合わせるための、平行移動情報および回転移動情報を得ることができる。そして評価値が最小となった最適な線分の対応についてスケール情報を求める。したがって、本実施例で用いる評価式は下記の式に示すようになる。
【０１３８】
【数９】
【０１３９】
なお、上記評価式において、ｗ1，ｗ2は定数、ｇθk，ｇφθkは、基準線に対してそれぞれ角度θk，φθkをなす線分の長さである。
【０１４０】
本実施例によれば、回転対称性のないモデルに関して、回転移動量と線分の対応とを同時に検出できるとともに、点集合のマッチング手法（図１５参照）を用いて線分のマッチングを容易に行なうことができる。また、回転の中心が固定されているので、マッチング評価の回数が少なくて済む利点がある。
【０１４１】
実施例７（線分によるモデルマッチング(3-2)）
本実施例では、線分で構成されるモデルと計測画像から検出した線分とを比較し、最適なマッチングを判定することにより、モデルと計測画像との高速で確実なマッチングを行なうものである。
【０１４２】
図３３に全体構成図を示し、対象物品の計測入力画像に対して画像処理により線分検出を行ない、線分で構成されたモデルデータと計測画像の線分情報との比較により回転角度を決定し、次いで位置とスケールを決定し、最終的に対象物品の角度情報、位置情報およびスケール情報を得るものである。
【０１４３】
線分情報の比較により、マッチングの角度情報、位置情報およびスケール情報を得る処理のフローチャートを図３４および図３５に示す。
【０１４４】
本実施例では、２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせている。
【０１４５】
処理(1)：先ず、線分で構成されたモデルデータを準備する。また、物品の計測画像については、例えば単色階調画像のエッジ抽出処理と線分セグメント抽出処理等により、画像から線分抽出を行なう（図３６参照）。
【０１４６】
処理(2)：次に、これらモデルと計測画像とから得られた線分の角度のマッチングを行なう。
【０１４７】
先ず、図３４のフローチャートに示すように、モデルから代表線分Ｌｍを１本選択する。これは、最も特徴的な線分として、最も長い線分、もしくは最も計測が確実な線分を選ぶ。次に計測画像からこれに適合する線分Ｌｉを選定する。
【０１４８】
処理(3)：モデル線分Ｌｍと計測線分Ｌｉとの角度誤差Ｒｑ、すなわち、例えば図３６ではモデル線分Ｌｍ2と計測線分Ｌｉ2との角度誤差を計算し、この補正角度Ｒｑに基づきモデルの全ての線分Ｌｍ1〜Ｌｍ5の角度を補正する。
【０１４９】
処理(4)：次に補正された２次元見え方モデル上の全ての線分Ｌｍ1〜Ｌｍ5について、計測線分Ｌｉ1〜Ｌｉ5の角度分布との一致度評価を行ない、評価値の総和を線分Ｌｍと線分Ｌｉとの角度補正により得られた評価値とする（図３７参照）。
【０１５０】
この手法についてさらに詳細に説明すると、図３６に示す画像の上の全ての線分Ｌｉ1〜Ｌｉ5が所定の基準線、例えばＸ軸に対してなす角度θi1〜θi5を図３７に示す所定の直交座標軸の横軸上にプロットし、各プロット点からの当該線分Ｌｉ1〜Ｌｉ5の長さに応じた縦軸方向の高さをそれぞれ有する点Ｐi1〜Ｐi5を求め、次いで各点Ｐi1〜Ｐi5をそれぞれ頂点とするガウス分布（正規分布）曲線を作成する。そして、上記処理(3)で角度補正された２次元見え方モデル上の各線分Ｌｍ1〜Ｌｍ5の上記基準線（例えば図３６のＸ軸）に対してなす角度θm1〜θm5をガウス分布曲線上にプロットして、各プロット点Ｐm1〜Ｐm5の横軸からの高さ（「線分一致の確からしさ」を表している）をそれぞれ求め、各プロット点Ｐm1〜Ｐm5の横軸からの高さの総和を求める。
【０１５１】
なお、図３７の右端に示すように、２つの線分Ｌｉ1とＬｉ3の角度θi1，θi3が近接していることにより、これら線分Ｌｉ1，Ｌｉ3にそれぞれ対応する２つのガウス分布曲線が互いに交わっている場合は、これら２つのガウス分布曲線の高さの和の値を高さとする新たな曲線ｋを作成し、線分Ｌｉ1，Ｌｉ3にそれぞれ対応する２次元見え方モデル上の線分Ｌｍ1，Ｌｍ3の角度θm1，θm3を上記曲線ｋ上にプロットして、各プロット点Ｐｍ1，Ｐｍ3の横軸からの高さをそれぞれ求める。
【０１５２】
処理(5)：角度補正の評価作業を全ての線分の組合わせに対して行ない、最も評価の高い角度Ｒｑをモデルと計測画像のとのマッチング角度として採用する。
【０１５３】
処理(6)：次に平行移動とスケール係数Ｓｑの決定を行なう。先ず、位置を決定するために角度と同様にモデルの中で最も代表的な線分Ｌｍ1，Ｌｍ2を選定し、計測画像線分Ｌｉ1，Ｌｉ2との位置補正量Ｔｑを求め、２次元見え方モデルを平行移動させ、線分Ｌｍ1とＬｍ2との交点を線分Ｌｉ1とＬｉ2との交点に一致させる。このように、２本の線分を用いることで、不正確な端点情報を使用せずにエッジ方向誤差ｖ1，ｖ2のみを用いて、その合成ベクトルとしての位置補正量Ｔｑを求めることができる（図３８参照）。
【０１５４】
処理(7)：次にスケール係数を決定するためにモデルから線分Ｌｍ4を選定し、計測画像の線分Ｌｉ4とのスケール係数Ｓｑを求める。基準点として、線分Ｌｍ1とＬｍ2との交点を選ぶが、この点は線分Ｌｉ1とＬｉ2との交点に等しいので、これを原点として線分Ｌｍ4とＬｉ4とを一致させる拡大縮小率Ｓｑを決定する。これも線分Ｌｍ4とＬｉ4のエッジ方向移動量Ｓｍ，Ｓｉで決定できる（図３９参照）。
【０１５５】
Ｓｑ＝｜Ｓｍ｜／｜Ｓｉ｜
以上の処理のうち、Ｌｍ1，Ｌｍ2，Ｌｍ4の各候補線分は、最も特徴的な組合わせを１組か２組程度用意しておけば十分である。また計測データの角度は補正済みであるため、計測データから選定する候補線分Ｌｉ1，Ｌｉ2，Ｌｉ4も角度情報を基準に選定することで候補の絞り込みは容易に行える。
【０１５６】
これらの処理により、マッチングのための角度パラメータＲｑ、位置補正パラメータＴｑおよびスケールパラメータＳｑの決定を高速かつ高精度をもって行なうことができる。
【０１５７】
すなわち、本実施例によれば、線分に関する少ない情報でマッチング判定を行なうため、イメージ画像でのマッチングに比較して、高速処理が可能である。また、計測画像からの線分抽出では一般に端点を正確に検出することは困難であるが、本実施例では、角度と併せて、最も計測精度が高い線分のエッジ方向（線分に直交する方向）の位置を用いてマッチングを行うため、高精度の処理が可能になる。
【図面の簡単な説明】
【図１】 本発明による物品の位置検出装置の全体構成図
【図２】 同 処理の流れを表すフローチャート
【図３】 ２次元見え方モデルの１例を示す説明図
【図４】 ３次元構造モデルマッチング手法の説明図
【図５】 ２次元見え方モデルマッチング装置の基本的構成図
【図６】 ２次元見え方モデルマッチング装置における処理の流れを表すフローチャート
【図７】 ３次元構造モデル座標系の説明図
【図８】 ３次元構造モデルマッチング装置における処理の流れを表すフローチャート
【図９】 左右のカメラ座標系に対する特徴点の３次元位置の説明図
【図１０】 ２次元見え方モデルマッチング装置の第１実施例の概略構成図
【図１１】 同 機能ブロック図
【図１２】 同 処理の流れを表すフローチャート
【図１３】 同 基準線の作成手法の説明図
【図１４】 同 基準線に対する角度を求める手法の説明図
【図１５】 同 角度によるマッチング手法の説明図
【図１６】 ２次元見え方モデルマッチング装置の第２実施例の概略構成図
【図１７】 同 機能ブロック図
【図１８】 ２次元見え方モデルマッチング装置の第４実施例の機能ブロック図
【図１９】 同 処理の流れを表すフローチャート
【図２０】 同 基準線の作成手法の説明図
【図２１】 同 モデルを平行移動させる手法の説明図
【図２２】 同 モデルを回転させる手法の説明図
【図２３】 同 モデルの拡大・縮小手法の説明図
【図２４】 ２次元見え方モデルマッチング装置の第５実施例の全体構成図
【図２５】 同 処理の流れを表すフローチャートの前半部分
【図２６】 同 処理の流れを表すフローチャートの後半部分
【図２７】 同 モデルデータの説明図
【図２８】 同 計測画像の説明図
【図２９】 同 第１候補点による平行移動・回転手法の説明図
【図３０】 同 第２候補点によるマッチング手法の説明図
【図３１】 長方形モデルの反対方向ベクトルを有する特徴点の組を示す説明図
【図３２】 ２次元見え方モデルマッチング装置の第６実施例における多角形の線分集合に対するベクトルの設定手法の説明図
【図３３】 ２次元見え方モデルマッチング装置の第７実施例の全体構成図
【図３４】 同 処理の流れを表すフローチャートの前半部分
【図３５】 同 処理の流れを表すフローチャートの後半部分
【図３６】 同 モデル線分および計測線分の説明図
【図３７】 同 角度分布評価手法の説明図
【図３８】 同 ２等分線による位置補正手法の説明図
【図３９】 同 スケール補正手法の説明図
【符号の説明】
１ 撮像装置
２ 特徴抽出装置
３ ２次元見え方モデルマッチング装置
４ ３次元位置計測装置
５ ３次元構造モデルマッチング装置
６ ロボット制御装置
７ モデル生成装置
３１ ２次元見え方モデル
３２Ｌ，３２Ｒ 相対配置算出部
３３Ｌ，３３Ｒ 対応付け部
３４ データ統合部
【産業上の利用分野】
本発明は、第１および第２の撮像手段を用いて、物品をステレオ視することにより物品の３次元位置を検出する物品の位置検出方法およびその装置に関し、特に、物品の２次元見え方モデルを介して２つの撮像画面の特徴部の対応付けを行なう物品の位置検出方法およびその装置に関する。
【０００２】
【従来の技術】
例えば自動車組立て工場における作業の自動化のためには部品のハンドリングが非常に重要な問題である。特に、組立て領域の自動化において必要とされているようなロボットによる多機能で正確な自動ハンドリングを実現するためには、多種類の部品の３次元位置を計測する技術が必要となる。
【０００３】
一般に知られている物品の位置検出方法は、所定の平面上に置かれた計測対象物品の２次元位置を画像により計測するもの（特開平１−３０５３０３号公報参照）や、対象物品に認識用のマーカを設置し、このマーカを計測することにより対象物品の３次元位置を計測するもの（特開平３−２８１１３０号公報参照）、あるいはスリット光により物品の高さを検出するもの（特開昭６２−３２５８２号公報参照）である。
【０００４】
また、対象物品の３次元位置を画像で計測する方法として、２台のＣＣＤカメラを用いるステレオ視法が知られている。
【０００５】
【発明が解決しようとする課題】
従来の画像による計測装置は、個々の物品専用に開発されているため、汎用性がなく、多種類の物品に対応させようとすると、すべての物品についてアルゴリズムを開発しなければならず、開発・投資効率が悪くなる。
【０００６】
また、ステレオ視法には、撮像装置が簡単で、高い計測精度が得られる特長がある一方で、左右画像間で特徴部の対応付けに問題がある。とくに、多種類物品の３次元位置をステレオ視法を用いて計測する場合には、下記のような問題がある。
【０００７】
すなわち、左右画像間で特徴部を対応付けする際に、物品の構造的情報を用いずに行なおうとすると、処理に長い時間を要する。そこで従来の手法では、対象物品の構造的情報をアルゴリズムに組み込むことにより対応付けを行なっているが、この場合、同じアルゴリズムを用いて他の物品の対応付けを行なうことはできないから、多種類物品に対応できる３次元計測装置には、従来の手法を適用することは不可能である。
【０００８】
本発明は、上記問題点を解決するためになされたもので、対象物品が変わっても共通のアルゴリズムで対応できるステレオ視法による物品の位置検出方法およびその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による物品の位置検出方法は、請求項１に記載されているように、第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルを設定し、上記１対の画像のそれぞれから抽出した特徴部を、上記２次元見え方モデルを介して対応付けを行なうことを特徴とする。
【００１０】
本発明による物品の位置検出方法の１つの態様によれば、請求項１に記載されているように、上記画像から抽出した特徴点と上記２次元見え方モデル上の特徴点とを用いて、上記画像データと上記２次元見え方モデルとをマッチングさせている。
【００１１】
また、上記特徴点によるマッチングを行なう場合には、請求項１に記載されているように、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせる方法を採用することができる。
【００１２】
さらに、上記特徴点による対応付けを行なう場合には、請求項２に記載されているように、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせる方法を採用することができる。
【００１３】
その場合に、請求項３に記載されているように、上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることができる。
【００１４】
さらに、上記物品に見える多角形の頂点を特徴点に選定する場合、請求項４に記載されているように、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることができる。
【００１５】
その場合に、請求項５に記載されているように、上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点のうちから第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることができる。
【００１６】
本発明による物品の位置検出方法の他の態様によれば、請求項６に記載されているように、上記画像から抽出した線分と上記２次元見え方モデル上の線分とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることができる。
【００１７】
その場合に、請求項７に記載されているように、上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることができる。
【００１８】
あるいは、請求項８に記載されているように、上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像の上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００１９】
本発明による物品の位置検出方法では、上記１対の画像からそれぞれ抽出した特徴部と上記２次元見え方モデル上の特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なって、請求項９に記載されているように、各特徴部の３次元位置を計測し、かつ上記物品の３次元構造モデルを設定して、上記３次元位置が計測された上記画像上の特徴部と上記３次元構造モデル上の特徴部とをマッチングさせることにより、上記物品の３次元位置を算出することができる。
【００２０】
また、請求項１０に記載されているように、上記物品の設計データを用いて上記３次元構造モデルを設定し、該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定することができる。
【００２１】
上記特徴点によるマッチングを行なう場合には、請求項１１ないし１３に記載されているように、上記物品上に見える穴の中心、多角形の頂点、あるいは、穴の中心と多角形の頂点との双方を特徴点として用いることができる。
【００２２】
本発明による物品の位置検出装置は、請求項１４に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴点とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備えているものとする。
【００２３】
そして、上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２４】
また、本発明による物品の位置検出装置は、請求項１５に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２５】
その場合に、請求項１６に記載されているように、上記２次元見え方モデルマッチング手段は、上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴 点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることもできる。
【００２６】
また、本発明による物品の位置検出装置は、請求項１７に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上に見える多角形の頂点を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする。
【００２７】
その場合に、請求項１８に記載されているように、上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点から第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から、第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることもできる。
【００２８】
また、本発明による物品の位置検出装置は、請求項１９に記載されているように、ステレオ視法により物品を撮像する第１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、上記特徴抽出手段は、上記物品上に見える線分を特徴部として選定し、上記２次元見え方モデルマッチング手段は、上記画像から抽出した特徴部と上記２次元見え方モデル上の特徴部とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることを特徴とする。
【００２９】
その場合、請求項２０に記載されているように、上記２次元見え方モデルマッチング手段は、上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００３０】
または、請求項２１に記載されているように、上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上 記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることもできる。
【００３１】
さらに、本発明による物品の位置検出装置は、請求項２２に記載されているように、上記物品の設計データを用いて上記３次元構造モデルを設定し、かつ該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定するモデル生成手段を備えることができる。
【００３２】
上記２次元見え方モデルマッチング手段は、請求項２３に記載されているように、上記２次元見え方モデルと、相対的配置算出部と、対応付け部と、データ統合部とによって構成することができる。
【００３３】
【作用および発明の効果】
請求項１の発明によれば、ステレオ視法によって物品を撮像した１対の画像にの特徴部に対して、上記物品の２次元上の特徴部を有する「２次元見え方モデル」を用いて対応付けを行なっていることにより、左画像と右画像とを「２次元見え方モデル」を介して対応付けることができ、ステレオ視法における左右画像間の対応付けが可能になる。
【００３４】
また、計測対象物品が変わっても、アルゴリズムを変更することなく、その物品に応じた２次元見え方モデルを用意するだけでステレオ視の対応付けができるから、多種類の物品の３次元位置の検出に適用できる利点がある。
【００３５】
また、特徴点の角度のみに注目した場合、候補点を通る同一直線状の点を区別してマッチングさせることは不可能であるが、請求項２の発明のように、スケール合わせを行なうことにより、物品の画像データと２次元見え方モデルとのマッチング確度が高くなり、さらに請求項３の発明のように、距離情報を用いることにより、適用範囲が広がり、マッチング確度をより高めることができる。
【００３６】
請求項４の発明によれば、多角形の頂点の内角情報を利用するため、多角形の頂点の位置情報のみを用いる場合に比較して組合わせ可能な数を大幅に削減することができ、処理の高速化が達成できる。その場合にも、請求項５の発明のように、スケール合わせを行なうことにより、確実性が向上する。
【００３７】
請求項６の発明によれば、線分で構成されるモデルと計測画像から検出した線分とを比較し、最適なマッチングを判定することにより、モデルと計測画像との高速で確実なマッチングを行なうことができる。
【００３８】
その場合に、請求項７の発明によれば、多角形をマッチングの対象とし、見え方モデルおよび画像の特徴として各辺の線分の長さと方向とを表すベクトルを用いることにより、回転対称性のないモデルに関して、回転移動量と線分の対応とを同時に検出できるとともに、請求項１の発明ような点集合のマッチング手法を用いて線分のマッチングを容易に行なうことができる。また、回転の中心が固定されているので、マッチング評価の回数が少なくて済む利点がある。
【００３９】
また、請求項８の発明のように、画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせていることにより、マッチングのための角度パラメータ、位置補正パラメータおよびスケールパラメータの決定を高速かつ高精度をもって行なうことができる。すなわち、線分に関する少ない情報でマッチング判定を行なうことができるため、高速処理が可能である。
【００４０】
請求項９の発明によれば、３次元位置が計測された上記画像上の特徴部と上記３次元構造モデル上の特徴部とをマッチングさせることにより、上記物品の３次元位置を算出しているから、該物品の３次元位置の検出が容易になる。
【００４１】
また、請求項１０の発明によれば、上記物品の設計データを用いて、「２次元見え方モデル」と「３次元構造モデル」とを生成してマッチングを行なっているから、高速な処理が可能になる。
【００４２】
請求項１１ないし１３の発明によれば、穴を有する物品や、輪郭が直線で構成されている物品に関して、物品の画像データと２次元見え方モデルとのマッチングを行ない、対象物の画像中での位置および回転角度を求めることができる。
【００４３】
本発明による物品の位置検出装置は、請求項１４〜２１に記載されているように、ステレオ視法により撮影された画像からそれぞれ抽出された特徴部と上記物品の２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルとをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段とを備えていることにより、ステレオ視法における左右画像間の対応付けが可能になり、また、計測対象物品が変わっても、アルゴリズムを変更することなく、その物品に応じた２次元見え方モデルを用意するだけでステレオ視の対応付けができるから、多種類の物品の３次元位置の検出が容易になる。
【００４４】
また、請求項２２に記載されているように、上記構成に加え、上記物品の設計データを用いて、「２次元見え方モデル」と「３次元構造モデル」とを生成するモデル生成手段を備えている場合、高速な処理が可能になる。
【００４５】
さらに、本発明による物品の位置検出装置の２次元見え方モデルマッチング手段置が、請求項２３に記載されているように、２次元見え方モデルと、相対的配置算出部と、対応付け部と、データ統合部とによって構成されている場合、上記１対の画像間の対応付けを極めて容易に行なうことができる。
【００４６】
【実施例】
以下、本発明の実施例について図面に基づいて説明する。
【００４７】
（装置の全体構成）
図１は、本発明による物品の位置検出装置の全体構成図である。この物品の位置検出装置は、対象部品のステレオ画像を撮像する２台のＣＣＤカメラから構成された撮像装置１と、この撮像装置１により撮像された画像に対して前処理（微分、２値化、ノイズ除去、細線化、ラベル付け）を施すとともに、前処理された画像から、線分、円弧あるいは点等の特徴部を抽出する特徴抽出装置２と、画像から抽出された線分、円弧あるいは点等の特徴部と該特徴部に対応する２次元見え方モデル上の特徴部とをマッチングさせることにより、ステレオ視法における左右画像間の対応付けを行なう２次元見え方モデルマッチング装置３と、この対応付けの結果を用いて各特徴部の３次元位置を計測する３次元位置計測装置４と、３次元位置が計測された特徴部と３次元構造モデルとをマッチングさせることにより、物品の３次元位置を算出し、物品の把持位置をロボット制御装置６に出力する３次元構造モデルマッチング装置５と、物品の設計データとセンサデータとより、物品の３次元構造モデルと２次元見え方モデルとを生成するモデル生成装置７とによって構成されている。
【００４８】
（処理の流れ）
図２に、処理の流れを表すフローチャートを示す。
【００４９】
Ａ．オンライン処理
(1) 画像入力
２台のＣＣＤカメラから左右の原画像を入力する。
【００５０】
(2) 特徴抽出
入力された左右の原画像を前処理（微分、２値化、ノイズ除去、細線化、ラベル付け）し、前処理された画像から線分、円弧あるいは点等の特徴部を抽出する。
【００５１】
(3) ２次元見え方モデルマッチング画像から抽出された線分、円弧あるいは点等の特徴部と、オフラインで生成された２次元見え方モデルの特徴部とをマッチングさせる。２次元見え方モデルは、線分と円弧とで記述されており、各線分および円弧にはそれぞれ識別番号が付されている（図３参照）。また、特徴抽出装置２によって抽出された線分、円弧等の特徴部にもそれぞれ識別番号が付されている。２次元見え方モデルマッチング装置３では、左（右）画像のどの特徴部が２次元見え方モデルのどの特徴部とマッチングするかを求める。その結果として、下記の表１に示すような対応付け結果を出力する。すなわち、２次元見え方モデル上の線分Ｓ１２に対して左画像の線分Ｌｓ２が対応し、右画像の線分Ｒｓ８が対応するから、左画像の線分Ｌｓ２と右画像の線分Ｒｓ８が対応することになる。このようにして、２次元見え方モデルを介して左右画像間の特徴部の対応付けがなされている。
【００５２】
【表１】
(4) 特徴部の３次元位置の計測
左右画像間で対応付けがなされた特徴部について、ステレオ視法により３次元位置を計測する（図４参照）。
【００５４】
(5) ３次元構造モデルマッチング
３次元位置が計測された特徴部に３次元構造モデルを当てはめることにより部品の３次元位置を求め、ハンドリングのための部品の把持位置を出力する。
【００５５】
Ｂ．オフライン処理
(6) モデル生成
モデル生成装置７において、３次元構造モデルと２次元見え方モデルとがオフラインで生成される。３次元構造モデルは、部品の設計データを用いて生成され、線分と円弧とで記述されている。２次元見え方モデルは、既知であるセンサデータ（カメラパラメータ）を用いて３次元構造モデルを変換させることにより生成され、線分と円弧とで記述されている。
【００５６】
（２次元見え方モデルマッチング装置３の構成）
図５は、２次元見え方モデルマッチング装置３の基本的構成図である。
【００５７】
１つの物品に対して種々の方向から見た２次元見え方モデルが用意されているが、カメラに対する物品の置かれ方が予め特定されていることにより、物品の見え方も特定されており、これに対応した見え方を表す２次元見え方モデル３１がオフラインで用意される。相対配置算出部３２Ｌ，３２Ｒは、画像データ座標系と見え方モデル座標系との間の回転・平行移動量およびスケール係数を算出する。対応付け部３３Ｌ，３３Ｒは、算出された回転・平行移動量およびスケール係数を用いて、画像より抽出された線分、円弧あるいは点等の特徴部と２次元見え方モデル３１における線分、円弧あるいは点等の特徴部とを対応付ける。データ統合部３４は、左右画像の各対応付け結果を統合して、左右画像データ間の対応付け結果を出力する。
【００５８】
（２次元見え方モデルマッチング装置３における処理の流れ）
図６に、処理の流れを表すフローチャートを示す。
【００５９】
(1) 左画像から抽出された線分、円弧等の特徴部の画像中での位置を読み込み、
(2) ２次元見え方モデルデータを読み込み、
(3) 相対配置算出部３２Ｌにおいて、画像座標系とモデル座標系との回転・移動およびスケールを算出し、
(4) 左画像中の特徴部とモデルに記述されている特徴部とを対応付け、
(5) 右画像について、上記処理(1)〜(4)を同様に行ない、
(6) 左画像の特徴部と右画像の特徴部とを対応付け、
(7) 対応付け結果を出力する。
【００６０】
（３次元構造モデルマッチング装置５の構成）
３次元構造モデルマッチング装置５では、計測された画像の特徴部の３次元座標値から、把持のための部品の位置姿勢データを算出する。このため、画像の特徴部の計測データを移動回転させ、対応する３次元構造モデルに合わせる。
【００６１】
３次元構造モデルの座標系（Ｏ−Ｘ，Ｙ，Ｚ）は図７に示すように定義する。すなわち、座標系原点Ｏは把持中心に、Ｘ軸は把持軸（ロボットハンド座標系のＸh軸）に沿うように、Ｚ軸はロボットハンドの進入方向（ロボットハンド座標系のＺh軸）に沿うように定義する。このように定義することにより、計測データをモデルに合わせる手順を逆方向にたどることで、把持の位置姿勢を合わせることができる。
【００６２】
（３次元構造モデルマッチング装置５における処理の流れ）
３次元構造モデルマッチング装置３の処理の手順を図８に示す。
【００６３】
(1) ３次元構造モデルにおいて、３点以上の特徴点（円弧中心または多角形の頂点）を含む平面を選び、これを基準平面とする。
【００６４】
(2) 上記基準平面に含まれる特徴点に対して、これら特徴点に対応する画像上の特徴点の３次元座標値に基づいて、これら画像上の特徴点を平面を最小二乗法を適用することにより算出する。
【００６５】
(3) モデルの基準平面と上記(2) の平面のそれぞれの法線ベクトルを一致させることにより、計測データ座標系のＺ軸を３次元構造モデルの座標系のＺ軸に合わせる。
【００６６】
(4) ２次元見え方モデルマッチングの特徴点の対応付け（後述）と同様な手法に基づいて、基準平面に沿った平行移動量とＺ軸まわりの回転量とを決定する。ただし、２次元見え方モデルマッチングで既に特徴点の対応が判明しているので、本ステップでは対応点の探索を行なう必要はない。
【００６７】
(5) 以上の処理により物品の３次元位置を算出することができ、計測データを３次元構造モデルに合わせる上記手順を逆方向にたどることで、ロボットハンドの位置姿勢を物品位置姿勢に合わせることができる。
【００６８】
（３次元位置計測装置４）
図９に示すように、左カメラの座標系（ＯL−ＸL，ＹL，ＺL）を定義する。ただし、原点ＯLは左カメラの焦点にあり、ｘ軸は水平右向き、ｙ軸は垂直上向き、ｚ軸はカメラの視線方向とする。同様に、右カメラの座標系（ＯR−ＸR，ＹR，ＺR）を定義する。左カメラ座標系と右カメラ座標系の間の回転行列をＲ、平行移動ベクトルをｈとすると、同座標系の関係式は式（１）で表すことができる。
【００６９】
【数１】
特徴点（円弧中心または線分の端点）の３次元位置（ＸC，ＹC，ＺC）は左カメラ座標系を用いて表す。左画像の特徴点をｃL、右画像の特徴点をｃRとし、点ｃLの座標を（ｃxL，ｃyL，ｆL）（左カメラ座標系）、点ｃRの座標を（ｃxR，ｃyR，ｆR）（右カメラ座標系）とする。ここで、ｆL，ｆRはそれぞれ左カメラ、右カメラの焦点距離を表す。
【００７１】
特徴点の３次元位置は、左カメラで特徴点を見たときの視線と、右カメラで特徴点を見たときの視線との交点である。原点ｏＬと特徴点ｃＬとを通る直線の方程式は式（２）となる。
【００７２】
【数２】
また、原点原点ｏＲと特徴点ｃＲとを通る直線の方程式は式（３）となる。
【００７４】
【数３】
式（３）を左カメラ座標系に変換すると、式（３）′となる。
【００７６】
【数４】
したがって、円弧の３次元位置は式（２）と式（３）′の連立方程式を解くことによって式（４）のようになる。
【００７８】
【数５】
（２次元見え方モデルマッチング装置３の実施例の説明）
次に２次元見え方モデルマッチング装置３の実施例について説明する。これら実施例は、図５に示す相対配置算出部３２Ｌ，３２Ｒにおける処理手法の差異に応じて下記のように分類される。
【００８０】
(1) 点によるマッチング
(1-1) 任意の点と原点とを結ぶ線のなす角を求め、所定の評価式を用いて算出した評価値が最小となったとき対応がついたものとするもの
(1-2) 任意の点と原点とを結ぶ線のなす角を用いて、回転角とスケールとを求めるもの
(2) 内角２等分線ベクトルによるマッチング
(2-1) 各頂点の内角２等分線ベクトルを求め、第１、第２候補点による一致度評価によりマッチングを行なうもの
(3) 線分によるマッチング
(3-1) モデル各辺に角度情報と長さ情報とを持たせたベクトルを設け、撮像画像データの各辺にも上記ベクトルを設けた後、両ベクトル群の中心を一致させるとともにスケールを合わせ、回転角とスケール情報とを求めるもの
(3-2) モデルに評価線分を設定し、基準点合わせ処理（２線の交点合わせ）とスケール合わせ処理（モデルと画像との一致）とによりマッチングを行なうもの。
【００８１】
実施例１（点によるマッチング(1-1)）
本実施例は、画像より抽出された特徴点と、２次元見え方モデルに記述されている特徴点とを用いて、画像データと見え方モデルとのマッチングをとるようにしたものである。画像中の特徴点とモデルの特徴点との対応付けは、原点を通るように適当に選んだ基準線と、任意の点と原点とを結ぶ直線とがなす角度を比較することにより行なう。特徴点の生成の方法は、(1)穴の中心を用いる、(2)多角形の頂点を用いる、(3)円の中心と多角形の頂点とを用いる、等があるが、本実施例では特徴点として、穴の中心を用いる。
【００８２】
図１０は、本実施例の装置の概略構成図、図１１はその機能ブロック図、図１２は処理の流れを表すフローチャートをそれぞれ示す。
【００８３】
画像より抽出された特徴点を｛Ｉi：ｉ＝１，２，…，ｍ｝、モデルに記述された特徴点を｛Ｍj：ｊ＝１，２，…，ｎ｝とする。
【００８４】
処理(0)：図１０に示すように、画像から穴の中心を抽出する「円中心抽出装置」を本装置に接続することにより、特徴点の位置を本装置に入力する。また、穴の中心位置情報を有するモデルをオフラインで用意する。
【００８５】
処理(1)：特徴点Ｉiの中から任意の１点を選び、画像データの第１候補点ＩC1とする。また、特徴点Ｍjの中から任意の１点を選び、モデルの第１候補点ＭC1とする。
【００８６】
処理(2)：第１候補点ＩC1を除く（ｍ−１）個の画像中の点の中から任意の１点を選び、第２候補点ＩC2とし、第１候補点ＩC1と第２候補点ＩC2とを結ぶ直線を基準線ＬIとする。同様に、第１候補点ＭC1を除く（ｎ−１）個のモデルの点の中から任意の１点を選び、第２候補点ＭC2とし、第１候補点ＭC1と第２候補点ＭC2とを結ぶ直線を基準線ＬMとする（図１３参照）。
【００８７】
処理(3)：点ＩC1と点ＭC1、点ＩC2と点ＭC2とがそれぞれ対応すると仮定し、残りの点｛Ｉk：ｋ＝１，２，…，ｍ−２｝と｛Ｍｈ：ｈ＝１，２，…，ｎ−２｝との対応付けを以下の処理(4)〜(5)で行なう。
【００８８】
処理(4)：残りの画像中の点｛Ｉk：ｋ＝１，２，…，ｍ−２｝について、点Ｉkと第１候補点ＩC1とを結ぶ直線と基準線ＬIとのなす角度を求め、｛θk：ｋ＝１，２，…，ｍ−２｝とする。同様に、残りのモデルの点｛Ｍh：ｈ＝１，２，…，ｎ−２｝について、点Ｍｈと第１候補点ＭC1とを結ぶ直線と基準線ＬMとのなす角度を求め、｛φh：ｈ＝１，２，…，ｎ−２｝とする（図１４参照）。
【００８９】
処理(5)：｛φh：ｈ＝１，２，…，ｎ−２｝の中からθ1に最も近い値φθ1を探し、Ｉ1とＭθ1とが対応するものとする。以下同様にして、Ｉkに対応するＭhを見つけ出す。例えば、図１５の場合、φθ1＝φ2，φθ2＝φ3，φθ3＝φ5であるので、点Ｉ1と点Ｍ2、点Ｉ2と点Ｍ3、点Ｉ3と点Ｍ5がそれぞれ対応する。
【００９０】
処理(6)：下記に示す評価式を用いて評価値を計算する。
【００９１】
【数６】
図１２の場合、Ｅt＝｜θ1−φ2｜＋｜θ2−φ3｜＋｜θ3−φ5｜となる。
【００９３】
処理(7)：ＩC1，ＩC2，ＭC1，ＭC2の選び方のすべての組み合わせについて（m(m-1)n(n-1)通り）、上記処理(1)〜(6)を行ない、評価値Ｅtを計算する。
【００９４】
処理(8)：評価値Ｅtが最小になったときが最適なＩiとＭjの対応であると判断し、このときの回転・平行移動のパラメータを出力する。画面座標系における基準線ＬIの傾きαI、モデル座標系における基準線ＬMの傾きをαMとし、また、最適な対応結果を得るときの第１候補点の位置ベクトルをＴI，ＴMとすると、回転・平行移動のパラメータはそれぞれα＝αI−αM，Ｔ＝ＴI−ＴMとなる。
【００９５】
実施例２（点によるマッチング(1-1)）
輪郭が直線で構成されている物体の場合、物体の輪郭は多角形となる。この多角形の頂点を抽出すれば、特徴点として利用できる。この場合の装置の概略構成図および機能ブロック図は、それぞれ図１６および図１７に示すようになる。ここで、図１６、図１７は、実施例１における図１０、図１１にそれぞれ対応する。そして、処理(0)は次のようになる。
【００９６】
処理(0)：画像から線分特徴を抽出する「線分抽出装置」を本装置に接続することにより、線分の位置を本装置に入力する。入力された線分の位置から多角形を抽出し、多角形の頂点を求める。また、多角形の頂点情報を有するモデルをオフラインで用意する。
【００９７】
そして、多角形の頂点を特徴点として、実施例１における処理(1)〜(8)と同様の処理を実行する。
【００９８】
実施例３（点によるマッチング(1-1)）
特徴点として、穴の中心と多角形の頂点との双方を利用する。この場合、実施例１の処理(5)において穴の中心と多角形の頂点とが対応付けられないように、穴の中心と頂点とを区別して処理を行なう。画像より抽出された穴の中心と角度を｛Ｉｃi：ｉ＝１，２，…，ｍ｝，｛θｃi：ｉ＝１，２，…，ｍ｝、頂点と角度を｛Ｉνj：ｊ＝１，２，…，ｎ｝，｛θνj：ｊ＝１，２，…，ｎ｝、モデルに記述されている穴の中心と角度を｛Ｍｃk：ｋ＝１，２，…，ｐ｝，｛φｃk：ｋ＝１，２，…，ｐ｝、頂点と角度を｛Ｍνh：ｈ＝１，２，…，ｑ｝，｛φνh：ｈ＝１，２，…，ｑ｝とする。θｃiとφｃkとを用いてＩｃiとＭｃkとの対応付けを行ない、θνjとφνhとを用いてＩνjとＭνhとの対応付けを行なう。評価式は下記のようになる。
【００９９】
【数７】
以上の第１〜第３実施例によれば、穴を有する物品や、輪郭が直線で構成されている物品に関して、物品の画像データと２次元見え方モデルとのマッチングを行ない、対象物の画像中での位置および回転角度を求めることができる。
【０１０１】
また、左画像データと見え方モデルとのマッチング、および右画像データと見え方モデルとのマッチングを行なうことにより、見え方モデルを仲介して左画像と右画像とを対応付けることができる。
【０１０２】
実施例４（点によるマッチング(1-2)）
本実施例は、上述の実施例１〜３で用いた角度情報に加えて、スケール合わせを行なって距離情報を用いることで、適用範囲を広げ、さらにマッチングの確度を高めたものである。
【０１０３】
すなわち、特徴点の角度のみに注目した場合、候補点を通る同一直線状の点を区別してマッチングさせることは不可能であるが、本実施例のように、スケール合わせを行なって距離情報を用いることにより、適用範囲が広がり、さらにマッチング確度が高くなる。
【０１０４】
図１８は、本実施例の機能ブロック図、図１９は処理の流れを表すフローチャートをそれぞれ示す。
【０１０５】
画像より抽出された特徴点を｛Ｉi：ｉ＝１，２，…，ｍ｝、モデルに記述された特徴点を｛Ｍj：ｊ＝１，２，…，ｎ｝とする。特徴点として、例えば穴の中心を用いる。
【０１０６】
処理(0)：実施例１の図１０と同様に、画像から穴の中心を抽出する「円中心抽出装置」を本装置に接続することにより、特徴点の位置を入力する。また、穴の中心位置情報を有するモデルをオフラインで準備する。
【０１０７】
処理(1)：特徴点Ｉiの中から任意の１点を選び、画像データの第１候補点ＩC1とする。また、特徴点Ｍjの中から任意の１点を選び、モデルの第１候補点ＭC1とする。
【０１０８】
処理(2)：第１候補点ＩC1を除く（ｍ−１）個の画像中の点の中から任意の１点を選び、第２候補点ＩC2とし、第１候補点ＩC1と第２候補点ＩC2とを結ぶ直線を基準線ＬIとする。同様に、第１候補点ＭC1を除く（ｎ−１）個のモデルの点の中から任意の１点を選び、第２候補点ＭC2とし、第１候補点ＭC1と第２候補点ＭC2とを結ぶ直線を基準線ＬMとする（図２０参照）。
【０１０９】
処理(3)：点ＩC1とＭC1とが一致するようにモデルを平行移動させる。このときの移動ベクトルをＴとする（図２１参照）。
【０１１０】
処理(4)：基準線ＬIとＬMとが一致するように、点ＭC1（ＩC1）を中心にモデルを回転させる。このときの回転角をθとする（図２２参照）。
【０１１１】
処理(5)：点ＩC2とＭC2とが一致するように、点ＭC1（ＩC1）を中心にモデルを拡大・縮小する。このときのスケールをＳとする（図２３参照）。
【０１１２】
処理(6)：点ＩC1と点ＭC1、点ＩC2と点ＭC2とが対応すると仮定し、残りの点｛Ｉk：ｋ＝１，２，…，ｍ−２｝および｛Ｍh：ｈ＝１，２，…，ｎ−２｝について以下の処理(7)〜(8)を実行する。
【０１１３】
処理(7)：点Ｉkに距離が最も近いモデルの点Ｍhを見つけ、２点間の距離ｄ＝ｄ（Ｉk）を記憶する。
【０１１４】
処理(8)：全ての点Ｉkにについて距離ｄ（Ｉk）が求まれば、評価値Ｅtを下記に示す評価式を用いてを計算し記憶する。
【０１１５】
【数８】
処理(9)：点ＩC1，ＩC2，ＭC1、ＭC2の選び方のすべての組み合わせについて（m(m-1)n(n-1)通り）、上記の処理(1)〜(8)を行ない、評価値Ｅを計算する。
【０１１７】
処理(10)：評価値Ｅが最小となったときの点ＩkとＭhが最適の対応であるとし、このときの回転角度θ、移動ベクトルＴ、スケールＳのパラメータと、画像データ点Ｉkとモデル点Ｍhの対応付けとを出力する。
【０１１８】
実施例５（内角２等分線方向ベクトルによるモデルマッチング(2-1)）
計測画像とモデルデータとの比較により対象物品の２次元位置を決定する場合、一般に行なわれているように、モデルデータをイメージ画像として持つ場合には２次元のパターンマッチングが必要になり、計算コストが増大する。そこで、２次元のモデルデータを直線や円弧で構成し、計測画像から得られた直線や円弧とのマッチングにより対象物品の２次元位置を推定できれば、高速なモデルマッチングが可能となるが、特徴の選択とマッチング判断とを適切に行なわなければ誤マッチングが発生する可能性がある。
【０１１９】
本実施例では、線分で構成されるモデルが、２つの直線の交点情報として内角の２等分線方向ベクトルと内角度に関する情報を有し（図２７参照）、また、計測画像から同様の情報を生成し、これらを比較することにより、高速かつ確実なマッチングを行なうものである。
【０１２０】
図２４は本実施例の全体構成図、図２５および図２６は処理のフローチャートをそれぞれ示す。
【０１２１】
本実施例では、図２４から明らかなように、対象物品の計測入力画像に対する画像処理により線分検出を行ない、その線分の交点情報をを求めている。また、対象物品と比較するために、モデルデータベースを備えており、このモデルデータと計測画像の交点情報との比較を行なって、最終的に対象物品の確度、位置およびスケール情報を得るものである。
【０１２２】
次に、図２５および図２６のフローチャートに基づいて、本実施例の全体処理を説明する。
【０１２３】
処理(1)：先ず、モデルデータとしては、直線の各交点Ｍ1〜Ｍ5について、その位置座標と２直線の内角２等分線の方向ベクトルと内角の角度値とを情報として準備しておく（図２７参照）。
【０１２４】
対象物品の計測画像については、例えば単色階調画像のエッジ抽出処理と線分セグメント抽出処理等により、画像から線分抽出を行なう。一般に計測画像から検出される線分は端点まで検出されずに短めの線分として抽出されるため、検出された線分については延長処理を行ない、その結果について交点を求めることができる。この交点については、モデルと同様に、その位置座標と２直線の内角２等分線の方向ベクトルと内角の角度値とを決定することができる（図２８参照）。
【０１２５】
処理(2)：次に、これらモデルと計測画像から得られた交点のマッチングを行なう。
【０１２６】
先ず、図２５のフローチャートに示すように、モデルから原点候補点Ｍn（例えばＭ1）を１点選択し、これに適合する計測画像の候補点Ｉn（例えばＩ1）を選定する。この選定には内角度情報を用い、予め設定した一定角度誤差以内で同じ内角度を有する点を原点用の第１候補点として選定する。
【０１２７】
処理(3)：次に、モデルの原点候補点Ｍ1と計測画像の原点候補点Ｉ1との位置誤差を補正するための平行移動量Ｔｑを求める。さらに、内角の２等分線の方向ベクトル情報を用いて、２点の内角方向が一致するような回転移動量Ｒｑを求める（図２９参照）。
【０１２８】
処理(4)：得られた変換量Ｔｑ，Ｒｑを用いて、モデルの全交点を平行移動および回転移動させる。この変換により、モデルの原点候補点Ｍ1は計測画像の原点候補点Ｉ1に位置と方向を一致させることができる。その他の点について角度の補正とスケーリングの補正とを行うために第２候補点を選択する。
【０１２９】
第２候補点はモデル点のうち原点以外の点で、計測画像の中である一定位置誤差以内に位置し、内角度がある一定角度誤差以内の点、例えばＭ2，Ｉ2を選択する（図３０参照）。
【０１３０】
処理(5)：このようにして決定したモデルと計測画像の第２候補点Ｍ2，Ｉ2と原点候補点Ｍ1，Ｉ1とを用いて、２点同士の位置が一致するような平行移動、回転移動、拡大縮小の各係数を求め、再度全モデル点に対してこの変換を行なう。
【０１３１】
処理(6)：変換されたモデルの各点と計測画像の各点とを比較して一致度を計算し、一致度評価得点を求める。このとき、点の一致判定には、点位置の誤差と併せて内角２等分線の方向ベクトルの方向誤差を用いることにより確実な一致判定ができる。一致度評価得点には一致点の個数と位置誤差の累積量とを用いることができる。
【０１３２】
以上の処理により、選択された第１候補点（原点候補点）と第２候補点とによる一致度評価得点が得られる。この処理を全ての、第１候補点と第２候補点の組み合わせについて実行し、最も一致度評価得点の高い組み合わせを選べば、最適なマッチングを行なうことができる。
【０１３３】
これらの処理のうち、第１候補点と第２候補点の選定については、点の内角情報を利用するため、点の位置情報のみで選定する場合に比較して組合わせ可能な数を大幅に削減することができ、処理の高速化と確実性の向上とを達成できる。なお、対象物品が長方形で構成されている場合には、隣接しない対角の内角２等分線は互いに向きが逆になっている。また、一般的にある特徴的な角度関係を持った複数の点を特徴点として前もってモデル情報に含ませることは容易である。これら複数の点の内角情報の特徴を用いれば、前述の第１候補点（原点候補点）と第２候補点の選定を１点ずつ全ての組合わせを判定する必要がなくなる（図３１参照）。
【０１３４】
例えば、長方形を有するモデルの場合に特徴点として対角上の２点を選ぶと、計測画像から互いに反対方向の内角２等分線の方向ベクトルを有する２点の組合わせについてのみを評価対象として選択すれば良い。同様に、三角形の３頂点を特徴点として選べば、計測画像の各点の角度情報から、モデルと同じ角度構成を有する３点の組を選択し、その組についてのみ一致評価を実行すれば良い。そして、これらの処理は点の位置情報が不要であるため、角度のリストから処理を行なうことができ、処理の簡単化、高速化が可能である。
【０１３５】
実施例６（線分によるモデルマッチング(3-1)）
本実施例は、多角形をマッチングの対象とし、見え方モデルおよび画像の特徴として各辺の線分の長さと方向とを用いる。各線分の長さと方向とをベクトルで表し、ベクトルの始点を合わせた図形を、モデルと画像双方で構成する。これらを、ベクトルの始点を中心にして、ベクトル終点の点集合のマッチングで回転とスケール合わせとを行なう。最後に、対応付けられたいずれかの線分を基準に平行移動することで、線分特徴のマッチングを行なう。
【０１３６】
マッチングに用いるベクトルとして、図３２（ａ）に示すように、多角形の線分集合に対して、各線分に垂直で多角形の外に向かう、線分の長さに比例したベクトルを設定し、始点を合わせる。あるいは、図３２（ｂ）に示すように、一定方向回りに（例えば左回りに）、各辺の方向をとってベクトルとし、始点を合わせる。
【０１３７】
モデルと計測画像の双方で、同じように特徴を抽出し、これを中心を含めて点集合マッチングを行なうことにより、前述の第１実施例の図１５に示した手法と同様の手法で回転角情報を求めて、式（５）に示す評価式を用いて評価値を計算する。これによって、各辺の対応と回転角とが検出できるので、対応付けされたいずれかの辺で平行移動することで、モデルを計測画像に合わせるための、平行移動情報および回転移動情報を得ることができる。そして評価値が最小となった最適な線分の対応についてスケール情報を求める。したがって、本実施例で用いる評価式は下記の式に示すようになる。
【０１３８】
【数９】
なお、上記評価式において、ｗ1，ｗ2は定数、ｇθk，ｇφθkは、基準線に対してそれぞれ角度θk，φθkをなす線分の長さである。
【０１４０】
本実施例によれば、回転対称性のないモデルに関して、回転移動量と線分の対応とを同時に検出できるとともに、点集合のマッチング手法（図１５参照）を用いて線分のマッチングを容易に行なうことができる。また、回転の中心が固定されているので、マッチング評価の回数が少なくて済む利点がある。
【０１４１】
実施例７（線分によるモデルマッチング(3-2)）
本実施例では、線分で構成されるモデルと計測画像から検出した線分とを比較し、最適なマッチングを判定することにより、モデルと計測画像との高速で確実なマッチングを行なうものである。
【０１４２】
図３３に全体構成図を示し、対象物品の計測入力画像に対して画像処理により線分検出を行ない、線分で構成されたモデルデータと計測画像の線分情報との比較により回転角度を決定し、次いで位置とスケールを決定し、最終的に対象物品の角度情報、位置情報およびスケール情報を得るものである。
【０１４３】
線分情報の比較により、マッチングの角度情報、位置情報およびスケール情報を得る処理のフローチャートを図３４および図３５に示す。
【０１４４】
本実施例では、２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせている。
【０１４５】
処理(1)：先ず、線分で構成されたモデルデータを準備する。また、物品の計測画像については、例えば単色階調画像のエッジ抽出処理と線分セグメント抽出処理等により、画像から線分抽出を行なう（図３６参照）。
【０１４６】
処理(2)：次に、これらモデルと計測画像とから得られた線分の角度のマッチングを行なう。
【０１４７】
先ず、図３４のフローチャートに示すように、モデルから代表線分Ｌｍを１本選択する。これは、最も特徴的な線分として、最も長い線分、もしくは最も計測が確実な線分を選ぶ。次に計測画像からこれに適合する線分Ｌｉを選定する。
【０１４８】
処理(3)：モデル線分Ｌｍと計測線分Ｌｉとの角度誤差Ｒｑ、すなわち、例えば図３６ではモデル線分Ｌｍ2と計測線分Ｌｉ2との角度誤差を計算し、この補正角度Ｒｑに基づきモデルの全ての線分Ｌｍ1〜Ｌｍ5の角度を補正する。
【０１４９】
処理(4)：次に補正された２次元見え方モデル上の全ての線分Ｌｍ1〜Ｌｍ5について、計測線分Ｌｉ1〜Ｌｉ5の角度分布との一致度評価を行ない、評価値の総和を線分Ｌｍと線分Ｌｉとの角度補正により得られた評価値とする（図３７参照）。
【０１５０】
この手法についてさらに詳細に説明すると、図３６に示す画像の上の全ての線分Ｌｉ1〜Ｌｉ5が所定の基準線、例えばＸ軸に対してなす角度θi1〜θi5を図３７に示す所定の直交座標軸の横軸上にプロットし、各プロット点からの当該線分Ｌｉ1〜Ｌｉ5の長さに応じた縦軸方向の高さをそれぞれ有する点Ｐi1〜Ｐi5を求め、次いで各点Ｐi1〜Ｐi5をそれぞれ頂点とするガウス分布（正規分布）曲線を作成する。そして、上記処理(3)で角度補正された２次元見え方モデル上の各線分Ｌｍ1〜Ｌｍ5の上記基準線（例えば図３６のＸ軸）に対してなす角度θm1〜θm5をガウス分布曲線上にプロットして、各プロット点Ｐm1〜Ｐm5の横軸からの高さ（「線分一致の確からしさ」を表している）をそれぞれ求め、各プロット点Ｐm1〜Ｐm5の横軸からの高さの総和を求める。
【０１５１】
なお、図３７の右端に示すように、２つの線分Ｌｉ1とＬｉ3の角度θi1，θi3が近接していることにより、これら線分Ｌｉ1，Ｌｉ3にそれぞれ対応する２つのガウス分布曲線が互いに交わっている場合は、これら２つのガウス分布曲線の高さの和の値を高さとする新たな曲線ｋを作成し、線分Ｌｉ1，Ｌｉ3にそれぞれ対応する２次元見え方モデル上の線分Ｌｍ1，Ｌｍ3の角度θm1，θm3を上記曲線ｋ上にプロットして、各プロット点Ｐｍ1，Ｐｍ3の横軸からの高さをそれぞれ求める。
【０１５２】
処理(5)：角度補正の評価作業を全ての線分の組合わせに対して行ない、最も評価の高い角度Ｒｑをモデルと計測画像のとのマッチング角度として採用する。
【０１５３】
処理(6)：次に平行移動とスケール係数Ｓｑの決定を行なう。先ず、位置を決定するために角度と同様にモデルの中で最も代表的な線分Ｌｍ1，Ｌｍ2を選定し、計測画像線分Ｌｉ1，Ｌｉ2との位置補正量Ｔｑを求め、２次元見え方モデルを平行移動させ、線分Ｌｍ1とＬｍ2との交点を線分Ｌｉ1とＬｉ2との交点に一致させる。このように、２本の線分を用いることで、不正確な端点情報を使用せずにエッジ方向誤差ｖ1，ｖ2のみを用いて、その合成ベクトルとしての位置補正量Ｔｑを求めることができる（図３８参照）。
【０１５４】
処理(7)：次にスケール係数を決定するためにモデルから線分Ｌｍ4を選定し、計測画像の線分Ｌｉ4とのスケール係数Ｓｑを求める。基準点として、線分Ｌｍ1とＬｍ2との交点を選ぶが、この点は線分Ｌｉ1とＬｉ2との交点に等しいので、これを原点として線分Ｌｍ4とＬｉ4とを一致させる拡大縮小率Ｓｑを決定する。これも線分Ｌｍ4とＬｉ4のエッジ方向移動量Ｓｍ，Ｓｉで決定できる（図３９参照）。
【０１５５】
Ｓｑ＝｜Ｓｍ｜／｜Ｓｉ｜
以上の処理のうち、Ｌｍ1，Ｌｍ2，Ｌｍ4の各候補線分は、最も特徴的な組合わせを１組か２組程度用意しておけば十分である。また計測データの角度は補正済みであるため、計測データから選定する候補線分Ｌｉ1，Ｌｉ2，Ｌｉ4も角度情報を基準に選定することで候補の絞り込みは容易に行える。
【０１５６】
これらの処理により、マッチングのための角度パラメータＲｑ、位置補正パラメータＴｑおよびスケールパラメータＳｑの決定を高速かつ高精度をもって行なうことができる。
【０１５７】
すなわち、本実施例によれば、線分に関する少ない情報でマッチング判定を行なうため、イメージ画像でのマッチングに比較して、高速処理が可能である。また、計測画像からの線分抽出では一般に端点を正確に検出することは困難であるが、本実施例では、角度と併せて、最も計測精度が高い線分のエッジ方向（線分に直交する方向）の位置を用いてマッチングを行うため、高精度の処理が可能になる。
【図面の簡単な説明】
【図１】 本発明による物品の位置検出装置の全体構成図
【図２】 同 処理の流れを表すフローチャート
【図３】 ２次元見え方モデルの１例を示す説明図
【図４】 ３次元構造モデルマッチング手法の説明図
【図５】 ２次元見え方モデルマッチング装置の基本的構成図
【図６】 ２次元見え方モデルマッチング装置における処理の流れを表すフローチャート
【図７】 ３次元構造モデル座標系の説明図
【図８】 ３次元構造モデルマッチング装置における処理の流れを表すフローチャート
【図９】 左右のカメラ座標系に対する特徴点の３次元位置の説明図
【図１０】 ２次元見え方モデルマッチング装置の第１実施例の概略構成図
【図１１】 同 機能ブロック図
【図１２】 同 処理の流れを表すフローチャート
【図１３】 同 基準線の作成手法の説明図
【図１４】 同 基準線に対する角度を求める手法の説明図
【図１５】 同 角度によるマッチング手法の説明図
【図１６】 ２次元見え方モデルマッチング装置の第２実施例の概略構成図
【図１７】 同 機能ブロック図
【図１８】 ２次元見え方モデルマッチング装置の第４実施例の機能ブロック図
【図１９】 同 処理の流れを表すフローチャート
【図２０】 同 基準線の作成手法の説明図
【図２１】 同 モデルを平行移動させる手法の説明図
【図２２】 同 モデルを回転させる手法の説明図
【図２３】 同 モデルの拡大・縮小手法の説明図
【図２４】 ２次元見え方モデルマッチング装置の第５実施例の全体構成図
【図２５】 同 処理の流れを表すフローチャートの前半部分
【図２６】 同 処理の流れを表すフローチャートの後半部分
【図２７】 同 モデルデータの説明図
【図２８】 同 計測画像の説明図
【図２９】 同 第１候補点による平行移動・回転手法の説明図
【図３０】 同 第２候補点によるマッチング手法の説明図
【図３１】 長方形モデルの反対方向ベクトルを有する特徴点の組を示す説明図
【図３２】 ２次元見え方モデルマッチング装置の第６実施例における多角形の線分集合に対するベクトルの設定手法の説明図
【図３３】 ２次元見え方モデルマッチング装置の第７実施例の全体構成図
【図３４】 同 処理の流れを表すフローチャートの前半部分
【図３５】 同 処理の流れを表すフローチャートの後半部分
【図３６】 同 モデル線分および計測線分の説明図
【図３７】 同 角度分布評価手法の説明図
【図３８】 同 ２等分線による位置補正手法の説明図
【図３９】 同 スケール補正手法の説明図
【符号の説明】
１ 撮像装置
２ 特徴抽出装置
３ ２次元見え方モデルマッチング装置
４ ３次元位置計測装置
５ ３次元構造モデルマッチング装置
６ ロボット制御装置
７ モデル生成装置
３１ ２次元見え方モデル
３２Ｌ，３２Ｒ 相対配置算出部
３３Ｌ，３３Ｒ 対応付け部
３４ データ統合部
Claims (23)
- 第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品上の特徴点を特徴部として選定し、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルを設定し、上記１対の画像から特徴部をそれぞれ抽出し、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることにより、上記１対の画像のそれぞれから抽出した特徴部の対応付けを行なうことを特徴とする物品の位置検出方法。
- 第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品上の特徴点を特徴部として選定し、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルを設定し、上記１対の画像から特徴部をそれぞれ抽出し、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることにより、上記１対の画像のそれぞれから抽出した特徴部の対応付けを行なうことを特徴とする物品の位置検出方法。
- 上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることを特徴とする請求項２に記載の物品の位置検出方法。
- 第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品上に見える多角形の頂点を特徴部として選定し、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルを設定し、上記１対の画像から特徴部をそれぞれ抽出し、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることにより、上記１対の画像のそれぞれから抽出した特徴部の対応付けを行なうことを特徴とする物品の位置検出方法。
- 上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点から第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から、第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることを特徴とする請求項４に記載の物品の位置検出方法。
- 第１および第２の撮像手段を用いたステレオ視により物品を撮像した１対の画像から上記物品の３次元位置を検出する方法であって、上記物品上に見える線分を特徴部として選定し、上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向 から見た２次元見え方モデルを設定し、上記１対の画像から特徴部をそれぞれ抽出し、上記画像から抽出した特徴部と上記２次元見え方モデル上の特徴部とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることにより、上記１対の画像のそれぞれから抽出した特徴部の対応付けを行なうことを特徴とする物品の位置検出方法。
- 上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることを特徴とする請求項６に記載の物品の位置検出方法。
- 上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることを特徴とする請求項６に記載の物品の位置検出方法。
- 上記１対の画像間の対応付けを行なって、上記１対の画像からそれぞれ抽出した特徴部の３次元位置を計測し、かつ上記物品の３次元構造モデルを設定して、上記３次元位置が計測された上記画像上の特徴部と上記３次元構造モデル上の特徴部とをマッチングさせることにより、上記物品の３次元位置を算出することを特徴とする請求項１乃至８の１つに記載の物品の位置検出方法。
- 上記物品の設計データを用いて上記３次元構造モデルを設定し、該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定することを特徴とする請求項９に記載の物品の位置検出方法。
- 上記物品上に見える穴の中心を上記特徴点として選定することを特徴とする請求項１乃至３の１つに記載の物品の位置検出方法。
- 上記物品上に見える多角形の頂点を上記特徴点として選定することを特徴とする請求項１乃至３の１つに記載の物品の位置検出方法。
- 上記物品上に見える穴の中心と多角形の頂点との双方を上記特徴点として選定することを特徴とする請求項１乃至３の１つに記載の物品の位置検出方法。
- ステレオ視法により物品を撮像する第１および第２の撮像手段と、
上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、
上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、
該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、
上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴点とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、
上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、
上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、該基準線と、上記第１および第２候補点を除く他のすべての特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす角度の計測に基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする物品の位置検出装置。 - ステレオ視法により物品を撮像する第１および第２の撮像手段と、
上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、
上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、
該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、
上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、
上記特徴抽出手段は、上記物品上の特徴点を特徴部として選定し、
上記２次元見え方モデルマッチング手段は、上記画像上および上記２次元見え方モデル上の双方において、多数の特徴点の中から第１候補点と第２候補点とを任意に選定するとともに、該第１候補点と第２候補点とを通る基準線をそれぞれ設定し、双方の第１候補点が互いに一致するように両基準線を重ね合わせる態様で、上記画像と上記２次元見え方モデルとを重ね合わせ、かつ双方の第２候補点が互いに一致するように、上記画像と上記２次元見え方モデルとのスケール合わせを行なうことにより、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする物品の位置検出装置。 - 上記２次元見え方モデルマッチング手段は、上記重ね合わせおよびスケール合わせのなされた後の上記画像上の上記第１および第２候補点を除く特徴点と、これにそれぞれ対応する上記２次元見え方モデル上の特徴点との間の距離の計測に基づいて、上記画像上の特徴点と上記２次元見え方モデル上の特徴点とをマッチングさせることを特徴とする請求項１５に記載の物品の位置検出装置。
- ステレオ視法により物品を撮像する第１および第２の撮像手段と、
上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、
上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、
該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、
上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、
上記特徴抽出手段は、上記物品上に見える多角形の頂点を特徴部として選定し、
上記２次元見え方モデルマッチング手段は、上記多角形の頂点における内角の２等分線ベクトルと内角度とに基づいて、上記画像上の特徴部と上記２次元見え方モデル上の特徴部とをマッチングさせることを特徴とする物品の位置検出装置。 - 上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の上記多角形の任意の頂点を原点候補点として選定し、上記画像上の上記多角形の頂点から第１候補点を選定し、該第１候補点が上記原点候補点に重なり合い、かつ双方の内角の２等分線ベクトルが重なり合うように上記２次元見え方モデルを上記画像上に重ね合わせ、次いで、上記画像および上記２次元見え方モデルの上記第１候補点および上記原点候補点を除く他の頂点から、第２候補点をそれぞれ選定し、双方の第２候補点が互いに一致するようにスケール合わせを行なうことにより、上記画像上の各頂点と上記２次元見え方モデル上の各頂点とをマッチングさせることを特徴とする請求項１７に記載の物品の位置検出装置。
- ステレオ視法により物品を撮像する第１および第２の撮像手段と、
上記ステレオ視法により撮像された１対の画像から特徴部をそれぞれ抽出する特徴抽出手段と、
上記１対の画像からそれぞれ抽出された特徴部と上記物品の２次元上の特徴部を有し且つ、上記物品を特定の方向から見た２次元見え方モデルの特徴部とをそれぞれマッチングさせることにより、上記１対の画像間の対応付けを行なう２次元見え方モデルマッチング手段と、
該２次元見え方モデルマッチング手段による対応付け結果を用いて、上記画像上の各特徴部の３次元位置を計測する３次元位置計測手段と、
上記３次元位置が計測された上記画像上の特徴部と上記物品の３次元構造モデルの特徴部とをマッチングさせることにより、上記物品の３次元位置を算出する３次元構造モデルマッチング手段と、を備え、
上記特徴抽出手段は、上記物品上に見える線分を特徴部として選定し、
上記２次元見え方モデルマッチング手段は、上記画像から抽出した特徴部と上記２次元見え方モデル上の特徴部とを用いて、上記画像と上記２次元見え方モデルとをマッチングさせることを特徴とする物品の位置検出装置。 - 上記２次元見え方モデルマッチング手段は、上記線分によって形成される多角形の各辺の長さと方向に対応する複数のベクトルを作成し、該複数のベクトルから任意に選定した基準ベクトルに対する他のベクトルのなす角度およびスケール情報に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることを特徴とする請求項１９に記載の物品の位置検出装置。
- 上記２次元見え方モデルマッチング手段は、上記２次元見え方モデル上の複数の線分から代表線分を選定し、かつ上記画像の上の複数の線分から候補線分を選定して、両線分間の角度誤差を求め、該角度誤差に基づき上記２次元見え方モデル上の全ての線分の角度を補正し、次いで上記画像上の全ての線分が所定の基準線に対してなす角度について、該角度の近傍角度に対して当該線分の長さにより重み付けられた角度誤差評価値を与える評価値曲線を設定し、上記２次元見え方モデル上の全ての線分の上記基準線に対する角度の評価値を上記評価値曲線に基づいて算出し、該算出された評価値に基づいて、上記画像データと上記２次元見え方モデルとをマッチングさせることを特徴とする請求項１９に記載の物品の位置検出装置。
- 上記物品の設計データを用いて上記３次元構造モデルを設定し、かつ該３次元構造モデルを変換することにより、上記２次元見え方モデルを設定するモデル生成手段を備えていることを特徴とする請求項１４乃至２１の１つに記載の物品の位置検出装置。
- 上記２次元見え方モデルマッチング手段が、上記２次元見え方モデルと、相対的配置算出部と、対応付け部と、データ統合部とを備えていることを特徴とする請求項１４乃至２１の１つにに記載の物品の位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27928194A JP3738456B2 (ja) | 1994-11-14 | 1994-11-14 | 物品の位置検出方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27928194A JP3738456B2 (ja) | 1994-11-14 | 1994-11-14 | 物品の位置検出方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08136220A JPH08136220A (ja) | 1996-05-31 |
| JP3738456B2 true JP3738456B2 (ja) | 2006-01-25 |
Family
ID=17608986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27928194A Expired - Fee Related JP3738456B2 (ja) | 1994-11-14 | 1994-11-14 | 物品の位置検出方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3738456B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10080012B4 (de) * | 1999-03-19 | 2005-04-14 | Matsushita Electric Works, Ltd., Kadoma | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens |
| JP2001266159A (ja) * | 2000-03-17 | 2001-09-28 | Toshiba Corp | 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置 |
| JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
| JP4588914B2 (ja) * | 2001-04-26 | 2010-12-01 | 富士通株式会社 | 物体位置計測装置 |
| JP4004899B2 (ja) | 2002-09-02 | 2007-11-07 | ファナック株式会社 | 物品の位置姿勢検出装置及び物品取出し装置 |
| FR2856170B1 (fr) * | 2003-06-10 | 2005-08-26 | Biospace Instr | Procede d'imagerie radiographique pour la reconstruction tridimensionnelle, dispositif et programme d'ordinateur pour mettre en oeuvre ce procede |
| EP1658579B1 (en) * | 2003-08-15 | 2016-09-28 | Scape A/S | Method for for classification and spatial localization of bounded 3d-objects |
| JP2008304269A (ja) * | 2007-06-06 | 2008-12-18 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP5141452B2 (ja) * | 2008-09-05 | 2013-02-13 | 富士通株式会社 | 姿勢計測装置及び姿勢計測方法 |
| JP5046133B2 (ja) * | 2009-07-09 | 2012-10-10 | 独立行政法人産業技術総合研究所 | ３次元曲面認識方法及びマニピュレーションシステム |
| JP5471355B2 (ja) * | 2009-11-24 | 2014-04-16 | オムロン株式会社 | ３次元視覚センサ |
| JP2012068062A (ja) * | 2010-09-21 | 2012-04-05 | Fuji Xerox Co Ltd | 位置合わせ装置、位置合わせシステム及び位置合わせプログラム |
| JP5684550B2 (ja) * | 2010-12-03 | 2015-03-11 | 株式会社日立ハイテクノロジーズ | パターンマッチング装置およびそれを用いた半導体検査システム |
| WO2012160611A1 (ja) * | 2011-05-26 | 2012-11-29 | 富士通テレコムネットワークス株式会社 | 位置検出装置およびそれを搭載した外観検査装置 |
| WO2012168904A2 (en) | 2011-06-07 | 2012-12-13 | Creaform Inc. | Sensor positioning for 3d scanning |
| US9183631B2 (en) * | 2012-06-29 | 2015-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering points and planes of 3D data in multiple coordinate systems |
| US9816809B2 (en) | 2012-07-04 | 2017-11-14 | Creaform Inc. | 3-D scanning and positioning system |
| US10401142B2 (en) | 2012-07-18 | 2019-09-03 | Creaform Inc. | 3-D scanning and positioning interface |
| JP2014161937A (ja) * | 2013-02-22 | 2014-09-08 | Seiko Epson Corp | 姿勢検出装置、位置検出装置、ロボット、ロボットシステム、姿勢検出方法及びプログラム |
| JP6565188B2 (ja) | 2014-02-28 | 2019-08-28 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
| JP2015007639A (ja) * | 2014-08-20 | 2015-01-15 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| ES2927199T3 (es) | 2016-08-08 | 2022-11-03 | Deep Brain Stimulation Tech Pty Ltd | Sistemas y métodos para monitorizar la actividad neural |
| EP3629913B1 (en) | 2017-05-22 | 2024-05-15 | Deep Brain Stimulation Technologies Pty. Ltd. | System for monitoring neural activity |
-
1994
- 1994-11-14 JP JP27928194A patent/JP3738456B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08136220A (ja) | 1996-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3738456B2 (ja) | 物品の位置検出方法およびその装置 | |
| JP2919284B2 (ja) | 物体認識方法 | |
| JP3242108B2 (ja) | ターゲットマークの認識・追跡システム及び方法 | |
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| KR101155816B1 (ko) | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 | |
| EP1536378B1 (en) | Three-dimensional image display apparatus and method for models generated from stereo images | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP4234059B2 (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
| KR900002509B1 (ko) | 화상 처리 장치 | |
| KR101379787B1 (ko) | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 | |
| EP0880010A2 (en) | Measuring apparatus | |
| CN106056121A (zh) | 基于sift图像特征匹配的卫星装配工件快速识别方法 | |
| CN109766903A (zh) | 一种基于曲面特征的点云模型曲面匹配方法 | |
| CN108416735B (zh) | 基于几何特征的数字化x线图像的拼接方法及装置 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
| JP2004354320A (ja) | 撮像対象物品の認識検定システム | |
| JPH06243236A (ja) | 視覚認識装置の座標系校正パラメータ設定装置 | |
| CN115112098B (zh) | 一种单目视觉的一维二维测量方法 | |
| JP3516668B2 (ja) | ３次元形状認識方法、装置およびプログラム | |
| JPH05157518A (ja) | 物体認識装置 | |
| CN108262583B (zh) | 焊缝的类型判断和定位方法及系统 | |
| JPH10318732A (ja) | 形状測定装置及び形状測定用画像形成装置 | |
| JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051024 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |