JPH08136220A

JPH08136220A - 物品の位置検出方法およびその装置

Info

Publication number: JPH08136220A
Application number: JP6279281A
Authority: JP
Inventors: Masafumi Yamamoto; 雅史山本; Masanori Kobayashi; 正典小林; Atsushi Kutami; 篤久田見; Hiroyuki Yoshida; 博行吉田; Hiroyuki Takahashi; 弘行高橋
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1994-11-14
Filing date: 1994-11-14
Publication date: 1996-05-31
Anticipated expiration: 2021-01-25
Also published as: JP3738456B2

Abstract

(57)【要約】【目的】対象物品が変わっても共通のアルゴリズムで
対応できる、ステレオ視法による物品の位置検出装置を
提供する。【構成】２台のカメラから構成された撮像装置１によ
り対象物品のステレオ画像を撮像し、撮像された画像か
ら特徴抽出装置２を用いて線分・円弧等の特徴部を抽出
し、これら特徴部と物品の２次元見え方モデル上の特徴
部とを２次元見え方モデルマッチング装置３を用いてマ
ッチングさせることにより、ステレオ視法における左右
画像間の対応付けを行ない、該対応付けの結果を用い
て、３次元位置計測装置４が各特徴部の３次元位置を計
測し、これら３次元位置を計測した特徴部と３次元構造
モデルとを３次元構造モデルマッチング装置５によりマ
ッチングさせることにより、物品の３次元位置を算出す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、第１および第２の撮像
手段を用いて、物品をステレオ視することにより物品の
３次元位置を検出する物品の位置検出方法およびその装
置に関し、特に、物品の２次元見え方モデルを介して２
つの撮像画面の特徴部の対応付けを行なう物品の位置検
出方法およびその装置に関する。

【０００２】

【従来の技術】例えば自動車組立て工場における作業の
自動化のためには部品のハンドリングが非常に重要な問
題である。特に、組立て領域の自動化において必要とさ
れているようなロボットによる多機能で正確な自動ハン
ドリングを実現するためには、多種類の部品の３次元位
置を計測する技術が必要となる。

【０００３】一般に知られている物品の位置検出方法
は、所定の平面上に置かれた計測対象物品の２次元位置
を画像により計測するもの（特開平１−３０５３０３号
公報参照）や、対象物品に認識用のマーカを設置し、こ
のマーカを計測することにより対象物品の３次元位置を
計測するもの（特開平３−２８１１３０号公報参照）、
あるいはスリット光により物品の高さを検出するもの
（特開昭６２−３２５８２号公報参照）である。

【０００４】また、対象物品の３次元位置を画像で計測
する方法として、２台のＣＣＤカメラを用いるステレオ
視法が知られている。

【０００５】

【発明が解決しようとする課題】従来の画像による計測
装置は、個々の物品専用に開発されているため、汎用性
がなく、多種類の物品に対応させようとすると、すべて
の物品についてアルゴリズムを開発しなければならず、
開発・投資効率が悪くなる。

【０００６】また、ステレオ視法には、撮像装置が簡単
で、高い計測精度が得られる特長がある一方で、左右画
像間で特徴部の対応付けに問題がある。とくに、多種類
物品の３次元位置をステレオ視法を用いて計測する場合
には、下記のような問題がある。

【０００７】すなわち、左右画像間で特徴部を対応付け
する際に、物品の構造的情報を用いずに行なおうとする
と、処理に長い時間を要する。そこで従来の手法では、
対象物品の構造的情報をアルゴリズムに組み込むことに
より対応付けを行なっているが、この場合、同じアルゴ
リズムを用いて他の物品の対応付けを行なうことはでき
ないから、多種類物品に対応できる３次元計測装置に
は、従来の手法を適用することは不可能である。

【０００８】本発明は、上記問題点を解決するためにな
されたもので、対象物品が変わっても共通のアルゴリズ
ムで対応できるステレオ視法による物品の位置検出方法
およびその装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明による物品の位置
検出方法は、請求項１に記載されているように、第１お
よび第２の撮像手段を用いたステレオ視により物品を撮
像した１対の画像から上記物品の３次元位置を検出する
方法であって、上記物品の２次元上の特徴部を有する２
次元見え方モデルを設定し、上記１対の画像のそれぞれ
から抽出した特徴部を、上記２次元見え方モデルを介し
て対応付けを行なうことを特徴とする。

【００１０】その場合に、本発明による物品の位置検出
方法では、請求項２に記載されているように、上記１対
の画像からそれぞれ抽出した特徴部と上記２次元見え方
モデル上の特徴部とをそれぞれマッチングさせることに
より、上記１対の画像間の対応付けを行なって、各特徴
部の３次元位置を計測し、かつ上記物品の３次元構造モ
デルを設定して、上記３次元位置が計測された上記画像
上の特徴部と上記３次元構造モデル上の特徴部とをマッ
チングさせることにより、上記物品の３次元位置を算出
することができる。

【００１１】また、請求項３に記載されているように、
上記物品の設計データを用いて上記３次元構造モデルを
設定し、該３次元構造モデルを変換することにより、上
記２次元見え方モデルを設定することができる。

【００１２】本発明による物品の位置検出方法の１つの
態様によれば、請求項４に記載されているように、上記
画像から抽出した特徴点と上記２次元見え方モデル上の
特徴点とを用いて、上記画像データと上記２次元見え方
モデルとをマッチングさせている。

【００１３】上記特徴点によるマッチングを行なう場合
には、請求項５ないし７に記載されているように、上記
物品上に見える穴の中心、多角形の頂点、あるいは、穴
の中心と多角形の頂点との双方を特徴点として用いるこ
とができる。

【００１４】また、上記特徴点によるマッチングを行な
う場合には、請求項８に記載されているように、上記画
像上および上記２次元見え方モデル上の双方において、
多数の特徴点の中から第１候補点と第２候補点とを任意
に選定するとともに、該第１候補点と第２候補点とを通
る基準線をそれぞれ設定し、該基準線と、上記第１およ
び第２候補点を除く他のすべての特徴点と上記第１候補
点とをそれぞれ結ぶ直線とのなす角度の計測に基づい
て、上記画像上の特徴点と上記２次元見え方モデル上の
特徴点とをマッチングさせる方法を採用することができ
る。

【００１５】さらに、上記特徴点による対応付けを行な
う場合には、請求項９に記載されているように、上記画
像上および上記２次元見え方モデル上の双方において、
多数の特徴点の中から第１候補点と第２候補点とを任意
に選定するとともに、該第１候補点と第２候補点とを通
る基準線をそれぞれ設定し、双方の第１候補点が互いに
一致するように両基準線を重ね合わせる態様で、上記画
像と上記２次元見え方モデルとを重ね合わせ、かつ双方
の第２候補点が互いに一致するように、上記画像と上記
２次元見え方モデルとのスケール合わせを行なうことに
より、上記画像上の特徴点と上記２次元見え方モデル上
の特徴点とをマッチングさせる方法を採用することがで
きる。

【００１６】その場合に、請求項１０に記載されている
ように、上記重ね合わせおよびスケール合わせのなされ
た後の上記画像上の上記第１および第２候補点を除く特
徴点と、これにそれぞれ対応する上記２次元見え方モデ
ル上の特徴点との間の距離の計測に基づいて、上記画像
上の特徴点と上記２次元見え方モデル上の特徴点とをマ
ッチングさせることができる。

【００１７】さらに、上記物品に見える多角形の頂点を
特徴点に選定する場合、請求項１１に記載されているよ
うに、上記多角形の頂点における内角の２等分線ベクト
ルと内角度とに基づいて、上記画像上の特徴点と上記２
次元見え方モデル上の特徴点とをマッチングさせること
ができる。

【００１８】その場合に、請求項１２に記載されている
ように、上記２次元見え方モデル上の上記多角形の任意
の頂点を原点候補点として選定し、上記画像上の上記多
角形の頂点のうちから第１候補点を選定し、該第１候補
点が上記原点候補点に重なり合い、かつ双方の内角の２
等分線ベクトルが重なり合うように上記２次元見え方モ
デルを上記画像上に重ね合わせ、次いで、上記画像およ
び上記２次元見え方モデルの上記第１候補点および上記
原点候補点を除く他の頂点から第２候補点をそれぞれ選
定し、双方の第２候補点が互いに一致するようにスケー
ル合わせを行なうことにより、上記画像上の各頂点と上
記２次元見え方モデル上の各頂点とをマッチングさせる
ことができる。

【００１９】本発明による物品の位置検出方法の他の態
様によれば、請求項１３に記載されているように、上記
画像から抽出した線分と上記２次元見え方モデル上の線
分とを用いて、上記画像と上記２次元見え方モデルとを
マッチングさせることができる。

【００２０】その場合に、請求項１４に記載されている
ように、上記線分によって形成される多角形の各辺の長
さと方向に対応する複数のベクトルを作成し、該複数の
ベクトルから任意に選定した基準ベクトルに対する他の
ベクトルのなす角度およびスケール情報に基づいて、上
記画像データと上記２次元見え方モデルとをマッチング
させることができる。

【００２１】あるいは、請求項１５に記載されているよ
うに、上記２次元見え方モデル上の複数の線分から代表
線分を選定し、かつ上記画像上の複数の線分から候補線
分を選定して、両線分間の角度誤差を求め、該角度誤差
に基づき上記２次元見え方モデル上の全ての線分の角度
を補正し、次いで上記画像の上の全ての線分が所定の基
準線に対してなす角度について、該角度の近傍角度に対
して当該線分の長さにより重み付けられた角度誤差評価
値を与える評価値曲線を設定し、上記２次元見え方モデ
ル上の全ての線分の上記基準線に対する角度の評価値を
上記評価値曲線に基づいて算出し、該算出された評価値
に基づいて、上記画像データと上記２次元見え方モデル
とをマッチングさせることもできる。

【００２２】本発明による物品の位置検出装置は、請求
項１６に記載されているように、ステレオ視法により物
品を撮像する第１および第２の撮像手段と、上記ステレ
オ視法により撮像された１対の画像から特徴部をそれぞ
れ抽出する特徴抽出手段と、上記１対の画像からそれぞ
れ抽出された特徴部と上記物品の２次元見え方モデルの
特徴部とをそれぞれマッチングさせることにより、上記
１対の画像間の対応付けを行なう２次元見え方モデルマ
ッチング手段と、該２次元見え方モデルマッチング手段
による対応付け結果を用いて、上記画像上の各特徴部の
３次元位置を計測する３次元位置計測手段と、上記３次
元位置が計測された上記画像上の特徴部と上記物品の３
次元構造モデルとをマッチングさせることにより、上記
物品の３次元位置を算出する３次元構造モデルマッチン
グ手段とを備えていることを特徴とする。

【００２３】さらに、本発明による物品の位置検出装置
は、請求項１７に記載されているように、上記物品の設
計データを用いて上記３次元構造モデルを設定し、かつ
該３次元構造モデルを変換することにより、上記２次元
見え方モデルを設定するモデル生成手段を備えることが
できる。

【００２４】上記２次元見え方モデルマッチング手段
は、請求項１８に記載されているように、上記２次元見
え方モデルと、相対的配置算出部と、対応付け部と、デ
ータ統合部とによって構成することができる。

【００２５】

【作用および発明の効果】請求項１の発明によれば、ス
テレオ視法によって物品を撮像した１対の画像にの特徴
部に対して、上記物品の２次元上の特徴部を有する「２
次元見え方モデル」を用いて対応付けを行なっているこ
とにより、左画像と右画像とを「２次元見え方モデル」
を介して対応付けることができ、ステレオ視法における
左右画像間の対応付けが可能になる。

【００２６】また、計測対象物品が変わっても、アルゴ
リズムを変更することなく、その物品に応じた２次元見
え方モデルを用意するだけでステレオ視の対応付けがで
きるから、多種類の物品の３次元位置の検出に適用でき
る利点がある。

【００２７】請求項２の発明によれば、３次元位置が計
測された上記画像上の特徴部と上記３次元構造モデル上
の特徴部とをマッチングさせることにより、上記物品の
３次元位置を算出しているから、該物品の３次元位置の
検出が容易になる。

【００２８】また、請求項３の発明によれば、上記物品
の設計データを用いて、「２次元見え方モデル」と「３
次元構造モデル」とを生成してマッチングを行なってい
るから、高速な処理が可能になる。

【００２９】請求項４ないし８の発明によれば、穴を有
する物品や、輪郭が直線で構成されている物品に関し
て、物品の画像データと２次元見え方モデルとのマッチ
ングを行ない、対象物の画像中での位置および回転角度
を求めることができる。

【００３０】また、特徴点の角度のみに注目した場合、
候補点を通る同一直線状の点を区別してマッチングさせ
ることは不可能であるが、請求項９の発明のように、ス
ケール合わせを行なうことにより、物品の画像データと
２次元見え方モデルとのマッチング確度が高くなり、さ
らに請求項１０の発明のように、距離情報を用いること
により、適用範囲が広がり、マッチング確度をより高め
ることができる。

【００３１】請求項１１の発明によれば、多角形の頂点
の内角情報を利用するため、多角形の頂点の位置情報の
みを用いる場合に比較して組合わせ可能な数を大幅に削
減することができ、処理の高速化が達成できる。その場
合にも、請求項１２の発明のように、スケール合わせを
行なうことにより、確実性が向上する。

【００３２】請求項１３の発明によれば、線分で構成さ
れるモデルと計測画像から検出した線分とを比較し、最
適なマッチングを判定することにより、モデルと計測画
像との高速で確実なマッチングを行なうことができる。

【００３３】その場合に、請求項１４の発明によれば、
多角形をマッチングの対象とし、見え方モデルおよび画
像の特徴として各辺の線分の長さと方向とを表すベクト
ルを用いることにより、回転対称性のないモデルに関し
て、回転移動量と線分の対応とを同時に検出できるとと
もに、請求項８の発明ような点集合のマッチング手法を
用いて線分のマッチングを容易に行なうことができる。
また、回転の中心が固定されているので、マッチング評
価の回数が少なくて済む利点がある。

【００３４】また、請求項１５の発明のように、画像上
の全ての線分が所定の基準線に対してなす角度につい
て、該角度の近傍角度に対して当該線分の長さにより重
み付けられた角度誤差評価値を与える評価値曲線を設定
し、上記２次元見え方モデル上の全ての線分の上記基準
線に対する角度の評価値を上記評価値曲線に基づいて算
出し、該算出された評価値に基づいて、上記画像データ
と上記２次元見え方モデルとをマッチングさせているこ
とにより、マッチングのための角度パラメータ、位置補
正パラメータおよびスケールパラメータの決定を高速か
つ高精度をもって行なうことができる。すなわち、線分
に関する少ない情報でマッチング判定を行なうことがで
きるため、高速処理が可能である。

【００３５】本発明による物品の位置検出装置は、請求
項１６に記載されているように、ステレオ視法により撮
影された画像からそれぞれ抽出された特徴部と上記物品
の２次元見え方モデルの特徴部とをそれぞれマッチング
させることにより、上記１対の画像間の対応付けを行な
う２次元見え方モデルマッチング手段と、該２次元見え
方モデルマッチング手段による対応付け結果を用いて、
上記画像上の各特徴部の３次元位置を計測する３次元位
置計測手段と、上記３次元位置が計測された上記画像上
の特徴部と上記物品の３次元構造モデルとをマッチング
させることにより、上記物品の３次元位置を算出する３
次元構造モデルマッチング手段とを備えていることによ
り、ステレオ視法における左右画像間の対応付けが可能
になり、また、計測対象物品が変わっても、アルゴリズ
ムを変更することなく、その物品に応じた２次元見え方
モデルを用意するだけでステレオ視の対応付けができる
から、多種類の物品の３次元位置の検出が容易になる。

【００３６】また、請求項１７に記載されているよう
に、上記構成に加え、上記物品の設計データを用いて、
「２次元見え方モデル」と「３次元構造モデル」とを生
成するモデル生成手段を備えている場合、高速な処理が
可能になる。

【００３７】さらに、本発明による物品の位置検出装置
の２次元見え方モデルマッチング手段置が、請求項１８
に記載されているように、２次元見え方モデルと、相対
的配置算出部と、対応付け部と、データ統合部とによっ
て構成されている場合、上記１対の画像間の対応付けを
極めて容易に行なうことができる。

【００３８】

【実施例】以下、本発明の実施例について図面に基づい
て説明する。

【００３９】（装置の全体構成）図１は、本発明による
物品の位置検出装置の全体構成図である。この物品の位
置検出装置は、対象部品のステレオ画像を撮像する２台
のＣＣＤカメラから構成された撮像装置１と、この撮像
装置１により撮像された画像に対して前処理（微分、２
値化、ノイズ除去、細線化、ラベル付け）を施すととも
に、前処理された画像から、線分、円弧あるいは点等の
特徴部を抽出する特徴抽出装置２と、画像から抽出され
た線分、円弧あるいは点等の特徴部と該特徴部に対応す
る２次元見え方モデル上の特徴部とをマッチングさせる
ことにより、ステレオ視法における左右画像間の対応付
けを行なう２次元見え方モデルマッチング装置３と、こ
の対応付けの結果を用いて各特徴部の３次元位置を計測
する３次元位置計測装置４と、３次元位置が計測された
特徴部と３次元構造モデルとをマッチングさせることに
より、物品の３次元位置を算出し、物品の把持位置をロ
ボット制御装置６に出力する３次元構造モデルマッチン
グ装置５と、物品の設計データとセンサデータとより、
物品の３次元構造モデルと２次元見え方モデルとを生成
するモデル生成装置７とによって構成されている。

【００４０】（処理の流れ）図２に、処理の流れを表す
フローチャートを示す。

【００４１】Ａ．オンライン処理 (1) 画像入力２台のＣＣＤカメラから左右の原画像を入力する。

【００４２】(2) 特徴抽出入力された左右の原画像を前処理（微分、２値化、ノイ
ズ除去、細線化、ラベル付け）し、前処理された画像か
ら線分、円弧あるいは点等の特徴部を抽出する。

【００４３】(3) ２次元見え方モデルマッチング画像から抽出された線分、円弧あるいは点等の特徴部
と、オフラインで生成された２次元見え方モデルの特徴
部とをマッチングさせる。２次元見え方モデルは、線分
と円弧とで記述されており、各線分および円弧にはそれ
ぞれ識別番号が付されている（図３参照）。また、特徴
抽出装置２によって抽出された線分、円弧等の特徴部に
もそれぞれ識別番号が付されている。２次元見え方モデ
ルマッチング装置３では、左（右）画像のどの特徴部が
２次元見え方モデルのどの特徴部とマッチングするかを
求める。その結果として、下記の表１に示すような対応
付け結果を出力する。すなわち、２次元見え方モデル上
の線分Ｓ１２に対して左画像の線分Ｌｓ２が対応し、右
画像の線分Ｒｓ８が対応するから、左画像の線分Ｌｓ２
と右画像の線分Ｒｓ８が対応することになる。このよう
にして、２次元見え方モデルを介して左右画像間の特徴
部の対応付けがなされている。

【００４４】

【表１】

【００４５】(4) 特徴部の３次元位置の計測左右画像間で対応付けがなされた特徴部について、ステ
レオ視法により３次元位置を計測する（図４参照）。

【００４６】(5) ３次元構造モデルマッチング３次元位置が計測された特徴部に３次元構造モデルを当
てはめることにより部品の３次元位置を求め、ハンドリ
ングのための部品の把持位置を出力する。

【００４７】Ｂ．オフライン処理 (6) モデル生成モデル生成装置７において、３次元構造モデルと２次元
見え方モデルとがオフラインで生成される。３次元構造
モデルは、部品の設計データを用いて生成され、線分と
円弧とで記述されている。２次元見え方モデルは、既知
であるセンサデータ（カメラパラメータ）を用いて３次
元構造モデルを変換させることにより生成され、線分と
円弧とで記述されている。

【００４８】（２次元見え方モデルマッチング装置３の
構成）図５は、２次元見え方モデルマッチング装置３の
基本的構成図である。

【００４９】１つの物品に対して種々の方向から見た２
次元見え方モデルが用意されているが、カメラに対する
物品の置かれ方が予め特定されていることにより、物品
の見え方も特定されており、これに対応した見え方を表
す２次元見え方モデル３１がオフラインで用意される。
相対配置算出部３２Ｌ，３２Ｒは、画像データ座標系と
見え方モデル座標系との間の回転・平行移動量およびス
ケール係数を算出する。対応付け部３３Ｌ，３３Ｒは、
算出された回転・平行移動量およびスケール係数を用い
て、画像より抽出された線分、円弧あるいは点等の特徴
部と２次元見え方モデル３１における線分、円弧あるい
は点等の特徴部とを対応付ける。データ統合部３４は、
左右画像の各対応付け結果を統合して、左右画像データ
間の対応付け結果を出力する。

【００５０】（２次元見え方モデルマッチング装置３に
おける処理の流れ）図６に、処理の流れを表すフローチ
ャートを示す。

【００５１】(1) 左画像から抽出された線分、円弧等の
特徴部の画像中での位置を読み込み、(2) ２次元見え方
モデルデータを読み込み、(3) 相対配置算出部３２Ｌに
おいて、画像座標系とモデル座標系との回転・移動およ
びスケールを算出し、(4) 左画像中の特徴部とモデルに
記述されている特徴部とを対応付け、(5) 右画像につい
て、上記処理(1) 〜(4) を同様に行ない、(6) 左画像の
特徴部と右画像の特徴部とを対応付け、(7) 対応付け結
果を出力する。

【００５２】（３次元構造モデルマッチング装置５の構
成）３次元構造モデルマッチング装置５では、計測され
た画像の特徴部の３次元座標値から、把持のための部品
の位置姿勢データを算出する。このため、画像の特徴部
の計測データを移動回転させ、対応する３次元構造モデ
ルに合わせる。

【００５３】３次元構造モデルの座標系（Ｏ−Ｘ，Ｙ，
Ｚ）は図７に示すように定義する。すなわち、座標系原
点Ｏは把持中心に、Ｘ軸は把持軸（ロボットハンド座標
系のＸ_h軸）に沿うように、Ｚ軸はロボットハンドの進
入方向（ロボットハンド座標系のＺ_h軸）に沿うように
定義する。このように定義することにより、計測データ
をモデルに合わせる手順を逆方向にたどることで、把持
の位置姿勢を合わせることができる。

【００５４】（３次元構造モデルマッチング装置５にお
ける処理の流れ）３次元構造モデルマッチング装置３の
処理の手順を図８に示す。

【００５５】(1) ３次元構造モデルにおいて、３点以上
の特徴点（円弧中心または多角形の頂点）を含む平面を
選び、これを基準平面とする。

【００５６】(2) 上記基準平面に含まれる特徴点に対し
て、これら特徴点に対応する画像上の特徴点の３次元座
標値に基づいて、これら画像上の特徴点を平面を最小二
乗法を適用することにより算出する。

【００５７】(3) モデルの基準平面と上記(2) の平面の
それぞれの法線ベクトルを一致させることにより、計測
データ座標系のＺ軸を３次元構造モデルの座標系のＺ軸
に合わせる。

【００５８】(4) ２次元見え方モデルマッチングの特徴
点の対応付け（後述）と同様な手法に基づいて、基準平
面に沿った平行移動量とＺ軸まわりの回転量とを決定す
る。ただし、２次元見え方モデルマッチングで既に特徴
点の対応が判明しているので、本ステップでは対応点の
探索を行なう必要はない。

【００５９】(5) 以上の処理により物品の３次元位置を
算出することができ、計測データを３次元構造モデルに
合わせる上記手順を逆方向にたどることで、ロボットハ
ンドの位置姿勢を物品位置姿勢に合わせることができ
る。

【００６０】（３次元位置計測装置４）図９に示すよう
に、左カメラの座標系（Ｏ_L−Ｘ_L，Ｙ_L，Ｚ_L）を定
義する。ただし、原点Ｏ_Lは左カメラの焦点にあり、ｘ
軸は水平右向き、ｙ軸は垂直上向き、ｚ軸はカメラの視
線方向とする。同様に、右カメラの座標系（Ｏ_R−
Ｘ_R，Ｙ_R，Ｚ_R）を定義する。左カメラ座標系と右カ
メラ座標系の間の回転行列をＲ、平行移動ベクトルをｈ
とすると、同座標系の関係式は式（１）で表すことがで
きる。

【００６１】

【数１】

【００６２】特徴点（円弧中心または線分の端点）の３
次元位置（Ｘ_C，Ｙ_C，Ｚ_C）は左カメラ座標系を用い
て表す。左画像の特徴点をｃ_L、右画像の特徴点をｃ_R
とし、点ｃ_Lの座標を（ｃ_xL，ｃ_yL，ｆ_L）（左カメラ
座標系）、点ｃ_Rの座標を（ｃ_xR，ｃ_yR，ｆ_R）（右カ
メラ座標系）とする。ここで、ｆ_L，ｆ_Rはそれぞれ左
カメラ、右カメラの焦点距離を表す。

【００６３】特徴点の３次元位置は、左カメラで特徴点
を見たときの視線と、右カメラで特徴点を見たときの視
線との交点である。原点ｏ_Lと特徴点ｃ_Lとを通る直線
の方程式は式（２）となる。

【００６４】

【数２】

【００６５】また、原点原点ｏ_Rと特徴点ｃ_Rとを通る
直線の方程式は式（３）となる。

【００６６】

【数３】

【００６７】式（３）を左カメラ座標系に変換すると、
式（３）′となる。

【００６８】

【数４】

【００６９】したがって、円弧の３次元位置は式（２）
と式（３）′の連立方程式を解くことによって式（４）
のようになる。

【００７０】

【数５】

【００７１】（２次元見え方モデルマッチング装置３の
実施例の説明）次に２次元見え方モデルマッチング装置
３の実施例について説明する。これら実施例は、図５に
示す相対配置算出部３２Ｌ，３２Ｒにおける処理手法の
差異に応じて下記のように分類される。

【００７２】(1) 点によるマッチング (1-1) 任意の点と原点とを結ぶ線のなす角を求め、所定
の評価式を用いて算出した評価値が最小となったとき対
応がついたものとするもの (1-2) 任意の点と原点とを結ぶ線のなす角を用いて、回
転角とスケールとを求めるもの (2) 内角２等分線ベクトルによるマッチング (2-1) 各頂点の内角２等分線ベクトルを求め、第１、第
２候補点による一致度評価によりマッチングを行なうも
の (3) 線分によるマッチング (3-1) モデル各辺に角度情報と長さ情報とを持たせたベ
クトルを設け、撮像画像データの各辺にも上記ベクトル
を設けた後、両ベクトル群の中心を一致させるとともに
スケールを合わせ、回転角とスケール情報とを求めるも
の (3-2) モデルに評価線分を設定し、基準点合わせ処理
（２線の交点合わせ）とスケール合わせ処理（モデルと
画像との一致）とによりマッチングを行なうもの。

【００７３】実施例１（点によるマッチング(1-1) ）本実施例は、画像より抽出された特徴点と、２次元見え
方モデルに記述されている特徴点とを用いて、画像デー
タと見え方モデルとのマッチングをとるようにしたもの
である。画像中の特徴点とモデルの特徴点との対応付け
は、原点を通るように適当に選んだ基準線と、任意の点
と原点とを結ぶ直線とがなす角度を比較することにより
行なう。特徴点の生成の方法は、(1) 穴の中心を用い
る、(2) 多角形の頂点を用いる、(3) 円の中心と多角形
の頂点とを用いる、等があるが、本実施例では特徴点と
して、穴の中心を用いる。

【００７４】図１０は、本実施例の装置の概略構成図、
図１１はその機能ブロック図、図１２は処理の流れを表
すフローチャートをそれぞれ示す。

【００７５】画像より抽出された特徴点を｛Ｉ_i：ｉ＝
１，２，…，ｍ｝、モデルに記述された特徴点を
｛Ｍ_j：ｊ＝１，２，…，ｎ｝とする。

【００７６】処理(0) ：図１０に示すように、画像から
穴の中心を抽出する「円中心抽出装置」を本装置に接続
することにより、特徴点の位置を本装置に入力する。ま
た、穴の中心位置情報を有するモデルをオフラインで用
意する。

【００７７】処理(1) ：特徴点Ｉ_iの中から任意の１点
を選び、画像データの第１候補点Ｉ_C1とする。また、特
徴点Ｍ_jの中から任意の１点を選び、モデルの第１候補
点Ｍ_C1とする。

【００７８】処理(2) ：第１候補点Ｉ_C1を除く（ｍ−
１）個の画像中の点の中から任意の１点を選び、第２候
補点Ｉ_C2とし、第１候補点Ｉ_C1と第２候補点Ｉ_C2とを結
ぶ直線を基準線Ｌ_Iとする。同様に、第１候補点Ｍ_C1を
除く（ｎ−１）個のモデルの点の中から任意の１点を選
び、第２候補点Ｍ_C2とし、第１候補点Ｍ_C1と第２候補点
Ｍ_C2とを結ぶ直線を基準線Ｌ_Mとする（図１３参照）。

【００７９】処理(3) ：点Ｉ_C1と点Ｍ_C1、点Ｉ_C2と点Ｍ
_C2とがそれぞれ対応すると仮定し、残りの点｛Ｉ_k：ｋ
＝１，２，…，ｍ−２｝と｛Ｍ_h：ｈ＝１，２，…，ｎ
−２｝との対応付けを以下の処理(4) 〜(5) で行なう。

【００８０】処理(4) ：残りの画像中の点｛Ｉ_k：ｋ＝
１，２，…，ｍ−２｝について、点Ｉ_kと第１候補点Ｉ
_C1とを結ぶ直線と基準線Ｌ_Iとのなす角度を求め、｛θ
_k：ｋ＝１，２，…，ｍ−２｝とする。同様に、残りの
モデルの点｛Ｍ_h：ｈ＝１，２，…，ｎ−２｝につい
て、点Ｍ_hと第１候補点Ｍ_C1とを結ぶ直線と基準線Ｌ_M
とのなす角度を求め、｛φ_h：ｈ＝１，２，…，ｎ−
２｝とする（図１４参照）。

【００８１】処理(5) ：｛φ_h：ｈ＝１，２，…，ｎ−
２｝の中からθ₁に最も近い値φ_θ1を探し、Ｉ₁とＭ
_θ1とが対応するものとする。以下同様にして、Ｉ_kに
対応するＭ_hを見つけ出す。例えば、図１５の場合、φ
_θ1＝φ₂，φ_θ2＝φ₃，φ_θ3＝φ₅であるので、点
Ｉ₁と点Ｍ₂、点Ｉ₂と点Ｍ₃、点Ｉ₃と点Ｍ₅がそれ
ぞれ対応する。

【００８２】処理(6) ：下記に示す評価式を用いて評価
値を計算する。

【００８３】

【数６】

【００８４】図１２の場合、Ｅ_t＝｜θ₁−φ₂｜＋｜
θ₂−φ₃｜＋｜θ₃−φ₅｜となる。

【００８５】処理(7) ：Ｉ_C1，Ｉ_C2，Ｍ_C1，Ｍ_C2の選び
方のすべての組み合わせについて（m(m-1)n(n-1)通
り）、上記処理(1) 〜(6) を行ない、評価値Ｅ_tを計算
する。

【００８６】処理(8) ：評価値Ｅ_tが最小になったとき
が最適なＩ_iとＭ_jの対応であると判断し、このときの
回転・平行移動のパラメータを出力する。画面座標系に
おける基準線Ｌ_Iの傾きα_I、モデル座標系における基
準線Ｌ_Mの傾きをα_Mとし、また、最適な対応結果を得
るときの第１候補点の位置ベクトルをＴ_I，Ｔ_Mとする
と、回転・平行移動のパラメータはそれぞれα＝α_I−
α_M，Ｔ＝Ｔ_I−Ｔ_Mとなる。

【００８７】実施例２（点によるマッチング(1-1) ）輪郭が直線で構成されている物体の場合、物体の輪郭は
多角形となる。この多角形の頂点を抽出すれば、特徴点
として利用できる。この場合の装置の概略構成図および
機能ブロック図は、それぞれ図１６および図１７に示す
ようになる。ここで、図１６、図１７は、実施例１にお
ける図１０、図１１にそれぞれ対応する。そして、処理
(0) は次のようになる。

【００８８】処理(0) ：画像から線分特徴を抽出する
「線分抽出装置」を本装置に接続することにより、線分
の位置を本装置に入力する。入力された線分の位置から
多角形を抽出し、多角形の頂点を求める。また、多角形
の頂点情報を有するモデルをオフラインで用意する。

【００８９】そして、多角形の頂点を特徴点として、実
施例１における処理 (1)〜(8) と同様の処理を実行す
る。

【００９０】実施例３（点によるマッチング(1-1) ）特徴点として、穴の中心と多角形の頂点との双方を利用
する。この場合、実施例１の処理(5) において穴の中心
と多角形の頂点とが対応付けられないように、穴の中心
と頂点とを区別して処理を行なう。画像より抽出された
穴の中心と角度を｛Ｉｃ_i：ｉ＝１，２，…，ｍ｝，
｛θｃ_i：ｉ＝１，２，…，ｍ｝、頂点と角度を｛Ｉν
_j：ｊ＝１，２，…，ｎ｝，｛θν_j：ｊ＝１，２，
…，ｎ｝、モデルに記述されている穴の中心と角度を
｛Ｍｃ_k：ｋ＝１，２，…，ｐ｝，｛φｃ_k：ｋ＝１，
２，…，ｐ｝、頂点と角度を｛Ｍν_h：ｈ＝１，２，
…，ｑ｝，｛φν_h：ｈ＝１，２，…，ｑ｝とする。θ
ｃ_iとφｃ_kとを用いてＩｃ_iとＭｃ_kとの対応付けを
行ない、θν_jとφν_hとを用いてＩν_jとＭν_hとの
対応付けを行なう。評価式は下記のようになる。

【００９１】

【数７】

【００９２】以上の第１〜第３実施例によれば、穴を有
する物品や、輪郭が直線で構成されている物品に関し
て、物品の画像データと２次元見え方モデルとのマッチ
ングを行ない、対象物の画像中での位置および回転角度
を求めることができる。

【００９３】また、左画像データと見え方モデルとのマ
ッチング、および右画像データと見え方モデルとのマッ
チングを行なうことにより、見え方モデルを仲介して左
画像と右画像とを対応付けることができる。

【００９４】実施例４（点によるマッチング(1-2) ）本実施例は、上述の実施例１〜３で用いた角度情報に加
えて、スケール合わせを行なって距離情報を用いること
で、適用範囲を広げ、さらにマッチングの確度を高めた
ものである。

【００９５】すなわち、特徴点の角度のみに注目した場
合、候補点を通る同一直線状の点を区別してマッチング
させることは不可能であるが、本実施例のように、スケ
ール合わせを行なって距離情報を用いることにより、適
用範囲が広がり、さらにマッチング確度が高くなる。

【００９６】図１８は、本実施例の機能ブロック図、図
１９は処理の流れを表すフローチャートをそれぞれ示
す。

【００９７】画像より抽出された特徴点を｛Ｉ_i：ｉ＝
１，２，…，ｍ｝、モデルに記述された特徴点を
｛Ｍ_j：ｊ＝１，２，…，ｎ｝とする。特徴点として、
例えば穴の中心を用いる。

【００９８】処理(0) ：実施例１の図１０と同様に、画
像から穴の中心を抽出する「円中心抽出装置」を本装置
に接続することにより、特徴点の位置を入力する。ま
た、穴の中心位置情報を有するモデルをオフラインで準
備する。

【００９９】処理(1) ：特徴点Ｉ_iの中から任意の１点
を選び、画像データの第１候補点Ｉ_C1とする。また、特
徴点Ｍ_jの中から任意の１点を選び、モデルの第１候補
点Ｍ_C1とする。

【０１００】処理(2) ：第１候補点Ｉ_C1を除く（ｍ−
１）個の画像中の点の中から任意の１点を選び、第２候
補点Ｉ_C2とし、第１候補点Ｉ_C1と第２候補点Ｉ_C2とを結
ぶ直線を基準線Ｌ_Iとする。同様に、第１候補点Ｍ_C1を
除く（ｎ−１）個のモデルの点の中から任意の１点を選
び、第２候補点Ｍ_C2とし、第１候補点Ｍ_C1と第２候補点
Ｍ_C2とを結ぶ直線を基準線Ｌ_Mとする（図２０参照）。

【０１０１】処理(3) ：点Ｉ_C1とＭ_C1とが一致するよう
にモデルを平行移動させる。このときの移動ベクトルを
Ｔとする（図２１参照）。

【０１０２】処理(4) ：基準線Ｌ_IとＬ_Mとが一致する
ように、点Ｍ_C1（Ｉ_C1）を中心にモデルを回転させる。
このときの回転角をθとする（図２２参照）。

【０１０３】処理(5) ：点Ｉ_C2とＭ_C2とが一致するよう
に、点Ｍ_C1（Ｉ_C1）を中心にモデルを拡大・縮小する。
このときのスケールをＳとする（図２３参照）。

【０１０４】処理(6) ：点Ｉ_C1と点Ｍ_C1、点Ｉ_C2と点Ｍ
_C2とが対応すると仮定し、残りの点｛Ｉ_k：ｋ＝１，
２，…，ｍ−２｝および｛Ｍ_h：ｈ＝１，２，…，ｎ−
２｝について以下の処理 (7)〜(8) を実行する。

【０１０５】処理(7) ：点Ｉ_kに距離が最も近いモデル
の点Ｍ_hを見つけ、２点間の距離ｄ＝ｄ（Ｉ_k）を記憶
する。

【０１０６】処理(8) ：全ての点Ｉ_kにについて距離ｄ
（Ｉ_k）が求まれば、評価値Ｅ_tを下記に示す評価式を
用いてを計算し記憶する。

【０１０７】

【数８】

【０１０８】処理(9) ：点Ｉ_C1，Ｉ_C2，Ｍ_C1、Ｍ_C2の選
び方のすべての組み合わせについて（m(m-1)n(n-1)通
り）、上記の処理 (1)〜(8) を行ない、評価値Ｅを計算
する。処理(10)：評価値Ｅが最小となったときの点Ｉ_kとＭ_h
が最適の対応であるとし、このときの回転角度θ、移動
ベクトルＴ、スケールＳのパラメータと、画像データ点
Ｉ_kとモデル点Ｍ_hの対応付けとを出力する。

【０１０９】実施例５（内角２等分線方向ベクトルによ
るモデルマッチング(2-1) ）計測画像とモデルデータとの比較により対象物品の２次
元位置を決定する場合、一般に行なわれているように、
モデルデータをイメージ画像として持つ場合には２次元
のパターンマッチングが必要になり、計算コストが増大
する。そこで、２次元のモデルデータを直線や円弧で構
成し、計測画像から得られた直線や円弧とのマッチング
により対象物品の２次元位置を推定できれば、高速なモ
デルマッチングが可能となるが、特徴の選択とマッチン
グ判断とを適切に行なわなければ誤マッチングが発生す
る可能性がある。

【０１１０】本実施例では、線分で構成されるモデル
が、２つの直線の交点情報として内角の２等分線方向ベ
クトルと内角度に関する情報を有し（図２７参照）、ま
た、計測画像から同様の情報を生成し、これらを比較す
ることにより、高速かつ確実なマッチングを行なうもの
である。

【０１１１】図２４は本実施例の全体構成図、図２５お
よび図２６は処理のフローチャートをそれぞれ示す。

【０１１２】本実施例では、図２４から明らかなよう
に、対象物品の計測入力画像に対する画像処理により線
分検出を行ない、その線分の交点情報をを求めている。
また、対象物品と比較するために、モデルデータベース
を備えており、このモデルデータと計測画像の交点情報
との比較を行なって、最終的に対象物品の確度、位置お
よびスケール情報を得るものである。

【０１１３】次に、図２５および図２６のフローチャー
トに基づいて、本実施例の全体処理を説明する。

【０１１４】処理(1) ：先ず、モデルデータとしては、
直線の各交点Ｍ₁〜Ｍ₅について、その位置座標と２直
線の内角２等分線の方向ベクトルと内角の角度値とを情
報として準備しておく（図２７参照）。

【０１１５】対象物品の計測画像については、例えば単
色階調画像のエッジ抽出処理と線分セグメント抽出処理
等により、画像から線分抽出を行なう。一般に計測画像
から検出される線分は端点まで検出されずに短めの線分
として抽出されるため、検出された線分については延長
処理を行ない、その結果について交点を求めることがで
きる。この交点については、モデルと同様に、その位置
座標と２直線の内角２等分線の方向ベクトルと内角の角
度値とを決定することができる（図２８参照）。

【０１１６】処理(2) ：次に、これらモデルと計測画像
から得られた交点のマッチングを行なう。

【０１１７】先ず、図２５のフローチャートに示すよう
に、モデルから原点候補点Ｍｎ（例えばＭ₁）を１点選
択し、これに適合する計測画像の候補点Ｉｎ（例えばＩ
₁）を選定する。この選定には内角度情報を用い、予め
設定した一定角度誤差以内で同じ内角度を有する点を原
点用の第１候補点として選定する。

【０１１８】処理(3) ：次に、モデルの原点候補点Ｍ₁
と計測画像の原点候補点Ｉ₁との位置誤差を補正するた
めの平行移動量Ｔｑを求める。さらに、内角の２等分線
の方向ベクトル情報を用いて、２点の内角方向が一致す
るような回転移動量Ｒｑを求める（図２９参照）。

【０１１９】処理(4) ：得られた変換量Ｔｑ，Ｒｑを用
いて、モデルの全交点を平行移動および回転移動させ
る。この変換により、モデルの原点候補点Ｍ₁は計測画
像の原点候補点Ｉ₁に位置と方向を一致させることがで
きる。その他の点について角度の補正とスケーリングの
補正とを行うために第２候補点を選択する。

【０１２０】第２候補点はモデル点のうち原点以外の点
で、計測画像の中である一定位置誤差以内に位置し、内
角度がある一定角度誤差以内の点、例えばＭ₂，Ｉ₂を
選択する（図３０参照）。

【０１２１】処理(5) ：このようにして決定したモデル
と計測画像の第２候補点Ｍ₂，Ｉ_２と原点候補点
Ｍ_１，Ｉ₁とを用いて、２点同士の位置が一致するよ
うな平行移動、回転移動、拡大縮小の各係数を求め、再
度全モデル点に対してこの変換を行なう。

【０１２２】処理(6) ：変換されたモデルの各点と計測
画像の各点とを比較して一致度を計算し、一致度評価得
点を求める。このとき、点の一致判定には、点位置の誤
差と併せて内角２等分線の方向ベクトルの方向誤差を用
いることにより確実な一致判定ができる。一致度評価得
点には一致点の個数と位置誤差の累積量とを用いること
ができる。

【０１２３】以上の処理により、選択された第１候補点
（原点候補点）と第２候補点とによる一致度評価得点が
得られる。この処理を全ての、第１候補点と第２候補点
の組み合わせについて実行し、最も一致度評価得点の高
い組み合わせを選べば、最適なマッチングを行なうこと
ができる。

【０１２４】これらの処理のうち、第１候補点と第２候
補点の選定については、点の内角情報を利用するため、
点の位置情報のみで選定する場合に比較して組合わせ可
能な数を大幅に削減することができ、処理の高速化と確
実性の向上とを達成できる。なお、対象物品が長方形で
構成されている場合には、隣接しない対角の内角２等分
線は互いに向きが逆になっている。また、一般的にある
特徴的な角度関係を持った複数の点を特徴点として前も
ってモデル情報に含ませることは容易である。これら複
数の点の内角情報の特徴を用いれば、前述の第１候補点
（原点候補点）と第２候補点の選定を１点ずつ全ての組
合わせを判定する必要がなくなる（図３１参照）。

【０１２５】例えば、長方形を有するモデルの場合に特
徴点として対角上の２点を選ぶと、計測画像から互いに
反対方向の内角２等分線の方向ベクトルを有する２点の
組合わせについてのみを評価対象として選択すれば良
い。同様に、三角形の３頂点を特徴点として選べば、計
測画像の各点の角度情報から、モデルと同じ角度構成を
有する３点の組を選択し、その組についてのみ一致評価
を実行すれば良い。そして、これらの処理は点の位置情
報が不要であるため、角度のリストから処理を行なうこ
とができ、処理の簡単化、高速化が可能である。

【０１２６】実施例６（線分によるモデルマッチング(3
-1) ）本実施例は、多角形をマッチングの対象とし、見え方モ
デルおよび画像の特徴として各辺の線分の長さと方向と
を用いる。各線分の長さと方向とをベクトルで表し、ベ
クトルの始点を合わせた図形を、モデルと画像双方で構
成する。これらを、ベクトルの始点を中心にして、ベク
トル終点の点集合のマッチングで回転とスケール合わせ
とを行なう。最後に、対応付けられたいずれかの線分を
基準に平行移動することで、線分特徴のマッチングを行
なう。

【０１２７】マッチングに用いるベクトルとして、図３
２（ａ）に示すように、多角形の線分集合に対して、各
線分に垂直で多角形の外に向かう、線分の長さに比例し
たベクトルを設定し、始点を合わせる。あるいは、図３
２（ｂ）に示すように、一定方向回りに（例えば左回り
に）、各辺の方向をとってベクトルとし、始点を合わせ
る。

【０１２８】モデルと計測画像の双方で、同じように特
徴を抽出し、これを中心を含めて点集合マッチングを行
なうことにより、前述の第１実施例の図１５に示した手
法と同様の手法で回転角情報を求めて、式（５）に示す
評価式を用いて評価値を計算する。これによって、各辺
の対応と回転角とが検出できるので、対応付けされたい
ずれかの辺で平行移動することで、モデルを計測画像に
合わせるための、平行移動情報および回転移動情報を得
ることができる。そして評価値が最小となった最適な線
分の対応についてスケール情報を求める。したがって、
本実施例で用いる評価式は下記の式に示すようになる。

【０１２９】

【数９】

【０１３０】なお、上記評価式において、ｗ₁，ｗ₂は
定数、ｇ_θk，ｇ_φθkは、基準線に対してそれぞれ角
度θｋ，φ_θkをなす線分の長さである。

【０１３１】本実施例によれば、回転対称性のないモデ
ルに関して、回転移動量と線分の対応とを同時に検出で
きるとともに、点集合のマッチング手法（図１５参照）
を用いて線分のマッチングを容易に行なうことができ
る。また、回転の中心が固定されているので、マッチン
グ評価の回数が少なくて済む利点がある。

【０１３２】実施例７（線分によるモデルマッチング(3
-2) ）本実施例では、線分で構成されるモデルと計測画像から
検出した線分とを比較し、最適なマッチングを判定する
ことにより、モデルと計測画像との高速で確実なマッチ
ングを行なうものである。

【０１３３】図３３に全体構成図を示し、対象物品の計
測入力画像に対して画像処理により線分検出を行ない、
線分で構成されたモデルデータと計測画像の線分情報と
の比較により回転角度を決定し、次いで位置とスケール
を決定し、最終的に対象物品の角度情報、位置情報およ
びスケール情報を得るものである。

【０１３４】線分情報の比較により、マッチングの角度
情報、位置情報およびスケール情報を得る処理のフロー
チャートを図３４および図３５に示す。

【０１３５】本実施例では、２次元見え方モデル上の複
数の線分から代表線分を選定し、かつ上記画像の上の複
数の線分から候補線分を選定して、両線分間の角度誤差
を求め、該角度誤差に基づき上記２次元見え方モデル上
の全ての線分の角度を補正し、次いで上記画像上の全て
の線分が所定の基準線に対してなす角度について、該角
度の近傍角度に対して当該線分の長さにより重み付けら
れた角度誤差評価値を与える評価値曲線を設定し、上記
２次元見え方モデル上の全ての線分の上記基準線に対す
る角度の評価値を上記評価値曲線に基づいて算出し、該
算出された評価値に基づいて、上記画像データと上記２
次元見え方モデルとをマッチングさせている。

【０１３６】処理(1) ：先ず、線分で構成されたモデル
データを準備する。また、物品の計測画像については、
例えば単色階調画像のエッジ抽出処理と線分セグメント
抽出処理等により、画像から線分抽出を行なう（図３６
参照）。

【０１３７】処理(2) ：次に、これらモデルと計測画像
とから得られた線分の角度のマッチングを行なう。

【０１３８】先ず、図３４のフローチャートに示すよう
に、モデルから代表線分Ｌｍを１本選択する。これは、
最も特徴的な線分として、最も長い線分、もしくは最も
計測が確実な線分を選ぶ。次に計測画像からこれに適合
する線分Ｌｉを選定する。

【０１３９】処理(3) ：モデル線分Ｌｍと計測線分Ｌｉ
との角度誤差Ｒｑ、すなわち、例えば図３６ではモデル
線分Ｌｍ₂と計測線分Ｌｉ₂との角度誤差を計算し、こ
の補正角度Ｒｑに基づきモデルの全ての線分Ｌｍ₁〜Ｌ
ｍ₅の角度を補正する。

【０１４０】処理(4) ：次に補正された２次元見え方モ
デル上の全ての線分Ｌｍ₁〜Ｌｍ₅について、計測線分
Ｌｉ₁〜Ｌｉ₅の角度分布との一致度評価を行ない、評
価値の総和を線分Ｌｍと線分Ｌｉとの角度補正により得
られた評価値とする（図３７参照）。

【０１４１】この手法についてさらに詳細に説明する
と、図３６に示す画像の上の全ての線分Ｌｉ₁〜Ｌｉ₅
が所定の基準線、例えばＸ軸に対してなす角度θ_i1〜θ
_i5を図３７に示す所定の直交座標軸の横軸上にプロット
し、各プロット点からの当該線分Ｌｉ₁〜Ｌｉ₅の長さ
に応じた縦軸方向の高さをそれぞれ有する点Ｐ_i1〜Ｐ_i5
を求め、次いで各点Ｐ_i1〜Ｐ_i5をそれぞれ頂点とするガ
ウス分布（正規分布）曲線を作成する。そして、上記処
理(3) で角度補正された２次元見え方モデル上の各線分
Ｌｍ₁〜Ｌｍ₅の上記基準線（例えば図３６のＸ軸）に
対してなす角度θ_m1〜θ_m5をガウス分布曲線上にプロッ
トして、各プロット点Ｐ_m1〜Ｐ_m5の横軸からの高さ
（「線分一致の確からしさ」を表している）をそれぞれ
求め、各プロット点Ｐ_m1〜Ｐ_m5の横軸からの高さの総和
を求める。

【０１４２】なお、図３７の右端に示すように、２つの
線分Ｌｉ₁とＬｉ₃の角度θ_i1，θ_i3が近接しているこ
とにより、これら線分Ｌｉ₁，Ｌｉ₃にそれぞれ対応す
る２つのガウス分布曲線が互いに交わっている場合は、
これら２つのガウス分布曲線の高さの和の値を高さとす
る新たな曲線ｋを作成し、線分Ｌｉ₁，Ｌｉ₃にそれぞ
れ対応する２次元見え方モデル上の線分Ｌｍ₁，Ｌｍ₃
の角度θ_m1，θ_m3を上記曲線ｋ上にプロットして、各プ
ロット点Ｐｍ₁，Ｐｍ₃の横軸からの高さをそれぞれ求
める。

【０１４３】処理(5) ：角度補正の評価作業を全ての線
分の組合わせに対して行ない、最も評価の高い角度Ｒｑ
をモデルと計測画像のとのマッチング角度として採用す
る。

【０１４４】処理(6) ：次に平行移動とスケール係数Ｓ
ｑの決定を行なう。先ず、位置を決定するために角度と
同様にモデルの中で最も代表的な線分Ｌｍ₁，Ｌｍ₂を
選定し、計測画像線分Ｌｉ₁，Ｌｉ₂との位置補正量Ｔ
ｑを求め、２次元見え方モデルを平行移動させ、線分Ｌ
ｍ₁とＬｍ₂との交点を線分Ｌｉ₁とＬｉ₂との交点に
一致させる。このように、２本の線分を用いることで、
不正確な端点情報を使用せずにエッジ方向誤差ｖ₁，ｖ
₂のみを用いて、その合成ベクトルとしての位置補正量
Ｔｑを求めることができる（図３８参照）。

【０１４５】処理(7) ：次にスケール係数を決定するた
めにモデルから線分Ｌｍ₄を選定し、計測画像の線分Ｌ
ｉ₄とのスケール係数Ｓｑを求める。基準点として、線
分Ｌｍ₁とＬｍ₂との交点を選ぶが、この点は線分Ｌｉ
₁とＬｉ₂との交点に等しいので、これを原点として線
分Ｌｍ₄とＬｉ₄とを一致させる拡大縮小率Ｓｑを決定
する。これも線分Ｌｍ₄とＬｉ₄のエッジ方向移動量Ｓ
ｍ，Ｓｉで決定できる（図３９参照）。

【０１４６】Ｓｑ＝｜Ｓｍ｜／｜Ｓｉ｜以上の処理のうち、Ｌｍ₁，Ｌｍ₂，Ｌｍ₄の各候補線
分は、最も特徴的な組合わせを１組か２組程度用意して
おけば十分である。また計測データの角度は補正済みで
あるため、計測データから選定する候補線分Ｌｉ₁，Ｌ
ｉ₂，Ｌｉ₄も角度情報を基準に選定することで候補の
絞り込みは容易に行える。

【０１４７】これらの処理により、マッチングのための
角度パラメータＲｑ、位置補正パラメータＴｑおよびス
ケールパラメータＳｑの決定を高速かつ高精度をもって
行なうことができる。

【０１４８】すなわち、本実施例によれば、線分に関す
る少ない情報でマッチング判定を行なうため、イメージ
画像でのマッチングに比較して、高速処理が可能であ
る。また、計測画像からの線分抽出では一般に端点を正
確に検出することは困難であるが、本実施例では、角度
と併せて、最も計測精度が高い線分のエッジ方向（線分
に直交する方向）の位置を用いてマッチングを行うた
め、高精度の処理が可能になる。

【図面の簡単な説明】

【図１】本発明による物品の位置検出装置の全体構成図

【図２】同処理の流れを表すフローチャート

【図３】２次元見え方モデルの１例を示す説明図

【図４】３次元構造モデルマッチング手法の説明図

【図５】２次元見え方モデルマッチング装置の基本的構
成図

【図６】２次元見え方モデルマッチング装置における処
理の流れを表すフローチャート

【図７】３次元構造モデル座標系の説明図

【図８】３次元構造モデルマッチング装置における処理
の流れを表すフローチャート

【図９】左右のカメラ座標系に対する特徴点の３次元位
置の説明図

【図１０】２次元見え方モデルマッチング装置の第１実
施例の概略構成図

【図１１】同機能ブロック図

【図１２】同処理の流れを表すフローチャート

【図１３】同基準線の作成手法の説明図

【図１４】同基準線に対する角度を求める手法の説明
図

【図１５】同角度によるマッチング手法の説明図

【図１６】２次元見え方モデルマッチング装置の第２実
施例の概略構成図

【図１７】同機能ブロック図

【図１８】２次元見え方モデルマッチング装置の第４実
施例の機能ブロック図

【図１９】同処理の流れを表すフローチャート

【図２０】同基準線の作成手法の説明図

【図２１】同モデルを平行移動させる手法の説明図

【図２２】同モデルを回転させる手法の説明図

【図２３】同モデルの拡大・縮小手法の説明図

【図２４】２次元見え方モデルマッチング装置の第５実
施例の全体構成図

【図２５】同処理の流れを表すフローチャートの前半
部分

【図２６】同処理の流れを表すフローチャートの後半
部分

【図２７】同モデルデータの説明図

【図２８】同計測画像の説明図

【図２９】同第１候補点による平行移動・回転手法の
説明図

【図３０】同第２候補点によるマッチング手法の説明
図

【図３１】長方形モデルの反対方向ベクトルを有する特
徴点の組を示す説明図

【図３２】２次元見え方モデルマッチング装置の第６実
施例における多角形の線分集合に対するベクトルの設定
手法の説明図

【図３３】２次元見え方モデルマッチング装置の第７実
施例の全体構成図

【図３４】同処理の流れを表すフローチャートの前半
部分

【図３５】同処理の流れを表すフローチャートの後半
部分

【図３６】同モデル線分および計測線分の説明図

【図３７】同角度分布評価手法の説明図

【図３８】同２等分線による位置補正手法の説明図

【図３９】同スケール補正手法の説明図

【符号の説明】

１撮像装置２特徴抽出装置３２次元見え方モデルマッチング装置４３次元位置計測装置５３次元構造モデルマッチング装置６ロボット制御装置７モデル生成装置３１２次元見え方モデル３２Ｌ，３２Ｒ相対配置算出部３３Ｌ，３３Ｒ対応付け部３４データ統合部

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉田博行広島県安芸郡府中町新地３番１号マツダ株式会社内 (72)発明者高橋弘行広島県安芸郡府中町新地３番１号マツダ株式会社内

Claims

【特許請求の範囲】

【請求項１】第１および第２の撮像手段を用いたステ
レオ視により物品を撮像した１対の画像から上記物品の
３次元位置を検出する方法であって、上記物品の２次元
上の特徴部を有する２次元見え方モデルを設定し、上記
１対の画像のそれぞれから抽出した特徴部を、上記２次
元見え方モデルを介して対応付けを行なうことを特徴と
する物品の位置検出方法。
【請求項２】上記１対の画像からそれぞれ抽出した特
徴部と上記２次元見え方モデル上の特徴部とをそれぞれ
マッチングさせることにより、上記１対の画像間の対応
付けを行なって、各特徴部の３次元位置を計測し、かつ
上記物品の３次元構造モデルを設定して、上記３次元位
置が計測された上記画像上の特徴部と上記３次元構造モ
デル上の特徴部とをマッチングさせることにより、上記
物品の３次元位置を算出することを特徴とする請求項１
に記載の物品の位置検出方法。
【請求項３】上記物品の設計データを用いて上記３次
元構造モデルを設定し、該３次元構造モデルを変換する
ことにより、上記２次元見え方モデルを設定することを
特徴とする請求項２に記載の物品の位置検出方法。
【請求項４】上記特徴部が特徴点よりなり、上記画像
から抽出した特徴点と上記２次元見え方モデル上の特徴
点とをマッチングさせることを特徴とする請求項１ない
し３の１つに記載の物品の位置検出方法。
【請求項５】上記物品上に見える穴の中心を上記特徴
点として選定することを特徴とする請求項４に記載の物
品の位置検出方法。
【請求項６】上記物品上に見える多角形の頂点を上記
特徴点として選定することを特徴とする請求項４に記載
の物品の位置検出方法。
【請求項７】上記物品上に見える穴の中心と多角形の
頂点との双方を上記特徴点として選定することを特徴と
する請求項４に記載の物品の位置検出方法。
【請求項８】上記画像上および上記２次元見え方モデ
ル上の双方において、多数の特徴点の中から第１候補点
と第２候補点とを任意に選定するとともに、該第１候補
点と第２候補点とを通る基準線をそれぞれ設定し、該基
準線と、上記第１および第２候補点を除く他のすべての
特徴点と上記第１候補点とをそれぞれ結ぶ直線とのなす
角度の計測に基づいて、上記画像上の特徴点と上記２次
元見え方モデル上の特徴点とをマッチングさせることを
特徴とする請求項４ないし７の１つに記載の物品の位置
検出方法。
【請求項９】上記画像上および上記２次元見え方モデ
ル上の双方において、多数の特徴点の中から第１候補点
と第２候補点とを任意に選定するとともに、該第１候補
点と第２候補点とを通る基準線をそれぞれ設定し、双方
の第１候補点が互いに一致するように両基準線を重ね合
わせる態様で、上記画像と上記２次元見え方モデルとを
重ね合わせ、かつ双方の第２候補点が互いに一致するよ
うに、上記画像と上記２次元見え方モデルとのスケール
合わせを行なうことにより、上記ｂ画像上の特徴点と上
記２次元見え方モデル上の特徴点とをマッチングさせる
ことを特徴とする請求項４ないし７の１つに記載の物品
の位置検出方法。
【請求項１０】上記重ね合わせおよびスケール合わせ
のなされた後の上記画像上の上記第１および第２候補点
を除く特徴点と、これにそれぞれ対応する上記２次元見
え方モデル上の特徴点との間の距離の計測に基づいて、
上記画像上の特徴点と上記２次元見え方モデル上の特徴
点とをマッチングさせることを特徴とする請求項９に記
載の物品の位置検出方法。
【請求項１１】上記多角形の頂点における内角の２等
分線ベクトルと内角度とに基づいて、上記画像上の特徴
点と上記２次元見え方モデル上の特徴点とをマッチング
させることを特徴とする請求項６に記載の物品の位置検
出方法。
【請求項１２】上記２次元見え方モデル上の上記多角
形の任意の頂点を原点候補点として選定し、上記画像上
の上記多角形の頂点から第１候補点を選定し、該第１候
補点が上記原点候補点に重なり合い、かつ双方の内角の
２等分線ベクトルが重なり合うように上記２次元見え方
モデルを上記画像上に重ね合わせ、次いで、上記画像お
よび上記２次元見え方モデルの上記第１候補点および上
記原点候補点を除く他の頂点から、第２候補点をそれぞ
れ選定し、双方の第２候補点が互いに一致するようにス
ケール合わせを行なうことにより、上記画像上の各頂点
と上記２次元見え方モデル上の各頂点とをマッチングさ
せることを特徴とする請求項１１に記載の物品の位置検
出方法。
【請求項１３】上記特徴部が上記物品上に見える線分
よりなり、上記画像から抽出した線分と上記２次元見え
方モデル上の線分とを用いて、上記画像と上記２次元見
え方モデルとをマッチングさせることを特徴とする請求
項１ないし３の１つに記載の物品の位置検出方法。
【請求項１４】上記線分によって形成される多角形の
各辺の長さと方向に対応する複数のベクトルを作成し、
該複数のベクトルから任意に選定した基準ベクトルに対
する他のベクトルのなす角度およびスケール情報に基づ
いて、上記画像データと上記２次元見え方モデルとをマ
ッチングさせることを特徴とする請求項１３に記載の物
品の位置検出方法。
【請求項１５】上記２次元見え方モデル上の複数の線
分から代表線分を選定し、かつ上記画像の上の複数の線
分から候補線分を選定して、両線分間の角度誤差を求
め、該角度誤差に基づき上記２次元見え方モデル上の全
ての線分の角度を補正し、次いで上記画像上の全ての線
分が所定の基準線に対してなす角度について、該角度の
近傍角度に対して当該線分の長さにより重み付けられた
角度誤差評価値を与える評価値曲線を設定し、上記２次
元見え方モデル上の全ての線分の上記基準線に対する角
度の評価値を上記評価値曲線に基づいて算出し、該算出
された評価値に基づいて、上記画像データと上記２次元
見え方モデルとをマッチングさせることを特徴とする請
求項１３に記載の物品の位置検出方法。
【請求項１６】ステレオ視法により物品を撮像する第
１および第２の撮像手段と、上記ステレオ視法により撮像された１対の画像から特徴
部をそれぞれ抽出する特徴抽出手段と、上記１対の画像からそれぞれ抽出された特徴部と上記物
品の２次元見え方モデルの特徴部とをそれぞれマッチン
グさせることにより、上記１対の画像間の対応付けを行
なう２次元見え方モデルマッチング手段と、該２次元見え方モデルマッチング手段による対応付け結
果を用いて、上記画像上の各特徴部の３次元位置を計測
する３次元位置計測手段と、上記３次元位置が計測された上記画像上の特徴部と上記
物品の３次元構造モデルの特徴部とをマッチングさせる
ことにより、上記物品の３次元位置を算出する３次元構
造モデルマッチング手段と、を備えていることを特徴と
する物品の位置検出装置。
【請求項１７】上記物品の設計データを用いて上記３
次元構造モデルを設定し、かつ該３次元構造モデルを変
換することにより、上記２次元見え方モデルを設定する
モデル生成手段を備えていることを特徴とする請求項１
６に記載の物品の位置検出装置。
【請求項１８】上記２次元見え方モデルマッチング手
段が、上記２次元見え方モデルと、相対的配置算出部
と、対応付け部と、データ統合部とを備えていることを
特徴とする請求項１６に記載の物品の位置検出装置。