JPH07287756A

JPH07287756A - 物体認識方法

Info

Publication number: JPH07287756A
Application number: JP6317279A
Authority: JP
Inventors: Katsuhiro Sasada; 勝弘笹田; Tomoharu Nakahara; 智治中原; Hidekazu Araki; 秀和荒木
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1994-02-23
Filing date: 1994-12-20
Publication date: 1995-10-31
Anticipated expiration: 2014-07-12
Also published as: JP2919284B2; US5692061A; US5867592A

Abstract

(57)【要約】【目的】検出の高速化を図る。【構成】三次元空間中の物体を撮像して得た距離画像
と同一の視点から二次元画像を得て、この二次元画像を
利用してあらかじめ距離画像における検出物体の存在領
域を限定しておき、この限定した領域の距離部分画像に
対して物体の検出処理を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は三次元空間中の物体の認
識、つまり物体の位置・姿勢・形状を検出する物体認識
方法に関するものである。

【０００２】

【従来の技術】三次元物体の認識方法として、特開平２
−２３０４７８号公報に示されているように、画像中の
全エッジセグメントと物体モデルの全稜線との対応付け
より得られる物体の位置姿勢を表すパラメータ空間中の
クラスタを抽出して物体の位置検出を行う方法や、特開
平４−５４４０９号公報に示されているように、対象物
体を複数の剛体が回転自由度をもつ関節で結合されてい
るという物体モデルで考えて、画像中の特徴（指定線
分、指定点）と物体モデルとの対応から各剛体の姿勢候
補を求め、各姿勢候補から物体モデルの像を推定し、画
像と照合することにより、妥当な姿勢を決定するという
方法がある。

【０００３】

【発明が解決しようとする課題】この場合、前者の方法
では、画像中の全エッジセグメントと物体モデルの全稜
線との対応付けを行う必要があり、対象物体が複雑な形
状であれば画像中のエッジセグメント数や物体モデルの
稜線数が多くなり、対応付けに多くの時間を要すること
になるとともに、検出精度も悪くなる。後者の方法にお
いても対象物が柔軟な構造であれば、剛体と関節の数が
多くなるために、最終的な物体の三次元姿勢の検出には
多くの時間を要することになる。

【０００４】一方、物体が円柱形のような円形状を有す
る物体である場合には、特公平６−２９６９５号公報に
検出の高速化を図る方法が示されている。これは対象物
体を斜めから二つの撮像手段で撮像し、二つの画像から
曲線のエッジを抽出して曲線のエッジが一定距離以内で
あれば同一楕円上のエッジであるとして、上面及び下面
の楕円を抽出するとともに、真円の中心は画像上に楕円
の中心として投影されると考えて、上面及び下面の楕円
の中心を二つの画像から算出及び対応付けを行い、三角
測量の原理で上面及び下面の真円の中心を算出し、更に
二つの中心を結ぶ線分の方向を算出することにより、円
柱の中心軸を求めることで、円柱状物体の位置及び姿勢
を決定するものである。

【０００５】しかし、この方法ではリング状物体や複数
の円柱状物体が対象物体となる時、画像上から同一円で
はない曲線エッジの組み合わせを同一の円と見なした
り、下面のエッジが見えなくなって円柱状物体の中心軸
の方向、つまり姿勢が計測できないという問題を有して
いるほか、円の中心は画像に投影されると、円を含む平
面と撮像手段の光軸とが直交しないかぎり、画像上の円
の中心からずれて投影されるものであり、また下面の円
エッジはその半数近くが隠れて見えないために、このよ
うなエッジから求められた円の中心精度はどうしても低
くなる。従って求められた位置や姿勢の値はその精度や
信頼性が低い。

【０００６】本発明はこのような点に鑑み為されたもの
であり、その目的とするところは検出の高速化を図るこ
とができるとともに、高い精度で検出を行うことができ
る物体認識方法を提供するにある。

【０００７】

【課題を解決するための手段】しかして本発明は、三次
元空間中の物体を撮像して得た距離画像と同一の視点か
ら二次元画像を得て、この二次元画像の部分画像を特定
し、この特定した二次元部分画像を距離画像に適用させ
て距離画像の部分画像を抽出し、この距離部分画像に対
して物体の検出処理を行うことに第１の特徴を有してお
り、三次元空間中の物体を撮像して得た距離画像と同一
の視点から二次元画像を得て、二次元画像上の対象物体
像の慣性主軸及び重心を抽出し、その慣性主軸を通り且
つ二次元画像面に垂直な平面に距離画像を投影し、投影
面上での対象物体像の慣性主軸及び重心を抽出し、得ら
れた２本の慣性主軸及び２個の重心から三次元空間中で
の対象物体の慣性主軸の位置姿勢を検出することに第２
の特徴を有し、更に三次元空間中の円形状を有する物体
を複数の方向から撮像して得た濃淡画像からエッジ画像
と濃度勾配方向画像とを得るとともに、ステレオ画像処
理により基準となるエッジ画像と他のエッジ画像より視
差画像を作成し、上記基準となるエッジ画像から曲線の
エッジのみを抽出して、曲線エッジから更に円を抽出
し、抽出した円の各エッジ点の上記視差から求まる三次
元情報を用いて、上記円の位置姿勢を検出することに第
３の特徴を有している。

【０００８】

【作用】本発明の第１の特徴とするところによれば、物
体の検出処理に際して、二次元画像を利用してあらかじ
め距離画像における検出物体の存在領域を限定してお
き、この限定した領域の距離部分画像に対して物体の検
出処理を行うために、距離画像の全域で検出処理を行う
従来例に比して、検出処理の高速化を図ることができ、
この場合の二次元画像の部分画像の特定に際しては、対
象物体の表面上に存在する形状パターンやテキスチャの
統計的画像特徴量、色または明るさによる分類、あるい
は対象物体の三次元幾何特徴に由来する二次元幾何特徴
を好適に用いることができる。

【０００９】また、第２の特徴とするところによれば、
三次元空間中の物体の位置姿勢を代表する慣性主軸の位
置及び姿勢を容易に検出することができるために、検出
処理の高速化を図ることができ、この時、検出した対象
物体の三次元空間中での慣性主軸及び重心と対象モデル
の慣性主軸と重心とを一致させ、対象物モデルをその慣
性主軸を中心に回転させて、対象物モデルと対象物体と
の一致度を求めることにより、三次元空間中での対象物
体の位置姿勢を検出するようにしてもよい。距離画像か
ら指定高さを示す特定領域を抽出し、その領域の二次元
画像から部分画像を特定することを前処理として行うこ
とを妨げない。

【００１０】物体の検出処理を行うにあたっては、距離
部分画像から得た三次元情報を平面に当てはめて、その
平面の法線が撮像座標系のＺ軸に一致するように上記三
次元情報を撮像座標系の原点を中心に回転させ、回転後
の三次元情報を上記座標系のＸ−Ｙ平面に投影して、投
影画像と予め登録されているモデルとの照合により、対
象物体の仮の位置・姿勢を求め、これを上記回転前に戻
して、対象物体の位置・姿勢を算出することが好まし
い。

【００１１】更に本願発明の第３の特徴とするところに
よれば、エッジ画像から曲線のエッジのみを抽出して、
曲線エッジから更に円を抽出し、抽出した円の各エッジ
点の視差から求まる三次元情報を用いて、上記円の位置
姿勢を検出するために、高速化を図ることができると同
時に、高い精度を保つことができる。エッジ画像から曲
線エッジのみを抽出するにあたっては、基準となるエッ
ジ画像から直線を抽出し、抽出した直線付近のエッジを
消去することで、曲線エッジの抽出を効率よく行うこと
ができる。特に基準となるエッジ画像から直線を抽出
し、抽出した直線付近のエッジで且つ濃度勾配の向きと
直線の方向ベクトルとのなす角が９０°に近いエッジを
消去することで曲線のエッジのみを抽出するならば、曲
線エッジとして残すべき部分まで消去してしまうおそれ
が少なくなる。

【００１２】基準となるエッジ画像から曲線のエッジの
みを抽出するにあたり、基準となるエッジ画像中におい
て任意のエッジ点を注目エッジ点とし、この注目エッジ
点の周囲点に次のエッジ点を探索して、探索したエッジ
点の濃度勾配の向きと上記注目エッジ点の濃度勾配の向
きの差が一定値以下となるエッジ点を次の注目エッジ点
として登録する処理を、注目エッジ点の周囲点に次の注
目エッジ点が発見できなくなるまで続けて、急激な湾曲
をもたない曲線あるいは直線のエッジにグループ化し、
同一グループ内のエッジ点の分布から曲線のエッジのみ
を抽出するならば、必要とする曲線エッジのみの抽出を
効率よく行うことができる。

【００１３】抽出された曲線エッジの中で視差が算出さ
れているエッジ点の数あるいは割合が一定値以上となる
曲線エッジを抽出し、ここから円を抽出すると、必要な
円の抽出を効率よく行うことができる。そして抽出され
た曲線エッジに円を最小二乗法で当てはめてその中心を
算出するとともに、曲線エッジの任意のエッジ点から円
の中心に向かう方向と、上記任意のエッジ点における濃
度勾配の向きとの差が一定値以下または一定値以上とな
る曲線エッジを抽出し、ここから円を抽出するならば物
体がリング状であっても、必要とする円エッジのみを効
率良く抽出することができる。

【００１４】抽出した任意の曲線エッジの組み合わせに
よって円を構成するにあたっては、画像上において曲線
エッジ間の距離が小さいものから順に組み合わせるとと
もに、一定距離以上のものは組み合わせずに円を構成し
たり、あるいは組み合わせた曲線エッジの二次元データ
から最小二乗法で円を求めて組み合わせた曲線エッジ上
の各点が求めた円から一定距離以内にある時のみ、組み
合わせた曲線エッジが同一円上に存在するとして円を構
成したり、円の構成が可能とされた二つの曲線エッジに
対して、第１の曲線エッジ上の任意の２点と第２の曲線
エッジ上の任意の１点の各点の視差から求まる三次元情
報を用いて形成される平面と、第２の曲線エッジ上の任
意の２点と第１の曲線エッジ上の任意の１点の各点の視
差から求まる三次元情報を用いて形成される平面との各
法線の向きの差が一定値以内となる場合にのみ、上記二
つの曲線エッジを同一円上に存在するとして円を構成し
たりすることによって、誤った曲線エッジの組み合わせ
で円を構成してしまうことが無くなる。

【００１５】抽出した円エッジの中心位置や半径を求め
るにあたっては、円エッジ上の各点の三次元情報を用い
て円エッジが当てはまる平面を求めて、この平面の法線
が基準座標系のＺ軸に一致するように上記三次元情報を
撮像座標系の原点を中心に回転させ、回転後の円エッジ
のｘ，ｙ座標値を用いてその円の中心・半径を最小二乗
法で算出し、算出した中心座標を回転前に戻すことで行
うのが好ましい。的確に上記値を算出することができ
る。

【００１６】この時、円エッジが当てはまる平面を求め
て、この平面から三次元空間中において一定距離以上の
点に対応する円エッジ点を取り除いた後、円の中心・半
径を算出したり、円エッジが当てはまる平面を求めて、
この平面から三次元空間中において一定距離以上の点に
対応する円エッジ点を取り除いた後、残る円エッジ点で
構成される円エッジが当てはまる平面を再度求めてこの
平面を回転させたりするならば、誤差の大きいデータを
除去することができるために、より正確な算出を行うこ
とができるものとなる。

【００１７】抽出した円エッジを三次元空間で平面と球
とに当てはめて、平面と球の交差する面上に形成される
球の断面である真円の中心位置及び半径を算出してもよ
く、この場合、処理が簡単となるために、処理時間が短
くてすむものであり、精度を厳しく追及する必要がなく
且つ処理時間を短縮する必要がある場合に適したものと
なる。

【００１８】検出された円の大きさ・三次元空間中にお
ける位置関係により、物体の位置・姿勢を検出認識する
ことで、複数の円形状を有する物体の認識も可能とな
る。

【００１９】

【実施例】以下本発明を図示の実施例に基づいて詳述す
ると、本発明の第１及び第２の特徴とするところにおい
ては、距離画像と、この距離画像と同一視点から撮像し
た二次元画像とを用いるが、距離画像の作成方法につい
ては種々の方法があるものの、ここではステレオ画像か
ら、すなわち異なる視点から撮像した２枚の二次元画像
から距離画像を作成する場合について説明する。図２に
おいて、１０ａ、１０ｂはステレオ画像を得るためのテ
レビカメラである。ここで、テレビカメラ１０ａ，１０
ｂのうち、二次元画像蓄積部４と接続されているテレビ
カメラ１０ａで撮像された画像はステレオ基準画像とし
て用いられる。テレビカメラ１０ａ，１０ｂで撮像され
た画像は、ステレオ画像処理部２において対応付け処理
がなされ、三次元画像作成部３において、上記対応付け
結果に基づいて算出された距離をステレオ基準画像上に
マッピングすることで距離画像を作成する。また、一方
のテレビカメラ１０ａで撮像された二次元画像は、二次
元画像蓄積部４に蓄積される。そして、二次元画像と距
離画像とを基に、物体存在領域抽出部５は物体が存在す
る領域を抽出し、三次元位置姿勢検出部６は物体存在領
域及びその近傍の距離画像を用いて物体の三次元位置や
姿勢を検出する。

【００２０】図３は検出物体の一例を、図４(a)はその
二次元画像Ｉ２を、図４(b)は距離画像Ｉ３を示してい
る。距離画像Ｉ３に施した斜線は、高さの違いを表して
いる。なお、この表現方法は後述の場合においても同じ
としてある。距離画像からでは検出できない検出物体の
表面上に存在する形状パターンを使って物体存在領域を
抽出する場合について、まず説明すると、上記物体存在
領域抽出部５による物体存在領域の抽出は、図５に示す
場合においては、パターンマッチングによって行ってい
る。例えば検出物体の表面に「Ｂ」という文字がある場
合、この文字「Ｂ」を検出パターンとし、上記二次元画
像Ｉ２と検出パターンとのパターンマッチングを行い、
マッチングスコアがしきい値以上である部分を抽出する
とともに、図６に示すように、抽出部分の重心Ｇ１を中
心とする一定の範囲内を物体存在領域イとしている。そ
して、距離画像Ｉ３におけるこの物体存在領域イに対応
する部分画像に対して物体の検出処理を行っている。こ
の検出処理としては、従来例として述べた２つの方法は
もちろん、後述する他の方法を用いることができる。

【００２１】物体存在領域イの設定にあたっては、図７
及び図８に示すように、二次元画像Ｉ２からエッジを抽
出するとともに、エッジ密度がしきい値以上である部分
を抽出し、この抽出部分の重心Ｇ２を中心に物体存在領
域イを設定して、距離画像Ｉ３におけるこの物体存在領
域イに対応する部分画像に対して物体の検出処理を行う
ようにしてもよい。物体のテキスチャの統計的画像特徴
量の違いは、二次元画像Ｉ２においてエッジ密度として
現れるために、これを利用しているわけである。

【００２２】図３に示す複数個の直方体のうち、中央に
位置するものだけが赤色であり、他が青色であるような
場合、図９に示すように、二次元画像Ｉ２から色抽出
（この場合は赤色を抽出）するとともに赤色成分がしき
い値以上である部分を抽出し、図１０に示すように、こ
の抽出部分の重心Ｇ３を中心に物体存在領域イを設定し
て、距離画像Ｉ３におけるこの物体存在領域イに対応す
る部分画像に対して物体の検出処理を行うようにしても
よい。色に代えて、明るさによって特定部分を抽出する
ようにしてもよいのはもちろんである。

【００２３】この他、対象物体の三次元幾何特徴に由来
する二次元幾何特徴を利用して、あらかじめ検出物体の
存在領域を限定することができる。図１１は、二つの直
線がＴ字状に接続しているという二次元幾何特徴を利用
した場合を示しており、図１２に示す物体から図１３
(a)に示す二次元画像Ｉ２と同図(b)に示す距離画像Ｉ３
とが得られた場合、二次元画像Ｉ２からエッジを抽出し
てハフ（Ｈｏｕｇｈ）変換により直線検出を行い、更に
検出した直線の交点を抽出してこの交点近傍のエッジに
よりＴ字状接続の有無を判断することで、図１４に示す
ように、Ｔ字接続交点Ｇ４を抽出する。そして、Ｔ字接
続交点Ｇ４を中心とする一定の範囲内の領域を距離画像
Ｉ３に適用させ、距離部分画像から物体の三次元位置や
姿勢を検出する。

【００２４】図１５及び図１６に示すように、二次元画
像Ｉ２から慣性主軸ＥＡ１と重心Ｇ５とを検出し、更に
慣性主軸ＥＡ１を通り且つ二次元画像Ｉ２に垂直な平面
Ｐに距離画像Ｉ３を投影して、この投影画像から図１７
に示すように慣性主軸ＥＡ２と重心Ｇ６とを検出すれ
ば、２本の慣性主軸ＥＡ１，ＥＡ２から慣性主軸の姿勢
を検出することができ、２個の重心Ｇ５，Ｇ６から慣性
主軸の位置を検出することができる。

【００２５】更に、図１８に示すように、上述のように
慣性主軸の姿勢と位置とを検出した後、対象物モデルの
慣性主軸と重心を求めて、これを検出した慣性主軸の姿
勢と位置に一致させ、次いで対象物モデルをその慣性主
軸を中心に回転させて、対象物モデルと対象物体との一
致度を求め、一致度が最大となる時の対象物モデルの位
置及び姿勢から物体の三次元位置及び姿勢を検出するこ
とができる。この場合、三次元空間中の物体の位置姿勢
を代表する慣性主軸の位置及び姿勢を基準として固定す
ることにより、物体の三次元空間中での６自由度のうち
５自由度を拘束することになるために、三次元空間中の
物体の位置姿勢を高速に且つ精度良く検出することがで
きることになる。

【００２６】図２０(a)の二次元画像Ｉ２及び同図(b)の
距離画像Ｉ３から明らかなように、図１２に示した物体
が山積みされているような場合、図１９に示すように、
前処理として、検出物体の存在位置の予測高さを設定す
るとともに、距離画像Ｉ３から予測高さより高い領域を
抽出する（図２１(a)）とともに画像中での位置がその
領域と同じ領域を二次元画像Ｉ２から抽出する（図２１
(b)）とよい。その後、二次元画像Ｉ２’と距離画像Ｉ
３’の予測高さを基準として限定した領域に対して、前
述のような処理（ここでは図１１に示したものと同じ処
理）を行って物体の三次元位置や姿勢を検出する。

【００２７】このような三次元物体の認識方法は検査に
応用することができる。たとえば図２３は、ベース７の
角孔７０に角柱８を挿入した時、角柱８がベース７に対
して垂直（θ＝９０°）に挿入されたどうかの検査に応
用する場合であって、図２２は前述のパターンマッチン
グを用いた場合についての例を示しており、２台のテレ
ビカメラからのステレオ画像から、図２４(a)に示す二
次元画像Ｉ２及び同図(b)に示す距離画像Ｉ３を得る。
また、角柱８の上面にある円８０（孔やねじ孔を利用す
ることができる）を検出パターンとして、前記実施例と
同様に、物体存在領域を限定した後、角柱８の三次元空
間中での位置や姿勢を検出する。この検出結果に基づい
て、角柱８の傾きθを求め、挿入状態の良否を判別す
る。

【００２８】図２５〜図２８は、前述のテキスチャを利
用して抽出した距離部分画像から物体の位置姿勢の検出
を行う場合の検出法の一例を示している。図２６に示す
物体８がある時、これを撮像して得た距離画像からテキ
スチャを利用して物体８の上面に対応する部分画像を抽
出し、この部分画像から得られる三次元情報を平面に当
てはめることによって図２７に示すように上記物体８の
上面が含まれる三次元空間中の平面Ｐａを求める。この
平面Ｐａは、最小二乗法で式ａｘ＋ｂｙ＋ｃｚ＋１＝０中の係数ａ，ｂ，ｃを算出することによって得ることが
できる。次いで図２８に示すように平面Ｐａの法線Ｐａ
ｚが撮像座標系のＺ軸に一致するように物体の上面内の
点の三次元位置を上記座標系の原点ｐｏを中心に回転さ
せ、回転後の物体の上面内の点のｘ，ｙ座標値を用いて
基準座標系の平面（ここでは上記撮像座標系のＸ−Ｙ平
面Ｐｘｙ）に投影する。こうして得た投影画像と予め登
録されているテンプレート画像Ｍ（たとえば図２８(b)
に示すもの）とのパターンマッチングにより、投影画像
上での物体の位置・姿勢を求め、更に求めた物体の位置
を上記回転前に逆変換することで、物体の上面の位置・
姿勢を求めることができる。なお、二次元画像上での物
体の位置や姿勢を検出するにあたり、ここではテンプレ
ート画像とのパターンマッチングを用いたが、一般化ハ
フ変換のような他の方法を用いてもよいのはもちろんで
ある。

【００２９】以上の実施例においては、三次元空間中の
物体を撮像して得た距離画像と同一の視点から二次元画
像を得て、この二次元画像を基に対象物体の位置姿勢の
検出処理を行う領域を抽出限定したり、対象物体の慣性
主軸及び重心を抽出したが、対象物体が円柱形のような
円形状を有する物体である場合には、エッジ画像を利用
して円の部分を抽出し、この円についての位置姿勢や半
径の計測を行うことで、物体の認識の更なる高速化を図
ることができる。

【００３０】この場合、図２９に示すように、照明１９
によって照らされる物体１８を撮像する２台のカメラ１
１，１２と、両カメラ１１，１２で撮像されたアナログ
画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１
３，１４と、デジタル画像信号を蓄積するフレームメモ
リ１５，１６と、フレームメモリ１５，１６に接続した
処理装置１７でシステムを構成する。そして、エッジ画
像のステレオ画像処理で平行ステレオ変換を行って、つ
まり２台のカメラ１１，１２の向き・焦点距離などを合
わせ込み、画像上で対応すべき画素のｙ座標が一致する
ように２台のカメラ１１，１２で撮像された画像に変換
を行うことで、対応点探索の効率化を図るとともに、算
出された２つの画像のｘ座標の差である視差をカメラ１
１で撮像しエッジ抽出された画像（ステレオ基準画像）
上にマッピングして視差画像を作成する。距離画像が必
要である時には視差から距離への変換を加える。たとえ
ば、図３０に示すように、高さの異なる円柱状物体１
８，１８，１８が配置されている時、これを上方から撮
像することで、図３１(a)に示すステレオ基準画像のエ
ッジ画像と、図３１(b)に示す視差画像とを得る。な
お、図３１(b)においては、線の太さで高低を表してお
り、高い部分ほど太くしてある。

【００３１】今、撮像によってフレームメモリ１５，１
６に蓄積された画像を平行ステレオ変換することでエッ
ジ画像・濃度勾配の方向画像に変換する。画像からエッ
ジを抽出するために、図７１に示すソーベル・オペレー
タを用いる。このオペレータの適用に際しては、オペレ
ータ中心を注目画素に合わせ、近隣画素の濃度値とオペ
レータの数値とを掛け合わせることにより、Ｘ，Ｙ各方
向の一次微分値Ｇx ，Ｇy を、それをもとに微分強度｜
Ｇ｜、濃度勾配の向きθを求める計算をすべての画素に
対して行う。座標［ｘ，ｙ］における画素の濃度をＩ
（ｘ，ｙ）とすると、Ｘ，Ｙ各方向の一次微分値Ｇx ，
Ｇy は次式によって表される。

【００３２】 Gx(x,y)=｛I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)｝-｛I(x-
1,y-1)+2I(x-1,y)+I(x-1,y+1)｝ Gy(x,y)=｛I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)｝-｛I(x-
1,y+1)+2I(x,y+1)+I(x+1,y+1)｝これを用いて各画素位置での微分強度｜Ｇ｜、濃度勾配
θは次にように求められる。

【００３３】｜G｜=(Gx²+Gy²)^1/2 θ＝tan ^-1(Gy/Gx) 微分強度｜Ｇ｜の値に対してあるしきい値を設けて微分
強度の低い画素の微分強度を０にした後、微分強度がそ
の近傍で最高となる点、すなわち微分強度の尾根線をエ
ッジ点として抽出することにより、図３２(a)に示すエ
ッジ画像を得ることができる。そして、このステレオ基
準画像のエッジ画像から図３２(b)に示すように、曲線
成分のみを抽出し、抽出した曲線成分から更に図３３
(b)に示すように、円を抽出する。

【００３４】また、２枚のステレオエッジ画像からステ
レオ画像処理に基づいて前述のように視差を算出し、こ
の視差をステレオ基準画像のエッジ画像上にマッピング
して視差画像を作成し、上記のようにして抽出した円の
視差画像上の対応する部分から円エッジ上各点の三次元
位置を算出して、この三次元位置情報より円柱状物体１
８の上面の円の中心位置・姿勢を計測することで、物体
１８の位置・姿勢を認識する。

【００３５】ステレオ基準画像のエッジ画像から曲線成
分のみを抽出することは、例えばハフ変換で直線を抽出
し、抽出した直線から一定距離以内に存在するエッジを
消去することによって行うことができる。図３４に示す
ように、コンベア９２を流れてくる物体１８が図３５に
示す３種の物体のうちのどれであるかの選別を行う場合
について説明すると、図３７に示すように、平行ステレ
オ変換と微分画像及び濃度勾配方向画像の作成を経てエ
ッジ画像を作成する。この時、ステレオ基準画像となる
画像を撮像するカメラ１１が、物体１８をほぼ真上から
撮像した時には、図３６(a)に示すようなエッジ画像を
得ることができるとともに、ここからハフ変換を行って
直線を抽出して、抽出した直線１２６，１２７から一定
距離以内に存在するエッジを消去すれば、コンベア９２
によるエッジ１２２〜１２５を消去してしまうことがで
きるために、物体１８の上面の円エッジ１２１のみを抽
出することができる。そして、抽出した円の視差から円
エッジ各点の三次元位置を算出して、得られた三次元位
置情報から物体１８の上面の円の中心位置及び半径を計
測すれば、その中心位置（高さ）と半径とによって物体
１８が図３５に示す３種の物体のうちのどれであるかを
特定することができる。

【００３６】ところで、円柱状の物体１８が図３８や図
３９に示すように、上面のエッジに直線成分を含むもの
である場合、単に抽出した直線から一定距離以内に存在
するエッジを消去するのでは、曲線の一部も消去してし
まうことになる。この点に対処するには、図４０及び図
４１に示すように、抽出した直線１７７，１７８，１７
９，１７ａ，１７ｂ，１７ｃから一定距離以内に存在し
且つその濃度勾配の向きとその直線の方向ベクトルのな
す角が９０°から一定値以内とするエッジを消去すれば
よい。このようにすれば、図４０(b)に示すように、円
のエッジ１７１の一部を消去してしまうことなく、直線
エッジを消去することができる。

【００３７】エッジ画像から直線成分を消去して曲線成
分のみとすることについては、図４２〜図４５に示すよ
うに次のようにしてもよい。つまり、ステレオ基準画像
のエッジ画像からエッジ点を見つけて記憶し、図４３
(a)に示すように発見した注目エッジ点２０１の周囲点
を右隣から時計回りの順に他のエッジ点があるかどうか
探し、エッジ点が存在すればそのエッジ点の濃度勾配の
向きと先に記憶したエッジ点２０１の濃度勾配の向きの
差が一定以下となるエッジ点を次の注目エッジ点として
記憶するという処理をエッジ点が注目エッジ点２０１の
周囲点に発見できなくなるまで続け、記憶したエッジ点
の数が一定値以上であるものを別々に抽出すると、図４
３(b)に示すように、急激な湾曲を持たないエッジに組
み分けることができる。こうして組み分けた急激な湾曲
を持たないエッジ毎に、図４４に示すように、エッジの
始点２２１と中点２２２とを結んだ線分と、エッジの始
点２２１と終点２２３を結んだ線分とがなす角２２４を
調べてこの値が一定値以上となるエッジのみを残せば、
図４５(a)に示すように、急激な湾曲を持たない曲線を
描いているエッジのみを抽出することができ、ここから
図４５(b)に示すように円エッジを抽出することができ
る。

【００３８】曲線となっているエッジの中から円のエッ
ジを抽出することについては、次のようにして行うこと
ができる。まず、図４６に示す場合の手法は、物体１８
の下面側においては円形状であっても多くの部分がその
物体１８に隠れてしまうためにエッジ画像中に円となっ
て現れることはまずなく、そして物体１８の上面側と下
面側とでは上面側の方が視差が大きくなることを利用し
たもので、図４７(a)に示すように曲線のみが抽出され
たエッジ画像中から、各曲線エッジ２６１，２６２，２
６３の視差算出状況を調べ、視差が算出されている割合
が一定値以下の曲線エッジを削除すれば、同図(b)に示
すように、下面のエッジの可能性が高い曲線エッジ２６
１を削除して、上面側の曲線エッジ２６２，２６３のみ
とすることができ、ここから同図(c)に示すように円を
抽出するのである。

【００３９】物体１８が図４９に示すようにリング状で
ある場合には、その上面側に二重の円エッジが生じるこ
とから、このうちの一方の円エッジ（図４８に示すもの
では外側の円エッジ）のみを抽出するとよい。すなわ
ち、上記物体１８のエッジ画像が図５０(a)に示すもの
に、そして直線成分を消去した時に図５０(b)に示すも
のとなっているとともに、図５１に示すように、背景よ
り明るく見えて外側リングのエッジ３３１部分の濃度勾
配の向き３３５が円に対して内側に、内側リングのエッ
ジ３３２部分の濃度勾配の向き３３８が円に対して外側
に向いているならば、真円の当てはめ式ｘ²＋ｙ²＋ａｘ＋ｂｙ＋ｒ＝０を用いて係数ａ，ｂ及び定数項ｒを最小二乗法で求める
ことで、上面の各エッジ３３１，３３２毎に真円を当て
はめてその中心（−ａ／２，−ｂ／２）３３４を算出す
るとともに、真円が当てはめられたエッジの任意の１点
を選んでこの１点から算出した円の中心３３４に向かう
方向を求め、この方向３３４と選ばれた１点の濃度勾配
の向き３３７，３３８の差が一定値（９０°）以下とな
る上面のエッジを抽出すれば、ステレオ基準画像のエッ
ジ画像を内側円エッジ３３２が消去された図５０(c)に
示すものとすることができる。なお、９０°以上となる
ものを選択すれば、外側円エッジ３３１が消去されて内
側円エッジ３３２が残ることになる。

【００４０】図５２に示す実施例は、図５３に示すよう
に円柱状物体１８が山積みされているためにそのエッジ
画像が図５４(a)に示すようになっている場合に、最上
位の物体を検出してその位置・姿勢を計測するためのも
のである。エッジ画像中に複数存在している曲線エッジ
の中から、最上位に位置するために最大視差を有してい
るエッジを選んで図５４(a)に示すようにこれを基準エ
ッジ３８１とするともに、他のエッジについて基準エッ
ジ３８１からの距離が短い順に番号（３８２，３８３
…）を付し、基準エッジ３８１が円成分であるかどうか
を調べて円成分と見なすことができない場合には任意の
エッジを基準エッジに選ぶ。そして円成分と見なすこと
ができる場合には、他のエッジが基準エッジと同一円を
構成するものであるかどうかを調べることを上記番号順
に行うとともに同一円と判定されたエッジを基準エッジ
に含ませる。この処理を基準エッジからの距離が一定値
以下の他のエッジについても行って図５４(b)に示すよ
うに同一円のエッジを一まとめにすることで、最上位の
円エッジを抽出することができ、ここから最上位の物体
１８の位置・姿勢を検出することができる。

【００４１】図５５に示すものは、図５４(a)に示すエ
ッジ画像中から最上位に位置するために最大視差を有し
ているエッジを選んでこれを基準エッジ３８１とし、他
のエッジについて基準エッジ３８１からの距離が短い順
に番号（３８２，３８３…）を付した後、楕円の当ては
めのための次式ａｘ²＋ｂｙ²＋２ｈｘｙ＋２ｇｘ＋２ｆｙ＝１の係数ａ，ｂ，ｈ，ｇ，ｆを最小二乗法で求めることに
より基準エッジ３８１に楕円を当てはめてその中心座標
（ｘ_o，ｙ_o）を算出し、図５６に示すように、基準エ
ッジの各点４１７と楕円４１１の中心４１２を通る直線
４１３と楕円の２交点４１４，４１５の中でエッジ点４
１７と近い方向の距離４１６が、基準エッジの各点のど
れかの点において一定値以上となった時、基準グループ
を円の成分と見なさずに次の基準エッジを任意に選ぶと
ともに、一定値以下となる場合には基準エッジを円の成
分と見なして、この基準エッジ３８１と近傍のエッジ３
８２とを組み合わせて、上記式の係数ａ，ｂ，ｈ，ｇ，
ｆを最小二乗法で求まることにより、基準エッジに楕円
を当てはめて、その中心座標（ｘ_o，ｙ_o）を算出す
る。そして、基準エッジ３８１とその近傍のエッジ３８
２の各点と今求めた楕円との距離を求め、すべての距離
が一定値以下である場合は基準エッジ３８１とその近傍
のエッジ３８２は同一円上にあるエッジと判断し、その
距離がひとつでも一定値以下でない場合時には、同一円
上のエッジではないと判断し、基準エッジ３８１に次の
近傍エッジ３８３を組み合わせて上記処理を行う。この
一連の処理を組み合わせるエッジがなくなるまで行え
ば、同一円のエッジを一まとめにすることができる。こ
こにおいて、上記楕円の中心座標（ｘ_o，ｙ_o）はｘ_o＝（ｈｆ／ｂｇ）／（ａｂ−ｈ²）ｙ_o＝（ｈｇ／ａｆ）／（ａｂ−ｈ²）と表すことができる。

【００４２】図５７に示す実施例も、図５８に示すよう
に山積みされた円筒状物体１８のエッジ画像が図５９
(a)に示すものになっている場合に最上位物体を検出す
るためのもので、視差の点から抽出した最上位エッジを
基準エッジ４４１とする。ここにおいて、基準エッジ４
４１と同一円を構成すべきエッジ４４２が物体の傾き等
のために検出されていない場合、上記実施例による手法
ではエッジ４４３が基準エッジ４４１と組み合わされる
ものと判断されてしまうおそれがあることから、ここで
は基準エッジ４４１とエッジ４４３とが上記実施例で述
べたような手法で同一円上のエッジであると判定された
時、図６０に示すように、基準エッジ４４１の任意の２
点と他のエッジ４４３の任意の１点の各点の視差から求
まる三次元情報を用いて形成した平面４５３の法線の向
きと、エッジ４４２の任意の２点と基準エッジ４４１の
任意の１点の各点の視差から求まる三次元情報を用いて
形成した平面４５４の法線の向きとの差が一定値以内と
なる場合にのみ、同一円とする最終判定を行う。この処
理により、最上位の物体の上面の円のエッジを図５９
(b)に示すように抽出することができる。

【００４３】円柱状物体の上面の円エッジを抽出してか
らの処理について説明すると、図６１〜図６３に示す実
施例は、図２５に示した場合と同様に、抽出した円エッ
ジの視差から円エッジ上の各点の三次元位置を算出し、
最小二乗法でａｘ＋ｂｙ＋ｃｚ＋１＝０という円の当てはめ式から係数ａ，ｂ，ｃを算出するこ
とで、図６２に示すように、物体１８の上面を含んでい
る平面Ｐａを求め、図６３に示すように、この平面Ｐａ
の法線Ｐａｚが撮像座標系のＺ軸に一致するように物体
の上面内の点の三次元位置を上記座標系の原点ｐｏを中
心に回転させて、回転後の物体の上面内の点のｘ，ｙ座
標値を用いて真円の当てはめ式ｘ²＋ｙ²＋ａｘ＋ｂｙ＋ｒ＝０の係数ａ，ｂ及び定数項ｒを最小二乗法で求め、回転後
の真円の中心位置４９１及び半径４９２を算出する。な
お、ここでは撮像座標系を基準座標系としている。そし
て、算出した真円の中心位置４９１を回転前に逆変換す
ることで、物体１８の上面の真円の中心位置４８６を算
出して物体１８の位置・姿勢と半径とを得る。座標回転
後の真円算出において、最小二乗法による前記楕円の当
てはめ式を用いて係数ａ，ｂ，ｈ，ｇ，ｆの算出を行
い、楕円の標準形に変換することにより、楕円柱の位置
・姿勢及び長半径・短半径を得ることができる。

【００４４】図６４に示す実施例においては、上述のよ
うに平面Ｐａの法線Ｐａｚが撮像座標系のＺ軸に一致す
るように物体の上面内の点の三次元位置を上記座標系の
原点ｐｏを中心に回転させた後、回転後の円を構成する
各エッジ点と求めた平面Ｐａの三次元空間中での距離４
９３（ｚ座標値の差）が一定値以上であるエッジ点を取
り除く。上記エッジ点が取り除かれた回転後の物体１８
の上面のエッジ点のｘ，ｙ座標値を用いて真円の当ては
め式の係数ａ，ｂや定数項ｒを最小二乗法で求め、回転
後の真円の中心位置４９１及び半径４９２を算出する。
なお、ここでは撮像座標系を基準座標系としている。そ
して、算出した真円の中心位置４９１を回転前に逆変換
することで、物体１８の上面の真円の中心位置４８６を
算出して物体１８の位置・姿勢と半径とを得る。また座
標回転後の真円算出において、最小二乗法による前記楕
円の当てはめ式を用いて係数ａ，ｂ，ｈ，ｇ，ｆの算出
を行い、楕円の標準形に変換することにより、楕円柱の
位置・姿勢及び長半径・短半径を得ることができる。

【００４５】図６５に示す実施例においては、上述のよ
うに平面Ｐａの法線Ｐａｚが撮像座標系のＺ軸に一致す
るように物体の上面内の点の三次元位置を上記座標系の
原点ｐｏを中心に回転させた後、回転後の円を構成する
各エッジ点と求めた平面Ｐａの三次元空間中での距離
（ｚ座標値の差）が一定値以上であるエッジ点を取り除
き、もう一度円柱体１８の上面のエッジが含まれる三次
元空間中の平面Ｐａを最小二乗法で求め、求めた平面Ｐ
ａの法線Ｐａｚが撮像座標系のＺ軸に一致するように物
体の上面内の点の三次元位置を上記座標系の原点ｐｏを
中心に回転させる。この後、回転後の物体１８の上面の
エッジ点のｘ，ｙ座標値を用いて真円の当てはめ式の係
数ａ，ｂや定数項ｒを最小二乗法で求め、回転後の真円
の中心位置４９１及び半径４９２を算出する。そして、
算出した真円の中心位置４９１を回転前に逆変換するこ
とで、物体１８の上面の真円の中心位置４８６を算出し
て物体１８の位置・姿勢と半径とを得る。この場合も、
座標回転後の真円算出において、最小二乗法による前記
楕円の当てはめ式を用いて係数ａ，ｂ，ｈ，ｇ，ｆの算
出を行い、楕円の標準形に変換することにより、楕円柱
の位置・姿勢及び長半径・短半径を得ることができる。

【００４６】図６６に示す実施例においては、上述のよ
うに抽出した円エッジの視差から円エッジ上の各点の三
次元位置を算出し、最小二乗法で円の当てはめ式から係
数ａ，ｂ，ｃを算出することで、物体１８の上面を含ん
でいる平面Ｐａを求める。また図６７に示すように、物
体１８の上面の真円が含まれる三次元空間中の球５３１
を最小二乗法で求める。球を当てはめる場合、上面の真
円は同一平面上に存在するので、一意には球が決まらな
いが、球の中心は上記平面Ｐａに垂直且つ平面上に存在
する真円の中心を通る直線上であることまで限定され
る。また、ここで求める球はその半径が上面の真円の半
径より大きく上面の真円を含む球であればどのような球
であってもよいため、球の中心座標の軸のうちどれかひ
とつの値を固定すれば球を決定することができる。本実
施例では、球の中心のｚ座標値を物体の存在範囲のｚ座
標値から上面の真円の半径以上異なるｚ座標値ｃ₀に固
定した。つまり、球の式をｘ²＋ｙ²＋ｚ²＋ａｘ＋ｂｙ−２ｃ₀ｚ＋Ｒ＝０として、最小二乗法で係数ａ，ｂ及び定数項Ｒを求め
た。円柱状物体１８の上面の真円の中心５３３は、上記
球の中心５３２を通り上記平面Ｐａの法線ベクトル５３
７と同じ方向ベクトルを持つ直線と上記平面の交点を算
出することにより求まり、その半径５３４は球の半径５
３５の二乗から球の中心と真円の中心との距離５３６の
二乗を引いた値の平方根として求まる。従って、この場
合においても物体１８の位置・姿勢及び半径を求めるこ
とができる。

【００４７】図６８〜図７０は、自動組立作業への応用
例を示すもので、図６９に示すように、二つの孔を持つ
部品５４１と、二つの突起を有する部品５４２とをロボ
ットで組み立てるにあたり、孔及び突起を検出してこれ
らの位置・姿勢を検出することで部品５４１，５４２の
位置・姿勢を検出することを行っている。つまりステレ
オ基準画像のエッジ画像（図７０(a)）や濃度勾配方向
画像及び視差画像を作成し、上記エッジ画像から曲線エ
ッジを抽出して図７０(b)に示す４つの円エッジを抽出
する。この４つの円エッジから対応する三次元空間中で
の４つの円の中心の中点・中心間を結ぶ線分の向き・２
つの円で形成される平面の法線の向きを算出することに
より、突起を二つ有する部品５４２の位置・姿勢を決定
するとともに、残り二つの円で同様の処理を行うこと
で、孔を二つ有する部品の位置・姿勢を決定する。

【００４８】

【発明の効果】以上のように本発明においては、三次元
空間中の物体を撮像して得た距離画像と同一の視点から
二次元画像を得て、この二次元画像の部分画像を特定
し、この特定した二次元部分画像を距離画像に適用させ
て距離画像の部分画像を抽出し、この距離部分画像に対
して物体の検出処理を行うことから、つまりは物体の検
出処理に際して、二次元画像を利用してあらかじめ距離
画像における検出物体の存在領域を限定しておき、この
限定した領域の距離部分画像に対して物体の検出処理を
行うことから、距離画像の全域で検出処理を行う従来例
に比して、検出処理の高速化を図ることができるもので
ある。

【００４９】また三次元空間中の物体を撮像して得た距
離画像と同一の視点から二次元画像を得て、二次元画像
上の対象物体像の慣性主軸及び重心を抽出し、その慣性
主軸を通り且つ二次元画像面に垂直な平面に距離画像を
投影し、投影面上での対象物体像の慣性主軸及び重心を
抽出し、得られた２本の慣性主軸及び２個の重心から三
次元空間中での対象物体の慣性主軸の位置姿勢を検出す
るものにおいては、三次元空間中の物体の位置姿勢を代
表する慣性主軸の位置及び姿勢を容易に検出することが
できるために、やはり検出処理の高速化を図ることがで
きる。

【００５０】この時、検出した対象物体の三次元空間中
での慣性主軸及び重心と対象モデルの慣性主軸と重心と
を一致させ、対象物モデルをその慣性主軸を中心に回転
させて、対象物モデルと対象物体との一致度を求めるこ
とにより、三次元空間中での対象物体の位置姿勢を検出
するようにしても、やはり検出処理の高速化を図ること
ができる。

【００５１】距離画像から指定高さを示す特定領域を抽
出し、その領域の二次元画像から部分画像を特定するこ
とを前処理として行うならば、更に高速化を図ることが
できるものとなる。そして、物体の検出処理を行うにあ
たっては、距離部分画像から得た三次元情報を平面に当
てはめて、その平面の法線が撮像座標系のＺ軸に一致す
るように上記三次元情報を撮像座標系の原点を中心に回
転させ、回転後の三次元情報を上記座標系のＸ−Ｙ平面
に投影して、投影画像と予め登録されているモデルとの
照合により、対象物体の仮の位置・姿勢を求め、これを
上記回転前に戻して、対象物体の位置・姿勢を算出する
ことが好ましく、このようにすることで、精度をより高
く保つことができる。

【００５２】更に本願発明の第３の特徴とするところに
よれば、エッジ画像から曲線のエッジのみを抽出して、
曲線エッジから更に円を抽出し、抽出した円の各エッジ
点の視差から求まる三次元情報を用いて、上記円の位置
姿勢を検出することから、円形状を有する物体、たとえ
ば円筒やリング、あるいは任意の形状の物体の円形の物
体とが組み合わされた物体が単独あるいは複数ある場合
に、これらの位置・姿勢及び大きさを精度良く且つ高速
に検出することができる。

【００５３】エッジ画像から曲線エッジのみを抽出する
にあたっては、基準となるエッジ画像から直線を抽出
し、抽出した直線付近のエッジを消去することで、曲線
エッジの抽出効率を高くすることができ、特に、基準と
なるエッジ画像から直線を抽出し、抽出した直線付近の
エッジで且つ濃度勾配の向きと直線の方向ベクトルとの
なす角が９０°に近いエッジを消去することで曲線のエ
ッジのみを抽出するならば、曲線エッジとして残すべき
部分まで消去してしまうおそれが少なくなるために、精
度を高くすることができる。

【００５４】基準となるエッジ画像から曲線のエッジの
みを抽出するにあたっては、基準となるエッジ画像中に
おいて任意のエッジ点を注目エッジ点とし、この注目エ
ッジ点の周囲点に次のエッジ点を探索して、探索したエ
ッジ点の濃度勾配の向きと上記注目エッジ点の濃度勾配
の向きの差が一定値以下となるエッジ点を次の注目エッ
ジ点として登録する処理を、注目エッジ点の周囲点に次
の注目エッジ点が発見できなくなるまで続けて、急激な
湾曲をもたない曲線あるいは直線のエッジにグループ化
し、同一グループ内のエッジ点の分布から曲線のエッジ
のみを抽出すると、曲線エッジの中でも必要とする曲線
エッジのみの抽出を効率よく行うことができる。

【００５５】抽出された曲線エッジの中で視差が算出さ
れているエッジ点の数あるいは割合が一定値以上となる
曲線エッジを抽出し、ここから円を抽出すると、必要な
円の抽出を効率よく行うことができて信頼性を向上させ
ることができる。そして抽出された曲線エッジに円を最
小二乗法で当てはめてその中心を算出するとともに、曲
線エッジの任意のエッジ点から円の中心に向かう方向
と、上記任意のエッジ点における濃度勾配の向きとの差
が一定値以下または一定値以上となる曲線エッジを抽出
し、ここから円を抽出する時には、物体がリング状であ
って曲線エッジの数が多い時にも、必要とする円エッジ
のみを、つまり外側円エッジまたは内側円エッジのいず
れか一方のみを抽出することができるために、リング状
物体の認識も可能となる上に処理の高速化を図ることが
できる。

【００５６】抽出した任意の曲線エッジの組み合わせに
よって円を構成するにあたっては、画像上において曲線
エッジ間の距離が小さいものから順に組み合わせるとと
もに、一定距離以上のものは組み合わせずに円を構成す
ると、誤った組み合わせが生じてしまうことを未然に防
ぐことができ、組み合わせた曲線エッジの二次元データ
から最小二乗法で円を求めて組み合わせた曲線エッジ上
の各点が求めた円から一定距離以内にある時のみ、組み
合わせた曲線エッジが同一円上に存在するとして円を構
成した時には、誤った組み合わせが生じるおそれを軽減
することができるとともに、明らかに同一円でない曲線
エッジの組み合わせを排除することができる。

【００５７】また、円の構成が可能とされた二つの曲線
エッジに対して、第１の曲線エッジ上の任意の２点と第
２の曲線エッジ上の任意の１点の各点の視差から求まる
三次元情報を用いて形成される平面と、第２の曲線エッ
ジ上の任意の２点と第１の曲線エッジ上の任意の１点の
各点の視差から求まる三次元情報を用いて形成される平
面との各法線の向きの差が一定値以内となる場合にの
み、上記二つの曲線エッジを同一円上に存在するとして
円を構成したりすることによって、誤った曲線エッジの
組み合わせで円を構成してしまうことが無くなるため
に、信頼性が向上する。

【００５８】抽出した円エッジの中心位置や半径を求め
るにあたっては、円エッジ上の各点の三次元情報を用い
て円エッジが当てはまる平面を求めて、この平面の法線
が基準座標系のＺ軸に一致するように上記三次元情報を
撮像座標系の原点を中心に回転させ、回転後の円エッジ
のｘ，ｙ座標値を用いてその円の中心・半径を最小二乗
法で算出し、算出した中心座標を回転前に戻すことで行
うのが精度及び処理速度の点で好ましく、的確に上記値
を算出することができる。

【００５９】この時、円エッジが当てはまる平面を求め
て、この平面から三次元空間中において一定距離以上の
点に対応する円エッジ点を取り除いた後、円の中心・半
径を算出したり、円エッジが当てはまる平面を求めて、
この平面から三次元空間中において一定距離以上の点に
対応する円エッジ点を取り除いた後、残る円エッジ点で
構成される円エッジが当てはまる平面を再度求めてこの
平面を回転させたりするならば、誤差の大きいデータを
除去することができるために、より正確な算出を行うこ
とができるものとなる。

【００６０】抽出した円エッジを三次元空間で平面と球
とに当てはめて、平面と球の交差する面上に形成される
球の断面である真円の中心位置及び半径を算出してもよ
く、この場合、処理が簡単となるために、処理時間が短
くてすむものであり、物体が真円である円柱状で精度を
厳しく追及する必要がなく且つ処理時間を短縮する必要
がある場合に適したものとなる。

【００６１】検出された円の大きさ・三次元空間中にお
ける位置関係により、物体の位置・姿勢を検出認識する
ことで、複数の円形状を有する物体の認識も可能とな
る。

【図面の簡単な説明】

【図１】本発明一実施例における動作を示すフローチャ
ートである。

【図２】同上のための装置のブロック図である。

【図３】検出物体の一例の斜視図である。

【図４】(a)は同上の二次元画像の説明図、(b)は同上の
距離画像の説明図である。

【図５】同上の具体例を示すフローチャートである。

【図６】同上の動作説明図である。

【図７】同上の他の具体例を示すフローチャートであ
る。

【図８】同上の動作説明図である。

【図９】同上の別の具体例を示すフローチャートであ
る。

【図１０】同上の動作説明図である。

【図１１】同上の更に別の例を示すフローチャートであ
る。

【図１２】同上の場合の検出物体の一例の正面図であ
る。

【図１３】(a)は同上の二次元画像の説明図、(b)は同上
の距離画像の説明図である。

【図１４】同上の動作説明図である。

【図１５】他の実施例のフローチャートである。

【図１６】同上の動作説明図である。

【図１７】同上の他の動作説明図である。

【図１８】別の実施例のフローチャートである。

【図１９】更に他の実施例のフローチャートである。

【図２０】同上の動作説明図であって、(a)は二次元画
像の説明図、(b)は距離画像の説明図である。

【図２１】(a)は前処理した後の距離画像の説明図、(b)
は前処理した後の二次元画像の説明図である。

【図２２】検査に応用した場合のフローチャートであ
る。

【図２３】検査対象物の斜視図である。

【図２４】(a)は同上の二次元画像の説明図、(b)は同上
の距離画像の説明図である。

【図２５】位置・姿勢を求める方法の一例のフローチャ
ートである。

【図２６】対象物体の例の斜視図である。

【図２７】同上の対象物体の上面が当てはめられた平面
の説明図である。

【図２８】(a)は同上の平面を回転させた状態を示す説
明図、(b)はテンプレート画像の説明図である。

【図２９】対象物体が円柱状である場合の装置のブロッ
ク図である。

【図３０】同上の対象物体の一例の斜視図である。

【図３１】(a)はステレオ基準画像のエッジ画像の説明
図、(b)は視差画像の説明図である。

【図３２】(a)はエッジ画像の一例の説明図、(b)は抽出
した曲線エッジの説明図、(c)は抽出した円エッジの説
明図である。

【図３３】同上の処理のフローチャートである。

【図３４】他例における撮像時の状態を示す斜視図であ
る。

【図３５】同上における物体の斜視図である。

【図３６】(a)は同上におけるエッジ画像の説明図、(b)
は抽出した円エッジの説明図である。

【図３７】同上における処理のフローチャートである。

【図３８】別の例における撮像時の状態を示す斜視図で
ある。

【図３９】同上における物体の斜視図である。

【図４０】(a)は同上におけるエッジ画像の説明図、(b)
はチャートした円エッジの説明図である。

【図４１】同上における処理のフローチャートである。

【図４２】他の実施例における処理のフローチャートで
ある。

【図４３】(a)は同上におけるエッジ点探索の説明図、
(b)は抽出した急激な湾曲を持たないエッジの説明図で
ある。

【図４４】同上における曲線エッジ抽出の説明図であ
る。

【図４５】(a)は同上によって抽出した曲線エッジの説
明図、(b)は抽出した円エッジの説明図である。

【図４６】別の実施例における処理のフローチャートで
ある。

【図４７】(a)は抽出した曲線エッジの説明図、(b)は同
上によって更に抽出した曲線エッジの説明図、(c)は抽
出した円エッジの説明図である。

【図４８】異なる実施例の処理のフローチャートであ
る。

【図４９】同上における物体の斜視図である。

【図５０】(a)はエッジ画像の説明図、(b)は抽出した曲
線エッジの説明図、(c)は同上の処理によって抽出した
曲線エッジの説明図である。

【図５１】同上における曲線エッジの選択処理の説明図
である。

【図５２】更に他の実施例の処理のフローチャートであ
る。

【図５３】同上における物体の斜視図である。

【図５４】(a)は同上におけるエッジ画像の説明図、(b)
は抽出した円エッジの説明図である。

【図５５】別の実施例の処理のフローチャートである。

【図５６】同上における抽出処理の説明図である。

【図５７】更に別の実施例の処理のフローチャートであ
る。

【図５８】同上における物体の斜視図である。

【図５９】(a)は同上におけるエッジ画像の説明図、(b)
は抽出した円エッジの説明図である。

【図６０】同上における円エッジの抽出処理の説明図で
ある。

【図６１】他の実施例の処理のフローチャートである。

【図６２】同上の対象物体の上面が当てはめられた平面
の説明図である。

【図６３】同上の平面を回転させた状態を示す説明図で
ある。

【図６４】別の実施例の処理のフローチャートである。

【図６５】更に他の実施例の処理のフローチャートであ
る。

【図６６】更に別の実施例の処理のフローチャートであ
る。

【図６７】同上における処理の説明図である。

【図６８】組立制御への応用例におけるフローチャート
である。

【図６９】同上における物体の斜視図である。

【図７０】(a)は同上におけるエッジ画像の説明図、(b)
は抽出した円エッジの説明図である。

【図７１】ソーベルオペレータの説明図である。

Claims

【特許請求の範囲】

【請求項１】三次元空間中の物体を撮像して得た距離
画像と同一の視点から二次元画像を得て、この二次元画
像の部分画像を特定し、この特定した二次元部分画像を
距離画像に適用させて距離画像の部分画像を抽出し、こ
の距離部分画像に対して物体の検出処理を行うことを特
徴とする物体認識方法。
【請求項２】二次元画像の部分画像の特定に際して、
パターンを用いることを特徴とする請求項１記載の物体
認識方法。
【請求項３】二次元画像の部分画像の特定に際して、
テキスチャを用いることを特徴とする請求項１記載の物
体認識方法。
【請求項４】二次元画像の部分画像の特定に際して、
色または明るさを用いることを特徴とする請求項１記載
の物体認識方法。
【請求項５】二次元画像の部分画像の特定に際して、
対象物体の三次元幾何特徴に由来する二次元幾何特徴を
用いることを特徴とする請求項１記載の物体認識方法。
【請求項６】三次元空間中の物体を撮像して得た距離
画像と同一の視点から二次元画像を得て、二次元画像上
の対象物体像の慣性主軸及び重心を抽出し、その慣性主
軸を通り且つ二次元画像面に垂直な平面に距離画像を投
影し、投影面上での対象物体像の慣性主軸及び重心を抽
出し、得られた２本の慣性主軸及び２個の重心から三次
元空間中での対象物体の慣性主軸の位置姿勢を検出する
ことを特徴とする物体認識方法。
【請求項７】検出した対象物体の三次元空間中での慣
性主軸及び重心と対象モデルの慣性主軸と重心とを一致
させ、対象物モデルをその慣性主軸を中心に回転させ
て、対象物モデルと対象物体との一致度を求めることに
より、三次元空間中での対象物体の位置姿勢を検出する
ことを特徴とする請求項６記載の物体認識方法。
【請求項８】距離画像から指定高さを示す特定領域を
抽出し、その領域の二次元画像から部分画像を特定する
ことを前処理として行うことを特徴とする請求項１から
７までのいずれかの項に記載の物体認識方法。
【請求項９】物体の検出処理を行うにあたり、距離部
分画像から得た三次元情報を平面に当てはめて、その平
面の法線が撮像座標系のＺ軸に一致するように上記三次
元情報を撮像座標系の原点を中心に回転させ、回転後の
三次元情報を上記座標系のＸ−Ｙ平面に投影して、投影
画像と予め登録されているモデルとの照合により、対象
物体の仮の位置・姿勢を求め、これを上記回転前に戻し
て、対象物体の位置・姿勢を算出することを特徴とする
請求項１または６記載の物体認識方法。
【請求項１０】三次元空間中の円形状を有する物体を
複数の方向から撮像して得た濃淡画像からエッジ画像と
濃度勾配方向画像とを得るとともに、ステレオ画像処理
により基準となるエッジ画像と他のエッジ画像より視差
画像を作成し、上記基準となるエッジ画像から曲線のエ
ッジのみを抽出して、曲線エッジから更に円を抽出し、
抽出した円の各エッジ点の上記視差から求まる三次元情
報を用いて、上記円の位置姿勢を検出することを特徴と
する物体認識方法。
【請求項１１】基準となるエッジ画像から直線を抽出
し、抽出した直線付近のエッジを消去することで曲線の
エッジのみを抽出することを特徴とする請求項１０記載
の物体認識方法。
【請求項１２】基準となるエッジ画像から直線を抽出
し、抽出した直線付近のエッジで且つ濃度勾配の向きと
直線の方向ベクトルとのなす角が９０°に近いエッジを
消去することで曲線のエッジのみを抽出することを特徴
とする請求項１０記載の物体認識方法。
【請求項１３】基準となるエッジ画像から曲線のエッ
ジのみを抽出するにあたり、基準となるエッジ画像中に
おいて任意のエッジ点を注目エッジ点とし、この注目エ
ッジ点の周囲点に次のエッジ点を探索して、探索したエ
ッジ点の濃度勾配の向きと上記注目エッジ点の濃度勾配
の向きの差が一定値以下となるエッジ点を次の注目エッ
ジ点として登録する処理を、注目エッジ点の周囲点に次
の注目エッジ点が発見できなくなるまで続けて、急激な
湾曲をもたない曲線あるいは直線のエッジにグループ化
し、同一グループ内のエッジ点の分布から曲線のエッジ
のみを抽出することを特徴とする請求項１０記載の物体
認識方法。
【請求項１４】曲線エッジから円を抽出するにあた
り、抽出された曲線エッジの中で視差が算出されている
エッジ点の数あるいは割合が一定値以上となる曲線エッ
ジを抽出し、ここから円を抽出することを特徴とする請
求項１０または１１または１２または１３記載の物体認
識方法。
【請求項１５】抽出された曲線エッジに円を最小二乗
法で当てはめてその中心を算出するとともに、曲線エッ
ジの任意のエッジ点から円の中心に向かう方向と、上記
任意のエッジ点における濃度勾配の向きとの差が一定値
以下または一定値以上となる曲線エッジを抽出し、ここ
から円を抽出することを特徴とする請求項１０または１
１または１２または１３または１４記載の物体認識方
法。
【請求項１６】抽出した任意の曲線エッジの組み合わ
せによって円を構成するにあたり、画像上において曲線
エッジ間の距離が小さいものから順に組み合わせるとと
もに、一定距離以上のものは組み合わせずに円を構成す
ることを特徴とする請求項１０〜１５のいずれかの項に
記載の物体認識方法。
【請求項１７】組み合わせた曲線エッジの二次元デー
タから最小二乗法で円を求めて組み合わせた曲線エッジ
上の各点が求めた円から一定距離以内にある時のみ、組
み合わせた曲線エッジが同一円上に存在するとして円を
構成することを特徴とする請求項１６記載の物体認識方
法。
【請求項１８】円の構成が可能とされた二つの曲線エ
ッジに対して、第１の曲線エッジ上の任意の２点と第２
の曲線エッジ上の任意の１点の各点の視差から求まる三
次元情報を用いて形成される平面と、第２の曲線エッジ
上の任意の２点と第１の曲線エッジ上の任意の１点の各
点の視差から求まる三次元情報を用いて形成される平面
との各法線の向きの差が一定値以内となる場合にのみ、
上記二つの曲線エッジを同一円上に存在するとして円を
構成することを特徴とする請求項１０〜１７のいずれか
の項に記載の物体認識方法。
【請求項１９】抽出した円エッジ上の各点の三次元情
報を用いて円エッジが当てはまる平面を求めて、この平
面の法線が基準座標系のＺ軸に一致するように上記三次
元情報を撮像座標系の原点を中心に回転させ、回転後の
円エッジのｘ，ｙ座標値を用いてその円の中心・半径を
最小二乗法で算出し、算出した中心座標を回転前に戻す
ことで、物体の位置・姿勢を検出することを特徴とする
請求項１０〜１８のいずれかの項に記載の物体認識方
法。
【請求項２０】円エッジが当てはまる平面を求めて、
この平面から三次元空間中において一定距離以上の点に
対応する円エッジ点を取り除いた後、円の中心・半径を
算出することを特徴とする請求項１９記載の物体認識方
法。
【請求項２１】円エッジが当てはまる平面を求めて、
この平面から三次元空間中において一定距離以上の点に
対応する円エッジ点を取り除いた後、残る円エッジ点で
構成される円エッジが当てはまる平面を再度求めて、こ
の平面を回転させることを特徴とする請求項１９記載の
物体認識方法。
【請求項２２】抽出した円エッジを三次元空間で平面
と球とに当てはめて、平面と球の交差する面上に形成さ
れる球の断面である真円の中心位置及び半径を算出する
ことを特徴とする請求項１０〜１８のいずれの項に記載
の物体認識方法。
【請求項２３】検出された円の大きさ・三次元空間中
における位置関係により、物体の位置・姿勢を検出認識
することを特徴とする請求項１０〜２２のいずれかの項
に記載の物体認識方法。