JPH0614361B2 - 視覚認識装置 - Google Patents

視覚認識装置

Info

Publication number
JPH0614361B2
JPH0614361B2 JP61113164A JP11316486A JPH0614361B2 JP H0614361 B2 JPH0614361 B2 JP H0614361B2 JP 61113164 A JP61113164 A JP 61113164A JP 11316486 A JP11316486 A JP 11316486A JP H0614361 B2 JPH0614361 B2 JP H0614361B2
Authority
JP
Japan
Prior art keywords
line segment
matching
model
degree
constituent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP61113164A
Other languages
English (en)
Other versions
JPS62269287A (ja
Inventor
冠 中野
敏孝 久野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP61113164A priority Critical patent/JPH0614361B2/ja
Publication of JPS62269287A publication Critical patent/JPS62269287A/ja
Publication of JPH0614361B2 publication Critical patent/JPH0614361B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】 【産業上の利用分野】
本発明は検出物体を含む画像の中から、精度良く所望の
物体の輪郭を特定する装置に関する。本発明は、特定さ
れた輪郭から、容易に検出物体の形状、位置、姿勢等を
求めることが出来るので、例えば、ロボットの視覚認識
装置に応用出来る。
【従来技術】
従来、検出の対象となっている物体を撮像し、得られた
画像データを処理して、所定の物体を認識する方法の1
つに、物体の特徴点をモデルのそれと比較する方法が知
られている(特開昭59-111575号)。その方法は、特徴
点に、画像の輪郭の角部が選択され、その特徴点間の距
離マップを求め、モデルに於ける特徴点間の距離マップ
と比較し、それらの一致の程度から、検出の対象となっ
ている物体上の特徴点を検出し、所望の物体を認識する
というものである。その他、画像から輪郭線を抽出し、
その輪郭線を直線、円、楕円等のプリミティブで近似
し、それらのプリミティブ間の位置関係を表す距離マッ
プを演算し、これをモデルの距離マップと比較し、その
一致の程度から、所望の物体を認識する方法(特開昭60
-204086号)が知られている。
【発明が解決しようとする問題点】
上記第1の方法は、角部、円の輪郭したがって円の中心
等の特徴点を精度良く検出する事が困難であり、そのた
め、認識の精度が良くないという問題がある。又第2の
方法は、輪郭線を直線、円、楕円等のプリミティブで精
確に近似するには、輪郭線を精確に抽出する必要があ
り、そのためには、物体を撮像する時の照明と背景の整
備を厳格に行わなければならないという問題がある。た
とえば、照明、背景を工夫し、画像処理を精度良く行っ
ても、輪郭線は連続したものとはならず、幾つかの箇所
で切断されたものとなる。この為、線分の両端等の特徴
点が精確に把握出来ないため、物体認識の精度が上がら
ない。また、ロボット制御では、物体の位置、姿勢を精
度良く認識するため、物体の一部をズームして撮像する
場合がある。かかる場合には、物体の輪郭線の一部だけ
しか画像として得られないため、距離マップの適用が困
難である。 このように従来の方法は、輪郭線の一部を代表する特徴
点を抽出しその特徴点間の距離マップをもとめ、モデル
のそれと比較するという方法がある。したがって、物体
認識の精度は特徴点を如何に精確に把握するかにかかっ
ている。ところが、特徴点は点として把握されるため、
輪郭線の抽出精度の良否に直接影響される。このため、
現実には、輪郭線が切れ切れの線分としてしか把握出来
ない場合には、物体認識の精度に問題がある。 本発明は、上記の問題点を解決するためになされたもの
であり、その目的とするところは、得られた輪郭線が、
切れ切れのものであり、輪郭線を構成する線分の両端の
点が精確に把握出来ない場合、検出の対象とする物体の
一部の画像のみが得られた場合、検出物体が他の物体と
重畳している場合等輪郭線を構成する線分の抽出誤差が
ある場合にも、精確に目的とする物体の存在位置、姿勢
等を認識する事である。
【問題点を解決するための手段および作用】
上記問題点を解決するための発明の構成は次の通りであ
る。即ち、本発明は、2次元画像から輪郭線を構成する
複数の構成線分を抽出し、その構成線分の存在する位置
に関する情報を求める構成線分抽出手段と、 検出物体の照合の対象となるモデルの輪郭線の少なくと
も主要部を構成するモデル線分の位置に関する情報を記
憶したモデル線分記憶手段と、 抽出された構成線分と、モデル線分とを照合し、その一
致の程度により、前記モデル線分に対応した前記構成線
分を特定する照合手段と、からなる視覚認識装置であっ
て、 前記照合手段は、1のモデル線分と1の構成線分との照
合の一致の程度を算定するに際し、照合の対象となって
いる1のモデル線分である特定モデル線分と他のモデル
線分との位置関係から、前記他のモデル線分をそれに対
応すべき他の構成線分を基準としてその構成線分に、一
方の線分が他方の線分に含まれるように移動又は回転に
より重ね合わせて対応させた時、その重ね合わせの自由
度に基づく対応の不確定性により生じる前記特定モデル
線分の位置し得る範囲を求め、該範囲から前記特定モデ
ル線分に対応した構成線分の存在可能性領域を求める存
在可能性領域演算手段と、構成線分が該存在可能性領域
に存在する程度に応じて、照合の一致の程度を算定する
存在位置判定手段とを有することを特徴とするものであ
る。 ここで、構成線分、モデル線分としては、直線の他、円
弧、楕円曲線、双曲線、放物線等の曲線も含まれるが、
単に直線線分のみにより構成する事も出来る。位置に関
する情報は、直線線分であれば、両端の位置座標の他、
一端又は中点の位置座標と長さ及び傾斜角の組等で表す
事が出来る。又、曲線線分であれば、曲線の種類と両端
の位置座標と曲線上の任意の位置座標の組等で表す事が
出来る。 存在可能性領域演算手段によって求められる特定モデル
線分の存在可能性領域は、概念的に図示すると第2図の
ようになる。(a)図のようにモデル線分は(m,m
,m,m,m)に設定されているものとし、構
成線分は(e)が抽出されたものとする。今、モ
デル線分mと構成線分eが(b)図に示すように長
さΔLの誤差で対応しているものとする。このモデル線
分mと構成線分eの対応の方法は一般に4通りあ
る。即ちモデル線分の端点Aの構成線分の端点Cに対応
させる方法、同様に、端点Bを端点Dに、端点Aを端点
Dに、端点Bを端点Cに対応させる方法である。この内
前2者が(c)(d)に図示されている。このように構
成線分eを基準にして、構成線分eがモデル線分m
より短い場合には、構成線分eがモデル線分m
含まれるように、逆に、構成線分eがモデル線分m
より長い場合には、モデル線分mが構成線分eに含
まれるように重ね合わせるときモデル線分mの存在位
置に自由度がある。上記4つの状態は自由度のある対応
関係の臨界状態を示したものである。このように、モデ
ル線分mと構成線分eとにおいて、一方の線分が他
方の線分に含まれるように重ね合わせた場合において、
モデル線分mを移動させ得る自由度があるために、対
応の不確定性が発生する。図から明らかなように、モデ
ル線分m〜mは、構成線分eに対しΔLの位置の
不確定性を有していることになる。したがって、モデル
線分mに注目すれば(照合の対象となり注目されてい
るモデル線分を「特定モデル線分」という)、その特定
モデル線分mの位置し得る範囲は、構成線分eを基
準として固定した時、(e)図に示すようにSとS
で示す範囲となる。すると、特定モデル線分mに対応
した構成線分は、少なくともこの範囲に存在しなければ
ならない。よって、この領域に存在する構成線分は、こ
の特定モデル線分に対応し得るものであり、逆にこの範
囲に存在しない構成線分は、この特定モデル線分に対応
しないとして、特定モデル線分に対する構成線分の一致
の程度を算定することが出来る。 上記の説明は、モデル線分mと構成線分eとが、対
応しているとして、モデル線分mと対応する構成線分
の一致の程度を算定するものであるが、既に、モデル線
分(m,m,m,m)と構成線分(e
,e,e)とが対応しているとして、特定モデ
ル線分mと照合される構成線分の一致の程度を算定す
る場合の上記の特定モデル線分mの採り得る範囲S
は、 として求められる。但し、N(m,e,;m
は、モデル線分mを構成線分eに対応させた時の特
定モデル線分mの採り得る範囲である。したがって、
Sは、それらの共通部分となる。 モデル線分と構成線分との組合せは、当初からモデル線
分の数に対応した数の構成線分を任意に対応させて対応
組を生成し、その各組毎の特定モデル線分に対し上記の
範囲を求め、その特定モデル線分に対する照合の一致の
程度を算定し、特定モデル線分を順次変化させた時のそ
の照合の一致の程度の総和から、その組の全体の照合の
一致の程度を算定する方法がある。また、実施例で説明
するように、モデル線分を逐次選択し、照合の一致の程
度を算定しながら、それまでに求められた照合の一致の
程度の最も大きい組に対し、更にモデル線分を選択する
という木状に対応組を展開する効率の良い方法にも本発
明は適用出来る。 上記の特定モデル線分の存在し得る範囲は、そのまま対
応する構成線分の存在可能性領域とすることも出来る
が、上記範囲に許容誤差幅を付加してこれを存在可能性
領域とすることも出来る。 又、上記の特定モデル線分の存在し得る範囲の求め方
は、理解を容易にする為に、やや限定して説明している
が、上記の対応関係によって求める方法に限定するもの
ではない。要は、1のモデル線分の1を構成線分に一定
の不確定性をもって対応ずけた時、モデル線分間の相対
的位置関係によって定められる特定モデル線分の存在し
得る範囲を求めることでる。 又、上記の存在可能性領域による判定の他、モデル線分
間の相対的姿勢により、1のモデル線分を1の構成線分
に対応させた時、特定モデル線分の採り得る姿勢を求
め、照合する構成線分のこの姿勢との一致の程度を加味
することにより、さらに、照合の信頼性及びスピードが
向上する。 又、モデル線分と構成線分の長さの一致の程度を算定
し、これを、上記照合の一致の程度に加味して判定すれ
ば、さらに、照合の信頼性及びスピードが向上する。 上記した様に、本発明装置では、照合手段の存在可能性
領域演算手段の作用により、特定モデル線分と対応すべ
き構成線分の存在すべき領域が算定され、存在位置判定
手段の作用により、構成線分がその領域に存在する程度
に応じて、特定モデル線分とそれに対応する構成線分の
照合の一致の程度が算定される。したがって、照合の一
致の程度の判定に存在可能性領域という概念を導入し、
いわば、面積という2次元的特徴量により判定している
ため、構成線分の両端点等の1次元的特徴量は必ずしも
精確に知る必要はない。このため、構成線分が切れ切れ
にしか求められなかったり、検出物体の1部の輪郭線に
関する構成線分しか得られない場合でも、構成線分間の
相対的位置関係が、情報として含まれていさえすれば、
上記の存在可能性領域を演算することが出来、精確に検
出物体を認識する事が出来る。
【実施例】
以下、本発明を具体的な実施例に基づいて説明する。本
実施例装置Rは、第11図に示すように、検出物体Qの
位置及び姿勢を検出し、その物体を作業対象とするロボ
ットSの姿勢を制御するロボット制御装置Tに、予め教
示されたモデルの位置、姿勢に対する検出物体の位置及
び姿勢の変位データを出力し、ロボットの教示経路を補
正する為に使用される視覚認識装置に関するものであ
る。 (1)全体の構成 本装置は、第1図に示すように、大きく分けて5つの部
分から成る。即ち、検出物体を撮像しその映像信号を処
理して、検出物体を含む全ての物体の輪郭線を構成する
直線の線分(以下、構成線分が直線の線分で構成された
ものを「構成直線」という)を抽出しその位置に関する
情報を記憶する構成直線抽出部Aと、検出物体の照合の
対象となるモデルの輪郭線の少なくとも主要部を構成す
る直線の線分(以下、モデル線分が直線の線分で構成さ
れたものを「モデル直線」という)の位置に関する情報
を作成し記憶するモデリング部Bと、モデル直線と構成
直線とを順次所定の論理に従って選択し、モデル直線と
構成直線との組(以下単に「対応組」という)を発生さ
せる対応組生成部Cと、新たに選択されたモデル直線と
対応する構成直線の照合の一致の程度(以下単に「照合
度」という)を算出する照合度演算部Dと、照合の結果
に基づき検出物体の位置及び姿勢を演算する照合後処理
部Eとから成る。 本実施例装置では、モデル線分及び構成線分を全て直線
で構成している。また、対応組の生成は、第3図に示す
様に照合の対象となるモデル直線を順次増加させる探索
木に沿って、過去の照合度の内最大の枝を選択するとい
う順序理論に従っている。そして、照合度が所定値以上
になった時、検出物体が認識されたものとしている。 (2)対応組生成の論理 モデル直線は、第5図に示す様に、(m,m
,m)が選択され、構成直線には、(e
14)が抽出されたものとする。モデル直線は、認識の
重要度に応じて重み値(ωωωω)が与えられ
ている。第1ステップで、1番目のモデル直線が選択さ
れる。その選択は最も重み値が大きいものが選択され
る。この重み値の1/2が、累積される照合度(本実施例
では、各ステップ毎に求められる特定モデル直線に対す
る照合度を累積して対応組全体の照合度としているの
で、この累積された照合度を特に区別する場合には「累
積照合度」という)の初期値とされる。図中、累積照合
度は〔 〕内の数値で示されている。次に第2ステップ
で、選択されたモデル直線mに対し、(e〜e14
の構成直線を対応させて対応組(以下、第nステップで
生成された対応組を特に区別する場合には、「n次対応
組」という)が生成される。そして、この2次対応組の
全てに対し照合度演算部Dによって特定モデル直線に対
する照合度が演算され、その照合度は累積照合度に加算
され、新たな累積照合度が算定される。そして、過去に
生成された対応組(1次〜2次対応組)の内、累積照合
度の最も大きい対応組(m,e14)が選される。次に
第3ステップに移行し、2番目のモデル直線を組み込ん
だ3次対応組が生成される。この時の累積照合度は、組
み込んだモデル直線の重み値の1/2が加算される。その
後、今までに生成された対応組(1次〜3次対応組)の
中から累積照合度の最大の対応組(m,e14,m
が選択される。次に第4ステップで、第2ステップと同
様に、構成直線が組み込まれた4次対応組が生成され、
累積照合度が算定される。以下、同様に、奇数ステップ
で新たなモデル直線、偶数ステップで構成直線が組み込
まれ、累積照合度が最大となる対応組が選択されるとい
う処理が、全てのモデル直線が選択される方向に、探索
木経路に沿って進行される。 (3)構成直線抽出部 構成直線抽出部Aは、カメラ、画像入力装置1、微分装
置2、輪郭線検出装置3、輪郭線折線近似装置4と、各
装置の出力データを記憶するメモリ101〜104から
成る。 (a)画像入力装置 カメラにより撮像した物体の電子像を走査して、映像信
号を取り出し、受光面の画素座標に対応してサンプリン
グし、256の明度レベルにディジタル化して、画像メ
モリ101の画素座標に対応したアドレスに記憶して濃
淡画像を作成する装置である。 (b)微分装置 画像メモリ101に記憶されている濃淡画像の各画素座
標における明度勾配(グラディエント)を演算し、その
結果を画像メモリ102に記憶して微分画像を作成する
装置である。 明度勾配の演算方法は、画素座標上の動点Pを含む3×
3のメッシュ状に分割された各画素の明度を用いて、ソ
ーベルオペレータによって演算している。ここでソーベ
ルオペレータとは、第7図に示す様に3×3の各画素の
明度をa〜iとした時、動点Pにおける明度勾配
(f,fny)を次のように演算するものである。 f=c+2f+i−(a+2d+g) ……(2) f=g+2h+i−(a+2b+c) ……(3) このような、ソーベルオペレータによる微分演算は、積
和演算器で構成している。 (c)輪郭線抽出装置 画像メモリ102から微分画像を入力して、輪郭線を検
出し、その輪郭線上の点の画素座標を輪郭線リストメモ
リ103に形成する装置である。 輪郭線上の点は明度勾配の絶対値がその周りの点のそれ
に比べて大きくなることが知られている。したがって、
輪郭線を構成する点列は、画素座標上の動点Pにおける
メモリの絶対値が所定値よりも大きく且つその周りの点
のそれよりも小さくない点を検出し、その点から出発
し、明度勾配の方向に垂直な方向の隣接画素をその点に
隣接した輪郭線上の点として選択し、選択された点を基
準にその点の明度勾配から次の輪郭線上の点を選択する
という操作を逐次実行することにより求めることが出来
る。 (d)輪郭線折線近似装置 輪郭線リストメモリ103から輪郭線上の点列を入力し
てその点列データから輪郭線を追跡し、それを折線近似
して、各折線の両端の画素座標を構成直線リストメモリ
104に作成する装置である。 折線近似は、輪郭線リストメモリにおける点について、
この点の輪郭線に沿う方向ベクトルの向きが、許容誤差
範囲内で等しい点列を同一の直線を構成する点列とする
ことによって行う。 ここで、輪郭線に沿う方向ベクトルの向きとは、輪郭線
リストにおける任意の点をPi(Pi ,Pi )とし、
輪郭線リストにおいてPiのaだけ前後にある点をPi-a
(Pi-a ,Pi-a )及びPi+a(Pi+a ,Pi+a
とする時、 として与えられる。 折線の節点は、輪郭線上の点における方向ベクトルの向
きが所定値以上に変化する点として検出する事が出来
る。 この様にして第6図に示す様に求められた直線(構成直
線)は、その両端点の画素座標により特定され、次の様
に構成直線リストメモリに記憶される。 x1 1 2 2 1 1 2 2 ……x1
1 2 2 ここで(x1 ,y1 ),(x2 ,y2 )は、i番目
の構成直線eの端点座標である。 (4)モデリング部 検出物体の照合の対象となるモデルにおける輪郭線の主
要部を構成する直線(モデル直線)の位置に関する情報
を作成し、記憶する装置である。 このデータの入力はCRT画面上でカーソルを動かして
モデル直線mを発生させ、その直線の端点の位置を指
定することにより行われる。端点が指定されると、その
点の画素座標が自動的に生成され、モデル直線リストメ
モリ105に記憶される。又、モデル直線には、重み値
ωが設定され、それはモデル直線重み値リストメモリ
106に記憶される。この重み値は1のモデル直線に対
応する照合度の比重を示すものである。したがって、モ
デルの形態を良く代表しておりその直線が認識されれば
物体を特定出来る程度の高い直線程重み値は大きく設定
される。又、ロボットにより把持される物体の稜線のよ
うに、これが認識されることが特に重要となる場合に
は、認識の重要度の高いモデル直線重み値は大きく設定
される。又、物体を撮像した画像に於いて、安定して良
質の構成直線が検出される場合には、この直線に対応し
たモデル直線の重み値は大きく設定される。この様に重
み値を設定することにより、照合精度を向上させる事が
出来る。又、モデル直線は重み値の大きい順に選択さ
れ、累積照合度の最も大きい対応組が選択され、累積照
合度が所定値に達した時に、照合に成功したとして、照
合操作を打ち切るようにしているので、上記の様に重み
値を設定すれば、照合速度も向上させる事が出来る。係
るモデリング部Bほ作用により、第4図のモデルの輪郭
線に対し第5図の様なモデル直線の位置に関する情報が
入力される。 (5)対応組生成部 対応組生成部Cは、対応組リスト初期化装置6、モデル
直線選択及びリスト生成装置9、構成直線選択装置1
1、最大照合度対応組選択装置8、対応組リストメモリ
107、最大照合度対応組格納メモリ108と、状態レ
ジスタ7、10とから成る。対応組生成部Cは、第3図
に示す論理にしたがって対応組を生成、選択し照合度演
算部Dに出力する装置である。 (a)対応組リスト初期化装置 輪郭線折線近似装置4から、構成直線の生成が完了した
旨の信号を入力して、対応組リストメモリ107をクリ
アし、状態レジスタ7のビットをオンに設定する装置で
ある。 (b)対応組リストメモリ 本メモリ107は、モデル直線選択及びリスト作成装置
9により生成された対応組と照合度(第3図の奇数ステ
ップの処理結果)が、又照合度演算装置17から照合度
(第3図の偶数ステップの処理により演算された照合
度)が書き込まれる。又、最大照合度対応組選択装置8
からアクセスされる記憶装置である。 (c)最大照合度対応組格納メモリ 本メモリ108は、第3図に於いて、次の探索枝を選択
するために、選択された最大の照合度を有する対応組と
その照合度を記憶する装置である。 (d)モデル直線選択及びリスト作成装置 本装置9は、第3図の奇数ステップの対応組を生成しそ
の照合度を演算する装置である。即ち、最大照合度選択
装置8から起動信号S1を入力し、最大照合度対応組格
納メモリ108に記憶されている対応組(親節点)に対
し、モデル直線リストメモリ105から、選択されてい
ないモデル直線を選択し、対応組と新たな照合度を対応
組リストメモリに追加作成する装置である。 第1ステップでは、全てのモデル直線mが選択され、
その累積照合度ρは、それぞれの重み値ωの1/2とし
て初期設定される。一般には、重み値を大きい順に
とし、それに対応するモデル直線を
し、それまでに選択されたモデル直線を 累積照合度が最も大きくなる選択された対応組の構成直
線を とすると、最大照合度対応組格納メモリ108には、次
の対応組と累積照合度が記憶されている。 したがって、新たに生成される対応組と照合度は、次の
ようになる。 但し、i=P+1,……Mである。 そして、新たな奇数ステップの累積照合度ρo,iは次の
ように前の偶数ステップの累積照合度ρE,Pと、重み値
を用いて次式で求めている。 ρo,i=ρE,P/2 ……(6) この様にして、奇数ステップの累積照合度を含む対応組
が生成されると、本装置9の処理が完了した事を示すた
め、状態レジスタ10のビットがリセットされる。 (e)構成直線選択装置 本装置11は、最大照合度対応組選択装置8からの起動
信号S2を受信して、最大照合度対応組格納メモリ10
8に記憶されている対応組(第3図の奇数ステップの照
合度が最大の対応組)に対し、次の偶数ステップの対応
組を生成するための装置である。メモリ108、104
から選択された構成直線とモデル直線は、それぞれ、メ
モリ109と110に出力される。最大照合度対応組格
納リストメモリ108には、次の対応組が記憶されてい
る。 したがって、この対応組から、次の対応組が順次生成さ
れる。 但し、i=P+1,……Mである。 そして、第2ステップの照合度を算出する時は、選択さ
れたモデル直線が1本のため、姿勢候補、存在可能性領
域は演算する事が出来ないため、長さ照合度演算装置1
2のみを起動する信号が出力される、又、他のステップ
の時は、長さ照合度演算装置12を起動する信号と、最
初の対応組の照合度の演算時に姿勢候補演算装置13と
存在可能性領域演算装置15を起動する信号が出力され
る。照合度演算部Dからは、照合度が演算される度に、
対応組リストメモリ107に生成された対応組と累積照
合度が出力される。全ての照合度が算出された時、構成
直線選択装置11の処理が完了したことを示すため、状
態レジスタ7のビットがセットされる。 (f)最大照合度対応組選択装置 本装置8は、各ステップで今までに生成されている対応
組の中から累積照合度の最大の対応組を選択する装置で
ある。即ち、対応組リストメモリ107に記憶されてい
る対応組の中から、累積照合度の最大の対応組が選択さ
れ、その対応組は、最大照合度対応組格納メモリ108
に記憶される。また、選ばれた対応組は対応組リストメ
モリから削除され、同一の対応組を選択することのない
ようにしている。対応組リストメモリが、初期状態以外
で空の時は、全ての対応組に関し累積照合度を演算した
にも拘わらず、累積照合度が所定値に達しなかったこと
を意味しており、この場合には、照合失敗の信号が出力
される。又本装置は、状態レジスタ7、8のビットの状
態に応じて、偶数ステップと奇数ステップの処理を区別
して、装置9と装置11とを交互に起動するようにして
いる。 (6)照合度演算部 照合度演算部Dは、長さ照合度演算装置12、姿勢候補
演算装置13、姿勢判定装置14、存在可能性領域演算
装置15、存在位置判定装置16、照合度演算装置1
7、照合成功判定装置18、構成直線組格納メモリ10
9、モデル直線組格納メモリ110、姿勢候補格納メモ
リ111、存在可能性領域格納メモリ112から成る。 本装置は、構成直線選択装置11が構成直線組格納メモ
リ109とモデル直線組格納110に出力した構成直線
とモデル直線との組合せに関し、特定モデル直線に対す
る照合度を演算し、累積照合度に加算する装置である。
累積照合度が予め設定された閾値を越えれば、照合の成
功として、照合後処理部に起動信号が出力される。累積
照合度が閾値を越えなければ、この求められた対応組
は、累積照合度と共に対応組リストメモリ107に追加
記憶され、構成直線選択装置11に起動信号S3が出力
され、次の対応組が生成される。 (a)長さ照合度演算装置 本装置12は、モデル直線の長さと構成直線の長さから
長さ照合度Δρを次式により演算する装置である。 ただし、 は、モデル直線、構成直線の長さである。 (b)姿勢候補演算装置 対応組 に於いて、第8図に示す様に、モデル直線 の成す角をθmP+1とし、構成直線 の平面座標x軸との成す角をθ、特定モデル直線 に照合すべき構成直線 のx軸との成す角の期待値をとする。すると、期待値
は次式で求められる。 ただし、−π/2≦≦π/2を満たすように、(10)又は(1
1)式が選択される。 =θ+θmP+1 ……(10) =θ+θmP+1±π ……(11) この期待値は、姿勢候補格納メモリ111に記憶され
る。 (c)姿勢判定装置 選択された構成直線 が実際にx軸となす角θを求め、その値と期待値と
から、次式により、姿勢照合度Δρが算定される。 Δρ={1−2|−θ|/π}×0.2 ……(12) (d)存在可能性領域演算装置 モデル直線 と構成直線 から構成直線 の存在可能性領域を演算し、領域の角部の座標が存在可
能性領域格納メモリ112に格納される。 の存在可能性領域 は次式で与えられる。 ここで はモデル直線 に構成直線 を対応づけたとき、特定モデル直線 と他のモデル直線 間の相互の位置関係により決定される特定モデル直線 の存在し得る範囲である。したがって、領域 は他のモデル直線を変化させた時の個々の領域の共通部
分となる。 (e)存在位置判定装置 構成直線 が存在可能性領域に含まれるかどうかを検証し、含まれ
る程度により領域照合度Δρが次式により算定され
る。 Δρ=0.5 (全部が含まれる時) =0.25(一部が含まれる時) ……(14) =0 (全く含まれない時) (f)照合度演算装置 本装置は長さ照合度演算装置12、姿勢判定装置14、
存在位置判定装置16の出力Δρ,Δρ,Δρ
総計し、特定モデル直線と選択された構成直線との照合
度ρ′が演算され、前累積照合度ρo,P+1に照合度ρ′
が加算されて、新たな偶数ステップの累積照合度ρE,i
が求められる。 ρE,iは次式で演算される。 Δρ+Δρ+Δρ<TH1ならば ρE,i=−1 ……(15) そうでないならば ρE,i=ρo,P+1+(Δρ+Δρ+Δρ)ω/2…
…(16) 但しρo,P+1は最大照合度対応組格納メモリ108に格
納されている対応組 の累積照合度である。即ち、今、照合度が算出されてい
る対応組の親節点の累積照合度である。この演算結果
は、その対応組とともに、対応組リストメモリ107に
追加記憶される。 (g)照合成功判定装置 照合度演算装置17により、演算された累積照合度が、
予め設定された閾値TH2より大きい時、照合成功とし
て、構成直線組格納メモリ109と構成直線組格納メモ
リ110に記憶されている対応組を位置回転パラメータ
演算装置19に転送する装置である。 (7)照合後処理部 (a)位置・回転パラメータ演算装置 照合に成功した対応組 からモデルに対する検出物体の姿勢と位置の変位を求
め、ロボット制御装置へ出力する装置である。 位置・回転パラメータの求め方を次に述べる。まず、 の中から平行でない2直線m1 2 を選び、これに対
応する構成直線をe1 2 と置く。例えばm1 2
1 2 が第9図に示す様な位置関係にあるとする。
姿勢の変位は、m1 1 の座標x軸との成す角θ
θを用いてθ−θとして求めることが出来る。位
置の変位はm1 2 の交点のずれを知ることによって
求めることが出来る。交点C,Cの座標を(Cm
Cm),(Ce,Ce)として位置の変位は(Ce−Cm
,Ce−Cm)として求められる。このように検出物
体のモデルに対する位置・姿勢の変位量をロボットに教
え、ロボットは、これらの変位量を用いて物体の把持位
置を修正することが出来る。 (8)作用 次に、第3図にしたがって、作用を説明する。構成直線
抽出部Aにより、構成直線の抽出が完了すると、対応組
リスト初期化装置6は、対応組リストメモリ107をク
リアし、状態レジスタ7をオンにする。状態レジスタが
オンの時、最大照合度対応組選択装置8は、起動信号S
1をモデル直線及びリスト作成装置9に出力し、装置9
は、モデル直線リストメモリ105から、1次対応組を
生成し、モデル直線重み値リスト106から重み値を選
択して、累積照合度と共に、これらを対応組リストメモ
リ107に記憶し、状態レジスタ10をオフにする。す
ると、最大照合度対応組選択装置8は、1次対応組の中
から、累積照合度の最も大きい対応組を選択し、これを
最大照合度格納メモリ108に記憶し、構成直線選択装
置11に起動信号S2を出力し、装置11は、構成直線
リストメモリ104から、構成直線を選択し、最初の2
次対応組を生成し、メモリ109、110に記憶し、長
さ照合度演算装置12に起動信号を出力する。この演算
装置は、上記(9)式に従って、モデル直線と構成直線と
の照合度を演算する。この演算結果は、照合度演算装置
17により、累積照合度と共にその対応組が対応組リス
トメモリに追加的に記憶される。その後、上記装置は、
上記の処理を順次繰り返して実行し、2次対応組の全て
が展開され、累積照合度がメモリ107に得られる。第
2ステップの演算が全て完了すると、装置11は、状態
レジスタ7をオンにする。すると、装置8は、2次対応
組の中から最大の累積照合度を有する対応組を選択し、
装置9に起動信号を出力する。その装置9は、第1ステ
ップと同様にモデル直線を組込み累積照合度を演算し
て、3次対応組をメモリ107に展開し、状態レジスタ
10をオフにする。その後、装置8は、装置11に起動
信号を出力し、装置11は、第2ステップと同様に最初
の4次対応組を生成し、演算装置12、13、15に起
動信号を出力する。各演算装置は、(9)、(12)、(14)式
により、各照合度を演算し、それらの結果に基づき照合
度演算装置17により累積照合度が演算される。これら
の結果は、選択された対応組と共に、メモリ107に記
憶される。装置11は、次の対応組を生成し、装置1
2、14、16が起動されて、上記と同様に第4ステッ
プの他の対応組に関する照合度の演算が実行される。次
に上記の第3ステップの演算処理と同様にして奇数ステ
ップの演算が、第4ステップの演算処理と同様にして、
偶数ステップの演算が実行される。このように、演算が
進行する過程で、照合成功判定装置18により、累積照
合度が所定値以上となった時に、照合処理が完了する。 (9)変形例 存在可能性領域の演算は、第10図に示すように、選択
されたモデル直線 の交点からOから特定モデル直線 の両端点までの距離d1,d2を算定し、対応する構成直
の交点O1から照合しようとしている構成直線 の方向に距離d1,d2をとり、これに一定の幅ΔWを設
けた範囲を存在可能性領域とする事も出来る。 (10)他の実施例 本装置は、第12図に示すように、コンピュータシステ
ムにより構成する事も出来る。構成直線は、構成直線抽
出回路30により抽出され、それらの両端点の画素座標
が作業メモリ41に格納される。CPU40の処理手順
は、第13図に示されている。上記した処理と同様な処
理手順となっている。即ち、ステップ100では、第1
ステップの対応組を生成してそれらの累積照合度の初期
値を設定し、それらは、大きい対応組から順に記憶領域
Aに記憶される。ステップ114〜118では、偶数ス
テップの対応組を生成し、各照合度を演算し、累積照合
度が求められる。これに対しステップ122〜126で
は、第1ステップを除く奇数ステップの対応組と累積照
合度が演算される。そして、ステップ120では、今ま
でに、生成された対応組が累積照合度の大きい順に並べ
換えらる。演算処理の終了は、ステップ102または、
ステップ106で行われる。前者は累積照合度が所定値
に達する前に全ての対応組の生成が終了したことを意味
しており、照合の失敗を示している。これに対し、後者
は累積照合度が所定値に達した時に、終了するものであ
り、検出物体を認識するに十分な照合が行われたことを
意味している。
【発明の効果】
本発明は、視覚認識装置において、1のモデル線分と1
の構成線分との照合の一致の程度を算定するに際し、照
合の対象となっている1のモデル線分である特定モデル
線分と他のモデル線分との位置関係から、前記他のモデ
ル線分をそれに対応すべき他の構成線分を基準としてそ
の構成線分に移動又は回転により一方の線分が他方の線
分に含まれるように重ね合わせて対応させた時、その重
ね合わせの自由度に基づく対応の不確定性により生じる
前記特定モデル線分の位置し得る範囲を求め、該範囲か
ら前記特定モデル線分に対応した構成線分の存在可能性
領域を求める手段と、構成線分が該存在可能性領域に存
在する程度に応じて、照の一致の程度を算定する手段と
を具備させたことを特徴とするものである。 したがって、本発明では、線分の位置関係と対応の不確
定性により決定される領域を照合度の基礎としているの
で、構成線分の両端点が精確に求められず、切れ切れの
線分として求められる場合にも、線分の位置関係の情報
は把握出来るため、精確な物体の認識が行われる。ま
た、ロボットに使用される視覚認識装置の様に、検出物
体の一部を拡大して撮像する場合にも、線分間の位置関
係の情報量は含まれているので、検出物体を容易に認識
する事が出来る。
【図面の簡単な説明】
第1図は、本発明の具体的な一実施例に係る視覚認識装
置の構成を示したブロックダイヤグラム、第2図は、存
在可能性領域を説明する為の説明図、第3図は、対応組
を発生する論理を説明する説明図、第4図はモデルの輪
郭線を示した外形図、第5図は、モデル直線を示した説
明図、第6図は、画像から抽出された輪郭線を折線近似
して求めた構成直線の配置図、第7図は、微分演算子を
説明した説明図、第8図は、姿勢照合度の演算を説明す
る説明図、第9図は、モデルに対する検出物体の姿勢、
位置の変位を示した説明図である。第10図は、他の存
在可能性領域を示した説明図、第11図は、実施例装置
を使用したロボットシステム全体の構成を示したブロッ
クダイヤグラム、第12図は、他の実施例装置の構成を
示したブロックダイヤグラム、第13図は、同実施例装
置で使用されたCPUの処理手順を示したフローチャー
トである。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】2次元画像から画像の輪郭線を求め、その
    輪郭線から輪郭線を構成する複数の構成線分を抽出し、
    その抽出された構成線分の存在する位置に関する情報を
    求める構成線分抽出手段と、 検出物体の照合の対象となるモデルの輪郭線の少なくと
    も主要部を構成するモデル線分の位置に関する情報を記
    憶したモデル線分記憶手段と、 前記構成線分抽出手段により抽出された構成線分と、前
    記モデル線分記憶手段に記憶されているモデル線分とを
    照合し、その一致の程度を算定し、その一致の程度によ
    り、前記モデル線分に対応した前記構成線分を特定する
    照合手段と、からなる視覚認識装置であって、 前記照合手段は、1のモデル線分と1の構成線分との照
    合の一致の程度を算定するに際し、照合の対象となって
    いる1のモデル線分である特定モデル線分と他のモデル
    線分との位置関係から、前記他のモデル線分をそれに対
    応すべき他の構成線分を基準としてその構成線分に、移
    動又は回転により一方の線分が他方の線分に含まれるよ
    うに重ね合わせて対応させた時、その重ね合わせの自由
    度に基づく対応の不確定性により生じる前記特定モデル
    線分の位置し得る範囲を求め、該範囲から前記特定モデ
    ル線分に対応した構成線分の存在可能性領域を求める存
    在可能性領域演算手段と、構成線分が該存在可能性領域
    に存在する程度に応じて、照合の一致の程度を算定する
    存在位置判定手段とを有することを特徴とする視覚認識
    装置。
  2. 【請求項2】前記照合手段は、1のモデル線分と1の構
    成線分との照合の一致の程度を算定するに際し、照合の
    対象となっている1のモデル線分である特定モデル線分
    の他のモデル線分に対する相対姿勢から、前記他のモデ
    ル線分をそれに対応すべき他の構成線分に、移動又は回
    転により一方の線分が他方の線分に含まれるように重ね
    合わせて対応させた時、前記特定モデル線分の採り得る
    姿勢から、前記特定モデル線分に対応した構成線分の採
    り得る姿勢を求める姿勢候補演算手段と、構成線分が前
    記採り得る姿勢に一致する程度を算定する姿勢判定手段
    とを有し、前記存在可能性領域による一致の程度に加味
    して、照合の一致の程度を算定することを特徴とする特
    許請求の範囲第1項記載の視覚認識装置。
  3. 【請求項3】前記照合手段は、1のモデル線分と1の構
    成線分との照合の一致の程度を算定するに際し、それら
    の線分の長さの一致の程度を算定する長さ照合度演算手
    段を有し、それにより求められた一致の程度をさらに加
    味して照合の一致の程度を算定することを特徴とする特
    許請求の範囲第2項記載の視覚認識装置。
  4. 【請求項4】前記構成線分と前記モデル線分は、直線線
    分であり、前記構成線分抽出手段は、検出物体の輪郭線
    を折線近似する折線近似手段を有することを特徴とする
    特許請求の範囲第1項記載の視覚認識装置。
  5. 【請求項5】前記照合手段は、それまでに算定された照
    合の一致の程度の最も高いモデル線分と構成線分との組
    を順次選択しながら、照合の対象となるモデル線分を逐
    次増加さて照合の一致の程度を算定する順序処理手段を
    有することを特徴とする特許請求の範囲第1項記載の視
    覚認識装置。
JP61113164A 1986-05-16 1986-05-16 視覚認識装置 Expired - Lifetime JPH0614361B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP61113164A JPH0614361B2 (ja) 1986-05-16 1986-05-16 視覚認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP61113164A JPH0614361B2 (ja) 1986-05-16 1986-05-16 視覚認識装置

Publications (2)

Publication Number Publication Date
JPS62269287A JPS62269287A (ja) 1987-11-21
JPH0614361B2 true JPH0614361B2 (ja) 1994-02-23

Family

ID=14605171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP61113164A Expired - Lifetime JPH0614361B2 (ja) 1986-05-16 1986-05-16 視覚認識装置

Country Status (1)

Country Link
JP (1) JPH0614361B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0774730A2 (en) 1995-11-01 1997-05-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) * 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JP5013961B2 (ja) * 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
CN116934719B (zh) * 2023-07-26 2024-02-13 苏州德斯米尔智能科技有限公司 一种用于带式输送设备的自动检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0774730A2 (en) 1995-11-01 1997-05-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method

Also Published As

Publication number Publication date
JPS62269287A (ja) 1987-11-21

Similar Documents

Publication Publication Date Title
JP2885823B2 (ja) 視覚認識装置
US7403634B2 (en) Object tracking apparatus and method
JP2919284B2 (ja) 物体認識方法
JP5931215B2 (ja) 姿勢を推定する方法及び装置
EP1783683A1 (en) Mobile peripheral monitor
JP4900204B2 (ja) 物体認識方法
JP2012518857A (ja) 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定
GB2207536A (en) Image recognition system
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
JP2009128191A (ja) 物体認識装置およびロボット装置
US20080019568A1 (en) Object tracking apparatus and method
CN111178170A (zh) 一种手势识别方法和一种电子设备
JP5104248B2 (ja) 物体認識装置およびロボット装置
JP6558803B2 (ja) 幾何検証装置及びプログラム
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2001143073A (ja) 物体の位置姿勢決定の方法
Draper Learning control strategies for object recognition
JPH0614361B2 (ja) 視覚認識装置
CN114131149B (zh) 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质
CN115760919A (zh) 基于关键动作特征与位置信息的单人运动图像摘要方法
JP3516668B2 (ja) 3次元形状認識方法、装置およびプログラム
JP3548652B2 (ja) 物体形状復元装置及びその方法
JPH0624018B2 (ja) 楕円検出装置