JP2885823B2

JP2885823B2 - 視覚認識装置

Info

Publication number: JP2885823B2
Application number: JP1091077A
Authority: JP
Inventors: 冠中野; 和俊鋤柄
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1989-04-11
Filing date: 1989-04-11
Publication date: 1999-04-26
Anticipated expiration: 2014-04-26
Also published as: JPH02268380A; US5111516A

Description

【発明の詳細な説明】

【産業上の利用分野】本発明は、検出物体を含む画像の中から所望の物体を
抽出することによって物体の位置・姿勢を同定したり、
異品・欠品などの検査をする装置に関する。本装置はロ
ボットの視覚認識装置に応用できる。

【従来技術】

従来、検証の対象となっている物体を撮像し、得られ
た画像データからの物体の角部、円部又は直線部などの
物体の形状に関する特徴的な形状要素を抽出し、前もっ
て与えられたモデル物体の形状を構成する形状要素（以
下、モデルの形状要素を単に「モデル要素」という）の
集合から成る形状モデルと一致する検出物体の形状要素
の組合せを探索することによって、所望の物体を認識す
る方法が知られている（たとえば、特開昭59−111575,
特開昭60−204086,特開昭62−269287号公報）。又、物体の角部，円部を用いて同様に対象物体の位置
・姿勢を検出した後、対象物体の輪郭線を所定の距離間
隔で追跡し、その輪郭線の存在有無を単純加算し、一定
のしきい値と比較することによってまさしく対象物体か
否かを検証する方法が知られている。

【発明が解決しようとする課題】

ところが、上記第１の方法は、顕著な形状特徴である
形状要素をモデル物体のモデル要素と対比するという手
法であるため、対象物体とモデル物体とが誤対応すると
いう問題がある。なぜなら、円・コーナー・長い直線などの顕著な形状
特徴が対象物体のエッジ画像のなかに豊富に存在する場
合は少ない。たとえ顕著な形状特徴を豊富に持つ対象で
あっても、現在のエッジ検出技術では、正確なエッジ検
出が難しく、したがって、対象物体からモデルと照合さ
れ得る適性な形状要素を抽出することに困難性がある。このため、これらの形状特徴のみを使ってモデルのそ
れらと照合を行うと照合できないケースや誤対応を起こ
す場合が多い。又、上記第２の方法は、誤対応の問題の解決には次の
点で充分ではない。学習手段を有していないため、しきい値の与え方が自
動的でない。工場自動化等の画像認識においては、陰や照明ノイズ
や背景の物体の影響で所望の対象物体の輪郭線以外の擬
似輪郭線が抽出されることが多い。この擬似輪郭線のた
め誤対応が起こり、工学的実用上の信頼性の面で問題が
ある。又、対象物体の輪郭線だけでなく対象物体の内部
又は外部の部位も検証対象とすべきであるし、輪郭線が
存在すべきでないところの輪郭線の有無も検証すべきで
ある。又、陰の出やすいところを注視する機構も必要で
ある。ロボットの視覚装置としての応用分野では、対象物体
の位置・姿勢を同定するだけでなく異品検査、傷検査、
重畳して積載された部品の上下位置の判定などの種々の
検査も合わせて行う必要がある。第２の方法ではどの部
位を注視するかを学習し検証する汎用的手法を実現して
いない。

【発明の目的】

本発明は、上記の問題点を解決するためになされたも
のであり、その目的とするところは、物体の画像から抽
出された顕著な形状特徴とモデル物体のそれらとを順
次、照合して、即ち、探索してモデル物体と一致する対
象物体を同定し、その対象物体の位置・姿勢を用いて、
誤対応検出、異品，傷検査、重畳部品の上下判定などを
行うための汎用的な検証機構並びに検証機構パラメータ
を簡便に学習する学習機構によって、高信頼性且つ簡便
且つ多機能な実用的視覚認識を行うことにある。

【課題を解決するための手段】

上記課題を解決するための発明の構成は、第１図にそ
の概要を示すように、原始画像抽出手段Ａと形状特徴抽
出手段Ｂと形状モデリング手段Ｅと探索手段Ｃと検証手
段Ｄと学習手段Ｆとから成る。原始画像抽出手段Ａは、物体の２次元画像より該物体
の原始画像を抽出する手段である。ここで、原始画像とは、２次元撮像手段によりラスタ
走査をして得られる映像信号の濃淡レベルを画素毎にサ
ンプリングした濃淡画像や、濃淡レベルを画素毎に２値
化した２値画像や、画素毎に色情報を数値化した色画像
や、濃淡画像、２値画像又は色画像から対象物体の輪郭
線を抽出した線画像や、濃淡画像を平面座標で微分した
微分画像や、距離画像や、θ画像等である。即ち、物体
の映像信号の最初の加工画像であって、物体の形状に関
する情報を含み、後述する物体の形状要素の抽出に適し
た画像である。形状特徴抽出手段Ｂは、抽出された原始画像より物体
の形状に関する特徴的な形状要素を抽出する手段であ
る。ここで、物体の形状に関する特徴的な形状要素とは、
物体の画像において認識される直線、円弧、コーナー、
楕円曲線、双曲線、放物線、四角形などの幾何学的図形
である。この形状要素を特定する情報としては、たとえ
ば、直線であれば両端の位置座標の他、一端又は中点の
位置座標と長さ及び傾斜角の組等が考えられる。又、曲
線であれば曲線の種類と両端の位置座標と曲線上の任意
の位置座標の組等が考えられる。形状モデリング手段Ｅは、モデルの形状要素、即ち、
モデル要素を組合わせて認識すべき対象物体の照合の対
象となる形状モデルを生成する手段である。ここで、形状モデルとは、モデル物体の鮮明な理想画
像を想定した場合に抽出される得る形状要素の組合せで
あり、対象物体において抽出された形状要素の照合の対
象となる要素の集合である。係る手段は、CADシステムによってモデル物体を作図
したり、モデル物体を撮像して得られる画像をコンピュ
ータ処理によって修正して理想的なモデル物体の形状を
作成したりした上で、画面上でモデル要素を特定して、
そのモデル要素に関する情報をコンピュータ処理により
得るような装置として実現できる。たとえば、コンピュ
ータ制御されるディスプレイ上で、カーソルを移動する
ことによって、直線なら両端点、円なら円周上の三点を
教示することでモデル要素を特定する。そして、そのモ
デル要素を特定する情報を形状特徴抽出手段により抽出
される形状要素を特定する情報と同一の形式で作成し、
又、同一モデル内でのモデル要素間の構造的又は相対的
位置関係に関する情報を作成し、それらの情報を記憶す
る手段である。探索手段Ｃは、生成された形状モデルと一致する対象
物体に関して抽出された形状要素の組合せを探索し、形
状モデルと形状要素との対応関係から求められる認識対
象物体の位置・姿勢候補情報により、対象物体を同定す
る手段である。この手段は、形状モデルと照合する対象物体に関して
抽出された形状要素の組を生成し、照合の程度の高い形
状要素の組を決定して、認識対象物体を一次的に同定す
る手段である。形状モデルと形状要素の集合で構成され
る対象物体とを関連付ける写像行列で、対象物体の位置
・姿勢候補情報とすることができる。検証手段Ｄは、形状モデルに固定した領域のメッシュ
セルを対象物体の位置・姿勢候補情報に基づき原始画像
に写像し、各メッシュセルに含まれる原始画像に基づく
値を入力値としてニューラルネットワークにより位置・
姿勢候補情報が認識対象物体と正しく対応するか否かを
検証する手段である。即ち、原始画像上において、対象物体の存在し得る位
置ととり得る姿勢に形状モデルを写像した時に、その形
状モデルに固定されたメッシュセルの各セルに対応する
原始画像から得られる情報をニューラルネットワークの
入力とし、そのニューラルネットワークによって、正確
に対象物体が認識されたか否かが判定される。原始画像から得られる情報としては、例えば、線画像
であればセル内におけるエッジ線の有無、色画像であれ
ばセル中心画素の色値、濃淡画像であればセル内の画素
の濃淡値の平均値、２値画像であればセル内の黒色画素
の数、距離画像であればセル中心画素の３次元値等であ
る。又、このニューラルネットワークの入力情報となる
原始画像は、物体の形状要素を抽出するための原始画像
の種類と一致する必要はない。又、セル内に複数の原始画像における複数の画素が存
在しても良いし、１セルを１画素に対応させても良い。学習手段Ｆは、検証結果とその検証結果の真実性の評
価値を与える教師信号とに基づきニューラルネットワー
クの結合係数を修正し検証手段に出力する手段である。この学習手段Ｆにより、検証手段Ｄのニューラルネッ
トワークの検証結果がより真実なものとなるように、そ
のネットワークの結合係数が、学習により逐次補正され
る。他の発明では、この学習手段Ｆは、探索手段Ｃの出力
する位置・姿勢候補情報を別に評価する正誤値を教師信
号とし、その正誤値とニューラルネットワークの出力値
との変化に応じてニューラルネットワークの結合係数を
修正し、その偏差が零に収束するまで、多くの認識事例
について、結合係数の修正を繰り返して学習させてい
る。

【作用】

原始画像抽出手段Ａにより物体の２次元画像から原始
画像が抽出され、形状特徴抽出手段Ｂによりその原始画
像から物体の形状に関する特徴的な形状要素が抽出され
る。一方、形状モデリング手段Ｅによりモデル物体に関し
て同様な形状に関する特徴であるモデル要素の集合から
成る形状モデルが予め生成されている。そして、探索手段Ｃにより、対象物体の形状要素と形
状モデルとの照合を順次行い、形状モデルの各モデル要
素と一致する形状要素の組を探索して、その結果から認
識対象物体の候補を同定するための位置・姿勢候補情報
が得られる。次に、検証手段Ｄにより、形状モデルを位置・姿勢候
補情報にしたがって原始画像上に写像して、その形状モ
デルに固定されたメッシュセルの各セルに対応して得ら
れる原始画像の情報をニューラルネットワークの入力と
して、その認識対象物体の候補が正式に認識されるべき
物体であるか否かの検証が行われる。一方、ニューラルネットワークの結合係数は、学習手
段Ｆにより、上記のようにして得られるニューラルネッ
トワークの出力である検証結果と、その検証結果の真実
性の評価値を別に与える教師信号とに基づき、修正され
る。多くの認識事例で係る結合係数の学習が実行される
ことで、ニューラルネットワークによる検証結果は、よ
り真実性の高いものとなる。尚、教師信号は、実際に認識物体の位置及び姿勢をモ
デルの既知の位置及び姿勢に等しく整合させた上で各手
段を作動させ、探索手段Ｃの出力する位置・姿勢候補情
報とモデルの既知の位置及び姿勢との一致の程度を示し
た正誤値とすれば、教師信号を自動生成することが可能
である。

【実施例】

以下、本発明を具体的な一実施例に基づいて説明す
る。第２図に示すように、本装置は、大きく分けて、原始
画像抽出装置１、形状特徴抽出装置２、探索装置３、検
証装置４、形状モデリング装置５、学習装置６で構成さ
れている。 1.原始画像抽出装置原始画像抽出装置１は、カメラ14、画像入力回路10、
濃淡画像メモリ11、線画抽出回路12、線画メモリ13とで
構成されている。（１）画像入力回路および濃淡画像メモリカメラ14により撮像した物体の電子像を走査して映像
信号を取り出し、受光面の画素座標に対応してサンプリ
ングし、256の明度レベルにディジタル化して、濃淡画
像メモリ11の画素座標に対応したアドレスに記憶して濃
淡画像を作成する装置である。（２）線画抽出回路線画抽出回路12は、図示しない微分回路と微分画像メ
モリと輪郭線抽出回路とで構成されている。微分回路は、濃淡画像メモリ11に記憶されている濃淡
画像の各画素座標における明度勾配（グラディエント）
を演算し、その結果を微分画像メモリに記憶して微分画
像を作成する回路である。明度勾配の演算方法は、画素座標上の動点Ｐを含む３
×３のメッシュ状に分割された各画素の明度を用いて、
ソーベルオペレータによって演算している。ここでソー
ベルオペレータとは、３×３の各画素の明度をａ〜ｉと
した時、動転Ｐにおける明度勾配（f_x，f_y）を次のよう
に演算するものである。 f_x＝ｃ＋2f＋ｉ−（ａ＋2d＋ｇ） …（１） f_y＝ｇ＋2h＋ｉ−（ａ＋2b＋ｃ） …（２）このような、ソーベルオペレータによる微分演算は、
積和演算器で構成される。輪郭線抽出回路は、微分画像メモリから微分画像を入
力して、輪郭線を抽出しその輪郭線を線画像メモリ13に
形成する回路である。輪郭線上の点は明度勾配の絶対値がその周りの点のそ
れに比べて大きくなることが知られている。したがっ
て、輪郭線を構成する点列は、画素座標上の動点Ｐにお
ける明度勾配の絶対値が所定値よりも大きく且つその周
りの点のそれよりも小さくない点を検出し、その点から
出発し、明度勾配の方向に垂直な方向の隣接画素をその
点に隣接した輪郭線上の点として選択し、選択された点
を基準にその点の明度勾配から次の輪郭線上の点を選択
するという操作を逐次実行することにより求めることが
できる。輪郭点では256階級の濃淡レベルとし、他の点では０
レベルとしたのが線画であり、その線画は、線画メモリ
13に記憶される。 2.形状特徴抽出装置形状特徴抽出装置２は、円検出回路20と円メモリ23と
直線検出回路21と直線モリ24とコーナー検出回路22とコ
ーナーメモリ25とで構成されている。（１）円検出回路円検出回路20は、線画像メモリ13から連続した輪郭点
列を取り出し、一定間隔ごとに点位置間のベクトル方向
がほとんど同量変化している時、この輪郭点列は円を形
成すると見なし、その円の中心座標と半径で円を特定
し、円毎にそのデータを円メモリ23に格納する回路であ
る。（２）直線検出回路直線検出回路21は、線画像メモリ13から連続した輪郭
点列を取り出し、一定間隔ごとの点位置間を結ぶベクト
ルの方向がほぼ同一である時、この輪郭点列は直線部を
形成すると見なし、その両端点の位置座標で直線を特定
し、直線毎にそのデータを直線メモリ24に格納する回路
である。（３）コーナー検出回路コーナー検出回路22は、２直線の端点が近い位置にあ
る時、この２直線はコーナーを形成すると見なし、その
２直線の交わる点の位置座標とその２直線の成す角度と
その角の２等分線の方向とで、コーナーを特定し、その
データをコーナー毎にコーナーメモリ25に格納する回路
である。 3.形状モデリング装置形状モデリング装置５は、形状入力回路50、円メモリ
51、直線メモリ52、コーナーメモリ53とで構成される。（１）形状入力回路コンピュータ画面においてカーソルを移動することに
よって、モデル要素を作成又は指定して、形状モデルの
データを作成する装置である。モデル要素が直線の場合
には両端点の位置、円の場合には円周上の３点位置、コ
ーナーの場合にはコーナーを形成する２直線を指定する
ことによってモデル要素を作成又は指定して、形状特徴
抽出装置２で生成される形状要素のデータ形式の同一の
形式にて、モデル要素のデータが生成される。そして、
そのデータは、円、直線、コーナーに応じて、円メモリ
51、直線メモリ52、コーナーメモリ53にそれぞれ、記憶
される。 4.探索装置探索装置３は、対応リスト生成回路30、対応リストメ
モリ31、対応組生成回路32、判定回路33、位置・姿勢演
算回路34とで構成されている。（１）対応リスト生成回路照合ステージでは、まず、各モデル要素に対して照合
する可能性のある形状要素を選び全１次対応組L₁を作
る。１次対応組L₁は次式で定義される。 L₁＝｛（m_i，e_j；ρ_1i,j｜m_i∈M,e_j∈E, ｉ＝１…p,j＝１…ｑ｝ …（３）但し、ｐはモデル要素の数、ｑは抽出された形状要素
の数、Ｍはモデル要素の集合、Ｅは形状要素の集合であ
る。次に、形状要素の種類（円、コーナー、直線の３種）
が同一で且つ一致度ρ₁があるしきい値以上の組合せが
残される。一致度ρ₁は、直線の場合にはその長さ、円であれば
その半径、コーナーであればその角度を用いて計算され
る。直線では、次式で求められる。ただし、Len（m_k）,Len（e_k）はモデル要素と形状要
素の直線の長さである。要素が円及びコーナーの場合には、一致度は（４）式
においてLenをRad（円の半径）及びAng（コーナーの角
度）にそれぞれ変え、更に最後の定数項を円では0.5、
コーナーでは0.2と置いて算出する。このようにして、一致度ρ₁が所定のしきい値を越え
る一次対応組が選択され、それは、対応リストメモリ31
に形状要素とモデル要素との対及び各一致度（m_i，e_j；
ρ_1i,j）の形式で記憶される。（２）対応組生成回路対応組生成回路32は、対応リストメモリ31から１次対
応組（m_i，e_j）を入力しながら、所定の論理にしたがっ
て、高次の対応組を生成する。現在時点で探索が成功したｋ−１次対応組をＣ＝（＃m₁，…，＃m_k-1，＃e₁，…，＃e_k-1）…（５）とする。但し、記号＃m₁，…，＃m_k-1 ＃e₁，…，＃e_k-1はモ
デル要素と形状要素とを対応させて、探索レベルの順に
整列させた時の要素の並びに改めて付けられた記号であ
る。ｋ−１次対応組で探索が成功した場合には、判定回路
33により、（５）式のｋ−１次対応組の一致度ρ_k-1は
所定の第１しきい値α_L以上と判定され、判定結果とし
て「NEXT」が、対応組生成回路32に出力される。対応組
生成回路32はその出力に応答して、次の新しい一次対応
組が対応リストメモリ31から選択され、その選択された
一次対応組を（％m_k，％e_k）とする。但し、（％m_k，％
e_k）はｋ次対応組を生成するために、選択された一次対
応組に改めて付けられた一般記号である。そして、その
一次対応組を組み込んだ、次の探索対象のｋ次対応組Ｃ＝（＃m₁，…，＃m_k-1，％m_k，＃e₁，…，＃e_k-1，％
e_k） …（６）が生成される。（６）式の現ｋ次対応組に対して、判定回路33によ
り、一致度ρ_kが演算され、その一致度ρ_kが所定の第１
しきい値ρ_Lより小さい場合には、「false」信号が対応
組生成回路32に出力される。対応組生成回路32は、その
「false」信号に応答して、次の他の一次対応組（％
m_k，％e_k）を選択し、（６）式と同様な次の探索対象の
対応組を生成する。判定回路33から「false」信号が出
力される場合には、上記の処理が繰り返され、探索対象
の対応組が順次更新される。ここで、新しい一次対応組
（％m_k，％e_k）は、先ず、モデル要素％m_kを固定して、
対応する形状要素％e_kが一次対応組から順次選択され
る。そして、対応する形状要素％e_kが最後になると、次
の別のモデル要素％m_kの選択が行われ、そのモデル要素
％m_kに対応する形状要素％e_kが一次対応組から選択され
る。一方、上記のようにして生成されたある（６）式で定
義されるｋ次対応組に対して、判定回路33により、その
対応組の一致度ρ_kが所定の第１しきい値ρ_L以上と判定
されると、判定回路33からは「NEXT」信号が対応組生成
回路32に出力される。「NEXT」信号が出力されると、対
応組生成回路32は、対応リストメモリ31から、次の新し
い一次対応組（％m_k+1，％e_k+1）を抽出し、次のｋ＋１
次対応組Ｃ＝（＃m₁，…，＃m_k，％m_k+1，＃e₁，…，＃e_k，％m
_k+1 …（７）を生成する。このようにして、順次、高次の対応組が生成されてモ
デル要素に対応する形状要素が探索されて行く。そして、判定回路33により、現探索対応組の一致度ρ
_kが演算され、その一致度ρ_kが第１しきい値ρ_Lより大
きな第２しきい値ρ_Hより大きいと判定されると、形状
モデルとの照合が成功したと判定され、「true」信号が
対応組生成回路32に出力され、対応組生成回路32はその
「true」信号に応答して、対応組の生成を中止する。（３）判定回路対応組生成回路32によって生成される現ｋ次の探索対
応組に関して、形状モデルとの照合一致度ρ_kを演算
し、その一致度ρ_kが第１しきい値ρ_Lを下回ると「fals
e」信号を対応組生成回路32に出力し、第２しきい値ρ_H
を上回る時、形状モデルとの照合成功として、「true」
信号を対応組生成回路32及び位置・姿勢演算回路34へ出
力する。それ以外の時、即ち、一致度ρ_kがρ_L≦ρ_k≦
ρ_Hを満たす時は、「next」信号を対応組生成回路32に
出力する。尚、本実施例では、経験的にρ_L＝0.1、ρ_H＝0.6と設
定されている。一致度ρ_kの演算においては一次対応組の一致度ρ₁と
一次対応組の各要素間の相対位置関係の評価結果が使用
される。相対位置関係とは例えば、要素が共に円であれ
ば円の中心間の距離で表され、円と直線の場合には、円
の中心と直線の両端点の距離及び円の中心から直線に降
した垂線の長さが使われる。ｋ次対応組の一致度ρ_kは次式で定義される。但し、Ｐはモデル要素の数、ρ₁（＃m_i，＃e_i）は一
次対応組（＃m_i，＃e_i）の一致度、 ρ_r（＃m_i，＃m_j，＃e_i，＃e_j）は、モデル要素（＃
m_i，＃m_j）の相対関係と形状要素（＃e_i，＃e_j）の相対
関係との一致度を示す。以下、この一致度を相対一致度
といい、単にρ_rと記す。相対一致度ρ_rは次式で求められる。（ａ）＃m_i，＃m_jが共に円のとき円の中心間の距離をモデルと対象物体とにおいて、ｄ
（＃m_i，＃m_j）,d（＃e_i，＃e_j）とすると即ち、相対一致度ρ_rは２つのモデル要素の中心距離
と２つの形状要素の中心距離が等しい時に一致度が最大
値0.5となる値であり、それらの中心距離が異なる程０
に近くなる。但し、ρ_r＜ρ_Lのとき、ρ_r＝−∞とする。（ｂ）＃m_i，＃m_jが共にコーナーのときコーナー点間の距離をモデルと対象物体とにおいて、
ｄ（＃m_i，＃m_j）,d（＃e_i，＃e_j）として、（９）式と
同様に求められる。（ｃ）＃m_i，＃m_jが共に直線のとき第３図に示すように、モデル要素＃m_iと＃m_jとの成す
角をθ_mi,jとし、形状要素＃e_iの平面座標ｘ軸との成す
角をθ_eiとしたとき、モデル要素＃m_jに照合すべき形状
要素＃e_jのｘ軸との成す角の期待値をとする。する
と、期待値と次式で求められる。ただし、−π/2≦≦π/2を満たすように、（10）又
は（11）式が選択される。＝θ_ei＋θ_mi,j …（10）＝θ_ei＋θ_mi,j±π …（11）次に、形状要素＃e_jが実際にｘ軸となす角θ_ejを求
め、その値と期待値とから、次式により、姿勢照合度
U₁が算定される。 U₁＝｛１−2|−θ_j|/π｝×0.2 …（12）又、モデル要素＃m_iに形状要素＃e_iを対応させた時
に、モデル要素＃m_iと＃m_jの相対関係から形状要素＃e_j
の存在可能性領域A_jが求められる。A_jは次のようにして
求められる。第４図（ａ）に示すように、モデル要素＃m_iと形状要
素＃e_iとを対応させる場合、長さの相異により不確定性
ΔＬが存在する。そして、その要素間の対応関係は、第
４図（ｂ）に示すように端点ＡとＣとを一致させる方法
と、第４図（ｃ）に示すように端点ＢとＤとを一致させ
る方法とがある。すると、その不確定性ΔＬにより、モ
デル要素＃m_jに照合させるべき形状要素＃e_jの存在可能
性領域は、モデル要素＃m_jをΔＬだけ移動させたときの
移動領域となる。この領域は180度の回転の任意性から
形状要素＃e_iの両側に存在する。形状要素＃e_jが存在可能性領域A_jに含まれるかどうか
を検証し、含まれる程度により領域照合度U₂が次式によ
り算定される。そして、相対一致度ρ_rは ρ_r＝U₁＋U₂ …（14）として演算される。（ｄ）＃m_i，＃m_jの一方が円、他方がコーナーのとき円中心とコーナー点の距離をモデルと対象物体とにお
いて、ｄ（＃ｍ_i，＃m_j）,d（＃e_i，＃e_j）として
（９）式により求められる。（ｅ）＃ｍ_i，＃m_jの一方が円、他方が直線のとき第５図に示すように、円の中心と直線の端点との距離
AC,BCをd₁，d₂とおき、円の中心と直線の垂線の足との
距離HCをd₃とおき、もし、d₁（＃ｍ_i，＃m_j）＜d₁（＃e_i，＃e_j）又は、 d₂（＃ｍ_i，＃m_j）＜d₂（＃e_i，＃e_j）のとき ρ_r＝−∞とおく。上記以外の時、ρ_rは、（９）式でｄをd₃と置いた式
で与えられる。（ｆ）＃ｍ_i，＃m_jの一方がコーナー、他方が直線のと
き、（ｅ）において、円の中心をコーナー点とした場合と
同じである。（４）位置・姿勢演算回路位置・姿勢演算回路34は、判定回路33から出力された
探索に成功した対応組のｎ個のモデル要素と抽出された
形状要素の組から、対象物体の位置・姿勢を計算する回
路である。アルゴリズムは次の通りである。 stepl:並進量の計算。モデルおよび対象物体の基準点を各要素の配置から求
める。モデルおよび対象物体の基準点Ｒは、第６図に示
すように、その位置ベクトルＸに対する各要素の基準点
（直線では垂線の足H1、コーナーでは直線の交差点H2、
円では円の中心H3）の変異ベクトルV1,V2,V3,…の絶対
値の和が最小となる位置として求められる。 min（|V1|²＋|V2|²＋|V3|²＋…）なる位置ベクトルＸを
モデル及び対象物体の両方から最小２乗法により求め、
それらをX_m，X_eとする。モデルと対象物体間の並進量は
X_m−X_eとなる。 step2:回転量の計算。位置ベクトルX_mとX_eが一致するように平行移動させた
後、モデルと対象物体における上記各変異ベクトルの成
す角、ang（V1_m，V1_e）,ang（V2_m，V2_e）,ang（V3_m，V3
_e），…を平均化する。このθがモデルに対する対象物体の回転角である。但し、ｎ＝１の場合やｎ＝２で要素が平行直線や同心
円の場合には、対象物体の位置・姿勢が決まらないので
特別なエラー処理が必要である。位置・姿勢演算回路34の出力は、モデルの姿勢および
位置を基準とする対象物体の姿勢および位置を表した２
×３の行列である。 5.検証装置検証装置４は、探索装置３の位置・姿勢演算回路34の
出力である姿勢・位置行列を用いて、線画メモリ13上に
モデルを写像し、それより得られた情報を処理して、対
象物体が真に認識すべき対象物体であるか否かを判定す
る内であり、ネットワーク入力値演算回路40とネットワ
ーク演算回路41とネットワーク生成回路42とネットワー
クメッシュセル位置メモリ43とネットワーク係数メモリ
44とで構成される。（１）ネットワーク生成回路ネットワーク生成回路42は、第７図に示すように、形
状モデルに固定された所定領域内で、対象物体上に写像
されるウインドウを設定する回路である。そして、本回
路により、所定の幅でウインドウが分割されメッシュが
作成される。分割されたメッシュセルのうち検証に不必
要なモデルの外側に存在するセルは削除される。残った
メッシュセルを検証装置４のネットワーク入力値演算回
路40の入力素子に対応させるために、ネットワークメッ
シュセル位置メモリ43にその対応関係が記憶される。又、外部から与えられたネットワーク演算回路41の層
数を用いて、ネットワーク演算回路41の素子及びリンク
重み係数（積和係数又は結合係数）を各出力素子および
各入力素子に対応して記憶する領域がネットワーク係数
メモリ44に設定される。（２）ネットワーク入力値演算回路ネットワーク入力値演算回路40は、位置・姿勢演算回
路34から出力される対象物体の位置・姿勢行列を入力
し、ネットワークメッシュセル位置メモリ43に記憶され
ているモデルに固定されたメッシュを、第８図に示すよ
うに、位置・姿勢行列で対象物体に対応するように線画
メモリ13上に写像し、そのメッシュの各セルに対応して
線画メモリ13から入力値を決定する回路である。ネット
ワーク演算回路41は、ニューラルネットワークであり、
入力数はメッシュの有効なセル数に対応する。本実施例では、ネットワーク演算回路41への出力は各
メッシュセルの中に対象物体のエッジ稜線があれば＋1,
なければ−１としている。尚、エッジ稜線の有無の判定について演算量を少なく
するため、各セルにおいて、第９図に示すように、線画
メモリ13のアドレスに対応する画素に対して＋字パター
ンを想定し、そのパターン上の画素に対象物体のエッジ
稜線が存在すれば、そのセルにはエッジ稜線が存在する
と判定するようにしている。（３）ネットワーク演算回路ネットワーク演算回路41は、一般的には第10図に示す
ような、ニューラルネットワークであり、第ｉ層の第ｊ
番目の素子の出力▲０ⁱ _j▼は、次式で計算される。 ▲０ⁱ _j▼＝ｆ（▲netⁱ _j▼） …（17） ▲netⁱ _j▼＝Σ▲W^i-1 _k,j▼・▲０^i-1 _k▼＋▲Ｖⁱ _j▼ …（18）ｆ（ｘ）＝1/｛１＋exp（−ｘ）｝ …（19）但し、▲Ｖⁱ _j▼は第ｉ層の第ｊ番目の演算素子のバイ
アス、▲Ｗ^i-1 _k,j▼は、第ｉ−１層の第ｊ番目の素子と
第ｉ層の第ｋ番目の素子間のリンク重み係数、▲０ⁱ _j▼
は第１層の第Ｊ番目の素子の入力値、即ち、ネットワー
ク演算回路41の第ｊ番目のセルから出力される値であ
る。本実施例では、ニューラルネットワークは第11図に示
すように３層で構成されており、出力層の素子数は１で
ある。ネットワーク演算回路41の出力は、検証結果であ
る照合の確信度（CF）である。確信度CFが予め与えられ
たしきい値（net−thresh）以上のとき、正対応の
「１」、しきい値より小さいとき、誤対応の「０」を、
ロボット制御装置80に出力する。尚、しきい値（net−thresh）は0.5に設定されてい
る。ニューラルネットワークは、ネットワークの層数が３
以上であれば、理論的に一般の非線形問題の解が得られ
るようにネットワークの結合係数を与えることができる
ことが知られている。層数が少ない程学習能力（汎化能
力）が高く、演算量も少ない。実験では３層以上のいく
つかの場合について、学習能力や演算量を調べたが、３
層が学習能力や演算量の点で最も良い結果が得られた。（４）ネットワーク係数メモリネットワーク係数メモリ44は、上記のネットワーク演
算回路41の各層の係合係数Ｗを層別に記憶するメモリで
ある。このメモリに記憶された結合係数Ｗは、ネットワ
ーク演算回路41から参照されて、上記の演算に使用され
ると共に、学習装置６のネットワークパラメータ修正回
路61からも参照され、学習に応じて、その結合係数が修
正される。 6.学習装置学習装置６はネットワーク演算回路41のリンク重み係
数を学習により変化させる装置である。学習装置６は、
学習制御回路60、ネットワークパラメータ修正回路61、
誤差検出回路62、学習用検証回路63で構成されている。（１）学習制御回路学習制御回路60は、誤差検出回路62より出力される誤
差Δ（＝Ｔ−CF）信号を入力し、｜Δ｜＞net−thresh …（20）のとき、画像入力回路10及び学習用検証回路63を作動さ
せる回路である。しきい値net−threshは、外部から与
えられる値でありネットワーク演算回路41における出力
層のしきい値に等しい。（２）ネットワークパラメータ修正回路ネットワークパラメータ修正回路61は、次の手法で結
合係数を修正する回路である。第ｉ層の第ｊ番目の素子の第ｉ＋１層の第ｋ番目の素
子に対する出力の誤差を、誤差に関して再帰的に ▲Δⁱ _k,j▼＝ｆ′（▲netⁱ _j▼）・▲δⁱ⁺¹ _k▼／▲Ｗ^i-1
_k,j▼ …（21） ▲W^i-1 _k,j▼＝μ・▲δⁱ _k,j▼）・▲ｆ（netⁱ _j▼） …（22） ▲Δⁱ _j▼＝μ・▲δⁱ _k▼ …（23） ▲ｆ（net⁰ _j▼）＝P_j（入力値） …（24）ｆ（ｘ）が（19）式のときｆ′（ｘ）＝ｆ（Ｘ）（１−ｆ（ｘ）） …（25）として求められる。式（21）〜（25）によってＷおよびＶを更新していけ
ば、出力の２乗誤差を最小にするようなニューラルネッ
トワークを構成できる。尚、μは学習のステップサイズであり、外部から与え
られる。通常0.1〜0.5の範囲にとる。ステップサイズμが大きい時、学習速度は速いが、良
くない解に収束する（結合係数やバイアスのいくつかが
非常に大きな値となり、ノイズに弱いネットワークが構
成される）ことがある。経験的に0.1〜0.5の範囲が良い
が、メッシュセルの数が多い程μはより小さな値になる
ように初期設定するのが良い。更に学習が進むにつれ、
順次μを大きな値に更新すれば高速学習ができる。（３）誤差検出回路誤差検出回路62は、ネットワーク演算回路41の出力を
CF、学習用検証回路63の出力、即ち、教師信号をＴとす
る時、Ｔ−CFをネットワーク演算回路41の出力誤差とし
て、学習制御回路60及びネットワークパラメータ修正回
路61に出力する回路である。実際には、この出力誤差と
ネットワーク入力値演算回路40の出力を一時メモリ上に
蓄え、ネットワークパラメータ修正回路61に順次転送し
ている。（４）学習用検証回路学習用検証回路63は、次のステップを実行する回路で
ある。（ａ）実際の対象物体の位置・姿勢を形状モデルの位置
・姿勢と同一にした状態で、学習制御回路60により、画
像入力回路10を起動する。そして、上記のように照合操
作を実行した後、学習用検証回路63は位置・姿勢演算回
路34から出力される位置・姿勢行列を入力し、抽出され
た対象物体の位置・姿勢候補が単位行列であれば、即
ち、形状モデルと位置・姿勢が一致すれば肯定「１」、
一致しなければ、否定「０」の教師信号Ｔを出力する。又、必要により、次のステップでも実行される。（ｂ）対象物体の位置を固定せず、外部力（人間など）
によってその位置を移動させて、学習制御回路60によ
り、画像入力回路10を起動する。そして、上記の照合操
作を実行し、学習用検証回路63は、位置・姿勢演算回路
34の出力する位置・姿勢行列を入力し、その行列によっ
て示される対象物体の位置・姿勢の正否を外部（例えば
人間）に問い、その正誤に応じて教師信号Ｔを出力す
る。（ａ）によって検出され学習される誤対応や異品の例
を、第12図に示す。位置・姿勢演算回路34の出力する位置・姿勢行列が単
位行列、ならば、真の「１」の教師信号を出力し、単位行列でな
いならば、偽の「０」教師信号を出力する。そして、学
習（ａ）を重ねることにより誤対応がなくなる。（ｂ）では、人間が形状モデルとの対応を判断して、
真偽の教師信号を出力して、学習させることができる。 7.装置の作用次に、本装置全体の作用を説明する。本装置は学習によりニューラルネットワークの結合係
数を修正するティーチングモードと、対象物体を実際に
認識する実行モードとの２モードがある。（１）ティーチングモード（モデリングモード） Step1:形状入力形状入力回路50によって、円，直線，コーナーからな
る形状モデルを生成する。第13図では、２個の円（0,
1）と３本の直線（2,3,4）で形状モデルが作られてい
る。この形状モデルは、それぞれ、円メモリ51、直線メモ
リ52、コーナーメモリ53に記憶され、探索装置３におい
て、形状特徴抽出装置２の円メモリ23、直線メモリ24、
コーナーメモリ25に記憶されている形状要素と照合する
のに用いられる。実際には本ステップでは、原始画像抽出装置１、形状
特徴抽出装置２、探索装置３、或いは、カメラ座標系の
キャリブレーション等が行われる。 Step2:学習ネットワーク生成回路42によって検証装置４で使用さ
れる検証用ネットワークが初期設定される。この段階で、ネットワークは未学習である。次に学習
制御回路60が学習プロセスを制御しながら第11図に示す
ニューラルネットワークの結合係数（積和係数）を更新
していく。即ち、誤差検出回路62の出力によってネット
ワークの学習が終了したと判断されるまで、画像抽出装
置１、形状特徴抽出装置２、探索装置３、検証装置４、
学習装置６が駆動される。誤差検出回路62は、学習用検証回路63の出力である教
師信号Ｔと検証装置４の出力である未学習ネットワーク
の出力の差を演算する。この差を用いて、ネットワーク
の結合係数（積和係数）がネットワークパラメータ修正
回路61によって更新される。（２）実行モード（識別モード） Step1:原始特徴抽出画像入力回路10は、CCDカメラから対象を撮像し、濃
淡画像をメモリ11に格納する。線画抽出回路12は濃淡画
像を入力し、線画を抽出し、線画メモリ13に格納する。線画は第14図に示すようにノイズを含んでいたり、検
出できない部位があるのが一般的である。線画データ
は、形状特徴抽出装置２および検証装置４の入力データ
として使用される。 Step2:形状特徴抽出円検出回路20、直線検出回路21、コーナー検出回路22
により、それぞれ、円，直線、コーナーが検出され、そ
れらは、円メモリ23、直線メモリ24、コーナーメモリ25
に記憶される。但し、形状モデルに含まれな形状タイプは抽出されな
い。 Step3:探索対応リスト生成回路30では、メモリ51,52,53に記憶さ
れているモデル要素と、メモリ23,24,25に記憶されてい
る形状要素との組合せを生成して、対応組を対応リスト
メモリ31に記憶する。たとえば、第15図において、（m₁，e₂;0.9），（m₁，e₅;0.3），（m₁，e₆;0.5）（m₂，e₂;0.9），（m₂，e₅;0.2），（m₂，e₆;0.3）（m₃，e₁;0.5），（m₃，e₃;0.9），……… （m₄，e₈;0.6），……… （m₅，e₇;0.4），……… ここで実数は、組合せの照合の一致度である。この対
応リストは、対応リストメモリ31に格納される。対応組生成回路32,判定回路33では、一次対応組を用
いて複合した高次の対応組を順位生成しながら形状要素
間の相対位置関係が形状モデルのそれと一致するか否か
を調べる。例えば、（m₁，m₃，m₄，e₂，e₃，e₈;0.7）（m₁，m₃，e₆，e₇;0.0）実数は、組合せの照合一致度である。照合一致度があ
るしきい値を越えると、判定回路33から対象物体の位置
・姿勢候補が検証装置４に出力される。このように、一致度が所定の第２しきい値ρ_Hより、
大きくなると、探索成功とみなされる。即ち、モデルと
対象物体が一次的に対応すると判断される。そして、認
識対象物体の位置及び姿勢は、形状モデルに対する写像
行列で与えられる。 Step4:検証ネットワーク入力値演算回路40は、探索装置３から入
力された位置・姿勢行列を用いてメッシュを、第８図に
示すように、線画上に写像する。そして、その各セル内
における対象物体の輪郭線の有無を入力データとして、
ネットワーク演算回路41に出力する。ネットワーク演算回路41は、第11図の入力層の各素子
にに上記エッジ有無データを入力し、第11図のニューラ
ルネットワークによる演算を実行して、その結果を出力
する。その結果は検証結果を示しており、モデルと対象
物体が正反対と判定されれば、探索装置３より得られた
対象物体の位置・姿勢行列をロボット制御装置80に出力
する。そして、ロボット制御装置80はその位置・姿勢行
列により対象物体の位置及び姿勢を判読して、その物体
の把持動作をロボットに行わせることができる。以上説明してきたように、本実施例では、対象物体と
モデルとの照合により、一時的に対象物体を認識した上
で、さらに、元の原始画像から得られる情報をニューラ
ルネットワークで処理して、その対象物体の認識の真実
性を評価するようにしている。したがって、対象物体の
輪郭に係る形状要素の抽出が困難な場合でも、ニューラ
ルネットワークにより、形状要素と形状モデルとの誤対
応を排除し、対象物体の認識を精度良く行うことが可能
となる。又、メッシュセル内において、対象物体のエッジの有
無を検出する場合に、正品について、エッジの存在する
セルに対応する演算素子の出力に関する結合係数を
「１」とし、異品について、エッジの存在するセルに対
応する演算素子の出力に関する結合係数を「−１」とす
れば、一次的な対象物体の認識に誤対応があっても、正
品と異品との区別を精度良く行うことが出来る。又、メッシュセル内の画素の濃淡平均値をニューラル
ネットワークに入力値とすることで、対象物体に傷が存
在するか否かの判定を行うことも可能である。即ち、対
象物体内の反射光量が異なることで、傷の有無を判定す
ることができる。又、上下に重畳している物品の内、最上部の物品のみ
を認識したい場合にも、精度良く認識することができ
る。即ち、下部の物品とモデルとの対応がとれたとして
も、下部物品に関するニューラルネットワークの入力値
が重畳部では、上部物品に対する値となるため、検証装
置の出力により、下部物品を認識対象物から排除するこ
とが可能となる。又、学習装置は、実際に認識対象物を認識する認識モ
ードで使用して、誤認識が発生した場合に、教示するよ
うにすることもできるので、学習効率が良い。又、認識対象物体をモデルの位置及び姿勢に整合させ
て、本装置を起動し、位置・姿勢演算回路34の出力する
位置・姿勢行列が単位行列となった場合に真の「１」、
単位行列でない場合には偽の「０」とする教師信号を自
動発生させた場合には、学習が自動的に行われ、学習を
行うための作業者の負担を軽減させることができる。

【発明の効果】以上述べてきたように、本発明では、対象物体の形状
要素を抽出し、それをモデルの形状要素と比較し、照合
性の高い形状要素の組を探索することで、認識すべき対
象物体の候補を選択し、その後、モデルを得られた情報
に応じて、対象物体の原始画像上に写像し、そこから得
られる情報に基づいてニューラルネットワークにより、
モデルとの対応の真実性を評価するようにしている。したがって、形状要素の抽出がノイズにより影響を受
けたり、形状モデルとの誤対応が生じても、真にモデル
と対応する対象物体を確定することができ、対象物体の
認識精度を向上させることができる。又、ニューラルネットワークの結合係数は、学習手段
による学習効果によって、決定されるので、誤認識事例
を学習させることで、認識精度を向上させることができ
る。又、従来のような検証アルゴリズム等が不要とな
り、作業者の負担を軽減させることができる。更に、実際の認識対象物体の位置及び姿勢をモデルの
既知の位置及び姿勢と等しく整合させた上で、探索手段
の出力する位置・姿勢候補情報とモデルの既知の位置・
姿勢との位置の程度、即ち、位置・姿勢候補情報の正誤
値により教師信号を与えた場合には、教師信号が自動生
成させるため、学習効率が向上するという効果もある。

【図面の簡単な説明】

第１図は本発明の概念を示したブロックダイヤグラム、
第２図は本発明の具体的な一実施例に係る視覚認識装置
の構成を示したブロックダイヤグラム、第３図、第４図
は形状要素が直線である場合の相対一致度の演算方法を
示した説明図、第５図は形状要素が直線と円である場合
の相対一致度の演算方法を示した説明図、第６図は位置
・姿勢の演算方法を示した説明図、第７図はモデルに固
定されたメッシュセルを示した説明図、第８図はそのメ
ッシュセルの線画上への写像を示した説明図、第９図は
セッシュセル内の輪郭線の有無を検出する方法を示した
説明図、第10図は一般的なニューラルネットワークを示
した構造図、第11図は本実施例の具体的なニューラルネ
ットワークを示した構造図、第12図は探索結果における
誤対応又は異品との対応の例を示した説明図、第13図は
形状モデルを示した説明図、第14図は抽出された線画を
示した説明図、第15図は抽出された形状要素を示した説
明図である。１……原始画像抽出装置２……形状特徴抽出装置、３……探索装置４……検証装置、５……モデリング装置６……学習装置 40……ネットワーク入力値演算回路 41……ネットワーク演算回路 42……ネットワーク生成回路

Claims

(57)【特許請求の範囲】

【請求項１】物体の２次元画像より該物体の原始画像を
抽出する原始画像抽出手段と、前記抽出された原始画像より前記物体の形状に関する特
徴的な形状要素を抽出する形状特徴抽出手段と、モデル物体の形状要素を組合わせて認識すべき対象物体
の照合の対象となる形状モデルを生成する形状モデリン
グ手段と、前記生成された形状モデルと一致する前記抽出された形
状要素の組合せを探索し、形状要素と形状モデルとの対
応関係から求められる前記認識対象物体の位置・姿勢候
補情報により、前記対象物体を同定する探索手段と、前記形状モデルに固定した領域のメッシュセルを前記位
置・姿勢候補情報に基づき前記原始画像に写像し、各メ
ッシュセルに含まれる前記原始画像に基づく値を入力値
としてニューラルネットワークにより前記位置・姿勢候
補情報が前記認識対象物体と正しく対応するか否かを検
証する検証手段と、前記検証結果とその検証結果の真実性の評価値を与える
教師信号とに基づき前記ニューラルネットワークの結合
係数を修正し前記検証手段に出力する学習手段とを有することを特徴とする視覚認識装置。
【請求項２】前記学習手段は、前記教師信号としての前
記位置・姿勢候補情報の正誤値と前記ニューラルネット
ワークの出力値との偏差に応じて前記ニューラルネット
ワークの各結合係数を修正演算するとともに、前記偏差
が零になるまで前記修正演算を行うことを特徴とする請
求項（１）記載の視覚認識装置。