JPH1021393A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH1021393A
JPH1021393A JP8170511A JP17051196A JPH1021393A JP H1021393 A JPH1021393 A JP H1021393A JP 8170511 A JP8170511 A JP 8170511A JP 17051196 A JP17051196 A JP 17051196A JP H1021393 A JPH1021393 A JP H1021393A
Authority
JP
Japan
Prior art keywords
image
recognition
model
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8170511A
Other languages
English (en)
Other versions
JP3434976B2 (ja
Inventor
Kazuhiko Washimi
和彦 鷲見
Miwako Hirooka
美和子 広岡
Manabu Hashimoto
橋本  学
Haruhisa Okuda
晴久 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP17051196A priority Critical patent/JP3434976B2/ja
Publication of JPH1021393A publication Critical patent/JPH1021393A/ja
Application granted granted Critical
Publication of JP3434976B2 publication Critical patent/JP3434976B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 対象固有のバラツキや認識環境の変動に影響
されやすく、その都度専門家による調整が必要であっ
た。 【解決手段】 画像入力部B101で取り込まれた入力
画像とその一部を切り出した画像モデルとの類似度(一
致度)を計測し、その値に基づいて対象物体の有無・位
置・姿勢の認識を行う画像相関計測/位置・姿勢認識部
B103と、相関計測結果分析部B104による前記類
似度の分布の評価に基づいて、画像モデルのデータの冗
長性を加減したり、認識の失敗や信頼性の低下を検知し
て画像モデルを更新しながら再認識を行うといった、認
識戦略の加減を行うモデル・戦略更新部B105を持た
せたものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ロボットや産業
機械の位置制御および検査などに使われる画像処理装置
に関するものである。
【0002】
【従来の技術】ある視野内にある定められた物体や物体
上に、独特の模様あるいは文字やマークなどが存在する
か、存在するとすればどの位置にどんな姿勢で存在する
かを計測する手法として、この定められた物体の画像を
一旦撮影し、撮影された映像内の物体を取り囲む領域、
あるいは独特の模様/文字/マークを取り囲む領域を切
り出して画像モデルとして登録し、この切り出された領
域と、新たに撮影された同種の物体を含む画像から位置
/姿勢を順次変化させながら切り出した、前記画像モデ
ルと同じ大きさ(あるいは形状)の部分領域との類似度
(以下、画像間相関度とも呼ぶ)を計算し、類似度があ
らかじめ定められた一定値以上で、周辺の類似度に比べ
て突出した値を持つ部分画像の切り出し位置と姿勢が発
見された場合に、前記登録された物体がその位置と姿勢
で発見されたと判断する画像間相関度に基づく認識手法
がしばしば用いられる。この画像間相関度に基づく認識
手法はテンプレートマッチングとも呼ばれ、前記登録さ
れた画像モデルをテンプレートと呼び、テンプレートと
入力画像の部分領域との間の類似度を計算して物体を探
索する操作をマッチングと呼ぶこともある。
【0003】この手法は、画像からエッジ/コーナー/
領域の面積/穴などの特徴量をとりだして、特徴量とモ
デルの特徴量とを比較する方式と比べて、照明やサンプ
ル間固体差による画像の変化に対して認識の信頼性が低
下しにくいという優れた特徴を持つものの、演算量が多
く計算に時間がかかるという欠点を持っている。この欠
点を克服するため、従来から次のような高速化技法が提
案されている。
【0004】図22は例えば、「アイ・イー・イー・イ
ー トランザクション オン システム,マン,アンド
サイバネティックス(IEEE Taransaction on System,
Man, and Cybernetics)」誌1977年2月号の10
4〜107ページに掲載された粗精(Coarse-fine )テ
ンプレートマッチングの概念を示す説明図である。
【0005】図において、入力画像と画像モデルである
テンプレートは、一旦、解像度を低下させた粗入力画像
と粗テンプレートとに縮退される。次に、粗入力画像と
粗テンプレートとの間で照合(粗探索=coarse matchin
g )が行われ、大まかな類似度と位置が計算される。こ
の位置を粗精縮退比の分だけ拡大し、元の入力画像に相
当する対応点を求め、その対応点の周りに照合(精探索
=fine matching )用の領域を設定する。その後、入力
画像と元の解像度のテンプレートを用いて、前記精探索
領域内だけの探索が行われ、その結果、よい類似度を得
た位置とその類似度が総合的な認識結果として出力され
る。
【0006】例えば、粗精探索比4:1、入力画像25
6×256画素、テンプレート画像64×64画素の場
合、単純に探索を行うと642 ×(256−64)2
150994994回の画素対画素の類似度を計算する
ことになるが、この粗精探索を用いることによって(6
4/4)2 ×((256−64)/4)2 +642 ×
(4×2+1)2 =921600となり、160倍の高
速化が達成できたことになる。
【0007】また、図23は「コンピュータ ビジョ
ン,グラフィック アンド イメージプロセッシング
(Computer Vision, Graphics and Image Processing
)」誌第16巻(1981年発行)の356〜369
ページに掲載された、ピラミッドテンプレートマッチン
グの概念を示す説明図である。このピラミッドテンプレ
ートマッチングはさらに効率のよい手法で、粗精探索を
多段階の階層構造に作られた多重解像度画像(ピラミッ
ド画像と呼ばれる)に対して行い、前記粗精探索法より
もさらに数倍から十数倍の効率を得ることができる。
【0008】一方、一つのテンプレートの内部で採用さ
れる画素の点の個数を減らすこともこの方式の効率を向
上させることに効果的である。例えば、図24は電子情
報通信学会の平成7年春季全国大会予稿集D−603号
に掲載された、階層的分散テンプレートマッチングによ
るテンプレート内部点数の削減に関する手法について示
した説明図である。図において、四角の格子で表現され
る全テンプレート画素のうち、×印を打った画素だけが
採用され、その他の画素は探索時には使用されない。そ
の結果、従来の多段階階層構造をもつピラミッドテンプ
レートマッチングと比較して、さらに10倍程度の高速
化が可能となる。
【0009】以上、画像モデルとして一枚の画像、すな
わち一つのテンプレートを用いる場合の高速化手法につ
いて、従来の技術を説明してきたが、例えば、同一品種
の物体であっても見え方がまちまちである場合、あるい
は見る方向によって見え方が変化するような場合には、
複数の画像モデルを用いて全体の物体の集合をモデル化
することが行われる。この場合、例えば複数のモデルと
の照合を行う代わりに、モデルデータの主成分分析を行
い、モデル全体の個数よりも少ない主成分ベクトルをモ
デルとして採用する高速化技法が存在する。
【0010】例えば、図25および図26は、コロナ社
刊(1973年)の「パターン認識」に掲載された、複
合類似度(部分空間法)による文字認識の手法を説明す
るための模式図であり、図25は固有空間法による画像
モデルの圧縮における全入力パターンを、図26は同じ
く固有パターンをそれぞれ示している。ここで、図25
に示した48種類の文字ビットマップパターンSi ,
(i=1,2,・・・・,48)を入力画像中から切り
出すには、通常は文字ビットマップパターンSiを画像
モデルとして、48枚の画像モデルを交換しながら入力
画像全面を探索し、画像モデルと入力画像から切り出さ
れた部分領域との間の類似度が極大になる位置とモデル
番号を得て文字の発見をしていた。一方、この手法で
は、48枚の画像モデルを用いる代わりに、次に述べる
主成分分析を行い、図26に示されるような主成分パタ
ーンPk ,(k=1,2,・・・・,48)を求めて、
その上位M個だけを用いてより効率よく探索することが
できる。ただし、Mは1以上、48以下の整数であり、
上位M個のパターンの累積寄与率があらかじめ定められ
た定数R(0<R<1)を満たすように決定される。こ
こで、主成分パターンPk は登録された文字ビットマッ
プパターンSi から次のように導かれる。すなわち、ま
ず、文字ビットマップパターンSi の平均パターンSme
anを次の式(1)を用いて求める。
【0011】
【数1】
【0012】次に、その平均パターンSmeanの値を差し
引いた入力パターンsi (si =Si −Smean)のすべ
てのベクトルX(X={s1 s2 ・・・s48})の分散
共分散行列A(A=XXT ただしXT はXの転置行列)
の固有ベクトルPk を、Aλ=λPk を満たすように求
めて、これをλの大きい方から降順に並べて主成分パタ
ーンとする。このように主成分パターンを用いる固有空
間法では、画像モデル群を少数の固有パターンで構成さ
れる画像モデル群で近似することを行って認識の効率を
高めていた。
【0013】
【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、いずれの方法も完璧
なものではなく、どの手法が最も適しているかは、照合
したい画像の性質に大きく依存し、またそれらを体系的
に説明するのは難しいものであった。したがって、産業
上の応用に当たっては、専門家が試行錯誤によって最適
な高速化技法の選択と、各技法に固有なパラメータの調
整を行って、ほどほどの時間でほどほどの信頼性が得ら
れるような条件を探していた。また当該装置調整後に、
生産する製品が変化したり、ロットが変わったりして状
況が変化すると、専門家に再調整を依頼しなくてはなら
なくなって、画像処理装置導入の妨げにもなるなどの課
題があった。
【0014】この発明は上記のような課題を解決するた
めになされたもので、位置や姿勢のパラメータに対して
類似度の変化する状況を示した類似度マップの形状を評
価する相関計測結果分析部と、状況に応じた高速化/高
信頼化戦略を蓄えたデータベースとを持たせて、操作者
の簡単な操作によって、適切な高速化/高信頼化の手段
を最適なパラメータで組み込むことが可能で、対象固有
のバラツキや認識環境の変動に影響されにくい画像処理
装置を得ることを目的とする。
【0015】また、この発明は、認識試行モードを設
け、認識試行モード中には提示されたサンプル画像の統
計的バラツキを評価することにより、同一品種のサンプ
ル間のバラツキを吸収するための画素の重みを変化させ
たり、テンプレートを分割するなどの戦略をとることが
可能な画像処理装置を得ることを目的とする。
【0016】また、この発明は、認識試行モード時にシ
ステムが自動的にできることを採り入れて、操作者の判
断を仰ぐべきことを最小限にすることで、複数のサンプ
ルを提示しているにもかかわらず、従来と同程度かそれ
以下の単純な操作で前記最適化が可能な画像処理装置を
得ることを目的とする。
【0017】
【課題を解決するための手段】請求項1記載の発明に係
る画像処理装置は、画像入力部にて取り込まれた入力画
像と当該入力画像の一部を切り出した画像モデルとの類
似度もしくは一致度を計測し、その値に基づいて対象物
体の有無・位置・姿勢の認識を行う画像相関計測/位置
・姿勢認識部と、相関計測結果分析部による前記類似度
もしくは一致度の分布の評価に基づいて、画像モデルの
データの冗長性を加減したり、認識の失敗や信頼性の低
下を検知して、画像モデルを更新しながら再認識を実行
するといった認識戦略の加減を行うモデル・戦略更新部
を持たせたものである。
【0018】請求項2記載の発明に係る画像処理装置
は、認識試行モード時において、入力画像の複雑さやバ
ラツキを学習しながら、画像モデルと認識戦略を更新す
るようにしたものである。
【0019】請求項3記載の発明に係る画像処理装置
は、認識実行モード時においても、画像モデルと認識戦
略の更新を行うようにしたものである。
【0020】請求項4記載の発明に係る画像処理装置
は、認識試行モード時において、操作者によって位置や
姿勢の認識結果が成功と判断された場合には、自動的に
画像モデルと認識戦略を更新し、失敗に終わったと判断
された場合には正解の可能性の高い候補を提示して操作
者にそれを選択させ、その値を用いて画像モデルと認識
戦略の更新を行うようにしたものである。
【0021】請求項5記載の発明に係る画像処理装置
は、認識実行モード時において、認識結果が失敗であっ
た場合には、その時の認識処理に用いられた認識戦略よ
りも信頼性の高い認識戦略を用いて再度認識処理を実行
するようにしたものである。
【0022】請求項6記載の発明に係る画像処理装置
は、認識試行モード時においても、認識が失敗に終わっ
たと判断された場合には、その時の認識処理に用いられ
た認識戦略よりも信頼性の高い認識戦略を用いて再度処
理を実行するようにしたものである。
【0023】請求項7記載の発明に係る画像処理装置
は、認識処理を高速化するための高速化選択ルールが当
てはまるか否かを、切り出し位置・姿勢パラメータに対
する類似度分布の評価値に基づいて逐次判定し、当ては
められた高速化選択ルールを用いて画像モデルと認識戦
略の更新を行うようにしたものである。
【0024】請求項8記載の発明に係る画像処理装置
は、認識処理を高信頼化するための高信頼化選択ルール
が当てはまるか否かを、切り出し位置・姿勢パラメータ
に対する類似度分布の評価値に基づいて逐次判定し、当
てはめられた高信頼化選択ルールを用いて画像モデルと
認識戦略の更新を行うようにしたものである。
【0025】請求項9記載の発明に係る画像処理装置
は、高速化選択ルールとして、粗精探索/階層化探索の
ルール、テンプレートサンプル点間引きのルール、複数
テンプレート融合のルール、画像データビット数圧縮の
ルール、および部分テンプレート使用のルールを用意し
たものである。
【0026】請求項10記載の発明に係る画像処理装置
は、高信頼化選択ルールとして、テンプレート内不安定
要素排除のルール、テンプレート複数化のルール、テン
プレート領域変更のルール、テンプレート領域拡大のル
ール、および残留パターンの補助テンプレートへの登録
のルールを用意したものである。
【0027】請求項11記載の発明に係る画像処理部
は、画像モデルの良さを単独で評価する画像モデル評価
部を設けて、高速化選択ルールのうちの1枚の初期登録
画像に対しても登録適用できるルールだけを用いて画像
モデルと認識戦略の更新を行うようにしたものである。
【0028】請求項12記載の発明に係る画像処理部
は、画像モデルの良さを単独で評価する画像モデル評価
部を設けて、高信頼化選択ルールのうちの1枚の初期登
録画像に対しても登録適用できるルールだけを用いて画
像モデルと認識戦略の更新を行うようにしたものであ
る。
【0029】請求項13記載の発明に係る画像処理装置
は、初期登録モード時において、取り込んだ入力画像中
に含まれる基準となる図形を人工的に生成してそれを標
準画像パターンとし、それを最適化して画像モデルとし
て登録するようにしたものである。
【0030】請求項14記載の発明に係る画像処理装置
は、初期登録モード時において、表示画面上で指定され
た領域について、当該領域のデータを画像モデルから除
外したり別途データを入力するなどして、画像の類似度
演算への寄与率を低くするようにしたものである。
【0031】請求項15記載の発明に係る画像処理装置
は、相関計測結果分析部による分析の結果、認識の失敗
が検知された場合に、当該認識の失敗とあらかじめ定め
られた条件とが重なった場合に、認識用の入力画像を画
像記憶手段に蓄積したり、画像伝送手段を介して外部の
画像データベース手段に伝送する画像蓄積/伝送部を付
加したものである。
【0032】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1は、この発明の実施の形態1による
画像処理装置を示す構成図である。図において、B10
1は撮像された画像をディジタル化して入力画像として
取り込む画像入力部である。B102はこの画像入力部
B101で取り込んだ入力画像の画面の一部を切り出し
て画像モデルとして登録する画像登録部である。B10
3は画像入力部B101で新たに取り込まれた入力画像
から、画像登録部B102で切り出された画像モデルに
相当する部分を入力部分画像として切り出し、それを画
像モデルと照合する画像相関計測/位置・姿勢認識部で
ある。B104はこの画像相関計測/位置・姿勢認識部
B103より出力される前記画像モデルと入力部分画像
との相関計測結果を解析する相関計測結果分析部であ
る。B105はこの相関計測結果分析部B104の分析
結果に基づいて、画像モデルに変更を加えたり、画像相
関計測/位置・姿勢認識部B103の駆動パターンであ
る認識戦略の変更を行うモデル・戦略更新部である。B
106はこれら各部を管理して、初期登録から認識の繰
り返しに至る当該画像処理装置全体の動作を制御すると
ともに、操作者への情報の表示および操作入力の受け付
けなどのマンマシンインタフェースをとる情報表示/操
作入力/動作モード制御部である。
【0033】また、図2はこの実施の形態1における各
画像の例を示す説明図である。図において、S101は
初期登録時に画像入力部B101によって取り込まれた
入力画像の画面であり、S102は認識試行時に画像入
力部B101によって取り込まれた入力画像の画面であ
る。R101’は画面S101より画像登録部B102
によって切り出されて登録された画像モデルであり、R
102’は画面S102より画像相関計測/位置・姿勢
認識部B103によって切り出された入力部分画像であ
る。
【0034】以下その動作について、これら図1および
図2を用いて説明する。図1において、まず画像入力部
B101がテレビカメラやラインセンサなどの撮像手段
で撮影された画像をデジタル化して取り込み、それを入
力画像として画像メモリに展開し、あるいはデータバス
へ転送する。画像登録部B102はこの入力画像の一画
面の画像の一部を切り出して、それを画像モデルとして
登録・保存する。この画像モデルは画像相関計測/位置
・姿勢認識部B103に入力される。一方、その後新た
に撮影された別の入力画像が画像入力部B101によっ
て取り込まれ、画像相関計測/位置・姿勢認識部B10
3に送られる。画像相関計測/位置・姿勢認識部B10
3では、内部でその入力画像より画像モデルと同じ大き
さの部分を入力部分画像として切り出し、その入力部分
画像と画像モデルとの照合を行う。
【0035】すなわち、図2に示すように、画像入力部
B101より新たに入力された入力画像の画面S102
より、切り出し位置(x,y,θ)を変化させながら入
力部分画像R102’を切り出して、画像モデルR10
1’との照合を行う。図2には完全に一致する切り出し
位置(x,y,θ)の組合せが示されているが、この切
り出し位置(x,y,θ)が図示の位置になるところで
相関が極大になるので、画像相関計測/位置・姿勢認識
部B103内で相関が極大となる位置とその時の相関の
値を記憶しておく。そしてその相関値をあらかじめ定め
られたしきい値と比較し、それを越えているならば、す
なわち、その入力部分画像R102’が画像モデルR1
01’に十分類似しているならば、その位置と相関値を
出力する。
【0036】なお、この相関値の計算方式には、従来か
らさまざまな方式が用いられているが、例えば、次の式
(2)にて示される正規化相互相関Mcorr(x,y)、
あるいは次の式(3)にて示される平均絶対値誤差の少
なさMmae(x,y)などが使用される。
【0037】
【数2】
【0038】ただし、上記式(2)および式(3)にお
いて、Mは一致度の評価値、Ix,yは入力画像Iの位置
(x,y)から切り出された入力部分画像、Imeanは入
力部分画像Ix,y の輝度平均値、Tは画像モデル、Tme
anは画像モデルTの輝度平均値、mは画像モデルTの水
平方向サイズ、nは画像モデルTの垂直方向サイズを表
している。また、式中、切り出し回転角θは簡単のため
0としたが、回転を考慮して切り出しても同等の式を用
いることができる。
【0039】なお、この画像相関計測/位置・姿勢認識
部B103の出力である相関計測結果は、認識結果とし
て出力される一方で、相関計測結果分析部B104にも
送られる。ここで、出力されるのは、発見された物体の
位置x,y、姿勢θ、および画像モデルとの類似度Mだ
けであるが、相関計測結果分析部B104には、入力画
面の各切り出し点x,y、あるいはx,y,θにおける
それぞれの相関計測結果Mが渡される。以下、これら各
切り出しパラメータx,y,θに対する相関計測結果の
分布、すなわち類似度の分布を相関マップと呼ぶ。
【0040】この相関計測結果分析部B104における
相関マップの解析は、例えば次のように行われる。 1.単峰性評価 例えば、相関マップ上の認識結果(しきい値以上の極大
値)の周りを探索して単調減少している領域Suniform
を求め、その領域Suniform の境界までの最小距離Run
iform を求めてそれを単峰性評価値とする。 2.ピーク尖鋭度評価 例えば、領域Suniform 内の平均的な相関値Msurrを求
め、その平均的な相関値Msurrと発見位置での相関値M
1 との差Dsurrを求めてそれをピーク尖鋭度評価とす
る。 3.ピーク唯一性評価 例えば、相関マップ内の第2のピークを探索してその相
関値M2 を求め、前記相関値M1 とこの相関値M2 との
差D1-2 を求めてそれをピーク唯一性とする。
【0041】ここで、入力画像として撮影された同一品
種の別の物体をこの装置で認識することを考えた場合に
は、上記評価尺度についてはその定義から、以下のこと
が推察できる。 1.単峰性評価値Runiform が大きい方が認識が安定す
る 2.ピーク尖鋭度評価値Dsurrが大きい方が認識が安定
する 3.ピーク唯一性D1-2 が大きい方が認識が安定する
【0042】相関計測結果分析部B104はこのように
して、画像相関計測/位置・姿勢認識部B103からの
相関計測結果の評価を行い、その結果をモデル・戦略更
新部B105へ入力する。モデル・戦略更新部B105
では、この相関マップ解析の評価結果と対応するルール
とを照合し、マッチするルールがあればそれを起動して
画像モデルに変更を加えたり、画像相関計測/位置・姿
勢認識部B103の駆動パターン(認識戦略)を変更
し、認識に要する計算時間を減らしたり、認識の信頼性
をより高めたりするように動作する。このようにして、
改善された画像モデルと認識戦略とを用いて、新たに入
力される認識対象を含む入力画像を画像相関計測/位置
・姿勢認識部B103が処理することを繰り返す。
【0043】ここで、これら画像登録部B102、画像
相関計測/位置・姿勢認識部B103、相関計測結果分
析部B104、およびモデル・戦略変後部B105の各
部は、情報表示/操作入力/動作モード制御部B106
で管理されており、この情報表示/操作入力/動作モー
ド制御部B106によって初期登録から認識の繰り返し
に至る当該画像処理装置全体の動作が制御されている。
【0044】以下、これら各部の動作の状態変化と処理
の流れを図3および図4を用いて説明する。ここで、図
3はこの実施の形態1における動作モードの遷移を示す
動作モード遷移図であり、図4はそれら各モードの動作
を示すフローチャートである。図3において、MD10
1は指令待ちの状態であるアイドルモードであり、MD
102は初期登録動作を行う初期登録モードである。M
D103はサブモードとしてモデル探索モードMD10
31、認識結果評価モードMD1032、および画像モ
デル/認識戦略更新モードMD1033を有し、入力画
像の複雑さやバラツキを学習しながら画像モデルと認識
戦略の更新を行う認識試行モードである。MD104は
サブモードとしてモデル探索モードMD1041を有
し、認識対象がなくなるか、認識終了が指示されるま
で、繰り返して認識処理を実行する認識実行モードであ
る。
【0045】図3において、情報表示/操作入力/動作
モード制御部B106は通常、当該画像処理装置をアイ
ドルモードMD101として、操作の入力や外部からの
指令を待ち受けの状態としている。まず、新しい認識対
象を登録するために登録の要求を受け取ると、情報表示
/操作入力/動作モード制御部B106は動作モードを
アイドルモードMD101から初期登録モードMD10
2へ遷移させ、初期登録動作の実行を制御する。図4に
おいて、初期登録動作とは、まず新しい画像を撮影して
その一部を切り出し、基本教示サンプルを提示して画像
モデルとして登録・格納することである(ステップST
101)。この画像処理装置の望ましい実装において
は、初期登録動作の完了時に、その場で同じ画面に対す
る探索を行い、登録された領域が適切かどうかを判断す
る(ステップST102、ST103)。例えば、同じ
ような模様が連続する一部を切り出して登録しても、そ
れを全体の中のどの位置かを特定することができないの
で、この段階で不適切であることが知らされる。画面に
同じ品種の物体が複数含まれるような場合を除き、操作
者は初期登録をやり直すことを促される。
【0046】この初期登録モードMD102が終了する
と、情報表示/操作入力/動作モード制御部B106は
動作モードを認識試行モードMD103に遷移させる。
認識試行モードMD103においては、まずモデル探索
モードMD1031にて新しい画像を入力して拡張教示
サンプルを提示し(ステップST201)、現在の登録
済の画像モデルを用いて認識(探索)を試行する(ステ
ップST202)。その結果は情報表示/操作入力/動
作モード制御部B106に表示され、それを操作者が確
認する(ステップST203)。確認の結果、画像モデ
ルの更新を行ってもよければ(正常に認識できていれ
ば)画像モデルの更新作業を行う(ステップST20
5)。もし間違った認識結果を得た場合には、操作者が
情報表示/操作入力/動作モード制御部B106に操作
入力を行うことにより、正しい位置と姿勢を教示してそ
れを修正したり、その結果の破棄を行って(ステップS
T204)、その後モデル更新作業を行う(ステップS
T205)。
【0047】この画像モデルの更新作業のために、情報
表示/操作入力/動作モード制御部B106はサブモー
ドをモデル探索モードMD1031から認識結果評価モ
ードMD1032へ遷移させる。この認識結果評価モー
ドMD1032では、相関計測結果分析部B104が駆
動されて前述の評価尺度に基づいた解析が行われ、画像
モデルの更新の必要性が判断される。その結果、認識の
信頼性に余裕があって、データの間引や階層的粗精サー
チの採用などによる高速化の余地があったり、逆に信頼
性が低くて所定の精度で認識ができないなどのように、
画像モデルを更新する必要があると判断された場合に
は、情報表示/操作入力/動作モード制御部B106は
サブモードを認識結果評価モードMD1032から画像
モデル/認識戦略更新モードMD1033へ遷移させ
る。この画像モデル/認識戦略更新モードMD1033
では、モデル・戦略更新部B105が駆動されて画像モ
デルと認識戦略の更新が行われる。このようなモデル更
新動作を適当にバラツキのあるサンプルに対して行い、
十分な教示サンプルの提供が行われたならば(ステップ
ST206)この認識試行モードMD103を完了し、
すべての登録動作を終了してアイドルモードMD101
へ復帰する。
【0048】このアイドルモードMD101において認
識実行指令が発生すると、情報表示/操作入力/動作モ
ード制御部B106は動作モードをアイドルモードMD
101から認識実行モードMD104へ遷移させ、認識
動作の実行を制御する。この認識実行モードMD104
では、画像相関計測/位置・姿勢認識部B103が駆動
され、画像相関計測/位置・姿勢認識部B103は入力
画像を取り込で認識対象を提示し(ステップST30
1)、登録済の画像モデルによる認識(探索)を実行す
る(ステップST302)。そしてその認識結果の判定
を行い(ステップST303)、成功していると判定さ
れればその旨と認識結果を出力して正常終了し(ステッ
プST304)、失敗に終わったと判定されればその旨
を出力して異常終了する(ステップST305)。この
認識実行モードMD104は、認識対象がなくなるか、
認識終了が指示されるまで繰り返して実行される。
【0049】以上のように、この実施の形態1によれ
ば、より少ない演算量で高い認識信頼性を得ることが可
能となる効果があり、一旦登録した(初期登録時の)画
像モデルを、認識結果に応じて調整することができるの
で、同一品種でありながら、個々の物体間や物体の置き
方の変化によって見掛け上の画像が変化するような事例
に対して認識性能を向上させることができるという効果
もある。また、認識結果の信頼性に余裕がある場合に
は、データを間引いたり、階層的粗精サーチを採り入れ
るなどの高速化手段を自動的に採用することも可能とな
るので、操作者が深い知識を有する熟練者でなくても、
認識を高速に行うように画像処理装置を自動調整するこ
とができるなどの効果もある。
【0050】実施の形態2.上記実施の形態1では、認
識実行モードにおいては認識結果の判定結果に従って、
そのまま正常終了もしくは異常終了する場合について述
べたが、認識実行モードにおいても認識結果の評価に応
じて画像モデルの更新を行うようにしてもよい。図5は
そのようなこの発明の実施の形態2による画像処理装置
の動作モードの遷移を示す動作モード遷移図であり、図
6はそれら各モードの動作を示すフローチャートであ
る。図5において、MD104はサブモードとして、モ
デル探索モードMD1041以外に、認識結果評価モー
ドMD1042およびエラー回復モードMD1043を
有して、認識結果の評価も行う点で図3に同一符号を付
して示した実施の形態1のものとは異なる認識実行モー
ドである。なお、実施の形態1のものと相当する部分に
は図3と同一符号を付してその説明を省略する。また、
当該実施の形態2による画像処理装置の構成は、図1に
示した実施の形態1の場合と同様であるため、その説明
も割愛する。
【0051】次に動作について説明する。なお、初期登
録モードMD102、および認識試行モードMD103
における動作は、実施の形態1の場合と同様であるた
め、ここでは認識実行モードMD104を中心にその説
明を行う。アイドルモードMD101にある時に認識実
行指令が発生すると、情報表示/操作入力/動作モード
制御部B106の制御によって、当該画像処理装置の動
作モードは認識実行モードMD104に遷移する。この
認識実行モードMD104においては、まずそのモデル
探索モードMD1041で実施の形態1の場合と同様
に、画像相関計測/位置・姿勢認識部B103を駆動
し、入力画像を取り込み(ステップST301)、認識
(探索)を実行し(ステップST302)、その認識結
果の判定を行って(ステップST303)、成功してい
ればそのまま終了する。もしも失敗していた場合には、
正しい位置と姿勢を教示してそれを修正したり、その結
果の破棄を行って(ステップST306)、その後に画
像モデルの更新作業を行う(ステップST307)。
【0052】この画像モデルの更新作業のために、サブ
モードをモデル探索モードMD1041から認識結果評
価モードMD1042へ遷移させ、相関計測結果分析部
B104を駆動し、認識結果が正しいかどうかの判断を
行う。ここで、この認識結果の正当性は、以下に示すよ
うな追加認識によって判定される。 1.最終的に探索された位置と姿勢におけるモデルとの
相関値 2.2箇所以上登録された画像モデルによる探索を行っ
た場合のその相互の位置関係(距離,角度など) 3.画像モデルから相対的に設定された、認識しやすい
画像特徴(穴、コーナー、エッジ、マーク、文字、・・
・・)の存在確認
【0053】なお、この画像処理装置の認識結果によっ
て何らかの機械装置が駆動され、認識対象を掴み取って
移動させるような応用例においては、一旦掴み動作を行
わせて、 1.一旦より単純な背景のもとに位置合わせした後(あ
るいは掴んだまま)もう一度認識動作を行って、より信
頼性の高い認識結果を得る。 2.掴み動作を行う機械装置手先に、近距離に存在する
物体の有無を計測したり、物体までの距離を計測するよ
うな補助センサをおき、その信号が適正かで判断する。 などの機械的動作を含む認識結果の検証手法も取ること
ができる。
【0054】ここで重要なことは、当該画像処理装置の
内部の処理、あるいは周辺装置と組み合わせて、認識が
成功したかどうかを確認するモードである認識結果評価
モードMD1042を設けることであり、認識が失敗し
ている場合には、当該画像処理装置を停止させて操作者
を呼んだり、あるいはその認識対象にかかわる次の動作
をスキップさせて次の認識対象へ進むなどの誤認識回復
動作を行うが、正常に認識されてはいるが画像モデルと
の相関が低いような場合には、同じ物体でありながら見
え方が少し異なるような物体が存在することを意味して
いるため、それに対応して画像モデルと認識戦略の作り
替えを行うことである。
【0055】これを実現するために、認識結果の正当性
判断で正当と判定されると、前記実施の形態1における
認識試行モードMD103の場合と同じような認識結果
の評価が行われ、その結果がモデル・戦略更新部B10
5へ送られて、画像モデル/認識戦略更新モードMD1
033へ遷移する。また、認識結果が不当であると判定
された場合にはエラー回復モードMD1043へ遷移
し、操作者による回復または、認識不能物体のスキップ
などの回復動作を行う。なお、機械的な制御が可能であ
れば、少し位置をずらして再度認識を行うようなリトラ
イ動作や確認動作を行うようにしてもよい。
【0056】以上のように、この実施の形態2によれ
ば、実施の形態1にて説明した効果に加えて、認識実行
モードにおいても認識結果の評価が可能となるため、認
識動作の実行中に画像モデルおよび認識戦略を更新する
ことができる効果がある。
【0057】実施の形態3.この実施の形態3は上記実
施の形態1および実施の形態2における認識試行モード
の操作を簡略化したものであり、図7はその初期登録モ
ードにおける操作を比較のために説明する操作画面概念
図であり、図8は認識試行モードにおける操作を説明す
るための操作画面概念図である。図7において、S20
1、S202は初期登録モード画面であり、O101は
対象物体である。また、各初期登録モード画面S20
1、S202内において、C101は位置指定用のカー
ソル、E101はメッセージの表示エリア、F101は
登録物体を切り出すための枠、K101、K102は操
作用の入力ボタンである。図8において、S301〜S
306は認識試行モード画面であり、これら認識試行モ
ード画面S301〜S306内において、C201は位
置指定用のカーソル、E201はメッセージの表示エリ
ア、F201〜F205は認識結果を表示する枠、K2
01〜K207は操作用の入力ボタンである。
【0058】次に動作について説明する。なお、基本的
な動作は上記実施の形態1および実施の形態2の場合と
同様であるため、ここでは試行モードの動作を中心に説
明する。まず、比較のために初期登録モードMD102
における登録動作を説明する。初期登録においては、初
期登録モード画面S201で示されるような画面をまず
表示する。操作者は認識対象物体が画面内で適切に表示
されるように物体の位置やカメラの調整を行い、確定用
の入力ボタンK101をカーソルC101で指定して画
面を確定する。その後、画面が初期登録モード画面S2
02に変化し、表示エリアE101のメッセージによっ
て登録物体を画面から切り出すための操作を求められ
る。操作者は画面上のカーソルC101を用いて画像モ
デルとして登録したい領域を枠F101で囲むことによ
って、登録されるべき画像領域を指定し、その領域内の
データが画像モデルとして格納される。
【0059】一方、認識試行モードMD103において
は、登録済の画像モデルを用いて画像相関計測/位置・
姿勢認識部B103が画像モデルの探索を行う。その結
果は情報表示/操作入力/動作モード制御部B106へ
送られ、認識試行モード画面S301上に、入力された
画像上に重ねて、認識された位置と姿勢に対応した画像
モデルと同じ形状の枠F201が表示される。なお、そ
のとき表示エリアE201には認識結果の内容が表示さ
れる。操作者はこの枠F201を確認し、登録された画
像モデルと同じであれば入力ボタンK201をカーソル
C201で指定して、認識が正常であることを入力す
る。また、ずれが生じていたり全然違う位置を指し示し
ている場合には、入力ボタンK202をカーソルC20
1で指定して、認識が失敗したことを入力する。認識の
失敗が入力されると、画面を認識試行モード画面S30
4に変化させて他に可能性のある候補を枠F202〜F
204にて表示し、その中から所望の候補を操作者に選
ばせる。候補がまったくない場合には、入力ボタンK2
03をカーソルC201で指定し、再度初期設定モード
MD102を行うか、領域を限定して探索をやり直させ
る。
【0060】操作者が所望の候補を選択した後、その位
置や姿勢の修正が必要ならばその微調整を行うこともで
きる。その場合、画面を認識試行モード画面S305に
変化させて位置・姿勢の微調整を行うか否かを問い合わ
せ、微調整をする場合には入力ボタンK204をカーソ
ルC201で指定する。これにより、画面は認識試行モ
ード画面S306に変化し、その入力ボタンK205の
操作によって認識結果を画面内で上下左右あるいは右回
り左回りに移動させ、登録済の画像モデルにぴったりと
重なるまで微調整する。
【0061】認識試行モード画面S301において入力
ボタンK201がカーソル201で指定された場合、あ
るいは、認識試行モード画面S305で入力ボタンK2
06が、認識試行モード画面S306で入力ボタンK2
07が指定された場合、画面は認識試行モード画面S3
02に変化して画像モデルを更新し、さらに認識試行モ
ード画面S303に変化して、他のサンプルについての
試行の有無を問い合わせる。
【0062】ここで、図9は画像モデルとの重ね合わせ
状態を確認する際の操作を示す操作画面概念図であり、
図において、S401は認識試行モード画面、C301
はカーソル、E301は表示エリア、F301は枠、K
301、K302は入力ボタンであり、図8における、
認識試行モード画面S301、カーソルC201、表示
エリアE201、枠F201、入力ボタンK201、K
202に相当するものである。また、K303は対象物
体と画像モデルとを認識試行モード画面S401上に交
互に表示するための入力ボタンである。認識試行モード
画面S401上に表示された入力ボタンK303を操作
して、微妙な認識のずれを操作者が検証しやすいよう
に、その場で対象物体の原画像と画像モデルとを交互に
切り替えて認識試行モード画面S401に表示すること
ができる。なお、同様の機能は図8の認識試行モード画
面S306にも備えられ、原画像と画像モデルとを交互
に切り替えながら、その切り替え操作によって画面内の
物体が動かなくなることを確認することにり、操作者は
正確な重ね合わせを行うことができる。
【0063】なお、上記実施の形態3においては、候補
選択と微調整を手動によって行っているものを示した
が、あらかじめ画像モデルに基準点や基準線を登録して
おき、基準線や基準点の認識機能や、画面上でのポイン
ティング機能を備えることによって、認識試行モード画
面S306における微調整作業を自動化するようにして
もよい。
【0064】以上のように、この実施の形態3によれ
ば、画像モデルを更新する場合、ほとんどの場合には認
識が成功し、操作者は単に“認識成功”を確認するだけ
で済むので操作性が向上するばかりか、本当に微小な位
置ずれもなく認識ができているかを知るために、原画と
画像モデルとを交互に切り替えて表示することもできる
ため、正確に認識結果の確認をとることが可能となっ
て、認識の信頼性が向上し、さらに、追加登録時の画像
モデルの重ね合わせ精度が向上するなどの効果がある。
【0065】実施の形態4.この実施の形態4は上記実
施の形態1における認識試行モードおよび認識実行モー
ドにおいて、認識結果が失敗であった場合に認識戦略を
代えて認識動作をリトライするようにしたものであり、
図10はそのようなこの発明の実施の形態4による画像
処理装置の各モードの動作を示すフローチャートであ
り、図11はそのリトライ動作の詳細を示すフローチャ
ートである。
【0066】次に動作について説明する。なお、この実
施の形態4は上記認識動作のリトライを行う部分のみが
実施の形態1とは異なっているので、ここではその点を
中心に説明する。通常の認識実行モードMD104にお
いては実施の形態1の場合と同様に、入力画像を取り込
み(ステップST301)、認識(探索)を実行して
(ステップST302)、その認識結果を判定し(ステ
ップST303)、認識が成功したと判定された場合に
はその旨と認識結果を出力して正常終了する(ステップ
ST304)。一方、認識が失敗に終ったと判定された
ような場合には、認識戦略の代案を読み込んで認識動作
のリトライを行い(ステップST307)、この認識動
作のリトライによって認識が成功したか否かを再び判断
する(ステップST308)。その結果、認識が成功し
た場合にはその旨と認識結果の出力を行って正常終了し
(ステップST304)、失敗に終わった場合にはその
旨の出力を行って異常終了する(ステップST30
5)。
【0067】次にこのリトライ動作の詳細を図11を用
いて説明する。図11において、MD201は図10の
ステップST308で実行されるリトライモードであ
り、TAC101は当該画像処理装置の内部に保持され
ている認識戦略の一例を示したものである。この認識戦
略TAC101は図示のように、通常認識の場合とリト
ライの各レベル毎に、粗精サーチにおける解像度の変化
のさせ方、中間的な認識結果として候補をいくつ持つ
か、発見したと判断される最低の相関値(相関のしきい
値)、各解像度における画像モデル内サンプル点の全画
像モデル点に対する採用の割合(間引き率)、認識成功
の判定基準などから構成されるデータやプログラムの呼
出規則を記述したデータである。
【0068】リトライ動作においては、認識戦略TAC
101よりこれらのデータを、レベルの順に呼び出し
(ステップST401)、それが有効なリトライ手順で
あるか否かを判定する(ステップST402)。その結
果、有効なリトライ手順であれば、その認識戦略に対応
する画像モデルを呼び出し(ステップST403)、対
象物体の位置や姿勢をサーチしてその認識を行う(ステ
ップST404)。そして、その認識結果を検証し(ス
テップST405)、その認識結果の妥当性を判断し
(ステップST406)、その認識結果が有効なもので
あればリトライ成功として一連の処理を終了する。一
方、認識結果が有効でないと判断された場合には、リト
ライのレベルを上げて、認識戦略TAC101のデータ
をもう一度呼び出して(ステップST401)リトライ
を繰り返し行うが、ステップST402の判定で、認識
戦略TAC101内のデータを使い尽くして有効な戦略
がなくなった(ギブアップ)と判断される場合には、認
識のリトライが失敗したことを出力して一連の処理を終
了する。
【0069】ここで、上記説明では、認識実行モードM
D104におけるリトライ機能について説明したが、図
10のステップST207、ST208に示すように、
認識試行モードMD103においてもリトライを行うこ
とは有効である。なお、この場合には、リトライの発生
頻度に応じて、認識戦略そのものの更新を行うことがで
きる。例えば、通常認識においてリトライ発生率が20
%を越えた場合には、それまでのリトライレベル1の認
識戦略を通常戦略とし、以下リトライの各レベルを1段
信頼性の高い戦略で置き替えることによって、認識戦略
そのものの更新を行う。これによって、しばしばリトラ
イが発生し、高速化の効果が薄れて、かえって認識に時
間がかかっているような場合に、平均の認識時間を短縮
することができたり、あるいは認識結果の検証におい
て、実際には認識が失敗に終わっているのに成功したと
判断して、誤った認識結果を出力してしまうようなこと
を防止して、全体の認識率を向上させることが可能とな
る。
【0070】以上のように、この実施の形態4によれ
ば、自動的リトライを前提に、まず計算コストの低い高
速な認識戦略で認識を行い、その結果、認識に失敗して
いる可能性の高い場合には、より計算コストは高いが信
頼性も高い認識戦略に切り替えて、十分な信頼性が得ら
れるまで認識を繰り返しているため、総合的には高い信
頼性を確保しながら、平均的には認識に必要な演算量や
演算時間を節約することが可能となって、装置を高速化
できる効果があり、また、認識試行モードにおいてもリ
トライを行うことにより、リトライ発生率に応じて認識
戦略そのものを更新することが可能となって、全体の認
識率を向上できる効果もある。
【0071】実施の形態5.図12はこの発明の実施の
形態5による画像処理装置における認識戦略の採用方式
を示す概念図である。図において、B103は画像相関
計測/位置・姿勢認識部、B104は相関計測結果分析
部、B105はモデル・戦略更新部であり、これらは図
1に同一符号を付して示したものと同等のものである。
また、R101〜R105は、粗精探索/階層化探索の
ルール、テンプレートサンプル点間引きのルール、複数
のテンプレート融合のルール、画像データビット数圧縮
のルール、部分テンプレート使用のルールなどのテンプ
レートマッチングの高速化選択ルールであり、R106
〜R110はテンプレート内の不安定要素排除のルー
ル、テンプレート複数化のルール、テンプレート領域変
更のルール、テンプレート領域拡大のルール、残留パタ
ーンの補助テンプレートへの登録のルールなどのテンプ
レートマッチングの高信頼化選択ルールである。
【0072】次に動作について説明する。なお、この実
施の形態5は実施の形態1における相関計測結果分析部
B104およびモデル・戦略更新部B105で使われる
画像モデルと認識戦略の更新方式について述べたもので
あるため、基本的な動作は実施の形態1と同様である。
したがって、相関計測結果に基づく画像モデルと認識戦
略の更新動作についてのみ以下に説明する。
【0073】画像相関計測/位置・姿勢認識部B103
は、動作モードに応じて、第1回目の初期登録モードで
使われる、対象の認識に最低限必要な初期教示サンプ
ル、認識試行モードで使われる、高速化/高信頼化学習
用の拡張教示サンプル、および認識実行モードで使われ
る実行用画像サンプルを切り替え選択して、それを一方
の入力とし、当該画像処理装置内部に蓄えられた画像モ
デルと認識戦略(手順)を用いて相関計測を行い、その
認識結果を実行結果として出力するとともに、認識結果
と相関マップなどの認識の良否判定となるデータを相関
計測結果分析部B104に送る。
【0074】画像相関計測/位置・姿勢認識部B103
よりこの認識結果と相関マップなどを受けた相関計測結
果分析部B104では、例えば次のような解析を行っ
て、複数の評価値を求める。 1.単峰性評価 例えば、相関マップ上の認識結果(しきい値以上の極大
値)の周りを探索して単調減少している領域Suniform
を求め、その領域Suniform の境界までの最小距離Run
iform を求めてそれを単峰性評価値とする。 2.ピーク尖鋭度評価 例えば、領域Suniform 内の平均的な相関値Msurrを求
め、その平均的な相関値Msurrと発見位置での相関値M
1 との差Dsurrを求めてそれをピーク尖鋭度評価とす
る。 3.ピーク唯一性評価 例えば、相関マップ内の第2のピークを探索してその相
関値M2 を求め前記相関値M1 とこの相関値M2 との差
D1-2 を求めてそれをピーク唯一性とする。
【0075】次に、相関計測結果分析部B104によっ
て、このようにして求められた評価値をもとに、テンプ
レートマッチングの高速化選択ルールR101〜R10
5、あるいは高信頼化選択ルールR106〜R110を
参照し、参照したルールに当てはめられるか否かについ
て順次判定し、当てはめられる場合には、該当するルー
ルとその該当するルールに対応した更新手段とをモデル
・戦略更新部B105に伝える。モデル・戦略更新部B
105では受け取ったルールとそれに対応した更新手段
に基づいて、画像モデルと認識戦略を図13あるいは図
14に示すような方法で更新する。
【0076】なお、図13は採用される認識戦略によっ
て設定される、さまざまな高速化の認識戦略に対応した
テンプレートによる簡略化について示す概念図である。
図において、EX101はNS 段に階層化されたテンプ
レート群中の第i段縮小テンプレートであり、EX10
2はサンプル点を間引いて、テンプレート中の×印のサ
ンプル点のみを使用するようにした場合のもの、EX1
03は少しずつ異なった複数枚のテンプレートEX10
3−1から共通に含まれるより少ない枚数のテンプレー
トEX103−2に縮退した場合のもの、EX104は
画像データビット間の圧縮を行ったテンプレートを用い
た場合のもの、EX105は黒枠で囲んだ部分テンプレ
ートに分割した場合のものである。また、図14は採用
される認識戦略によって設定される、さまざまな高信頼
化の認識戦略に対応したテンプレートによる認識用画像
モデルの作成を示す概念図である。図において、EX1
01は前記第i段縮小テンプレートであり、EX106
はテンプレート中の×印で示した不安定なサンプル点を
削除した場合のもの、EX107はテンプレートを複数
化してパターンのバリエーションを複数枚のテンプレー
トで表現した場合のもの、EX108はテンプレートの
領域を変更してより強いピークを作るように領域の移動
を行う場合のもの、EX109はテンプレートの領域を
同時に生起する周辺パターンを含めた領域に拡大する場
合のもの、EX110は元のテンプレートEX110−
1に対して補助テンプレートEX110−2を生成し、
残留成分の共通部分を抽出して登録する場合のものであ
る。
【0077】まず、図12にR101〜R105で示し
た高速化選択ルールと当該ルールを用いたモデルの簡略
化の方法について列挙して説明する。 1.単峰性評価値Runiform があらかじめ定められたし
きい値Tuniform-okより大きい場合には、高速化選択ル
ールとして、図12に示す粗精探索/階層化探索のルー
ルR101を起動し、より縮小された階層化探索方式を
採用して高速化を試みる。そのために、まず、より縮小
された階層化探索方式を仮に採用し、縮小画像を生成す
るために切り出す切り出し位置を微小量変化させた場合
の相関マップと、もとの相関マップとの相関をとって、
その最悪値があらかじめ定められたしきい値Tuniform
よりも高く、かつピーク唯一性D1-2 の低下がない場合
に、その仮の階層化探索方式を採用する。 2.ピーク尖鋭度評価値Dsurrがしきい値Tsurr-ok よ
り大きい場合には、高速化選択ルールとして、図12に
示すテンプレートサンプル点間引きのルールR102を
起動し、画像モデル内部のサンプル点を間引いて高速化
する。そのために、図13のEX102に示すように、
まず仮にサンプリングした間引きテンプレートを適当に
作成し、このテンプレートを用いて再度、短峰性評価、
ピーク尖鋭度評価およびピーク唯一性評価を行い、これ
らの評価値が悪化していない範囲で間引き量を次第に多
くしてゆくことを行う。 3.内部に同時に持つ画像モデル(図13のEX103
に示すような少しずつ異なったテンプレートEX103
−1)が複数枚(N枚)あり、そのN枚の画像モデルT
k ,(k=1,2,・・・,N)の画像データを主成分
分析にかけた、画像モデル主成分Ek ,(k=1,2,
・・・,N)の上位C個(C<N)、例えば図13のE
X103に示す2枚のテンプレートEX103−2を用
いた場合には、その主成分の累積寄与率が、あらかじめ
定められたしきい値Tpc-ok よりも大きい場合には、複
数の画像モデルTk を主成分に分解された画像モデルE
k,(k=1,2,・・・,C)に置き換えて高速化す
る。なお、この場合には高速化選択ルールとして、複数
テンプレートの融合のルールR103が起動される。 4.仮に画像データビット数を、例えば図13のEX1
04に示すように2値化して1ビットにするなどの方法
で間引いて、間引かないもとの相関マップとの相関を計
算し、その相関値がしきい値Tlevel-okより高ければ、
画像相関計測の前処理に、例えば、2値化方式のような
データビット数削減手段を挿入し高速化する。なお、こ
の場合には高速化選択ルールとして、画像データビット
数圧縮のルールR104が起動される。 5.ピーク尖鋭度評価値Dsurrがしきい値Tsurr-ok よ
り大きい場合には、図13のEX105に示すように、
画像モデルの一部の長方形領域を切り出してそれを仮の
画像モデルとし、この仮の画像モデルを用いて全サンプ
ルを再度認識した場合に、ピーク唯一性D1-2 の低下が
なければ、その仮の画像モデルを画像モデルとして採用
する。なお、この場合には高速化選択ルールとして、部
分テンプレート使用のルールR105が起動される。
【0078】次に、図12にR106〜R110で示し
た高信頼化選択ルールと当該ルールを用いた認識用画像
モデル作成の方法について列挙して説明する。 1.すべての教示用あるいは試行用の認識サンプル画像
Ik ,(k=1,2,・・・,M)に関して、画像モデ
ル内の位置(i,j)に対応する画素Ik (i,j)の
分散P(i,j)を求め、分散P(i,j)がある一定
のしきい値Tdiv-ngを越えるならば、高信頼化選択ルー
ルとして、図12に示されたテンプレート内不安定画素
の排除のルールR106が起動され、画像モデルからそ
れらの点を削除して、図14のEX106に示すような
残りの画素だけを登録した認識用画像モデルを作成す
る。 2.すべての教示用あるいは試行用認識サンプル画像I
k ,(k=1,2,・・・,M)に関して、現在採用さ
れている画像モデルT(i,j)との相関を求め、その
相関値があらかじめ設定されたしきい値Tcorr-ng を下
回る場合には、高信頼化選択ルールとして、図12に示
されたテンプレート複数化のルールR107が起動さ
れ、この入力画像を追加画像モデルとして記憶する。そ
の結果、図14のEX107に示すように、複数枚で一
つの物体を表現するような複数のテンプレートを作成す
る。 3.拡張教示サンプルに対するピーク唯一性D1-2 があ
らかじめ定められたしきい値Tuniq-ng を下回る場合に
は、高信頼化選択ルールとして、図12に示されたテン
プレート領域変更のルールR108が起動され、例えば
図14のEX108に示すように、テンプレートの領域
を微小量ずらした仮の画像モデルを生成し、この仮の画
像モデルを用いてすべての認識試行用画像サンプルとの
認識を再実行し、ピーク唯一性D1-2 が改善し、かつ全
認識試行用画像サンプルに対して相関値がしきい値Tco
rr-ok を上回る場合には、それを画像モデルとして採用
する。 4.拡張教示サンプルに対するピーク唯一性D1-2 があ
らかじめ定められたしきい値Tuniq-ng を下回る場合に
は、高信頼化選択ルールとして、図12に示されたテン
プレート領域拡大のルールR109が起動され、例えば
図14のEX109に示すように、画像モデル登録領域
を拡大した仮の画像モデルを生成し、この仮の画像モデ
ルを用いてすべての認識試行用画像サンプルとの認識を
再実行し、ピーク唯一性D1-2 が改善し、かつ認識全試
行用画像サンプルに対して相関値がしきい値Tcorr-ok
を上回る場合には、それを画像モデルとして採用する。 5.拡張教示サンプルについて、位置合わせ後にテンプ
レートと原画像との残差を残留パターンとして抽出し、
全拡張教示サンプルに共通な残留パターン成分を求め、
その分散があるしきい値を越えている場合には、高信頼
化選択ルールとして、図12に示された残留パターンの
補助テンプレートへの登録のルールR110が起動され
て、残留パターンが図14のEX110に示したような
補助テンプレートとして登録される。
【0079】このような高速化選択ルールR101〜R
105あるいは高信頼化選択ルールR106〜R110
などの更新ルールの条件が当てはまるか否かを逐次チェ
ックして、当てはめられた更新ルールを用いて、モデル
・戦略更新部B105が実際に画像モデルと認識戦略
(手順)を自動的に更新する。
【0080】以上のように、この実施の形態5によれ
ば、相関演算結果の分析に基づいて、階層化探索、画像
モデル点の間引き、画像データビットの圧縮、部分テン
プレートの使用、複数の画像モデルの融合による近似な
どのテクニックを用いることができる条件の検出と、そ
の手順が自動化されているので、入力サンプル数を増や
してゆけば、自動的に認識の高速化がはかれ、また、不
安定画素のマスキング、テンプレートの複数化、テンプ
レート領域の変更、テンプレート領域の拡大、残留パタ
ーンの補助テンプレートへの登録などの高信頼化テクニ
ックを用いることができる条件の検出と、その手順が自
動化されているので、入力サンプル数を増やしてゆけ
ば、自動的に認識の高信頼化がはかれるという効果があ
る。
【0081】実施の形態6.上記実施の形態5において
は、実施の形態1による画像処理装置を拡張したものに
ついて説明したが、登録される画像が初期登録画像1枚
だけである場合にも、高速化選択ルールおよび高信頼化
ルールのうちの、1枚の初期登録画像に対しても登録適
用できるルールだけを用いて最適な画像モデルを生成す
ることができる。
【0082】図15はそのようなこの実施の形態6によ
る画像処理装置における認識戦略の採用方式を示す概念
図であり、図において、B107はこの実施の形態6に
おいて新たに付加された、画像モデルの良さを単独で評
価する画像モデル評価部である。なお、この実施の形態
6では、図12に示した実施の形態5のものと比較し
て、1枚のサンプル画像からでは適用できない高速化選
択ルールR103、R104、R105および高信頼化
選択ルールR106、R107、R109、R110が
削除されるとともに、操作者によるマスク設定のための
ルールが高信頼化選択ルールR111として追加されて
いる。また、画像相関計測/位置・姿勢認識部B103
への入力も拡張教示サンプルが削除され、初期教示サン
プルと実行用画像サンプルが動作モードに応じて切り替
えられている。
【0083】次に動作について説明する。画像モデル評
価部B107は画像モデル内の濃度分散HT を次の式
(4)によって求め、それに基づいて画像モデルの良さ
を単独で評価する。
【0084】
【数3】
【0085】そして、その評価値に基づいて以下のよう
な高速化選択ルールと高信頼化選択ルールを用いる。
【0086】高速化選択ルール 1.単峰性評価値Runiform があらかじめ定められたし
きい値Tuniform-okより大きい場合には、より縮小され
た階層化探索方式を採用して高速化する。(粗精探索/
階層化探索のルールR101) 2.より縮小された階層化探索方式を仮に採用し、縮小
画像を生成するために切り出す切り出し位置を微小量変
化させた場合の相関マップを生成し、そのマップにおけ
る最高の類似度(あるいは相関値)があらかじめ定めら
れたしきい値Tshrink-ok よりも高く、かつピーク唯一
性D1-2 の低下がなければ、この仮の階層化探索方式を
採用する。(粗精探索/階層化探索のルールR101) 3.ピーク尖鋭度評価値Dsurrがしきい値Tsurr-ok よ
り大きい場合には、画像モデル内部のサンプル点を間引
いて高速化する。(テンプレートサンプル点間引きのル
ールR102) 4.ピーク尖鋭度評価値Dsurrがしきい値Tsurr-ok よ
り大きい場合には、画像モデルの一部の長方形領域を切
り出してそれを仮の画像モデルとし、この仮の画像モデ
ルを用いて登録用入力画像を再度認識した場合に、ピー
ク唯一性D1-2が低下しないならば、その仮の画像モデ
ルを画像モデルとして採用する。(テンプレートサンプ
ル点間引きのルールR102)
【0087】高信頼化選択ルール 1.拡張教示サンプルに対するピーク唯一性D1-2 があ
らかじめ定められたしきい値Tuniq-ng を下回る場合に
は、画像モデル登録位置を微小量ずらした仮の画像モデ
ルを生成し、その仮の画像モデルを用いてすべての認識
試行用画像サンプルとの認識を再実行し、ピーク唯一性
D1-2 が改善される場合には、それを画像モデルとして
採用する。(テンプレート領域変更のルールR108) 2.画像モデル内濃度分散HT があらかじめ決められた
下限値Tdiv-ngを下回る場合には、画像モデルの切り出
し位置を変更して、画像モデル内の分散が下限値Tdiv-
ngを上回る仮の別の画像モデルを設定し、その結果、ピ
ーク尖鋭度Dsurr、ピーク唯一性D1-2 が同等あるいは
改善される場合には、その仮の画像モデルを採用する。
(テンプレート領域変更のルールR108) 3.操作者にマスク設定の有無を問い合わせ、操作者が
必要と認めた場合にはマスク操作を行う(オペレータに
よるマスク設定のルールR111)(なお、これに関し
ては、後述する実施の形態8において、図20を参照し
ながら詳細に説明する)。
【0088】このようにして、1枚の初期登録画像に対
しても登録適用可能な高速化選択ルールR101、R1
02、および高信頼化選択ルールR108、R111を
用いて画像モデルの領域やデータの間引きなどをコント
ロールし、1枚の初期登録サンプル画像からもっとも合
理的な画像モデルを生成することができる。
【0089】以上のように、この実施の形態6によれ
ば、1枚の登録サンプル画像から、実施の形態5の場合
と同じように自動的な高速化手段の採用と高信頼化手段
の採用を行うことが可能となって、認識試行モードでの
処理を実現できない場合や、認識試行モードの確認を省
きたい場合にも、実施の形態5と同様の効果が期待でき
る。
【0090】実施の形態7.上記各実施の形態において
は、複数のサンプル画像から安定して効率のよい認識を
可能にする画像モデルを生成する手法について説明した
が、対象とする物体やパターンが人工的である場合に
は、初期画像モデルを人工的に生成し、人工的パターン
のパラメータを入力画像に合わせて自動で修正するよう
にしてもよい。そのようにすることにより、初期登録モ
ードおよび試行モードにおける操作性を向上し、登録時
の物体の見え方やバラツキを不用意に画像モデル内部に
取り込まないようにすることができる。
【0091】すなわち、入力画像全体の中から対象物体
を探索するために、その対象物体全体、あるいは一部を
取り囲むような画像モデルを利用し、位置と姿勢を認識
するために、その中に含まれる、基準となる円、楕円、
正方形、長方形、正多角形、一定幅の直線またはその組
合せ(例えば十字)、その他しばしば利用される的マー
クを人工的に発生し、この人工的基準画像の形状を登録
画像上で最適化して画像モデルとして記憶し、認識時に
は、まず登録画像パターンを用いて概略の位置と姿勢を
認識させた後に、人工的基準パターンの位置を登録画像
パターン検出位置の周りで計測してその値を出力するこ
と、あるいは登録画像パターンと人工的基準パターンの
相対的位置関係をあらかじめ計測しておき、登録画像パ
ターンの計測値に前記位置関係を加えて出力すること、
あるいは人工的パターンだけを用いて位置や姿勢の認識
を行うようにしたものである。
【0092】図16はそのようなこの発明の実施の形態
7による画像処理装置における、人工的なパターンとの
相関を用いた位置合わせ登録を説明するための概念図で
ある。図において、S501は入力された初期登録用画
像、S502は操作者によって操作される操作画面であ
り、O201は人工的に作成された標準画像モデル、Q
101は得られた3次元相関マップである。
【0093】次に動作について説明する。あらかじめ登
録したい画像パターンが円(楕円)であったと仮定する
と、図16において、初期登録モード時に以下の手順に
従って処理する。 1.入力された初期登録用画像S501を取り込む。 2.操作者がおおよその位置と大きさを、操作画面S5
02を用いて指定する。 3.中心座標(cx,cy)、半径rをパラメータとす
る、内部が黒い円による円形パターン人工画像を標準画
像モデルO201として用意する。(標準画像モデルO
201が楕円である場合には、さらに長軸径、単軸径、
軸の傾きもそのパラメータとして持つことになる。) 4.操作者が操作画面S502上で、標準画像パターン
O101の円形パターン人工画像の半径rを、r×SC
ALEmin からr×SCALEmax まで、SCALEst
ep間隔で倍率を変化させながら、初期登録用画像S50
1に対して認識処理を行い、3次元相関マップQ101
を生成する。 5.得られた3次元相関マップQ101内部を探索し
て、最も相関の高い中心座標(x1,y1)と最適な半
径r1とを求め、この半径r1に対応する人工パターン
を画像モデルとして登録する。また、その画像モデルの
中心(x1,y1)を出力座標として登録する。
【0094】なお、上記図16を用いた説明では、円の
半径rを変化させながら最適な画像モデルを求めるもの
を示したが、例えば、図17に示されるように、一つの
半径rを持つ人工的画像モデルを用いて概略の位置を探
索しておき、探索結果の位置(x,y)の周りでエッジ
抽出を行って操作画面S503に示すドットD101を
抽出し、このドットD101を結ぶ円の重心と円の半径
を画像モデルとして登録するようにしてもよい。
【0095】また、探索された位置のまわりに局所的な
領域を設け、領域内部のパターンを2値化して2値画像
の重心を求めるような処理をしても同じ効果がある。た
だし、パターン中心が孤立した円である場合には問題は
ないが、図18に示されるような、円と他のパターンが
複合したような図形の場合、単に重心を求めるだけでは
位置の精密な計測が不可能な場合も存在するので、その
場合には、図16で説明した方式や、上記図18に示し
た円形テンプレートを用いる方式の方が優れている。
【0096】さらに、図16に示した方式では探索する
パターンが円であったが、図19に示すように、長方形
基準テンプレート(標準画像パターンO202)、三角
形基準テンプレート(標準画像パターンO203)、十
字型テンプレート(標準画像パターンO204)などの
各種パターン人工画像を標準画像パターンとして用意し
ておき、それらを用いて、長方形(画面S504)、三
角形(画面S505)、独特なマーク(画面S506)
など、円以外のパターンにも拡張して用いることができ
る。
【0097】以上のように、この実施の形態7によれ
ば、操作者が細かく位置合わせを確認したり、画像の切
り出し位置を指定したり、パターンの中心を指定したり
しなくとも、自動的に人工的パターンのパラメータを最
適化し、パターン毎に定義される中心を正確に求めるこ
とができるので、計測精度が向上し、操作性がよくなる
効果がある。また、実施の形態1の認識試行モードにお
ける画像モデルの更新において、パターンを人工的パタ
ーンに限定することを行えば、単なる突発的なバラツキ
によって不用意に画像モデルが乱されることがなくな
り、安定したパターンだけを学習することが可能となっ
て、認識の安定化がはかれる場合があるという効果もあ
る。
【0098】実施の形態8.図20はこの発明の実施の
形態8による画像処理装置におけるマスク設定の操作画
面を示す概念図である。図において、S601、S60
2は初期設定モード画面、C401はカーソル、K40
1、K402は入力ボタンであり、これら図7におけ
る、初期設定モード画面S201、S202、カーソル
C101、入力ボタンK101、K102に相当するも
のである。また、P101は初期設定モード画面S20
1に表示された、通常あり得ない汚れや不安定な不要パ
ターンであり、M101はこの画像モデル上でこの不要
パターンP101を無視するためのマスク領域である。
K403は初期設定モード画面S202上でこのマスク
領域M101の形状を指定するための入力ボタンであ
り、K404は入力ボタンK403で指定されたマスク
領域M101の内部を塗りつぶす色を指定するための入
力ボタン、K405は入力ボタンK403で指定された
マスク領域M101内のデータを無視することを指示す
る入力ボタンである。
【0099】次に動作について説明する。初期登録モー
ドではまず、初期登録モード画面S601が表示され
る。操作者は表示された画像モデル上の特定の部分、す
なわち不要パターンP101の部分が、汚れがなければ
本来こう見えるべきであるということを知っていたり、
あるいはその部分の明るさやパターンが非常に不安定
で、よく変化することを知っている場合には、操作者は
カーソルC401で入力ボタンK401を指定してその
画像を確定し、動作モードをマスク設定モードに遷移さ
せる。これにより、画面は初期設定モード画面S201
からS202に変化する。操作者は入力ボタンK403
やカーソルC401を用いて、画素単位あるいは図形に
よってマスク領域M101を指定し、そのマスク領域M
101を入力ボタンK404によって指定色に塗りつぶ
したり、あるいは入力ボタンK405を操作して、その
マスク領域M101内のデータを画像モデルから除外す
ること、すなわち無視することを設定する。
【0100】このようにして、画像モデルの初期登録時
に、不安定あるいはサンプル間のバラツキの大きい画素
領域があらかじめ分かっている場合に、その領域を表示
画面上で指定してマスクすることにより、バラツキの大
きい画素領域の画像の類似度演算への寄与率を低くして
いる。なお、このことは、認識試行モードにおいても同
様である。
【0101】以上のように、この実施の形態8によれ
ば、操作者が本人の経験的知識を用いて画像モデルの値
の修正や画像モデル内の重みを修正しているので、たく
さんの試行を重ねて、統計的あるいは学習的に信頼性の
高い画像モデルを作成しなくても、経験的な知識にした
がって一挙に信頼性の高い画像モデルを生成することが
できる効果がある。
【0102】実施の形態9.この実施の形態9は、認識
実行モードにおける画像モデルの更新を行いたいが、次
に示すいずれかの理由によって、その場での自動更新が
ふさわしくない場合に対処する機能を提供するものであ
る。
【0103】1.次々と認識したい対象物体が現れた
り、認識の繰り返しサイクルが速いため、認識実行モー
ド中にモデルの更新を行うための時間的な余裕がない場
合。 2.画像モデルや認識戦略の自動更新によって予期せぬ
更新結果が発生し、それによって認識信頼性や認識率の
低下が生じるようなことが絶対にあってはならない場
合。
【0104】これらいずれかの場合には、その場で画像
モデルの自動更新を行うことは好ましくない。そこで、
この実施の形態9においては、画像モデルの更新を行う
代わりに、大容量の画像記憶手段に認識がうまくできな
かった画像を保存しておき、処理時間に余裕ができた
り、操作者が監視することができる状況になった場合
に、それを用いて更新作業を実施したり、不具合の解析
を行うようにしたものである。
【0105】図21はそのようなこの発明の実施の形態
9による画像処理装置を示す構成図であり、図1と相当
部分には同一符号を付してその説明を省略する。図にお
いて、B110は相関計測結果分析部B104より受け
た分析結果に従って、認識がうまくできなかった画像の
大容量の画像記憶手段への保存、あるいは当該画像処理
装置より離れて設置されたデータベース手段への伝送を
制御する画像蓄積/伝送部である。B111は当該画像
処理装置内部に設けられた画像記憶手段としての大容量
の補助記憶部であり、B112は外部のデータベース手
段に接続される画像伝送手段としての通信ネットワーク
である。
【0106】次に動作について説明する。相関計測結果
分析部B104において、例えば類似度の低下などの、
認識結果の信頼性の低下を示唆する分析結果や、明らか
な認識失敗が得られた場合に、その結果をエラー通知と
して画像蓄積/伝送部B110に送る。画像蓄積/伝送
部B110では、受け取ったエラー通知とあらかじめ設
定された条件との論理演算を行う。ここで、あらかじめ
定められた条件としては、例えば、認識対象物体の品種
がAで、類似度が50%より低下し、2回以上のリトラ
イ認識動作を行っても、類似度が60%より向上しな
い、というような条件設定が可能である。この条件に当
てはまった場合、画像蓄積/伝送部B110は入力画像
を補助記憶部B111に転送して保存したり、あるいは
それを通信ネットワークB112に送出して、外部のデ
ータベース手段である監視装置やデータベースサーバな
どに表示したり蓄積したりする。
【0107】画像処理装置に自動更新する時間的余裕が
できたり、操作者がきて、どのような画像モデルと認識
戦略の更新が行われているかを監視することができるよ
うになった時点で、この補助記憶部B111あるいは外
部のデータベースサーバなどに蓄積されたエラー時の入
力画像が評価されて、モデル・戦略更新部B105によ
って画像モデルや認識戦略の更新が行われる。また、モ
デル・戦略更新部B105を持たなくても、操作者が認
識失敗状況の解析を蓄積されたエラー時の入力画像をも
とに実行し、手動で画像モデルを修正したり認識戦略を
修正するようにしても同様の効果が得られる。また、実
施の形態2において説明したように、認識の失敗の判定
は、画像処理結果だけではなく、この発明の画像処理装
置を含むシステムが画像処理結果に基づいて動作を行っ
た結果から判断する。すなわち画像処理装置外部から、
認識の失敗を知らせることを行っても同様の効果が得ら
れる。
【0108】なお、補助記憶部B111には記憶容量の
制限があり、認識の信頼性低下や失敗が連続すれば、画
像を記憶しきれない事態が生ずる可能性がある。そのよ
うな場合には、画像蓄積/伝送部B110で補助記憶部
B111の記憶容量の残りを監視し、古いデータや、信
頼性の低下が顕著でない(重要度の低い)画像サンプル
を選択的に消去し、新たな画像を蓄積するようにすれ
ば、さらに効率的なシステムの運用が可能となる。
【0109】以上のように、この実施の形態9によれ
ば、画像モデルや認識戦略の更新をその場で行わず、失
敗した画像を蓄積しておくことができるので、時間的に
厳しい条件や、自動更新の様子を監視する必要がある場
合にも容易に対応できるという効果がある。
【0110】
【発明の効果】請求項1記載の発明によれば、入力画像
と画像モデルとの類似度もしくは一致度を計測し、その
値に基づいて対象物体の有無・位置・姿勢の認識を行っ
て、前記類似度もしくは一致度の分布の評価に基づい
て、画像モデルのデータの冗長性を加減したり認識の失
敗や信頼性の低下を検知して、画像モデルを更新しなが
ら再認識を行うように構成したので、少ない演算量で高
い認識信頼性を実現することが可能な画像処理装置が得
られる効果がある。
【0111】請求項2記載の発明によれば、認識試行モ
ード時において、入力画像の複雑さやバラツキを学習し
ながら画像モデルと認識戦略の更新を行うように構成し
たので、同一品種でありながら個々の物体間や物体の置
き方の変化によって見掛け上の画像が変化するような事
例に対して、認識性能を向上させることが可能となっ
て、一旦登録した画像モデルを認識結果に応じて調整す
ることができ、少ない演算量で高い認識信頼性を得るこ
とができる効果がある。
【0112】請求項3記載の発明によれば、認識実行モ
ード時においても画像モデルと認識戦略を更新するよう
に構成したので、さらに認識実行モードにおいても認識
結果の評価が可能となって、認識動作の実行中に画像モ
デルおよび認識戦略を更新することができる効果があ
る。
【0113】請求項4記載の発明によれば、認識試行モ
ード時に、認識結果が成功と判断されれば自動的に画像
モデルと認識戦略を更新し、失敗に終わったと判断され
れば正解の可能性の高い候補を表示して操作者にそれを
選択させ、その値を用いて画像モデルと認識戦略の更新
を行うように構成したので、画像モデルを更新するに際
して、認識が成功していれば操作者は単に“認識成功”
を確認するだけで済み、また、ほとんどの場合には認識
が成功しているので、その操作性が向上するばかりか、
微小な位置ずれもなく認識ができているかを知るため
に、原画と画像モデルとを交互に切り替えて表示するこ
とが可能となるため、正確に認識結果の確認をとること
ができて認識の信頼性が向上し、また追加登録時の画像
モデルの重ね合わせの精度も向上する効果がある。
【0114】請求項5記載の発明によれば、認識実行モ
ード時に認識結果が失敗であった場合には、その時の認
識処理にて用いた認識戦略よりも信頼性の高い認識戦略
を用いて再度認識処理を実行するように構成したので、
自動的リトライを前提に行った計算コストの低い高速な
認識戦略による認識の結果、認識に失敗している可能性
の高い場合には、より計算コストは高いが信頼性も高い
認識戦略に切り替えて、十分な信頼性が得られるまで認
識を繰り返すことが可能となるため、総合的には高い信
頼性を確保しながら、平均的には認識に必要な演算量や
演算時間を節約することができ、装置の高速化が可能と
なる効果がある。
【0115】請求項6記載の発明によれば、認識試行モ
ード時においても認識が失敗であった場合には、その時
の認識処理にて用いた認識戦略よりも信頼性の高い認識
戦略を用いて再度認識処理を実行するように構成したの
で、さらに認識試行モードにおいてもリトライを行っ
て、そのリトライの発生率に応じて認識戦略そのものを
更新することが可能となるため、全体の認識率を向上さ
せることができる効果がある。
【0116】請求項7記載の発明によれば、切り出し位
置・姿勢パラメータに対する類似度分布の評価値に基づ
いて、認識処理を高速化するための高速化選択ルールが
当てはまるか否かを逐次判定し、画像モデルと認識戦略
の更新を、その当てはめられた高速化選択ルールを用い
て行うように構成したので、高速化選択ルールが適用で
きる条件の検出とその手順が自動化されるようになるの
で、入力サンプル数を増やしてゆけば、認識の速度を自
動的に高速化することが可能となる効果がある。
【0117】請求項8記載の発明によれば、切り出し位
置・姿勢パラメータに対する類似度分布の評価値に基づ
いて、認識処理を高信頼化するための高信頼化選択ルー
ルが当てはまるか否かを逐次判定し、画像モデルと認識
戦略の更新を、その当てはめられた高信頼化選択ルール
を用いて行うように構成したので、相関演算結果の分析
に基づいて、高信頼化選択ルールが適用できる条件の検
出とその手順が自動化されるようになり、入力サンプル
数を増やしてゆけば、認識の信頼性を自動的に向上させ
ることが可能になる効果がある。
【0118】請求項9記載の発明によれば、粗精探索/
階層化探索のルール、テンプレートサンプル点間引きの
ルール、複数テンプレート融合のルール、画像データビ
ット数圧縮のルール、および部分テンプレート使用のル
ールを高速化選択ルールとして用意するように構成した
ので、相関演算結果の分析に基づいて、階層化探索、画
像モデル点の間引き、画像データビットの圧縮、複数の
画像モデルの融合による近似などの高速化テクニックを
用いることができる条件の検出と、その手順が自動化さ
れ、入力サンプル数を増やしてゆけば、自動的に認識の
高速化をはかることができる効果がある。
【0119】請求項10記載の発明によれば、テンプレ
ート内不安定要素排除のルール、テンプレート複数化の
ルール、テンプレート領域変更のルール、テンプレート
領域拡大のルール、および残留パターンの補助テンプレ
ートへの登録のルールを高信頼化選択ルールとして用意
するように構成したので、相関演算結果の分析に基づい
て、不安定画素のマスキング、テンプレートの複数化、
テンプレート領域の変更などの高信頼化テクニックを用
いることができる条件の検出と、その手順が自動化さ
れ、入力サンプル数を増やしてゆけば、自動的に認識の
高信頼化をはかることができる効果がある。
【0120】請求項11記載の発明によれば、画像モデ
ルの良さを単独で評価する画像モデル評価部を設けて、
高速化選択ルールのうちの1枚の初期登録画像に対して
も登録適用できるルールだけを用いて画像モデルと認識
戦略の更新を行うように構成したので、1枚の登録サン
プル画像から自動的に高速化手段を採用することが可能
となって、認識試行モードでの処理を実現できない場合
や、認識試行モードの確認を省きたい場合にも、認識の
速度を自動的に高速化することが可能となる効果があ
る。
【0121】請求項12記載の発明によれば、画像モデ
ルの良さを単独で評価する画像モデル評価部を設けて、
高信頼化選択ルールのうちの1枚の初期登録画像に対し
ても登録適用できるルールだけを用いて画像モデルと認
識戦略の更新を行うように構成したので、1枚の登録サ
ンプル画像から自動的に高信頼化手段を採用することが
可能となって、認識試行モードでの処理を実現できない
場合や、認識試行モードの確認を省きたい場合にも、認
識の信頼性を自動的に向上させることが可能になる効果
がある。
【0122】請求項13記載の発明によれば、取り込ん
だ入力画像中に含まれる基準となる図形を人工的に生成
してそれを標準画像パターンとし、それを最適化したも
のを画像モデルとして登録するように構成したので、操
作者が細かく位置合わせを確認したり、画像の切り出し
位置を指定したり、パターンの中心を指定したりしなく
とも、自動的に人工的パターンのパラメータを最適化
し、パターン毎に定義される中心を正確に求めることが
可能となるため、計測精度が向上し、操作性がよくなる
効果がある。
【0123】請求項14記載の発明によれば、表示画面
上で指定された領域について、当該領域のデータを画像
モデルから除外したり別途データを入力するなどして画
像の類似度演算への寄与率を低くするように構成したの
で、操作者が本人の経験的知識を用いて画像モデルの値
の修正や画像モデル内の重みを修正する手段を提供する
ことができるようになるため、たくさん試行を重ねて統
計的あるいは学習的に信頼性の高い画像モデルを作成し
なくても、経験的知識にしたがって一挙に信頼性の高い
画像モデルを生成することが可能になる効果がある。
【0124】請求項15記載の発明によれば、画像蓄積
/伝送部を設けて、認識が失敗したことが検知された場
合に、当該認識の失敗とあらかじめ定められた条件とが
重なった場合に、認識用の入力画像を画像記憶手段に蓄
積したり、画像伝送手段を介して外部の画像データベー
ス手段に伝送するように構成したので、画像モデルや認
識戦略の更新をその場で行わずに、認識を失敗した画像
を蓄積することが可能になるため、時間的に厳しい条件
や、自動更新の様子を監視する必要がある場合にも容易
に対応することができる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による画像処理装置
を示す構成図である。
【図2】 実施の形態1における画像例を示す説明図で
ある。
【図3】 実施の形態1における動作モードの遷移を示
す動作モード遷移図である。
【図4】 実施の形態1おける各モードの動作を示すフ
ローチャートである。
【図5】 この発明の実施の形態2による画像処理装置
の動作モードの遷移を示す動作モード遷移図である。
【図6】 実施の形態2おける各モードの動作を示すフ
ローチャートである。
【図7】 この発明の実施の形態3による画像処理装置
の初期登録モードの操作画面を示す概念図である。
【図8】 実施の形態3おける試行モードの操作画面を
示す概念図である。
【図9】 実施の形態3て画像モデルとの重ね合わせ状
態を確認する際の操作画面を示す概念図である。
【図10】 この発明の実施の形態4による画像処理装
置における各モードの動作を示すフローチャートであ
る。
【図11】 実施の形態4おけるリトライ動作の詳細を
示すフローチャートである。
【図12】 この発明の実施の形態5による画像処理装
置における認識戦略の採用方式を示す概念図である。
【図13】 実施の形態5おける各高速化戦略に対応し
たテンプレートによる簡略化を示す概念図である。
【図14】 実施の形態5おける各高信頼化戦略に対応
したテンプレートによる認識用画像モデルの作成を示す
概念図である。
【図15】 この発明の実施の形態6による画像処理装
置における認識戦略の採用方式を示す概念図である。
【図16】 この発明の実施の形態7による画像処理装
置における、人工的なパターンとの相関による位置合わ
せ登録を示す概念図である。
【図17】 実施の形態7おける、人工的なパターンと
のエッジマッチングによる位置合わせ登録を示す概念図
である。
【図18】 実施の形態7おける、位置合わせが重心演
算だけでは困難なパターンの事例を示す説明図である。
【図19】 実施の形態7おける、応用可能な種々のパ
ターンの事例を示す説明図である。
【図20】 この発明の実施の形態8による画像処理装
置におけるマスク設定の操作画面を示す概念図である。
【図21】 この発明の実施の形態9による画像処理装
置を示す構成図である。
【図22】 従来の画像処理装置における粗精テンプレ
ートマッチングを示す説明図である。
【図23】 従来の画像処理装置におけるピラミッドテ
ンプレートマッチングを示す説明図である。
【図24】 従来の画像処理装置における階層的分散テ
ンプレートマッチングを示す説明図である。
【図25】 従来の画像処理装置の固有空間法による画
像モデルの圧縮における全入力パターンを示す説明図で
ある。
【図26】 従来の画像処理装置の固有空間法による画
像モデルの圧縮における固有パターンを示す説明図であ
る。
【符号の説明】
B101 画像入力部、B102 画像登録部、B10
3 画像相関計測/位置・姿勢認識部、B104 相関
計測結果分析部、B105 モデル・戦略更新部、B1
06 情報表示/操作入力/動作モード制御部、B10
7 画像モデル評価部、B110 画像蓄積/伝送部、
B111 補助記憶部(画像記憶手段)、B112 通
信ネットワーク(画像伝送手段)、MD102 初期登
録モード、MD103 認識試行モード、MD104
認識実行モード、R101 高速化選択ルール(粗精探
索/階層化探索のルール)、R102 高速化選択ルー
ル(テンプレートサンプル点間引きのルール)、R10
3 高速化選択ルール(複数テンプレート融合のルー
ル)、R104 高速化選択ルール(画像データビット
数圧縮のルール)、R105 高速化選択ルール(部分
テンプレート使用のルール)、R106 高信頼化選択
ルール(テンプレート内不安定要素排除のルール)、R
107 高信頼化選択ルール(テンプレート複数化のル
ール)、R108 高信頼化選択ルール(テンプレート
領域変更のルール)、R109 高信頼化選択ルール
(テンプレート領域拡大のルール)、R110 高信頼
化選択ルール(残留パターンの補助テンプレートへの登
録のルール)、R111 高信頼化選択ルール(オペレ
ータによるマスク設定のルール)。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥田 晴久 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 入力画像の取り込みを行う画像入力部
    と、 前記画像入力部で取り込まれた入力画像の一部を切り出
    して、それを画像モデルとして登録する画像登録部と、 前記入力画像と画像モデルとの類似度もしくは一致度を
    計測し、その値に基づいて対象物体の有無・位置・姿勢
    の認識を行う画像相関計測/位置・姿勢認識部と、 前記類似度もしくは一致度の分布を評価して認識結果の
    正当性と認識手順の冗長性を検証する相関計測結果分析
    部と、 前記相関計測結果分析部の評価に基づいて、前記画像モ
    デルのデータの冗長性を加減したり、認識の失敗や信頼
    性の低下を検知して、前記画像モデルを更新しながら再
    認識を行うといった認識戦略の加減を行うモデル・戦略
    更新部と、 操作者との間のマンマシンインタフェースをとるととも
    に、前記画像登録部、画像相関計測/位置・姿勢認識
    部、相関計測結果分析部、およびモデル・戦略更新部の
    動作を制御する情報表示/操作入力/動作モード制御部
    とを備えた画像処理装置。
  2. 【請求項2】 情報表示/操作入力/動作モード制御部
    が、初期登録モード、認識試行モード、および認識実行
    モードを含む複数の動作モードの遷移を制御する機能を
    もち、 前記情報表示/操作入力/動作モード制御部の制御によ
    って前記認識試行モードに遷移した場合には、入力画像
    の複雑さやバラツキを学習しながら、画像モデルと認識
    戦略の更新を行うことを特徴とする請求項1記載の画像
    処理装置。
  3. 【請求項3】 情報表示/操作入力/動作モード制御部
    の制御によって認識実行モードに遷移した場合にも、入
    力画像の複雑さやバラツキを学習しながら、画像モデル
    と認識戦略の更新を行うことを特徴とする請求項2記載
    の画像処理装置。
  4. 【請求項4】 情報表示/操作入力/動作モード制御部
    が、初期登録モード、認識試行モード、および認識実行
    モードを含む複数の動作モードの遷移を制御する機能を
    もち、 前記情報表示/操作入力/動作モード制御部の制御によ
    って前記認識試行モードに遷移した場合には、登録され
    た画像モデルを用いて位置や姿勢の認識を行って、認識
    結果を情報表示/操作入力/動作モード制御部の表示画
    面に表示し、 当該表示を見た操作者によって前記情報表示/操作入力
    /動作モード制御部より、前記認識結果が成功であった
    と入力された場合には、自動的に入力画像の複雑さやバ
    ラツキを学習して画像モデルと認識戦略を更新し、 前記認識結果が失敗であったと入力された場合には、正
    解の可能性の高い候補を前記情報表示/操作入力/動作
    モード制御部の表示画面に表示して操作者にそれを選択
    させ、あるいは微小量修正を行って正解を導き出しその
    値を用いて前記画像モデルと認識戦略の更新を行うこと
    を特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 情報表示/操作入力/動作モード制御部
    の制御によって認識実行モードに遷移したとき、認識結
    果を判定した結果、認識が失敗に終わったと判断された
    場合には、その認識処理に用いられた認識戦略よりも信
    頼性の高い認識戦略を用いて、再度認識処理を実行する
    ことを特徴とする請求項2記載の画像処理装置。
  6. 【請求項6】 情報表示/操作入力/動作モード制御部
    の制御によって認識試行モードに遷移したときにも、認
    識結果を判定した結果、認識が失敗に終わったと判断さ
    れた場合には、その認識処理に用いられた認識戦略より
    も信頼性の高い認識戦略を用いて、再度認識処理を実行
    することを特徴とする請求項5記載の画像処理装置。
  7. 【請求項7】 相関計測結果分析部が、画像相関計測/
    位置・姿勢認識部からのデータに基づいて、切り出し位
    置・姿勢パラメータに対する類似度の分布を評価し、 前記相関計測結果分析部からの評価値をもとに、認識処
    理を高速化するための高速化選択ルールが当てはまるか
    否かを逐次判定し、当てはめられた前記高速化選択ルー
    ルを用いて、モデル・戦略更新部が、画像モデルと認識
    戦略の更新を行うことを特徴とする請求項1記載の画像
    処理装置。
  8. 【請求項8】 相関計測結果分析部が、画像相関計測/
    位置・姿勢認識部からのデータに基づいて、切り出し位
    置・姿勢パラメータに対する類似度の分布を評価し、 前記相関計測結果分析部からの評価値をもとに、認識処
    理を高信頼化するための高信頼化選択ルールが当てはま
    るか否かを逐次判定し、モデル・戦略更新部が、当ては
    められた前記高信頼化選択ルールを用いて、画像モデル
    と認識戦略の更新を行うことを特徴とする請求項1記載
    の画像処理装置。
  9. 【請求項9】 画像相関計測/位置・姿勢認識部に、初
    期登録モードで使われる初期教示サンプル、認識試行モ
    ードで使われる高速化学習用の拡張教示サンプル、およ
    び認識実行モードで使われる実行用画像サンプルが、動
    作モードに応じて切り替えられて入力され、 高速化選択ルールとして、 単峰性評価値がしきい値より大きい場合には、より縮小
    された階層化探索方式を採用して高速化を試みるという
    粗精探索/階層化探索のルール、 ピーク尖鋭度評価値がしきい値より大きい場合には、画
    像モデル内部のサンプル点を間引いて高速化するという
    テンプレートサンプル点間引きのルール、 画像モデルが複数ある場合に、複数の画像によって表現
    される画像モデル群から、当該画像モデル群に含まれる
    個々の画像を近似する、より少ない数の主成分分析の画
    像モデルを生成し、この主成分の画像モデルとの照合を
    行うという複数テンプレート融合のルール、 仮に画像データ中のサンプル点の量子化ビット数の削減
    を行ってもとの相関マップとの相関を計算し、その相関
    値がしきい値より高ければ、データビット数削減を行っ
    て高速化するという画像データビット数圧縮のルール、 および、ピーク尖鋭度評価値がしきい値より大きい場合
    には、画像モデルの一部より切り出した仮の画像モデル
    を用いて全サンプルを再度認識し、ピーク唯一性に低下
    がなければその仮の画像モデルを画像モデルとして採用
    するという部分テンプレート使用のルールを用意し、 モデル・戦略更新部が、これら各高速化選択ルールのう
    ちの当てはめられたものを用いて画像モデルと認識戦略
    の更新を行うことを特徴とする請求項7記載の画像処理
    装置。
  10. 【請求項10】 画像相関計測/位置・姿勢認識部に、
    初期登録モードで使われる初期教示サンプル、認識試行
    モードで使われる高信頼化学習用の拡張教示サンプル、
    および認識実行モードで使われる実行用画像サンプル
    が、動作モードに応じて切り替えられて入力され、 高信頼化選択ルールとして、 入力画像と画像モデルとの画素毎の分散を評価し、分散
    がしきい値を越える場合には、画像モデルからそれらの
    点を削除して残りの画素だけを登録した認識用画像モデ
    ルを作成するテンプレート内不安定要素排除のルール、 すべての教示用あるいは試行用認識のサンプル画像につ
    いて、現在採用されている画像モデルとの相関値がしき
    い値を下回る場合、その入力画像を追加画像モデルとす
    るテンプレート複数化のルール、 拡張教示サンプルに対するピーク唯一性がしきい値を下
    回る場合には、テンプレートの領域を微小量ずらした仮
    の画像モデルを生成して認識を再度実行し、その結果、
    ピーク唯一性が改善し、かつ全認識試行用画像サンプル
    に対して相関値がしきい値を上回れば、それを画像モデ
    ルとして採用するテンプレート領域変更のルール、 拡張教示サンプルに対するピーク唯一性がしきい値を下
    回る場合には、画像モデル登録領域を拡大した仮の画像
    モデルを生成して認識を再度実行し、その結果、ピーク
    唯一性が改善し、かつ全認識試行用画像サンプルに対し
    て相関値がしきい値を上回れば、それを画像モデルとし
    て採用するテンプレート領域拡大のルール、 および、拡張教示サンプルについて残留パターンを抽出
    して全拡張教示サンプルに共通な残留パターン成分を求
    め、その分散があるしきい値を越えている場合には、残
    留パターンを補助テンプレートとして登録する残留パタ
    ーンの補助テンプレートへの登録のルールを用意し、 モデル・戦略更新部が、これら各高信頼化選択ルールの
    うちの当てはめられたものを用いて画像モデルと認識戦
    略の更新を行うことを特徴とする請求項8記載の画像処
    理装置。
  11. 【請求項11】 画像モデルの良さを単独で評価する画
    像モデル評価部を備え、 画像相関計測/位置・姿勢認識部に、初期登録モードで
    使われる初期教示サンプル、および認識実行モードで使
    われる実行用画像サンプルが、動作モードに応じて切り
    替えられて入力され、 相関計測結果分析部からの評価値と、前記画像モデル評
    価部からの評価値をもとに、高速化選択ルールのうちの
    1枚の初期登録画像に対しても適用できるルールだけを
    用いて、当該高速化選択ルールが当てはまるか否かを逐
    次判定し、モデル・戦略更新部が、当てはめられた前記
    高速化選択ルールを用いて、画像モデルと認識戦略の更
    新を行うことを特徴とする請求項7記載の画像処理装
    置。
  12. 【請求項12】 画像モデルの良さを単独で評価する画
    像モデル評価部を備え、 画像相関計測/位置・姿勢認識部に、初期登録モードで
    使われる初期教示サンプル、および認識実行モードで使
    われる実行用画像サンプルが、動作モードに応じて切り
    替えられて入力され、 相関計測結果分析部からの評価値と、前記画像モデル評
    価部からの評価値をもとに、高信頼化選択ルールのうち
    の1枚の初期登録画像に対しても登録適用できるルール
    だけを用いて、当該高信頼化選択ルールが当てはまるか
    否かを逐次判定し、モデル・戦略更新部が、当てはめら
    れた前記高信頼化選択ルールを用いて、画像モデルと認
    識戦略の更新を行うことを特徴とする請求項8記載の画
    像処理装置。
  13. 【請求項13】 情報表示/操作入力/動作モード制御
    部が、初期登録モード、認識試行モード、および認識実
    行モードを含む複数の動作モードの遷移を制御する機能
    をもち、 前記情報表示/操作入力/動作モード制御部の制御によ
    って前記初期登録モードに遷移した場合には、入力画像
    を取り込んで当該入力画像中に含まれる基準となる図形
    を人工的に生成してそれを標準画像パターンとし、当該
    標準画像パターンを最適化して画像モデルとして登録す
    るものであることを特徴とする請求項1記載の画像処理
    装置。
  14. 【請求項14】 情報表示/操作入力/動作モード制御
    部が、初期登録モード、認識試行モード、および認識実
    行モードを含む複数の動作モードの遷移を制御する機能
    をもち、 前記情報表示/操作入力/動作モード制御部の制御によ
    って前記初期登録モードに遷移した場合には、前記情報
    表示/操作入力/動作モード制御部の表示画面上で指定
    された領域について、当該領域のデータを画像モデルか
    ら除外したり、あるいは別途データを入力するなどし
    て、画像の類似度演算への寄与率を低くすることを特徴
    とする請求項1記載の画像処理装置。
  15. 【請求項15】 入力画像の取り込みを行う画像入力部
    と、 前記画像入力部で取り込まれた入力画像の一部を切り出
    して、それを画像モデルとして登録する画像登録部と、 前記入力画像と画像モデルとの類似度もしくは一致度を
    計測し、その値に基づいて対象物体の有無・位置・姿勢
    の認識を行う画像相関計測/位置・姿勢認識部と、 前記類似度もしくは一致度の分布を評価して認識結果の
    正当性と認識手順の冗長性を検証する相関計測結果分析
    部と、 操作者との間のマンマシンインタフェースをとるととも
    に、前記画像登録部、画像相関計測/位置・姿勢認識
    部、および相関計測結果分析部の動作を制御する情報表
    示/操作入力/動作モード制御部と、 前記相関計測結果分析部による分析の結果、認識が失敗
    に終わったことが検知された場合、当該認識の失敗とあ
    らかじめ定められた条件とが重なった場合に、認識用の
    入力画像を画像記憶手段に蓄積したり、あるいは画像伝
    送手段によってその入力画像を外部の画像データベース
    手段に伝送する画像蓄積/伝送部とを備えた画像処理装
    置。
JP17051196A 1996-06-28 1996-06-28 画像処理装置 Expired - Fee Related JP3434976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17051196A JP3434976B2 (ja) 1996-06-28 1996-06-28 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17051196A JP3434976B2 (ja) 1996-06-28 1996-06-28 画像処理装置

Publications (2)

Publication Number Publication Date
JPH1021393A true JPH1021393A (ja) 1998-01-23
JP3434976B2 JP3434976B2 (ja) 2003-08-11

Family

ID=15906311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17051196A Expired - Fee Related JP3434976B2 (ja) 1996-06-28 1996-06-28 画像処理装置

Country Status (1)

Country Link
JP (1) JP3434976B2 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003109003A (ja) * 2001-09-28 2003-04-11 Keyence Corp ピラミッド構造サーチを使用したパターンマッチング方法、画像検出回路、画像処理プログラムおよびコンピュータで読み取り可能な記憶媒体
US7262870B1 (en) 1999-04-06 2007-08-28 Canon Kabushiki Kaisha Image processing method for use in printer driver
JP2007322351A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 3次元物体照合装置
JP2009211657A (ja) * 2008-03-06 2009-09-17 Dainippon Printing Co Ltd 目標物検出システム
JP2010092119A (ja) * 2008-10-03 2010-04-22 Fujitsu Ltd パラメタ制御装置、パラメタ制御プログラム及び多段照合装置
JP2010246883A (ja) * 2009-03-27 2010-11-04 Mitsubishi Electric Corp 患者位置決めシステム
WO2011048758A1 (ja) * 2009-10-22 2011-04-28 株式会社 日立ハイテクノロジーズ パターンマッチング方法、及びパターンマッチング装置
JP2012073801A (ja) * 2010-09-28 2012-04-12 Nagoya Electric Works Co Ltd 駐車検出装置、駐車検出方法および駐車検出プログラム
JP2012090769A (ja) * 2010-10-27 2012-05-17 Hitachi Aloka Medical Ltd 超音波診断装置
JP2013535038A (ja) * 2010-04-09 2013-09-09 モンロ、ドナルド・マーティン 画像テンプレートマスキング
CN103793919A (zh) * 2014-03-12 2014-05-14 中国矿业大学(北京) 一种二维图像的匹配效果评价方法
JP2014116007A (ja) * 2012-12-06 2014-06-26 Toyota Motor Engineering & Manufacturing North America Inc 物体検出パラメータ、物体認識パラメータ、又は、物体検出パラメータと物体認識パラメータの双方を調整するための方法及びロボット
JP2014137629A (ja) * 2013-01-15 2014-07-28 Mega Chips Corp 画像検出装置及び制御プログラム並びに画像検出方法
JP2014240110A (ja) * 2013-06-12 2014-12-25 三菱電機株式会社 ビンピッキング性能評価装置及び方法
EP2919167A2 (en) 2014-03-14 2015-09-16 Omron Corporation Image processing device, image processing method, and image processing program
JP2015177510A (ja) * 2014-03-18 2015-10-05 株式会社リコー カメラシステム、画像処理方法及びプログラム
JP2018033050A (ja) * 2016-08-25 2018-03-01 株式会社知能フレームワーク研究所 状態監視システム
US10061989B2 (en) 2015-03-30 2018-08-28 Nec Corporation Information transfer apparatus and method for image recognition
JP2018152055A (ja) * 2017-02-03 2018-09-27 コグネックス・コーポレイション ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法
JP2019045938A (ja) * 2017-08-30 2019-03-22 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
KR20190103283A (ko) * 2017-03-27 2019-09-04 가부시키가이샤 히다치 하이테크놀로지즈 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
KR20200094089A (ko) * 2019-01-29 2020-08-06 도쿄엘렉트론가부시키가이샤 화상 인식 시스템 및 화상 인식 방법
KR20210045124A (ko) * 2019-10-16 2021-04-26 (주) 아인스에스엔씨 다중 해상도 기반 모델 간의 천이 과정을 기술하는 모델을 구현하고 동작시키는 컴퓨팅 시스템
JP2021068197A (ja) * 2019-10-24 2021-04-30 株式会社Jvcケンウッド 画像記録装置、画像記録方法及び画像記録プログラム
JP2021194296A (ja) * 2020-06-16 2021-12-27 住友電気工業株式会社 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170295A (ja) 2013-03-01 2014-09-18 Honda Motor Co Ltd 物体認識システム及び物体認識方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262870B1 (en) 1999-04-06 2007-08-28 Canon Kabushiki Kaisha Image processing method for use in printer driver
JP2003109003A (ja) * 2001-09-28 2003-04-11 Keyence Corp ピラミッド構造サーチを使用したパターンマッチング方法、画像検出回路、画像処理プログラムおよびコンピュータで読み取り可能な記憶媒体
JP4598887B2 (ja) * 2001-09-28 2010-12-15 株式会社キーエンス ピラミッド構造サーチを使用したパターンマッチング方法、画像検出回路、画像処理プログラムおよびコンピュータで読み取り可能な記憶媒体
JP2007322351A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 3次元物体照合装置
JP2009211657A (ja) * 2008-03-06 2009-09-17 Dainippon Printing Co Ltd 目標物検出システム
JP2010092119A (ja) * 2008-10-03 2010-04-22 Fujitsu Ltd パラメタ制御装置、パラメタ制御プログラム及び多段照合装置
JP2010246883A (ja) * 2009-03-27 2010-11-04 Mitsubishi Electric Corp 患者位置決めシステム
JP2011090470A (ja) * 2009-10-22 2011-05-06 Hitachi High-Technologies Corp パターンマッチング方法、及びパターンマッチング装置
US8885950B2 (en) 2009-10-22 2014-11-11 Hitachi High-Technologies Corporation Pattern matching method and pattern matching apparatus
WO2011048758A1 (ja) * 2009-10-22 2011-04-28 株式会社 日立ハイテクノロジーズ パターンマッチング方法、及びパターンマッチング装置
JP2016157420A (ja) * 2010-04-09 2016-09-01 フォトネーション リミテッド 画像テンプレートマスキング
JP2013535038A (ja) * 2010-04-09 2013-09-09 モンロ、ドナルド・マーティン 画像テンプレートマスキング
JP2012073801A (ja) * 2010-09-28 2012-04-12 Nagoya Electric Works Co Ltd 駐車検出装置、駐車検出方法および駐車検出プログラム
JP2012090769A (ja) * 2010-10-27 2012-05-17 Hitachi Aloka Medical Ltd 超音波診断装置
US10572774B2 (en) 2012-12-06 2020-02-25 Toyota Motor Engineering & Manufacturing North America. Inc. Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters
JP2014116007A (ja) * 2012-12-06 2014-06-26 Toyota Motor Engineering & Manufacturing North America Inc 物体検出パラメータ、物体認識パラメータ、又は、物体検出パラメータと物体認識パラメータの双方を調整するための方法及びロボット
JP2014137629A (ja) * 2013-01-15 2014-07-28 Mega Chips Corp 画像検出装置及び制御プログラム並びに画像検出方法
JP2014240110A (ja) * 2013-06-12 2014-12-25 三菱電機株式会社 ビンピッキング性能評価装置及び方法
CN103793919A (zh) * 2014-03-12 2014-05-14 中国矿业大学(北京) 一种二维图像的匹配效果评价方法
EP2919167A2 (en) 2014-03-14 2015-09-16 Omron Corporation Image processing device, image processing method, and image processing program
JP2015177510A (ja) * 2014-03-18 2015-10-05 株式会社リコー カメラシステム、画像処理方法及びプログラム
US10061989B2 (en) 2015-03-30 2018-08-28 Nec Corporation Information transfer apparatus and method for image recognition
JP2018033050A (ja) * 2016-08-25 2018-03-01 株式会社知能フレームワーク研究所 状態監視システム
JP2018152055A (ja) * 2017-02-03 2018-09-27 コグネックス・コーポレイション ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法
KR20190103283A (ko) * 2017-03-27 2019-09-04 가부시키가이샤 히다치 하이테크놀로지즈 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
KR20210111335A (ko) * 2017-03-27 2021-09-10 주식회사 히타치하이테크 화상 처리 시스템, 및 화상 처리를 행하기 위한 컴퓨터 프로그램
JP2019045938A (ja) * 2017-08-30 2019-03-22 オムロン株式会社 画像処理装置、設定支援方法、および設定支援プログラム
CN110831029A (zh) * 2018-08-13 2020-02-21 华为技术有限公司 一种模型的优化方法和分析网元
CN110831029B (zh) * 2018-08-13 2021-06-22 华为技术有限公司 一种模型的优化方法和分析网元
KR20200094089A (ko) * 2019-01-29 2020-08-06 도쿄엘렉트론가부시키가이샤 화상 인식 시스템 및 화상 인식 방법
KR20210045124A (ko) * 2019-10-16 2021-04-26 (주) 아인스에스엔씨 다중 해상도 기반 모델 간의 천이 과정을 기술하는 모델을 구현하고 동작시키는 컴퓨팅 시스템
JP2021068197A (ja) * 2019-10-24 2021-04-30 株式会社Jvcケンウッド 画像記録装置、画像記録方法及び画像記録プログラム
JP2021194296A (ja) * 2020-06-16 2021-12-27 住友電気工業株式会社 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP3434976B2 (ja) 2003-08-11

Similar Documents

Publication Publication Date Title
JPH1021393A (ja) 画像処理装置
US7317474B2 (en) Obstacle detection apparatus and method
US7999846B2 (en) Image processing apparatus, image processing system, and recording medium for programs therefor
JP5746937B2 (ja) オブジェクト追跡装置
CN111445389A (zh) 一种高分辨率图像的宽视角快速拼接方法
US8437553B2 (en) Image detection device and image detection method
JP3382045B2 (ja) イメージ投影システム
US20080019568A1 (en) Object tracking apparatus and method
JP2003288588A (ja) 画像処理装置及び画像処理方法
JP2018092354A (ja) 物体検出装置および物体検出方法
JPH09265531A (ja) 画像処理方法及びその装置
JP2006323779A (ja) 画像処理方法、画像処理装置
US20050276469A1 (en) Method for detecting face region using neural network
JPH09147109A (ja) 特定マーク検出方法及び特定マーク検出装置
JP2600533B2 (ja) タッチ入力装置
JP2000125179A (ja) デジタルカメラおよびその処理を実行するためのプログラムを記録した記録媒体
WO2021033242A1 (ja) 画像認識装置、画像認識方法、及び、画像認識プログラム
JP3437087B2 (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
JP2000076378A (ja) 文字認識方法
WO2023248968A1 (ja) 画像加工方法、画像加工装置、及び画像加工プログラム
CN110705329B (zh) 一种处理方法、装置及电子设备
CN115827812A (zh) 重定位方法、装置、设备及其存储介质
JP3178102B2 (ja) 画像の傾き検出方法及びその装置
JPH09135331A (ja) 画像処理装置
JP2004357197A (ja) 帳票処理装置、及びプログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080530

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140530

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees