JP3346679B2 - 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置 - Google Patents

画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置

Info

Publication number
JP3346679B2
JP3346679B2 JP14644695A JP14644695A JP3346679B2 JP 3346679 B2 JP3346679 B2 JP 3346679B2 JP 14644695 A JP14644695 A JP 14644695A JP 14644695 A JP14644695 A JP 14644695A JP 3346679 B2 JP3346679 B2 JP 3346679B2
Authority
JP
Japan
Prior art keywords
feature
image
weighted
similarity
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14644695A
Other languages
English (en)
Other versions
JPH0869533A (ja
Inventor
睦夫 佐野
雅士 奥平
久雄 黒田
襄治 佐橋
秀一 大原
英司 三ツ矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP14644695A priority Critical patent/JP3346679B2/ja
Publication of JPH0869533A publication Critical patent/JPH0869533A/ja
Application granted granted Critical
Publication of JP3346679B2 publication Critical patent/JP3346679B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、画像を用いて被検査
物の、例えば良、不良を外観検査したり、物体を分類、
あるいは認識したりする画像検査/認識方法およびこれ
に用いる参照データ作成装置に関するものである。
【0002】
【従来の技術】まず、以下に従来の代表的な画像検査方
法を説明する。2値化処理による従来の検査方法を図1
を参照して説明する。被検査物の投影画像が図1Aに示
すものとして得られ、その中央の矩形領域11aのかけ
や膨らみ具合を判定する検査の問題を考える。
【0003】図1Aにおいて領域11b,11c,11
d,11aの順に濃度が順次高い部分を示す。その画像
中の領域11a,11dの中央を通る点線12上の濃度
変化は図1Bの曲線13で示すステップ状変化と、曲線
14で示す変動分とを加算した曲線15となるが、この
曲線15をしきい値16以下と以上とで2値化(パター
ン化)する。この2値化処理を行うためのしきい値16
は、図1Cに示すような領域11aと11dとにおける
濃度ヒストグラム曲線17a,17dの2つの山が最も
低い値18とする。通常はステップ状の理想的なパター
ン(曲線13)は入力されず、汚れや、照明条件の変化
により濃度変動が生じ、その濃度変動が重畳したパター
ン15となり、これをしきい値16で2値化処理を行
う。このような2値化処理を注目の矩形領域11aの全
体に施し、その結果の分布状態の形状が所定のものか否
かにより被検査物の良、不良を判定する。しかし、濃度
変動14の仕方を予測して、しきい値16を決定できれ
ば良いが、多くの場合困難を伴う。しきい値16の設定
を誤ると、領域11a,11bの各部を2値化した形状
が図1Dに示すように、本来の矩形領域11aの形状か
ら外れ、汚れや照明条件の変化の影響を直接受け、斜線
部19のような変動成分によって安定的な形状が検出で
きなくなる。これにより、実際に検出すべき、かけや膨
らみといった不良の状態を判定できなくなる。
【0004】次に、従来の濃度正規化相関による検査方
法を図2に示す。図2Aに示す基準画像21中の検査対
象となる基準ウィンドウ22における各画素の濃度分布
kl(k=1,…,K;l=1,…,L)を図2Bに示
すように得、これを濃度パターンとして登録する。図2
Cに示す検査画像23中の基準ウィンドウ22と対応す
る領域24を左上隅から右下隅まで走査し、各走査点
(i,j)に対して全て以下の演算を実行し、相関係数
γij(−1≦γij≦1)を算出する。
【0005】
【数1】 ここで、M0 は基準ウィンドウ22内の濃度平均値、T
0 は検査画像中の領域24の大きさ内の濃度平均値であ
る。このように走査点に対して定義される相関係数γij
の中で最大の値γmax を検出し、γmax が1に近い程良
品であるとする。この相関係数は、濃度のオフセット変
動には不変であるが、汚れや照明条件の変化等の不均一
的な濃度変動に対して、図2Dに示すように基準濃度パ
ターン25と検査濃度パターン26で囲まれた変動成分
(斜線部)27が生じ、良品に対しても大きく相関係数
が変動してしまい、誤判定の原因となる。
【0006】以上のように、画像検査方法を実現する上
では、どのような画像特徴を抽出するか(画像特徴抽出
方法)、どの画像特徴を用いるか(画像特徴選択方
法)、および選択された画像特徴をどのように用いるか
(マッチング方法)が重要となる。画像特徴抽出方法と
しては、日本国特開昭63−226785号「画像特徴
抽出装置」に各種方法が示されている。即ち、対象画像
から、その濃度統計量や複雑度、広がり度等の領域の性
質を反映した領域特徴画像や、エッジやエッジ屈曲度等
の輪郭の性質を反映した輪郭特徴画像を抽出する。ここ
で領域特徴画像における領域とは、セグメンテーション
の結果得られる領域ではなく、局所フィルタリングによ
り処理対象となる局所領域を示す。
【0007】濃度統計量は、各画素からある視野半径内
での濃度値の分散を画素の特徴値とするものである。複
雑度は、各画素からある視野半径内で放射状に走査した
とき、視野半径内に存在する走査線上のエッジの個数を
累積し、つまり各走査方向毎に計数し、走査方向間でそ
の平均値を各画素の特徴値として定義したものである。
ただし、出力の先鋭度を高めるため、 wt (r) = a/r k
(a,k は定数、rは走査線のアドレス)とし、また、真
のエッジの密度を算出するため、エッジの単純な累積値
でなく、エッジを横切る回数を累計する演算とする。広
がり度は、領域の面積に相当する量であり、各画素から
ある視野半径内で放射状に走査したとき、最初のエッジ
に衝突するまでの距離を各走査方向毎に計数し、走査方
向間でのその距離平均を各画素の特徴値として定義した
ものである。エッジ屈曲度は、各画素からある視野半径
内での視野中心の画素のエッジ方向に対する周囲のエッ
ジ方向のばらつき量(2乗ノルム)として算出される。
この特徴は、外乱によるエッジの途切れがあっても、積
分効果により影響を受けにくい性質を有する。
【0008】領域特徴画像と輪郭特徴画像は、互いに相
補的な画像特徴であり、領域特徴だけでは形を十分に表
現することが難しく、また輪郭特徴だけではテクスチャ
の違いを十分に表現することが難しい。更に領域特徴画
像と輪郭特徴画像では、ノイズに対する感度も異なり、
ノイズにより輪郭が多少途切れていても領域特徴では比
較的特徴値のばらつきが少ない。このように、性質の異
なる画像特徴を検査、認識などに適用することは、画像
を種々の角度から表現するということであり、このよう
な相補的な関係の特徴画像を多く用いれば検査や認識の
信頼度を向上させることができる。
【0009】画像特徴選択方法およびマッチング方法を
用いるものとして、日本国特開平4−175885「一
般化ハフ変換における画像特徴選択方式」が既に提案さ
れている。この「一般化ハフ変換における画像特徴選択
方式」における処理のフローチャートを図3に示す。ま
ずステップS1で、各カテゴリ、つまり検査の場合良品
と不良品、分類や認識では互いに区別されるべき複数の
対象物に対して、それぞれ基準となるサンプルを選択
し、そのサンプル画像について、複数の性質の異なる特
徴画像を抽出してそれぞれ基準特徴画像とする。その各
基準特徴画像について特徴点を選択する、つまり、特徴
画像がエッジ画像の場合、そのエッジ画像からその各エ
ッジを示す各点(特徴点)の各画素を選択し、特徴画像
が濃度画像であれば、量子化された各濃度値について、
その濃度値(特徴値)をとる各画素(特徴点)をその濃
度画像から選択する。次の、ステップS2で、選択され
た特徴点に対して、各カテゴリ、各特徴毎に参照テーブ
ルを作成する。参照テーブルは、図4中の参照テーブル
27として示すように各特徴値fi をインデックスとし
て、その特徴値をもつ各画素(その特徴画像のその特徴
値の特徴点)の位置が参照点を起点とする極座標ベクト
ル(ri , αi ), i =1,...,Np (Np は特徴点数)
として保持される。前記参照点は原理的にはどこでも良
いが、物体の重心位置に置くと一般化ハフ変換の変換誤
差が最小となることが知られている。
【0010】ステップS3では、各カテゴリ、各種外乱
が付加されたMサンプルの各特徴の特徴画像を抽出し、
その特徴画像をステップS2で作成した参照テーブルを
用い一般化ハフ変換を行う。一般化ハフ変換の導出原理
の説明をエッジ画像を例にとり図4を参照して示す。基
準画像21のエッジ画像(基準特徴画像)28は、物体
の輪郭点を示す。従って、エッジ画像の特徴点は輪郭点
って、その特徴値、つまりエッジ値は1であり、輪
郭点以外はエッジ値は0である。従って、ステップS2
では参照テーブル27には、特徴点の特徴値fi のイン
デックス欄にはエッジ点の値1のみがインデックスとし
て格納され、基準画像のエッジ画像28の輪郭像(エッ
ジ像)29の各画像(特徴点)pi の極座標表現された
アドレス(ri , αi ), i=1,...,Np (Np は輪郭
点数、つまり特徴点数)がアドレス欄に格納される。次
に、この参照テーブル27を用いた未知の入力画像31
に対するステップS3での処理を説明する。ここで算出
したいパラメータは、入力画像31における物体の位置
と姿勢(回転角)である。物体の位置は基準特徴画像2
8で既に決定した参照点(極座標原点)の位置、つまり
入力画像の物体の参照点である。基準特徴画像28と同
一の特徴画像、つまりエッジ画像32を入力画像31に
ついて生成し、そのエッジ画像32の各画素(その直交
座標は(x,y))のエッジ値が参照テーブル27に格
納された値(特徴値)である1のときのみ、参照テーブ
ル27に格納されているその特徴値に対する極座標アド
レス(ri , αi )を1個ずつ読みだして、以下のアド
レス変換を行う。
【0011】 xG=x+ri cos(αi+θ) yG=y+ri sin(αi+θ) ここで、θは物体の回転角である。今、簡単のため、物
体の回転角θは既知とする。このようなアドレス変換に
より算出された座標(xG G ) は予測される物体の参
照点の可能性を示す位置である。エッジ値1が得られた
1つの画素位置(x,y)についての各変換アドレスx
G ,yG を図5に示すように、パラメータ空間であるア
キュムレータアレイ34上のxG ,yG の位置の値に1
だけ加算投票する。つまり未知エッジ画像32の、例え
ば、A点に対して参照テーブル27中の全てのアドレス
を順に読みだし、アドレス変換し、その変換されたアド
レスxG ,yG をアキュムレータアレイ34のxG ,y
G の値に加算投票していくと、物理的にはアキュムレー
タアレイ34上に参照点の可能性のある軌跡(値が1の
軌跡)35aが描画されることを意味する。未知エッジ
画像32のB点、C点に対して同じような処理をして軌
跡35b,35cを得る。アキュムレータアレイ34の
各位置xG ,yG の各値は加算投票(累積加算)である
ため、軌跡35b,35cが描画される際に、軌跡35
aと重なる位置で1回の重なりで値が2となり、2回の
重なりで値が3となる。未知エッジ画像32のエッジ像
が基準エッジ画像28のエッジ像29と少なくともA
点、B点、C点との相対位置関係が維持され、同じであ
るとすると、3つの軌跡35a,35b,35cは1つ
の交点36で交わることになる。この処理を、3点だけ
でなく、未知エッジ画像32上のエッジ点の全てに対し
て行うことにより、アキュムレータアレイ34上の参照
点の可能性の軌跡は、入力画像31の物体が基準画像2
1の物体と完全に同一であるならば、Np 回同一点で交
差することになる。この交差回数、即ち累積投票値分布
が例えば図4中の曲線37で示すように得られ、その分
布の最大ピーク点(位置)および、最大ピーク値(最大
頻度値)を求めることが入力画像31中での参照点位置
および基準画像に対する形の保存の度合いを算出するこ
ととなる。回転角θが未知の場合は、回転し得るθの範
囲分だけ角度刻みΔθピッチでθを変化させ、今度は、
アキュムレータアレイ34は(xG,G ) の2次元では
なく、(xG,G , θ)の3次元とし、各θに対して同
様の処理をすることにより、最大ピーク値を与える(x
G * , G * , θ* )を算出する。そしてこのθ * が求
める物体の回転角となる。例えば検査の場合、その物体
の製造時の治具の精度により回転角θの変動範囲が例え
ば±10°以内と予測され、その範囲内で角度θを小刻
みに変化させればよい。
【0012】以上、パラメータ空間のアキュムレータア
レイ34上の投票値が最大となるアドレスxG * , G
* , θ* 中のxG * , G * が参照点の位置、θ* が物
体の回転角であり、その投票値最大値(最大頻度値)が
基準との近さを示す量となる。図3中のステップ3では
この最大頻度値を各カテゴリ内のサンプルに対して算出
し、そのカテゴリ内最大頻度値分布を作成し、あるカテ
ゴリ間のサンプル、例えば良品に対する不良品の画像サ
ンプルに対してカテゴリ間最大頻度値分布を作成する。
各カテゴリ/各特徴毎にこのカテゴリ内最大頻度値分布
とカテゴリ間最大頻度値分布との距離を算出する。この
距離により各カテゴリ/各特徴に対する重みを決定す
る。ステップ4により、各カテゴリに対して、各特徴の
重みのソーティングを行い、各特徴のランク付けを行
う。ステップS5により各カテゴリに対して、特徴のラ
ンクの高いものから順に組み合わせる参照テーブルの数
を増加し、つまり組み合わせる特徴の数を多くし、それ
ぞれについて、カテゴリ間の区別がどの程度可能になる
かについて評価する。ステップS6により入力画像の解
像度を変えて、エラー率が十分小さくなるまで、つま
り、例えば良品、不良品の区別が十分できるまで、また
は識別できないカテゴリの個数が0になるまでステップ
S1〜S5を繰り返す。
【0013】以上のような処理によって、入力画像から
得られる各特徴画像と、基準画像から得られる各特徴画
像の参照テーブルの内容との一般化ハフ変換出力につい
て、当該一般化ハフ変換出力のアキュムレータアレイ上
の頻度分布のカテゴリ内変動と、一般化ハフ変換出力の
アキュムレータアレイ上の頻度分布のカテゴリ間変動と
の関係から決まる距離を重みとし、その重みの高い順か
ら特徴を組み合わせてカテゴリ間の距離を評価し、その
重み付き距離がある一定値以上になるか、あるいはこれ
以上改善されなくなるまで特徴の組み合わせを行う。こ
の従来の方法では、特徴種別の重み付けおよび特徴種別
の組み合わせの選択方法について提案している。
【0014】
【発明が解決しようとする課題】しかし、特徴点の選択
方法については、基準画像から得られる各特徴画像に対
して、相互距離が最大となる特徴点を選択するに方法に
留まっている。この特徴点の選択方法では、選択対象と
なる基準画像の特徴点の中に、ゴミや他のノイズによっ
て汚されている点が混在していると、基準が不完全とな
るので、検査能力を低下させる原因となる。また、基準
となる画像をマニュアルで選んだとしても、それが、本
当に基準となる画像かどうかの保証はない。従って、複
数の良品画像の系列から、自動的に特徴点に対しても重
み付けをし、重みが高い、即ち信頼度の高い特徴点に対
しては、特徴種別選択およびマッチングに対してより影
響力を与え、また、重みが低い、即ち信頼度の低い特徴
点に対しては、特徴種別選択およびマッチングに対し
て、影響力を軽減させる必要がある。
【0015】図6に検査パターンの画像例を示す。図6
Aに示す理想パターンに対し、実際に得られる良品の画
像は、ゴミや汚れ等によりノイズ成分が重畳した画像と
なっており、例えば図6B乃至図6Dに示すように理想
パターンに対して位置ずれや回転が生じている。図6E
に示す不良品の画像は、図6Aの理想パターンに対して
少し扁平になっており、同様にノイズが重畳し、位置ず
れ/回転が生じている。このような状況の中から、良品
と不良品を区別する必要がある。この問題は画像を用い
て対象物を分類したり、認識したりする場合に同様に生
じる。
【0016】この発明の目的は上記問題点の解決を図
り、図6に示したような状況において、照明環境やサン
プル表面の反射特性が変化することにより、またはゴミ
等の付着により発生する良品や基準サンプル画像の濃度
変動に対しても、良品/不良品を確実に区別でき、ある
いは正しく、分類したり認識したりすることができる検
査/認識方法を提供することにする。
【0017】
【課題を解決するための手段】この発明によれば、入力
画像から画像特徴を抽出して特徴画像を第1ステップで
得、その特徴画像を第2ステップで量子化して量子化特
徴画像を得、その量子化特徴画像の特徴点の類似度また
は相違度を、複数の学習画像により予め求めた対応特徴
の学習データを用いて第3ステップで求めて画像検査や
認識を行う方法において、複数の学習画像に対するその
量子化特徴画像の各特徴点での特徴値ヒストグラムから
特徴点の重みを予め計算しておき、その重みを用いて第
3ステップでの類似度または相違度を重み付き類似度ま
たは重み付き相違度として求める。その第3ステップは
互いに異なる複数の特徴画像について求めた重み付き類
似度または重み付き相違度に対し、特徴重み付け組み合
わせを行って重み付き類似度または重み付き相違度を求
める。
【0018】第3ステップの重み付き類似度は、パラメ
ータ空間へ特徴点の重みを加算投票する重み付き一般化
ハフ変換演算で行って求める。あるいは入力画像に対す
る特徴画像の特徴点特徴値系列と、学習画像に対する特
徴画像の特徴点特徴値系列との正規化相関係数、特徴点
の重み系列で重みを与えて求める重み付き正規化相関演
算を行って求める。第3ステップの重み付き相違度は、
量子化特徴画像を量子化レベルごとにパラメータ空間へ
特徴点の重みを加算投票する重み付きハフ変換してハフ
平面を得、このハフ平面と学習画像の特徴画像から得た
参照ハフ平面との差分演算を行って求める。
【0019】1つの特徴画像について、各特徴点の重み
の合計をその特徴点の数で正規化する。複数の学習画像
のコントラストが所定値より大きい場合は、第1ステッ
プで特徴画像として領域特徴画像を抽出し、第3ステッ
プで正規化相関演算を行い、コントラストが所定値より
小さい場合は第1ステップで特徴画像として輪郭特徴画
像を抽出し、第3ステップで重み付き一般化ハフ変換演
算を行う。あるいは良品と不良品とのような異なるカテ
ゴリの各複数の学習画像について、それぞれ重み付き一
般化ハフ変換演算と重み付き正規化相関演算を行い、そ
れぞれ各カテゴリの類似度分布の分布間距離を求め、分
布間距離が大きい方の演算を行う。
【0020】特徴画像の量子化は、複数の学習画像に対
して、良品と不良品のような各カテゴリごとの類似度ま
たは相違度分布間の相互の分布間距離が最大となる量子
化幅を用いるが、複数の学習画像の特徴画像における特
徴点の特徴値ヒストグラムの平均積分平方誤差を最小に
する量子化幅を用いる。特徴点の重みは、複数の学習画
像から量子化特徴画像を求め、その量子化特徴画像の各
特徴点での特徴値のヒストグラムを求め、そのヒストグ
ラムのばらつきの程度に応じて重みを求める。
【0021】この発明のもう1つの方法では、先の発明
と同様に入力画像の量子化特徴画像を求め、その量子化
特徴画像の特徴点の類似度または相違度を学習画像から
得た参照データを用いて同様に求めるが、この場合は量
子化特徴画像を、その各量子化レベルに対するビット平
面よりなる多重ビット平面を作り、その各ビット平面を
参照データを用いて一般化ハフ変換または単なるハフ変
換を行って、一般化ハフ変換したものから上記類似度を
演算するか、ハフ変換したものと参照多重ハフ平面との
差分演算により相違度を求める。この何れの場合も、ビ
ット平面に与えられた重みを用いた重み付き類似度演算
または重み付き差分演算を行う。
【0022】複数のカテゴリの複数の学習画像からそれ
ぞれ複数の量子化特徴画像を求め、第3ステップで用い
た学習データを用いて複数の学習画像の各特徴画像の特
徴点の重み付き類似度または重み付き相違度を、第3ス
テップで行う演算と同一手法の演算で求め、その演算結
果から各特徴画像についての類似度または相違度を求
め、これら類似度または相違度から特徴間の重みを求
め、特徴を組み合せ、カテゴリ内の類似度または相違度
と、そのカテゴリと他のカテゴリとの類似度または相違
度との距離を求め、この距離が所定の条件を満すまで特
徴の組み合わせを変更して、第3ステップの演算に用い
る特徴画像の組み合わせを決定する。
【0023】この決定された組み合わせにおけるカテゴ
リ内の類似度または相違度とカテゴリ間の類似度または
相違度との間にこれらカテゴリ間を区別するしきい値を
決める。つまりこのしきい値を用いて第3ステップで求
めた類似度または相違度と比較して、良品、不良品の判
定をしたり、分類や認識のための判定に用いる。また第
3ステップで得た重み付き類似度が最大または重み付き
相違度が最小となる対象原点の位置ずれ量、回転量、ま
たはスケール変化量を求め、その量を検査尺度とする。
【0024】この発明の画像検査/認識装置によれば、
入力画像が画像メモリに蓄えられ、上記入力画像から画
像の特徴を抽出して特徴画像を生成する手段、特徴画像
を量子化する手段が設けられ、上記量子化された特徴画
像が特徴画像メモリに蓄えられ、各特徴画像ごとに特徴
値とその特徴点及び重みとが参照テーブルとして参照テ
ーブルメモリに記憶され、上記量子化特徴画像につき、
上記参照テーブルメモリ内の対応する参照テーブルを用
いて重み付き類似度または相違度を演算する演算手段と
上記各手段を制御する制御手段が設けられる。
【0025】この発明の画像検査/認識用参照データ生
成装置によれば、入力学習画像が画像メモリに蓄えら
れ、上記学習画像から画像の特徴を抽出して特徴画像を
生成する手段と、上記特徴画像を量子化する手段とが設
けられ、上記量子化された特徴画像が特徴画像メモリに
蓄えられ、上記量子化特徴画像からその特徴点の特徴値
分布を求める手段が設けられ、上記特徴画像ごとの上記
特徴点特徴値分布が特徴点特徴値分布メモリに蓄えら
れ、上記特徴値分布から各特徴点の重みを決定する手段
が設けられ特徴ごとの特徴点とその重みが参照テーブル
メモリに記憶され、その参照テーブルメモリの特徴点重
みを用いて、上記特徴画像に対する相関演算を行って重
み付き類似度または相違度を得る重み付き類似度(相違
度)演算手段が設けられ、上記重み付き類似度または相
違度の分布が類似度(相違度)分布メモリに蓄えられ、
カテゴリと対応する上記類似度または相違度の分布から
特徴間の重みを求める手段と、特徴間の組み合わせを決
めて、その組み合わせについてのカテゴリ内の重み付き
類似度または重み付き相違度とカテゴリ間の重み付き類
似度または重み付き相違度との距離を求める手段と、上
記距離が予め決めた条件を満たすまで上記特徴の組み合
わせを変更して、その時の組み合わせの各特徴画像の特
徴点とその重みを参照データとする手段とが設けられ
る。
【0026】学習すべき複数画像サンプルの多元セル特
徴(領域特徴や輪郭特徴等の多重解像度の特徴)のばら
つきから決定される特徴点の重みを求めるために、学習
特徴画像の特徴点の位置ずれ補正を行い、各特徴点の特
徴値のばらつきを測定し、その結果に基づき各特徴点の
重みを決定する。この各特徴点の重みは、各特徴毎に算
出される。この特徴点の重みは、重み付き類似度演算及
び重み付き相違度演算の係数として与えられ、得られる
類似度または相違度分布のカテゴリ内変動とカテゴリ間
変動との関係から決まる距離を特徴種別間の重みとし、
その重みの高い順から特徴を組み合わせて適用し、その
距離がある一定以上になるかあるいはそれ以上改善され
なくなるまで特徴の組み合わせを行う。
【0027】これにより、照明条件変動や表面の汚れに
対し、多元特徴の集合から良品と不良品を安定に区別す
るための特徴点を自動的に選択し(特徴種別も同時に自
動的に選択し)、検査信頼度を向上させることができ
る。
【0028】
【実施例】
第1の実施例 図7にこの発明の第1実施例の流れ図を示す。この処理
は、画像検査用参照データ作成処理部100と、検査処
理部200とに分けられる。実施例の説明では、この発
明の特徴とする重み付き類似度算出演算および重み付き
相違度算出演算を具体化して説明する。図7は、重み付
き類似度算出演算では、重み付き一般化ハフ変換を行う
場合である。この第1の実施例において、特に学習特徴
画像生成ステップ102〜参照データ格納ステップ10
7、重み付き一般化ハフ変換ステップ113および重み
付き一般化ハフ変換ステップ204の部分が、この発明
に関連する最も特徴的な部分である。学習画像入力ステ
ップ101において、良品の学習画像を複数枚入力す
る。画像は、多諧調(通常256諧調)に量子化されて
入力されるとする。学習特徴画像生成ステップ102で
は、良品の学習画像に対して、多元セル特徴抽出処理に
より、学習特徴画像を生成する。多元セル特徴抽出を図
8に示す。つまり入力学習画像の濃度分布41,方向分
布42,エッジ密度分布43,エッジ空間分布45の4
つの基本表現に着目する。濃度分布41からは、局所フ
ィルタリングにより濃度分散等の濃度統計量画像45が
生成される。方向分布42からは、曲率画像(エッジ屈
曲度画像)46や平行性を示す量(バー特徴)の画像4
7が生成される。エッジ密度分布43からは、放射状に
走査したときエッジを横切る本数を示す複雑度画像4
8,エッジ空間分布44からは、放射状に走査したとき
エッジに最初に衝突するまでの距離(放射状距離)を示
す広がり度画像49,放射状距離の対角方向の距離比か
ら算出される「形状のまとまりの良さ」を示すブロッブ
特徴画像50が生成される。これらの特徴画像45〜5
0の抽出方法は、例えば日本国特開昭63−21308
5号公報「画像特徴抽出演算方式」、日本国特開昭62
−213093号公報「画像特徴抽出方法」、日本国特
開昭62−226785号公報「画像特徴抽出装置」等
に示されている。これらの特徴画像45〜50は、濃度
統計量や複雑度、広がり度等の領域の性質を反映した領
域特徴画像(ここで、領域とは、セグメンテーションの
結果得られる領域ではなく、局所フィルタリングにより
処理対象となる局所領域を示す)と、エッジや曲率等の
輪郭の性質を反映した輪郭特徴画像とに分けられる。オ
リジナルの濃度画像およびエッジ画像を含めこのような
特徴画像種別の違いの他に、フィルタリングする際の空
間周波数の違い、解像度の違い(パターンを表現する単
位(セル)の違い)により前記各種の特徴について新た
な特徴画像を生成する。
【0029】例として、図6に示した検査パターンの画
像に対して、輪郭特徴であるゼロクロス点画像を抽出す
ることを考える。ゼロクロス点画像は、原画像とラプラ
シアンガウシアンフィルタとの畳み込み積分により算出
される原画像の2次微分画像に対し、2次微分値がゼロ
交差(ゼロクロス)する点(原画像の濃淡値が変化する
変曲点に相当)を算出し、それをゼロクロス点と定義す
る。ガウシアンフィルタは(G(x,y,σ)=(1/(2
πσ2))exp(−(x2 +y2)/(2σ2)))の2次微
分G" により定義され、ラプラシアンガウシアンのσを
変化させ、異なるσに対して、それぞれゼロクロス点を
抽出する。
【0030】図9A〜Dはそれぞれ図6B〜Eの各画像
からそれぞれ抽出したゼロクロス点画像を示す。図9A
〜D中の一番上の特徴画像はσが小さい場合で、空間周
波数が高く細かい輪郭構造が抽出できる反面、ノイズも
検出してしまうことになる。図9中の一番下の画像の特
徴画像はσが大きい場合で、空間周波数が低くノイズに
対しては反応しないが、おおまかな輪郭構造しか抽出で
きない。
【0031】以上のように、多元でかつ解像度の異なる
セル(多元セル特徴)は、ピラミッド構造をした多層の
特徴プレーン51(図8)により一括管理される。この
ように4つの基本表現(図8中の41〜44)に基づ
き、かつ空間周波数の違い、解像度の違いにより生成さ
れる多元セル特徴を抽出することにより、ノイズが存在
しても、良品と不良品とを安定して区別することが可能
となる。図7中の学習特徴画像生成ステップ102で
は、通常、システムの効率上、対象に合わせて有効と考
えられる多元セル特徴の一部を抽出する。
【0032】次に、学習特徴点位置ずれ補正ステップ1
03では、学習特徴画像生成ステップ102で得られた
複数枚の学習特徴画像に対して、位置ずれ/回転/スケ
ール補正を行う。ここで、特徴点は、特徴画像の中から
対象の性質を端的に表す画素点のことであり、例えばゼ
ロクロス点画像では値が1の画素点が特徴点となる。位
置ずれ/回転/スケール補正は、単なる位置補正である
ので、特徴点のずれを最小2乗フィッティングにより算
出し、そのずれ量を補正するためにアフィン変換を行う
など、どのような方法でもよいが、簡便な方法が好まし
い。
【0033】この実施例としては、マッチング処理であ
る一般化ハフ変換を用いた方法について説明する。学習
特徴画像の中でどれか1枚を基準特徴画像とし、対象
(学習画像の物体)中の特徴点と補正を行う対象原点
(参照点)位置を指定する。この補正を行う対象原点位
置は、補正誤差を最小に抑えるため、対象の中心にとる
ことが好ましい。前記基準特徴画像における前記対象原
点からの特徴点位置を、図3のステップS2と同様に対
象の特徴点の特徴値をインデックスとして参照テーブル
に記憶する。この参照テーブルを用いて、他の学習特徴
画像に対して、一般化ハフ変換を実行する。ここでは、
後で詳しく説明する重み付き一般化ハフ変換において、
まだ特徴点重みwは決まっていないので、wは特徴点間
で同じ値にする。即ち、累積ヒストグラムへのインクリ
メント値はwでなく、従来の一般化ハフ変換と同様に1
である。
【0034】この一般化ハフ変換では、学習特徴画像の
各特徴点の特徴値が参照テーブルの特徴値インデックス
と一致するとき、図4の場合と同様に一致した特徴値イ
ンデックスに格納されている特徴点位置を用いてアドレ
ス変換を行い、対象原点の位置/回転角のパラメータ空
間に投票し、多数決の原理により対象原点の位置/回転
角/スケール変化を算出する。決定された対象原点の位
置/回転角/スケール変化を用いて、基準特徴画像との
位置ずれ量/回転変化/スケール変化の分だけアフィン
変換により補正処理を行い、その結果として学習特徴補
正画像を算出する。図9A乃至D中の空間周波数がそれ
ぞれ高、中、低の各学習特徴画像に対して、それぞれ補
正処理した結果のイメージを図10A乃至図10Cに示
す。
【0035】次に、特徴値として多階調をもつ場合に
は、画像特徴量子化ステップ104において、後述する
ように好ましい量子化幅で画像特徴を量子化する。画像
特徴をF(x,y)とし、量子化画像特徴をG(x,y)、量子
化レベル数をI q とすれば G(x,y) =(F(x,y) −F min ) /R×I q 0≦G (x,y) ≦I q −1 となる。ただし、Fmin はFの最小値、RはFのダイナ
ミックレンジである。量子化幅は、R/Iq として定義
される。ここで、後で定義される良品の類似度分布(図
3の説明におけるカテゴリ内最大頻度分布)と不良品の
類似度分布(カテゴリ間最大頻度分布)から相互の分布
間距離を最大にする量子化幅を用いて量子化するのが好
ましい。量子化幅が最適でないと、一般化ハフ変換のヒ
ット率が低下し、検査性能が低下する原因となる。最適
な量子化幅を算出するには類似度分布の分布間距離を評
価することが的確であり、そのため量子化幅を少しずつ
変化させて最適な値を求めるのは学習といえども処理時
間が無視できなくなる。従って、類似度の分布間距離を
算出しなくても、良品の画像特徴の分布から大体の最適
量子化幅の存在範囲を限定できれば、学習システムとし
ての効率上好ましい。
【0036】最適量子化幅の存在範囲を限定する評価尺
度として、良品の学習画像のその特徴値ヒストグラムの
平均積分平方誤差に着目し、この誤差を最小にする量子
化幅をおおよその最適量子化幅として用い、その存在範
囲の中で、類似度の分布間距離を最大にする量子化幅を
探索することとする。特徴値ヒストグラムの平均積分平
方誤差は次の式で定式化される。
【0037】特徴値ヒストグラムをH(k),k=1,...,I
q 、理想の特徴値ヒストグラムをH ideal k)とする
と、 error (I q ) =Σiq k=1(Hideal (k) −H(k))2 により定義される積分平方誤差を最小化する。Hideal
(k )は未知であるので、最尤推定法により、上式の誤
差の期待値、即ち平均積分平方誤差が次式で算出され
る。
【0038】E error (Iq )=(Iq /(nR))[1
ー((n+1)/(nー1))(Σiq k=1 H(k)2
nー1)] ここで、nは特徴値ヒストグラムの頻度値の合計であ
る。このE error (Iq ) を最小にするIq を求めること
により、最適量子化レベル数(量子化幅)の存在範囲を
限定することが可能となる。
【0039】更に、もっと簡便な尺度として、 I q * ≦(2n)1/3 として、最適量子化レベル数(量子化幅)の存在範囲が
求められる。次に学習特徴点特徴値分布測定ステップ1
05で、特徴毎に格納された学習特徴補正画像(量子化
画像)の系列から各特徴点毎に特徴値ヒストグラムを作
成する。ここで特徴値ヒストグラム作成においては、通
常、位置補正誤差が存在するので、その誤差を考慮し、
許容補正誤差の分だけ特徴点周囲の画素を取り込んでヒ
ストグラム作成をする。また、あらかじめ許容補正誤差
の分だけオーバーラップした画像ブロックに分割してお
き、各ブロック単位にヒストグラムを作成してもよい。
図11にゼロクロス点特徴画像(ゼロクロス点では1/
ゼロクロス点以外では0)52の系列に対する特徴値ヒ
ストグラムを示す。即ち境界付近53の特徴値ヒストグ
ラム54はゼロクロス点1の頻度が大きく、ゼロクロス
点(特徴点)らしさが大きいことを示しており、境界か
ら可なり離れた非境界の部分55の特徴値ヒストグラム
56では、ゼロクロス点1の頻度が小さく、ゼロクロス
点らしさが小さいことを示している。
【0040】学習特徴点重み決定ステップ106では、
各特徴点に対する学習特徴点特徴値ヒストグラム分布の
状態から、各特徴点に対してその特徴の程度を示す重み
を設定する。ここで、学習サンプル数をMとする。図1
1の場合では、ゼロクロス点(ゼロクロス点特徴画像の
値が1の点)の頻度比率R(=頻度/M)の大小に比例
して重みが決定される。値が0の点はゼロクロス点でな
いので重み付けの対象にはならない。重みが低い点は、
この段階で除去しておいた方が演算コストの点から好ま
しい。例えば頻度比率Rが1/2近辺以上であれば、頻
度比率の低下分は量子化誤差に起因したものと考えられ
るので、ゼロクロス点とみなしてもよいが、Rが極端に
低い場合には、ノイズ成分と考えられるので、ゼロクロ
ス点とみなさない方がよい。このように頻度比率Rでし
きい値処理し、ノイズらしい点を除去する。残ったゼロ
クロス点に対して、頻度比率Rにより重み付けを行う。
この残った各ゼロクロス点に対する重み分布を用いて、
基準ゼロクロス点集合(基準特徴点集合)の各点(特徴
点)に重みを付ける。また、この特別な場合として、残
った各点に対して重みを一様に設定することも可能であ
る。基準ゼロクロス点集合を求めるには、 1)ゼロクロス点の重み分布から、その各分布の峰(ピ
ーク)を捜し、これを新たなゼロクロス点をとし、これ
らを基準ゼロクロス点集合とする方法、 2)ゼロクロス点学習特徴補正画像(ゼロクロス点特徴
補正画像)のうちの最も平均的なゼロクロス点画像に着
目し、そのゼロクロス点画像のゼロクロス点を基準ゼロ
クロス点集合とする方法、 等が考えられる。いずれの方法にせよ、基準ゼロクロス
点集合の各ゼロクロス点に、同位置のゼロクロス点重み
分布の重み値wi (i=1,…,Np )を付与する。こ
こで、各重み値は、基準ゼロクロス点集合における各ゼ
ロクロス点の重みの合計が基準ゼロクロス点数Np とな
るように正規化する。従って、各重みを同一値とすると
重みは1/Np となる。このようにして各特徴の種類に
かかわらず特徴点の重みを一般化している。
【0041】濃度化画像の例において特徴値の分布が例
えば図12A乃至Dに示すようになったとする。図12
Bに示すように、分布がある特徴値(濃度)に集中して
いるほど、即ち、分布のばらつきが小さいほど重みが大
きくなる。この場合、最大頻度をMで割った頻度比率R
を重みの尺度とみなすことができる。または、分布の分
散の大小に反比例して重みを設定することもできる。こ
こで、先の場合と同様頻度比率Rまたは分布の分散の値
でしきい値処理し、ノイズらしき点を除去する。残った
特徴点の集合を基準特徴点集合とする。基準特徴点集合
の各特徴点の特徴値は、例えば、最大頻度を与える特徴
値かまたは分布の平均値を与える特徴値とする。基準特
徴点集合に対する重み値wi (i=1,…,Np )はそ
の合計がNp となるように正規化する。または、この特
別な場合として、残った各点に対して、重みを一様に設
定し、重みの全合計がNp となるように設定することも
可能である。
【0042】また、画面上からオペレータがマウスやカ
ーソル等の手段により直接特徴点を指定することにより
予め重み付けの対象とならない背景画像等を除去するこ
とができる。あるいは、検査対象のCAD(Computer A
id Design)データを読み取り、不要な検査箇所を除くこ
とができる。このように、画面上からオペレータまたは
CADデータが直接指定した特徴点を優先して、学習特徴
点の重み決定を行うことにより、より綿密な特徴点の重
み付けが可能となる。
【0043】図7中の参照データ格納ステップ107で
は、図13に示すように、特徴画像52の計算の対象
(物体)原点CG (xG,G )を決定し、ステップ10
5で求めた各特徴点Piとの位置関係を曲座標表現(r
i ,αi )(i=1,…,Np)を用いて表現する。こ
れらの特徴点Piは、ステップ105または106で求
めた特徴値をインデックスとして、その特徴値を有する
特徴点の極座標(ri ,αi )とステップ106で求め
たその特徴点の重みwi とを参照テーブル61に格納す
る。図13では、空間周波数が高、中、低の各ゼロクロ
ス点特徴画像52に対する参照テーブル61a,61
b,61cの構成例を示す。ゼロクロス点特徴画像52
では、特徴点の特徴値は1のみであり、従って、各テー
ブル61a,61b,61cではインデックス欄は省略
されている。
【0044】図14に、N個の特徴画像に対する参照テ
ーブル61の例を示す。特徴画像f(1) に対して、特徴
値I0(1), I1(1),…をインデックスとして、その特徴
値を有する特徴点の位置情報と重み情報(ri 0(1),α
i 0(1), wi 0 (1) (i=1,…,Np0(1))),(ri1
(1),αi1(1),wi1(1) (i=1,…,Np1(1) )…)が
参照テーブル611 に格納され、以下同様に参照テーブ
ル61k (k=1,…,N)に特徴値I0(k),I1(k)…
をインデックスとして位置情報および重み情報(r
i0(k),αi0(k),wi0(k) ),(ri1(k ),αi1(k
),wi1(k ),…)がそれぞれ格納される。次に、
特徴画像間の重みWk ,k=1,…,Nを決定し、特徴
の組み合わせ処理を行い、最適な組み合わせを決定す
る。この特徴組み合わせ処理における特徴画像間の重み
を用いた場合については、日本国特開平4−17588
5号「一般化ハフ変換における画像特徴選択方式」にお
いて詳しく述べられている。これに対し、この発明の第
1の実施例では、特徴点の重み(アナログ値)を前述し
たように複数画像から決定し、その特徴点重みを、特徴
画像間重みの枠組みの中で一般化ハフ変換に適用するよ
うに拡張している。
【0045】このためまず、図7中の学習画像入力ステ
ップ109において、良品の学習画像と不良品の学習画
像の両方を入力する。学習特徴組み合わせ処理ステップ
110では、これらの学習画像に対して、学習特徴画像
生成ステップ111において、良品と不良品の学習特徴
画像をステップ102(図)と、同じく多元セル特徴
抽出によりそれぞれ作成し、その各特徴画像に対し画像
特徴量子化演算ステップ112により、学習量子化特徴
画像を生成する。この量子化幅はステップ104のそれ
と同一とする。
【0046】重み付き一般化ハフ変換ステップ113で
は、算出された学習量子化特徴画像の各特徴点(x,
y)に対して以下のように、重み付き一般化ハフ変換処
理を行う。既に位置ずれ補正がなされている良品画像に
対しては、基準物体の外接矩形枠内の点列のみが対象と
なる。回転角θは0,スケール変化率sは1と固定して
よい。一方、位置ずれ補正されていない良品画像や不良
品画像に対しては、対象点列は学習画像内の全点、回転
角、スケール変化率はフリーとする。位置ずれ補正を強
制的に良品、不良品を問わず実行してもよいが、一般に
不良品やノイズが混入した画像に対しては、例えばエッ
ジ画像やゼロクロス点画像のように半角部特徴画像はノ
イズの影響を受け易く、位置ずれ補正による画質劣化の
影響が大きいこともあり、画像特徴の種類により、位置
ずれ補正の性能が異なることから、位置ずれ補正を正し
くした学習は一般には難しい。従って、ここでは、位置
ずれ補正はあらかじめ敢て行わないこととする。しか
し、前述したように一般化ハフ変換では位置ずれに対す
るマッチングが自動的に行われる。
【0047】以下は、重み付き一般化ハフ変換の一般式
を示す。ステップ109で入力された画像の特徴画像の
各点(x,y)の特徴値が、参照テーブル61に格納さ
れている特徴値インデックスと一致したとき、一致した
特徴値インデックスに格納されている特徴点位置(r,
α)を用いて、次のアドレス変換を行う。
【0048】 x′=x+s×r× cos(θ+α) (2) y′=y+s×r× sin(θ+α) ここで、x′,y′は学習画像中の予測される対象原点
(参照点)位置、θは予測される回転角、sは予測され
るスケールである。これらの予測されるパラメータから
構成されるパラメータ空間(x′,y′,θ,s)のア
ドレス位置に、特徴点の重みwだけ累積加算する。即
ち、A(x′,y′,θ,s)をパラメータ空間
(x′,y′,θ,s)における累積ヒストグラムとす
ると、 A(x′,y′,θ,s):=A(x′,y′,θ,s)+w (3) とする。
【0049】以上の処理は、θおよびsに関して予測さ
れる変動範囲、例えば画像中の対象を製造する際の治具
の精度で決まる±10°の変動範囲、±10%の位置や
スケールSの変動範囲の分だけその変動成分をわずか変
化させて繰り返し処理が行われる。通常の使い方では、
sを固定し、(x′,y′,θ)のパラメータ空間でA
(x′,y′,θ)の累積ヒストグラムを構成する場合
が多い。
【0050】類似度決定ステップ114では、以上の重
み付き一般化ハフ変換処理により算出された累積ヒスト
グラムA(x′,y′,θ,s)に対して、最大頻度を
与える最適原点位置/回転角/スケールパラメータ(x
* ,y* ,θ* ,s* )を算出し、その最大頻度Hm
特徴点数Np で正規化し、その値を類似度Sとして算出
する。
【0051】特徴間重み測定ステップ115では、良品
/不良品のそれぞれについてN個の特徴画像に対して、
重み付き一般化ハフ変換および類似度決定をする。即
ち、良品のサンプル画像数をMok,不良品のサンプル画
像数をMngとすると、第k特徴画像に対する類似度は、
良品の場合、Sok(k,m),m=1,…,Mok,不良
品の場合、Sng(k,m),m=1,…,Mngの類似度
系列となる。このように、第k特徴画像に対して、図1
5に示すように良品の類似度分布63と不良品の類似度
分布64が生成される。第k特徴画像に対する重みは、
良品の類似度分布63と不良品の類似度分布64との開
きの度合いによって算出される。サンプル数が多い場合
には、両分布の平均と分散を用いてバタチャリア距離等
の距離尺度により開きの度合いが算出されるが、学習サ
ンプルが少ないことも予想されるので、簡易的な統計尺
度として、例えば、良品の最悪値、つまり良品中で基準
特徴画像から最も離れた値と不良品の最良値、つまり不
良品中の良品最も近い値との距離W(k)を両分布の
開きの度合いとし、これを重み係数とする。即ち、第k
特徴画像に対する重み係数W(k)は W(k)=MIN(Sok(k,m)) −MAX(Sng(k,m))+c (4) となる。ここで、cはW(k)≧0となるように調整す
る定数である。この重み係数W(1)…,W(N)は、
図16に示すように図14で示した参照データテーブル
611 〜61N の各特徴のヘッダ部分に格納される。
【0052】特徴組み合わせステップ116では、特徴
を重み係数W(k)の大きい順から順に組み合わせる。
まず、重み係数W(k)は、大きさの大きい順にソーテ
ィングされる。その後特徴組み合わせを行うが、特徴の
組み合わせ方としては、OR結合とAND結合が考えら
れる。AND結合は、組み合わせた特徴画像上の同じ特
徴点の値が同時に成立するときのみ、重み付き一般化ハ
フ変換におけるインクリメント、つまりその特徴点につ
いての荷重累積加算をする。ここで、加算するw(特徴
点重み)は、例えば、特徴間で平均化した値を用いる等
が考えられる。OR結合では、重み係数の大きい順に並
べ換えられた特徴画像に対し、第k特徴画像に対する一
般化ハフ変換の累積ヒストグラムをA(k|x’,
y’,θ,s)とし、上位Nc 個まで組み合わせるとす
ると、 Acc(Nc |x′,y′,θ,s) =ΣW(k)A(k|x′,y′,θ,s) (5) (ただし、ΣはNc 個の総和)となる荷重加算累積ヒス
トグラムAcc(Nc |x′,y′,θ,s)を算出す
る。ここで、累積ヒストグラムの荷重加算処理は、全て
のパラメータ空間の値に対して実行するのではなく、効
率化のために、ピーク値に近い近傍のみに対して実行す
る。
【0053】良品/不良品距離測定ステップ117で
は、上位Nc 個まで組み合わせられた特徴の良品/不良
品を分離する度合い(良品/不良品距離)を測定する。
Acc(Nc |x′,y′,θ,s)に対して、最大頻
度値S(Nc )を算出し、それを基準特徴点数Np (N
c ),つまりその組み合わせられた特徴の参照テーブル
内の特徴点数の和(基準特徴点数も特徴の重み係数の大
きい順に並べ換えられている)で正規化した類似度S
(Nc )を算出する。即ち、 S(Nc ):=S(Nc )/(Np (Nc )ΣW(k)) (6) (ただし、ΣはNc 個の総和)となる。ここで、良品サ
ンプルに対する正規化類似度分布をSok(Nc ,m),
m=1,…,Mok,不良品サンプルに対する正規化類似
度分布をSng(Nc ,m),m=1,…,Mngとし、両
分布に対する開きの度合いD(Nc )を、簡易的統計尺
度として、Sok(Nc ,m)の最小値と、S ng (Nc
m)の最大との差、つまり D(Nc )=MIN(Sok(Nc ,m)) −MAX(Sng(Nc ,m)) (7) により算出する。
【0054】特徴選択終了判定ステップ118では、両
分布が余裕を持って交差しない、即ち、 D(Nc )−ε>0 (8) の特徴組み合わせ終了条件が成立するか否かを判定す
る。ε(≧0)は余裕度を調整するパラメータである。
εは対象画像によって異なるが、正しくはεを少しずつ
大として再評して、系が安定する値とする。通常、0.1
とか0.2程度の値である。
【0055】終了条件が成立すれば、良否判定しきい値
決定ステップ119で、良品と不良品を分離する判定し
きい値Th を決定する。Th の決定法としては、良否判
定のきびしさの程度により、良品の限界値に設定する方
法や良品の限界値MIN(S ok(Nc ,m))と不良品
の限界値MAX(Sng(Nc ,m))との中間に設定す
る方法が考えられる。一方、終了条件が成立しなけれ
ば、特徴組み合わせステップ116に戻って特徴組み合
わせ数Nc を1つ増やして、特徴組み合わせ処理を実行
する。
【0056】次に検査処理部200の処理について説明
する。検査画像入力ステップ201において、検査画像
を入力する。検査特徴画像生成ステップ202により、
多元セル特徴抽出演算を行い、検査特徴画像を生成す
る。この検査特徴画像は、学習過程で終了条件((8)
式)が成立したときの特徴の組み合わせについて生成す
る。画像特徴量子化演算ステップ203で、学習過程に
おいて算出された最適な量子化レベル数で各特徴毎に画
像特徴量子化処理が行われる。算出されたこの検査量子
化特徴画像に対して、重み付き一般化ハフ変換ステップ
204で、学習処理により決定された特徴組み合わせお
よび特徴点重み情報が格納された参照テーブル61を用
いて、(3)式の重み付き一般化ハフ変換を行う。
【0057】類似度決定ステップ205では、学習処理
により決定された組み合わせ数Ncを用いて、(5)式
および(6)式の処理を行い、検査類似度St を算出す
る。良否判定ステップ206では、良否判定しきい値T
h を用いて、St ≧Th ならば良品、St <Th ならば
不良品として決定する。 第2の実施例 次に、この発明方法の第2の実施例について、図17を
参照して説明する。図17で図7と対応する部分には同
一符号付けてあり、第1の実施例と異なる部分を中心に
説明する。
【0058】良品の学習画像を入力して、学習特徴画像
生成ステップ102で図7での処理と同様に学習特徴画
像が生成され、更に学習特徴点位置ずれ補正ステップ1
03での位置/回転/スケール補正が行われる。この補
正は後で説明する重み付き正規化相関演算を用いてもよ
い。まだ特徴点重みwは決まっていないので、重み付き
正規化相関演算におけるwは特徴点間で同じ値とする。
例えば、wi (k)=1,i=1,…,Np (k)とす
る。位置ずれ補正された学習特徴画像に対し、図7中の
ステップ104と同様に最適量子化幅で量子化する。
【0059】更に各特徴点の特徴値ヒストグラムを作成
し、その分布から特徴点の重みを決定する。参照データ
格納ステップ107で格納する参照テーブル71のテー
ブル構造が第1の実施例の場合と異なる。例えば図18
に示すように、各特徴画像に対して特徴点数分だけ、
x,y座標値と、特徴値f、特徴点重みwの系列を格納
する。即ち、第1の特徴画像f(1)については、参照
テーブル711 は各特徴点について((xi (1),yi
(1),fi (1) ,wi (1) ),i=1,…,Np (1) )
を格納し、第Nの特徴画像f(k)についてはその各特
徴点について((xi (N),yi (N),fi (N) ,wi
(N) ),i=1,…,Np (N) )を参照テーブル71N
に格納する。
【0060】学習特徴組み合わせ処理110における学
習特徴画像生成部ステップ111は第1の実施例と同様
である。既に位置ずれ補正がなされている特徴画像につ
いては、基準物体の外接矩形枠内の点列のみが対象とな
る。この場合回転角θは0,スケール変化率sは1と固
定してよい。一方、位置ずれ補正されてない良品画像や
不良品画像に対しては、対象点列は学習画像内の全点、
回転角、スケール変化率はフリーとする。位置ずれ補正
を強制的に良品、不良品を問わず実行してもよいが、一
般に不良品やノイズが混入した画像に対しては、画像特
徴の種類により、位置ずれ補正の性能が異なることか
ら、位置ずれ補正誤差を含めた特徴選択が必要となる。
従って、ここでは、位置ずれ補正は敢て行わないことと
する。
【0061】ステップ111で生成した学習特徴画像を
ステップ104で用いた量子化幅で量子化してステップ
309で重み付き正規化相関演算を行う。このステップ
309では、各θ,各スケールs,各点(x,y)に対
して以下の処理を行う。各点(x′,y′)を予測され
る対象原点位置としたとき、学習特徴点特徴値の系列f
i (k),i=1,…,Np (k),k=1,…,N
(特徴点重みの系列:w i (k),i=1,…,N
p (k))と学習特徴点と同一の相対位置(x′+x i
(k),y′+yi (k))にある検査画像特徴値gi
(k),i=1,…,Np (k)との重み付き正規化相
関を行う。ここで、学習特徴点特徴値の、xi(k),
i (k)アドレスは、予測される回転角θ,スケール
sの値に対して、アドレス変換(アフィン変換)された
ものを適用する。予測パラメータ(x′,y′,θ,
s)に対する重み付き正規化相関係数をA(k|x′,
y′,θ,s)とすると、 A(k|x′,y′,θ,s) =Σ(wi (k)(fi (k)−f′m (k))× (gi (k)−g′m (k))) /((Σwi (k))(Σ(fi (k)−f′m (k))2 × Σ(gi (k)−g′m (k))2 1/2 ) (9) となる。ここで、f′m (k),g′m (k)は、それ
ぞれ特徴値系列の平均値であり、 f′m (k)=(1/Np (k))Σfm (k) (10) g′m (k)=(1/Np (k))Σgm (k) である。Σは何れもi=1からNp (k)までの総和で
ある。算出されたA(k|x′,y′,θ,s)は、重
み付き一般化ハフ変換ではパラメータ空間(x′,
y′,θ,s)に対する累積ヒストグラムであるが、重
み付き正規化相関の場合は、パラメータ空間(x′,
y′,θ,s)に対する正規化相関係数分布となる。
【0062】以下のA(k|x′,y′,θ,s)に対
する処理手順は、第1の実施例の処理と同じである。特
徴間重み測定ステップ115における特徴画像に対する
重み値の格納方法に関しても第1の実施例と同じであ
り、図19に示すように、図18の参照テーブル71の
各特徴のヘッダ部分に重み値W(k)が格納される。
【0063】検査処理200においても、第1の実施例
における重み付き一般化ハフ変換スステップ204の代
わりに重み付き正規化相関演算ステップ310で(9)
式による重み付き正規化相関係数が演算される他は第1
の実施例と同様である。次に、あらかじめ良品の複数の
学習画像に対して、濃度画像のダイナミックレンジRと
濃度画像のばらつきσ2 の比として定義されるコントラ
スト Contrast=R/σ2 を測定し、良品の学習画像のコントラストの大小によ
り、マッチング方法を選択することにより、検査対象に
より柔軟な対応が可能となる。即ち、エッジ画像のよう
な輪郭特徴画像に基づく重み付き一般化ハフ変換は、ノ
イズが多くコントラストが低い画像に極めて優れた効果
を示す。一方、ノイズが比較的少なくコントラストが大
きい画像には濃度特徴画像のような領域特徴画像に基づ
く重み付き正規化相関が適している。従って図29Aに
示すように、学習画像のコントラストを測定し、しきい
値処理することにより、コントラストがしきい値より小
さければ輪郭特徴画像を用い図7に示した重み付き一般
化ハフ変換を行い学習データを生成し、コントラストが
しきい値より大きければ領域特徴画像を用い、図17に
示した重み付き正規化相関演算を行い学習データを生成
する。このようにしてマッチング方法の選択を自動的に
行い、より柔軟な検査制御が可能となる。この場合のし
きい値は対象画像により異なり、実験的に決める。
【0064】また、もっと厳密には、学習画像の輪郭特
徴画像に対し図7に示した重み付き一般化ハフ変換を行
って良/不良品の類似度分布の分布間距離を測定し、ま
た領域特徴画像に対し、図17に示した重み付き正規化
相関演算を行って良/不良品の類似度分布の分布間距離
を測定し、これら分布間距離が大きい方の学習データを
選択することにより、最適なマッチング方法を採用する
ことが可能となる。
【0065】第3の実施例 次に、重み付き相違度演算により検査を行う例として、
ハフ平面の重み付き差分演算に基づく検査の例を図2
0,図21を用いて説明する。この実施例は、エッジ点
周囲の位相関係を取り込んだ特徴として、広がり度を採
用する。広がり度は、図22に示すように、各画素から
ある視野範囲内で放射状に走査したとき、最初のエッジ
に衝突するまでの距離di を各走査方向毎に計数し、走
査方向間でのその距離平均Σn i=1 i /nを特徴値
として定義したものである。エッジ上では、広がり度は
0であり、エッジとしての性質も含んでいる。ここでの
エッジ点は濃度変動の影響を受けにくいゼロクロス点と
する。この実施例は、この広がり度分布と濃度分布の両
方の特徴集合を適用し、対象画像の認識能力の向上を目
指す。これらの画像特徴は、ハフ変換において、Coarse
-to-Fineの効率的な認識戦略がとれるように、多重解像
度の枠組み(多重解像度平面)の中で記述される。
【0066】この実施例は「特徴多次元化ハフ変換」に
基づく検査処理であって、学習特徴画像生成ステップ1
02では、複数枚の良品の各学習特徴画像に対して平滑
化・再サンプリング処理により圧縮後、指定された解像
度レベル毎に特徴抽出され、多重解像度・多層特徴平面
に格納される。ここで、解像度毎に抽出された特徴集合
Ωを Ω=(((Fk(x,y),x=1,.,Dx),y=1,.,Dy),k=1,.,Nf) と表す。ただし、Nf は特徴数、Dx ×Dy は解像度で
ある。
【0067】第1、第2実施例と同様に、ステップ10
4で画像特徴量子化を行い、ステップ105および10
6各学習特徴点の特徴値ヒストグラム分布から、各特徴
点の重みを決定する。重みは特徴点の合計があらかじめ
決められた特徴点数Np になるように正規化されるもの
とする。また、同時に、基準画像生成ステップ401で
各学習特徴点の特徴値ヒストグラムから、最大頻度を与
える特徴値か平均値を算出し、それを各特徴点に付与す
ることにより、基準となる特徴画像を生成する。
【0068】この基準特徴画像に対して、以下の処理を
行う。基準特徴画像に対して、第1の実施例において述
べたと同様にの効率化とハフ変換によるマッチングの効
率化のために特徴量子化をステップ104で行う。各特
徴画像kに対し、特徴点(x,y) における特徴値Fk(x,y)
を量子化レベル数Iq(k)で量子化したときの特徴値をG
k (x,y)とすると、 Gk(x,y)=((Fk(x,y)-Fmin))/(Rk))×Iq(k) 0≦Gk(x,y)≦Iq(k)-1 となる。ただし、Fmin はFk の最小値、Rk はFk
ダイナミックレンジである。
【0069】ここで、多重ビット平面生成ステップ40
2において、Gk (x,y) を、その各量子化レベル(特徴
値レベル)に対する(x,y) 平面のON/OFFを表現し
た多重特徴ビット平面Bk にマッピングする。即ち、 Bk=[Bku(x,y),u=0,...,Iq(k)-1] 例えば、I q (k)=4 で量子化し、点(x,y) における量子
化後の特徴値Gk (x,y)=2とすれば、Bku (x,y)にお
いて、u=2のときのみビットがONとなり、つまりB
k 2 (x,y)=1となり、u≠2ではビットがOFFにな
り、つまりBk 0(x,y)=Bk 1(x,y)=Bk 3(x,y)=0と
なる。例えば図23Aに示すようなあるセルの3値に量
子化された特徴画像(Gk (x, y))73は量子化値
(特徴値レベル)0の特徴ビット平面(Bk0(x,y))74
と、量子化値(特徴値レベル)1の特徴ビット平面(B
k 1(x,y))75と、量子化値(特徴値レベル)2の特徴
ビット平面(Bk 2(x,y))76とにマッピングされる。
【0070】このマッピングを各特徴毎に行い:要素を
カスケードに結合して、全ての特徴に対する多重特徴ビ
ット平面Bを定義する。即ち、 ここで、Vは多重特徴ビット平面Bの多重度であり、 V=ΣNf K=1Iq(k) である。
【0071】次に、重み付きハフ変換演算ステップ40
3において、重み付きハフ変換を行う。即ち、点(x,y)
におけるビットがONのときだけ、 θ = (t−1)Δθ,
【0072】
【数2】 に対して、 ρ=(x−x0 ) cosθ+( y−y0 ) sinθ なるアドレス変換を行い、(ρ, θ) を
【0073】
【数3】 における点(ρ, θ) に(x,y)の重みwを累積加算す
る。ここで、 r= (ρ +ρ0)/Δρ, ただし、 ρ0 =√(Dx 2 +Dy 2 )/2
【0074】
【数4】 (x0,y0):原点座標 この操作を全ての(x,y)点(x=1,..,Dx ,y=1,..,Dy )
に対して実行する。多重ハフ平面生成ステップ404で
は、以上の操作を多重特徴ビット平面の各ビット平面B
v (v=0,...,V-1) に対して実行することにより,多重ハ
フ平面HM HM=(((hv(r,t),r=1,.,D(ρ)),t=1,.,D (θ)),v=0,.,V-
1) を生成する。
【0075】以上により算出された各特徴点の重み情報
と多重ハフ平面の情報は、ステップ107で各画像特徴
毎に参照テーブルに格納される。また各ビット平面につ
いて各特徴点の位置と重みとを図14に示したような参
照テーブルを作り、テーブルに格納する。この場合、各
特徴点の重みは、同一特徴画像について各ビット平面に
共通に用いてもよく、各ビット平面ごとに特徴点の重み
をそれぞれ求めてもよい。図23では多重ビット平面7
3に対し共通の特徴点重み平面74を用いた場合であ
る。これらと参照多重ハフ平面75とが参照メモリに格
納される。
【0076】学習特徴組み合わせ処理110では、良
品、不良品の学習画像から、まず、ステップ111で学
習特徴画像を生成し、学習特徴点位置ずれ値をステップ
405で学習特徴点位置ずれ補正を行う。ここで、位置
ずれ補正を行うのは、重み付きハフ変換を行う際に、基
準画像の特徴点のアドレスとの対応をとり易くするため
である。
【0077】ステップ112で位置ずれされた特徴画像
は画像特徴量子化し、ステップ406で多重ビット平面
を作成し、ステップ502で基準画像の特徴点の重み値
を用いて重み付きハフ変換を行う。これによりステップ
408で多重ハフ平面を生成し、ステップ409で多重
ハフ平面と参照テーブルに格納されている基準画像に対
する多重ハフ平面との間で、以下の相違度算出を行う。
【0078】ここで、相違度算出は、多重ハフ平面同志
の位置補正が既になされているので、特徴値レベル(量
子化値)vに関する2つのハフ平面hとh'間の相違度d
ist(v)は以下のように定義される。
【0079】
【数5】 ここで、基準画像の特徴点重みが全て等しい場合は、多
重ハフ平面の分布から位置補正を行うことができる。回
転補正は、例えば、tに関する配列要素は最大頻度方向
【0080】
【数6】 にお互いが一致するように多重ハフ平面の要素を並び変
えることにより実現される。また、重心位置の補正は、
相違度が最小となるずれ量を算出することにより実現さ
れる。
【0081】ビット平面重み測定ステップ410で相違
度の重み付けを行うが、特徴値レベルvの重み付け、即
ち、ビット平面間の重み付けを行う。統計的な重み係数
は、相違度に関するカテゴリ内分布(例えば良品分布)
とカテゴリ間分布(例えば不良品の良品に対する分布)
が正規分布に従うならば、Bhattacharyya距離等が知ら
れているが、学習サンプルは少ない場合が多いので、別
の尺度が必要となる。本実施例では、最もシンプルなカ
テゴリ内分布の最悪値(例えば良品中の最も悪いもの)
とカテゴリ間分布の最悪値(例えば不良品中の最も良品
に近いもの)との距離を尺度とする。
【0082】各カテゴリ毎の学習サンプル数をMとした
とき、良品に対する第v特徴値レベルの相違度の良品内
分布の系列を distW (v)={distW (1,v),..,distW (m,v),..,dist
W (M,v)} とし、不良品のサンプル数をNとしたとき、良品と不良
品との第v特徴値レベルの相違度の良品不良品間分布の
系列を distB (v)={distB (1,v),..,distB(n',v),..,distB(N,
v) } とする。ここで、第v特徴値レベルに対する重みは W(v)=MIN(distB(v))-MAX(distW (v))+c となる。ただし、cはW(v)≧0とするためのオフセット
値である。
【0083】一般的には、各特徴値レベルの全ての組み
合わせについて検査能力を評価すべきであるが、学習の
効率化の観点から、特徴組み合わせステップ411で重
みが大きい特徴値レベルから順に組み合わせる逐次形特
徴選択手順を適用する。即ち、順序付けされた新たな重
み系列を、 W(v)=SORT[v~W(v)] とおき、重みが大きい順にVr番目まで組み合わせたとき
生成される相違度の良品内分布distw (m, Vr )および
良品不良品間分布distB (n',Vr )は、 distW (m,V (n))=ΣVr v=1(W(v) dist W (m,v))/ΣVr v=1W(v) (11) distB (n',V (n))=ΣVr v=1(W(v) dist B (n',v))/ΣVr v=1W(v) (12) となる。そこで、ステップ412では、相違度の良品内
分布distW (m, Vr )および良品不良品間分布dist
B (n',Vr ) の相互の開きを与える簡易的な尺度とし
て、良品不良品間分布の系列が良品内分布の系列とオー
バラップするカウント数、即ち、
【0084】
【数7】 となるdistB (n',Vr ) のカウント数overlap(n,Vr )
を算出する。このカウント数は、特徴値レベルの組み合
わせ数Vr を多くするにつれ、一般的には漸近的に0に
近づく。(ここで、ε(≧0)はオーバーラップ数を増や
し、その結果として特徴値レベルの組み合わせ数を強制
的に増加させ、システムを安全サイドに働かせる安全パ
ラメータである。)しかし、特徴値レベルの組み合わせ
数Vr を増加させても、カウント数が減少しない場合
は、ステップ413で特徴値レベルの組み合わせを打ち
切る。そのときの組み合わせ数をLr* ,限界のカウント
数を不良品のサンプル数Nで割った値をNU * (0≦NU *
≦1) とする。即ち、 Lr * (n)=OPTMIN[Vr~overlap(Vr)] NU * (n)=overlap(Lr*)/N (13) NU* は値が小さいほど検査能力が大きいことを示す評
価尺度である。この評価尺度を、値が高いと検査能力が
大きくなるように変換した尺度Ψを Ψ = 1− NU * (14) とおく。
【0085】ステップ414では、良否判定しきい値
は、カテゴリ内(良品内)の相違度分布と、カテゴリ間
(良品不良品間)相違度分布の中央、または、良品の限
界値(安全パラメータεだけ余裕をとった値)を判定し
きい値とする。一方、検査画像に対してはステップ20
1で検査特徴画像を生成し、ステップ420で位置ずれ
を補正し、ステップ203で検査特徴画像を量子化し、
ステップ421で多重ビット平面を生成し、ステップ4
22で重み付きハフ変換を行い、ステップ423で多重
ハフ平面を生成し、必要に応じて位置ずれ補正を行い、
更にステップ427で学習過程において構成された最適
特徴点重み、最適特徴値レベル組み合わせを用いて、ス
テップ404で得た参照多重ハフ平面との相違度を(1
2)式により算出し、ステップ206で良否判定しきい
値に基づき良否を判別する。
【0086】第4の実施例 第3の実施例では、特徴点重みを用いた重み付きハフ変
換を行ったが、単なるハフ変換としてもノイズの影響や
照度環境の変化、濃度変動が存在しても良品/不良品の
区別の信頼度が高く、認識率が高く、分類も確実に行う
ことができる。この場合の処理の流れを図24,図25
に示し、図20,図21と対応する部分に同一符号を付
けてあり、大部分は同様の処理であるから、主として違
いの部分を述べる。またこの実施例でもエッジ点周囲の
位相関係を取り込んだ特徴として、図22に示した広が
り度の分布と、濃度分布の両方の特徴集合を適用した場
合である。この例では量子化した学習特徴画像から多重
ビット平面生成ステップ402で多重ビット平面Bを生
成する。この多重ビット平面Bの各ビット平面に対し、
ハフ変換演算ステップ501でハフ変換を行う。図2
0,図21中の重み付きハフ変換演算ステップにおいて
はビットがオンの点(x,y)と対応する点(ρ, θ)
に点(x,y)の特徴点重みWを累積加算(加算投票)
したが、ステップ501では1を加算投票する。このよ
うな多重ハフ平面を生成して、参照データ格納ステップ
107では前記多重ハフ平面を参照テーブルに格納す
る。
【0087】学習特徴組み合わせ処理110における位
置ずれ補正ステップ405ではステップ109で入力さ
れた画像の特徴画像の重心を座標原点(x0,0)に合わ
せ、姿勢についてはi)モーメント演算による主軸方
向、ii)平均方向算出、iii)最大頻度方向などによる尺
度が考えられるが、ロバスト性とハフ変換との親和性の
観点から、最大頻度方向による姿勢の回転補正を行う。
つまり図20,図21のステップ405と同様の補正を
行う。ステップ406で得た多重ビット平面に対し、ス
テップ502では重み付きではなく、単なるハフ変換演
算を行う。このハフ変換演算はステップ501での演算
と同様の手法による。このようにしてステップ109で
入力した学習画像の多重ハフ平面をステップ409でス
テップ107で格納した参照ハフ平面に対する相違度の
演算、ステップ408でのビット平面間の重みの決定、
ステップ411での特徴値レベルの組み合わせ、ステッ
プ412での良品不良品間分布の系列が良品内分布の最
悪値より小となる数、つまりオーバラップする数を計数
し、ステップ413でカウント数が減少しなくなるまで
特徴値レベルの組み合わせ数を増加し、その時、計数値
から検査、認識の評価尺度を求め、更にステップ414
で良否判定しきい値の決定は図20,図21に示した実
施例と同様の処理により行う。
【0088】更に検査処理200においては入力画像に
対し、多重ビット平面を生成するまでは図20,図21
の第4実施例と同様であるが、この実施例ではその多重
ビット平面に対し、ステップ503でその各ビット平面
に対し、ハフ変換を行い、つまり図20,図21中のス
テップ422での特徴点の重みを1としたハフ変換を行
い、予め決められた特徴値レベルについての多重ハフ平
面をステップ423で生成し、その後、この多重ハフ平
面をステップ107で得られている参照多重ハフ平面と
の相違度をステップ424で演算し、ステップ206で
良否判定を行うのは図20,図21の実施例を同様の処
理により行う。
【0089】第5の実施例 このような多重ハフ平面を用いる場合に相違度の代わり
に類似度を求めて画像検査/認識を行うこともできる。
この場合は図28に図7、図20,図21と対応する部
分に同一符号を付けて示すように、ステップ164で得
られた量子化特徴画像は、ステップ402で多重ビット
平面に生成され、ステップ107でその各ビット平面に
ついて、特徴値レベルをインデックスとした特徴点のア
ドレスが格納された参照テーブルが作られて、メモリに
格納される。学習特徴画像組み合わせ処理では、ステッ
プ112で量子化された特徴画像がステップ406で多
重ビット平面とされ、ステップ131でその各ビット平
面について、対応参照テーブルを用いて一般化ハフ変換
がなされる。つまり図7中のステップ113での処理に
おける加算投票は特徴点の重みWではなく常に1とされ
る。ステップ114では各特徴値レベル、つまり各ビッ
ト平面ごとに図7のステップ114と同様の手法により
類似度が演算され、更にステップ115では図7中のス
テップ115と同様の処理により、ビット平面間(特徴
値レベル間)の重みが決定され、ステップ117では組
み合わされたビット平面(特徴値レベル)について、図
7中のステップ117と同様の処理により良品/不良品
間距離が求められ、ステップ118で図7の場合と同様
に、特徴値レベルの組み合わせが決定され、更に同様に
してステップ119でしきい値が決定される。検査処理
200ではステップで得られた量子化特徴画像からステ
ップ421で多重ビット平面が生成され、ステップ13
2でその各ビット平面について、ステップ107で格納
された参照テーブルを用いて一般化ハフ変換を行い、ス
テップ205で図7中のステップ205と同様に類似度
を求め、その類似度としきい値とをステップ206で比
較して良否判定を行う。
【0090】以上の良否判定の検査尺度は、類似度であ
ったが、取付け位置検査を行う場合には、基準に対する
位置ずれ量、回転変化量、スケール変化量が重要とな
る。重み付き一般化ハフ変換、重み付き正規化相関演算
とも、最大の類似度を与える対象原点の位置、回転量が
算出でき、また、スケール変化量も検出できることか
ら、取付け位置検査への適用が可能となる。以上の各種
実施例を分類又は認識に用いる場合は、例えば入力画像
が第1乃至第nカテゴリの何れに該当するかの判断をす
るには、第iカテゴリ(i=1,2,…,n)を前記良
品とし、それ以外の各カテゴリを前記不良品とし、第i
カテゴリについての学習データ、つまり実施例における
参照テーブル(参照ハフ面)を作り、これを用いて、第
iカテゴリ内類似度分布又は相違度分布と第iカテゴリ
と他のカテゴリ間との類似度分布又は相違度分布とを求
め、これら両分布間の各距離から最適の特徴組み合わせ
(特徴値レベル組み合わせ)を決定し、検査画像につい
て、第1乃至第nカテゴリのそれぞれについて、得られ
たn個の類似度中の最大のもの、又は相違度中の最小の
ものと対応するカテゴリに、その入力画像のものは属す
と、分類又は認識する。
【0091】図17に示した重み付き正規化相関演算を
行う場合も、図20,図21に示したように多重ビット
平面を作り、その対応ビット平面間の重み付き正規化相
関演算を行い、更に特徴値レベル間(ビット平面内)の
重みを求め、特徴値レベルの組み合わせを決定し、その
組み合わせについて、入力画像の特徴画像の多重ビット
平面と学習画像の特徴画像多重ビット平面との重み付き
正規化相関演算を行うようにしてもよい。図24,図2
5と図28との関係と同様に、図20,図21につい
て、多重ビット平面について類似度を求め、つまり図7
に示した手法を多重ビット平面にも適用できる。
【0092】第3実施例においてN値のカテゴリに対す
る認識を行う場合はNカテゴリ全てを平均的に弁別する
評価尺度MEAN(Nu * )は(12)式から MEAN(Nu * )=Σn=1 N u * (n)/N となる。この評価尺度を、値が高い程弁別能力が大きく
なるようにする尺度Ψとして次式を用いることができ
る。
【0093】Ψ=1−MEAN(Nu * ) この時のNカテゴリ全ての平均特徴値レベル組み合わせ
数をMEAN(Lr *)とする。つまり MEAN(Lr * )=Σn=1 N r * (n)/N このΨを特徴値レベル(ビット平面)組み合わせ選択の
評価尺度として用いる。
【0094】未知入力画像と各カテゴリとの相違度は、
予め学習により決定された最適特徴値レベル組み合わせ
を用いて、(11)式から次式で表せる。 dis(n,Lr * (n))=Σ(W(n,v)dis
t(v))/ΣW(n,v) Σはv=1からLr * (n)まで この相違度を最小にするカテゴリnが未知入力画像の認
識結果であるが、カテゴリ間で相違度を比較する際に、
予め相違度を正規化する必要がある。特徴値レベル組み
合わせ選択時に決定される各カテゴリごとの相違度のカ
テゴリ内分布(10)式とカテゴリ間分布(11)式と
の中間値Dm(n)を用いて、次式で示される余裕度V
aを定義する。
【0095】
【数8】 ただし、この中間値Dm (n)は安全パラメータεを考
慮したものである。Va>0で、かつVaが最大となる
カテゴリを、認識結果と決定すべきカテゴリであると判
断する。次に上述した方法を実施する装置の構成例を図
26を参照して説明する。共通バス81に、フレームメ
モリ82、画像特徴抽出ユニット83、特徴画像メモリ
84、画像特徴量子化ユニット85、重み付き類似度
(相違度)、演算ユニット86、参照テーブルメモリ8
7、良否判定ユニット88、パーソナルコンピュータな
どの制御ユニット89が接続され、更にメモリ82,8
4,87、ユニット83,85,86,88が専用バス
90で相互に接続されている。
【0096】ビデオカメラユニット91から図に示して
いない被検査物が撮影され、これよりの入力画像(検査
画像)は図に示してないがAD変換器でデジタル信号と
してフレームメモリ82に蓄えられる。特徴抽出ユニッ
ト83において、図7、図17、図20,図21中のス
テップ202で行う処理により入力画像から、予め決め
られて、つまり参照テーブルメモリ87に記憶されてい
る参照テーブルの各特徴について、特徴画像が抽出され
て特徴画像メモリ84に蓄えられる。この抽出された特
徴画像に対して画像特徴量子化ユニット85で、図7、
図17、図20,図21中のステップ203で行う処理
により量子化され、その量子化特徴画像は特徴画像メモ
リ84に蓄えられる。参照テーブル87には図7の方法
では図16に示した参照テーブル中の、ステップ118
で選択が終了した特徴についてのものが記憶され、同様
に図17の方法ではステップ118で選択終了した図1
9に示した参照テーブルが、図20,図21の方法では
ステップ413で選択終了した特徴点重みの参照テーブ
ルと参照多重ハフ平面が、図24,図25の方法では参
照多重ハフ平面が、図28の方法では特徴点とその重み
が格納され、更にこれらと対応して図7、図17の各ス
テップ18、図20,図21、図24,図25、図28
のステップ414で決められた各しきい値が格納されて
いる。重み付き類似度(相違度)演算ユニット86では
メモリ84中の量子化画像と、参照テーブルメモリ87
の参照テーブルとを用いて、図7の方法ではステップ2
04の重み付き一般化ハフ変換演算を行い、図17の方
法ではステップ310の重み付き正規化相関演算を行
い、図28の方法では一般化ハフ変換を行い、更にそれ
ぞれ類似度演算を行い、図20,図21の方法ではステ
ップ421,422,424における多重ビット平面の
生成、その重み付きハフ変換演算、更に相違度算出を行
い、図24,図25の方法ではステップ421、50
3、424における多重ビット平面の生成、ハフ変換演
算、相違度算出を行う。重み付き類似度(相違度)演算
ユニット86の演算結果は良否判定ユニット88で参照
テーブルメモリ87のしきい値と比較され、その判定結
果が制御ユニット89を通じて外部へ出力され、図に示
していない表示器に表示される。なお良否判定ユニット
88は制御ユニット89内の機能を利用してもよい。
【0097】例えば各種部品の良品不良品検査を行う場
合、多くの参照データを必要とし、参照データ及びしき
い値は外部の磁気ディスクなどの大容量メモリに記憶さ
れてあり、制御ユニット89に対して検査する部品番号
を入力すると、制御ユニット89が対応する参照テーブ
ルの組及びしきい値を前記大容量メモリから読出して、
参照テーブルメモリ87にロードして検査を実行する。
この際、しきい値は制御ユニット89に保持して最終の
良否判定を制御ユニット89で行う。
【0098】次に参照データ作成部分の装置構成の例を
図27を参照して説明する。この装置は図26に示した
画像検査装置のもつ機能の大部分を有し、かつ画像検査
装置を兼ねている場合も多い。よって図26と対応する
部分に同一符号を付けてある。この装置では更に学習特
徴点特徴値分布メモリ93、特徴値分布測定ユニット9
4、特徴点重み決定ユニット95、類似度(相違度)分
布メモリ96、特徴間重み測定ユニット97、特徴重み
合わせユニット98、良否しきい値決定ユニット99が
設けられ、かつ特徴画像メモリ84、特徴点特徴値分布
メモリ93、類似度(相違度)分布メモリ96はそれぞ
れ図26の検査装置と比較して多くのデータを記憶でき
るように多面構成とされている。
【0099】この場合は前述したように学習画像がフレ
ームメモリ82に入力され、それらについてそれぞれ各
種の特徴画像が抽出ユニット83で抽出されて、特徴画
像メモリ84に蓄えられ、これら特徴画像は量子化ユニ
ット85でそれぞれ量子化されてメモリ84に再び格納
される。同一の特徴画像について特徴値分布測定ユニッ
ト94でステップ105の特徴点特徴値分布が求めら
れ、その特徴点特徴値分布がメモリ93に蓄えられる。
この特徴点特徴値分布を用いて、特徴点重み決定ユニッ
ト95によりステップ106の特徴点重み決定がなさ
れ、各特徴値ごとに各特徴点とその重みとからなる参照
テーブルがメモリ87に格納される。ただし図20,図
21の方法ではステップ401の基準画像の生成、ステ
ップ402の多重ビット平面の生成、ステップ403の
重み付きハフ変換演算がなされて、多重ハフ平面が生成
され、これも参照テーブルメモリ87に格納される。
【0100】次に良品学習画像、不良品学習画像を各複
数入力して、これらに対する特徴画像を生成し、更にこ
れを量子化して特徴画像メモリ84に格納する。これら
量子化特徴画像を、重み付き類似度(相違度)演算ユニ
ット86でステップ113の重み付き一般化ハフ変換演
算、ステップ309の重み付き正規化相関演算、ステッ
プ406乃至408の多重ビット平面生成、重み付きハ
フ変換演算、多重ハフ平面の生成を行い、これらの演算
結果から類似度(相違度)を求めてその分布をメモリ9
6に格納する。特徴間重み測定ユニット97によりステ
ップ115(ステップ410)の特徴間重み(ビット平
面間重み)が演算されてメモリ96に格納される。更に
特徴組み合わせユニット98でステップ116(ステッ
プ411)により特徴を組み合わせ(ビット平面を組み
合わせ)ステップ117(ステップ412)で良品分布
と不良品分布間距離を求め、その距離が前記条件を満す
まで特徴(ビット面)の組み合わせが行われる。その
後、良否しきい値決定ユニット99によりしきい値が決
定される。
【0101】図26、図27の何れにおいても、各ユニ
ットはその1又は複数をDSP(デジタルシグナルプロ
セッサ)により構成することができる。
【0102】
【発明の効果】第1実施例によれば、図9に示すよう
に、輪郭特徴として例えばエッジ画像においてゼロクロ
ス点を抽出し、エッジの空間周波数を変化させ、最も適
したゼロクロス点を一般化ハフ変換を行うことにより、
濃度のオフセット変動や相対的感度低下に影響されにく
い特徴抽出機能と、万が一ノイズが存在しても、一般化
ハフ変換の多数決の論理により、類似度が変化しないマ
ッチング機能が実現される。更に、複数の学習画像に対
する各特徴点の重み学習により、ノイズに対して安定し
た特徴点の抽出が保証され、かつ、領域特徴と輪郭特徴
という相補的な特徴を併用し解像度の変化も考慮した多
元セル特徴抽出の機能を、重み付き一般化ハフ変換に適
用し、その特徴に対する重み値を学習処理により画像の
性質に合わせて自動決定し、特徴を組み合わせて適用す
ることにより、照明環境やサンプル表面の反射特性が変
化しゴミ等の付着により発生する良品サンプル画像の濃
度変動が存在する環境に対し、良品/不良品の区別の誤
り率が少なく信頼度が高い画像検査が実現できる。また
認識率が高い画像認識や誤り率が低い画像分類が可能と
なる。
【0103】第2実施例によれば、複数の学習画像に対
する各特徴点の重み学習により、ノイズに対して安定し
た特徴点の抽出が保証され、かつ、領域特徴と輪郭特徴
という相補的な特徴を併用し解像度の変化も考慮した多
元セル特徴抽出の機能を、重み付き正規化相関演算に適
用し、その特徴に対する重み値を学習処理により画像の
性質に合わせて自動決定し、特徴を組み合わせて適用す
ることにより、照明環境やサンプル表面の反射特性が変
化しゴミ等の付着により発生する良品サンプル画像の濃
度変動が存在する環境に対し、良/不良品の区別の誤り
率が少なく信頼度が高い画像検査方式や認識率が高い画
像認識方式、誤り率が低い画像分類方式が実現できる。
【0104】第3実施例および第4実施例によれば、照
明変化により生じる濃度変化やノイズの存在下でも、互
いに相補的な性質を示す広がり度等の多数の特徴集合に
対する選択的特徴抽出系をハフ変換の枠組みに適用し、
その結果得られる多重ハフ平面に対する相違度または類
似度に基づき認識を行い、識別能力を低下させることな
く効率的な画像認識系や画像分類系、また信頼度が高い
検査系を構成することができる。
【図面の簡単な説明】
【図1】Aは検査画像の例を示す図、Bは図1Aの実線
12上の理想濃度変化曲線13と濃度変動曲線14の例
とこれら曲線の剛性曲線15を示す図、Cは図1A中の
領域11aの濃度ヒストグラムの例を示す図、Dは図1
A中の領域11aの従来の検査法による抽出結果を示す
図である。
【図2】Aは基準画像中の基準ウインドウを示す図、B
は図2A中の基準ウインドウ内の濃度パターンの例を示
す図、Cは検査画像中のサーチ領域を示す図、Dはサー
チ領域の濃度パターンと対応基準ウインドウの濃度パタ
ーンとの関係例を示す図である。
【図3】従来の一般化ハフ変換を用いた画像検査方法に
おける処理手順を示す流れ図である。
【図4】従来の一般化ハフ変換を説明するための図であ
る。
【図5】基準エッジ画像に対する入力エッジ画像の一般
ハフ変換実行時のアキュムレータアレイ(パラメータ空
間)に対する投票の様子を示す図である。
【図6】Aは理想パターンを示す図、B乃至Dは図6A
の理想パターンに対し、それぞれ多少の雑音、回転を含
む良品パターンを示す図、Eは不良品パターンを示す図
である。
【図7】この発明方法の第1実施例の処理手順を示す流
れ図である。
【図8】入力画像から多元セル特徴抽出の概念を説明す
るための図である。
【図9】A乃至Dはそれぞれ図6B乃至図6Eに対する
空間周波数が異なる画像を示す図である。
【図10】図9Aの画像を例とした学習特徴補正画像の
例を示す図である。
【図11】学習ゼロクロス点画像における特徴点特徴位
分布の例を示す図である。
【図12】A乃至Dは濃度画像を例とした学習特徴点特
徴値分布の各種例を示す図である。
【図13】第1実施例におけるゼロクロス点画像の参照
テーブルの例を示す図である。
【図14】N特徴の場合の参照テーブルの例を示す図で
ある。
【図15】不良品類似度分布(カテゴリ間類似度分布)
と良品類似度分布(カテゴリ内類似度分布)との開きの
度合(距離)の概念を示す図である。
【図16】第1実施例における参照テーブルに特徴重み
を登録した状態を示す図である。
【図17】この発明方法の第2実施例の処理手順を示す
流れ図である。
【図18】第2実施例における参照テーブルの例を示す
図である。
【図19】図18の参照テーブルに特徴重みを登録した
状態を示す図である。
【図20】第3実施例の参照データ生成における処理手
順を示す流れ図である。
【図21】第3実施例の検査処理における手順を示す図
である。
【図22】広がり特徴の例を示す図である。
【図23】特徴画像とその多重ビット平面との関係と参
照テーブルとを概念的に示す図である。
【図24】第4実施例の参照データ生成における処理手
順を示す流れ図である。
【図25】第4実施例の参照データ生成における処理手
順を示す流れ図である。
【図26】この発明の画像検査/認識装置の実施例を示
すブロック図である。
【図27】この発明の参照データ生成装置の実施例を示
すブロック図である。
【図28】この発明の第5実施例の処理手順を示す流れ
図である。
【図29】AおよびBはそれぞれ学習画像について特徴
画像選択の手順を示す流れ図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐橋 襄治 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (72)発明者 大原 秀一 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (72)発明者 三ツ矢 英司 東京都千代田区内幸町1丁目1番6号 日本電信電話 会社内 (56)参考文献 特開 平6−44407(JP,A) 特開 昭63−109500(JP,A) 特開 平4−178784(JP,A) 佐野睦夫外2名,「MISE基準に基 づく一般化ハフ変換パラメータの最適 化」,電子情報通信学会技術研究報告, 社団法人電子情報通信学会,Vol. 91,No.252(1991年9月),pp. 35−42 佐野睦夫外2名,「多元セル特徴によ る濃淡画像認識」,電子情報通信学会論 文誌D−II,社団法人電子情報通信学 会,Vol.J73−D−II,No.7 (1990年7月),pp.961−972 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 JICSTファイル(JOIS)

Claims (25)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像から画像特徴を抽出して特徴画
    像を得る第1ステップと、 上記特徴画像を量子化して量子化特徴画像を得る第2ス
    テップと、 上記量子化特徴画像の特徴点の類似度または相違度を複
    数の学習画像により予め求めた対応特徴の参照データを
    用いて求める第3ステップと、 を有する画像検査/認識方法において、 上記複数の学習画像に対するその量子化特徴画像の各特
    徴点での特徴値ヒストグラムから特徴点の重みを予め計
    算しておき、上記重みを用いて上記第3ステップにおけ
    る類似度または相違度を重み付き類似度または重み付き
    相違度として求めることを特徴とする画像検査/認識方
    法。
  2. 【請求項2】 請求項1の画像検査/認識方法におい
    て、 上記第3ステップは互いに異なる複数の特徴画像につい
    て、それぞれの特徴画像間の重みを決定し、特徴の組み
    合わせ処理を行い、最適な組み合わせを決定して、上記
    重み付き類似度または上記重み付き相違度を求める。
  3. 【請求項3】 請求項2の画像検査/認識方法におい
    て、 上記第3ステップはパラメータ空間へ上記特徴点の重み
    を加算投票する重み付き一般化ハフ変換演算により上記
    重み付き類似度を求めることであることを特徴とする。
  4. 【請求項4】 請求項2の画像検査/認識方法におい
    て、 上記第3ステップは上記入力画像に対する特徴画像の特
    徴点特徴値系列と、上記学習画像に対する特徴画像の特
    徴点特徴値系列との正規化相関係数を、上記特徴点の上
    記重み系列で重みを与えて求める重み付き正規化相関演
    算により上記重み付き類似度を求めることであることを
    特徴とする。
  5. 【請求項5】 請求項2の画像検査/認識方法におい
    て、 上記第3ステップは上記量子化特徴画像を量子化レベル
    ごとにパラメータ空間へ上記特徴点の重みを加算投票す
    る重み付きハフ変換してハフ平面を得、このハフ平面と
    上記学習画像の特徴画像から得た参照ハフ平面との差分
    演算により上記重み付き相違度を求めることである。
  6. 【請求項6】 請求項2の画像検査/認識方法におい
    て、 上記1つの特徴画像について、上記各特徴点の重みの合
    計が上記特徴点の数で正規化されている。
  7. 【請求項7】 請求項2の画像検査/認識方法におい
    て、 上記複数の学習画像から得た同種の特徴画像についての
    各画素におけるその特徴値の頻度比率をしきい値処理
    し、雑音らしい画素を除いた残りの画素をその特徴値の
    特徴点とする。
  8. 【請求項8】 請求項2乃至7の何れかの画像検査/認
    識方法において、 同一カテゴリの上記複数の学習画像のコントラストが所
    定値より大きい場合は、上記第1ステップで上記特徴画
    像として領域特徴画像を抽出し、上記第3ステップで重
    み付き正規化相関演算を行い、上記コントラストが上記
    所定値より小さい場合は上記第1ステップで上記特徴画
    像として輪郭特徴画像を抽出し、上記第3ステップで重
    み付き一般ハフ変換演算を行って上記重み付き類似度を
    求める。
  9. 【請求項9】 請求項2乃至7の何れかの画像検査/認
    識方法において、 異なるカテゴリの各複数の学習画像について、それぞれ
    重み付き一般化ハフ変換演算、又は重み付き正規化相関
    演算および量子化レベルごとのハフ平面での差分演算を
    行い、それぞれ各カテゴリ内の類似度又は相違度分布
    と、各カテゴリ間の類似度又は相違度分布との分布間距
    離を求め、これら分布間距離中の最も大きいものとなっ
    た演算を上記第3ステップで行う。
  10. 【請求項10】 請求項2乃至7の何れかの画像検査/
    認識方法において、 上記第2ステップは、上記複数の学習画像に対して、各
    カテゴリごとの類似度または相違度のカテゴリ内分布と
    カテゴリ間分布との分布間距離を最大にする量子化幅を
    用いて量子化演算を行うことである。
  11. 【請求項11】 請求項2乃至7の何れかの画像検査/
    認識方法において、 上記第2ステップは、1つのカテゴリの上記複数の学習
    画像の上記特徴画像における特徴点の特徴値ヒストグラ
    ムの平均積分平方誤差を最小にする量子化幅を用いて量
    子化演算することである。
  12. 【請求項12】 請求項10の画像検査/認識方法にお
    いて、 上記学習画像は良品から得たものであり、上記分布間距
    離は良品の分布と不良品の分布との間であり、上記重み
    付き類似度または重み付き相違度としきい値とを比較し
    て、上記入力画像と対応するものの良否を判定する第4
    ステップを含む。
  13. 【請求項13】 請求項12の画像検査/認識方法にお
    いて、 上記重み付き類似度が最大または上記重み付き相違度が
    最小となる対象原点の位置ずれ量、回転量、またはスケ
    ール変化量を求め、その量を検査尺度とする第4ステッ
    プを含む。
  14. 【請求項14】 請求項11の画像検査/認識方法にお
    いて、 上記学習画像は良品から得たものであり、上記平均積分
    平方誤差は良品に対するものであり、上記重み付き類似
    度または重み付き相違度としきい値とを比較して、上記
    入力画像と対応するものの良否を判定する第4ステップ
    を含む。
  15. 【請求項15】 請求項14の画像検査/認識方法にお
    いて、 上記重み付き類似度が最大または上記重み付き相違度が
    最小となる対象原点の位置ずれ量、回転量、またはスケ
    ール変化量を求め、その量を検査尺度とする第4ステッ
    プを含む。
  16. 【請求項16】 請求項2乃至7の何れかの画像検査/
    認識方法において、 上記複数の学習画像から上記特徴画像を抽出する第5ス
    テップと、 上記学習特徴画像を量子化する第6ステップと、上記量
    子化学習特徴画像の各特徴点での特徴値のヒストグラム
    を求める第7ステップと、その第7ステップで求めたヒ
    ストグラムのばらつきの程度に応じて重みを求める第8
    ステップとにより上記特徴点の重みを得る。
  17. 【請求項17】 請求項16の画像検査/認識方法にお
    いて、 複数のカテゴリの複数の学習画像からそれぞれ複数の量
    子化特徴画像を求める第9ステップと、上記第3ステッ
    プで用いた学習データを用いて、上記複数の学習画像の
    各特徴画像の特徴点の重み付き類似度または重み付き相
    違度を、上記第3ステップで行う演算と同一手法の演算
    で求める第10ステップと、上記第10ステップの演算
    結果から各特徴画像についての類似度または相違度を求
    める第11ステップと、上記求めた類似度または相違度
    から特徴間の重みを求める第12ステップと、上記特徴
    を組み合わせ、カテゴリ内の類似度または相違度と、そ
    のカテゴリと他のカテゴリ間の類似度または相違度との
    距離を求める第13ステップと、上記の距離が所定の条
    件を満すまで上記特徴の組み合わせを変更する第14ス
    テップとにより上記第3ステップにおける上記条件を満
    たした組み合わせの異なる複数の特徴画像を決定する。
  18. 【請求項18】 請求項17の画像検査/認識方法にお
    いて、 上記第14ステップで決定された組み合わせにおけるカ
    テゴリ内の類似度または相違度とカテゴリ間の類似度ま
    たは相違度との間にこれらカテゴリ間を区別するしきい
    値を決める第14ステップを含む。
  19. 【請求項19】 学習画像から複数の画像特徴をそれぞ
    れ抽出して特徴画像を生成する第1ステップと、 これら各特徴画像をそれぞれ量子化して量子化特徴画像
    とする第2ステップと、 上記量子化特徴画像の同種のものにおける各特徴点の特
    徴値分布を求める第3ステップと、 上記特徴点特徴値分布から各特徴点の重みを決定する第
    4ステップと、 上記学習画像と同一カテゴリの第2学習画像及び他のカ
    テゴリの第3学習画像からそれぞれ量子化された第2特
    徴画像及び第3特徴画像を生成する第5ステップと、 これら第2、第3特徴画像と上記特徴点及びその重みを
    用いて上記学習画像の特徴画像との各類似度または相違
    度を上記特徴点の重み付き相関演算でそれぞれ求める第
    6ステップと、 上記両カテゴリと対応する各上記類似度または相違度か
    ら上記特徴間の重みを決定する第7ステップと、 上記特徴を組み合わせ、これらの上記両カテゴリの対応
    類似度または相違度間距離を求める第8ステップと、 上記距離が十分大となるまで上記特徴の組み合わせを変
    更し、その最終の組み合わせの上記特徴点とその重みを
    参照データとする第9ステップとを有する画像検査/認
    識用参照データ生成方法。
  20. 【請求項20】 請求項19の参照データ生成方法にお
    いて、 上記第6ステップの上記相関演算はパラメータ空間に上
    記特徴点重みを加算投票する重み付き一般化ハフ変換演
    算である。
  21. 【請求項21】 請求項19の参照データ生成方法にお
    いて、 上記第6ステップの上記相関演算は上記特徴画像系列と
    上記第2または第3特徴画像系列と上記特徴点の重みの
    系列を重みとした重み付き正規化相関演算である。
  22. 【請求項22】 請求項19の参照データ生成方法にお
    いて、 上記第6ステップの上記相関演算は、上記量子化特徴画
    像を量子化レベルごとに、パラメータ空間に上記特徴点
    の重みを加算投票する重み付きハフ変換してハフ平面を
    得、これらハフ平面の上記特徴画像の対応するものとの
    差分演算を行うことである。
  23. 【請求項23】 入力学習画像が蓄えられる画像メモリ
    と、 上記学習画像から画像の特徴を抽出して特徴画像を生成
    する手段と、 上記特徴画像を量子化する手段と、 上記量子化された特徴画像が蓄えられる特徴画像メモリ
    と、 上記量子化特徴画像からその特徴点の特徴値分布を求め
    る手段と、 上記特徴画像ごとの上記特徴点特徴値分布を蓄える特徴
    点特徴値分布メモリと、 上記特徴値分布から各特徴点の重みを決定する手段と、 上記特徴ごとの上記特徴点とその重みを記憶する参照テ
    ーブルメモリと、 上記参照テーブルメモリの特徴点重みを用いて、上記特
    徴画像に対する相関演算を行って重み付き類似度または
    相違度を得る重み付き類似度(相違度)演算手段と、 上記重み付き類似度または相違度の分布が蓄えられる類
    似度(相違度)分布メモリと、カテゴリと対応する上記
    類似度または相違度の分布から特徴間の重みを求める手
    段と、 特徴間の組み合わせを決めて、その組み合わせについて
    のカテゴリ内の重み付き類似度または重み付き相違度と
    カテゴリ間の重み付き類似度または重み付き相違度との
    距離を求める手段と、 上記距離が予め決めた条件を満たすまで上記特徴の組み
    合わせを変更して、その条件を満たした時の特徴画像
    組み合わせの各特徴画像の特徴点とその重みを参照デー
    タとする手段と、 を具備する画像検査/認識用参照データ生成装置。
  24. 【請求項24】 入力画像から画像特徴を抽出して特徴
    画像を得る第1ステップと、 上記特徴画像を量子化して量子化特徴画像を得る第2ス
    テップと、 上記量子化特徴画像の特徴点の相違度を学習画像により
    予め求めた対応特徴の参照データを用いて求める第3ス
    テップと、 を有する画像検索/認識方法において、 上記第3ステップは、上記量子化特徴画像から、その各
    量子化レベルに対するビット平面よりなる多重ビット平
    面を生成する第4ステップと、 上記多重ビット平面の各ビット平面をハフ変換して多重
    ハフ平面を生成する第5ステップと、 上記多重ハフ平面と上記参照データとしての参照多重ハ
    フ平面との差分を演算することにより上記相違度を得る
    第6ステップよりなることを特徴とする画像検査/認識
    方法。
  25. 【請求項25】 入力画像から画像特徴を抽出して特徴
    画像を得る第1ステップと、 上記特徴画像を量子化して量子化特徴画像を得る第2ス
    テップと、 上記量子化特徴画像の特徴点の類似度を学習画像により
    予め求めた対応特徴の参照データを用いて求める第3ス
    テップと、 を有する画像検査/認識方法において、 上記第3ステップは上記量子化特徴画像から、その各量
    子化レベルに対するビット平面よりなる多重ビット平面
    を生成する第4ステップと、 上記ビット平面中の予め決められたものについて上記参
    照データを用いて、それぞれ一般化ハフ変換する第5ス
    テップと、 これらハフ変換されたものから上記類似度を演算する第
    6ステップとよりなることを特徴とする画像検査/認識
    方法。
JP14644695A 1994-06-14 1995-06-13 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置 Expired - Fee Related JP3346679B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14644695A JP3346679B2 (ja) 1994-06-14 1995-06-13 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP6-131649 1994-06-14
JP13164994 1994-06-14
JP13621094 1994-06-20
JP6-136210 1994-06-20
JP14644695A JP3346679B2 (ja) 1994-06-14 1995-06-13 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置

Publications (2)

Publication Number Publication Date
JPH0869533A JPH0869533A (ja) 1996-03-12
JP3346679B2 true JP3346679B2 (ja) 2002-11-18

Family

ID=27316341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14644695A Expired - Fee Related JP3346679B2 (ja) 1994-06-14 1995-06-13 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置

Country Status (1)

Country Link
JP (1) JP3346679B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007562A1 (ko) * 2012-07-06 2014-01-09 인텔렉추얼 디스커버리 주식회사 영상 검색방법 및 장치
US8965114B2 (en) 2010-12-16 2015-02-24 Canon Kabushiki Kaisha Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system
KR102640999B1 (ko) * 2023-09-18 2024-02-28 영일엔지니어링(주) 배터리팩 상부커버용 회로기판 검사기

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3982646B2 (ja) * 1997-04-28 2007-09-26 財団法人くまもとテクノ産業財団 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体
JP4636637B2 (ja) * 1999-04-16 2011-02-23 アルテイメイト・コーポレーション 画質改善のためのエッジ画像向上補正
AU763459B2 (en) * 1999-11-24 2003-07-24 Confirma, Inc. Convolution filtering of similarity data for visual display of enhanced image
US6674880B1 (en) 1999-11-24 2004-01-06 Confirma, Inc. Convolution filtering of similarity data for visual display of enhanced image
US7155043B2 (en) 2001-11-21 2006-12-26 Confirma, Incorporated User interface having analysis status indicators
US7260249B2 (en) 2002-09-27 2007-08-21 Confirma Incorporated Rules-based approach for processing medical images
JP2006293455A (ja) * 2005-04-06 2006-10-26 Dainippon Printing Co Ltd 不適正データ確認システム
JP5082637B2 (ja) * 2007-07-10 2012-11-28 富士通株式会社 画像処理プログラム、画像処理方法及び画像処理装置
JP5231839B2 (ja) * 2008-03-11 2013-07-10 株式会社東芝 パターン認識装置及びその方法
JP2010061539A (ja) * 2008-09-05 2010-03-18 Omron Corp 基板外観検査のためのモデルデータの登録方法および基板外観検査装置
JP5235228B2 (ja) * 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
JP5329493B2 (ja) * 2010-08-23 2013-10-30 東芝テック株式会社 ラベル発行装置およびプログラム
JP5423631B2 (ja) * 2010-09-24 2014-02-19 株式会社デンソー 画像認識装置
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
WO2013031418A1 (ja) * 2011-08-30 2013-03-07 株式会社メガチップス 線分および円弧検出装置
JP6049000B2 (ja) * 2011-09-21 2016-12-21 株式会社メガチップス 線分および円弧検出装置
JP5718781B2 (ja) * 2011-09-30 2015-05-13 株式会社Screenホールディングス 画像分類装置および画像分類方法
JP2019082853A (ja) * 2017-10-30 2019-05-30 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11772271B2 (en) 2020-01-10 2023-10-03 Mujin, Inc. Method and computing system for object recognition or object registration based on image classification
JP6843458B1 (ja) * 2020-01-10 2021-03-17 株式会社Mujin 物体認識のために画像分類を行う方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佐野睦夫外2名,「MISE基準に基づく一般化ハフ変換パラメータの最適化」,電子情報通信学会技術研究報告,社団法人電子情報通信学会,Vol.91,No.252(1991年9月),pp.35−42
佐野睦夫外2名,「多元セル特徴による濃淡画像認識」,電子情報通信学会論文誌D−II,社団法人電子情報通信学会,Vol.J73−D−II,No.7(1990年7月),pp.961−972

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965114B2 (en) 2010-12-16 2015-02-24 Canon Kabushiki Kaisha Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system
WO2014007562A1 (ko) * 2012-07-06 2014-01-09 인텔렉추얼 디스커버리 주식회사 영상 검색방법 및 장치
KR102640999B1 (ko) * 2023-09-18 2024-02-28 영일엔지니어링(주) 배터리팩 상부커버용 회로기판 검사기

Also Published As

Publication number Publication date
JPH0869533A (ja) 1996-03-12

Similar Documents

Publication Publication Date Title
JP3346679B2 (ja) 画像検査/認識方法、これに用いる参照データ作成方法およびこれらの装置
US5638465A (en) Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor
CN110363182B (zh) 基于深度学习的车道线检测方法
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
US11816579B2 (en) Method and apparatus for detecting defect pattern on wafer based on unsupervised learning
US6324532B1 (en) Method and apparatus for training a neural network to detect objects in an image
Palmer et al. A performance measure for boundary detection algorithms
US20070058856A1 (en) Character recoginition in video data
US20070041638A1 (en) Systems and methods for real-time object recognition
Ghanta et al. Wavelet domain detection of rust in steel bridge images
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
Bern et al. Automatic classification of protein crystallization images using a curve-tracking algorithm
CN101140625A (zh) 一种多分辨率退化字符自适应识别系统及方法
CN111008961A (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN110866430A (zh) 一种车牌识别方法及装置
CN110046565B (zh) 一种基于Adaboost算法的人脸检测方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
US6901171B1 (en) Methods and apparatuses for refining groupings of edge points that represent a contour in an image
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN109002770B (zh) 一种低分辨率条件下的人脸识别方法
CN114565798A (zh) 基于铁谱图像分析的动力装置磨损故障诊断方法及系统
JP7072765B2 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN109740682B (zh) 一种基于域转化和生成模型的图像识别方法
CN114581407B (zh) 一种光伏模块的自适应缺陷检测方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070906

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080906

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080906

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090906

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090906

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100906

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100906

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110906

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees