JP3892258B2

JP3892258B2 - 自動検査装置及び自動検査方法

Info

Publication number: JP3892258B2
Application number: JP2001262690A
Authority: JP
Inventors: 繁大松
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2001-08-31
Filing date: 2001-08-31
Publication date: 2007-03-14
Anticipated expiration: 2021-08-31
Also published as: JP2003076991A

Description

【０００１】
【発明の属する技術分野】
本発明は、床材のタイルやボード等の製品の色むら、色ずれの検査、果物、農産物の傷や汚れの検出又は等級選別、紙幣、コイン等の汚損検査、電子回路基板の半田の付着状況の良否検査、薬品製造工程での薬品ボトル内の異物混入有無の検査等に利用できる自動検査装置及び自動検査方法に関する。
【０００２】
【従来の技術】
人間が行っているパターン認識を自動化した機器として、文字読み取り装置、ATMなどの紙幣識別機、自動販売機、セキュリティシステムなどが市場に流通している。しかし、これらの機械は一般に対象に応じた問題解決のロジックに基づいているため、予め想定された状況下では正常に動作するが、状況が少し異なればまったく機能しないことが多い。例えば、紙幣識別機などでは、紙幣の投入時における位置ずれや回転によって、識別不可能となることがあり、同じ紙幣でも気象条件による湿度の違いや紙幣の疲弊度などで識別不能となることが多い。また、識別に柔軟性を持たせようとすると日本の500円コインと外国の類似なコインが同じものとして誤識別される。
【０００３】
他方、厳しい判定条件を付けると僅かな傷や汚れでも判定不能として返却され、利用者に不便を強いるものとなっている。ところで、人間は傷や汚れや歪みのような変形に対して、柔軟なパターン識別を行うことができ、偽造券と真券の区別や類似したコインを正しく識別できる高度で知的レベルの高い識別能力を有している。
【０００４】
以上のように、従来のパターン認識技術は、人間が予め与えたルールを正確に実行する繰返し作業は得意であるが、人間のように環境変化に柔軟に適応でき、しかも事例から学習を行うような知的作業を期待することはできない。
【０００５】
従来、ニューラルネットワークは誤差逆伝播（Error back-propagation:以下、 BPと略記する。）法に基づいた階層型ニューラルネットワークによってパターン識別が行われてきた。しかし、この方法は学習に長時間を要するにもかかわらず局所最適解しか求められず、その解はニューロン間の結合係数の初期値、学習率、モーメント係数などのパラメータによって大きく左右される。それゆえ、安定で大域的な最適解を求めるアルゴリズムの開発が求められている。さらに、階層型ニューラルネットワークは、入出力関係がブラックボックスであり、得られた解の妥当性や学習が収束しない原因または誤識別の原因をネットワークの内部表現によって説明することは困難である。
【０００６】
計測画像には、一般的にノイズやボケなどが多く含まれている。ノイズ除去法として低域フィルタが用いられ、ボケ画像の先鋭化にはラプラシアンフィルタなどが利用されている。しかし、低域フィルタは高域信号成分を無視して輪郭が曖昧になり、ラプラシアンフィルタは輪郭を強調し過ぎるためにノイズをも強調する。そのため、両者のバランスを如何にとるかということが困難な問題であった。ところで、ノイズと信号成分が統計的に独立となるような評価に基づいた信号分離法である独立成分分析（Independent component analysis:以下、ICAと略記する。）が提案され、シミュレーションでその有効性は示されているが、分離すべき画像数と同数の計測画像が必要であり、１枚の計測画像しか得られない場合には適用が困難であった。
【０００７】
【発明が解決しようとする課題】
本発明の解決しようとする課題は、従来のパターン認識技術では実現されていなかった、環境変化に柔軟に適応でき、しかも事例から学習を行うような知的作業を可能とすることである。
【０００８】
又、自動検査装置に一部採用されている階層型ニューラルネットワークのもつ欠点をなくすることである。即ち、階層型ニューラルネットワークによるパターン識別では学習に長時間を要するにもかかわらず局所最適解しか求められなかったが、大域的な最適解を求めることができるようにすることである。
【０００９】
又、得られた解の妥当性や学習が収束しない原因又は誤識別の原因を追跡することを可能とすることである。又、ＩＣＡを採用するに際し、有効な手段を提供することである。
【００１０】
【課題を解決するための手段】
本発明の自動検査装置は、被検査物より得られる画像信号をガウシアンフィルタにてノイズ成分を除去することにより被検査物の画像のぼかしを行う手段と、そのぼかした画像の信号にエッジ強調フィルタでエッジを先鋭化した画像信号を得る手段と、前記のエッジを先鋭化した画像信号と被検査物より得られる画像信号とを、独立成分分析の複数の入力画像信号とし、前記入力画像信号による画像と同数の独立な画像に分離する独立成分分析を用いることにより前記画像と同数の独立な画像を得る手段と、前記独立な画像の画像信号が入力される学習データと未学習データに対する識別と評価とを含む競合型ニューラルネットワークである自己組織化地図（ＳＯＭ）を有する演算装置とより構成される。競合型ニューラルネットワークを採用することにより、人間による官能評価と同様な検査が行える。さらに精度の良いパターン識別やクラスター分析が行え、識別結果の意味付けや誤識別及びその原因の検討結果等の定量的評価が容易にできるようになった。更に、ノイズやボケが精度良く除去された信号を用いる結果、搬送速度や位置ずれの影響を除去し、識別精度の極めて高い検査装置を提供することができた。
【００１１】
又、本発明の自動検査方法は、被検査物より得られる画像信号をガウシアンフィルタにてノイズ成分を除去することにより被検査物の画像のぼかしを行い、そのぼかした画像の信号にエッジ強調フィルタでエッジを先鋭化した画像信号と、被検査物より得られる画像信号とを、独立成分分析の複数の入力画像信号とし、前記入力画像信号による画像と同数の独立な画像に分離する独立成分分析を用いることにより前記画像と同数の独立な画像を得、しかるのち、前記独立な画像の画像信号を学習データと未学習データに対する識別と評価とを含む競合型ニューラルネットワークである自己組織化地図（ＳＯＭ）を有する演算装置に入力することにより、前記演算装置の出力端より検査結果を得ることを特徴とするもので、人間による官能評価と同様な検査が行え、精度の良いパターン識別やクラスター分析が行え、識別結果の意味付けや誤識別及びその原因の検討結果等の定量的評価が容易にできるようになった。更に、ノイズやボケが精度良く除去された信号を用いる結果、搬送速度や位置ずれの影響を除去し、識別精度の極めて高い検査方法を提供することができた。
【００１４】
更に又、本発明は競合型ニューラルネットワークのニューロン数を、同ニューロン数と入力ベクトル数及びクラスター数の相互関係を利用して予め設定された識別精度に対応して決定することを特徴とする自動検査装置及び自動検査方法であり、検査精度の調整に極めて有効なものである。
【００１５】
【発明の実施の形態】
本発明は、これまで機械化が困難で人間の官能に依っていた画像による検査に対して、人間のように環境変化に柔軟に対応し、学習・適応機能を有する高精度な検査装置を提供するものである。具体的には、可視光波長域用ＣＣＤカメラや赤外カメラから得られた製品の画像データを、入力層と競合層の２層からなる競合型ニューラルネットワークの学習として、自己組織化地図（Self-organizing map:以下、SOMと略記する。）によるクラスター分析を行い、製品の良否検査や農産物等の等級選別など様々な画像識別による製品の良否検査を行う自動検査装置に関するものである。
【００１６】
人間の官能検査を機械に置き換えても、人間のように環境変化に柔軟に対応でき、学習・適応機能を有するような検査装置が求められている。本発明では、このような検査装置を実現するために、人間の脳の情報処理を工学的に模擬したニューラルネットワークを導入する。ニューラルネットワークとして従来使用されている階層型ニューラルネットワークによるパターン認識の場合、正確な識別結果を得るためには大規模なネットワークが必要で、ネットワークの学習時間が膨大となり、局所最適解に陥り、学習が収束しないことが多かった。また、ネットワークの入出力関係がブラックボックスであるため、誤識別の原因を究明することが不可能であった。そのため、製品の自動検査装置に対しては階層型ニューラルネットワークが殆ど使用されなかった。
【００１７】
本発明では、競合型ニューラルネットワークを導入することにより、このような欠点が除かれ、精度の良いパターン識別やクラスター分析が行え、識別結果の意味付けや誤識別および原因の検査結果等の定量的評価が容易にできることを見出した。
【００１８】
識別クラスター（類似した性質の集団）の個数は競合層のニューロン数に関連している。そのため、ニューロン数を増やすとクラスター数を増加させることができ、検査項目の詳細な識別が可能になる。本発明では、それぞれのクラスター間の距離に閾値を設定することによって、クラスター数を調整することができる。すなわち、閾値を小さくするとクラスター数を多くでき、閾値を大きくするとクラスター数を少なくできる。このクラスター数は製品等級や不良品の原因の数に対応しているため、閾値を調整することにより、製品が必要とする検査精度を調整できる。例えば、製品の良否検査では、良品を１〜１０という１０等級に分類し、それ以外は不良品として識別することや、その逆に不良品を詳細に分類して不良の原因を特定し、それ以外を良品とする適応的な検査を行うことが可能になる。
【００１９】
工業用画像の場合には、撮影条件、搬送速度の変動、位置ずれ、対象物の照明条件などによって、ノイズを含む画像やボケ画像が得られることが多い。このような場合にも精度の良い識別を行うためには、競合型ニューラルネットワークへの入力画像を、前処理段階でできるだけ鮮明な画像にすることが必要である。ＩＣＡは信号を分離する個数と同じ枚数の画像が必要であるため、１枚の計測画像から２種類以上の信号分離は不可能であった。
【００２０】
本発明では、１枚の計測画像にガウシアンフィルタや低域フィルタを用いてノイズを除去しかつ計測画像をさらにぼかしたボケ画像にエッジ強調フィルタを用いてエッジを先鋭化した画像を作成し、計測画像とその先鋭化した画像をＩＣＡの入力画像とすることで、ノイズ除去やボケ補正が実現できることを見出した（以下、これを改良型ＩＣＡと略記する）。１枚の計測画像に改良型ＩＣＡを適用すると、ノイズと画像のボケを精度良く除去することができた。この画像にエッジ抽出、位置ずれや輝度補正、画像の縮小拡大等の前処理を行い、この画像をニューラルネットワークへの入力画像として用いた。
【００２１】
この画像はノイズと画像とボケが精度良く除去されしかも正確なエッジを与えるため、その後の信号処理が非常に容易になった。とくに、これを用いることによって、搬送速度や位置ずれの影響を除去し、類似なコイン等の識別が正確に行え、規模が小さくて精度の良いしかも適応能力の優れた検査装置が実現できた。
【００２２】
本発明を画像データによる製品の良否検査や農産物の等級選別へ適用する場合のシステム構成について説明する。合成ゴムシールパッキン、錠剤のひび割れ、薬品に含まれる異物検出などの工業製品の検査や農産物の等級選別などは人間の目視による官能検査が主流である。本発明は、これらの官能検査を競合型ニューラルネットワークによって、人間のように柔軟で知的レベルの高いパターン認識を行わせ、様々な未学習データに対して精度良く識別可能な目視検査の自動化を図る。
【００２３】
本発明の処理手順を図１に示す。矢印は処理の流れを示している。これは、計測画像データの収集と前処理と学習用データに対して、対象画像の検査を行うためのニューラルネットワークの学習と未学習データに対するニューラルネットワークの検査能力の評価からなっている。
【００２４】
本発明の検査装置の基本的構成は図２のとおりである。図２において、１は被検査物であり、ＣＣＤなどの光電変換装置２により被検査物の画像情報を電気信号に変換する。次に変換された電気信号を、前処理として例えばＩＣＡを適用した処理装置３によりノイズやボケを除去し、その前処理された信号を競合型ニューラルネットワークを有する演算装置４に入力し、出力端５より評価信号として出力するものである。
【００２５】
図２において、図番２までは画像計測部を構成し、図番３、４は情報信号処理を行う演算部を構成する。
【００２６】
処理装置３では改良型ICAによるノイズ除去および画像補正と特徴量の抽出を行う。演算装置４はオンライン学習部４ａと検査演算部４ｂよりなり、オンライン学習部４ａは学習用データに対してSOMの学習を行い、学習で得られた結合係数は検査演算部４ｂへ移植される。検査演算部４ｂは移植された結合係数を用いて未学習データの検査を行う。未学習データに対して、誤識別されたデータを学習データへ追加して、オンライン学習部４ａで再学習を行い、その学習結果を検査演算部４ｂへ移植する。
【００２７】
画像データの計測に対しては、照明条件による影や光源のハレーションおよび対象物の移動時の撮影による画像ボケなど本来の画像にないノイズが混入していることが多い。そこで、計測画像に含まれているノイズと画像のボケを除去するために、改良型ICAを適用する。まず、計測画像にガウシアンフィルタを用いて、ノイズ除去と画像のぼかしを行う。このフィルタはガウス分布関数をフィルタの重み関数として計測画像の合成積をとるものであり、ノイズ除去が行われかつ画像のぼかしが行われる。計測画像とぼかした画像にエッジ強調フィルタをかけてエッジを強調した画像とをＩＣＡの入力とする処理（改良型ＩＣＡ）により、ノイズ除去およびボケ補正を行った画像を生成する。その画像を２値化処理し、エッジ検出、輝度の和、周囲角度の計測等の前処理を行い、競合型ニューラルネットワークへの入力データとする。
【００２８】
図３は入力層と競合層の2層からなる競合型ニューラルネットワークを示し、競合層で競合が起こり、勝者ニューロン（入力ベクトルに最も距離が近いニューロン）が選定される。結合係数ベクトルをw_i=col[w_i1,w_i2,…,w_iN]、入力ベクトル（特徴ベクトル）をx=col[x₁,x₂,…,x_N]、入力x_jとニューロンiとの結合係数をw_ij、列ベクトルをcol[]で示す。このとき、次式で与えられるニューロンｃを勝者ニューロンと呼ぶ。
【００２９】
【式１】

すなわち、勝者ニューロンｃは入力ベクトルxと最も近いユークリッド距離にある結合係数ベクトルw_cを意味している。ただし、‖x-w_c‖² _Ｑ=(x-w_c)'Q(x-w_c)であり、(x-w_c)'は(x-w_c)の転置を示し、Ｑは重み行例を示す。
【００３０】
このとき、勝者ニューロンから距離N_cの近傍にあるニューロンに対して、結合係数ベクトルw_iを以下の修正を行なう。
【００３１】
【式２】

ここに、tは学習の繰返し回数を、α(t)(≧0)は学習係数を示す。
【００３２】
以上の計算を繰返し行うと、競合層で距離の近いニューロンの結合係数はいずれも互いに類似したものとなり、入力ベクトルｘに最も近いクラスターかそれに類似したクラスターに属するようになる。言い換えれば、入力ベクトルxと距離が近い入力は競合層の勝者ニューロンの近くに位置することになる。上記（１）式の繰返し計算によって、互いに類似な入力データが１つの塊になる。
【００３３】
本発明では、SOMの自己組織化能力は人間のパターン認識に対する脳の情報処理をモデル化したものであることに着目し、製品を良品と不良品に分類する検査にSOMを新たに導入した。この検査方式は、人間が予め与えたルールに基づいてクラスター分析を行う従来の検査手法と比較して、人間のように学習・適応能力をもつクラスター分析ができる。したがって、本方式は、紙幣識別のように位置ずれや回転、汚れや汚損のような様々な変形を受けた紙幣やコインの分類に対しても、精度良い知的パターン識別が実現できる。
【００３４】
【実施例】
これまで説明した本発明の具体的な実施例として、オーリング（Ｏリング）の傷検査装置を図４に示す。これは様々な大きさの合成ゴムシールパッキンに含まれている傷およびパッキンの汚れやパッキン外周に残る僅かなバリの有無を自動検査する装置である。
【００３５】
図４のＯリングは黒色で白色のベルトコンベアに乗せられて、毎秒２個の割合で運ばれている。ベルトコンベアの入口上部に、ドーム型照明の下でＣＣＤカメラから撮影された入力画像の一例が図４の左最上部の画像である。計測画像に含まれているごま塩ノイズとＯリング外周のボケを改良型ＩＣＡで補正し、画像の大きさを正規化し、照明のハレーションを除去し、エッジ抽出したのが２番目の画像である。この画像を３０度ごとに円周を１２分割、放射状に１５分割し、各セクターのデータとして、３０×１５画素からなるニューラルネットワークへの入力画像の一例を示したのが３番目の図の画像（同画像の右側のブロックにひっかき状に白い部分が現れている。）である。ＳＯＭの競合層のニューロン数は８×８とし、２５０個の良品データを用いてネットワークを学習する。その後、２４０個の未学習のデータを入力して、それが発火したニューロンの結合係数ベクトルと入力ベクトルとの距離を計算する。この距離が予め与えた閾値内で有れば、良品（傷が無い）、閾値を越えていれば不良品（傷が有る）と判断する。この検査装置はサイズが３ｍｍ〜１５ｃｍまでのＯリングを同じに流して識別可能になっており、良品と不良品が混在した画像データに対して、この装置を用いた検査結果は１秒間に２個の割合で、しかも様々な大きさのＯリングの傷やバリの検出が可能になり、従来行ってきた人間による目視検査の速度である２秒間１個に比べて４倍早くなり、検査員の疲労などのバラツキが少ない結果となっている。
【００３６】
【発明の効果】
本発明は、これまで機械化が困難で人間の官能に依っていた画像による検査に対して、人間のように環境変化に柔軟に対応し、学習・適応能力を有する高精度な検査装置を提供するものである。本発明の効果は以下のようにまとめられる。
【００３７】
競合型ニューラルネットワークを導入することにより、人間のように環境変化に柔軟に対応でき、学習・適応機能を有するような検査装置が開発でき、精度の良いパターン識別やクラスター分析が行え、識別結果の意味付けや誤識別および原因の検討結果等の定量的評価が容易にできる。
【００３８】
本発明では、競合層のニューロン数を増やすとクラスター数を増加させることができ、検査項目の詳細な識別が可能になる。さらにそれぞれのクラスター間の距離に閾値を設定することによって、クラスター数を調整することができる。このクラスター数は製品等級や不良品の原因の数に対応しているため、閾値を調整することにより、製品が必要とする検査精度を調整できる検査装置が実現できる。
【００３９】
本発明では、１枚の計測画像にガウシアンフィルタや低域フィルタを用いてノイズを除去しかつ計測画像をさらにぼかしたボケ画像にエッジ強調フィルタを用いてエッジを先鋭化した画像を作成し、計測画像とその先鋭化した画像をＩＣＡの入力画像とすることで、ノイズ除去やボケ補正が実現できることを見出し、１枚の計測画像に改良型ＩＣＡを適用すると、ノイズと画像のボケを精度良く除去することができた。この画像はノイズと画像のボケが精度良く除去されしかも正確なエッジを与えるため、搬送速度や位置ずれの影響を除去し、類似なコイン等の識別が正確に行え、規模が小さくて精度の良いしかも適応能力の優れた検査装置が実現できた。
【図面の簡単な説明】
【図１】本発明の一実施例における処理手順を示すための説明図である。
【図２】本発明の基本的な構成を説明するためのブロック図である。
【図３】本発明にかかる競合型ニューラルネットワークを説明するための図である。
【図４】本発明の具体的な実施例にかかるオーリングの傷検査装置を説明するための図である。
【符号の説明】
１被検査物
２光電変換装置
３処理装置
４演算装置
５出力端

Claims

被検査物より得られる画像信号をガウシアンフィルタにてノイズ成分を除去することにより被検査物の画像のぼかしを行う手段と、そのぼかした画像の信号にエッジ強調フィルタでエッジを先鋭化した画像信号を得る手段と、前記のエッジを先鋭化した画像信号と被検査物より得られる画像信号とを、独立成分分析の複数の入力画像信号とし、前記入力画像信号による画像と同数の独立な画像に分離する独立成分分析を用いることにより前記画像と同数の独立な画像を得る手段と、前記独立な画像の画像信号が入力される学習データと未学習データに対する識別と評価とを含む競合型ニューラルネットワークである自己組織化地図（ＳＯＭ）を有する演算装置とより構成されることを特徴とする自動検査装置。
被検査物より得られる画像信号をガウシアンフィルタにてノイズ成分を除去することにより被検査物の画像のぼかしを行い、そのぼかした画像の信号にエッジ強調フィルタでエッジを先鋭化した画像信号と、被検査物より得られる画像信号とを、独立成分分析の複数の入力画像信号とし、前記入力画像信号による画像と同数の独立な画像に分離する独立成分分析を用いることにより前記画像と同数の独立な画像を得、しかるのち、前記独立な画像の画像信号を学習データと未学習データに対する識別と評価とを含む競合型ニューラルネットワークである自己組織化地図（ＳＯＭ）を有する演算装置に入力することにより、前記演算装置の出力端より検査結果を得ることを特徴とする自動検査方法。
競合型ニューラルネットワークのニューロン数を、同ニューロン数と入力ベクトル数及びクラスター数の相互関係を利用して予め設定された識別精度に対応して決定することを特徴とする請求項１に記載の自動検査装置。
競合型ニューラルネットワークのニューロン数を、同ニューロン数と入力ベクトル数及びクラスター数の相互関係を利用して予め設定された識別精度に対応し
て決定することを特徴とする請求項２に記載の自動検査方法。