JP5218084B2 - 検査方法 - Google Patents

Description

本発明は、ディスプレイの目視検査や各種機械の異音検査などを自動で検査する技術に関するものである。

近年、様々な工業製品の製造工程で自動化が進んでおり、検査工程も例外ではない。しかし、一方でディスプレイのムラや機構部品の異音など、官能的な判断が必要とされる検査については、依然として作業者による目視や聴覚での検査に頼っている。しかし、作業者による検査では、「長時間の官能検査は作業者に負担がかかる」、「個人差や体調、時間帯などによるばらつきが大きい」、「正確な検査には熟練が必要で、熟練検査員を育てるには時間がかかる」、「処理能力が低い」といった問題があり、官能検査においても自動化が求められている。

この官能検査を自動化する手法として、パターン認識を用いたものがある。パターン認識を用いた検査について、図８を用いて説明する。

図８は、パターン認識を用いた検査の特徴量空間を示す図である。

パターン認識を用いた検査では、まず、検査対象を検出器で検出した情報からいくつかの特徴量を抽出し、図８に示すように、各特徴量を座標軸とした特徴量空間にプロットする。そして、図８において、どの領域に属するかにより検査対象の良品，不良品，グレー品（良品，不良品との判断がつかない品）に分類する。具体的には、どの領域が良品，不良品，グレー品かは、あらかじめ良否が分かっているサンプルを事前に用意し、それらを特徴量空間にプロットしたときの分布から学習を行うことで、分類を行なう。

この学習、分類する手法としては、ニューラルネットワークやサポートベクタマシン、自己組織化マップ、ＭＴ法などを用いたものがある。また、ニューラルネットワークを用いた手法で、良品、不良品のサンプルを基に擬似不良を発生させ、それらを学習用のサンプルとして利用することで、少ない学習用のサンプルで判定の精度を高める方法がある（例えば、特許文献１参照）。

図９は、特許文献１に記載された従来の検査装置のブロック図である。

図９において、ニューラルネットワーク１０１を用いて製品の良否を検査することが可能である。良品の学習は、良品画像入力部１０２にて、予め保存してある良品画像を読み込み、フィルタ処理や特徴量の抽出を行う前処理部１０７を経由してニューラルネットワーク１０１に入力され、良品データとして学習を行わせる。また、不良品の学習は、不良品の画像が必要とする学習数以上であれば、不良品画像入力部１０３にて、予め保存してある不良品画像を読み込み、前処理部１７を経由してニューラルネットワーク１０１に入力し、不良品データとして学習を行わせる。

しかしながら、通常はオリジナルの不良データを必要学習数だけ入手することは困難であるため、不良品画像から良品との差分データ１０８を抽出する不良品画像抽出部１０４と、良品画像部１０２から良品画像を読み込み、差分データ１０８を合成して擬似不良品画像を生成する擬似不良品画像作成部１０６と、差分データ１０８を合成位置等の条件をどのようにして合成するかの条件を、乱数発生部１０９の乱数値を組み合わせて擬似不良品画像作成部１０６に指示する擬似データ条件設定部１０５を備えている。

その擬似不良品画像作成について、図１０を用いて説明する。

図１０（ａ）は、従来の検査での実際の画像の特徴量空間を示す図であり、図１０（ｂ）は、従来の検査で作成された擬似不良品画像の特徴量空間を示す図である。図１０（ａ）、（ｂ）に示すように、擬似不良品画像を作成する。

特許文献１に記載された従来の検査は、以上により、実際の不良品画像を基に、その付近に擬似不良品画像を多数作成し、学習用のサンプルを増加させることで、良否判定の精度を上げるものである。
特開２００５−１５６３３４号公報

しかしながら、前記従来の構成においても、検査の自動化における課題を十分解決できていない。

検査の自動化における課題は、良品と不良品の境界を決めるために有効なサンプルが少ないため、高精度な判定を行うための境界を学習することが難しいことである。詳しく説明すると、一般に製造工程において、良品のばらつきは正規分布をしているため、サンプルは平均値付近に多く存在することになり、境界付近の良品は少ない。また、不良品が発生する頻度は一般的に少なく、不良が発生しても大きく外れたサンプルになりやすい。これを特徴量空間にプロットすると、図１１のようになる。このとき、良品と不良品を判別する境界線は数多く存在し、人間が感覚で行なっているような高精度な境界線を学習することはできない。

また、特許文献１に示す擬似不良画像自動作成装置及び画像検査装置に関する発明は、少ない不良品の数を補うものであり、特徴量空間で説明すると図１０に示すように、発生した不良品のデータを基に、その付近の点を増やす方法である。しかしながら、増やせるサンプルは元のデータの周辺に限定される。また、良品に近づく特徴量で作成した擬似不良品が本当に不良品であるとは限らない。このため、検査精度が確実に向上しないという課題を有していた。

本発明は、前記従来の課題を解決するもので、少ない数のサンプルで高精度な判定基準を定めることを可能とした検査を提供することを目的とする。

上記目的を達成するために、本発明の検査方法は、複数種類の特徴量を座標軸として定義された特徴量空間に第１擬似サンプルを生成する工程と、前記第１擬似サンプルに対して作業者が良否を判定した結果を記憶する工程と、第２擬似サンプルを、良品と判定された前記第１擬似サンプルの特徴量よりも原点に近い位置に生成する方法、不良品と判定された前記第１擬似サンプルの特徴量よりも前記原点から遠い位置に生成する方法、のいずれかで生成する工程と、前記第２擬似サンプルに対して前記作業者が良否を判定した結果を記憶する工程と、前記第１及び第２擬似サンプルの良否が異なる場合に、前記第１及び前記第２擬似サンプルの間に良品と不良品の境界を決定し、該境界の決定された前記特徴量空間を用いて検査対象の良否判定を行なう工程と、を含むことを特徴とする。

以上のように、本発明によれば、少ない数のサンプルで高精度な判定基準を定めることが可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。なお、本発明の実施の形態の説明において、同じ構成には同じ符号を付して、説明を省略している。

（実施の形態１）
図１（ａ）は、本発明の実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図であり、図１（ｂ）は、実施の形態１における官能検査装置の検査システムを示すブロック図である。

図１（ａ）において、良品データ入力部１にて、あらかじめ保存された良品の画像や音声（検査対象データ）を読み込み、フィルタ処理や特徴量の抽出を行う特徴量抽出部２を経由し、特徴量空間作成部３に入力する。特徴量空間作成部３は特徴量の分布を基に正規化や座標変換を行い、特徴量空間を作成し、特徴量空間記憶部４でその座標系を記憶する。また、初期サンプル特徴量生成部５では特徴量空間作成部３で作成された特徴量空間を基に初期サンプルの特徴量を生成し、特徴量空間記憶部４と擬似サンプル作成部６へ入力する。

擬似サンプル作成部６では、良品データ入力部１から入力された良品データに初期サンプル特徴量生成部５で生成された特徴量を合成して擬似サンプルを作成する。このとき、特徴量に自由度がある場合は、乱数発生部７によりその自由度の値を決定する。そして、擬似サンプル表示部８では、擬似サンプル作成部６で作成された擬似サンプルを表示する。判定入力部９では、検査員が表示された擬似サンプルの良否を入力することができ、その結果は特徴量空間記憶部４へ送られる。特徴量空間記憶部４では、初期サンプル特徴量生成部５から入力された特徴量の値と、それに対応する判定入力部９から入力された判定結果をセットで記憶する。

擬似サンプル特徴量生成部１０は、特徴量空間記憶部４に記憶された特徴量空間と擬似サンプルの判定結果が入力され、パターン認識で境界線をひくのに有効なサンプルの特徴量を新たに生成し、擬似サンプル作成部６と特徴量空間記憶部４へ入力する。この特徴量は初期サンプルの特徴量と同様に処理される。

図１（ｂ）において、検出部１１は、実サンプルや擬似サンプル発生システムの画像や音声を取得するもので、ＣＣＤカメラやマイクロフォンなどが用いられる。特徴量抽出部１２は、検出部１１で取得した画像や音声から特徴量を抽出して、パターン認識部１３に入力する。また、判定結果入力部１４は擬似サンプル発生システムの特徴量空間記憶部４に記憶された各サンプルの判定結果を読み取り、パターン認識部１３に入力する。パターン認識部１３はサポートベクタマシンやニューラルネットワークにより、擬似サンプルの特徴量と判定結果から学習を行い、実サンプルの特徴量からその良否を判定し、検査結果表示部１５でその結果を表示する。

図２は、実施の形態１における擬似サンプル作成処理の流れを示すフローチャートである。

はじめに、良品データ入力部１において、あらかじめ保存してある検出部で検出した良品のデータを複数個読み出す（ステップＳ０１）。

次に、特徴量抽出部２において、各良品データから特徴量を抽出する（ステップＳ０２）。

そして、特徴量空間作成部３において各良品データの平均値とばらつきを基にマハラノビス距離を算出し、それにより正規化を行い、特徴量空間記憶部４でそれを記憶する（ステップＳ０３）。

次に、初期サンプル特徴量生成部５において、原点からのマハラノビス距離が一定値であるサンプルを複数作成する（ステップＳ０４）。

続いて、擬似サンプル作成部において、ステップＳ０１で読み出した良品データの平均値で標準的な良品データを作成し、作成したサンプルの特徴量を合成して、擬似サンプルを作成する（ステップＳ０５）。

次に、作成された擬似サンプルを擬似サンプル表示部８で表示させ、それを熟練した検査員や品質保証の責任者が良否判定を行い、判定結果入力部１４にその結果を入力する（ステップＳ０６）。

次に、入力された判定結果とそれに対応する擬似サンプルの特徴量を特徴量空間記憶部４で記憶された特徴量空間上に追加する（ステップＳ０７）。

ここで、特徴量空間上のサンプル数が一定値Ｎ未満の場合は、記憶されているサンプルの特徴量から良品、不良品と推定される部分に新たな擬似サンプルの特徴量を生成する（ステップＳ０８）。

生成した特徴量はステップＳ０５に戻り、再び擬似サンプルが作成される。サンプル数が一定値Ｎ以上の場合は、今まで生成した擬似サンプルを用いて、パターン認識部１３の学習を行う（ステップＳ０９）。

以上で、パターン認識の学習が終了し、検査システムで検査を行える状態になる。

次に、具体例を用いて本実施の形態の動作を説明する。

図３は、ＬＣＤ（液晶ディスプレイ）をカメラで撮像した画像の例であり、その一部を断面にした図である。図３（ａ）は、実施の形態１におけるＬＣＤの良品の画像を示す図であり、図３（ｂ）は、図３（ａ）のＸ方向のシェーディングを示す図であり、図３（ｃ）は、図３（ａ）のＹ方向のシェーディングを示す図であり、図３（ｄ）は、実施の形態１におけるＬＣＤにムラがある場合の不良品画像を示す図であり、図３（ｅ）は、図３（ｄ）のＸ方向のシェーディングを示す図であり、図３（ｆ）は、図３（ｄ）のＹ方向のシェーディングを示す図である。図３（ａ）〜（ｃ）に示す良品画像の場合は、大きく滑らかなシェーディングはあるが、局所的な変動は小さい。一方で、図３（ｄ）〜（ｆ）に示す不良品画像の場合は、良品画像と同様なシェーディングに加え、局所的な変動があり、これがムラとして不良になる。

本実施の形態の動作として、はじめに、標準的な良品の平均値とばらつきを求めるため、ｎ個の良品から取得した画像を読み込む。平均値とばらつきを求めるためには良品の個数は多いほど良いが、立ち上げ当初はサンプルを準備するのが難しく、また、時間もかかるため、２０個程度あればよい（図２のステップＳ０１参照）。

次に、良品のムラの特徴量を抽出する。

図４は、実施の形態１における特徴量を抽出するためのブロック図である。

図４において、良品画像はローパスフィルタをかけることで、局所的な変動を除いた画像を得ることができる。これを元の良品画像から差し引くことで、シェーディングの影響を取り除き、局所的な変動のみ画像を得ることができる。そして、これを一定の閾値で２値化し、ムラがある部分をラベリングする。次にラベリングした各部分で面積と縦軸を差分値とした体積を算出する。このうち最も体積が大きいものを最大のムラとしてこれの面積Ｓｉ（ｉ＝１，２，…，ｎ）と体積Ｖｉ（ｉ＝１，２，…，ｎ）を特徴量として出力する。ここで、最も大きいムラだけにしたのは、それが良品レベルであれば、他の小さいムラでも良品であるし、それが不良品レベルであれば不良と判定できるからである（図２のステップＳ０２参照）。

次に、特徴量空間作成部３にてマハラノビス距離を元に特徴量空間を作成する。この作成方法について説明する。図２のステップＳ０２で求めた面積Ｓｉと体積Ｖｉの平均値をそれぞれｍｓ、ｍｖとし、標準偏差をそれぞれσｓ、σｖとし、面積Ｓｉと体積Ｖｉの正規化した特徴量をそれぞれｓｉ、ｖｉとすると、ｓｉ、ｖｉは次式（式１）で求める。

次に、正規化した特徴量の相関行列Ｒを次式（式２）で求める。

ここで、（式２）のｒ１２、ｒ２１は次式で定義される。

そして、次式（式４）にて相関行列Ｒの逆行列Ａを求める。

このとき、相関行列Ｒは対称行列のため、逆行列Ａも対称行列である。そのため、行列Ａを固有値分解すると、次式（式５）で表すことができる。

ここで、Λは固有値を対角上に並べた対角行列であり、Ｘ’はＸの転置行列である。次に、Λ^1/2をΛの各要素を１／２乗したものとして、特徴量ｓｉ、ｖｉを次式（式６）で変換する。

そして、この変換した特徴量ｓｉ’、ｖｉ’により特徴量空間とする。このとき、原点からの距離｜｜ｘ’｜｜がマハラノビス距離となっている（図２のステップＳ０３参照）。

変換した特徴量による特徴量空間を、図５（ａ）〜（ｄ）に示す。図５（ａ）は、実施の形態１における特徴量空間の第１の結果を示す図であり、図５（ｂ）は、実施の形態１における特徴量空間の第２の結果を示す図であり、図５（ｃ）は、実施の形態１における特徴量空間の第３の結果を示す図であり、図５（ｄ）は、実施の形態１における特徴量空間の第４の結果を示す図である。

図５（ａ）〜（ｄ）を用いて、特徴量空間を基に初期サンプルの特徴量を生成する方法について説明する。

まず、図５（ａ）に示すように、原点からの距離が定数ａとなるようなサンプルを複数生成する。工程の不良率が既知である場合は、ａはその不良率となる標準偏差の倍数とする。例えば、不良率が０．３％であれば、ａ＝３、不良率が４．６％であれば、ａ＝２である。工程の不良率が未知である場合は、推定される不良率を用いるか、標準的な工程能力としてａ＝３とする。これにより、原点からの距離がマハラノビス距離となっており、不良率に対応した距離に初期サンプルを生成するため、初期サンプルは良品と不良品の境界付近のサンプルに近いものとなり、学習に必要なサンプル数を低減できる（図２のステップＳ０４参照）。

次に、生成した特徴量を基に擬似サンプルを作成する。図６は、実施の形態１における擬似サンプルを作成するためのブロック図である。

図６において、良品画像入力部１６でｎ枚の良品画像を入力し、平均画像作成部１７でｎ枚の良品画像を平均し、良品の平均画像を作成する。特徴量入力部１８により、初期サンプル特徴量生成部５や擬似サンプル特徴量生成部１０で生成された特徴量ｓｉ’、ｖｉ’が入力される。特徴量ｓｉ’、ｖｉ’は特徴量変換部１９において、次式（式７）、（式８）で面積Ｓｉ、体積Ｖｉに変換される。

特徴量は面積Ｓｉと体積Ｖｉのみしか決まっていないため、ムラの位置や形状には自由度がある。そこで、乱数発生部７で発生した乱数が乱数入力部２０に入力され、パラメータ決定部２１でムラの位置、形状を決定する。最後に、画像合成部２２で、良品の平均画像にムラを合成して擬似サンプルを作成する（図２のステップＳ０５参照）。

次に、作成した擬似サンプルを擬似サンプル表示部８で表示し、それを検査員が良品、境界付近の良品、境界付近の不良品、不良品の４段階に分けて評価を行い、判定入力部９へその結果を入力する（図２のステップＳ０６参照）。

続いて、図２のステップＳ０４で生成した特長量ｓｉ’、ｖｉ’とステップＳ０６で判定した判定結果を特徴量空間記憶部４に保存する。このときの結果は、図５（ｂ）のようになる（図２のステップＳ０７参照）。

ここで、生成した擬似サンプルの数がＮ個未満の場合は、擬似サンプルの数が一定以上となるように、新たな擬似サンプルを生成する。新たな擬似サンプルは、まず擬似サンプル特徴量生成部１０でその特徴量を生成するが、特徴量の生成方法は３つある。この方法を図５（ｃ）に示す。１つ目は、良品と判定されたサンプルから原点へ近づく方向へ進んだ特長量、２つ目は、不良品と判定されたサンプルから原点から遠ざかる方向へ進んだ特長量、３つ目は、境界付近の良品、境界付近の不良品と判定されたサンプルのうち２つを選択し、そのベクトルの大きさと方向をそれぞれ平均する方法である。これにより、良品と不良品の境界付近の擬似サンプルを重点的に増やすことができる（図２のステップＳ０８参照）。

以上のサイクルを擬似サンプルの数がＮ個以上になるまで繰返す。その結果、図５（ｄ）のようになり、良品と不良品の境界付近のサンプルが多くなるため、破線のような良品、不良品の境界線が精度よく決めることができるようになる。

最後に、発生した擬似サンプルの全てを再度擬似サンプル表示部８に表示し、図１（ｂ）の検査システムでそれを検出する。同時にその擬似サンプルに対応する判定結果を入力して、その結果をパターン認識部１３で学習することで、検査システム学習を完了させる（図２のステップＳ０９参照）。検査システムでは、実際の検査時に検査対象を検出部１１で検出し、この学習結果を用いて検査を行う。

なお、本実施の形態において、特徴量を面積と体積の２次元で説明したが、特に２次元に限定するものではなく、ｍ次元としてもよい。このとき、ｍ個の正規化した特徴量をｙｊｉ（ｊ＝１，２，…，ｍ、ｉ＝１，２，…，ｎ）とすると、上記（式２）、（式３）は次式（式９）、（式１９）で表される。

なお、本実施の形態において、初期サンプルの特徴量を生成時の原点からの距離を一定値ａとしたが、ある程度の範囲のばらつきを持たせても良い。そうすることで、サンプル発生時の計算は複雑になるが、擬似サンプル生成時に異なるマハラノビス距離のサンプルを発生させやすくなる。

（実施の形態２）
図７（ａ）は、本発明の実施の形態２における特徴量空間の第１の結果を示す図であり、図７（ｂ）は、実施の形態２における特徴量空間の第２の結果を示す図であり、図７（ｃ）は、実施の形態２における特徴量空間の第３の結果を示す図であり、図７（ｄ）は、実施の形態２における特徴量空間の第４の結果を示す図である。

本実施の形態の実施の形態１との違いは、初期サンプルおよび擬似サンプルの生成方法である。すなわち、本実施の形態においては、その構成は実施の形態１と同様である。

図７（ａ）は初期サンプルの特徴量である。実施の形態１においては、原点からの距離をａとし、方向はランダムとしたが、本発明の実施の形態２では原点からの距離ａの円上に等間隔に設定している。図７（ｂ）は、実施の形態２における初期サンプルの判定結果である。図７（ｃ）は、擬似サンプル特徴量生成部１０で特徴量を生成する方法を示すものである。ここで、原点からの直線に沿って新たな擬似サンプルを生成するが、判定結果が良品であれば原点に遠い位置に、不良品であれば原点に近い位置に新たな擬似サンプルを生成する。そして、完了条件として擬似サンプルの個数ではなく、境界付近の良品、境界付近の不良品が検出するまで繰返すと、図７（ｄ）が得られる。

本実施の形態における官能検査では、実施の形態１と異なり、乱数を使用しないため、無駄なサンプルを減らせる可能性がある。

本発明の検査は、擬似サンプルにより境界付近のサンプルを重点的に生成する特徴を有し、文字認識、音声認識等のパターン認識の用途にも適用できる。

（ａ）実施の形態１における官能検査装置の擬似サンプル発生システムを示すブロック図、（ｂ）実施の形態１における官能検査装置の検査システムを示すブロック図 実施の形態１における擬似サンプル作成処理の流れを示すフローチャート （ａ）実施の形態１におけるＬＣＤの良品画像を示す図、（ｂ）図３（ａ）のＸ方向のシェーディングを示す図、（ｃ）図３（ａ）のＹ方向のシェーディングを示す図、（ｄ）実施の形態１におけるＬＣＤにムラがある場合の不良品画像を示す図、（ｅ）図３（ｄ）のＸ方向のシェーディングを示す図、（ｆ）図３（ｄ）のＹ方向のシェーディングを示す図 実施の形態１における特徴量を抽出するためのブロック図 （ａ）実施の形態１における特徴量空間の第１の結果を示す図、（ｂ）実施の形態１における特徴量空間の第２の結果を示す図、（ｃ）実施の形態１における特徴量空間の第３の結果を示す図、（ｄ）実施の形態１における特徴量空間の第４の結果を示す図 実施の形態１における擬似サンプルを作成するためのブロック図 （ａ）実施の形態２における特徴量空間の第１の結果を示す図、（ｂ）実施の形態２における特徴量空間の第２の結果を示す図、（ｃ）実施の形態２における特徴量空間の第３の結果を示す図、（ｄ）実施の形態２における特徴量空間の第４の結果を示す図 パターン認識を用いた検査の特徴量空間を示す図 特許文献１に記載された従来の検査装置のブロック図 （ａ）従来の検査での実際の画像の特徴量空間を示す図、（ｂ）従来の検査で作成された擬似不良品画像の特徴量空間を示す図 従来のパターン認識を用いた官能検査の特徴量空間を示す図

１ 良品データ入力部
２ 特徴量抽出部
３ 特徴量空間作成部
４ 特徴量空間記憶部
５ 初期サンプル特徴量生成部
６ 擬似サンプル作成部
７ 乱数発生部
８ 擬似サンプル表示部
９ 判定入力部
１０ 擬似サンプル特徴量生成部
１１ 検出部
１２ 特徴量抽出部
１３ パターン認識部
１４ 判定結果入力部
１５ 検査結果表示部
１６ 良品画像入力部
１７ 平均画像作成部
１８ 特徴量入力部
１９ 特徴量変換部
２０ 乱数入力部
２１ パラメータ決定部
２２ 画像合成部

Claims (5)

1. 複数種類の特徴量を座標軸として定義された特徴量空間に第１擬似サンプルを生成する工程と、
   前記第１擬似サンプルに対して作業者が良否を判定した結果を記憶する工程と、
   第２擬似サンプルを、良品と判定された前記第１擬似サンプルの特徴量よりも原点に近い位置に生成する方法、不良品と判定された前記第１擬似サンプルの特徴量よりも前記原点から遠い位置に生成する方法、のいずれかで生成する工程と、
   前記第２擬似サンプルに対して前記作業者が良否を判定した結果を記憶する工程と、
   前記第１及び第２擬似サンプルの良否が異なる場合に、前記第１及び前記第２擬似サンプルの間に良品と不良品の境界を決定し、該境界の決定された前記特徴量空間を用いて検査対象の良否判定を行なう工程と、を含むこと
   を特徴とする検査方法。
2. 前記第１擬似サンプルは、前記原点からの距離がマハラノビス距離かつ一定値となるように複数配置されること
   を特徴とする請求項１記載の検査方法。
3. 複数の前記第１擬似サンプルは、前記原点からの距離が前記検査対象を製造する際の不良率となる標準偏差の倍数となるように配置されること
   を特徴とする請求項２記載の検査方法。
4. 前記第１及び第２擬似サンプルの良否は、良品，境界付近の良品，境界付近の不良品，不良品の４段階に分かれていること
   を特徴とする請求項１から３いずれか記載の検査方法。
5. 複数の前記第１擬似サンプルは、等間隔に配置されること
   を特徴とする請求項２から４いずれか記載の検査方法。

Images