JP6295798B2

JP6295798B2 - 検査方法

Info

Publication number: JP6295798B2
Application number: JP2014081775A
Authority: JP
Inventors: 卓也南條
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2014-04-11
Filing date: 2014-04-11
Publication date: 2018-03-20
Anticipated expiration: 2034-04-11
Also published as: JP2015203586A

Description

本発明は検査方法に関し、特に複数の検査対象物の中から異種品等を含む不良品を検出するための検査方法に関する。

従来から、検査対象物に含まれる異種品等を含む不良品の検出を目的とした検査装置として、検査対象物を撮像して得られるスペクトル画像についてサポートベクターマシンを用いて解析する方法が検討されている（例えば、特許文献１参照）。

特開２０１２−９８１８１号公報

ところで、サポートベクターマシンを用いて解析を行う場合、一般的にスペクトル毎に良又は不良の判定を行った後に、１つの検査対象物から得られた複数のスペクトルについてのそれぞれの判定結果に基づいて、当該検査対象物が良品か不良品かの判定が行われる。このとき、検査対象物から取得される複数のスペクトルのうちの一部に不良と判定されるスペクトルが混じっていると、検査対象物が不良品であると判定される場合がある。検査対象物が本当に不良品である場合には、この検査対象物から得られるスペクトルの大半は不良と判定されると考えられる。しかしながら、検査対象物が良品であったとしても、取得されたスペクトルの形状によっては不良と判定されるスペクトルが含まれる可能性が高く、結果として当該検査対象物が不良品と誤判定される場合があった。

そこで、良品を不良品と誤判定する割合を低減することが可能な検査方法の提供を目的とする。

上記目的を達成するため、本発明の一形態に係る検査方法は、
（１）良品及び不良品のスペクトルデータを用いて、パターン認識アルゴリズムにより良品と不良品とを区別するためのデフォルトの閾値を含む識別モデルを算出する識別モデル算出ステップと、
前記識別モデルを用いて、検査対象物を撮像して得られるハイパースペクトル画像内の複数の画素により構成されるエリア毎に、当該エリアの検査対象物を良品又は不良品と判定する判定ステップと、
前記判定ステップにおける判定結果における良品を不良品として誤検出した誤検出率に基づいて、前記デフォルトの閾値を調整して調整閾値とする調整ステップと、
を備える検査方法
である。

上記の検査方法によれば、良品を不良品と誤判定する割合を低減することが可能となる。

本実施形態に係る検査装置の構成を示す図である。ハイパースペクトル画像についてその概略を説明する図である。エリア毎の評価の仕方を説明する図である。閾値の調整について説明する図である。本実施形態に係る検査方法についてのフローチャートである。

［本発明の実施形態］
最初に本発明の実施態様を列記して説明する。

本発明の一態様に係る検査方法は、
（１）良品及び不良品のスペクトルデータを用いて、パターン認識アルゴリズムにより良品と不良品とを区別するためのデフォルトの閾値を含む識別モデルを算出する識別モデル算出ステップと、前記識別モデルを用いて、検査対象物を撮像して得られるハイパースペクトル画像内の複数の画素により構成されるエリア毎に、当該エリアの検査対象物を良品又は不良品と判定する判定ステップと、前記判定ステップにおいて良品を不良品として誤検出した誤検出率に基づいて、前記デフォルトの閾値を調整して調整閾値とする調整ステップと、を備える。このように、前記判定ステップにおける判定結果における良品を不良品として誤検出した誤検出率に基づいて識別モデルの閾値を調整することによって、エリア単位で良品を撮像したエリアが誤って不良品を撮像したエリアとして判定される割合を低減することができる。

（２）前記判定ステップにおける判定結果に基づいて、不良品と判定されたエリアの前記検査対象物を排出する排出ステップをさらに備える態様とすることができる。このように、不良品と判定されたエリアの前記検査対象物を排出する排出ステップが後段に設けられている場合に、良品を不良品と誤判定されないように識別モデルの閾値を調整することが有効となる。

［本発明の実施形態の詳細］
以下、添付図面を参照して、本発明の実施形態にかかる検査方法の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
（検査装置の構成）

本実施形態に係る検査方法を実施可能な検査装置１００について図１を用いて説明する。検査装置１００は、ベルトコンベア２上に分散載置された検査対象物３に混入した異種品や検査対象物３の不良等を検査することを主な目的とした装置である。

検査装置１００の検査対象物３としては、食品や医薬品等の原材料や製品等が挙げられる。また、検査対象物３に係る不良とは、外観不良等の形状的な不良に限定されず、例えば、酸化や吸湿等による物性の変化による不良が生じたものも含まれる。また、検査装置１００では、搬送される検査対象物をインラインで全数検査することに対して好適に用いられるが、ベルトコンベア２上を移動する検査対象物３を測定する構成ではなくてもよく、例えばカメラ側が移動して走査することで、複数の検査対象物３に係る画像を撮像する構成であってもよい。

検査装置１００は、近赤外光である測定光を検査対象物３に対して照射することにより得られる拡散反射光のスペクトルを測定し、そのスペクトルに基づいて検査対象物３を検査する。このため、検査装置１００は、光源ユニット１０、検出ユニット２０（撮像手段）、及び分析ユニット３０（識別モデル作成手段、スペクトル算出手段、分類手段）を備える。

光源ユニット１０は、近赤外光である測定光を、ベルトコンベア２上における所定の照射領域Ａ１へ向けて照射する。光源ユニット１０が照射する測定光の波長範囲は、検査対象物３によって適宜選択される。測定光としては、具体的には、波長範囲が１０００ｎｍ〜２３００ｎｍの光が好適に用いられる。なお、本実施形態では、ハロゲンランプからなる光源１１を含む光源ユニット１０について説明する

照射領域Ａ１とは、検査対象物３を載置するベルトコンベア２の表面（載置面２ｂ）の一部の領域である。この照射領域Ａ１は、載置面２ｂの進行方向２ａ（図１のｙ軸方向）と垂直な幅方向（ｘ軸方向）に広がり、載置面２ｂの一方の端から他方の端までを覆うライン状に延びる領域である。そして、照射領域Ａ１の延在方向に垂直な方向（ｙ軸方向）における照射領域Ａ１の幅はx軸方向よりも狭くされている。

光源ユニット１０は、光源１１と、照射部１２と、光源１１と照射部１２とを接続する光ファイバ１３と、を備える。光源１１は、近赤外光を発生させる。

光源１１により発生された近赤外光は、光ファイバ１３の一方の端面へ入射される。この近赤外光は、光ファイバ１３のコア領域を導波し、もう一方の端面から照射部１２に対して出射される。

照射部１２は、光ファイバ１３の端面から出射される近赤外光を検査対象物３が載置される照射領域Ａ１に対して照射する。照射部１２は、光ファイバ１３から出射される近赤外光を入射して、照射領域Ａ１に対応した１次元のライン状に出射するため、照射部１２としてシリンドリカルレンズが好適に用いられる。このように照射部１２においてライン状に整形された近赤外光Ｌ１が、照射部１２から照射領域Ａ１に対して照射される。

光源ユニット１０から出力された近赤外光Ｌ１は、照射領域Ａ１上に載置された検査対象物３により拡散反射される。そして、その一部が、拡散反射光Ｌ２として検出ユニット２０に入射する。

検出ユニット２０は、ハイパースペクトル画像を取得するハイパースペクトルセンサとしての機能を有する。ここで、本実施形態におけるハイパースペクトル画像について図２を用いて説明する。図２は、ハイパースペクトル画像についてその概略を説明する図である。図２に示すように、ハイパースペクトル画像とは、Ｎ個の画素Ｐ_１〜Ｐ_Ｎにより構成されている画像である。図２ではそのうちの一例として２個の画素Ｐ_ｎ及びＰ_ｍについて具体的に示している。画素Ｐ_ｎ及びＰ_ｍには、それぞれ複数の強度データからなるスペクトル情報Ｓ_ｎ及びＳ_ｍが含まれている。この強度データとは、特定の波長（又は波長帯域）におけるスペクトル強度を示すデータであり、図２では、１５個の強度データがスペクトル情報Ｓ_ｎ及びＳ_ｍとして保持されていて、これらを重ね合わせた状態で示している。このように、ハイパースペクトル画像Ｈは、画像を構成する画素毎に、それぞれ複数の強度データを持つという特徴から、画像としての二次元的要素と、スペクトルデータとしての要素をあわせ持った三次元的構成のデータである。なお、本実施形態では、ハイパースペクトル画像Ｈとは、１画素あたり少なくとも５つの波長帯域における強度データを保有している画素によって構成された画像のことをいう。

図２では検査対象物３もあわせて示している。すなわち、図２においてＰ_ｎは検査対象物３を撮像した画素であり、Ｐ_ｍは背景（例えば、ベルトコンベアや搬送容器）を撮像した画素である。このように、検出ユニット２０では、検査対象物３だけでなく背景を撮像した画像も取得される。

図１に戻り、本実施形態に係る検出ユニット２０は、カメラレンズ２４と、スリット２１と、分光器２２と、受光部２３と、を備える。この検出ユニット２０は、その視野領域２０ｓ（撮像領域）がベルトコンベア２の進行方向２ａと垂直な方向（ｘ軸方向）に延びている。検出ユニット２０の視野領域２０ｓは、載置面２ｂの照射領域Ａ１に含まれるライン状の領域であって、スリット２１を通過した拡散反射光Ｌ２が受光部２３上に像を結ぶ領域である。

スリット２１は、照射領域Ａ１の延在方向（ｘ軸方向）と平行な方向に開口が設けられる。検出ユニット２０のスリット２１に入射した拡散反射光Ｌ２は、分光器２２へ入射する。

分光器２２は、スリット２１の長手方向、すなわち照射領域Ａ１の延在方向に垂直な方向（ｙ軸方向）に拡散反射光Ｌ２を分光する。分光器２２により分光された光は、受光部２３によって受光される。

受光部２３は、複数の受光素子が２次元に配列された受光面を備え、各受光素子が光を受光する。これにより、受光部２３がベルトコンベア２上の幅方向（ｘ軸方向）に沿った各位置で反射した拡散反射光Ｌ２の各波長の光をそれぞれ受光することとなる。各受光素子は、受光した光の強度に応じた信号を位置と波長とからなる二次元平面状の一点に関する情報として出力する。この受光部２３の受光素子から出力される信号が、ハイパースペクトル画像に係る画素毎のスペクトルデータとして、検出ユニット２０から分析ユニット３０に送られる。

分析ユニット３０は、入力された信号により拡散反射光Ｌ２のスペクトルを得て、この得られた画素毎のスペクトルデータを用いて、検査対象物３の評価を行う。検査対象物３の検査は以下の方法で行う。検査対象物３が、本来想定されている種類とは異なるものである（異物）である場合、又は、想定されている種類のものであっても何らかの特性変化等が生じている場合には、当該検査対象物３に対して近赤外光を照射して得られるスペクトルデータは、想定されている種類の製品から得られるスペクトルデータと比較してその形状が異なっていると考えられる。そこで、スペクトルデータを解析してその形状が異なる場合には、検査対象物３が想定されていたものとは異なると判定し、当該検査対象物を他の検査対象物から分類する。

この分析ユニット３０は、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、検出ユニット等の他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。そして、これらの構成要素が動作することにより、分析ユニット３０としての機能が発揮される。

分析ユニット３０について、さらに詳細を説明すると、分析ユニット３０では、検査対象物３の検査を行う前に、予め良品のスペクトルデータと、不良品のスペクトルデータとに基づいて、サポートベクターマシン（ＳＶＭ）、ブースティング等の所謂パターン認識アルゴリズムを用いて、両者を識別するための学習を行い、両者を識別するための「識別モデル」を生成する。この識別モデルは、検査対象物３に係るスペクトルデータを取得した際に当該スペクトルデータが良品を撮像したものであるか不良品を撮像したものであるかを判断するためのものである。そして、識別モデルを適用した際に良／不良を区別するための「閾値」が併せて設定される。この閾値は、検査対象物３のスペクトルデータに対して識別モデルを適用することで、スペクトルデータそれぞれに対応した「スコア」を算出した後に、当該「スコア」が「閾値」以上であれば良、「閾値」未満であれば不良、と判断するために用いられる。閾値は、良品及び不良品のスペクトルデータに基づいて算出するものであり、検査対象物３を実際に検査する際に良品と不良品とを区別するための最適値に設定されていると考えられる。

また、分析ユニット３０による検査対象物３の評価の際には、受光部２３の複数の受光素子によって取得された画素毎のスペクトルデータについてそれぞれ良（良品のスペクトルデータである）／不良（不良品のスペクトルデータである）を判定した後に、隣接する複数画素によって構成されるエリア単位で検査対象物３としての良品／不良品の評価を行う。検査対象物３としての良品／不良品の判定は、その結果に基づいて、当該領域の検査対象物３を製造ラインから排出するかどうかの判定に用いることができる。すなわち、エリア単位で「不良品」と判定された場合には、後段で、不良品と判定されたエリア（及びその周辺）の検査対象物３が製造ラインから排除される構成を備えることができる。

エリア単位での判定に関して具体的に説明する。ベルトコンベア２に乗って移動する検査対象物３を検出ユニット２０で撮像することにより、２次元に配列された画素毎にスペクトルデータが取得されるので、例えば図３に示すように、９×９の８１画素のスペクトルデータが得られるとする。この場合、分析ユニット３０では、識別モデルを用いて、各画素のスペクトルデータについて、良／不良の判定を行う。次に、図３では、このうちの隣接する３×３の９画素により形成される領域毎に、当該領域が良品を撮像したものか不良品を撮像したものかの判定が行われる。例えば、図３では、網掛けの画素が不良と判定された画素だとすると、中央の領域Ａ５では９画素中４画素が不良と判定されているため、領域Ａ５は不良品を撮像している、すなわち領域Ａ５で撮像した検査対象物３は不良品であったと判定がなされる。領域単位での良品／不良品の判定基準は適宜変更することができる。

具体的には、判定基準は、「全９画素中に不良画素であると判断された画素が４画素以上ある場合に、当該エリアを不良エリアと定める。４画素は隣接していても飛び石配置でもよい」というように設定される。他には、識別モデルによって算出される各画素のスペクトルデータに係るスコアを、領域毎に合計し、基準値以上（あるいは以下）ならば当該エリアを不良品と判定する方法や不良と判定される画素が連続的に存在し、かつ混入が想定される異物の大きさや形状と近い配置を取っていた場合、当該領域を不良と判定する方法がある。

検査対象物３自体は良品であるにもかかわらず、撮像した画素のスペクトルデータを分析ユニット３０により分析した結果「不良」と誤って判定される「誤検出」が生じる場合がある。このような誤検出は、散発的ではあるものの一定の確率で発生し得る。ここで、誤検出が少し偏って発生した場合、良品を撮像しているにもかかわらず、誤検出が多く発生すると、エリア単位で「不良品」と発生されてしまい、後段で製造ラインから排除される可能性がある。このように、誤検出による不良品判定が増加してしまうと、良品を製造ラインから排除してしまうことになり、最終的な製造効率の低下につながる可能性がある。分析ユニット３０で特定のエリアが「不良品」と判定された場合、一般的に後段で不良品を排除する際には、不良品と判定されたエリアとのその周辺の検査対象物３を一度に排出する構成としている場合が多い。したがって、良品を不良品と誤検出してしまった場合には、最終的な良品の収率が大きく低下する可能性がある。

一方、検査対象物３に不良品（異物）が混入している場合、分析ユニット３０において、画素毎のスペクトルデータを分析した際に「不良」と判定される画素はある程度集中して発生すると考えられる。したがって、実際に不良品が混入しているエリアを撮像した場合に、このエリアを撮像した各画素のスペクトルデータが必ず不良と判定される必要はなく、エリア単位で確実に「不良品」と判定されるレベルまで、良／不良の判定レベルを変更してもよいと考えられる。そのためには上述の「閾値」を変更する方法が考えられる。

図４は、各画素のスペクトルデータに対する良／不良の判定レベル（閾値）を説明する図である。既知の良品／不良品を撮像して画素毎にそのスペクトルデータを取得し、各スペクトルデータに係るスコアを算出してヒストグラム化すると図４に示すようなグラフとなる。このとき、良品／不良品はそれぞれ正規分布的な形状のヒストグラムを描く。また、パターン認識アルゴリズムの学習結果に基づけば、デフォルトでは、良品／不良品のヒストグラムの中間がこのモデルにおける「閾値」と設定される。

ここで、閾値を不良品側（図４の左側）に移動させると、良品と検出される割合が高くなる。一方、閾値を良品側（図４の右側）に移動させると、不良品と検出される割合が高くなる。そこで、上記のように良品を不良品として誤検出してしまうことが多く発生する場合には、閾値を調整することで、誤検出の発生率を低下させることが可能となる。このように、本実施形態に係る検査装置１００では、パターン認識アルゴリズムを用いて良品と不良品との閾値を算出した後に、良品の誤検出率を低下させるべく調整を行った上で、良品／不良品の判定に用いる閾値を決定することを特徴とする。

次に、上記の検査装置１００を用いた検査方法について、図５を参照しながら説明する。

まず、良品サンプル及び不良品サンプルを撮像する（Ｓ０１）。ベルトコンベア２上にそれぞれ載置し移動させると共に光源ユニット１０から近赤外光Ｌ１を出力することで、サンプルから拡散反射された光を含む拡散反射光Ｌ２を検出ユニット２０において受光することで、視野領域２０ｓ（撮像領域）の撮像を行う。これによって、検出ユニット２０において得られた画素毎のスペクトルデータは、検出ユニット２０から分析ユニット３０に送られ、分析ユニット３０において取得される。

次に、分析ユニット３０において、パターン認識アルゴリズムを用いて良品のスペクトルデータ及び不良品のスペクトルデータに係る分析を行い、識別モデルを作成する（Ｓ０２：識別モデル算出ステップ）。このとき、各スペクトルデータの良／不良を判定するための所謂デフォルトの閾値も算出される。

次に、閾値の調整作業を行う。このとき、例えば後段の不良品を製造ラインから排出するための排出手段も併せて動作させてもよい。

まず、閾値調整のために検査対象物３を撮像する（Ｓ０３）。検査対象物３をベルトコンベア２上に載置し移動させると共に光源ユニット１０から近赤外光Ｌ１を出力することで、サンプルから拡散反射された光を含む拡散反射光Ｌ２を検出ユニット２０において受光することで、視野領域２０ｓ（撮像領域）の撮像を行う。これによって、検出ユニット２０において得られた画素毎のスペクトルデータは、検出ユニット２０から分析ユニット３０に送られ、分析ユニット３０において取得される。なお、検出ユニット２０においてベルトコンベア２の移動に対応して連続して撮像を行い、これを分析ユニット３０に対して蓄積することで、分析ユニット３０では、各画素が二次元に配置されたハイパースペクトル画像として取得される。

次に、予め得られた（Ｓ０２）識別モデルを利用して、検査対象物３を撮像することで得られたスペクトルデータについて分析を行い、まず各スペクトルデータの良／不良を判定する。次に、画素毎の判定結果に基づいて、エリア単位での良品／不良品の判定を行う（Ｓ０４：判定ステップ）。

その後、エリア単位の良品／不良品の判定結果と、検査対象物３が実際に良品／不良品であるかに基づいて、誤検出率を評価する（Ｓ０５：調整ステップ）。ここでの誤検出率とは、良品を不良品と判定してしまう割合をいう。後段の不良品の排出手段を動作させている場合には、排出された検査対象物３を確認することによって誤検出率を評価してもよい。この結果、誤検出率が所定値よりも高い場合には（Ｓ０５−ＮＯ）、デフォルトの閾値を修正し調整閾値とする（Ｓ０６）。具体的には、スペクトルデータを「良」と判定する割合が高くなるように、閾値を調整することで、誤検出率を下げることができる。なお、識別モデルの閾値の修正後、分析ユニット３０による再分析からやり直して（Ｓ０４）、誤検出率を再評価する構成としてもよいし、再度検査対象物を撮像（Ｓ０３）して、誤検出率を再評価する構成としてもよい。いずれにしろ、閾値を調整した後には、再度修正後の閾値が適切かの検証が行われる。

なお、誤検出率の評価（Ｓ０５）だけでなく、不良品が正しく排除されているかの確認を行う構成としてもよい。不良品が排除できない場合には閾値等の設定が不適切であるため、閾値を修正（Ｓ０６：調整ステップ）して、再度評価する必要がある。

このように閾値の評価を行った結果、識別モデルの閾値が適切であり、エリア単位の良品／不良品判定の誤検出率が所定値以内となった場合（Ｓ０５−ＹＥＳ）、閾値を含む識別モデルが確定され（Ｓ０７）、実際の検査対象物３の検査に用いられる。当然ながら実際の検査対象物３においても、不良品と判定されたエリア及びその周辺の検査対象物３は、排出手段によって排出され得る（排出ステップ）。

以上のように、本発明の実施形態に係る検査装置１００による検査方法では、判定ステップにおいて、良品を不良品として誤検出した誤検出率に基づいて識別モデルの閾値を調整することによって、エリア単位で良品を撮像したエリアが誤って不良品を撮像したエリアとして判定される割合を低減することができる。

また、不良品と判定されたエリアの前記検査対象物を排出する排出ステップが後段に設けられている場合に、良品を不良品と誤判定されないように識別モデルの閾値を調整することが有効となる。

以上、本発明の一実施形態に係る検査装置及び検査方法について説明したが、本発明に係る検査装置及び検査方法は上記に限定されない。例えば、検査装置１００の構成は、上記の構成に限定されず種々の公知の構成を用いることができる。また、パターン識別アルゴリズムについても上記に限定されない。

２…ベルトコンベア、３…検査対象物、１０…光源ユニット、２０…検出ユニット、３０…分析ユニット、１００…検査装置。

Claims

良品及び不良品のスペクトルデータを用いて、パターン認識アルゴリズムにより良品と不良品とを区別するためのデフォルトの閾値を含む識別モデルを算出する識別モデル算出ステップと、
前記識別モデルを用いて、検査対象物を撮像して得られるハイパースペクトル画像内の複数の画素により構成されるエリア毎に、当該エリアの検査対象物を良品又は不良品と判定する判定ステップと、
前記判定ステップにおいて良品を不良品として誤検出した誤検出率に基づいて、前記デフォルトの閾値を調整して調整閾値とする調整ステップと、
を備える検査方法。
前記判定ステップにおける判定結果に基づいて、不良品と判定されたエリアの前記検査対象物を排出する排出ステップをさらに備える請求項１記載の検査方法。