JP5267789B2 - 外観検査装置及びプログラム - Google Patents

Description

この発明は、紙，フィルム，不織布，鉄鋼，非鉄金属等のシート状の素材（物品）の外観を検査する外観検査装置及びプログラムに関する。

紙（ロール紙）その他のシート状物等の製造システムでは、品質を保持するため、製造過程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム（検査システム）は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合にはその欠陥に関する情報を表示装置に出力することで、監視員（オペレータ）に知らせるようにしたものがある。

表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ（縦・横の長さや面積等）や、欠陥の種類等を示すテキスト情報と、実際の画像データである画像情報がある。この表示レイアウトは、たとえば、図１に示すように、テキスト情報は、１つの欠陥について関連する情報を１列に示した表形式とし、画像情報は、別枠で所定数（図では３個）を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、画像情報も最新の所定数（たとえば３個）を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献１等に開示されている。
特許第３９８２６４６号公報

上述した従来の外観検査システムでは、欠陥を検出した場合には、その欠陥についてのテキスト情報並びに画像情報を逐次表示装置に出力表示するとともに、それらの情報を記憶装置に保存している。

一方、画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、２次元の画像データを撮像するエリアセンサカメラや、１次元のラインセンサカメラ等（以下、“カメラ“）を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被観視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラは、複数設置されることが多々ある。しかも、ある工程で欠陥が生じた場合、１個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が集中的に発生することもある。

すると、表示装置には、１又は複数のカメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されるとともに、記憶装置に保存されることになり、特にカメラの設置数が多くなると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。その結果、システム全体として出力される不良情報がさらに多くなる。

このように１又は複数のカメラで多数の欠陥が集中して発生した場合、検査装置を構成するコンピュータの性能によっては、全ての欠陥についての情報（特に画像情報）を表示したり・記憶したりする処理をリアルタイムですることは難しくなる。また、演算速度の速い高性能なコンピュータを用いた場合、次々と画像情報が短時間で切り替わったり、大量のテキスト情報がスクロールしながら時々刻々と更新されて表示されたりすることになるので、オペレータは、大量のデータから有益な欠陥情報を見つけることが難しくなり、かえって整理できずに適切な監視をすることができなくなる。さらに、たとえば、軽欠陥が多数発生している最中に重欠陥が発生したような場合、多数の軽欠陥についての欠陥情報の中に重欠陥についての欠陥情報が埋もれてしまい、監視員が重要度の高い重欠陥が生じていることを見落としてしまうおそれがある。特に欠陥情報をリスト表にした場合や、表示において最新の欠陥情報だけを順次更新して表示するような場合に見落とすおそれがある。

また集中的または連続的に欠陥が発生した場合、その期間中の欠陥のうち初期に発生した欠陥情報をもとに、製造システムにおいてその発生時刻に何が起こったか等を確かめ、欠陥発生原因を調べる手法がある。この手法による場合は、初期の欠陥情報は重要度が高くて記録手段への保存が必要で、中期や後期の欠陥情報は重要度が低く保存しなくてもよいという事情がある。特に、記憶容量がいっぱいになれば古い情報を新しい情報に上書きするような処理をしている場合には、初期の欠陥情報が後期の欠陥情報の上書きによって消されてしまうという問題もある。

さらに、画像データの処理は処理時間・負荷がかかり、通常、検査装置を構成するコンピュータは、係る画像データの処理に特化しているわけではなく、画像認識処理や、検査システム全体の制御等の各種の処理も行うので、欠陥情報の多発によりシステム全体のパフォーマンスが悪くなるという問題もある。

この発明は、欠陥の発生頻度が高くなったとしてもシステム全体のパフォーマンスを低下することなく、適切に欠陥情報を提供することができる外観検査装置及びプログラムを提供することを目的とする。

上記の目的を達成するため、本発明に係る外観検査装置は、（１）シート状の物品の外観検査装置であって、カメラ装置で撮像された前記物品の画像データを取得すると共に、その画像データに対して画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力手段と、前記欠陥の発生頻度を求める頻度検出手段と、を備え、その頻度検出手段により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作するようにし、前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能と、前記制限モードで動作中に前記頻度検出手段により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能を備え、前記制限モードは、すべての欠陥について前記画像情報からなる欠陥情報の出力を制限する重欠陥制限モードと、重要でない欠陥についての画像情報からなる欠陥情報の出力を制限し重要な欠陥についての画像情報からなる欠陥情報の出力は許可する軽欠陥制限モードを有し、前記制限モードでない通常検査モードで動作中に前記頻度検出手段により求めたすべての欠陥の発生頻度が、判定値よりも大きい場合に前記軽欠陥制限モードで動作し、その軽欠陥制限モードで動作中に前記頻度検出手段により求めた重要な欠陥の発生頻度が、設定された値よりも大きい場合に前記重欠陥制限モードで動作するようにした。

判断手段は、実施形態では、検出ラック部２１に対応している。出力手段は、実施形態では、データ処理部２３に対応している。ここで、出力処理としては、表示装置への出力（表示）や、記憶装置への出力（保存）など各種のものがあり、少なくとも１つについて抑制すればよい。もちろん、複数種類の出力処理を抑制すれば、より本発明の効果が増すので好ましい。なお、出力する欠陥情報は、実施形態では、検出ラック部２１と欠陥処理部２２とにより作成される。すなわち、実施形態では、検出ラック部２１で一旦画像の切り出しと、それに関連する付属情報（位置情報）の生データを作成し、欠陥処理部２２でその生データから人間が見て理解しやすいデータ（加工付属情報）を作成しているが（位置情報の場合は、“パルス値やビット”の生データから、“ｍやｍｍ”のように直感しやすいデータに変換している）が、本発明ではこのように２つの処理手段で２段階に行うものに限ることはなく、両者の機能を１つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、１つのカメラ装置を複数のラインＣＣＤカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。

頻度検出手段は、実施形態では、検出ラック部２１の１つの機能として実現されている。具体的には、図７に示すフローチャートを実行する機能である。判定値は、実施形態では第１判定値や第３判定値に対応する。この頻度検出手段が求める「発生頻度」とは、実施形態では単位時間あたりの欠陥検出数であるが、紙等の被観視対象物上の単位距離あたりの欠陥検出数であってもよい。この発生頻度によって検出対象範囲に欠陥が所定期間に集中的に発生しているかどうかを判断することができる。

制限モードで動作中における“欠陥情報の出力を抑制する”処理を行うための機能（制御手段）は、実施形態では、検出ラック部２１に組み込まれている。つまり、判断手段たる検出ラック部２１で欠陥を検出した場合でも、画像の切り出し等を行わずそれに関連する画像情報からなる欠陥情報を出力手段たるデータ処理部２３に送らないようにしたが、本発明はこれに限ることはなく、画像情報からなる欠陥情報自体は出力手段に送るものの、最終的に表示装置３０に表示したり、記憶装置に記憶したりする処理をしないようにしてもよい。ただし、制限モード時にはすべての出力処理（実施形態では、表示と記憶の２種類）を抑制するようにした場合には、画像の切り出し等の欠陥情報を作成する処理自体に負荷がかかるだけで無駄となるので、欠陥情報の作成自体をしない実施形態のものが適している。また、たとえば、表示はないが、記憶装置へ保存するような場合には、出力手段で該当する出力処理を抑制することになる。

また、出力を制限する対象は、少なくとも画像情報についての欠陥情報としている。画像情報の処理が高負荷となるので、画像情報についての出力処理を制限することで、システム全体のパフォーマンスが低下するのが抑制できる。また、画像情報だけを制限した場合には、欠陥が多数発生しても、テキストデータからなる欠陥情報だけは制限を受けずに処理できる。もちろん、後述するように、テキストデータからなる欠陥情報の出力を制限してもよい。

制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能を設けたので、現在、制限モードであるのか否かがわかるので、たとえば、抑制される出力が、表示装置への出力（表示）の場合、表示画面に欠陥が出力されていないのが、そもそも欠陥が発生していないので出力がないのか、或いは欠陥が発生しているものの制限モードのために出力が抑制されているのか（何かしらの欠陥は発生していること）が一目でわかるので好ましい。同様に、記憶装置にもいつからいつまでが制限モードで実行中であったかの情報を格納するとよい。

前記制限モードで動作中に前記頻度検出手段により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能を備えたので、復帰用判定値は、上記の制限モードに移行する際の基準となる判定値と同じでもよいし異なっていてもよい。この復帰用判定値は、実施形態では、第２判定値や第４判定値に対応する。

そして本発明では、前記制限モードは、すべての欠陥について前記画像情報からなる欠陥情報の出力を制限する重欠陥制限モードと、重要でない欠陥についての画像情報からなる欠陥情報の出力を制限し重要な欠陥についての画像情報からなる欠陥情報の出力は許可する軽欠陥制限モードを備え、前記制限モードでない通常検査モードで動作中に前記頻度検出手段により求めたすべての欠陥の発生頻度が、判定値よりも大きい場合に前記軽欠陥制限モードで動作し、その軽欠陥制限モードで動作中に前記頻度検出手段により求めた重要な欠陥の発生頻度が、設定された値よりも大きい場合に前記重欠陥制限モードで動作するようにしたため、重要でない軽欠陥が多数発生した場合などに、いきなり全ての欠陥を制限するのではないため、重要な欠陥である重欠陥だけは表示等することができるため、監視者はその内容を確認することができるので好ましい。さらに、軽欠陥が多数発生して軽欠陥制限モードで動作しているときに重欠陥が発生した場合には、係る軽欠陥に関する欠陥情報が出力されずに重欠陥に関する欠陥情報が出力されるので、重欠陥の発生を見落とすことがない。

（２）前記制限モードの際に出力を抑制する前記欠陥情報は、テキスト情報を含むようにしてもよい。このようにすると、外観検査装置を構成するコンピュータ（ＣＰＵ）の負荷がさらに軽減され、システム全体のパフォーマンスも向上する。

（３）前記カメラ装置を複数備えるとともに、そのカメラ装置ごとに欠陥の有無を判断して欠陥情報を出力するものであって、前記発生頻度に基づく前記制限モードの動作への切り替えは、前記カメラ装置ごとに行うようにするとよい。この種の外観検査装置を含むシステムの場合、監視対象の物品の幅が広く１つのカメラ装置ではその全体が撮像できない場合に横一列に複数のカメラ装置を設置したり、複数の製造プロセスを経て製品が製造される場合に各製造プロセス（行程）の実行後の状態を検査するためにその製造プロセスを実行する装置の下流側にカメラ装置をそれぞれ配置することで前後に複数のカメラ装置を設置したりすることがある。そこで、係る場合には、あるカメラ装置からの画像データに基づいて検出された欠陥の発生頻度が多い場合には、そのカメラ装置に基づく処理系を制限モードにし、欠陥の発生頻度が低い別のカメラ装置に基づく処理系は制御モードにしない（通常検査モードで実行する）ことで、当該別のカメラ装置に基づく画像データから検出された欠陥の欠陥情報を出力することができる。そして、係る別のカメラ装置に基づいて欠陥情報を出力したとしても、元々発生頻度が低いので、システムのパフォーマンスが低下することもない。

（４），（５）前記カメラ装置で撮像された画像データに基づいて検出された欠陥の欠陥情報の出力が抑制されるが前記制限モードで動作しているのが、設定された数以上の場合に、全てのカメラ装置からの画像データに対して前記制限モードで動作する機能を備えるとよい。複数のカメラ装置からの画像データで欠陥の発生頻度が高くなった場合には、その後に現在欠陥が発生していない（発生頻度が低い）カメラ装置で撮像した画像データについても欠陥の発生頻度が高くなることが予想できるので、あらかじめ全てについて制限モードで実行するとよい。

（６）本発明のプログラムは、コンピュータに、検査対象のシート状の物品を撮像した画像データに対して画像認識処理を行い、欠陥の有無を判断する判断機能、その判断機能で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力機能、前記欠陥の発生頻度を求める頻度検出機能、その頻度検出機能により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作する機能、前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能、前記制限モードで動作中に前記頻度検出機能により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能を実現させるためのプログラムを前提とする。
そして、係る前提において、例えば前記制限モードでない通常検査モードで動作中に前記頻度検出機能により求めたすべての欠陥の発生頻度が、判定値よりも大きい場合には、重要でない欠陥についての画像情報からなる欠陥情報の出力を制限し重要な欠陥についての画像情報からなる欠陥情報の出力は許可する軽欠陥制限モードで動作し、その軽欠陥制限モードで動作中に前記頻度検出機能により求めた重要な欠陥の発生頻度が、設定された値よりも大きい場合にすべての欠陥について前記画像情報からなる欠陥情報の出力を制限する重欠陥制限モードで動作する機能を備えるようにしたり、複数のカメラ装置ごとに欠陥の有無を判断して欠陥情報を出力し、前記発生頻度に基づく前記制限モードの動作への切り替えは、前記カメラ装置ごとに行い、前記カメラ装置で撮像された画像データに基づいて検出された欠陥の欠陥情報の出力が抑制される前記制限モードで動作しているものが、設定された数以上の場合に、すべてのカメラ装置からの画像データに対して前記制限モードで動作する機能を備えるようにした。

なお、重欠陥、軽欠陥の定義は、顧客ごとに違う為、一概には言えないが、いくつか例を示して説明すると、後工程でチェックが必要かどうかで区別する場合がある。チェックとは検査機で検出された部分を検査員が肉眼で欠陥とみなすかどうかを判断することである。被検査物がシートである場合、そのシートの用途にもよるが、欠陥が穴だと、肉眼で見て気付かない程度の小さな穴であろうと想定する範囲を軽欠陥と定め、見て気付く穴であろう範囲を重欠陥と定める。この場合は、重欠陥だと検出された部分を実際に肉眼で確かめて、最終的に見逃せる欠陥かどうかを人間が判断する。他の例として、後工程で補修が必要かどうかで区別する場合がある。補修とは欠陥部分を欠陥でないように加工することである。この場合は、発生頻度の把握の為を主目的とし、後工程で補修が不要な欠陥を軽欠陥とし、後工程で補修が必要な欠陥を重欠陥とする。ここでも用途や後工程によって境界が変わってくる。欠陥が穴だと、肉眼で見て気付かない程度の小さな穴を軽欠陥と定め、補修をしない。見て気付く程度の大きな穴を重欠陥と定める。重欠陥と検出された部分は穴をふさぐ補修加工をすることになる。なお、肉眼で見て気付かない程度の小さな穴であっても、後工程がシートをコートする場合だと、コート工程において不具合が生じるおそれがあるので、重欠陥と定める必要がある。このように検査の目的や後工程の種類によっても軽欠陥と重欠陥の境界は変化する。他の例として、欠陥が汚れだと、その汚れが比較的広い範囲に薄い均一な場合は軽欠陥と定め、小さくても濃い汚れであって目で見てわかる場合は重欠陥と定める場合もある。

本発明は、欠陥の発生量（頻度）が基準を超えた場合には、少なくとも画像情報についての処理（表示や記憶等）を停止することで、外観検査装置の負荷を低減することができ、システム全体のパフォーマンスが低下するのを防止できる。

図２は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙（ロール紙）の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥（不良）の有無を判断するものである。

具体的には、紙１に正対して、複数のカメラ装置１０を設置する。各カメラ装置１０は、いずれも複数のラインＣＣＤカメラ１１を横一列に配置したカメラの集合体で構成される。それら１つのカメラ装置１０に実装される複数個のラインＣＣＤカメラ１１は、同一ライン上、つまり、紙１を進行方向と直交する（幅方向に横断する）一直線上を検出するように配置される。

また、図では、便宜上、カメラ装置１０を等間隔に３個設け、それぞれが紙１の同一面側に配置するようにしたが、実際には、紙１の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした液体（チップ（繊維））を網の上に乗せるとともに絞って水分を除去するワイヤーパート→その網に乗せたまま更に圧縮して平坦にするプレスパート→紙を乾燥させるドライヤーパート→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、１００ｍ以上になることもあり、上記のカメラ装置１０は、所定の処理装置の下流側に配置される。そして、カメラ装置１０は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されている。

各カメラ装置１０（ラインＣＣＤカメラ１１）の出力は、リアルタイムで順次画像認識処理装置２０に与えられる。画像認識処理装置２０は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部２１と、欠陥処理部２２と、データ処理部２３と、を備えている。各カメラ装置１０から１ラインずつ送られる画像データは、検出ラック部２１に与えられる。この検出ラック部２１は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置２０は、パルスの１周期で進む紙１の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置１０で撮像した画像データ（ライン）の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。

検出ラック部２１は、各カメラ装置１０から時々刻々と入力される１ライン毎の画像データを一時記憶メモリに格納するとともに、ｎライン分の画像データを読み出し、所定の寸法の２次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物不着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ（例えば２５６×２５６）の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部２２に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献１に記載のものや、その他の各種のアルゴリズムを用いることができる。

検出ラック部２１は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値（エンコーダから取得）と、視野内の位置（紙の一方の側縁からの位置（ｎビット）：紙の一方の側縁から各ラインＣＣＤカメラ１１の一方の端までの距離は既知であるので、係る距離に撮像したラインＣＣＤカメラ１１における端からの欠陥の位置を加算して求める）と、欠陥の幅及び長さ（前後方向）と、カメラを特定するカメラＮｏ（ビームＮｏ）と、欠陥の特徴としての明暗情報（“明るい／暗い”＋程度等）等を求める。この求めた付属情報は、図３に示すようなデータ構造のテーブルとして欠陥処理部２２へ渡される。なお、係る付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。

また、ラインＣＣＤカメラ１１は、１ライン毎に画像データを取得するものであるので、上述したように２次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインＣＣＤカメラ１１分のリングバッファを用意し、各ラインＣＣＤカメラ１１から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。

欠陥処理部２２は、検出ラック部２１から送られてきた欠陥についての付属情報から、人間（オペレータ）が認識できるデータに加工し、求めた加工付属情報をデータ処理部２３に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置（巻長さデータ）及び紙の一方側縁からの距離データ（ＦＲ距離）と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラＮｏと、明暗情報等がある。長さに関するデータは、検出ラック部２１で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部２２では、ｍ，ｍｍ等の人が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの１周期で進む紙１の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部２２は、パルス値に１パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙１の検査開始位置からの距離（巻長さ）を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、１画素，１ビット当たりの長さ（ｍｍ）を知っているので、検出ラック部２１から生データから、単位換算をしてｍ或いはｍｍを単位とした数値に変換する。これにより、例えば図４に示すようなデータ構造からなる加工付属情報を生成し、記憶装置３１に格納する。なお、係る加工付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。記憶装置３１に格納する加工（修正）付属情報は、検出された順にレコード番号（図では、左端に記載）が付与され、その順に格納される。

データ処理部２３は、欠陥処理部２２で作成され、記憶装置３１に格納された画像データ（欠陥を含む切り出しデータ）と、加工付属情報に基づき、所定の条件に合致する情報（画像／テキスト）を表示装置３０に出力する。表示装置３０の表示画面に表示する欠陥情報（画像データ＋テキストデータ）のレイアウトは、従来と同様に図１に示すものを用いることができる。これは、検出された順、つまり、レコード番号順に表示される。よって、テキスト情報からなる加工付属情報は、最新のものから所定数分だけ表示され、新たな欠陥が検出されると、表示内容が更新される。同様に、切り出された画像データは、最新の３個が表示される。なお、これらの表示レイアウト並びに表示方法は、従来と同様である。

ここで本実施形態では、検出ラック部２１の機能として、欠陥の発生頻度に応じて、段階的に欠陥の検出制限を行う機能を付加した。この欠陥の検出制限は、検出した欠陥についての画像情報の出力、つまり、欠陥を生じている画像情報の表示装置３０への表示や記憶装置３１への格納を行わない制限モードを設けた。なお、制限モードの場合、テキストデータからなる欠陥情報については出力するようにしてもよいし、テキストデータからなる欠陥情報も出力しないようにしてもよい。画像情報だけを制限するようにした場合、欠陥が多数発生しても、テキストデータからなる欠陥情報だけは制限を受けずに処理（表示・格納）できる。

また、制限モードで動作中の場合、表示装置３０には、係るモードで実行中の表示をする。これにより、欠陥情報が表示装置に表示されない場合でも、欠陥がなくて表示されないのか、制限モードの実行により欠陥が生じていてもそれが表示されないのかが理解できる。

さらに、この制限モードは、多発している欠陥の種類（程度）に合わせて、軽欠陥制限モードと、重欠陥制限モードの２種類を用意した。軽欠陥制限モードは、欠陥の中で重要でない欠陥のみ制限（出力しない）を行うモードであり、重欠陥制限モードは、重要な欠陥を含む全ての欠陥の制限（出力しない）を行うモードである。従って、実際には、これらの制限を行わない通常検査モードもあるので、３つのモードのいずれかにより動作することになる。さらに、いずれかの制限モードの実行中であっても、欠陥の発生頻度が判定値よりも小さくなった場合には実行中の制限モードが解除されるようにしたため、制限モード中であっても、欠陥の有無の検査は継続して行う。このようにすることで、軽欠陥が多数発生した場合などに、いきなり全ての欠陥を制限するのではないため、重欠陥だけは検出や画像データの保存ができるようになる。

さらに、上記の制限モードの実行は、ラインＣＣＤカメラ１１単位で行う。つまり、あるラインＣＣＤカメラ１１から得られた画像データに基づいて画像認識処理をした結果、一定期間内で判定値以上の欠陥が発生した場合には、そのＣＣＤカメラ１１で撮像した画像データに基づいて検出された欠陥についての出力を制限し、他のＣＣＤカメラ１１で撮像した画像に基づいて検出された欠陥については出力の制限を行わないようにした。このようにすると、欠陥が多発しているラインＣＣＤカメラ１１からの画像について制限モードで処理することで、欠陥情報（画像情報）が出力されることを抑制し、画像認識処理装置２０のパフォーマンスの低下を防止しつつ、別のラインＣＣＤカメラ１１で撮像した画像に基づく欠陥の検査は、通常検査モードで行い、欠陥が検出された場合にはその画像情報とともに表示することで、監視者に適切な情報を通知する。この場合に、係る別のラインＣＣＤカメラ１１からの画像では、欠陥の検出頻度が少ないので、仮に画像情報の出力処理をしたとしても、画像認識処理装置２０におけるＣＰＵの負荷はさほど高くならず、システム全体のパフォーマンスを低下することなく欠陥情報（画像＋テキスト）を出力することができる。そして、監視者にとっても、欠陥が多数検出されているラインＣＣＤカメラ１１からの画像に基づく検査は制限されているので、表示装置３０に出力される画像情報の数もあまり多くなく、表示された画像情報等を確実に見て内容・欠陥の原因等を確認することができる。

さらに、複数のラインＣＣＤカメラ１１から得られた各画像で、欠陥が多発している場合には、全てのカメラに対して全体制限を行う機能を設けてもよい。複数のラインＣＣＤカメラ１１で撮像された各画像で欠陥が多発している場合には、現在欠陥の発生頻度が少ないラインＣＣＤカメラ１１の監視領域であっても、その後に欠陥の発生頻度が多くなる可能性が高いので、あらかじめ所定の制限モードに移行するようにする。

次に、上述した３つのモードを切り替えながら検査を実行する検出ラック部２１の具体的な機能を説明する。この検出ラック部２１は、図５以降に示すフローチャートを実行する機能を備える。

すなわち、まず、検出ラック部２１は、ラインＣＣＤカメラ１１から得た処理対象の画像（複数ライン分から構成される画像）に対して、上述した画像認識処理を実行し、欠陥の有無を判断し、欠陥の発生を検出した場合には、その欠陥に関する情報（画像情報を含む）を抽出・生成するとともに、次段の欠陥処理部２２に渡す（Ｓ１）。つまり、検出ラック部２１は、検出した欠陥については制限することなくすべて出力する通常検査モードで動作する。なお、欠陥処理部２２並びにデータ処理部２３は、渡された欠陥に関する情報に基づき、上述した所定の処理を実行することで、欠陥情報（テキスト／画像）を表示装置３０に出力したり、記憶装置３１に格納したりすることになる。

次いで検出ラック部２１は、欠陥発生頻度監視（１）処理を実行する（Ｓ２）。この欠陥監視頻度監視（１）処理は、図７に示すフローチャートを実行するものである。つまり、検出ラック部２１は、内蔵するタイマの監視時間を設定し（Ｓ２１）、タイマをスタートさせる（Ｓ２２）。検出ラック部２１は、タイマスタートしてからカウントアップするまでの間に発生した欠陥の個数をカウントする（Ｓ２３，Ｓ２４）。このときカウントする欠陥は、重欠陥と軽欠陥を区別することなく、両者を一体とした全体の個数をカウントする。

検出ラック部２１は、発生頻度判定を行う（Ｓ３）。つまり、処理ステップＳ２の実行で求めた監視時間中に発生した欠陥の数が第１判定値以上か否かを判断する。第１判定値未満の場合には、処理ステップＳ１に戻り、通常検査モードでの監視を継続する。

一方、欠陥の数が第１判定値以上の場合には、処理ステップＳ４に飛び、検出ラック部２１は、軽欠陥制限モードの処理を実行する（Ｓ４）。すなわち、検出ラック部２１は、処理対象の画像に対して画像認識処理をして欠陥の有無を判断する。係る処理は、制御モードの如何に関わらず同じである。そして、軽欠陥制限モードの場合、欠陥が検出された場合でも、それが軽欠陥の場合には、欠陥部分を含む画像の切り出し処理を行わず、出力を行わない欠陥に関する情報を欠陥処理部２２に送らない。つまり、テキストデータからなる欠陥情報も含めて欠陥情報を出力（表示／記録）しない場合には、軽欠陥の関する欠陥情報は欠陥処理部２２に送らず、テキスト情報のみ出力する場合には係る軽欠陥についてのテキスト情報のみを欠陥処理部２２に送る。また、重欠陥については、画像情報並びにテキスト情報のいずれも欠陥処理部２２に送る。

これにより、欠陥処理部２２は、受け取った情報に基づいて処理を実行するので、軽欠陥制限モードのときは、重欠陥に関する情報は取得できるので、そのまま所定の処理を実行しデータ処理部２３に送る。よって、重欠陥についての情報（画像情報／テキスト情報）は、表示装置３０に表示されるし、記憶装置３１に保存もされる。しかし、欠陥処理部２２は、軽欠陥についての欠陥情報のうち少なくとも画像情報を受け取らないので、欠陥処理部２２で画像情報に対する処理が行われず、データ処理部２３にも軽欠陥の画像が送られないので、表示装置３０に出力されることもないし、記憶装置３１に保存されることもない。よって、軽欠陥制限モードのときは、軽欠陥についての画像情報等の出力が制限できる。

軽欠陥制限モードの場合、検出ラック部２１は、欠陥発生頻度監視（２）処理と、欠陥発生頻度監視（３）処理の２つの監視処理を平行に実行する（Ｓ５，Ｓ７）。それら２つの監視処理は、具体的には、図７に示すフローチャートを実行するもので、処理アルゴリズム自体は同じであるが、処理ステップＳ２３においてカウントする対象となる欠陥が異なる。つまり、前者の欠陥発生頻度監視（２）処理は、処理ステップＳ２と同様に、全ての欠陥の個数をカウントするが、後者の欠陥発生頻度監視（３）処理では、重欠陥のみをカウントする。なお、いずれの欠陥発生頻度監視において、処理ステップＳ２１で設定するタイマの監視時間は、両者で同じにしてもよいし、異ならせてもよい。また、処理ステップＳ２の欠陥発生頻度監視（１）における監視時間と同じでもよいし、異ならせてもよい。

各欠陥発生頻度監視処理を実行して得られたそれぞれの欠陥数に基づき、発生頻度判定が行われる（Ｓ６，Ｓ８）。すなわち、Ｓ５の欠陥発生頻度監視（２）処理を実行して得られたすべての欠陥の数は第２判定値と比較され、欠陥数が第２判定値未満の場合には、欠陥の発生数が少なくなり制限する必要性がなくなったので、処理ステップＳ１に戻り通常検査モード処理に復帰する。一方、欠陥数が第２判定値以上の場合、処理ステップＳ４に戻り、軽欠陥制限モードの処理を実行する。なお、第２判定値と第１判定値は、同じ値をとってもよいし、第２判定値の方を小さい値にすることで、軽欠陥制限モード処理と通常検査モード処理とを頻繁に切り替わることを防止するようにしてもよい。

また、Ｓ７の欠陥発生頻度監視（３）処理を実行して得られた重欠陥の数は第３判定値と比較され、欠陥数が第３判定値未満の場合には、重欠陥の発生数が少なく制限する必要性がないので、処理ステップＳ４に戻り軽欠陥制限モード処理を継続して実行する。一方、重欠陥の欠陥数が第３判定値以上の場合、重欠陥に基づく画像の処理の負荷が増してくるので処理ステップＳ９に飛び、重欠陥制限モードの処理を実行する。処理ステップＳ６とＳ８の分岐判断で他のモードに移行する場合、いずれか先に条件を具備した方のモードに移行する。

処理ステップＳ９に移行したならば、検出ラック部２１は、重欠陥制限モード処理を実行する。つまり、検出ラック部２１は、処理対象の画像に対して画像認識処理をして欠陥の有無を判断する。係る処理は、制御モードの如何に関わらず同じである。そして、重欠陥制限モードの場合、欠陥が検出された場合でも、欠陥部分を含む画像の切り出し処理を行わず、出力を行わない欠陥に関する情報を欠陥処理部２２に送らない。つまり、テキストデータからなる欠陥情報も出力しない場合には、検出ラック部２１は、欠陥の検出処理を行うだけとなる。

そして、検出ラック部２１は、欠陥発生頻度監視（４）処理を実行する（Ｓ１０）。この監視処理も、具体的には、図７に示すフローチャートを実行するもので、処理アルゴリズム自体は上述した各監視処理と同じであり、処理ステップＳ２３においてカウントする対象となる欠陥は、重欠陥のみとする。

このＳ１０の欠陥発生頻度監視（４）処理を実行して得られた重欠陥の数は第４判定値と比較され、欠陥数が第４判定値未満の場合には、重欠陥の発生数が少なく重欠陥の情報（画像）を制限する必要性がないので、処理ステップＳ４に戻り軽欠陥制限モード処理を実行する。一方、重欠陥の欠陥数が第４判定値以上の場合、処理ステップ９に戻り、検出ラック部２１は、重欠陥制限モードの処理を継続して行う（Ｓ９）。

なお、第４判定値と第３判定値は、同じ値をとってもよいし、第４判定値の方を小さい値にすることで、重欠陥制限モード処理と軽欠陥制限モード処理とを頻繁に切り替わることを防止するようにしてもよい。

上記の各処理は、各リニアＣＣＤカメラ１１単位で行われる。そして、各リニアＣＣＤカメラの出力に基づく検査が、どのモードで行われているのかを監視し、設定した基準値以上が制限モードで実行している場合には、すべてのリニアＣＣＤカメラの出力に基づく監視を所定の制限モードで実行するように切り替える。

上述した実施形態の各処理部（検査ラック部２１，欠陥処理部２２，データ処理部２３）は、ハードウェアとして実現することもできるし、ソフトウェア（アプリケーションプログラム）として実現することもできる。

欠陥情報の表示レイアウトの一例を示す図である。 本発明の好適な一実施形態を示す図である。 検出ラック部で生成される付属情報のデータ構造の一例を示す図である。 欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。 検出ラック部２１の機能を示すフローチャートである。 検出ラック部２１の機能を示すフローチャートである。 検出ラック部２１の機能を示すフローチャートである。

符号の説明

１０ カメラ装置
１１ ラインＣＣＤカメラ
２０ 画像認識処理装置
２１ 検出ラック部
２２ 欠陥処理部
２３ データ処理部
３０ 表示装置
３１ 記憶装置

Claims (7)

1. シート状の物品の外観検査装置であって、
   カメラ装置で撮像された前記物品の画像データを取得すると共に、その画像データに対して画像認識処理を行い、欠陥の有無を判断する判断手段と、
   その判断手段で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力手段と、
   前記欠陥の発生頻度を求める頻度検出手段と、
   を備え、
   その頻度検出手段により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作するようにし、
   前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能と、
   前記制限モードで動作中に前記頻度検出手段により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能を備え、
   前記制限モードは、すべての欠陥について前記画像情報からなる欠陥情報の出力を制限する重欠陥制限モードと、重要でない欠陥についての画像情報からなる欠陥情報の出力を制限し重要な欠陥についての画像情報からなる欠陥情報の出力は許可する軽欠陥制限モードを有し、
   前記制限モードでない通常検査モードで動作中に前記頻度検出手段により求めたすべての欠陥の発生頻度が、判定値よりも大きい場合に前記軽欠陥制限モードで動作し、その軽欠陥制限モードで動作中に前記頻度検出手段により求めた重要な欠陥の発生頻度が、設定された値よりも大きい場合に前記重欠陥制限モードで動作するようにしたことを特徴とする外観検査装置。
2. 前記制限モードの際に出力を抑制する前記欠陥情報は、テキスト情報を含むことを特徴とする請求項１に記載の外観検査装置。
3. 前記カメラ装置を複数備えるとともに、そのカメラ装置ごとに欠陥の有無を判断して欠陥情報を出力するものであって、
   前記発生頻度に基づく前記制限モードの動作への切り替えは、前記カメラ装置ごとに行うことを特徴とする請求項１または２に記載の外観検査装置。
4. 前記カメラ装置で撮像された画像データに基づいて検出された欠陥の欠陥情報の出力が抑制される前記制限モードで動作しているものが、設定された数以上の場合に、すべてのカメラ装置からの画像データに対して前記制限モードで動作する機能を備えたことを特徴とする請求項３に記載の外観検査装置。
5. シート状の物品の外観検査装置であって、
   カメラ装置で撮像された前記物品の画像データを取得すると共に、その画像データに対して画像認識処理を行い、欠陥の有無を判断する判断手段と、
   その判断手段で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力手段と、
   前記欠陥の発生頻度を求める頻度検出手段と、
   を備え、
   その頻度検出手段により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作するようにし、
   前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能と、
   前記制限モードで動作中に前記頻度検出手段により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能を備え、
   前記カメラ装置を複数備えるとともに、そのカメラ装置ごとに欠陥の有無を判断して欠陥情報を出力し、
   前記発生頻度に基づく前記制限モードの動作への切り替えは、前記カメラ装置ごとに行い、
   前記カメラ装置で撮像された画像データに基づいて検出された欠陥の欠陥情報の出力が抑制される前記制限モードで動作しているものが、設定された数以上の場合に、すべてのカメラ装置からの画像データに対して前記制限モードで動作する機能を備えたことを特徴とする外観検査装置。
6. 検査対象のシート状の物品を撮像した画像データに対して画像認識処理を行い、欠陥の有無を判断する判断機能、
   その判断機能で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力機能、
   前記欠陥の発生頻度を求める頻度検出機能、
   その頻度検出機能により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作する機能、
   前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能、
   前記制限モードで動作中に前記頻度検出機能により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能、
   前記制限モードでない通常検査モードで動作中に前記頻度検出機能により求めたすべての欠陥の発生頻度が、判定値よりも大きい場合には、重要でない欠陥についての画像情報からなる欠陥情報の出力を制限し重要な欠陥についての画像情報からなる欠陥情報の出力は許可する軽欠陥制限モードで動作し、その軽欠陥制限モードで動作中に前記頻度検出機能により求めた重要な欠陥の発生頻度が、設定された値よりも大きい場合にすべての欠陥について前記画像情報からなる欠陥情報の出力を制限する重欠陥制限モードで動作する機能を実現させるためのプログラム。
7. 検査対象のシート状の物品を撮像した画像データに対して画像認識処理を行い、欠陥の有無を判断する判断機能、
   その判断機能で欠陥を検出した場合に、その欠陥を含む画像情報からなる欠陥情報を出力する出力機能、
   前記欠陥の発生頻度を求める頻度検出機能、
   その頻度検出機能により求めた発生頻度が、判定値より大きい場合に、前記画像情報からなる欠陥情報の出力を抑制する制限モードで動作する機能、
   前記制限モードで動作中の期間は、表示装置に対して制限モードで動作中である旨の表示を行う機能、
   前記制限モードで動作中に前記頻度検出機能により求めた発生頻度が、復帰用判定値以下になった場合には、その制限モードの実行を解除する機能、
   複数のカメラ装置ごとに欠陥の有無を判断して欠陥情報を出力し、前記発生頻度に基づく前記制限モードの動作への切り替えは、前記カメラ装置ごとに行い、前記カメラ装置で撮像された画像データに基づいて検出された欠陥の欠陥情報の出力が抑制される前記制限モードで動作しているものが、設定された数以上の場合に、すべてのカメラ装置からの画像データに対して前記制限モードで動作する機能を実現させるためのプログラム。

Images