JP5216517B2 - 画像検査システム - Google Patents

Description

本発明は、被検査対象物を撮像して画像を得て当該被検査物を検査する画像検査システムに関する。特に、被検査対象物の検査の際に得られる文字情報ログを画像化して一元管理するための画像検査システムに関するものである。

近年、市場ニーズの多様化及び検査システムの複雑化に応じて、製品等の被検査対象物を撮像して画像検査を行うための画像検査装置が複雑化し、画像検査の際に得られる情報を追跡可能なシステム（所謂トレーサビリティーシステム）であるログ機能を有する画像検査装置がある。

また、画像検査装置の複雑化及び多機能化に応じてログ項目も増加している。例えば、オペレータの一連操作に関する操作ログ、画像検査に関する検査ログ、画像検査装置の検査環境に関するシステム情報ログ等がログ項目としてある。これらのログは、当該ログの特性や目的に合わせて、文字情報として保存するか又は映像（静止画や動画）として保存される。

上記のログは、例えば、画像検査によって異常が発生した際の異常を知る際に用いられるが、各ログはその目的に応じて用いられるものの、トレーサビリティー機能として機能させる際には、数種類のログを参照及び照合する必要がある。

いま、不良品である製品が市場に供給された場合を例に取り、当該製品のロット番号又はシリアル番号から生産ライン・製造時間、検査時の検査結果（判定結果）、その画像（映像）を追跡する場合について説明する。図５は、画面上に表示された操作ログの一例を示す図である。まず、当該製品画像（映像）に対する操作や手順に問題がなかったか否かを知るため、文字情報として保存された操作ログを閲覧する。

なお、図５に示すように、操作ログには、例えば、「番号」、「年月日」、「アイテム番号」、「実行内容」が示されており、それらの文字情報が別に格納される。そして、操作ログは、指定（クリック等）されることによって、これらの文字情報が呼び出されて、画面上に表示される。

また、当該製品の前後に製造した製品の検査結果や排出（除去）状況を記録したログを分析する必要がある。この際には、検査ログ及び検査画像ログ情報が用いられる。図６は、画面上に表示された検査ログの一例を示す図である。一方、図７は、画面上に表示された検査画像ログ情報の一例を示す図である。

図６に示すように、検査ログには、例えば、「番号」、「年月日」、「アイテム番号」、使用した「カメラ」、「カウンタ」、「結果」等が示される。各検査ログに対応して文字情報は、検査ログ情報として別に記録装置に格納されている。検査画像ログには、図７（ａ）に示す画像の種類・大きさ・更新日時等を示す画像識別ログと、図７（ｂ）に示す画像データログとがある。画像識別ログは、画像データログと対応付けられている。そして、画像データログによって対応する画像データを画面上に呼び出すことができる。

ところで、システムの検査環境の異常の一つである検査能力超過等が画像検査装置に発生すると、画像検査装置は、検査未実施（能力超過）としてシステム情報ログに記録することになる。

一方、形成画像の追跡を行うため、画像形成ジョブに基づいて出力対象となる画像データと第１のログ情報を生成し、画像データから電子透かし情報として埋め込まれた第２のログ情報を検出するとともに、電子透かし情報の信頼度を算出して、信頼度が高い場合には、第１のログ情報を画像管理サーバに保持し、信頼度が低い場合には、第１のログ情報と画像データを画像管理サーバに保持するようにしたものがある。
特開２００８−２１９４２１号公報

上述のように、市場に流通した後に製品の不良が判明した場合には、当該不良品の画像を特定するため、当該製品のロット番号又はシリアル番号から生産ライン・製造時間、検査時の検査結果（判定結果）、その画像（映像）を追跡する必要がある。

このためには、前述のように、操作ログ情報、検査ログ情報、及び検査画像ログ情報を別々に調べる必要がある。多数のログ情報を、それぞれ参照・照合して画像を特定することは、非常な手間が掛かるばかりでなく、場合によっては画像が存在しないこともあり、画像の特定が極めて困難となってしまう。

さらに、検査能力超過が発生した場合には、検査未実施としてシステム情報ログに記録されるが、検査画像（映像）は取得されておらず、検査能力超過前後の検査に問題がなかったか否かを確かめる際には、システム情報ログに応じて検査能力超過前後の検査画像（映像）を見比べたり、又はロット番号や画像のシリアル番号を応じて確認必要があり、その確認が極めて面倒である。

本発明は、複数のログ情報を単一ログ情報として管理して、迅速に検査画像の追跡を行うことのできる画像検査システムを提供することを目的とする。

（１）本発明は、連続的に搬送される複数の被検査対象物の各々を撮像し、前記被検査対象物にそれぞれ対応した複数の検査画像データを作成する検査画像化手段と、各検査画像データに応じて各被検査対象物の検査を行い、前記検査の結果を複数の文字情報ログとして出力する検査手段と、前記複数の文字情報ログから各々複数の文字情報ログ画像データを作成するログ画像化手段と、前記検査画像データ及び前記文字情報ログ画像データが得られた日時に応じて時系列で前記複数の検査画像データ及び前記複数の文字情報ログ画像データを一元的に管理するデータ管理手段と、を有することを特徴とするものである。

（１）に記載の画像検査システムによれば、複数の文字情報ログから各々複数の文字情報ログ画像データを作成し、検査画像データとともに一元記録・管理することができる。一般的な画像検査システムは、１秒間に５〜６枚の画像を検査し、一日中（２４時間）稼動した場合、約５０万枚の画像を記録・管理することになる。そのため、これらの大量の画像の中から、複数の文字情報ログを照合する頻度を大きく低減させて、検査画像データを迅速に追跡することができる。

（２）本発明は、（１）に記載の画像検査システムにおいて、前記文字情報ログは、オペレータの操作を示す操作ログ及び前記検査に関する検査ログを含むことを特徴とするものである。

（２）に記載の画像検査システムによれば、文字情報ログとして、オペレータの操作を示す操作ログ及び検査に関する検査ログを用いて、これら文字情報ログを画像化して検査画像データとともに時系列で管理するようにしたので、複数ログ情報をあたかも単一ログ情報として一元管理することができる。

（３）本発明は、（１）又は（２）に記載の画像検査システムにおいて、前記文字情報ログは、前記被検査対象物の検査の際に検査の環境異常を示すシステムログを含むことを特徴とするものである。

（３）に記載の画像検査システムによれば、文字情報ログとして被検査対象物の検査の際に検査の環境異常を示すシステムログを用いて、このシステムログを画像化して検査画像データとともに時系列で管理するようにしたので、例えば、生産ラインの状況を容易に把握することができる。よって、環境異常を示すシステムログのタイプスタンプを頼りに、検査画像データを見比べたりする必要がない。

（４）本発明は、（３）に記載の画像検査システムにおいて、前記ログ画像化手段は、前記検査の環境異常に応じた複数の文字テンプレートを有し、前記システムログに前記検査の環境異常があると、前記文字テンプレートのうち当該環境異常に応じた文字テンプレートの画像化を行うことを特徴とするものである。

（４）に記載の画像検査システムによれば、ログ画像化手段が、システムログに検査の環境異常に応じた複数の文字テンプレートの画像化を行うようにしたので、検査環境の異常に応じたシステムログ情報を容易に得ることができる。

（５）本発明は、（１）乃至（４）のいずれか１項に記載の画像検査システムにおいて、前記データ管理手段は、前記複数の検査画像データのうちのいずれか一つと、該検査画像データの時系列において隣接する他の一つの検査画像データとの間に前記文字情報ログ画像データを挿入して配列して管理しており、前記複数の検査画像データ及び前記複数の文字情報ログ画像データを時系列で画面上に表示する表示手段を有することを特徴とするものである。

（５）に記載の画像検査システムによれば、時系列で配列された検査画像データの間に文字情報ログ画像データを挿入して配列して管理して、時系列で画面上に表示するようにしたので、検査画像データの間において、つまり、検査中にどのような事態があったか一目で分かり、複数のログ情報を照合することなく、容易に検査画像データを特定して確認することができる。

以上のように、本発明によれば、連続的に搬送される複数の被検査対象物の各々を撮像して検査画像データを得て、検査の状況を示す文字情報ログを画像化して文字情報ログ画像データとし、検査画像データ及び文字情報ログ画像データが得られた日時に応じて時系列で複数の検査画像データ及び複数の文字情報ログ画像データを一元的に管理できるようにした。そのため、１秒間に５〜６枚の画像を検査し、一日中（２４時間）稼動した場合、約５０万枚の画像を記録・管理することになる画像検査システムにおいて、これらの大量の画像の中から、複数の文字情報ログを照合する頻度を大きく低減させて、検査画像データを迅速に追跡することができる。

以下図面を参照して、本発明の実施の形態による画像検査システムについて説明する。

図１は本発明の実施の形態による画像検査システムの一例を示すブロック図である。図示の画像検査システムは、例えば、生産ラインに導入され、当該生産ラインで生産される製品を撮像して画像を得、当該画像（検査画像データ）に応じて製品を検査する際に用いられる。

図１において、画像検査システム１０は、画像検査装置１１、記録装置１２、照明装置２１、撮像装置２２、表示装置２３、入力装置２４等を有している。

画像検査装置１１は、例えば、コンピュータである。記録装置１２は、画像検査装置１１とシリアルライン１２ａ及びパラレルライン１２ｂとにより接続されている。画像検査装置１１は、検査部１１ａ及び共有画像メモリ１１ｂを有する。画像検査装置１１は、例えば、照明装置２１、撮像装置（カメラ）２２、表示装置（ディスプレイ装置）２３、及び入力装置（キーボード等）２４が接続されている。

照明装置２１は、生産ライン（図示せず）を照明する。撮像装置２２は、生産ライン上を搬送される被検査対象物である製品（図示せず）を撮像する。いま、照明装置２１のエリアに製品が入ると、画像検査装置１１には、外部からの検査指令信号２５が与えられる。これによって、検査部１１ａは、撮像装置２２を動作させて生産ライン上の製品を撮像して、検査画像データを作成する。そして、当該検査画像データは、一旦、共有画像メモリ１１ｂに保存される。

検査部１１ａは、予め検査内容に応じて設定された良品画像データに基づいて、検査画像データに応じて検査を行い、当該検査結果と検査画像データは、表示装置２３に出力する。共有画像メモリ１１ｂに保存された検査画像データは、パラレルライン１２ｂによって記録装置１２に送られ、記録メディア（図示せず）に圧縮されて記録される。

一方、検査能力超過等の異常があると、画像検査装置１１には、外部からの検査指令信号２５によって異常の旨の発生が入力される。これによって、検査部１１ａは、異常の発生（例えば、能力超過）を知る。検査部１１ａは、異常の種別に応じて予め文字情報ログが文字テンプレート情報として登録している。検査部１１ａは、能力超過が発生したことを知ると、能力超過に対応する文字テンプレート情報を、シリアルライン１２ａを介して記録装置１２に送る。

記録装置１２は、文字テンプレート情報を受けると、当該文字テンプレート情報に応じて文字情報ログ画像データを生成する。そして、記録装置１２は、当該文字情報ログ画像データに、少なくともタイムスタンプ及び撮像番号を含む付加情報を付加して、圧縮して記録メディアに記録する。

ところで、製品検査の際には、検査結果が生成されることになるが、この検査結果は、検査ログ情報として、記録装置１２に送られ、記録されることになる。また、製品検査に当たっては、入力装置２４から各種操作が行われることになるが、どのような操作を行ったかについての情報は、画像検査装置１１を介して記録装置１２に操作ログ情報として記録される。

製品検査の際、記録装置１２は、検査画像データとともに、検査ログ情報及び操作ログ情報を受け取る。記録装置１２は、これら検査画像データ、検査ログ情報、及び操作ログ情報を記録し、場合によっては、圧縮技術によって圧縮して記録する。そして、記録装置１２は、記録メディアに、検査ログ情報及び操作ログ情報の記録を示すログを映像化（画像化）して記録する。映像化の方法として、例えば、２値化検査ログ画像及び２値化操作ログ画像として、記録装置１２に記録される。なお、この際、記録装置１２は、検査画像データの記録を示す検査画像データログが検査画像データ（２値化）として記録する。なお、２値化して記録しているので、記憶容量は極めて少なくて済む。

記録に当たっては、上記の検査画像データのタイムスタンプ、検査ログ情報及び操作ログ情報のタイムスタンプを参照して、当該タイムスタンプが示す時刻の順に、つまり、時系列で、検査画像データ、２値化検査ログ画像、及び２値化操作ログ画像を記録する。

図２は、時系列で検査画像データ及び２値化操作ログ画像データを記録した例を示す図である。別の表現をすると、図２は、記録装置１２を検索して、表示装置２３に検査画像データ及び２値化操作ログ画像データを時系列で表示させた例である。図２において、検査画像データ３１と検査画像データ３２との間には、２値化操作ログ画像データ３３及び３４が挿入されている。２値化操作ログ画像データ３３は、検査運転がオフされことを示している。一方、２値化操作ログ画像データ３４は、検査運転が再開（オン）されたことを示している。

この結果、検査画像データ３１と検査画像データ３２を得た間（時間）において、検査運転のオン・オフがあったことが一目で分かり、複数のログ情報を照合することなく、容易に検査画像データを特定して確認することができることになる。

このようにして、操作ログ情報等の文字情報ログを画像（映像）化して、時系列に合わせて挿入するようにしたので、複数ログ情報をあたかも単一ログ情報として一元管理することができ、複数のログ情報を照合する頻度が大きく低減し、迅速にトレーサビリティーを行うことができる。

さらに、検査能力超過等の異常が生じた際には、記録装置１２は、異常に応じた文字テンプレート情報に応じたシステム情報ログ画像データを生成する。図３は、システム情報ログ画像データの一例を示す図である。図３では、検査能力超過が生じた際のシステム情報ログ画像データが示されている。

図３に示すように、システム情報ログ画像データ４１は、「画像取込異常」の文字が画像として表示され、その下に異常が発生した年月日・日時（タイムスタンプ）が表示されている。記録装置１２は、記録に当たって、上記の検査画像データのタイムスタンプ、システム情報ログ画像データ４１のタイムスタンプを参照して、当該タイムスタンプが示す時刻の順に、つまり、時系列で、検査画像データ及びシステム情報ログ画像データ４１を記録する。

図４は、時系列で検査画像データ及びシステム情報ログ画像データ４１を記録した例を示す図である。別の表現をすると、図４は、記録装置１２を検索して表示装置２３に検査画像データ及びシステム情報ログ画像データ４１を時系列で表示させた例である。図４の例では、システム情報ログ画像データ４１は、検査画像データ４２と検査画像データ４３との間に挿入されている。

この結果、検査画像データ４２と検査画像データ４３を得た間（時間）において、画像取込異常（検査能力超過）があったことが一目で分かり、複数のログ情報を照合することなく、検査能力超過前後の検査画像データを容易に特定して確認することができることになる。

このようにして、検査能力超過等の異常情報を画像（映像）化して、システム情報ログ画像データとして時系列に合わせて挿入するようにしたので、例えば、検査能力超過前後の検査に問題がなかったか否かを確かめる際に、システム情報ログのタイプスタンプを頼りに、検査画像を見比べたり、又はロット番号や取込画像のシリアル番号を頼りに検査画像を探索する必要がないことになる。

このため、本発明の画像検査システム１０は、１秒間に５〜６枚以上の速さで２４時間稼動して５０万枚近くの検査画像が存在しても、容易に検査画像の特定を行うことができる。これによって、生産ラインの状況を容易に把握することができる。

なお、画像にタイムスタンプをデータとして書き込むようにすれば、汎用形式（ｂｍｐファイル等）で汎用ブラウザ閲覧が特に容易となるという利点がある。

また、上述の例では、検査画像データと操作ログ画像データ及び／又は検査ログ画像データとを時系列で表示する例、検査画像データとシステム情報ログ画像データとを時系列で表示する例について説明したが、当然のことながら、検査画像データ、操作ログ画像データ、検査ログ画像データ、及びシステム情報ログ画像データを時系列で表示するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

本発明の実施の形態による画像検査システムの一例を示すブロック図である。 時系列で検査画像データ及び２値化操作ログ画像データを記録した例を示す図である。 システム環境の異常である検査能力超過の際に記録されるシステム情報ログ画像の一例を示す図である。 時系列で検査画像データ及びシステム情報ログ画像データを記録した例を示す図である。 画面上に表示された操作ログの一例を示す図である。 画面上に表示された検査ログの一例を示す図である。 画面上に表示された検査画像ログ情報の一例を示す図であり、（ａ）は画像識別情報を示す図、（ｂ）は画像データを示す図である。

符号の説明

１０ 画像検査システム
１１ 画像検査装置
１１ａ 検査部
１１ｂ 共有画像メモリ
１２ 記録装置
１２ａ シリアルライン
１２ｂ パラレルライン
２１ 照明装置
２２ 撮像装置（カメラ）
２３ 表示装置
２４ 入力装置
２５ 検査指令信号

Claims (2)

1. 連続的に搬送される複数の被検査対象物の各々を撮像し、前記被検査対象物にそれぞれ対応した検査画像データを作成する検査画像化手段と、
   オペレータの操作を示す操作ログ及び／又は前記被検査対象物の検査の際に検査の環境異常を示すシステムログを含む文字情報ログから文字情報ログ画像データを作成するログ画像化手段と、
   複数の前記検査画像データのうちのいずれか一つと、該検査画像データの時系列において隣接する他の一つの検査画像データとの間に前記文字情報ログ画像データを挿入して配列することにより、前記検査画像データ及び前記文字情報ログ画像データが得られた日時に応じて時系列で複数の前記検査画像データ及び前記文字情報ログ画像データを単一のデータとして管理するデータ管理手段と、を有することを特徴とする画像検査システム。
2. 複数の前記検査画像データ及び前記文字情報ログ画像データを時系列で画面上に表示する表示手段を有することを特徴とする請求項１に記載の画像検査システム。

Images