JP7270314B1 - 検査方法、検査システム、ニューラルネットワーク - Google Patents

Abstract

【課題】検査対象に検出された欠陥に対して第２検査を行うことで検査効率を改善する技術を提供すること。【解決手段】印刷物に含まれる欠陥を検査する検査方法であって、検査装置を用いて、欠陥を含まない印刷物の第１画像データに基づいて検査対象となる印刷物の第２画像データに含まれる欠陥の有無を判定する第１検査工程を実行し、前記第１検査工程により欠陥ありと判定された場合、前記検査装置より前記欠陥に関する欠陥情報を取得し、前記検査対象に含まれる欠陥の分類結果を出力する第２検査工程をコンピュータが実行する。【選択図】図１

Description

特許法第３０条第２項適用 令和４年１０月１２日に、オンラインで開催された「シリウスビジョンセミナー」にて公開

特許法第３０条第２項適用 令和４年８月８日に、ウェブサイト＜ＵＲＬ：ｈｔｔｐｓ：／／ｔａｋｔｐｉｘｅｌ．ｃｏ．ｊｐ／ｓｅｒｖｉｃｅ／ｐｏｏｄｌ／＞にて公開

特許法第３０条第２項適用 令和４年５月２３日に、一般社団法人日本印刷学会に論文を投稿

本発明は、検査方法、検査システム、ニューラルネットワークに関する。

従来、基準となる画像データと、対象となる画像データとの間における差分を検出することで対象を検査する技術が知られている。差分検出は、検査対象における欠陥など異常の有無を判定する手法として、印刷業や製造業などの分野で用いられる。

近年は、機械学習モデルを用いた画像認識技術も発展し、検査精度は飛躍的に向上している。

特許文献１では、深層学習を用いて印刷物を検査する際に画像データを適切な重複量で分割する印刷物の欠陥検査技術を開示している。特許文献１では、深層学習モデルを少なくとも１つ用いて、撮像データと印刷データとを入力として、印刷物の欠陥情報を出力とする検査処理部と、深層学習モデルの畳み込み層のフィルタサイズとプーリング層のプーリングサイズと畳み込み層及びプーリング層の数とに応じた画素数だけ重複させて撮像データと印刷データとを分割する分割処理を行う前処理部と、を備えることを開示している。

特開２０２１－０４７５９２号公報

印刷分野における欠陥検出技術は、印刷機の機械的特性に由来するゆらぎや、工場内の環境に由来する異物の混入、原紙の状態に由来する異物などで、様々な画像差分が検出される。一方で、その中には印刷品質としては問題とならないものの、過剰検出された欠陥箇所も存在する。過剰検出は、印刷品質として評価すべき欠陥箇所の特定が難しくなり、問題となっている。

また、深層学習を用いた欠陥検査技術では、特許文献１のように、欠陥の有無といった２値分類を行うことが知られているものの、深層学習モデルがどのように欠陥を評価しているかはブラックボックスであるため、モデルの改善や調整が難しい側面があった。

本発明は、上述した課題に鑑みてなされたものであって、検査対象に検出された欠陥に対して第２検査を行うことで検査効率を改善する技術を提供することを解決すべき課題とする。

上述したような課題を解決するために、本発明は、印刷物に含まれる欠陥を検査する検査方法であって、検査装置を用いて、欠陥を含まない印刷物の第１画像データに基づいて検査対象となる印刷物の第２画像データに含まれる欠陥の有無を判定する第１検査工程を実行し、前記第１検査工程により欠陥ありと判定された場合、前記検査装置より前記欠陥に関する欠陥情報を取得し、前記検査対象に含まれる欠陥の分類結果を出力する第２検査工程をコンピュータが実行する。

また、本発明は、印刷物に含まれる欠陥を検査する検査システムであって、画像取得部と、第１検査部と、第２検査部と、を備え、前記画像取得部は、欠陥を含まない印刷物の第１画像データと、検査対象となる印刷物の第２画像データと、を取得し、前記第１検査部は、前記第１画像データに基づいて、前記第２画像データに含まれる欠陥の有無を判定し、前記第２検査部は、前記欠陥に基づき前記検査対象となる印刷物の分類結果を出力する。

このような構成とすることで、印刷物に欠陥が含まれる場合に、更に当該欠陥を分類することができ、検査の自動化、検査の精度向上、検査の速度向上を実現することができる。

本発明の好ましい形態では、前記第２検査工程は、前記欠陥の欠陥種別を特定し、前記欠陥種別ごとに設定された基準値に基づき前記検査対象となる印刷物の不良品を判定する。
このような構成とすることで、欠陥種別に対応した基準値に基づき印刷物の良品・不良品判定を行うことができる。また、検査の現場別に、許容する基準値を設定することができる。

本発明の好ましい形態では、欠陥を含まない印刷物の画像データと、欠陥を含む印刷物の画像データと、前記欠陥の分類結果と、を含むデータセットを用いて機械学習された判定モデルを格納する記憶工程を更に実行し、
前記第２検査工程は、基準画像データおよび対象画像データを前記判定モデルに入力し、前記判定モデルより前記分類結果を出力として取得し、
前記対象画像データは、前記第２画像データにおいて欠陥として検出された所定領域の画像データであって、
前記基準画像データは、前記第２画像データにおいて欠陥として検出された所定領域に対応する前記第１画像データにおける所定領域の画像データである。
このような構成とすることで、機械学習により検査の現場別の判定モデルを容易に生成し、現場のニーズに適合した検査を実施することができる。

本発明の好ましい形態では、前記分類結果は、前記欠陥の欠陥種別を含む。
このような構成とすることで、欠陥の有無という２値分類の場合におけるコンピュータの判定処理のブラックボックス化を防止する。

本発明の好ましい形態では、前記第２検査工程は、画像特徴抽出工程と、差分特徴抽出工程と、分類工程と、を含み、
前記画像特徴抽出工程は、前記基準画像データの特徴抽出基準画像データと、前記対象画像データの特徴抽出対象画像データと、を生成し、
前記差分特徴抽出工程は、前記特徴抽出基準画像データおよび前記特徴抽出対象画像データに基づいて差分特徴量を抽出し、
前記分類工程は、前記差分特徴量に基づき前記分類結果を出力する。
また、本発明の好ましい形態では、前記判定モデルは、複数の特徴抽出層を有するニューラルネットワーク構造を有し、
前記画像特徴抽出工程は、特徴抽出層の各層において特徴抽出処理を実行し、異なる解像度の特徴抽出基準画像データおよび特徴抽出対象画像データを生成し、
前記差分特徴抽出工程は、前記特徴抽出層の各層において生成された前記特徴抽出基準画像データおよび前記特徴抽出対象画像データに基づいて差分特徴量を抽出する。
このような構成とすることで、画像特徴抽出後の基準画像データと対象画像データの差分特徴量を得ることで、分類精度を向上させることができる。

本発明の好ましい形態では、前記画像特徴抽出工程は、前記特徴抽出層の各層において、前記基準画像データおよび前記対象画像データの画像特徴量を抽出し、
前記分類工程は、前記画像特徴量および前記差分特徴量に基づき、前記分類結果を出力する。
このような構成とすることで、異なる解像度で段階的に得られる画像特徴量と差分特徴量を用いることで、分類精度を向上させることができる。

本発明の好ましい形態では、前記第２検査工程は、画像処理工程を更に含み、
前記画像処理工程は、抽出された前記画像特徴量および前記差分特徴量の少なくとも何れか一方に基づいて、前記特徴抽出対象画像データの特徴領域に重みを付与する。
このような構成とすることで、画像中の特徴領域を強調し、分類精度を向上させることができる。

本発明の好ましい形態では、前記重みに基づき画像処理された前記特徴領域を含む画像データを出力する出力工程を更に実行する。
このような構成とすることで、特徴領域が強調された画像データを得ることで、コンピュータによる特徴抽出の過程を可視化でき、ブラックボックス化を防止する。

本発明の好ましい形態では、前記特徴抽出層は、畳み込み層であって、
前記特徴抽出処理は、畳み込み処理であって、
前記特徴抽出基準画像データは、畳み込み基準画像データであって、
前記特徴抽出対象画像データは、畳み込み対象画像データである。
このような構成とすることで、畳み込み処理の段階ごとの画像の特徴や、画像の差分の特徴に基づく好ましい判定モデルとすることができる。

本発明の好ましい形態では、判定モデルは、複数の特徴抽出層を有するニューラルネットワークであって、
入力層と、複数層の第１特徴抽出層と、複数層の第２特徴抽出層と、差分処理層と、出力層と、を備え、
前記入力層は、基準画像データおよび対象画像データの入力を受け付け、
前記第１特徴抽出層は、各層において前記基準画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出基準画像データを生成し、
前記第２特徴抽出層は、各層において前記対象画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出対象画像データを生成し、
前記差分処理層は、前記第１特徴抽出層および前記第２特徴抽出層の各層において生成された前記特徴抽出基準画像データおよび前記特徴抽出対象画像データの入力を受け付け、各層ごとに差分処理を実行し、
前記出力層は、前記差分処理層より各層ごとの差分処理結果の入力を受け付け、前記対象画像データの分類結果を出力する。
このような構成とすることで、異なる解像度の特徴に基づく好ましい判定を行うモデルとすることができる。

本発明は、複数の特徴抽出層を有するニューラルネットワークであって、
入力層と、複数層の第１特徴抽出層と、複数層の第２特徴抽出層と、差分処理層と、出力層と、を備え、
前記入力層は、対象を含まない基準画像データおよび、検査対象となる対象画像データの入力を受け付け、
前記第１特徴抽出層は、各層において前記基準画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出基準画像データを生成し、
前記第２特徴抽出層は、各層において前記対象画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出対象画像データを生成し、
前記差分処理層は、前記第１特徴抽出層および前記第２特徴抽出層の各層において生成された前記特徴抽出基準画像データおよび前記特徴抽出対象画像データの入力を受け付け、各層ごとに差分処理を実行し、
前記出力層は、前記差分処理層より各層ごとの差分処理結果の入力を受け付け、前記対象画像データの分類結果を出力する。
このような構成とすることで、異なる解像度の特徴に基づく好ましい判定を行うモデルとすることができる。

本発明によれば、検査対象に検出された欠陥に対して第２検査を行うことで検査効率を改善する技術を提供することができる。

本実施形態の検査システムの構成図。 本実施形態の第１検査装置のハードウェア構成図。 本実施形態の各装置のハードウェア構成図。 本実施形態の第１検査工程に関する処理フローチャート。 本実施形態の第２検査工程に関する処理フローチャート。 本実施形態のデータセットのデータ構成図。 本実施形態の画像データのサンプル。 本実施形態のニューラルネットワークの構成図。 本実施形態の特徴強調画像データのサンプル。 本実施形態の評価テストの結果。 本実施形態の検査システムの構成図。

以下、図面を用いて、本発明の検査方法、検査システム、ニューラルネットワークについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

本実施形態では検査システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータのプログラムおよび当該プログラムを格納したプログラム記録媒体なども、同様の作用効果を奏することができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。

検査システムは、コンピュータ装置により構成される。コンピュータ装置は、ＣＰＵ（Central Processing Unit）などの演算装置および記憶装置を有する。当該コンピュータ装置は、記憶装置に格納される検査プログラムを、演算装置により実行することで、当該コンピュータ装置を検査装置として機能させることができる。検査方法は、検査装置を含むコンピュータ装置の処理により実現される。

本実施形態において、検査対象は、印刷物を含む。検査対象は、例えば、設計図などの基準に従って製造される物品であって、基準となる物品および検査対象となる物品を撮像して得られる画像データの比較検証によって、検査対象となる物品の良し悪しを判断できるものであれば限定されない。

＜実施形態１＞
図１は、検査システム０のブロック図を示す。検査システム０は、図１に示すように、第１検査装置１と、利用者端末３と、第２検査装置２と、記憶部ＤＢと、を備える。検査を実施する工場などの検査現場Ｆは、第１検査装置１および利用者端末３を備える。検査現場Ｆは、図１に示すように、Ｆ１、Ｆ２と複数存在するものとする。第１検査装置１、利用者端末３、第２検査装置２は、通信ネットワークＮＷに接続され、それぞれデータ通信可能に構成される。なお、第１検査装置１と利用者端末３は、有線または無線により接続されてもよい。

第１検査装置１は、機能構成要素として、第１画像取得部１１と、第１検査部１２と、第１出力部１３と、を備える。本実施形態において、第１検査装置１は、検査対象となる画像データに含まれる欠陥を検出する第１検査工程を実行する。

第２検査装置２は、機能構成要素として、第２画像取得部２１と、第２検査部２２と、第２出力部２７と、を備える。第２検査部２２は、画像特徴抽出部２３と、差分特徴抽出部２４と、画像処理部２５と、分類部２６と、を備える。本実施形態において、第２検査装置２は、第１検査工程で検出された欠陥を分類する第２検査工程を実行する。

利用者端末３は、第２検査装置２に対して第２検査工程を実行する第２検査要求を送信する。利用者端末３は、第２検査装置２より第２検査工程の実行結果を受信する。利用者は、利用者端末３のディスプレイ等に実行結果を表示でき、検査対象の分類結果を確認することができる。

記憶部ＤＢは、各種データを格納するデータベースであって、第２検査装置２とデータ通信可能に構成されている。記憶部ＤＢは、通信ネットワークＮＷに接続され、通信ネットワークＮＷを介して、第２検査装置２とデータ通信を行う態様であってもよい。

＜ハードウェア構成＞
図２は、第１検査装置１のハードウェア構成図の一例を示す。第１検査装置１は、ハードウェア構成として、制御部１０１、通信部１０２、供給排出部１０３、読取部１０４、記憶部１０５、入出力インターフェイス（ＩＦ）部１０６、を備える。

制御部１０１は、ＣＰＵ等の１又は２以上のプロセッサを含み、プログラム、ＯＳ、その他のアプリケーションを実行することで、第１検査装置１の動作処理全体を制御する。制御部１０１は、記憶部１０５に記憶されている第１検査プログラムに基づき、処理を実行することによって、第１検査装置の機能構成要素（１１－１３）を実現する。

通信部１０２は、通信ネットワークＮＷとの通信を制御し、第１検査装置１を動作させるために必要な入力や、動作結果に関するデータ出力を行う。

供給排出部１０３は、印刷物を供給および排出する。供給排出部１０３は、検査対象となる複数の印刷物の供給および排出を自動で行うことができる。

読取部１０４は、供給排出部１０３により供給された印刷物を読み取り、画像データを生成するスキャン装置や撮像デバイスなどにより構成される。

記憶部１０５は、ＨＤＤ（Hard disk Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等であって、第１検査プログラムおよび、制御部１０１が当該プログラムに基づき処理を実行する際に利用するデータ等を記憶する。また、記憶部１０５は、欠陥を検出するための第１判定モデルを記憶してもよい。

入出力ＩＦ部１０６は、利用者が第１検査装置１に対して第１検査工程を実行させるための入力操作や、第１検査工程の実行結果の表示など出力を行う。

本実施形態において、第２検査装置２は、汎用のサーバ装置やパーソナルコンピュータなどのコンピュータ装置を用いることができる。また、利用者端末３は、利用者が操作する携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等を用いることができる。第１検査装置１、第２検査装置２、利用者端末３および、記憶部ＤＢは、データ通信可能に構成されている。ここで、第２検査装置２は、複数のコンピュータ装置により構成されてもよく、全体として機能構成要素（２１－２７）を実現できれば、構成は限定されない。

図３（ａ）は、第２検査装置２のハードウェア構成図の一例を示す。第２検査装置２は、ハードウェア構成として、制御部２０１と、通信部２０２と、記憶部２０３と、を備える。

制御部２０１は、ＣＰＵ等の１又は２以上のプロセッサを含み、プログラム、ＯＳ、その他のアプリケーションを実行することで、第２検査装置２の動作処理全体を制御する。制御部２０１は、記憶部２０３に記憶されている第２検査プログラムに基づき、処理を実行することによって、コンピュータ装置を第２検査装置２として機能させ、機能構成要素（２１－２７）を実現する。

通信部２０２は、通信ネットワークＮＷとの通信を制御し、第２検査装置２を動作させるために必要な入力や、動作結果に関するデータ出力を行う。

記憶部２０３は、ＨＤＤ、ＲＯＭ、ＲＡＭなどであって、第２検査プログラムおよび、制御部２０１が当該プログラムに基づき処理を実行する際に利用するデータ等を記憶する。

図３（ｂ）は、利用者端末３のハードウェア構成図の一例を示す。利用者端末３は、ハードウェア構成として、ＣＰＵなどによる制御部３０１と、通信ネットワークＮＷとの通信制御を行う通信部３０２と、ＨＤＤ、ＲＯＭ、ＲＡＭなどによる記憶部３０３と、利用者からの操作入力を受け付けるタッチパネル、キーボード、マウス、物理ボタンなどによる入力部３０４と、ディスプレイなどによる表示部３０５と、を備える。

＜第１検査工程＞
図４は、第１検査装置１が実行する第１検査工程の処理フローチャートを示す。

ステップＳ１１：第１画像取得部１１は、欠陥を含まない基準となる印刷物の第１画像データを取得する。第１画像データは、基準となる印刷物を読取部１０４により読み取ることで生成される画像データを含む。また、第１画像データは、印刷物を印刷する際に、印刷装置に入力されるデザインデータであってもよい。

ステップＳ１２：第１画像取得部１１は、検査対象となる印刷物の第２画像データを取得する。第２画像データは、検査対象となる印刷物を読取部１０４により読み取ることで生成される画像データを含む。

ステップＳ１３：第１検査部１２は、第１画像データに基づいて第２画像データに含まれる欠陥の有無を判定する。第１検査部１２は、欠陥ありと判定する場合、第２画像データに含まれる欠陥の欠陥領域を抽出する。第１検査部１２は、第２画像データに複数の欠陥が含まれる場合、それぞれの欠陥領域を抽出する。

第１検査部１２は、欠陥の判定処理において、第１画像データと第２画像データの差分を検出することで、欠陥の有無を判定する。例えば、第１画像データと第２画像データの差分がない場合、または、差分が微小である場合、第２画像データに含まれる印刷物は、第１画像データに含まれる基準となる印刷物と差異がなく、良品であると判定される。第１画像データと第２画像データに差分がある場合、第２画像データに含まれる印刷物は、不純物や位置ズレなど欠陥として検出される。

第１検査部１２は、欠陥の判定処理において、記憶部１０５に格納される第１判定モデルを用いることができる。第１判定モデルは、機械学習済のモデルを示す。モデルは、例えば、ニューラルネットワークなどを採用することができるが、これに限定されない。

ステップＳ１４：第１検査部１２は、第２画像データに少なくとも１つ以上の欠陥があると判定した場合（ステップＳ１４でＹＥＳ）、続くステップＳ１５に進む。第１検査部１２は、第２画像データに欠陥がないと判定した場合（ステップＳ１４でＮＯ）、続くステップＳ１６に進む。

ステップＳ１５：第１出力部１３は、第２画像データの欠陥領域に基づき、対象画像データを生成する。また、第１出力部１３は、第１画像データに基づき、対象画像データに対応する基準画像データを生成する。第１出力部１３は、生成された基準画像データおよび対象画像データを対応付けて、欠陥情報として出力する。

対象画像データは、第２画像データにおいて欠陥として検出された所定領域（欠陥領域）の画像データである。基準画像データは、第２画像データにおいて欠陥として検出された所定領域に対応する前記第１画像データにおける所定領域の画像データである。所定領域のサイズは、本実施形態において、１２８×１２８ピクセルとしているがこれに限定されず、任意のサイズを設定可能である。

欠陥情報は、少なくとも基準画像データと、対象画像データとを含む。欠陥情報は、対象画像データの基となった第２画像データの識別子が付与される。欠陥情報は、更に、欠陥のサイズ、輝度、色値、などの欠陥の属性データを含んでもよい。第１出力部１３は、欠陥のサイズが大きい場合、欠陥が含まれる領域を欠陥領域として検出し、所定領域のサイズとなるよう画像処理を実行してもよい。また、第１出力部１３は、第１画像データとしてデザインデータを用いる場合、第１画像データと第２画像データにおける輝度や色合いなど調整する画像処理を実行してもよい。

ステップＳ１６：第１画像取得部１１は、１つの第１画像データに対して、複数の第２画像データを取得することができる。第１画像取得部１１は、未取得の第２画像データがない場合（Ｓ１６でＮＯ）、処理を完了する。第１画像取得部１１は、未取得の第２画像データがある場合（Ｓ１６でＹＥＳ）、ステップＳ１２に戻り、ステップＳ１２～Ｓ１６の処理を繰り返し実行する。

第１検査装置１により出力された基準画像データおよび対象画像データを含む欠陥情報は、利用者端末３により取得される。利用者端末３は、取得した欠陥情報を、第２検査装置２に対して送信する。なお、第１検査装置１は、第２検査装置２に対して生成した基準画像データおよび対象画像データを送信する構成としてもよい。

＜第２検査工程＞
図５は、第２検査装置２が実行する第２検査工程の処理フローチャートを示す。本実施形態において、第２検査工程は、画像特徴抽出工程と、差分特徴抽出工程と、画像処理工程と、分類工程と、を含む。

ステップＳ２１：第２画像取得部２１は、基準画像データおよび対象画像データを含む欠陥情報を取得し、記憶部ＤＢに格納する。

＜画像特徴抽出工程＞
ステップＳ２２：第２検査部２２の画像特徴抽出部２３は、基準画像データおよび対象画像データの入力を受け付け、画像特徴抽出処理を実行する。画像特徴抽出部２３は、画像特徴抽出処理を実行することで、基準画像データおよび対象画像データのそれぞれの画像特徴量を抽出する。

また、画像特徴抽出部２３は、画像特徴抽出処理を実行することで、基準画像データを異なる抽象度とした特徴抽出基準画像データと、対象画像データを異なる抽象度とした特徴抽出対象画像データと、を生成する。異なる抽象度は、例えば、１２８×１２８ピクセルの画像データと６４×６４ピクセルの画像データのように解像度が異なることを示す。画像特徴抽出部２３は、特徴抽出基準画像データおよび特徴抽出対象画像データのそれぞれの画像特徴量を更に抽出する。

ステップＳ２３：画像特徴抽出部２３は、画像特徴抽出処理をＮ回（Ｎ＝１，２，３・・・）繰り返し実行することで、異なる抽象度の画像特徴量を取得する。本実施形態において、画像特徴抽出部２３は、１回の画像特徴抽出処理により抽象度を１／２とし、これを４回実行し、５段階の異なる抽象度の画像特徴量を抽出する。なお、抽象度の変化幅や実行回数は、これに限定されない。なお、特徴抽出基準画像データおよび特徴抽出対象画像データは、異なる抽象度で複数生成される。

本実施形態において、画像特徴抽出処理は、畳み込み処理を含む。なお、画像特徴抽出処理は、基となる画像データを所定サイズとなるよう分割処理し、分割された画像データのそれぞれの画像特徴量を抽出する処理を含んでもよい。本実施形態において、画像特徴抽出処理は、基となる画像データより異なる複数の画像特徴量を取得できる態様であればその手法は限定されない。

＜差分特徴抽出工程＞
ステップＳ２４：差分特徴抽出部２４は、差分特徴抽出処理を実行することで、差分特徴量を抽出する。差分特徴量は、基準画像データおよび対象画像データの差分演算、抽象度ごとの特徴抽出基準画像データおよび特徴抽出対象画像データの差分演算により取得される。差分特徴量は、基準画像データおよび対象画像データより抽出された画像特徴量の差分演算、抽象度ごとの特徴抽出基準画像データおよび特徴抽出対象画像データより抽出された画像特徴量の差分演算により取得される構成であってもよい。

＜画像処理工程＞
ステップＳ２５：画像処理部２５は、基準画像データおよび対象画像データより抽出された画像特徴量および差分特徴量の少なくとも何れか一方に基づいて、特徴領域に重みを付与する画像処理を実行する。

画像処理部２５は、同一の抽象度同士でそれぞれ画像処理を実行する。画像処理部２５は、特徴抽出対象画像データに重みを付与することで特徴強調対象画像データを生成する。特徴強調対象画像データから特徴が強調された画像特徴量を取得することができる。画像処理部２５は、異なる抽象度の特徴強調対象画像データを、同一の抽象度となるように復号化処理を実行し、出力する。

＜分類工程＞
ステップＳ２６：特徴抽出処理が完了すると（Ｓ２５でＹＥＳ）、分類部２６は、画像特徴量および差分特徴量の少なくとも何れか一方に基づき分類結果を出力する。ここで、分類部２６は、異なる抽象度で取得された画像特徴量、差分特徴量を融合し、分類結果を出力する。

分類結果は、検査対象である印刷物が良品であるか不良品であるかを示す結果を含む。また、分類結果は、検査対象である印刷物に含まれる欠陥の欠陥種別の結果を含む。

ステップＳ２７：第２出力部２７は、分類結果を出力する。第２検査装置２は、分類結果の出力を、利用者端末３に送信することで、利用者は、検査対象の印刷物が良品であるか、不良品であるか、または、どのような欠陥種別であるかを把握することができる。

第２出力部２７は、分類結果として取得される欠陥種別を特定し、欠陥種別ごとに設定された基準値に基づき検査対象となる印刷物が不良品か否かを判定する。第２出力部２７は、欠陥種別ごとに設定された基準値テーブルに基づき、印刷物が良品であるか不良品であるかを判定する。

基準値テーブルは、検査現場Ｆごとに設定可能であって、記憶部ＤＢに格納されている。基準値テーブルは、検査現場の識別可能な検査現場ＩＤと、欠陥種別と、欠陥種別に対応する基準値と、を有する。

本実施形態において、欠陥種別は、汚れ、見当ズレ、カスレ、毛ごみ、網点、スジ汚れ、ピンホールを含む。なお、欠陥種別は、これらに限定されず、他の種別を更に含んでもよい。

基準値は、欠陥種別が汚れである場合、汚れの大きさや、汚れの輝度などとして設定される。第２出力部２７は、例えば、汚れの大きさが設定された基準値以下である場合、良品と判定し、汚れの大きさが基準値を超える場合、不良品と判定する。これによって、印刷物に欠陥が含まれる場合であっても、当該欠陥が許容できる範囲のものであるか否かを２次検査することで、過剰な欠陥の検出に対しても検査現場別に適合した最終的な良品／不良品の分類を自動で実行することができる。

本実施形態において、ステップＳ２５は省略されてもよい。また、ステップＳ２２、Ｓ２４、Ｓ２５は、並行して実行可能であり、例えば、Ｓ２２の画像特徴抽出処理を１回実行後、当該抽象度におけるＳ２４の差分特徴抽出処理およびＳ２５の画像処理を実行することができる。

＜判定モデル＞
本実施形態において、第２検査部２２は、基準画像データおよび対象画像データを第２判定モデルに入力し、第２検査処理を実行することで、当該第２判定モデルより分類結果を出力として取得する。第２判定モデルは、機械学習により生成され、記憶部ＤＢに格納される。第２判定モデルは、機械学習済のモデルを示す。

第２判定モデルは、ニューラルネットワーク構造を有する。本実施形態において、第２判定モデルは、畳み込みニューラルネットワークである。なお、第２判定モデルは、入力された画像データを異なる抽象度で複数の段階で特徴抽出する構造を有するものであればこれに限定されず、任意のモデルを採用することができる。

第２判定モデルは、画像データを含むデータセットにより機械学習され、生成される。機械学習は、外部の装置で実行され、生成された第２判定モデルが記憶部ＤＢに格納される。

図６（ａ）は、機械学習に用いられるデータセットの構成例を示す。データセットは、データの識別子であるデータＩＤをキーとして、欠陥を含まない印刷物の画像データ（基準画像データに相当）と、欠陥を含む印刷物の画像データ（対象画像データに相当）と、当該欠陥の分類結果と、を含む。分類結果は、図６（ａ）の例において、汚れ、見当ズレ、カスレ、毛ごみ、網点、スジ汚れ、ピンホールなどを含む。

図６（ｂ）は、機械学習に用いられるデータセットの異なる構成例を示す。分類結果は、図６（ｂ）の例において、良品または不良品を含む。

データセットに含まれる画像データは、第１検査装置１により生成される基準画像データと対象画像データを用いることができる。また、データセットに含まれる画像データは、基準となる基準画像データと、当該基準画像データに対して欠陥を付与する画像処理を行うことで生成される対象画像データと、を用いることができる。

図７（ａ）～（ｇ）は、データセットに含まれる基準画像データおよび対象画像データのサンプルを示す。図７（ａ）～（ｇ）は、それぞれ欠陥種別が、（ａ）汚れ、（ｂ）見当ズレ、（ｃ）カスレ、（ｄ）毛ごみ、（ｅ）網点、（ｆ）スジ汚れ、（ｇ）ピンホールの画像データであって、左図が基準画像データ、右図が対象画像データを示す。

図８は、本実施形態における第２判定モデルのニューラルネットワーク構造を示す。ニューラルネットワーク５０は、図８に示すように、入力層５１と、特徴抽出層５２と、差分処理層５３と、画像処理層５４と、分類層５５と、を備える。

入力層５１は、基準画像データおよび対象画像データを入力とする層である。特徴抽出層５２は、入力層５１の出力結果を入力とし、基準画像データおよび対象画像データに基づく各抽象度の画像特徴量を抽出する層であり、画像特徴抽出部２３における画像特徴抽出処理を実行する。差分処理層５３は、特徴抽出層５２の出力結果を入力とし、各抽象度の差分特徴量を抽出する層であり、差分特徴抽出部２４における差分特徴抽出処理を実行する。画像処理層５４は、特徴抽出層５２の出力結果を入力とし、各抽象度における画像データの特徴領域に重みを付与する層であり、画像処理部２５における画像処理を実行する。分類層５５は、差分処理層５３および画像処理層５４の出力結果を入力とし、それらの結果を統合することで、対象画像データの分類結果を出力する層であり、分類部２６における分類処理を実行する。

＜入力層＞
入力層５１は、対象画像データを入力する入力層５１Ａと、基準画像データを入力する入力層５１Ｂと、を備える。

＜特徴抽出層＞
特徴抽出層５２は、異なる抽象度の画像データの画像特徴量を抽出する複数の特徴抽出層５２１～５２３により形成される。特徴抽出層５２は、図８において、３層の例を示すが層数はこれに限定されず、Ｎ層（Ｎ＝１、２、・・・Ｎ）により形成される。特徴抽出層５２１Ａ～５２３Ａは、基準画像データに基づく画像特徴抽出処理を行う層であり、特徴抽出層５２１Ｂ～５２３Ｂは、対象画像データに基づく画像特徴抽出処理を行う層である。特徴抽出層５２１Ａと特徴抽出層５２１Ｂは、同じ抽象度の画像データの画像特徴抽出処理を行う層を示す。特徴抽出層５２は、同じ抽象度の基準画像データと対象画像データの画像特徴抽出処理の結果を、差分処理層５３および画像処理層５４に対して出力する。

特徴抽出層５２の具体的な構成例を挙げると、特徴抽出層５２１～５２３は、畳み込み層と、プーリング層と、をそれぞれ有する。畳み込み層は、所定サイズの畳み込みフィルタを用いて画像データを畳み込み処理することで、画像特徴が抽出された畳み込み画像データを生成する。畳み込み層は、画像データに含まれる局所的な特徴を抽出する役割を担う。プーリング層は、畳み込み画像データに含まれる所定サイズのプーリングフィルタを用いて当該フィルタ内の代表値を取得することで特徴マップ（特徴抽出画像データ）を生成する。代表値は、例えば、フィルタ内の最大値または平均値を示す。プーリング層は、畳み込み層で抽出された局所的な特徴の位置や大きさのズレを抽象化し、ロバスト性を持たせる役割を担う。

特徴抽出層５２１は、特徴マップを生成し、次の特徴抽出層５２２の入力データとする。特徴抽出層５２２は、特徴抽出層５２１の特徴マップより高い抽象度の特徴マップを生成し、次の特徴抽出層５２３の入力データとする。特徴抽出層５２１の出力は、基準画像データと対象画像データの抽象度で特徴抽出処理した特徴マップと、基準画像データと対象画像データを高い抽象度とした特徴マップと、を含む。

特徴抽出層５２１Ａ～５２３Ａと、特徴抽出層５２１Ｂ～５２３Ｂは、同様のパラメータを有するものとする。

＜差分特徴抽出層＞
差分処理層５３は、特徴抽出層５２１～５２３の層数に対応した差分処理層５３Ａ～５３Ｃを備える。図８において、差分処理層５３Ａは、第１の抽象度となる特徴抽出層５２１の出力（基準画像データ、対象画像データ）を入力とし、それら差分処理の結果を差分特徴量として出力する。差分処理層５３Ｂは、第２の抽象度となる特徴抽出層５２２の出力（基準画像データに基づく特徴マップ、対象画像データに基づく特徴マップ）を入力とし、それら差分処理の結果を差分特徴量として出力する。差分処理層５３Ａ～５３Ｃは、それぞれの差分処理の結果を、分類層５５の入力データとする。また、差分処理層５３Ａ～５３Ｃは、それぞれの差分処理の結果を、画像処理層５４の入力データとすることもできる（図示せず）。

＜画像処理層＞
画像処理層５４は、特徴抽出層５２１～５２３の層数に対応し、それぞれの結果を入力する層（入力１～３）と、領域抽出層５４１と、領域抽出層の結果を出力する層（出力１～３）と、により形成される。領域抽出層は、特徴抽出層５２により抽象化された画像特徴の位置情報を、基の画像データの位置情報に復元する役割を担う。

領域抽出層５４１では、画像データの畳み込み処理およびプーリング処理を行うことで画像特徴を抽出し、抽出した画像特徴を維持しながら、基の画像データのサイズに復元することができる。領域抽出層５４１は、画像データの復元の過程で、逆畳み込み処理を実行する。本実施形態において、領域抽出層５４１は、Ｕ－ｎｅｔの構造を採用する。領域抽出層５４１は、セマンティック・セグメンテーションの役割を担うものであれば、Ｕ－ｎｅｔに限定されず、任意の構造を採用することができる。

本実施形態において、画像処理層５４は、差分処理層５３Ａ～５３Ｃにより抽出された異なる抽象度の差分特徴量を取得する。画像処理層５４は、差分特徴量に基づき、同じ抽象度の特徴マップに対して重みを付与する。画像処理は、具体的には、差分特徴量に基づく重みを、特徴マップの空間方向および／またはチャンネル方向に乗算または加算する処理を含む。画像処理層５４では、領域抽出層により特徴領域の位置情報を特定し、特定した特徴領域に対して差分特徴量に基づく画像処理を行う。これにより、画像中の特徴領域が強調された特徴強調画像データを生成することができる。画像処理層５４は、特徴強調画像データより画像特徴量を抽出する処理を実行してもよい。

画像処理層５４は、特徴強調画像データ、または、特徴強調画像データより抽出された画像特徴量を出力し、分類層５５の入力データとする。

＜分類層＞
分類層５５は、融合層５５１と、畳み込み層５５２と、プーリング層５５３と、全結合層５５４と、出力層５５５と、を備える。融合層５５１は、差分処理層５３および画像処理層５４による結果を入力データとして受け付け、融合する層である。融合層５５１は、異なる抽象度の特徴マップを融合し、同じ抽象度の特徴マップを生成する。畳み込み層５５２は、融合層５５１で融合された特徴マップを畳み込み処理する。プーリング層５５３は、畳み込み層５５２により生成された特徴マップをプーリング処理する。プーリング層５５３は、ＧＡＰ（Global Average Pooling）および／またはＧＭＰ（Global Max Pooling）によるプーリング処理を行う。全結合層５５４は、プーリング層５５３のニューロンと全結合するニューロンにより構成される。出力層５５５は、活性化関数を有し、全結合層５５４の処理結果を活性化関数の入力とし、分類結果を出力する。

以上に示したニューラルネットワークの各パラメータは、図６に示したデータセットを用いた機械学習により決定され、第２判定モデルが生成される。基準画像データおよび対象画像データは、機械学習された第２判定モデルに入力されることで、最終的な出力として分類結果が得られる。

第２出力部２７は、第２判定モデルより分類結果を取得し、欠陥情報の送信元である第１検査装置１または利用者端末３に対して、出力する。第１検査装置１または利用者端末３は、分類結果を確認することで、検査対象となる印刷物が不良品であるか否か、または、検査対象となる印刷物に含まれる欠陥の欠陥種別が何れのものか、表示することができる。

また、第２出力部２７は、画像処理部２５により画像処理された特徴強調画像データを出力することができる。特徴強調画像データは、例えば、融合層５５１で融合された特徴マップに基づき生成される。

図９（ａ）～（ｇ）は、対象画像データおよび特徴強調画像データのサンプルを示す。図９（ａ）～（ｇ）は、それぞれ欠陥種別が、（ａ）汚れ、（ｂ）見当ズレ、（ｃ）カスレ、（ｄ）毛ごみ、（ｅ）網点、（ｆ）スジ汚れ、（ｇ）ピンホールの画像データであって、左図が対象画像データ、右図が特徴強調画像データを示す。

特徴強調画像データは、図９に示すように、対象となる欠陥領域の周辺に画素の変化が確認できる。これによって、第２判定モデルが画像特徴量および差分特徴量を正しく抽出していることを可視化し、第２判定モデルによる処理のブラックボックス化を防止できる。例えば、利用者は、特徴強調画像データを確認したうえで、追加の機械学習を行うかを判断することができる。また、特徴強調画像データは、特徴マップの画像特徴量を増幅しているため、分類精度を向上させることができる。

＜性能テスト＞
本実施形態における第２判定モデルＭ１、Ｍ２の性能テストの結果を表１に示す。第２判定モデルＭ１は、画像処理層５４を有さない第２判定モデルを示し、第２判定モデルＭ２は、画像処理層５４を有する第２判定モデルを示す。パラメータ数は、判定モデルに含まれるパラメータの総数を示す。表１に示す性能テストの結果は、各判定モデルによる欠陥種別ごとの正答率と、正答率のマイクロ平均値（ｍｉｃｒｏ－Ｆ１）およびマクロ平均値（ｍａｃｒｏ－Ｆ１）を示す。

性能テストの結果によると、第２判定モデルＭ１および第２判定モデルＭ２は、マイクロ平均値が、９８．９％以上、マクロ平均値が９７．８％以上の分類精度が得られた。画像処理層５４を有する第２判定モデルＭ２は、網点を除く欠陥種別において、第２判定モデルＭ１以上の分類精度が得られた。これらの結果より、第２判定モデルは、画像処理層５４を導入し、差分特徴量に基づく重みが特徴領域に付与されることで、欠陥種別の分類精度が向上するものと把握される。

図１０は、第２判定モデルＭ１（Multi DiffNet(no attention)）、第２判定モデルＭ２（Multi DiffNet）、および、他のモデルの性能テストの結果の比較を示す。図１０において、縦軸は、モデルにおけるパラメータ数を示し、横軸は、平均正答率を示す。図１０で比較した他のモデルは、ＶＧＧ１６、ＶＧＧ１９、ＩｎｃｅｐｔｉｏｎＶ３、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＲｅｓＮｅｔ１５２、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔＶ２、Ｘｃｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ１２１、ＤｅｎｓｅＮｅｔ１６９、ＤｅｎｓｅＮｅｔ２０１などである。

第２判定モデルＭ１、Ｍ２は、他のモデルで最も高い平均正答率９８．４％（ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔＶ２）よりも高い平均正答率９８．９％（第２判定モデルＭ１）、９９．０％（第２判定モデルＭ２）を示した。また、第２判定モデルＭ１は、比較した他のモデルより少ないパラメータ数であり、第２判定モデルＭ２は、ＤｅｎｓｅＮｅｔ１２１に次ぐ少ないパラメータ数であった。

性能テストの結果が示すように、第２判定モデルは、パラメータ数が他のモデルと比較して少なく、一方で、高い分類精度を実現している。本実施形態における第２判定モデルは、パラメータ数が少ないことで、メモリや計算リソースを抑えることができる。

＜実施形態２＞
図１１は、検査システム０の異なるシステム構成例を示す。実施形態１と共通する構成要素には同様の符号を付して、説明を省略する。

検査システム１００は、図１に示すように、第１検査装置１と、第２検査装置２と、記憶部ＤＢと、を備える。第１検査装置１および第２検査装置２は、有線または無線により接続され、通信可能に構成されている。記憶部ＤＢは、第２検査装置２とデータ通信可能に接続されている。記憶部ＤＢは、第２判定モデルを格納する。第２検査装置２は、第２判定モデルを用いて第２検査工程を実行する。

実施形態２において、第１検査装置１と第２検査装置２は一体型の装置であってよい。第１検査装置１は、第１検査工程を実行し、結果を第２検査装置２に出力する。第２検査装置２は、第１検査工程の結果を取得し、基準画像データおよび対象画像データに対する第２検査工程を実行し、分類結果を出力する。

実施形態２において、第２検査装置２は、パーソナルコンピュータ、スマートフォン、タブレット端末等の汎用コンピュータとして構成されてもよい。本実施形態にかかる第２判定モデルは、パラメータ数が比較的少ないため、メモリや計算リソースが少ない汎用コンピュータで実装可能であって、導入コストを削減することができる。

０ 検査システム
１ 第１検査装置
１１ 第１画像取得部
１２ 第１検査部
１３ 第１出力部
２ 第２検査装置
２１ 第２画像取得部
２２ 第２検査部
２３ 画像特徴抽出部
２４ 差分特徴抽出部
２５ 画像処理部
２６ 分類部
２７ 第２出力部
３ 利用者端末
ＤＢ 記憶部
５０ ニューラルネットワーク
５１ 入力層
５２ 特徴抽出層
５３ 差分処理層
５４ 画像処理層
５５ 分類層
１００ 検査システム

Claims (9)

1. 印刷物に含まれる欠陥を検査する検査方法であって、
   検査装置を用いて、欠陥を含まない印刷物の第１画像データに基づいて検査対象となる印刷物の第２画像データに含まれる欠陥の有無を判定する第１検査工程を実行し、
   前記第１検査工程により欠陥ありと判定された場合、前記検査装置より前記欠陥に関する基準画像データおよび対象画像データを含む欠陥情報を取得し、複数の特徴抽出層を有するニューラルネットワーク構造を有する判定モデルに入力し、前記判定モデルより前記検査対象に含まれる欠陥の分類結果を出力する第２検査工程をコンピュータが実行し、
   前記第２検査工程は、
   前記特徴抽出層の各層において前記基準画像データおよび前記対象画像データの特徴抽出処理を実行し、異なる解像度の前記基準画像データおよび前記対象画像データの画像特徴量をそれぞれ抽出する画像特徴抽出工程と、
   異なる解像度の前記基準画像データおよび前記対象画像データに基づいて差分特徴量を抽出する差分特徴抽出工程と、
   少なくとも異なる解像度の前記差分特徴量に基づいて、異なる解像度の前記対象画像データの特徴領域に重みを付与する画像処理工程と、
   前記重みを付与した対象画像データより抽出される特徴強調画像特徴量および前記差分特徴量に基づき前記分類結果を出力する分類工程と、を含む、検査方法。
2. 前記第２検査工程は、前記欠陥の欠陥種別を特定し、前記欠陥種別ごとに設定された基準値に基づき前記検査対象となる印刷物の不良品を判定する、請求項１に記載の検査方法。
3. 欠陥を含まない印刷物の画像データと、欠陥を含む印刷物の画像データと、前記欠陥の分類結果と、を含むデータセットを用いて機械学習された判定モデルを格納する記憶工程を更に実行し、
   前記対象画像データは、前記第２画像データにおいて欠陥として検出された所定領域の画像データであって、
   前記基準画像データは、前記第２画像データにおいて欠陥として検出された所定領域に対応する前記第１画像データにおける所定領域の画像データである、請求項１に記載の検査方法。
4. 前記分類結果は、前記欠陥の欠陥種別を含む、請求項３に記載の検査方法。
5. 前記重みに基づき画像処理された前記特徴領域を含む画像データを出力する出力工程を更に実行する、請求項１に記載の検査方法。
6. 前記特徴抽出層は、畳み込み層であって、
   前記特徴抽出処理は、畳み込み処理であって、
   前記特徴抽出基準画像データは、畳み込み基準画像データであって、
   前記特徴抽出対象画像データは、畳み込み対象画像データである、
   請求項１～請求項５の何れか１項に記載の検査方法。
7. 請求項１に記載の判定モデルは、複数の特徴抽出層を有するニューラルネットワークであって、
   入力層と、複数層の第１特徴抽出層と、複数層の第２特徴抽出層と、複数の差分処理層と、出力層と、を備え、
   前記入力層は、基準画像データおよび対象画像データの入力を受け付け、
   前記第１特徴抽出層は、各層において前記基準画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出基準画像データを生成し、
   前記第２特徴抽出層は、各層において前記対象画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出対象画像データを生成し、
   前記差分処理層は、前記第１特徴抽出層および前記第２特徴抽出層の各層において生成された前記特徴抽出基準画像データおよび前記特徴抽出対象画像データの入力を受け付け、各層ごとに差分処理を実行し、
   前記出力層は、前記差分処理層より各層ごとの差分処理結果の入力を受け付け、前記対象画像データの分類結果を出力する、検査方法。
8. 複数の特徴抽出層を有するニューラルネットワークであって、
   入力層と、複数層の第１特徴抽出層と、複数層の第２特徴抽出層と、複数の差分処理層と、画像処理層と、分類層と、を備え、
   前記入力層は、対象を含まない基準画像データおよび、検査対象となる対象画像データの入力を受け付け、
   前記第１特徴抽出層は、各層において前記基準画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出基準画像データを生成し、異なる解像度の特徴抽出基準画像データの画像特徴量を抽出し、
   前記第２特徴抽出層は、各層において前記対象画像データに対して特徴抽出処理を実行し、異なる解像度の特徴抽出対象画像データを生成し、異なる解像度の特徴抽出対象画像データの画像特徴量を抽出し、
   前記差分処理層は、前記第１特徴抽出層および前記第２特徴抽出層の各層において生成された前記特徴抽出基準画像データおよび前記特徴抽出対象画像データの入力を受け付け、各層ごとに差分処理を実行し、差分特徴量を抽出し、
   前記画像処理層は、少なくとも異なる解像度の前記差分特徴量に基づいて、異なる解像度の前記対象画像データの特徴領域に重みを付与し、
   前記分類層は、前記重みを付与した対象画像データより抽出され、前記画像処理層より出力される特徴強調画像特徴量および前記差分処理層より各層ごとの差分特徴量の入力を受け付け、前記対象画像データの分類結果を出力する、ニューラルネットワーク。
9. 印刷物に含まれる欠陥を検査する検査システムであって、
   画像取得部と、第１検査部と、第２検査部と、を備え、
   前記画像取得部は、欠陥を含まない印刷物の第１画像データと、検査対象となる印刷物の第２画像データと、を取得し、
   前記第１検査部は、前記第１画像データに基づいて、前記第２画像データに含まれる欠陥の有無を判定し、
   前記第２検査部は、前記第１検査部より前記欠陥に関する基準画像データおよび対象画像データを含む欠陥情報を取得し、複数の特徴抽出層を有するニューラルネットワーク構造を有する判定モデルに入力し、前記判定モデルより前記検査対象となる印刷物の分類結果を出力し、
   前記第２検査部は、
   前記特徴抽出層の各層において前記基準画像データおよび前記対象画像データの特徴抽出処理を実行し、異なる解像度の前記基準画像データおよび前記対象画像データの画像特徴量をそれぞれ抽出する画像特徴抽出部と、
   異なる解像度の前記基準画像データおよび前記対象画像データに基づいて差分特徴量を抽出する差分特徴抽出部と、
   少なくとも異なる解像度の前記差分特徴量に基づいて、異なる解像度の前記対象画像データの特徴領域に重みを付与する画像処理部と、
   前記重みを付与した対象画像データより抽出される特徴強調画像特徴量および前記差分特徴量に基づき前記分類結果を出力する分類部と、を備える、検査システム。
   

Images