JP7323177B2 - 検査システム、検査装置、学習装置及びプログラム - Google Patents

Description

本発明は、検査対象物に電磁波を照射することにより得られる透過量の分布データに基づき検査対象物の内部における異常の検査を行う検査システム、検査装置、学習装置及びプログラムに関する。

検査対象物にＸ線、紫外線、可視光線、赤外線、又はマイクロ波などの電磁波を照射し透過量を検出すると、検査対象物内の異物の有無や異物の材質等に起因する透過量の強弱の分布が得られる。この強弱の分布がそれぞれの画素の色調（色彩の明暗・濃淡・強弱などの調子）により表現された二次元画像を生成することで、外観からは知りえない検査対象物内部の状況を可視化することができる。

前述のように透過量の強弱は、検査対象物内の異物の有無や異物の材質等に起因するが、異物と非異物との組み合わせによっては、両者の透過量の差異が非常に小さく、生成された二次元画像からの両者の識別が難しい場合がある。

そのような課題の解決策として、近時、機械学習された学習モデルを用いる方法が提案されている。例えば、内部に所定の異常がある検査対象物の透過量の分布データを多数収集して、これらを学習データとして特徴量を抽出し、抽出した特徴量を用いて、当該検査対象物の内部における所定の異常を検出するための学習モデルを生成する。そして、この学習モデルに検査対象物の透過量の分布を示すデータを入力することで、異常の存否を精度よく検出することが可能となる。

例えば、複数の物品が重なり合っている状態の商品のＸ線検査画像を学習画像として用いる機械学習を実行し、これにより得られた特徴量を用いて商品をＸ線検査することで、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制可能とする検査装置が特許文献１に開示されている。特許文献１に記載の検査装置では、検査装置内のＣＰＵ（Central Processing Unit）が機械学習処理を実行する。

学習モデルは、一旦生成したものをそのまま使用し続けることもできるが、新たな学習データを用いて追加学習することで、検出精度をより高めることができる。

特許第６５３７００８号公報

機械学習処理を検査装置内のＣＰＵ（Central Processing Unit）で実行すると、検査装置に具備されるＣＰＵでは一般に処理能力が不十分であり、学習に長い時間を要する。また、これによりＣＰＵが長時間高熱な状態が継続し、ＣＰＵや周囲の回路などにダメージが生じるおそれがある。更に、ＣＰＵは機械学習処理のみならず、学習データの収集や検査の実行制御を担っているため、機械学習処理の実行中は、他の処理を行えないか著しく処理速度が低下してしまう。

本発明の目的は、学習モデルを用いて行う検査対象物の検査に際し、学習モデルの追加学習を速やかに実行することができ、かつ、検査装置への負荷が小さい検査システム、検査装置、学習装置及びプログラムを提供することにある。

本発明の検査システムは、検査装置と学習装置とを備える。検査装置は、電磁波を発生し検査対象物に照射する電磁波照射部と、検査対象物を透過した電磁波の透過量の分布データを検出する透過量検出部と、検査対象物の透過量の分布データを入力することで検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、透過量検出部で検出された検査対象物の透過量の分布データを学習モデルに入力し、出力された情報に基づく検査結果を出力する検査結果出力手段と、学習モデルを送信する学習モデル送信手段と、を備える。学習装置は、検査装置から送信された学習モデルを受信する学習モデル受信手段と、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、学習モデル受信手段が受信した学習モデルを、学習データを用いて追加学習させる学習手段と、追加学習済の学習モデルを記憶する学習モデル記憶部と、追加学習済の学習モデルを学習モデル記憶部から読み出して送信する学習済モデル送信手段と、を備える。検査装置は更に、学習装置から追加学習済の学習モデルを受信し、学習モデル記憶部に記憶させる学習済モデル受信手段を備える。

検査装置が、透過量検出部において収集された学習データ送信する学習データ送信手段を更に備えるとともに、学習装置が、検査装置から送信された学習データを受信し、学習データ記憶部に記憶させる学習データ受信手段を更に備えてもよい。

学習データ送信手段が、学習データに所定の異常の有無を示すラベルを付して送信し、学習手段が、ラベルを参照して追加学習を実行してもよい。

本発明の検査装置は、電磁波を発生し検査対象物に照射する電磁波照射部と、検査対象物を透過した電磁波の透過量の分布データを検出する透過量検出部と、検査対象物の透過量の分布データを入力することで検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、透過量検出部で検出された検査対象物の透過量の分布データを学習モデルに入力し、出力された情報に基づく検査結果を出力する検査結果出力手段と、学習モデルを送信する学習モデル送信手段と、追加学習済の学習モデルを受信し、学習モデル記憶部に記憶させる学習済モデル受信手段と、を備える。

本発明の学習装置は、学習モデルを受信する学習モデル受信手段と、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、学習モデル受信手段が受信した学習モデルを、学習データを用いて追加学習させる学習手段と、追加学習済の学習モデルを記憶する学習モデル記憶部と、追加学習済の学習モデルを学習モデル記憶部から読み出して送信する学習済モデル送信手段と、を備える。

本発明の検査装置及び学習装置の各手段の機能は、プログラムに記述し、コンピュータに実行させることにより実現してもよい。

本発明によれば、学習モデルを用いて行う検査に際し、学習モデルの追加学習を速やかに実行することができ、かつ、検査装置への負荷が小さい検査システム、検査装置、学習装置及びプログラムを提供することができる。

検査システム１０の機能構成例を示す図である。 各手段の機能をプログラムに記述してコンピュータで実行させることにより実現する検査システム１０の構成例を示す図である。

以下、本発明の実施形態を、図面を参照しつつ説明する。なお、以下の説明及び図面では、同一の機能部には同一の符号を付し、一度説明した機能部については説明を省略するか、必要な範囲で説明する。

図１は、本発明の検査システム１０の機能構成例を示す図である。検査システム１０は、検査装置１００と学習装置２００とを備える。検査装置１００と学習装置２００とはピアツーピア、ＬＡＮ、ＷＡＮなど任意のネットワークＮＷを介して、任意の有線通信方式又は無線通信方式により通信可能に接続される。また、複数の検査装置１００で１つの学習装置２００を共用してもよい。

検査装置１００は、電磁波照射部１１１、搬送部１１２、透過量検出部１１３、検出データ記憶部１１４、学習モデル記憶部１１５、検査結果出力手段１１６、学習モデル送信手段１１７及び学習済モデル受信手段１１８を備える。

学習装置２００は、学習モデル受信手段２１１、学習データ記憶部２１２、学習手段２１３及び学習済モデル送信手段２１５を備える。

電磁波照射部１１１は、搬送部１１２に載置されて図１におけるＹ軸方向に搬送される検査対象物Ｗに、Ｘ線、紫外線、可視光線、赤外線などの電磁波を照射する、所定の電磁波照射源である。

搬送部１１２は、３次元直交座標系においてＸＹ平面をなす搬送面に載置された検査対象物Ｗを、Ｙ軸方向に所定の速度で搬送する任意の搬送機構である。搬送部１１２の具体的な構成方法は任意である。例えば、図１に示すように検査対象物Ｗを透過した電磁波が透過量検出部１１３に直接到達するように隙間を開けて配置された２つのベルトコンベアとして構成してもよいし、電磁波透過性の高い１つのベルトコンベアにより構成してもよい。

透過量検出部１１３は、検査対象物Ｗを透過した電磁波の透過量の分布データを検出する。透過量検出部１１３の構成方法は任意であり、例えば、Ｘ軸方向に並べられた複数の検出素子からなるラインセンサとして構成してもよい。この場合、検査対象物Ｗからの電磁波の透過量を、搬送部１１２による搬送速度に応じた周期で、検査対象物Ｗの全体がラインセンサ上を通過するまで繰り返し検出する。これにより、各周期に検査対象物Ｗを線状に分割したそれぞれの領域における透過量の分布データが得られ、検査対象物Ｗがラインセンサ上を通過し始めてから通過し終わるまでの各周期のデータを取得順に配列することで、検査対象物Ｗ全体について透過量の分布データを得ることができる。

検出データ記憶部１１４は、透過量検出部１１３において検出された検査対象物Ｗの透過量の分布データが記憶される。

学習モデル記憶部１１５は、検査対象物Ｗの透過量の分布データを入力することで検査対象物Ｗにおける所定の異常の存在可能性を示す情報を出力する学習モデルが、予め記憶される。予め記憶される学習モデルは、検査装置１００において予め生成しておいたものでもよいし、他の装置で生成したものでもよい。

所定の異常としては、例えば、検査対象物Ｗが包装物である場合における、内部の異物の存在や内容物の形状の異常や内容物のシール部への噛み込み等のほか、検査対象物Ｗ自体の形状の異常や割れ・欠け等が挙げられる。

学習モデルは、所定の異常がある検査対象物Ｗの透過量の分布データを学習データとして、それぞれの画素の色調の相違や、画素間での色調の変化の態様の相違などに基づき、既知の任意の方法で機械学習を行うことにより生成しておく。例えば、教師ありの機械学習においては、所定の異常の有無を示すラベルが付された透過画像データを学習モデルに入力し、学習モデルからそのラベル通りに結果が出力されるようにパラメータを調整するなどの処理を行う。このとき、検出精度がより高い学習モデルを生成するために、学習アルゴリズムに、多層のニューラルネットワークによるディープラーニングの手法を応用してもよい。

学習モデルから出力する所定の異常の存在可能性を示す情報としては、例えば、所定の異常がある可能性を示す推論値が挙げられる。

検査結果出力手段１１６は、学習モデル記憶部１１５から読み出した学習モデルに、検出データ記憶部１１４から読み出した検査対象物Ｗの透過量の分布データを入力し、出力された検査対象物Ｗにおける所定の異常の存在可能性を示す情報に基づき、検査結果を出力する。

学習モデルから出力される所定の異常の存在可能性を示す情報が、所定の異常がある可能性を示す推論値である場合、この推論値を所定の閾値と対比することにより所定の異常の存否を特定して検査結果として出力することができる。

具体的には例えば、異常がある可能性が極めて低い場合を０、異常がある可能性が極めて高い場合を１とした０～１の範囲で推論値を定義し、出力された推論値が一定の値(例えば０．６)以上である場合に異常があると判定することができる。

学習モデル送信手段１１７は、学習モデル記憶部１１５から学習モデルを読み出し、学習装置２００（学習モデル受信手段２１１）に向け送信する。

学習モデル受信手段２１１は、検査装置１００（学習モデル送信手段１１７）から学習モデルを受信する。

学習データ記憶部２１２は、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物Ｗの透過量の分布データを記憶する。記憶する学習データは、多いほど望ましい。なお、学習手段２１３において教師あり学習をする場合、記憶されている学習データに所定の異常の有無を示すラベルが付されていないときには、利用者による入力などに基づき付しておく。

所定の異常がある場合と異常が無い場合の双方の検査対象物Ｗの透過量の分布データは、例えば、検査システム１０の外部において予め収集されたものを記憶させてもよい。

また、検査装置１００において、学習データである、所定の異常がある場合と異常が無い場合のそれぞれにおける検査対象物Ｗの透過量の分布データを収集し、これを学習データ記憶部２１２に記憶させてもよい。この場合、例えば、学習データ送信手段１１９を検査装置１００に、また、学習データ受信手段２１６を学習装置２００に、それぞれ設ける。

学習データ送信手段１１９は、透過量検出部１１３でそれぞれ検出され検出データ記憶部１１４に記憶された、学習データである、所定の異常がある場合と異常が無い場合のそれぞれにおける検査対象物Ｗの透過量の分布データを、検出データ記憶部１１４から読み出して学習データ受信手段２１６に送信する。学習データの送信に際し、所定の異常の有無を示すラベルを付して送信してもよい。

学習データ受信手段２１６は、学習データ送信手段１１９から送信された学習データを受信し、学習データ記憶部２１２に記憶させる。

これにより、検査装置１００において、所定の異常がある又は異常が無い検査対象物Ｗに電磁波照射部１１１から電磁波を照射して、透過量検出部１１３において透過量の分布データを検出し、検出データ記憶部１１４に記憶させ、これを学習データ送信手段１１９が読み出して送信し、更にこれを学習データ受信手段２１６が受信して学習データ記憶部２１２に記憶させることができる。

１つの学習装置２００に対して、複数の検査装置１００を接続し、いずれかの検査装置１００から、所定の異常がある場合と異常が無い場合の検査対象物Ｗについて透過量の分布データをそれぞれ収集し、学習データ記憶部２１２に記憶させるように検査システム１０を構成してもよい。

学習手段２１３は、学習モデル受信手段２１１が受信した学習モデルを、学習データ記憶部２１２から読み出した、所定の異常がある場合と異常が無い場合の双方の検査対象物Ｗについての透過量の分布データを用いて追加学習させ、追加学習済の学習モデルを出力する。追加学習は、透過量の分布データにおけるそれぞれの画素の色調の相違や、画素間での色調の変化の態様の相違などに基づき、既知の任意の機械学習方法により行ってよい。例えば、教師ありの機械学習においては、所定の異常の有無を示すラベルが付された透過画像データを学習モデルに入力し、学習モデルからそのラベル通りに結果が出力されるようにパラメータを調整するなどの処理を行う。このとき、検出精度がより高い学習モデルを生成するために、学習アルゴリズムに、多層のニューラルネットワークによるディープラーニングの手法を応用してもよい。

学習済モデル記憶部２１４は、学習手段２１３が出力した追加学習済の学習モデルを記憶する。追加学習済の学習モデルは、直近に追加学習された学習モデルに加え、過去に追加学習された学習モデルを更に記憶しておいてもよい。

学習済モデル送信手段２１５は、追加学習済の学習モデルを学習済モデル記憶部２１４から読み出して検査装置１００（学習済モデル受信手段１１８）に送信する。

学習済モデル受信手段１１８は、学習装置２００（学習済モデル送信手段２１５）から追加学習済の学習モデルを受信し、学習モデル記憶部１１５に記憶させる。

検査結果出力手段１１６は、以後、追加学習済の学習モデルを用いて検査を実行する。

以上説明した検査装置１００及び学習装置２００の各手段の機能は、プログラムに記述し、コンピュータに実行させることにより実現してもよい。

図２に、各手段の機能をプログラムに記述してコンピュータで実行させることにより実現する検査システム１０（検査装置１００及び学習装置２００）の構成例を示す。

検査装置１００は、電磁波照射部１１１、搬送部１１２及び透過量検出部１１３のほか、例えば、入力部１２１、記憶部１２２、ＣＰＵ１２３、出力部１２５及び通信部１２６を備える。

入力部１２１は、検査・学習の実行指示の入力、学習データとする検出データの選択入力、学習データへの所定の異常の有無を示す情報の付与、検査・学習に使用する学習モデルの選択入力、検査装置１００と学習装置２００との間のデータの送受信の指示の入力、及び検査システム１０の外部において生成された学習モデルなど検査装置１００を機能させるために必要な情報の入力などを行うための任意のインタフェースである。指示入力や選択入力を行うインタフェースは、物理的なスイッチとして構成してもよいし、出力部１２５としてディスプレイを設けて、入力画面を表示させ、そこにポインティングデバイスやキーボードなどから入力を行うように構成してもよい。

記憶部１２２は、検出データ記憶部１１４及び学習モデル記憶部１１５の機能を担うとともに、各手段の機能、各部の制御情報、学習装置２００の遠隔制御情報等が記述されたプログラムを記憶する任意の記憶手段である。記憶部１２２には、例えば、磁気ディスク、光ディスクなど等の記憶手段のほか、不揮発性メモリ、揮発性メモリといった半導体メモリ等の記憶手段を採用することができる。

ＣＰＵ１２３は、記憶部１２２に記憶された各手段の機能、各部の制御情報、学習装置２００の遠隔制御情報等が記述されたプログラムを実行し、各手段の機能、各部の制御、学習装置２００の遠隔制御等を実現する。

出力部１２５は、検査や学習の実行などに供する操作画面の表示や、検査結果出力手段１１６が出力する検査結果の表示、印刷等を行う出力手段である。具体的な構成は出力形態に依存し、例えば操作画面や検査結果を表示する場合は各種ディスプレイとして構成され、印刷する場合は各種印刷機として構成される。

通信部１２６は、学習モデル送信手段１１７、学習済モデル受信手段１１８及び学習データ送信手段１１９の機能実現時や、検査装置１００による学習装置２００の遠隔制御時において、学習装置２００（通信部２２６）との間で情報を送受する、採用するネットワークＮＷの形態及び通信方式に応じた通信インタフェースである。

学習装置２００は、例えば、入力部２２１、記憶部２２２、ＣＰＵ２２３及び通信部２２６を備える。

入力部２２１は、検査システム１０の外部において収集された検査対象物Ｗの透過量の分布データなど、学習装置２００を機能させるために必要な情報等が入力される任意のインタフェースである。

記憶部２２２は、学習データ記憶部２１２の機能を担うとともに、各手段の機能等が記述されたプログラムを記憶する任意の記憶手段である。記憶部２２２には、例えば、磁気ディスク、光ディスクなど等の記憶手段のほか、不揮発性メモリ、揮発性メモリといった半導体メモリ等の記憶手段を採用することができる。

ＣＰＵ２２３は、記憶部２２２に記憶された各手段の機能等が記述されたプログラムを実行し、各手段の機能等を実現する。

通信部２２６は、学習モデル受信手段２１１、学習済モデル送信手段２１５及び学習データ受信手段２１６の機能実現時や検査装置１００からの遠隔制御時において、検査装置１００（通信部１２６）との間で情報を送受する、採用するネットワークＮＷの形態及び通信方式に応じた通信インタフェースである。

なお、学習装置２００における学習手段２１３の機能の実現に際しては、ＣＰＵのみで機械学習処理を実行すると一般に処理に時間を要する。そこで、ＣＰＵ２２３に加え、並列計算に特化したアーキテクチャを有し、機械学習処理を高速にかつ低負荷で実行可能なＧＰＵ（Graphics Processing Unit）２２４を設け、学習手段２１３の機能をＣＰＵ２２３とＧＰＵ２２４の連携により実現してもよい。

本発明の検査システム１０によれば、学習モデルを用いて行う検査に際し、学習モデルの追加学習を検査装置１００とは別の学習装置２００において実行するため、機械学習処理の速度を高めることができるとともに、検査装置１００における処理への支障の発生や、ＣＰＵや周囲の回路へのダメージの発生を防ぐことができる。更に、学習装置２００にＧＰＵを設けることで機械学習処理をより高速化することができる。

本発明は、上記の実施形態に限定されるものではない。上記の実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。

１０…検査システム
１００…検査装置
１１１…電磁波照射部
１１２…搬送部
１１３…透過量検出部
１１４…検出データ記憶部
１１５…学習モデル記憶部
１１６…検査結果出力手段
１１７…学習モデル送信手段
１１８…学習済モデル受信手段
１１９…学習データ送信手段
１２１、２２１…入力部
１２２、２２２…記憶部
１２３、２２３…ＣＰＵ
１２５…出力部
１２６、２２６…通信部
２１１…学習モデル受信手段
２１２…学習データ記憶部
２１３…学習手段
２１４…学習済モデル記憶部
２１５…学習済モデル送信手段
２１６…学習データ受信手段
２２４…ＧＰＵ
ＮＷ…ネットワーク
Ｗ…検査対象物

Claims (6)

1. 電磁波を発生し検査対象物に照射する電磁波照射部と、
   前記検査対象物を透過した前記電磁波の透過量の分布データを検出する透過量検出部と、
   前記検査対象物の透過量の分布データを入力することで前記検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、
   前記透過量検出部で検出された前記検査対象物の透過量の分布データを前記学習モデルに入力し、出力された前記情報に基づく検査結果を出力する検査結果出力手段と、
   前記学習モデルを送信する学習モデル送信手段と、
   を備える検査装置と、
   前記検査装置から送信された前記学習モデルを受信する学習モデル受信手段と、
   学習データとして、前記所定の異常がある場合と異常が無い場合の双方の前記検査対象物の透過量の分布データを記憶する学習データ記憶部と、
   前記学習モデル受信手段が受信した前記学習モデルを、前記学習データを用いて追加学習させる学習手段と、
   追加学習済の前記学習モデルを記憶する学習済モデル記憶部と、
   追加学習済の前記学習モデルを前記学習済モデル記憶部から読み出して送信する学習済モデル送信手段と、
   を備える学習装置と、
   を備え、
   前記検査装置は、前記学習装置から前記追加学習済の学習モデルを受信し、前記学習モデル記憶部に記憶させる学習済モデル受信手段を更に備える
   ことを特徴とする検査システム。
2. 前記検査装置は、前記透過量検出部において収集された前記学習データを送信する学習データ送信手段を更に備え、
   前記学習装置は、前記検査装置から送信された前記学習データを受信し、前記学習データ記憶部に記憶させる学習データ受信手段を更に備える
   ことを特徴とする請求項１に記載の検査システム。
3. 前記学習データ送信手段は、前記学習データに前記所定の異常の有無を示すラベルを付して送信し、
   前記学習手段は、前記ラベルを参照して追加学習を実行する
   ことを特徴とする請求項２に記載の検査システム。
4. 電磁波を発生し検査対象物に照射する電磁波照射部と、
   前記検査対象物を透過した前記電磁波の透過量の分布データを検出する透過量検出部と、
   前記検査対象物の透過量の分布データを入力することで前記検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、
   前記透過量検出部で検出された前記検査対象物の透過量の分布データを前記学習モデルに入力し、出力された前記情報に基づく検査結果を出力する検査結果出力手段と、
   前記学習モデルを、追加学習させるための学習装置に送信する学習モデル送信手段と、
   追加学習済の前記学習モデルを前記学習装置から受信し、前記学習モデル記憶部に記憶させる学習済モデル受信手段と、
   を備える検査装置。
5. 検査装置から学習モデルを受信する学習モデル受信手段と、
   学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、
   前記学習モデル受信手段が受信した前記学習モデルを、前記学習データを用いて追加学習させる学習手段と、
   追加学習済の前記学習モデルを記憶する学習済モデル記憶部と、
   追加学習済の前記学習モデルを前記学習済モデル記憶部から読み出して前記検査装置に送信する学習済モデル送信手段と、
   を備える学習装置。
6. コンピュータを、請求項１から５のいずれか１項に記載の各手段として機能させるためのプログラム。
   

Images