JPWO2019159440A1 - 検査装置 - Google Patents

Abstract

本発明の目的は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる検査装置を提供することである。Ｘ線検査装置（１０）は、所定の形状の複数の物品（Ａ）が収容された商品（Ｇ）に光を照射し、商品（Ｇ）を透過した光、又は、商品（Ｇ）に反射した光から得られた検査画像に基づいて商品（Ｇ）を検査する。Ｘ線検査装置（１０）は、記憶部（５１）と、学習部（５２ｃ）と、検査部（５２ｄ）とを備える。記憶部（５１）は、複数の物品（Ａ）が重なり合っている状態の商品（Ｇ）の検査画像を少なくとも教師画像として記憶する。学習部（５２ｃ）は、記憶部（５１）に記憶されている教師画像を用いる機械学習によって、複数の物品（Ａ）が重なり合っている状態の商品（Ｇ）に関する特徴を取得する。検査部（５２ｄ）は、学習部（５２ｃ）が取得した特徴を用いて商品（Ｇ）を検査する。

Description

本発明は、食品等の商品にＸ線等の光を照射して、商品の検査を行う検査装置に関する。

従来、特許文献１（特開２００２―２２８７６１号公報）に開示されるように、食品等の商品にＸ線等の光を照射して、商品の検査を行う検査装置が用いられている。検査装置は、検査対象である商品を透過した光から得られた透過画像に基づいて商品の検査を行う。検査装置は、例えば、商品に混入している異物の有無、及び、商品に含まれる物品の個数を検査する。

検査対象である商品が、例えば、複数の物品が収容された袋であり、袋の内部で物品が互いに重なり合うことがある場合、物品の重なり具合に応じて透過画像の輝度の閾値を設定して、物品の重なり具合を判定する手法が用いられている。しかし、この場合、物品の重なり具合が大きくなるほど、透過画像に基づく商品の検査精度が低下するおそれがある。

本発明の目的は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる検査装置を提供することである。

本発明に係る検査装置は、所定の形状の複数の物品が収容された商品に光を照射し、商品を透過した光、又は、商品に反射した光から得られた検査画像に基づいて商品を検査する。検査装置は、記憶部と、学習部と、検査部とを備える。記憶部は、複数の物品が重なり合っている状態の商品の検査画像を少なくとも教師画像として記憶する。学習部は、記憶部に記憶されている教師画像を用いる機械学習によって、複数の物品が重なり合っている状態の商品に関する特徴を取得する。検査部は、学習部が取得した特徴を用いて商品を検査する。

本発明に係る検査装置は、複数の物品が重なり合っている状態の商品の検査画像を教師画像として用いる機械学習を実行することで、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる。

また、検査部は、商品に含まれている異物の有無を検査することが好ましい。

また、記憶部は、異物を含む商品の検査画像を少なくとも教師画像として記憶し、学習部は、教師画像と、教師画像において商品に含まれる異物が存在する領域とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。

また、記憶部は、異物を含まない商品の検査画像に仮想的な異物の画像を組み込んだ画像を少なくとも教師画像として記憶し、学習部は、教師画像と、教師画像において仮想的な異物が存在する領域とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。

この場合、検査装置は、実際の異物を含む商品の検査画像を教師画像として用いることなく、複数の物品が重なり合っている状態の商品に関する特徴を取得することができる。

また、検査部は、商品に収容されている物品の数を検査することが好ましい。

また、学習部は、教師画像と、教師画像において商品に収容されている物品の数とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。

また、検査部は、さらに、商品に関する特徴を用いずに検査画像に基づいて商品を検査することが好ましい。

この場合、検査装置は、例えば、機械学習を用いる画像処理技術と、機械学習を用いない画像処理技術とを組み合わせて商品を検査することで、検査の信頼性を向上させることができる。

また、検査部は、商品に関する特徴を用いた場合の商品の検査結果と、商品に関する特徴を用いない場合の商品の検査結果とに基づいて、商品を検査することが好ましい。

この場合、検査装置は、例えば、機械学習を用いた場合の検査結果と、機械学習を用いない場合の検査結果とからなる複数の検査結果に基づいて、商品の最終的な検査結果を取得することで、検査の信頼性を向上させることができる。

本発明に係る検査装置は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる。

本発明の一実施形態であるＸ線検査装置１０の外観を示す斜視図である。 Ｘ線検査装置１０が組み込まれる検査ライン１００の概略図である。 商品Ｇの模式的な平面図の一例である。 Ｘ線検査装置１０のシールドボックス１１の内部の概略図である。 ラインセンサ３０によって検出される透過Ｘ線の強度の例を示すグラフである。 制御装置５０のブロック図である。 商品Ｇの透過画像の一例を示す図である。 異物Ｃを含む商品Ｇの透過画像の一例を示す図である。 制御装置５０が商品Ｇを検査する処理のフローチャートである。 変形例Ｄにおける商品Ｇの透過画像の一例である。

本発明の実施形態について、図面を参照しながら説明する。以下に説明される実施形態は、本発明の具体例の一つであって、本発明の技術的範囲を限定するものではない。

（１）Ｘ線検査装置の全体構成
図１は、本発明に係る検査装置の一実施形態であるＸ線検査装置１０の外観を示す斜視図である。図２は、Ｘ線検査装置１０が組み込まれる検査ライン１００の概略図である。検査ライン１００は、商品Ｇの検査を行う。検査ライン１００において、商品Ｇは、前段コンベア６０によってＸ線検査装置１０まで搬送される。図２において、商品Ｇの搬送方向は、矢印で示されている。

Ｘ線検査装置１０は、前段コンベア６０によって連続的に搬送されてくる商品ＧにＸ線を照射することにより、商品Ｇの良否判断を行う。具体的には、Ｘ線検査装置１０は、商品Ｇの異物混入検査を行い、検査結果に基づいて商品Ｇを良品又は不良品に分類する。Ｘ線検査装置１０による検査結果は、Ｘ線検査装置１０の下流側に配置されている振り分け機構７０に送られる。振り分け機構７０は、Ｘ線検査装置１０において良品と判断された商品Ｇを、良品を排出する後段コンベア８０へ送る。振り分け機構７０は、Ｘ線検査装置１０において不良品と判断された商品Ｇを、不良品排出方向９０，９１に振分けて検査ライン１００から排出する。

本実施形態において、商品Ｇは、所定の形状の複数の物品Ａを収容している。例えば、商品Ｇは、実質的に同じ形状を有する複数の食品（物品Ａ）が包装された袋である。１つの商品Ｇにおいて、複数の物品Ａは互いに重なり合うことがある。図３は、商品Ｇの模式的な平面図の一例である。図３において、商品Ｇは、複数の物品Ａ（ソーセージ等）が入っている袋Ｂである。この場合、図３に示されるように、商品Ｇを上から見た場合に、袋Ｂの中で物品Ａが互いに重なり合うことがある。以下、必要に応じて、１つの商品Ｇを上から見た場合において、複数の物品Ａが互いに重なり合っている領域を重なり領域ＲＯと呼ぶ。図３には、いくつかの重なり領域ＲＯが示されている。Ｘ線検査装置１０によって検査される商品Ｇの大部分は、上から見た場合に重なり領域ＲＯを有する。

（２）Ｘ線検査装置の詳細な説明
Ｘ線検査装置１０は、主として、シールドボックス１１と、搬送ユニット１２と、Ｘ線照射器２０と、ラインセンサ３０と、モニタ４０と、制御装置５０とから構成される。

（２−１）シールドボックス
図４は、Ｘ線検査装置１０のシールドボックス１１の内部の概略図である。シールドボックス１１は、Ｘ線検査装置１０のケーシングである。図１に示されるように、シールドボックス１１の両側面には、商品Ｇを搬出入するための開口１１ａが形成されている。開口１１ａは、シールドボックス１１の外部から内部に商品Ｇを搬入するため、又は、シールドボックス１１の内部から外部に商品Ｇを搬出するために用いられる。開口１１ａは、遮蔽のれん１９により塞がれている。遮蔽のれん１９は、シールドボックス１１の内部から外部へのＸ線の漏洩を抑える。遮蔽のれん１９は、タングステンシートから成形される。遮蔽のれん１９は、商品Ｇが搬出入される時に商品Ｇによって押しのけられる。

シールドボックス１１の内部には、搬送ユニット１２、Ｘ線照射器２０、ラインセンサ３０及び制御装置５０等が収容されている。シールドボックス１１の正面上部には、モニタ４０、入力用のキー、及び、電源スイッチ等が配置されている。

（２−２）搬送ユニット
搬送ユニット１２は、シールドボックス１１の内部を通過するように商品Ｇを搬送するためのベルトコンベアである。図１に示されるように、搬送ユニット１２は、シールドボックス１１の両側面に形成された開口１１ａを貫通するように配置されている。

搬送ユニット１２は、主として、コンベアモータ１２ａと、エンコーダ１２ｂと、コンベアローラ１２ｃと、無端状のベルト１２ｄとから構成されている。コンベアローラ１２ｃは、コンベアモータ１２ａによって駆動される。コンベアローラ１２ｃの駆動により、ベルト１２ｄが回転し、ベルト１２ｄ上の商品Ｇが搬送される。図４において、商品Ｇの搬送方向は、矢印で示されている。

搬送ユニット１２による商品Ｇの搬送速度は、Ｘ線検査装置１０の操作者によって入力された設定速度に応じて変動する。制御装置５０は、設定速度に基づいてコンベアモータ１２ａをインバータ制御し、商品Ｇの搬送速度を細かく制御する。搬送ユニット１２のエンコーダ１２ｂは、コンベアモータ１２ａの回転速度を検出することで商品Ｇの搬送速度を算出し、制御装置５０に送信する。

なお、搬送ユニット１２は、搬送機構としてベルトコンベアを用いているが、ベルトコンベアの代わりにトップチェーンコンベア及び回転テーブル等を搬送機構として用いてもよい。

（２−３）Ｘ線照射器
Ｘ線照射器２０は、シールドボックス１１内部の所定の位置まで搬送ユニット１２によって搬送された商品ＧにＸ線を照射するＸ線源である。Ｘ線照射器２０から照射されるＸ線には、様々なエネルギーのＸ線が含まれている。

図４に示されるように、Ｘ線照射器２０は、搬送ユニット１２の上方に配置されている。Ｘ線照射器２０は、搬送ユニット１２の下方に配置されるラインセンサ３０に向けて扇状のＸ線（放射光）を照射する。Ｘ線の照射範囲Ｘは、図４に示されるように、搬送ユニット１２の搬送面に対して垂直であり、かつ、搬送ユニット１２による商品Ｇの搬送方向に対して直交する方向に広がる。すなわち、Ｘ線照射器２０から照射されるＸ線は、ベルト１２ｄの幅方向に広がる。

（２−４）ラインセンサ
ラインセンサ３０は、Ｘ線照射器２０から照射されたＸ線を検出するセンサである。具体的には、ラインセンサ３０は、搬送ユニット１２によって搬送された商品Ｇを透過したＸ線である透過Ｘ線を検出する。

図４に示されるように、ラインセンサ３０は、搬送ユニット１２のベルト１２ｄの下方に配置されている。ラインセンサ３０は、複数のＸ線検出素子から構成されている。複数のＸ線検出素子は、搬送ユニット１２による商品Ｇの搬送方向に直交する方向（ベルト１２ｄの幅方向）に沿って一直線に水平に配置されている。

ラインセンサ３０は、透過Ｘ線を検出し、検出された透過Ｘ線の強度に応じた電圧を示すＸ線透過信号を出力する。Ｘ線透過信号は、後述するように、商品Ｇの透過画像（検査画像）の生成に用いられる。図５は、ラインセンサ３０によって検出される透過Ｘ線の強度の例を示すグラフである。グラフの横軸は、ラインセンサ３０上の位置を表す。グラフの縦軸は、ラインセンサ３０が検出した透過Ｘ線の強度を表す。商品Ｇの透過画像では、透過Ｘ線の検出量の多いところが明るく（輝度が高く）表示され、透過Ｘ線の検出量が少ないところが暗く（輝度が低く）表示される。すなわち、商品Ｇの透過画像の明暗（輝度）は、透過Ｘ線の検出量に依存する。図５に示されるように、商品Ｇを透過したＸ線の検出量は、商品Ｇを透過しなかったＸ線の検出量より低い。

また、ラインセンサ３０は、商品ＧがＸ線の扇状の照射範囲Ｘ（図４及び図５を参照）を通過するタイミングを検知するためのセンサとしても機能する。すなわち、ラインセンサ３０は、搬送ユニット１２によって搬送される商品Ｇがラインセンサ３０の上方の位置（照射範囲Ｘと重なる位置）に来たとき、所定の閾値以下の電圧を示すＸ線透過信号（第１信号）を出力する。一方、ラインセンサ３０は、商品Ｇが照射範囲Ｘを通過すると、所定の閾値を上回る電圧を示すＸ線透過信号（第２信号）を出力する。第１信号及び第２信号の出力のタイミングによって、商品Ｇが照射範囲Ｘを通過するタイミングが検出される。

（２−５）モニタ
モニタ４０は、タッチパネル機能付きの液晶ディスプレイである。モニタ４０は、Ｘ線検査装置１０の表示部及び入力部として機能する。モニタ４０には、商品Ｇの検査結果等が表示される。また、モニタ４０には、初期設定、及び、商品Ｇの良否判断に関するパラメータの入力のための画面等が表示される。

Ｘ線検査装置１０の操作者は、モニタ４０を操作して、検査パラメータ及び動作設定情報等を入力することができる。検査パラメータとは、商品Ｇの良否を判定するために必要なパラメータである。具体的には、検査パラメータは、商品Ｇに含まれる異物の有無を判定するために用いられる透過Ｘ線の強度の閾値等である。動作設定情報とは、商品Ｇの検査速度、及び、搬送ユニット１２の搬送方向等の情報である。

モニタ４０は、制御装置５０に接続されており、制御装置５０と信号の送受信を行う。モニタ４０によって入力された検査パラメータ及び動作設定情報は、制御装置５０の記憶部５１に記憶される。

（２−６）制御装置
制御装置５０は、主として、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＨＤＤ（ハードディスクドライブ）等によって構成されている。なお、ＨＤＤの代わりにＳＳＤ（ソリッドステートドライブ）が用いられてもよい。制御装置５０は、図示されない表示制御回路、入力回路及び通信ポート等も備えている。表示制御回路は、モニタ４０の表示を制御する回路である。入力回路は、モニタ４０のタッチパネル及び入力キーを介して操作者によって入力された入力データを取り込む回路である。通信ポートは、プリンタ等の外部機器、及び、ＬＡＮ等のネットワークとの接続を可能にするポートである。

図６は、制御装置５０のブロック図である。制御装置５０は、主として、記憶部５１と、制御部５２とを有する。制御装置５０は、コンベアモータ１２ａ、エンコーダ１２ｂ、Ｘ線照射器２０、ラインセンサ３０及びモニタ４０等に電気的に接続されている。制御装置５０は、エンコーダ１２ｂからコンベアモータ１２ａの回転数に関するデータを取得し、そのデータに基づいて商品Ｇの移動距離を算出する。制御装置５０は、ラインセンサ３０から出力されたＸ線透過信号を受信し、搬送ユニット１２のベルト１２ｄ上の商品ＧがＸ線の照射範囲Ｘに到達したタイミングを検出する。制御装置５０は、透過Ｘ線の強度に基づいて、商品Ｇに含まれる異物の有無を判定して、商品Ｇの良否を判定する。

（２−６−１）記憶部
記憶部５１は、検査パラメータ、動作設定情報、及び、制御部５２が実行する各種プログラムを記憶する。検査パラメータ及び動作設定情報は、モニタ４０のタッチパネル機能を用いて操作者によって入力される。

記憶部５１は、主として、透過画像記憶部５１ａと、教師データ記憶部５１ｂと、特徴量記憶部５１ｃとを有する。

（２−６−１−１）透過画像記憶部
透過画像記憶部５１ａは、後述する透過画像生成部５２ａによって生成された透過画像に関するデータを記憶する。透過画像は、ラインセンサ３０によって検出された透過Ｘ線量に基づいて生成された、商品ＧのＸ線画像である。

図７は、商品Ｇの透過画像の一例を示す図である。商品Ｇは、図３に示されるように、複数の物品Ａが入っている袋Ｂである。物品Ａは、食品である。袋Ｂは、包装用のフィルムである。図７に示されるように、商品Ｇには、異物Ｃが混入されていることがある。異物Ｃは、例えば、プラスチック片及び金属片である。図７に示される透過画像は、複数の画素から構成される。透過画像の各画素は、複数の濃度レベルの内の一つを有する。透過画像の各画素の濃度レベルは、Ｘ線の検出量に対応する。具体的には、画素の濃度レベルが高いほど、当該画素におけるＸ線の検出量は低い。図７では、透過画像の濃度レベルは、ハッチングの間隔で表されている。具体的には、ある領域のハッチングの間隔が狭いほど、その領域を構成する画素の濃度レベルが高い。

図７に示される商品Ｇの透過画像には、物品Ａ、袋Ｂ及び異物Ｃのそれぞれに相当する画素が含まれる。物品Ａは、袋Ｂと比べて、厚みが大きく、Ｘ線が透過しにくい。そのため、物品Ａを透過したＸ線の検出量は、袋Ｂを透過したＸ線の検出量よりも少ない。また、異物Ｃは、通常、物品Ａと比べて、Ｘ線が透過しにくい。そのため、異物Ｃを透過したＸ線の検出量は、物品Ａを透過したＸ線の検出量よりも少ない。従って、図７に示される商品Ｇの透過画像では、物品Ａに相当する画素は、袋Ｂに相当する画素よりも暗く（濃く）表示され、かつ、異物Ｃに相当する画素は、物品Ａに相当する画素よりも暗く（濃く）表示されている。

（２−６−１−２）教師データ記憶部
教師データ記憶部５１ｂは、後述する学習部５２ｃが商品Ｇに関する特徴を取得するために使用する教師データを記憶する。教師データは、主として、透過画像記憶部５１ａに記憶されている透過画像から抽出された画像データ、及び、その他のデータである。その他のデータは、例えば、商品Ｇの透過画像において、複数の物品Ａが互いに重なり合っている領域（重なり領域ＲＯ）に関するデータ、及び、商品Ｇに含まれる異物Ｃが存在する領域に関するデータである。教師データの詳細及び利用方法については、後述する。

（２−６−１−３）特徴量記憶部
特徴量記憶部５１ｃは、後述する検査部５２ｄが商品Ｇの検査のために使用する、商品Ｇの透過画像の特徴量を記憶する。特徴量とは、教師データから抽出されたデータであり、教師データに含まれる特徴を数値化又はベクトル化したデータである。特徴量の詳細及び利用方法については、後述する。

（２−６−２）制御部
制御部５２は、主として、透過画像生成部５２ａと、教師データ取得部５２ｂと、学習部５２ｃと、検査部５２ｄとを有する。これらは、記憶部５１に記憶されているプログラムを実行することによって実現される機能である。

（２−６−２−１）透過画像生成部
透過画像生成部５２ａは、ラインセンサ３０によって検出された透過Ｘ線量に基づいて、商品ＧのＸ線画像（透過画像）を生成する。具体的には、透過画像生成部５２ａは、ラインセンサ３０の各Ｘ線検出素子から出力されるＸ線透過信号を所定の短い時間間隔で取得し、取得したＸ線透過信号に基づいて透過画像を生成する。すなわち、透過画像生成部５２ａは、扇状のＸ線の照射範囲Ｘ（図５参照）を商品Ｇが通過する際に各Ｘ線検出素子から出力されるＸ線透過信号に基づいて、商品Ｇの透過画像を生成する。照射範囲Ｘにおける商品Ｇの有無は、ラインセンサ３０が出力する信号の出力のタイミングにより判断される。

透過画像生成部５２ａは、ラインセンサ３０の各Ｘ線検出素子から得られる透過Ｘ線の強度（輝度）に関する所定の時間間隔ごとのデータをマトリックス状に時系列的につなぎ合わせて、商品Ｇの透過画像を生成する。透過画像生成部５２ａによって生成された透過画像は、透過画像記憶部５１ａに記憶される。

（２−６−２−２）教師データ取得部
教師データ取得部５２ｂは、学習部５２ｃが使用する教師データを取得する。透過画像記憶部５１ａには、異物Ｃを含む商品Ｇの透過画像のデータである異物有り画像データ、及び、異物Ｃを含まない商品Ｇの透過画像のデータである異物無し画像データが予め記憶されている。異物有り画像データ及び異物無し画像データの少なくとも一部は、重なり領域Ｒを有する商品Ｇの透過画像のデータである。教師データ取得部５２ｂは、透過画像記憶部５１ａに記憶されている異物有り画像データ及び異物無し画像データを取得する。なお、教師データ取得部５２ｂは、少なくとも異物有り画像データを取得すればよく、その場合、異物無し画像データを取得しなくてもよい。以下では、教師データ取得部５２ｂは、異物有り画像データ及び異物無し画像データの両方を取得するとする。教師データ取得部５２ｂが取得する異物有り画像データ及び異物無し画像データの数は、多ければ多いほどよい。例えば、教師データ取得部５２ｂは、透過画像記憶部５１ａに予め記憶されている異物有り画像データ及び異物無し画像データをそれぞれ数百枚又は数千枚取得する。

教師データ取得部５２ｂは、商品Ｇの透過画像において、複数の物品Ａが互いに重なり合っている領域（重なり領域ＲＯ）に関するデータである重なり領域データをさらに取得する。重なり領域データとは、商品Ｇの透過画像において、重なり領域ＲＯの位置及び寸法に関するデータである。図８は、異物Ｃを含む商品Ｇの透過画像の一例を示す図である。図８では、１つの重なり領域ＲＯと、当該重なり領域ＲＯを含む最小の矩形領域である重なり矩形ＲＰが示されている。この場合、重なり領域データは、例えば、重なり矩形ＲＰの左上の画素の座標、及び、重なり矩形ＲＰの右下の画素の座標からなる。なお、重なり領域データのフォーマットは、特に限定されない。例えば、重なり領域データは、重なり領域ＲＯを含む最小の円領域の中心及び半径からなってもよく、重なり領域ＲＯの形状に近い多角形の各頂点の座標の集合であってもよく、手動で任意に指定された領域の座標の集合であってもよい。

教師データ取得部５２ｂは、異物Ｃを含む商品Ｇの透過画像において、異物Ｃが存在する領域に関するデータである異物領域データをさらに取得する。異物領域データとは、異物Ｃを含む商品Ｇの透過画像において、異物Ｃに相当する画素を有する領域の位置及び寸法に関するデータである。図８では、異物Ｃに相当する画素を有する領域を含む最小の矩形領域である異物領域ＲＣが示されている。この場合、異物領域データは、異物領域ＲＣの左上の画素の座標、及び、異物領域ＲＣの右下の画素の座標からなる。なお、異物領域データのフォーマットは、特に限定されない。例えば、異物領域データは、異物Ｃに相当する画素を有する領域を含む最小の円領域の中心及び半径からなってもよく、異物Ｃに相当する画素を有する領域の形状に近い多角形の各頂点の座標の集合であってもよく、手動で任意に指定された領域の座標の集合であってもよい。

商品Ｇの透過画像、及び、各透過画像の重なり領域データ及び異物領域データは、モニタ４０のタッチパネル機能等を介して入力されるか、通信ポートを介して外部記憶装置から入力される。重なり領域ＲＯが存在しない場合の重なり領域データ、及び、異物無し画像データの異物領域データには、値が存在しないことを示すＮＵＬＬ値等が設定される。教師データ取得部５２ｂは、商品Ｇの透過画像のデータと、当該透過画像の重なり領域データ及び異物領域データとを関連付けて、教師データとして教師データ記憶部５１ｂに記憶させる。後述するように、教師データ取得部５２ｂが取得する教師データは、いわゆる、教師有り学習で用いられるラベル付き訓練データである。この場合、ラベルは、重なり領域データ及び異物領域データであり、予め入力する必要があるデータである。

（２−６−２−３）学習部
学習部５２ｃは、教師データ記憶部５１ｂに記憶されている教師データを用いる機械学習によって、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴を取得する。学習部５２ｃが実行する機械学習は、いわゆる、ラベル付き訓練データを用いる教師有り学習である。教師有り学習は、多数のラベル付き訓練データを解析して、ラベルに関する特徴を学習する方法である。教師有り学習では、種種のニューラルネットワークモデルが利用可能である。

学習部５２ｃは、商品Ｇの透過画像のデータと、当該透過画像の重なり領域データ及び異物領域データとが関連付けられた多数の教師データを解析する。これにより、学習部５２ｃは、教師データに含まれる異物有り画像データ及び異物無し画像データの特徴量を取得する。学習部５２ｃが取得する特徴量は、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴に関するデータである。特徴量のフォーマットは、手動で予め設計されている。学習部５２ｃは、商品Ｇの異物混入検査を行う前に教師データを解析して特徴量を取得して、取得した特徴量を特徴量記憶部５１ｃに記憶させる。

（２−６−２−４）検査部
検査部５２ｄは、学習部５２ｃが取得した特徴量を用いて、商品Ｇを検査する。具体的には、検査部５２ｄは、特徴量記憶部５１ｃに記憶されている特徴量を用いて、異物混入検査の対象となる未検査の商品Ｇの透過画像のデータを、異物有り画像データと異物無し画像データとに分類する。

検査部５２ｄは、商品Ｇの検査結果に基づいて、商品Ｇに関する良品／不良品の判定を行う。検査部５２ｄは、未検査の商品Ｇの透過画像のデータが異物無し画像データであり、商品Ｇに異物Ｃが含まれていないと判断した場合に、商品Ｇを良品と判定する。一方、検査部５２ｄは、未検査の商品Ｇの透過画像のデータが異物有り画像データであり、商品Ｇに異物Ｃが含まれていると判断した場合に、商品Ｇを不良品と判定する。

検査部５２ｄは、商品Ｇの良品／不良品を判定すると、商品Ｇが良品／不良品のいずれかであるのかに関する信号を出力する。検査部５２ｄによって出力された信号は、振り分け機構７０に送られる。振り分け機構７０は、検査部５２ｄによる判定結果に基づき、良品である商品Ｇを後段コンベア８０へ送り、不良品である商品Ｇを不良品排出方向９０，９１に振り分ける。

（３）Ｘ線検査装置の動作
Ｘ線検査装置１０の制御装置５０が、教師データを利用する機械学習によって取得した特徴量を用いて、商品Ｇを検査する処理について説明する。図９は、制御装置５０が商品Ｇを検査する処理のフローチャートである。

ステップＳ１では、教師データの取得が行われる。具体的には、異物有り画像データ及び異物無し画像データが、重なり領域データ及び異物領域データと関連付けられて、制御装置５０に入力される。教師データ取得部５２ｂは、入力されたデータから、教師データとして利用可能なデータを取得して、教師データ記憶部５１ｂに記憶させる。なお、異物有り画像データ及び異物無し画像データとして、透過画像記憶部５１ａに既に記憶されている商品Ｇの透過画像のデータが用いられてもよい。この場合、重なり領域データ及び異物領域データが、商品Ｇの透過画像のデータと関連付けられて入力される。

ステップＳ２では、教師データを利用する機械学習の実行が行われる。具体的には、制御装置５０の学習部５２ｃは、ステップＳ１で取得された教師データであるラベル付き訓練データを解析して、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴に関するデータである、商品Ｇの透過画像の特徴量を取得する。商品Ｇの透過画像の特徴量は、特徴量記憶部５１ｃに記憶される。ステップＳ１及びステップＳ２は、準備段階であり、未検査の商品Ｇの検査を実行する前に行われる。

ステップＳ３では、商品Ｇの検査が行われる。具体的には、制御装置５０の検査部５２ｄは、透過画像生成部５２ａによって生成された未検査の商品Ｇの透過画像に関するデータと、ステップＳ２で取得された特徴量とに基づいて、未検査の商品Ｇの透過画像に関するデータから、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴を抽出して、異物有り画像データと異物無し画像データとに分類する。その後、検査部５２ｄは、商品Ｇの検査結果に基づいて、商品Ｇに関する良品／不良品の判定を行う。

（４）特徴
本実施形態のＸ線検査装置１０は、教師データを利用する機械学習を実行して、複数の物品Ａが重なり合っている状態の商品Ｇの特徴に関するデータを取得し、当該特徴に基づいて商品Ｇの検査を行う。教師データは、商品Ｇの透過画像において、複数の物品Ａが互いに重なり合っている領域（重なり領域ＲＯ）に関するデータ、及び、商品Ｇに含まれる異物Ｃが存在する領域に関するデータを含む。これにより、Ｘ線検査装置１０は、異物混入検査の対象となる未検査の商品Ｇの透過画像のデータから、重なり領域ＲＯを高精度で取得することができる。そのため、Ｘ線検査装置１０は、未検査の商品Ｇの透過画像を解析する際に、商品Ｇの透過画像に含まれる重なり領域ＲＯと、商品Ｇの透過画像に含まれる異物Ｃが存在する領域とを混同して、誤った検査結果を取得してしまうことを抑制することができる。

商品ＧにＸ線を照射する場合、複数の物品Ａが重なり合っている部分は、重なり合っていない部分に比べてＸ線が透過しにくい。そのため、商品Ｇの透過画像において、重なり領域ＲＯの画素は、重なり領域ＲＯ以外の物品Ａに相当する画素よりも、暗く表示される。そのため、物品Ａの重なり具合によっては、重なり領域ＲＯの画素が、商品Ｇに含まれる異物Ｃに相当する画素と、同程度に暗く表示されることがある。物品Ａの重なり具合に応じて透過画像の輝度の閾値を設定して物品Ａの重なり具合を判定する場合、重なり領域ＲＯの画素と、異物Ｃに相当する画素とを、輝度のみに基づいて区別することは困難な場合がある。そのため、重なり領域ＲＯと異物Ｃが存在する領域とが誤って判定されることにより、商品Ｇの検査精度が低下するおそれがある。特に、物品Ａの重なり具合が大きくなるほど、商品Ｇの検査精度が低下する傾向がある。

本実施形態のＸ線検査装置１０は、上述したように、教師データを利用する機械学習を実行して取得した特徴に基づいて商品Ｇを検査することで、商品Ｇを検査する際に、商品Ｇの透過画像に含まれる重なり領域ＲＯと異物Ｃが存在する領域とを混同することを抑制することができる。これにより、Ｘ線検査装置１０は、異物Ｃを含まない商品Ｇを不良品と誤って判定することを抑制することができる。従って、Ｘ線検査装置１０は、互いに重なり合うことがある複数の物品Ａを含む商品Ｇの検査精度の低下を抑制することができる。

（５）変形例
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。

（５−１）変形例Ａ
実施形態では、教師データ取得部５２ｂは、異物Ｃを含む商品Ｇの透過画像のデータである異物有り画像データ、及び、異物Ｃを含まない商品Ｇの透過画像のデータである異物無し画像データを、重なり領域データ及び異物領域データと関連付けて、教師データとして取得する。しかし、教師データ取得部５２ｂは、異物有り画像データの代わりに、異物Ｃを含まない商品Ｇの透過画像に仮想的な異物ＶＣの画像を組み込んだ画像のデータである仮想異物有り画像データを取得してもよい。仮想異物有り画像データは、例えば、異物Ｃを含まない商品Ｇの透過画像の任意の場所に、仮想的な異物ＶＣの画像を手動で追加して生成してもよく、また、異物Ｃを含まない商品Ｇの透過画像に仮想的な異物ＶＣの画像を自動で追加するプログラムを実行して生成してもよい。仮想的な異物ＶＣの画像は、例えば、実際の異物Ｃの透過画像と同程度の輝度を有する画素の集合である。

本変形例では、仮想異物有り画像データは、異物有り画像データと同じように利用される。すなわち、教師データ取得部５２ｂは、仮想異物有り画像データを、重なり領域データ及び異物領域データと関連付けて、教師データとして取得する。仮想異物有り画像データが自動で生成される場合、仮想的な異物ＶＣが存在する領域の位置及び寸法に関する異物領域データは自動で取得可能であるので、異物領域データを入力する必要はない。学習部５２ｃは、仮想異物有り画像データを含む教師データを用いて、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴を取得する。これにより、学習部５２ｃは、仮想異物有り画像データ及び異物無し画像データの特徴量を取得する。検査部５２ｄは、学習部５２ｃが取得した特徴量に基づいて、未検査の商品Ｇの透過画像を、異物有り画像データと異物無し画像データとに分類する。

本変形例では、仮想異物有り画像データを用いるため、異物有り画像データに関する教師データを準備する必要がない。そのため、教師データの準備のために、実際の異物Ｃを含む商品Ｇを用意する必要がないため、教師データの準備に要する時間を短縮することができる。特に、仮想異物有り画像データを自動で生成する場合、教師データの準備に要する時間をより短縮することができる。従って、Ｘ線検査装置１０は、機械学習を利用する商品Ｇの検査を効率的に行うことができる。

なお、本変形例では、教師データ取得部５２ｂは、異物有り画像データと共に、仮想異物有り画像データを取得してもよい。すなわち、教師データ取得部５２ｂは、実施形態の異物有り画像データを含む教師データ、及び、仮想異物有り画像データを含む教師データの両方を取得してもよい。

また、本変形例では、教師データ取得部５２ｂは、異物無し画像データとして、仮想異物無し画像データを取得してもよい。仮想異物無し画像データは、異物有り画像データの異物以外の領域の特徴に基づいて作成することができる。また、仮想異物無し画像データを自動生成するプログラムを用いて、仮想異物無し画像データを作成してもよい。仮想異物無し画像データを自動生成するプログラムとは、例えば、物品Ａの複数の画像をランダムに組み合せて商品Ｇの画像と同様の画像データ（仮想異物無し画像データ）を生成するプログラム、及び、複数の商品Ｇの画像を合成処理することで仮想異物無し画像データを自動生成するプログラムである。教師データ取得部５２ｂが仮想異物無し画像データを取得することで、教師データの入力の手間を省くことができる。

（５−２）変形例Ｂ
実施形態では、Ｘ線検査装置１０は、商品Ｇの異物混入検査を行い、検査結果に基づいて商品Ｇを良品又は不良品に分類する。しかし、Ｘ線検査装置１０は、商品Ｇの異物混入検査の代わりに、又は、商品Ｇの異物混入検査と共に、商品Ｇに収容されている物品Ａの数を検査する個数検査を行ってもよい。

本変形例では、教師データ記憶部５１ｂは、商品Ｇの透過画像に関するデータと、商品Ｇに含まれる商品Ａの数に関するデータである個数データとを関連付けて、教師データとして記憶する。個数データは、モニタ４０のタッチパネル機能及び通信ポート等を介して制御装置５０に予め入力される。学習部５２ｃは、個数データを含む教師データを用いて、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴を取得して、商品Ｇの透過画像に関するデータの特徴量を取得する。検査部５２ｄは、学習部５２ｃが取得した特徴量に基づいて、未検査の商品Ｇの透過画像から、商品Ｇに含まれる物品Ａの数を取得する。そして、検査部５２ｄは、商品Ｇの検査結果に基づいて、商品Ｇに関する良品／不良品の判定を行う。具体的には、検査部５２ｄは、商品Ｇに含まれる物品Ａの数が所定の値と等しい場合、商品Ｇを良品と判定し、等しくない場合、商品Ｇを不良品と判定する。

（５−３）変形例Ｃ
実施形態では、Ｘ線検査装置１０は、教師データを利用する機械学習によって取得した、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴に基づいて、商品Ｇの検査を行う。しかし、Ｘ線検査装置１０は、機械学習を利用する検査に加えて、機械学習を利用しない検査をさらに行ってもよい。この場合、Ｘ線検査装置１０は、教師データを利用する機械学習によって商品Ｇに含まれている異物Ｃの有無を判定すると共に、機械学習を利用せずに商品Ｇの透過画像のみに基づいて商品Ｇに含まれている異物Ｃの有無を判定する。

商品Ｇの透過画像のみに基づく商品Ｇの異物判定処理には、従来の画像処理アルゴリズムが利用可能である。例えば、検査部５２ｄは、異物Ｃを表す画素領域が商品Ｇの透過画像に含まれていると判断した場合に、商品Ｇに異物Ｃが含まれていると判断する。異物Ｃを表す画素領域は、例えば、所定の範囲の輝度を有する画素から構成され、かつ、所定の画素数を有する画素領域である。この場合、検査部５２ｄは、機械学習を利用する商品Ｇの検査では商品Ｇを良品と判定しても、機械学習を利用しない商品Ｇの検査では商品Ｇを不良品と判定した場合、商品Ｇを不良品と判定してもよい。

実施形態における機械学習を利用する商品Ｇの検査では、例えば、検査部５２ｄが、商品Ｇを検査する際に、商品Ｇの透過画像に含まれる重なり領域ＲＯと異物Ｃが存在する領域とを混同して、商品Ｇに関する良品／不良品の判定の精度に影響を与える可能性がある。本変形例では、Ｘ線検査装置１０は、機械学習を利用する画像処理技術と、機械学習を利用しない画像処理技術とを組み合わせて商品Ｇを検査することで、商品Ｇの検査の信頼性を向上させることができる。なお、機械学習を利用しない商品Ｇの検査では、機械学習を利用しない画像処理技術同士を組み合わせた判定を行ってもよい。これにより、商品Ｇの検査の信頼性をさらに向上させることが可能となる。

（５−４）変形例Ｄ
実施形態では、Ｘ線検査装置１０は、教師データを利用する機械学習によって取得した、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴に基づいて、商品Ｇの検査を行う。しかし、Ｘ線検査装置１０は、機械学習を用いて取得した複数の検査結果に基づいて、商品Ｇの最終的な検査結果を取得してもよい。この場合、複数の検査結果は、互いに異なる複数のニューラルネットワークモデルを用いた教師有り学習によって取得される。検査部５２ｄは、例えば、複数の機械学習アルゴリズムを用いて商品Ｇの検査を行い、複数の検査結果に基づいて商品Ｇの最終的な検査結果を取得する。

次に、本変形例における商品Ｇの最終的な検査結果の取得方法の具体例について説明する。図１０は、本変形例における商品Ｇの透過画像の一例である。検査部５２ｄは、２種類の機械学習アルゴリズムを用いて、商品Ｇの検査結果を２つ取得する。以下、取得した２つの検査結果を、第１検査結果及び第２検査結果と呼ぶ。図１０において、第１検査結果では、実線で囲まれた検査領域Ｒ１，Ｒ２に異物Ｃが存在すると判定され、第２検査結果では、点線で囲まれた検査領域Ｒ３に異物Ｃが存在すると判定されたと仮定する。実際には、検査領域Ｒ１及び検査領域Ｒ３に異物Ｃが存在し、検査領域Ｒ２に異物Ｃが存在しない。

複数の機械学習アルゴリズムを用いる商品Ｇの検査では、各検査領域Ｒ１〜Ｒ３には確信度のパラメータが設定される。確信度とは、各検査領域Ｒ１〜Ｒ３に異物Ｃが存在する可能性を表すパラメータである。確信度の最小値は０であり、最大値は１である。ある検査領域の確信度が大きいほど、当該検査領域に異物Ｃが存在する可能性が高い。図１０において、第１検査結果の検査領域Ｒ１の確信度は０．９であり、第１検査結果の検査領域Ｒ２の確信度は０．８であり、第２検査結果の検査領域Ｒ３の確信度は０．７であるとする。この場合、検査部５２ｄは、第１検査結果及び第２検査結果から、商品Ｇの最終的な検査結果を、以下に説明する方法で取得する。

異なる検査結果の検査領域が互いに重なり合っている場合、互いに重なり合っている検査領域の確信度の平均に、検査領域の重なり具合に応じた１以上の係数を乗じて、最終的な確信度を取得する。図１０の場合、検査領域Ｒ１と検査領域Ｒ３とが重なり合っているので、検査領域Ｒ１の確信度０．９と検査領域Ｒ３の確信度０．７との平均０．８に、係数１．２を乗じた０．９６が、検査領域Ｒ１及び検査領域Ｒ３の最終的な確信度となる。この場合の係数は、検査領域の重なり具合、すなわち、互いに重なり合っている検査領域の数が大きいほど高い。例えば、２つの検査領域が重なり合っている場合、係数は１．２であり、３つの検査領域が重なり合っている場合、係数は１．５である。

一方、ある検査結果の検査領域が、他の検査結果の検査領域と重なり合っていない場合、当該検査領域の確信度に、１未満の係数を乗じて、最終的な確信度を取得する。図１０の場合、検査領域Ｒ２は、他の検査結果の検査領域と重なり合っていないので、検査領域Ｒ２の確信度０．８に、係数０．９を乗じた０．７２が、検査領域Ｒ２の最終的な確信度となる。この場合の係数は、１未満の任意の値が設定される。

そして、検査部５２ｄは、所定の閾値以上の最終的な確信度を有する検査領域に異物Ｃが存在すると判定する。図１０の場合、所定の閾値が０．９５であるとすると、検査部５２ｄは、閾値０．９５以上の最終的な確信度０．９６を有する検査領域Ｒ１及び検査領域Ｒ３に異物Ｃが存在すると判定する。このように、検査部５２ｄは、複数の検査結果に基づく多数決により、商品Ｇの最終的な検査結果を取得することで、商品Ｇの検査の信頼性を向上させることができる。

なお、本変形例では、検査部５２は、教師データを利用する機械学習によって取得した商品Ｇに関する特徴を用いた場合の商品Ｇの検査結果と、商品Ｇに関する特徴を用いない場合の商品Ｇの検査結果とからなる複数の検査結果に基づいて、商品Ｇの最終的な検査結果を取得してもよい。この場合、検査部５２は、図１０を参照しながら説明した上記の方法を用いて、複数の検査結果に基づく多数決により、商品Ｇの最終的な検査結果を取得する。

（５−５）変形例Ｅ
実施形態及び他の変形例では、Ｘ線検査装置１０は、教師データを利用する機械学習によって取得した、複数の物品Ａが重なり合っている状態の商品Ｇに関する特徴に基づいて、商品Ｇの検査を行う。学習部５２ｃが実行する機械学習は、教師有り学習である。教師有り学習は、多数のラベル付き訓練データを解析して、所定の特徴量を学習する方法である。教師有り学習では、特徴量のフォーマットを手動で予め設計しておく必要がある。

しかし、学習部５２ｃが実行する機械学習は、ラベル付き訓練データを用いない学習であってもよい。例えば、学習部５２ｃは、深層学習のアルゴリズムを用いて、多数の商品Ｇの透過画像から、異物有り画像データ及び異物無し画像データの特徴量を自動で抽出してもよい。この場合、特徴量のフォーマットを手動で予め設計しておく必要がない。そのため、異物有り画像データと異物領域データとを関連付けた教師データを用意する必要がなく、教師データの準備に要する時間を短縮することができる。従って、Ｘ線検査装置１０は、商品Ｇの透過画像に関するデータから特徴量を自動で抽出するアルゴリズムを用いることで、機械学習を利用する商品Ｇの検査を効率的に行うことができる。

（５−６）変形例Ｆ
実施形態では、本発明に係る検査装置は、Ｘ線を用いて商品Ｇの異物混入検査を行うＸ線検査装置１０である。しかし、本発明に係る検査装置は、Ｘ線検査装置１０に限られない。例えば、検査装置は、食品製造工程で一般的に用いられる光による異物検査装置であれば、赤外線、紫外線および可視光等を用いて商品Ｇの異物混入検査を行う装置であってもよい。

（５−７）変形例Ｇ
実施形態及び他の変形例では、Ｘ線検査装置１０は、商品Ｇに光（Ｘ線）を照射し、商品Ｇを透過した光から得られた透過画像（検査画像）に基づいて商品Ｇを検査する。しかし、Ｘ線検査装置１０は、商品Ｇに光（Ｘ線）を照射し、商品Ｇに反射した光から得られた検査画像に基づいて商品Ｇを検査してもよい。この場合、ラインセンサ３０は、搬送ユニット１２によって搬送された商品Ｇに反射したＸ線を検出する。

本発明に係る検査装置は、例えば、食品等の商品にＸ線等の光を照射して商品の検査を行うＸ線検査装置として利用可能である。

１０ Ｘ線検査装置（検査装置）
５１ 記憶部
５２ｃ 学習部
５２ｄ 検査部
Ｇ 商品
Ａ 物品
Ｃ 異物
ＶＣ 仮想的な異物

特開２００２―２２８７６１号公報

Claims (8)

1. 所定の形状の複数の物品が収容された商品に光を照射し、前記商品を透過した光、又は、前記商品に反射した光から得られた検査画像に基づいて前記商品を検査する検査装置であって、
   複数の前記物品が重なり合っている状態の前記商品の前記検査画像を少なくとも教師画像として記憶する記憶部と、
   前記記憶部に記憶されている前記教師画像を用いる機械学習によって、複数の前記物品が重なり合っている状態の前記商品に関する特徴を取得する学習部と、
   前記学習部が取得した前記特徴を用いて前記商品を検査する検査部と、
   を備える、検査装置。
2. 前記検査部は、前記商品に含まれている異物の有無を検査する、
   請求項１に記載の検査装置。
3. 前記記憶部は、異物を含む前記商品の前記検査画像を少なくとも前記教師画像として記憶し、
   前記学習部は、前記教師画像と、前記教師画像において前記商品に含まれる異物が存在する領域とを用いる機械学習によって、前記特徴を取得する、
   請求項２に記載の検査装置。
4. 前記記憶部は、異物を含まない前記商品の前記検査画像に仮想的な異物の画像を組み込んだ画像を少なくとも前記教師画像として記憶し、
   前記学習部は、前記教師画像と、前記教師画像において前記仮想的な異物が存在する領域とを用いる機械学習によって、前記特徴を取得する、
   請求項２又は３に記載の検査装置。
5. 前記検査部は、前記商品に収容されている前記物品の数を検査する、
   請求項１〜４のいずれか１項に記載の検査装置。
6. 前記学習部は、前記教師画像と、前記教師画像において前記商品に収容されている前記物品の数とを用いる機械学習によって、前記特徴を取得する、
   請求項５に記載の検査装置。
7. 前記検査部は、さらに、前記特徴を用いずに前記検査画像に基づいて前記商品を検査する、
   請求項１〜６のいずれか１項に記載の検査装置。
8. 前記検査部は、前記特徴を用いた場合の前記商品の検査結果と、前記特徴を用いない場合の前記商品の検査結果とに基づいて、前記商品を検査する、
   請求項７に記載の検査装置。

Images