JP7250330B2 - 検査装置及び学習装置 - Google Patents

Description

本開示は、検査装置及び学習装置に関する。

従来、デュアルエナジーセンサを有するＸ線検査装置によって、被検査物（例えば食肉）に混入した異物（例えば骨）の検出（異物検査）を行う技術が知られている（例えば特許文献１参照）。上記Ｘ線検査装置は、被検査物のソフト画像（被検査物を透過した低エネルギー帯のＸ線に基づく画像）及びハード画像（被検査物を透過した高エネルギー帯のＸ線に基づく画像）を取得し、得られたソフト画像及びハード画像に対して適切な差分処理を行うことにより、被検査物と異なるＸ線吸収特性を有する異物を抽出する。

具体的には、上記Ｘ線検査装置は、被検査物に対応する部分の明るさ（濃淡値、輝度）が同じになるようにソフト画像及びハード画像の明るさを合わせた上で、各画素についてソフト画像とハード画像との差分を取る。これにより、理想的には、背景（被検査物）に対応する画素の濃淡値が小さく、異物に対応する画素の濃淡値が大きい差分画像が得られる。そして、差分画像の各画素の濃淡値を所定の閾値で二値化することにより、被検査物が除去されて異物が浮かび上がった画像を得ることができる。

特許第５８７６１１６号公報

しかしながら、被検査物が複数の物質の混合物である（例えば、食肉は主成分としてＣ，Ｈ，Ｎ，Ｏ等を含む）ことや、Ｘ線画像を撮像する際に十分なシグナル（光子の数）が得られないといった理由により、上記差分画像において被検査物を完全に除去することは困難である。すなわち、上記差分画像は、ノイズ（実際には異物ではないが濃淡値が比較的大きい部分）を含み得る。このため、ノイズを異物であると検出してしまうこと（誤検出）を防止するために上記閾値を大きく設定した場合、異物の検出漏れが生じ易くなるという問題が生じる。一方、検出漏れを防止するために上記閾値を小さく設定した場合、上記誤検出が生じ易くなるという問題が生じる。ノイズが少ない高精度な差分画像を得ることで上述した問題は解消され得るが、差分画像を得るために用いられる古典的な演算（除算、減算等）の性質上、差分画像の精度を向上させることには限界がある。

そこで、本開示は、デュアルエナジー方式による異物の検出精度を向上させることができる検査装置及び学習装置を提供することを目的とする。

本開示の一側面に係る検査装置は、同一の被検査物を透過した第１エネルギー帯の電磁波に基づく第１画像と、被検査物を透過した第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく第２画像と、のセットを取得する画像取得部と、予め構成された機械学習モデルに第１画像及び第２画像を入力することにより、画素毎の異物である確からしさを示す異物尤度を取得し、画素毎の異物尤度に基づいて異物を検出する検出部と、を備える。

２つの異なるエネルギー帯の電磁波（例えばＸ線）に基づく透過画像を用いた従来の異物検査（いわゆるデュアルエナジー方式による異物検査）においては、第１画像と第２画像との間で被検査物に対応する部分（異物ではない部分）の濃淡値を合わせた上で各画素の濃淡値の差分を計算する差分処理が行われていた。このような差分処理により、異物に対応する画素の濃淡値が異物に対応しない画素の濃淡値よりも大きくなるように加工された差分画像が取得され、当該差分画像に基づいて異物の検出が行われていた。しかし、差分処理に用いられる古典的な演算（除算、減算等）の性質上、差分画像には一定のノイズ（実際には異物ではないが濃淡値が比較的大きい部分）が含まれてしまうため、当該ノイズに起因して異物の誤検出又は検出漏れが発生することがあった。これに対して、本開示の一側面に係る検査装置では、機械学習モデルによって、上記差分処理に代わる処理（すなわち、機械学習によって決定されたパラメータに基づく処理）を実行することができる。これにより、上記差分処理に起因するノイズの発生を回避することができる。その結果、デュアルエナジー方式による異物の検出精度を向上させることができる。

機械学習モデルは、第１画像及び第２画像を入力して１つの検査用画像を出力するように構成された第１機械学習モデルと、第１機械学習モデルにより出力された検査用画像を入力して画素毎の異物尤度を出力するように構成された第２機械学習モデルと、を含んでもよい。上記構成によれば、第１画像と第２画像とから１つの差分画像を得る従来の差分処理に対応して、第１画像と第２画像とから１つの検査用画像を得る処理が実行される。すなわち、第１機械学習モデルにより、従来の差分処理に代えて、より高度な処理が実行される。その結果、デュアルエナジー方式による異物の検出精度を一層効果的に向上させることができる。

第１機械学習モデルは、第１画像及び第２画像を入力して、各画素に関連付けられる値の数である深さが２以上である経過画像を生成し、経過画像に基づいて深さが１である検査用画像を出力してもよい。上記構成によれば、第１機械学習モデルを用いて検査用画像を得る過程に経過画像を生成する工程を含めることにより、検査用画像の生成に影響を及ぼす第１機械学習モデルのパラメータ数（すなわち、検査用画像を生成するルールの調整幅）を確保できる。その結果、機械学習モデルの学習において、第２機械学習モデルにより出力される画素毎の異物尤度の精度を高くすることが可能な検査用画像を出力するように、第１機械学習モデルを適切に調整することが可能となる。

上記検査装置は、それぞれ互いに関連する所定位置に異物が配置された第１画像及び第２画像と所定位置に対応する画素を示す正解データとを含む教師データを機械学習モデルに入力することにより、機械学習モデルを学習させる学習部を更に備え、学習部は、機械学習モデルに教師データにおける第１画像及び第２画像を入力し、機械学習モデルにより出力された画素毎の異物尤度から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように機械学習モデルのパラメータを調整してもよい。上記構成によれば、第１画像と第２画像と正解データとを含む教師データを用いて、機械学習モデルの予測結果（画素毎の異物尤度）の精度が向上するように、機械学習モデルを適切に学習させることができる。

上記検査装置は、それぞれ互いに関連する所定位置に異物が配置された第１画像及び第２画像と所定位置に対応する画素を示す正解データとを含む教師データを機械学習モデルに入力することにより、機械学習モデルを学習させる学習部を更に備え、学習部は、第１機械学習モデルに教師データにおける第１画像及び第２画像を入力し、第２機械学習モデルにより出力された画素毎の異物尤度から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように、少なくとも第１機械学習モデルの第１パラメータを調整し、第１パラメータの調整により、第１機械学習モデルが出力する検査用画像が変化してもよい。上記構成によれば、第１機械学習モデルの第１パラメータを、最終的に得られる第２機械学習モデルの予測結果（画素毎の異物尤度）の精度が向上するように、効果的に調整することができる。

学習部は、第２機械学習モデルにより出力された画素毎の異物尤度から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように、第１パラメータと共に第２機械学習モデルの第２パラメータを同時に調整してもよい。上記構成によれば、互いに結合された第１機械学習モデル及び第２機械学習モデルの両方のパラメータを、最終的に得られる第２機械学習モデルの予測結果（画素毎の異物尤度）の精度が向上するように、効果的に調整することができる。

第１画像及び第２画像の各々は、第１エネルギー帯及び第２エネルギー帯において異物を含んでいない被検査物が撮像された画像に対して、一以上の画素を含む領域に形成された仮想的な異物を示す仮想異物画像が配置された画像であってもよい。上記構成によれば、異物を含まないと想定される被検査物の画像に人工的な仮想異物画像を付加することにより、機械学習モデルの学習のために必要となる教師データを適切かつ容易に作成できる。

本開示の一側面に係る学習装置は、それぞれ互いに関連する所定位置に異物が配置された第１画像及び第２画像であって、同一の被検査物を透過した第１エネルギー帯の電磁波に基づく該第１画像と、被検査物を透過した第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく該第２画像と、のセットを取得する画像取得部と、第１画像、第２画像、及び所定位置に対応する画素を示す正解データを含む教師データを用いて機械学習を実行することにより、第１画像及び第２画像を入力して画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部と、を備える。

上記学習装置によれば、上記差分処理に代わる処理（すなわち、機械学習によって決定されたパラメータに基づく処理）を実行することが可能な機械学習モデル（学習済みモデル）を得ることができる。

本開示によれば、デュアルエナジー方式による異物の検出精度を向上させることができる検査装置及び学習装置を提供することができる。

一実施形態のＸ線検査装置の構成図である。 図１に示されるシールドボックスの内部の構成図である。 制御部の機能構成図である。 （Ａ）はソフト画像の一例であり、（Ｂ）はハード画像の一例である。 機械学習モデルの一例を示す図である。 第１ニューラルネットワークの処理構成の一例を示す図である。 学習フェーズにおけるＸ線検査装置の動作例を示すフローチャートである。 検査フェーズにおけるＸ線検査装置の動作例を示すフローチャートである。 変形例に係るＸ線検査装置及び一実施形態の学習装置の構成図である。

以下、本開示の実施形態について図面を参照しながら説明する。各図において同一又は相当の部分には同一の符号を付し、重複する説明を省略する。

図１に示されるように、Ｘ線検査装置１（検査装置）は、装置本体２と、支持脚３と、シールドボックス４と、搬送部５と、Ｘ線照射部６と、Ｘ線検出部７と、表示操作部８と、制御部１０と、を備える。Ｘ線検査装置１は、物品Ｇ（被検査物）を搬送しつつ物品ＧのＸ線透過画像を生成し、当該Ｘ線透過画像に基づいて物品Ｇの検査（例えば、収納数検査、異物検査、欠品検査、割れ欠け検査等）を行う。検査前の物品Ｇは、搬入コンベア５１によってＸ線検査装置１に搬入される。検査後の物品Ｇは、搬出コンベア５２によってＸ線検査装置１から搬出される。Ｘ線検査装置１によって不良品と判定された物品Ｇは、搬出コンベア５２の下流に配置された振分装置（図示省略）によって生産ライン外に振り分けられる。Ｘ線検査装置１によって良品と判定された物品Ｇは、当該振分装置をそのまま通過する。本実施形態では、物品Ｇは食肉である。

装置本体２は、制御部１０等を収容している。支持脚３は、装置本体２を支持している。シールドボックス４は、装置本体２に設けられている。シールドボックス４は、外部へのＸ線（電磁波）の漏洩を防止する。シールドボックス４の内部には、Ｘ線による物品Ｇの検査が実施される検査領域Ｒが設けられている。シールドボックス４には、搬入口４ａ及び搬出口４ｂが形成されている。検査前の物品Ｇは、搬入コンベア５１から搬入口４ａを介して検査領域Ｒに搬入される。検査後の物品Ｇは、検査領域Ｒから搬出口４ｂを介して搬出コンベア５２に搬出される。搬入口４ａ及び搬出口４ｂのそれぞれには、Ｘ線の漏洩を防止するＸ線遮蔽カーテン（図示省略）が設けられている。

搬送部５は、シールドボックス４の中央を貫通するように配置されている。搬送部５は、搬入口４ａから検査領域Ｒを介して搬出口４ｂまで、搬送方向Ａに沿って物品Ｇを搬送する。搬送部５は、例えば、搬入口４ａと搬出口４ｂとの間に掛け渡されたベルトコンベアである。なお、ベルトコンベアである搬送部５は、搬入口４ａ及び搬出口４ｂよりも外側に突出していてもよい。

図１及び図２に示されるように、Ｘ線照射部６は、シールドボックス４内に配置されている。Ｘ線照射部６は、搬送部５によって搬送される物品ＧにＸ線を照射する。Ｘ線照射部６は、例えば、Ｘ線を出射するＸ線管と、Ｘ線管から出射されたＸ線を搬送方向Ａに垂直な面内において扇状に広げる絞り部と、を有している。Ｘ線照射部６から照射されるＸ線には、低エネルギー（長波長）から高エネルギー（短波長）までの様々なエネルギー帯のＸ線が含まれている。なお、上述した低エネルギー帯及び高エネルギー帯における「低」及び「高」は、Ｘ線照射部６から照射される複数のエネルギー帯の中で相対的に「低い」及び「高い」ことを示すものであり、特定の範囲を示すものではない。

Ｘ線検出部７は、シールドボックス４内に配置されている。Ｘ線検出部７は、物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７は、低エネルギー帯（第１エネルギー帯）のＸ線及び高エネルギー帯（第２エネルギー帯）のＸ線を検出するように構成されている。すなわち、Ｘ線検出部７は、第１ラインセンサ１１と、第２ラインセンサ１２と、を有している。第１ラインセンサ１１及び第２ラインセンサ１２は、それぞれ、搬送方向Ａに垂直な水平方向に沿って一次元に配列されたＸ線検出素子によって構成されている。第１ラインセンサ１１は、物品Ｇ及び搬送部５の搬送ベルトを透過した低エネルギー帯のＸ線を検出する。第２ラインセンサ１２は、物品Ｇ、搬送部５の搬送ベルト及び第１ラインセンサ１１を透過した高エネルギー帯のＸ線を検出する。

図１に示されるように、表示操作部８は、装置本体２に設けられている。表示操作部８は、各種情報を表示すると共に、各種条件の入力を受け付ける。表示操作部８は、例えば、液晶ディスプレイであり、タッチパネルとしての操作画面を表示する。この場合、オペレータは、表示操作部８を介して各種条件を入力することができる。

制御部１０は、装置本体２内に配置されている。制御部１０は、Ｘ線検査装置１の各部（本実施形態では、搬送部５、Ｘ線照射部６、Ｘ線検出部７、及び表示操作部８、並びに、Ｘ線検査装置１の下流に配置される図示しない振分装置）の動作を制御する。なお、振分装置は、Ｘ線検査装置１による画像検査で不良品と判定された被検査物（物品）を搬送路上から排除する装置である。制御部１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ、及びＳＳＤ（Solid State Drive）等のストレージを備える。ＲＯＭには、Ｘ線検査装置１を制御するためのプログラムが記録されている。制御部１０には、Ｘ線検出部７の第１ラインセンサ１１から低エネルギー帯のＸ線の検出結果が入力されると共に、Ｘ線検出部７の第２ラインセンサ１２から高エネルギー帯のＸ線の検出結果が入力される。

図３に示されるように、制御部１０は、画像取得部１０１と、学習部１０２と、機械学習モデル１０３と、検出部１０４と、を備える。機械学習モデル１０３は、物品Ｇを透過した低エネルギー帯のＸ線に基づくソフト画像（第１画像）と、物品Ｇを透過した高エネルギー帯のＸ線に基づくハード画像（第２画像）とから、物品Ｇに異物が含まれている場合に当該異物の位置を予測するモデルである。本実施形態では、異物として、物品Ｇ（食肉）中に含まれる骨が主に想定されている。

制御部１０は、学習フェーズ及び検査フェーズの両方を実行するように構成されている。学習フェーズは、教師データを用いて機械学習モデル１０３の学習を行うフェーズである。すなわち、学習フェーズは、教師データを用いた機械学習を実行することにより、学習済みモデルとしての機械学習モデル１０３を構築するフェーズである。機械学習モデル１０３に用いられる機械学習の例としては、（多層）ニューラルネットワーク（深層学習／ディープラーニング）、サポートベクターマシン、遺伝的アルゴリズム等が挙げられる。検査フェーズは、学習フェーズにより構築された機械学習モデル１０３を用いて、検査対象である物品Ｇの異物検査を実行するフェーズである。本実施形態では、画像取得部１０１及び学習部１０２によって学習フェーズが実行され、画像取得部１０１及び検出部１０４によって検査フェーズが実行される。

画像取得部１０１は、上述したソフト画像とハード画像とのセットを取得する。本実施形態では、画像取得部１０１は、Ｘ線検出部７の第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、当該低エネルギー帯についてのＸ線透過画像であるソフト画像を生成する。また、画像取得部１０１は、Ｘ線検出部７の第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、当該高エネルギー帯についてのＸ線透過画像であるハード画像を生成する。

本実施形態では、図２に示されるように、Ｘ線照射部６から照射されるＸ線は扇状に放射されると共に、Ｘ線照射部６から第１ラインセンサ１１までの距離とＸ線照射部６から第２ラインセンサ１２までの距離とが異なる。このため、ソフト画像における物品Ｇの大きさとハード画像における物品Ｇの大きさとが異なる。具体的には、ハード画像における物品Ｇは、ソフト画像における物品Ｇよりも僅かに大きくなる。そこで、画像取得部１０１は、Ｘ線照射部６から第１ラインセンサ１１までの距離（Ｌ１）とＸ線照射部６から第２ラインセンサ１２までの距離（Ｌ２）との比（Ｌ２／Ｌ１）に基づいて、ソフト画像とハード画像とのスケールを合わせる処理を実施してもよい。例えば、画像取得部１０１は、ソフト画像を上記比で拡大してもよいし、ハード画像を上記比の逆数（Ｌ１／Ｌ２）で縮小してもよい。さらに、画像取得部１０１は、ソフト画像Ｐ１０における物品Ｇの位置とハード画像Ｐ２０における物品Ｇの位置とを合わせる処理を実施してもよい。例えば、画像取得部１０１は、ソフト画像Ｐ１０とハード画像Ｐ２０との差異が最小になるように、ソフト画像Ｐ１０を上下左右に移動させてもよい。より具体的には、画像取得部１０１は、両画像を重ね合わせて、両画像の各画素の濃淡値の差の絶対値の総和を算出し、その総和が最小となるように位置合わせを行ってもよい。

図４の（Ａ）は、上述した画像取得部１０１の処理によって生成されたソフト画像Ｐ１０の一例であり、図４の（Ｂ）は、上述した画像取得部１０１の処理によって生成されたハード画像Ｐ２０の一例である。ソフト画像Ｐ１０は、比較的コントラストが高く、全体的に暗くなっている。一方、ハード画像Ｐ２０は、比較的コントラストが低く、全体的に明るくなっている。本実施形態では、ソフト画像Ｐ１０及びハード画像Ｐ２０は、同一の幅及び高さを有している。すなわち、ソフト画像Ｐ１０及びハード画像Ｐ２０は、いずれもＨ行×Ｗ列に配列された画素を有しており、各画素には画素値（濃淡値）が関連付けられている。

なお、学習フェーズにおいては、画像取得部１０１は、後述する学習部１０２により用いられる教師データとして、それぞれ所定位置に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１を取得する。互いに関連する所定位置（すなわち、ソフト画像Ｐ１１における所定位置と、ハード画像Ｐ２１において上記所定位置に対応する位置）に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１は、例えば以下のようにして取得される。すなわち、元々異物を含んでいない物品Ｇ（すなわち、良品の物品Ｇ）の所定位置に異物（又はテストピース）が配置されたサンプルを搬送部５に搬送させる。そして、画像取得部１０１が、当該サンプルについて、上述した処理によってソフト画像及びハード画像を生成する。これにより、所定位置に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１が得られる。ただし、このような方法では、後述する教師データにおける正解データ（すなわち、異物が存在する位置（画素））を設定する作業（ラベリング）に手間がかかる。また、異物の輪郭部分等において、異物が存在する画素を正確に特定できない場合がある。さらに、異物の大きさ、位置等についての様々なバリエーションの教師データを得るためには、バリエーション毎のサンプルを用意し、各サンプルを搬送部５に搬送させてソフト画像及びハード画像を取得する必要があるため、非常に手間がかかる。

そこで、画像取得部１０１は、ソフト画像Ｐ１１及びハード画像Ｐ２１を以下のようにして取得してもよい。すなわち、ソフト画像Ｐ１１及びハード画像Ｐ２１の各々は、低エネルギー帯及び高エネルギー帯において異物を含んでいない物品Ｇが撮像された画像に対して、一以上の画素を含む領域（一例として、図５に示される破線で囲まれた領域）に形成された仮想的な異物を示す仮想異物画像が配置された画像であってもよい。言い換えれば、画像取得部１０１は、良品と想定される物品Ｇについて得られたソフト画像Ｐ１０及びハード画像Ｐ２０のそれぞれの所定位置（上記領域）に仮想異物画像を貼り付けることにより、当該所定位置に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１を取得してもよい。例えば、画像取得部１０１は、異物Ｆの種類毎の透過画像（ソフト画像及びハード画像のそれぞれに対応した透過画像）である仮想異物画像を予め記憶しておく。そして、画像取得部１０１は、ソフト画像用の仮想異物画像をソフト画像Ｐ１０の所定位置に貼り付けることによりソフト画像Ｐ１１を取得すると共に、ハード画像用の仮想異物画像をハード画像Ｐ２０の所定位置（ソフト画像Ｐ１０における仮想異物画像の貼り付け位置と同じ位置）に貼り付けることによりハード画像Ｐ２１を取得してもよい。このように、異物を含まない良品画像（ソフト画像Ｐ１０及びハード画像Ｐ２０）に人工的な仮想異物画像を付加することにより、機械学習モデル１０３の学習のために必要となる教師データを適切かつ容易に作成できる。具体的には、実際に異物（又はテストピース）を混入させたサンプル（物品Ｇ）についてのソフト画像Ｐ１１及びハード画像Ｐ２１を取得する場合と比較して、正解データを正確且つ容易に設定することができる。また、異物の大きさ、位置等についての様々なバリエーションの教師データを容易に作成することができる。なお、正解データとは、画像データ（ここでは、ソフト画像Ｐ１１及びハード画像Ｐ２１）とセットにすることで、教師データとなるデータである。正解データは、ラベルとも呼ばれる。本実施形態では一例として、正解データは、仮想異物画像を貼り付けた画素の濃淡値を１とし、仮想異物画像が貼り付けられていない画素の濃淡値を０としたものである。

学習部１０２は、上述した学習フェーズにおける機械学習モデル１０３の学習処理を実行する。具体的には、学習部１０２は、それぞれ所定位置に異物Ｆ（図５参照）が配置されたソフト画像Ｐ１１及びハード画像Ｐ２１と、上記所定位置（すなわち、異物Ｆが配置された領域）に対応する画素を示す正解データと、を含む教師データを用意する。本実施形態では、学習部１０２は、画像取得部１０１により生成されたソフト画像Ｐ１１及びハード画像Ｐ２１（すなわち、良品である物品Ｇのソフト画像Ｐ１０及びハード画像Ｐ２０の各々に仮想異物画像を貼り付けたもの）を取得する。ただし、学習部１０２は、Ｘ線検査装置１によるリアルタイムの検査と同時並行でソフト画像Ｐ１１及びハード画像Ｐ２１を取得する必要はない。一又は複数台のＸ線検査装置１から出力されるデータをＸ線検査装置１に外付けされる記録媒体である図示しないＨＤＤ等に撮り溜めておき、学習部１０２は、当該ＨＤＤから、適宜画像を取得するように構成されてもよい。また、学習部１０２は、仮想異物画像が占める領域に含まれる画素を示す情報を画像取得部１０１から取得することにより、正解データを取得する。

そして、学習部１０２は、このようにして得られた教師データ（ソフト画像Ｐ１１、ハード画像Ｐ２１、及び正解データ）を機械学習モデル１０３に入力することにより、機械学習モデル１０３を学習させる。学習部１０２は、上記機械学習を実行することにより、ソフト画像Ｐ１０及びハード画像Ｐ２０を入力して画素毎の異物尤度を出力するように構成されたニューラルネットワークを含む学習済みモデル（すなわち、ニューラルネットワークのパラメータが調整された機械学習モデル１０３）を構築する。ここで、異物尤度とは、異物である確からしさを示す情報である。例えば、ある画素の異物尤度は、当該画素が異物Ｆ（本実施形態では仮想異物画像）に対応する画素である確率（０から１までの数値）により表現され得る。

図５は、機械学習モデル１０３の一例を示す図である。図５に示されるように、本実施形態では一例として、機械学習モデル１０３は、予め構成されたニューラルネットワークＮを含んでいる。本実施形態では、ニューラルネットワークＮは、第１ニューラルネットワークＮ１（第１機械学習モデル）と第２ニューラルネットワークＮ２（第２機械学習モデル）とを含んでいる。第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、第１ニューラルネットワークＮ１の出力が第２ニューラルネットワークＮ２に入力されるように、互いに結合されている。第１ニューラルネットワークＮ１は、ソフト画像Ｐ１１及びハード画像Ｐ２１を入力して１つの検査用画像Ｐ３０を出力するように構成されている。第２ニューラルネットワークＮ２は、第１ニューラルネットワークＮ１により出力された検査用画像Ｐ３０を入力して予測結果Ｒ（すなわち、画素毎の異物尤度）を出力するように構成されている。第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含んで構成され得る。また、第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、好ましくは、多層のニューラルネットワーク（一例として、隠れ層数が２～６のニューラルネットワーク）により構成される。

図６は、第１ニューラルネットワークＮ１の処理構成の一例を示す図である。図６に示されるように、第１ニューラルネットワークＮ１は、ソフト画像Ｐ１１及びハード画像Ｐ２１を入力して、深さが２以上である経過画像Ｐ１，Ｐ２を生成し、経過画像Ｐ１，Ｐ２に基づいて、深さが１である検査用画像Ｐ３０を最終的に出力する。ここで、「深さ」とは、各画素に関連付けられる値の数（次数）である。本実施形態では一例として、深さが２である経過画像Ｐ１に基づいて深さが４である経過画像Ｐ２が生成された後、経過画像Ｐ２に基づいて深さが１である経過画像Ｐ３が生成される過程を経て、入力画像（ソフト画像Ｐ１１及びハード画像Ｐ２１）と同じ大きさの検査用画像Ｐ３０が生成される。

経過画像Ｐ１は、ソフト画像Ｐ１１及びハード画像Ｐ２１から得られた、各行列要素が２値（深さが２）を有するＨ行Ｗ列（高さＨ、幅Ｗ）の行列である。具体的には、経過画像Ｐ１のｉ行ｊ列（ｉ＝１，…，Ｈ、ｊ＝１，…，Ｗ）の要素は、ソフト画像Ｐ１１のｉ行ｊ列の画素の濃淡値とハード画像Ｐ２１のｉ行ｊ列の画素の濃淡値とを保持している。すなわち、経過画像Ｐ１は、実質的に２枚分の画像（ソフト画像Ｐ１１及びハード画像Ｐ２１）の情報を有している。なお、説明の簡略化のために、経過画像Ｐ１の要素を便宜的に行列（２階テンソル）表現で記載した。ただし、正確には、経過画像Ｐ１は、高さＨ、幅Ｗ、深さＤの３次元を有しており、３階テンソルで表現されるものである。

経過画像Ｐ２は、経過画像Ｐ１に対して畳み込み演算を行うことにより得られた、各行列要素が４値（深さが４）を有するＨ行Ｗ列（高さＨ、幅Ｗ）の行列である。経過画像Ｐ２は、経過画像Ｐ１に対して、適当な大きさのパディングを適用すると共に４種類のフィルタを適用することにより得られる。経過画像Ｐ２は、実質的に４枚分の画像の情報を有している。ここで、経過画像Ｐ１から経過画像Ｐ２を生成する際に用いられるフィルタ（に含まれる各値）は、第１ニューラルネットワークＮ１のパラメータ（の一部）に相当する。

経過画像Ｐ３は、経過画像Ｐ２に対して深さを低減させる処理（４→１）を実行することにより得られた、各行列要素が１値（深さが１）を有する２＊Ｈ行２＊Ｗ列（高さ２＊Ｈ、幅２＊Ｗ）の行列である。例えば、経過画像Ｐ２の各画素を、当該各画素に含まれる４つの値を所定の並べ方で配列した２行２列の４画素に変換することにより、深さが経過画像Ｐ２の１／４に低減される一方で面積が経過画像Ｐ２の４倍に拡大された経過画像Ｐ３が得られる。ここで、上記所定の並べ方は、第１ニューラルネットワークＮ１のパラメータ（の一部）に相当する。

検査用画像Ｐ３０は、経過画像Ｐ３に対してリダクション処理を実行することにより得られた、各行列要素が１値（深さが１）を有するＨ行Ｗ列（高さＨ、幅Ｗ）の行列である。検査用画像Ｐ３０は、ストライドを２に設定した上で経過画像Ｐ３にフィルタを適用することにより得られる。ここで、経過画像Ｐ３から検査用画像Ｐ３０を生成する際に用いられるフィルタ（に含まれる各値）は、第１ニューラルネットワークＮ１のパラメータ（の一部）に相当する。

機械学習モデル１０３の学習（すなわち、ニューラルネットワークＮのパラメータの調整）は、以下のようにして行われる。すなわち、学習部１０２は、ニューラルネットワークＮに教師データにおけるソフト画像Ｐ１１及びハード画像Ｐ２１を入力する。そして、学習部１０２は、ニューラルネットワークＮにより出力された予測結果Ｒ（画素毎の異物尤度）から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように、ニューラルネットワークＮのパラメータを調整する。このようなパラメータの調整には、誤差逆伝播法等の公知の手法を用いることができる。

一例として、学習部１０２は、予測結果Ｒに含まれる画素毎の異物尤度に基づいて、ニューラルネットワークＮによって異物に対応すると推定された画素を特定する。例えば、学習部１０２は、予め設定した閾値（例えば０．５）以上の異物尤度を有する画素を、異物に対応する画素として取得する。一方、学習部１０２は、上記閾値未満の異物尤度を有する画素を、異物に対応しない画素として取得する。そして、学習部１０２は、このようにして特定された異物に対応する画素（又は異物に対応しない画素）と正解データとを比較することにより、予測結果Ｒの正解データからの誤差を算出することができる。学習部１０２は、このような誤差（損失）を表す任意の損失関数（コスト関数）を設定し、最急降下法等を用いて、当該損失関数の値が減少するようにニューラルネットワークＮのパラメータ（重み）を調整する。

上記構成によれば、ソフト画像Ｐ１１とハード画像Ｐ２１と正解データとを含む教師データを用いて、機械学習モデル１０３の予測結果Ｒ（画素毎の異物尤度）の精度が向上するように、機械学習モデル１０３を適切に学習させることができる。

また、本実施形態では、一連の処理（ソフト画像Ｐ１１及びハード画像Ｐ２１を入力して予測結果Ｒを出力する処理）を実行するように結合された第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２は、同時に学習される。すなわち、学習部１０２は、第１ニューラルネットワークＮ１に教師データにおけるソフト画像Ｐ１１及びハード画像Ｐ２１を入力し、第２ニューラルネットワークＮ２により出力された予測結果Ｒ（画素毎の異物尤度）から決定される異物に対応する画素と正解データとの一致度が大きくなるように、第１ニューラルネットワークＮ１のパラメータ（第１パラメータ）と第２ニューラルネットワークＮ２のパラメータ（第２パラメータ）とを同時に調整する。上記構成によれば、互いに結合された第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２の両方のパラメータを、最終的に得られる第２ニューラルネットワークＮ２の予測結果Ｒ（画素毎の異物尤度）の精度が向上するように、効果的に調整することができる。ただし、例えば第２ニューラルネットワークＮ２に汎用性がある場合等、第１ニューラルネットワークＮ１のパラメータ（すなわち、検査用画像Ｐ３０の作成方法）のみを調整すればよい場合もあり得る。このような場合には、学習部１０２は、少なくとも第１ニューラルネットワークＮ１のパラメータを調整し、当該パラメータの調整により、第１ニューラルネットワークＮ１が出力する検査用画像Ｐ３０が変化してもよい。このような場合にも、第１ニューラルネットワークＮ１のパラメータを、最終的に得られる第２ニューラルネットワークＮ２の予測結果Ｒ（画素毎の異物尤度）の精度が向上するように、効果的に調整することができる。なお、必ずしも、検査用画像Ｐ３０の段階で、ノイズが完全に消去されている必要はない。すなわち、検査用画像Ｐ３０は、後段の第２ニューラルネットワークＮ２が適切に異物尤度を出力できるような画像となっていればよい。

検出部１０４は、上述した学習フェーズにおいて構築された機械学習モデル１０３を用いて検査対象である物品Ｇの異物検出を行う。すなわち、検出部１０４は、検査フェーズにおいて、検査対象である物品Ｇについてのソフト画像Ｐ１０及びハード画像Ｐ２０を機械学習モデル１０３に入力することにより、画素毎の異物尤度（機械学習モデル１０３から出力される予測結果Ｒ）を取得する。そして、検出部１０４は、当該画素毎の異物尤度に基づいて異物を検出する。例えば、検出部１０４は、上述したように予め設定した閾値（例えば０．５）以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Ｇに混入された異物を検出することができる。例えば、検出部１０４は、異物尤度が閾値以上である画素の濃淡値を１とし、異物尤度が閾値未満である画素の濃淡値を０とした検査結果画像を出力してもよい。このような検査結果画像によれば、検出された異物の位置を視覚的に把握することができる。

次に、図７を参照して、学習フェーズにおけるＸ線検査装置１の動作の一例について説明する。

ステップＳ１において、教師データ作成用の物品Ｇが、搬入コンベア５１から搬入口４ａを介して検査領域Ｒに搬入される（図１参照）。そして、Ｘ線照射部６が当該物品ＧにＸ線を照射し、Ｘ線検出部７が当該物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７の第１ラインセンサ１１によって低エネルギー帯のＸ線が検出され、Ｘ線検出部７の第２ラインセンサ１２によって高エネルギー帯のＸ線が検出される（図２参照）。

ステップＳ２において、画像取得部１０１は、第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、ソフト画像Ｐ１０を生成し、第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、ハード画像Ｐ２０を生成する（図４参照）。

ステップＳ３において、画像取得部１０１は、ソフト画像用の仮想異物画像をソフト画像Ｐ１０の所定位置に貼り付けることにより、所定位置に異物Ｆが配置されたソフト画像Ｐ１１を取得する。また、画像取得部１０１は、ハード画像用の仮想異物画像をハード画像Ｐ２０の所定位置に貼り付けることにより、所定位置に異物Ｆが配置されたハード画像Ｐ２１を取得する（図５参照）。

ステップＳ４において、学習部１０２は、ステップＳ３で取得されたソフト画像Ｐ１１及びハード画像Ｐ２１と上記所定位置（すなわち、仮想異物画像を貼り付けた部分に対応する画素）を示す正解データとを含む教師データを作成する。例えば、ステップＳ１，Ｓ２で取得された一組のソフト画像Ｐ１０及びハード画像Ｐ２０に対して、異なる複数の仮想異物画像を用いてステップＳ３の処理を複数回実行することにより、複数の異なる教師データが作成されてもよい。また、物品Ｇ及び仮想異物画像の複数の異なる組み合わせに対して、ステップＳ１～Ｓ３の処理を複数回実行することにより、複数の異なる教師データが作成されてもよい。

ステップＳ５において、学習部１０２は、ステップＳ４で作成された教師データを用いた機械学習（例えば深層学習等）を実行することにより、学習済みモデル（すなわち、第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２のパラメータが調整された機械学習モデル１０３）を構築する。

次に、図８を参照して、検査フェーズにおけるＸ線検査装置１の動作の一例について説明する。

ステップＳ１１において、異物検査の対象となる物品Ｇが、搬入コンベア５１から搬入口４ａを介して検査領域Ｒに搬入される（図１参照）。そして、Ｘ線照射部６が当該物品ＧにＸ線を照射し、Ｘ線検出部７が当該物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７の第１ラインセンサ１１によって低エネルギー帯のＸ線が検出され、Ｘ線検出部７の第２ラインセンサ１２によって高エネルギー帯のＸ線が検出される（図２参照）。

ステップＳ１２の処理は、ステップＳ２の処理と同様である。すなわち、画像取得部１０１は、第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、ソフト画像Ｐ１０を生成し、第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、ハード画像Ｐ２０を生成する（図４参照）。

ステップＳ１３において、検出部１０４は、ステップＳ１２で取得されたソフト画像Ｐ１０及びハード画像Ｐ２０を機械学習モデル１０３に入力することにより、画素毎の異物尤度（機械学習モデル１０３から出力される予測結果Ｒ）を取得する。

ステップＳ１４において、検出部１０４は、機械学習モデル１０３から出力された予測結果Ｒに基づいて異物を検出する。例えば、検出部１０４は、予め設定した閾値（例えば０．５）以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Ｇに混入された異物を検出することができる。

以上述べたＸ線検査装置１によれば、以下の効果が奏される。２つの異なるエネルギー帯のＸ線に基づく透過画像を用いた従来の異物検査（いわゆるデュアルエナジー方式による異物検査）においては、上述したソフト画像Ｐ１０とハード画像Ｐ２０との間で物品Ｇに対応する部分（異物ではない部分）の濃淡値を合わせた上で各画素の濃淡値の差分を計算する差分処理が行われていた。このような差分処理により、異物に対応する画素の濃淡値が異物に対応しない画素の濃淡値よりも大きくなるように加工された差分画像が取得され、当該差分画像に基づいて異物の検出が行われていた。しかし、差分処理に用いられる古典的な演算（除算、減算等）の性質上、差分画像には一定のノイズ（実際には異物ではないが濃淡値が比較的大きい部分）が含まれてしまうため、当該ノイズに起因して異物の誤検出又は検出漏れが発生することがあった。これに対して、Ｘ線検査装置１では、予め構成された機械学習モデル１０３によって、上記差分処理に代わる処理（すなわち、機械学習によって決定されたパラメータに基づく処理）を実行することができる。これにより、上記差分処理に起因するノイズの発生を回避することができる。また、ノイズが存在する状態であっても、ノイズが真のノイズであるか異物であるかを見極めて、異物を効率的に検出することができる。その結果、デュアルエナジー方式による異物の検出精度を向上させることができる。なお、検出部１０４が用いる「予め構成された機械学習モデル１０３」は、少なくとも内部のアルゴリズムの構造（例えば、ニューラルネットワーク、遺伝的アルゴリズム等）が決定されているものであればよく、パラメータが確定していないもの（例えば、学習途上であるもの）であってもよい。

また、機械学習モデル１０３は、第１ニューラルネットワークＮ１と、第２ニューラルネットワークＮ２と、を含む。上記構成によれば、ソフト画像Ｐ１０とハード画像Ｐ２０とから１つの差分画像を得る従来の差分処理に対応して、ソフト画像Ｐ１０とハード画像Ｐ２０とから１つの検査用画像Ｐ３０を得る処理が実行される。すなわち、第１ニューラルネットワークＮ１により、従来の差分処理に代えて、より高度な処理が実行される。その結果、デュアルエナジー方式による異物の検出精度を一層効果的に向上させることができる。

また、第１ニューラルネットワークＮ１は、ソフト画像Ｐ１０及びハード画像Ｐ２０を入力して、深さが２以上である経過画像Ｐ１，Ｐ２を生成し、経過画像Ｐ１，Ｐ２に基づいて深さが１である検査用画像Ｐ３０を出力する。上記構成によれば、第１ニューラルネットワークＮ１を用いて検査用画像Ｐ３０を得る過程に経過画像Ｐ１，Ｐ２を生成する工程を含めることにより、検査用画像Ｐ３０の生成に影響を及ぼす第１ニューラルネットワークＮ１のパラメータ数（すなわち、検査用画像Ｐ３０を生成するルールの調整幅）を確保できる。特に、本実施形態では、経過画像Ｐ１から経過画像Ｐ２を生成する過程で、深さが２から４に増加する。これにより、フィルタ（パラメータ）の種類を好適に増加させることができ、検査用画像Ｐ３０を得るまでに調整可能な部分の自由度を適切に確保できる。その結果、機械学習モデル１０３の学習において、第２ニューラルネットワークＮ２により出力される予測結果Ｒ（画素毎の異物尤度）の精度を高くすることが可能な検査用画像Ｐ３０を出力するように、第１ニューラルネットワークＮ１を適切に調整することが可能となる。

以上、本開示の一実施形態について説明したが、本開示は、上述した実施形態に限定されない。

例えば、画像取得部１０１は、ソフト画像及びハード画像の一方における物品Ｇの部分の濃淡値（輝度）を他方における物品Ｇの部分の濃淡値と略一致するように変換させるための輝度変換関数を予め記憶してもよい。そして、画像取得部１０１は、機械学習モデル１０３に入力する対象となるソフト画像及びハード画像として、上記輝度変換関数を用いて両画像間における物品Ｇの部分の濃淡値を合わせる輝度変換処理（例えば、ソフト画像の各画素の濃淡値を変換する処理）を行った後のソフト画像及びハード画像を取得してもよい。なお、画像取得部１０１は、上述したように仮想異物画像をソフト画像及びハード画像に貼り付ける場合には、仮想異物画像の貼り付けを行った後に、上述した輝度変換処理を行ってもよい。これにより、仮想異物画像に対応する画素の濃淡値も適切に調整される。或いは、画像取得部１０１は、上述した輝度変換処理を行った後に、輝度変換処理に応じた濃淡値を有する仮想異物画像の貼り付けを行ってもよい。

また、学習部１０２は、第１ニューラルネットワークＮ１のパラメータと第２ニューラルネットワークＮ２のパラメータとを個別に調整してもよい。第１ニューラルネットワークＮ１は、深さ１であり、異物以外が写らないようにする処理（あるいは、後段の第２ニューラルネットワークＮ２で上手くノイズが除去できるようする処理）を行うアルゴリズムである。ここで、異物が写り込まないように調整する場合は、検査用画像Ｐ３０に、異物以外の情報が写り込まないようにしてもよい。例えば、第２ニューラルネットワークＮ２が、汎用的な学習済みモデルとして得られている場合が考えられる。この場合、第２ニューラルネットワークＮ２にて、異物の抽出ができるように（異物に該当する画素のみ、閾値以上の異物尤度となるように）、第２ニューラルネットワークＮ２の出力する尤度に基づいて、第１ニューラルネットワークＮ１に係るパラメータのみ調整するように構成してもよい。この際も、第１ニューラルネットワークＮ１は、第２ニューラルネットワークＮ２の出力が正解データと一致するように、（繰り返し）調整される。

また、機械学習モデル１０３により出力されるデータの形式は、上述した予測結果Ｒ（すなわち、画素毎の異物尤度（０から１までの値）を示す情報）に限られない。例えば、機械学習モデル１０３は、異物尤度（異物である可能性）が一定以上である画素のフラグがＯＮ（１）に設定され、それ以外の画素のフラグがＯＦＦ（０）に設定されたＨ行Ｗ列の行列を示す異物情報と、異物でない可能性が一定以上である画素のフラグがＯＮ（１）に設定され、それ以外の画素のフラグがＯＦＦ（０）に設定されたＨ行Ｗ列の行列を示す良品情報と、をそれぞれ出力するように構成されてもよい。すなわち、機械学習モデル１０３が出力する情報は、正解データとの一致度を算出可能（すなわち、機械学習モデル１０３の予測精度を評価可能）であって、教師データによるパラメータ調整を行うことが可能なものであればよい。

また、上記実施形態では、Ｘ線検査装置１は、制御部１０だけでなく、搬送部５、Ｘ線照射部６、Ｘ線検出部７、及び表示操作部８を備えているが、本開示に係る検査装置は、制御部１０に相当する部分（すなわち、搬送部５、Ｘ線照射部６、Ｘ線検出部７、及び表示操作部８を含まないコンピュータ装置）として構成されてもよい。

さらに、図９に示されるように、本開示に係る検査装置は、上述した検査フェーズのみを実行する（すなわち、学習フェーズを実行しない）検査装置１０Ａとして構成されてもよい。検査装置１０Ａは、上述した画像取得部１０１、機械学習モデル１０３、及び検出部１０４を備える。この場合、検査装置１０Ａとは別のコンピュータ装置である学習装置２０が、上述した学習フェーズを実行してもよい。学習装置２０は、上述した画像取得部１０１及び学習部１０２を備える。学習装置２０によれば、上記差分処理に代わる処理（すなわち、機械学習によって決定されたパラメータに基づく処理）を実行することが可能な機械学習モデル１０３（学習済みモデル）を得ることができる。そして、学習装置２０（学習部１０２）により構築された学習済みモデル（機械学習モデル１０３）は、検査装置１０Ａに配布されてもよい。これにより、検査装置１０Ａにおいて、学習済みモデルを用いた異物検査が可能となる。また、学習済みモデルは、学習装置２０から検査装置１０Ａへと直接配布（通信ネットワーク等を介したダウンロード等）されてもよいし、一旦ＵＳＢメモリ、外付けＨＤＤ等の持ち運び可能な記録媒体に記憶されてから、検査装置１０Ａと間接的に配布（オフライン配布）されてもよい。

また、上記実施形態では、第１機械学習モデル及び第２機械学習モデルを、第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２により構成する例を示したが、本開示はこれに限られない。たとえば、第１機械学習モデル及び第２機械学習モデルの一方を、ニューラルネットワークとは異なるアルゴリズムに基づく機械学習モデルに置き換えることも可能である。

以下に、一例として、第２ニューラルネットワークＮ２を、遺伝的アルゴリズム（ＧＡ）に基づくモデルＧＡに置き換えた場合を説明する。

一般に、Ｘ線透過画像に対して、画像処理アルゴリズムを用いた画像処理を施して処理画像を生成し、この処理画像に基づいて物品の検査を行うＸ線検査装置が知られている。このようなＸ線検査装置では、複数の画像処理アルゴリズムが記憶部に予め記憶されており、記憶された複数の画像処理アルゴリズムの中から、検査時の画像処理に用いる最適な画像処理アルゴリズムが選択されて設定される。

このような画像処理アルゴリズムは、一般的に１枚の画像に対して為されるものであり、２枚の画像を入力することはできない。この画像処理アルゴリズムの一例として、モデルＧＡ（遺伝的アルゴリズムを用いた機械学習モデル）がある。モデルＧＡについて、既存の画像処理を組み合わせて、検査したい対象物と発見しようとする異物に応じた画像処理を生成（特定）することを目的とする手法が提案されている。なお、モデルＧＡにおける画像処理とは、連続する画像処理フィルタの組み合わせである。ここで、用いる画像処理フィルタの選択変更、当該画像フィルタをかける順や、フィルタをかける強さの変更等を適宜含み、適正化した画像処理が行われることにより、適正化される。これらの画像フィルタに関する変更量が、モデルＧＡにおける調整すべきパラメータとなる。

ここで、モデルＧＡは、画像処理を生成（特定）するにあたって、様々な組み合わせを実行して、目的に適合しているかどうかを適応度により評価し、評価結果に基づいて、遺伝的アルゴリズムを用いることにより画像処理の適応度を向上させていく手法である。しかし、Ｘ線画像は一般的にモノクロ画像となっており、既存の画像処理ではモノクロ画像を扱うものが主となっているため、遺伝的アルゴリズムを使用したとしてもモノクロ画像を扱うことに変わりはない。そのため、２枚の画像を入力して画像処理を行うことはここでは想定されていない。そこで、第１ニューラルネットワークＮ１により生成された検査用画像Ｐ３０を、上記実施形態における第２ニューラルネットワークＮ２に代えて、モデルＧＡに入力することが考えられる。

この場合も、モデルＧＡの適応度（上記実施形態において第２ニューラルネットワークＮ２が出力する尤度に相当）が向上するように、モデルＧＡの適応度に基づいて、第１ニューラルネットワークＮ１のパラメータを単独で、又は、第１ニューラルネットワークＮ１のパラメータ及びモデルＧＡのパラメータを同時に、調整する。適切にパラメータが調整された第１ニューラルネットワークＮ１により生成される検査用画像Ｐ３０を用いることで、モデルＧＡの異物判定処理の精度が向上する。

また、上記実施形態では、検査装置がＸ線検査装置１である形態を一例に説明した。しかし、本開示に係る検査装置は、Ｘ線検査装置１に限定されず、電磁波を利用して物品Ｇの異物検査を行う装置であればよい。ここで、電磁波とは、Ｘ線、近赤外線、光、その他の電磁波である。また、物品Ｇの種類は特に限定されず、様々な物品Ｇを検査対象とすることができる。同様に、異物の種類は特に限定されず、様々な異物を検査対象とすることができる。

１…Ｘ線検査装置（検査装置）、１０Ａ…検査装置、２０…学習装置、１０１…画像取得部、１０２…学習部、１０３…機械学習モデル（学習済みモデル）、１０４…検出部、Ｇ…物品（被検査物）、Ｎ…ニューラルネットワーク、Ｎ１…第１ニューラルネットワーク（第１機械学習モデル）、Ｎ２…第２ニューラルネットワーク（第２機械学習モデル）、Ｐ１，Ｐ２…経過画像、Ｐ１０，Ｐ１１…ソフト画像（第１画像）、Ｐ２０，Ｐ２１…ハード画像（第２画像）、Ｐ３０…検査用画像。

Claims (8)

1. 同一の被検査物を透過した第１エネルギー帯の電磁波に基づく第１画像と、前記被検査物を透過した前記第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく第２画像と、のセットを取得する画像取得部と、
   予め構成された機械学習モデルに前記第１画像及び前記第２画像を入力することにより、画素毎の異物である確からしさを示す異物尤度を取得し、前記画素毎の前記異物尤度に基づいて前記異物を検出する検出部と、を備える検査装置。
2. 前記機械学習モデルは、
   前記第１画像及び前記第２画像を入力して１つの検査用画像を出力するように構成された第１機械学習モデルと、
   前記第１機械学習モデルにより出力された前記検査用画像を入力して前記画素毎の前記異物尤度を出力するように構成された第２機械学習モデルと、を含む、請求項１に記載の検査装置。
3. 前記第１機械学習モデルは、前記第１画像及び前記第２画像を入力して、各画素に関連付けられる値の数である深さが２以上である経過画像を生成し、前記経過画像に基づいて前記深さが１である前記検査用画像を出力する、請求項２に記載の検査装置。
4. それぞれ互いに関連する所定位置に異物が配置された前記第１画像及び前記第２画像と前記所定位置に対応する画素を示す正解データとを含む教師データを前記機械学習モデルに入力することにより、前記機械学習モデルを学習させる学習部を更に備え、
   前記学習部は、前記機械学習モデルに前記教師データにおける前記第１画像及び前記第２画像を入力し、前記機械学習モデルにより出力された前記画素毎の前記異物尤度から決定される異物に対応する画素と前記教師データにおける前記正解データとの一致度が大きくなるように前記機械学習モデルのパラメータを調整する、請求項１に記載の検査装置。
5. それぞれ互いに関連する所定位置に異物が配置された前記第１画像及び前記第２画像と前記所定位置に対応する画素を示す正解データとを含む教師データを前記機械学習モデルに入力することにより、前記機械学習モデルを学習させる学習部を更に備え、
   前記学習部は、前記第１機械学習モデルに前記教師データにおける前記第１画像及び前記第２画像を入力し、前記第２機械学習モデルにより出力された前記画素毎の前記異物尤度から決定される異物に対応する画素と前記教師データにおける前記正解データとの一致度が大きくなるように、少なくとも前記第１機械学習モデルの第１パラメータを調整し、
   前記第１パラメータの調整により、前記第１機械学習モデルが出力する前記検査用画像が変化する、請求項２又は３に記載の検査装置。
6. 前記学習部は、前記第２機械学習モデルにより出力された前記画素毎の前記異物尤度から決定される異物に対応する画素と前記教師データにおける前記正解データとの一致度が大きくなるように、前記第１パラメータと共に前記第２機械学習モデルの第２パラメータを同時に調整する、請求項５に記載の検査装置。
7. 前記第１画像及び前記第２画像の各々は、前記第１エネルギー帯及び前記第２エネルギー帯において異物を含んでいない前記被検査物が撮像された画像に対して、一以上の画素を含む領域に形成された仮想的な異物を示す仮想異物画像が配置された画像である、請求項４～６のいずれか一項に記載の検査装置。
8. それぞれ互いに関連する所定位置に異物が配置された第１画像及び第２画像であって、同一の被検査物を透過した第１エネルギー帯の電磁波に基づく該第１画像と、前記被検査物を透過した前記第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく該第２画像と、のセットを取得する画像取得部と、
   前記第１画像、前記第２画像、及び前記所定位置に対応する画素を示す正解データを含む教師データを用いて機械学習を実行することにより、前記第１画像及び前記第２画像を入力して画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部と、を備える学習装置。

Images