JP7250331B2 - 画像生成装置、検査装置及び学習装置 - Google Patents

画像生成装置、検査装置及び学習装置 Download PDF

Info

Publication number
JP7250331B2
JP7250331B2 JP2019126528A JP2019126528A JP7250331B2 JP 7250331 B2 JP7250331 B2 JP 7250331B2 JP 2019126528 A JP2019126528 A JP 2019126528A JP 2019126528 A JP2019126528 A JP 2019126528A JP 7250331 B2 JP7250331 B2 JP 7250331B2
Authority
JP
Japan
Prior art keywords
image
range
defective product
value
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019126528A
Other languages
English (en)
Other versions
JP2021012108A (ja
Inventor
拓右 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2019126528A priority Critical patent/JP7250331B2/ja
Priority to EP20182887.8A priority patent/EP3764087B1/en
Priority to US16/916,993 priority patent/US11189058B2/en
Priority to CN202010618226.3A priority patent/CN112255250A/zh
Publication of JP2021012108A publication Critical patent/JP2021012108A/ja
Application granted granted Critical
Publication of JP7250331B2 publication Critical patent/JP7250331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G01N2223/04—Investigating materials by wave or particle radiation by transmission and measuring absorption
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/10—Different kinds of radiation or particles
    • G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
    • G01N2223/1016—X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/618—Specific applications or type of materials food
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/652—Specific applications or type of materials impurities, foreign matter, trace amounts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Description

本発明は、画像生成装置、検査装置及び学習装置に関する。
物品に光を透過させることで得られた透過画像に基づいて物品の検査を行う検査装置（Ｘ線検査装置）が知られている。近年、各種検査装置において、機械学習により生成された機械学習モデル（学習済みモデル）を用いて検査が実施される試みが多くあり、Ｘ線検査装置においても、機械学習モデルを用いて、異物の検査等を実施することが考えられる。この機械学習モデルを生成するためには、機械学習モデルを生成するマシンに、異物が含まれた物品の画像である不良品画像と異物の位置を示したデータであるラベルとのセット（以後、「教師データとも称する。）を用いて機械学習（教師データを入力して機械学習を行い、機械学習モデルを生成）させる必要がある。
このような教師データとして、異物が含まれていない良品画像に予め登録された仮想的な異物を示す画像（以後、「仮想異物画像」とも称する。）を合成する（含める）ことにより生成される仮想的な不良品を示す画像（以後、「仮想不良品画像」とも称する。）を用いることが考えられる。このような仮想不良画像の生成方法は、たとえば、特許文献１に記載されている。特許文献１には、複数の画像処理アルゴリズムの中から、検査時の画像処理に用いる最適な画像処理アルゴリズムを選択することができるＸ線検査装置が開示されており、当該最適な画像処理アルゴリズムを選択する処理の中で、当該仮想不良品画像が用いられることが記載されている。
このようなＸ線検査装置として、二つのラインセンサを備え、各ラインセンサで互いにエネルギー帯の異なるＸ線透過画像を取得し、取得した二つのＸ線透過画像の差分画像を用いて、各種検査を行う装置（デュアルエナジーセンサを有する検査装置）が知られている（たとえば、特許文献２）。このような検査装置において学習モデルを用いた検査を実施する場合、機械学習モデルに、二つのラインセンサのそれぞれから得られる二種類の透過画像を入力し、異物の有無の判定結果を出力させることが考えられる。このような機械学習モデルを生成する場合には、二つのラインセンサのそれぞれから出力される不良品画像と異物の位置を示すラベルとのセットを教師データとして学習させる必要がある。ここで、当該教師データとして、上述したような仮想不良品画像を用いることが考えられる。
国際公開第２００６／００１１０７号 特許第５８７６１１６号
しかしながら、二つの良品画像のそれぞれに仮想異物画像を単純に合成することによって二枚の仮想不良品画像を生成したとしても、これらの仮想不良品画像は、現実の電磁波の吸収特性を反映しない画像となってしまい、適切な機械学習が実施できない場合がある。
そこで、本発明は、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる、画像生成装置、検査装置及び学習装置を提供することを目的とする。
本発明の検査装置は、異物を含まない被検査物を透過した電磁波に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置であって、同一の被検査物に対して、第１エネルギー帯の電磁波に基づく良品画像である第１良品画像と、第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく良品画像である第２良品画像と、のセットを取得する画像取得部と、第１良品画像を構成する少なくとも１つ以上の画素である第１対象画素における画素値を変更することによって、仮想不良品画像である第１仮想不良品画像を生成する第１処理部と、第１対象画素に対応する、第２良品画像を構成する少なくとも１つ以上の画素である第２対象画素における画素値を変更することによって、仮想不良品画像である第２仮想不良品画像を生成する第２処理部と、を備え、第１処理部は、異物における電磁波の吸収特性に基づく第１処理により第１対象画素の画素値を変更し、第２処理部は、第１処理とは異なる処理であって、吸収特性に基づく第２処理により前記第２対象画素の画素値を変更する。
ただし、第２処理部は、計算式（計算式の構造）としては第1処理部と同じ処理であってもよい。第２処理は、吸収特性に基づき、内部のパラメータの違いによって、第1処理と異なる結果となる処理であればよい。これら第１処理及び第２処理を適切に設定して、各画像の画素値が互いに異なる処理によって適切に変更されればよい。
上記構成によれば、第１処理部及び第２処理部は、第１良品画像及び第２良品画像において、第１対象画素及び第２対象画素に対応する位置に対して、各々第１エネルギー帯および第２エネルギー帯の吸収特性を反映して、仮想異物画像を合成する（含める）ことができる。その結果、エネルギー帯によって電磁波の吸収量が異なるという異物の吸収特性を適切に反映し、各々のエネルギーに基づく仮想不良品画像を生成することができる。
具体的には、被検査物（たとえば、赤身肉）よりも吸収特性の高い異物（たとえば、骨又は金属片）を仮想的に合成したい場合は、（Ｘ線の透過度が大きい程、画素の濃淡値が大きくなる指標において、）第１良品画像と第２良品画像とに合成する仮想異物の形状に対応する画素の画素値を小さくする（この場合、仮想異物に対応する画素は、Ｘ線の透過量が減少したことに相当し、暗くなる）。被検査物の画素値を基準とした場合に、第１良品画像における第１対象画素の画素値における変更値の度合いを第２良品画像の第２対象画素における画素値の変更値の度合いよりも大きくすれば、実際の異物における電磁波の吸収特性を反映することができる。また、被検査物（たとえば、赤身肉）よりも吸収特性の低い異物（たとえば、空隙や脂肪塊）を仮想的に合成したい場合は、（Ｘ線の透過度が大きい程、画素の濃淡値が大きくなる指標において、）第１良品画像と第２良品画像で合成したい仮想異物の形状に相当する画素の画素値を大きくする（この場合、仮想異物に対応する画素は、Ｘ線の透過量が増加したことに相当し、明るくなる）。被検査物の画素値を基準とした場合に、第１良品画像の第１対象画素における画素値の変更値の度合い（変更量の絶対値）を第２良品画像の第２対象画素における画素値の変更値の度合い（変更量の絶対値絶対値）よりも小さくすれば、実際の異物の電磁波の吸収特性を反映することができる。
本発明の検査装置では、第１処理は、第１良品画像の画素値を基準として第１対象画素の画素値を第１範囲内で減少又は増加させる処理であり、第２処理は、第２良品画像の画素値を基準として第２対象画素の画素値を第２範囲内で第１処理と同じく減少又は増加させる処理であり、第１範囲と第２範囲とでは、互いに異なる範囲が設定されていてもよい。
ここでいう「互いに異なる範囲」とは、第１範囲と第２範囲とが全くの同一範囲でなければよく、第１範囲及び第２範囲の一方が、第１範囲及び第２範囲の他方と重ならない範囲を少なくとも一部に含んでいることを意味する。また、第１良品画像の画素値とは、第１良品画像を構成する画素の画素値の最頻値、中央値、平均値、最大値、最小値（必ずしも平均値等の統計値に完全一致する必要はなく、その２分の１等、適宜の変更を加えた値も含む値）に基づいて設定することができる。第２良品画像の画素値も同様である。
この構成では、第１処理部と第２処理部とで互いに対象画素の画素値を変更する処理が異なっているので、第１エネルギー帯及び第２エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。
本発明の検査装置では、第１範囲及び第２範囲のいずれか一方における絶対値の下限値は、第１範囲及び第２範囲の他方における絶対値の上限値よりも小さくなるように設定されており第１範囲及び第２範囲の上記一方における絶対値の最大値は、第１範囲及び第２範囲の上記他方における絶対値の最大値よりも小さくなるように設定されていてもよい。この構成では、第１処理部と第２処理部とで互いに対象画素の画素値を変更する量が異なっているので、第１エネルギー帯及び第２エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。
本発明の検査装置では、第１範囲及び第２範囲の一方における上限値及び下限値の少なくとも一方は、第１範囲及び第２範囲の他方に基づいて設定されていてもよい。この構成では、第１処理部及び第２処理部によって第１対象画素及び第２対象画素の変更される画素値の変更幅をより適切に設定することができる。
本発明の検査装置では、良品画像に合成される前記仮想異物画像について、異物の種類の入力を受け付ける情報入力部と、良品画像に合成される異物の種類と、第１範囲及び第２範囲の少なくとも一方とが関連付けられた合成処理情報を記憶する記憶部と、を更に備え、第１処理部及び第２処理部の少なくとも一方は、情報入力部に入力された異物の種類に基づいて合成処理情報から第１範囲又は第２範囲を取得してもよい。この構成では、第１処理部及び第２処理部によって第１対象画素及び第２対象画素の変更される画素値の変更幅をより適切に設定することができる。
本発明の検査装置では、合成処理情報は、被検査物の種類と、良品画像に合成される異物の種類と、第１範囲と、第２範囲とが関連付けて記憶されており、合成処理情報は、異物の吸収特性が被検査物の吸収特性よりも小さな場合には、第１範囲の代表値が第２範囲の代表値よりも小さくなるような組合せとなるように形成され、異物の吸収特性が被検査物の吸収特性よりも大きい場合には、第１範囲の代表値が第２範囲の代表値よりも大きくなるような組合せとなるように形成されていてもよい。この構成では、第１エネルギー帯及び第２エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。なお、代表値は、最頻値、中央値、平均値、最大値、最小値等に基づく値であり、各々同一の基準で抽出される。
本発明の検査装置は、被検査物に電磁波を照射する照射部と、被検査物を透過した第１エネルギー帯の電磁波及び第２エネルギー帯の電磁波を検出する検出部と、検出部により検出された第１エネルギー帯の電磁波に基づいて被検査物の第１画像を生成すると共に、検出部により検出された第２エネルギー帯の電磁波に基づいて被検査物の第２画像を生成する画像生成部と、上記の画像生成装置と、を備えてもよい。この構成の検査装置では、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる。
本発明の学習装置は、上記の画像生成装置から生成された第１仮想不良品画像及び第２仮想不良品画像と、第１対象画素に関する情報及び第２対象画素に関する情報を示す正解データと、を含む教師データを用いて機械学習を実行することにより、異物を含む可能性のある被検査物を透過した第１エネルギー帯の電磁波に基づく第１画像、及び、異物を含む可能性のある被検査物を透過した第２エネルギー帯の電磁波に基づく第２画像を入力して、画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部を備えてもよい。この構成の学習装置では、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適に学習することができる。
本発明によれば、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる。
図１は、一実施形態のＸ線検査装置の構成図である。 図２は、図１に示されるシールドボックスの内部の構成図である。 図３は、制御部の機能構成図である。 図４（Ａ）はソフト画像の一例であり、図４（Ｂ）はハード画像の一例である。 図５は、仮想不良品画像の生成方法を示した説明図である。 図６は、良品画像に仮想異物画像を合成する手順の一例を示した説明図である。 図７は、機械学習モデルの一例を示す図である。 図８は、学習フェーズにおけるＸ線検査装置の動作例を示すフローチャートである。 図９は、検査フェーズにおけるＸ線検査装置の動作例を示すフローチャートである。
以下、本開示の実施形態について図面を参照しながら説明する。各図において同一又は相当の部分には同一の符号を付し、重複する説明を省略する。
図１に示されるように、Ｘ線検査装置（検査装置）１は、装置本体２と、支持脚３と、シールドボックス４と、搬送部５と、Ｘ線照射部６と、Ｘ線検出部７と、表示操作部８と、制御部１０と、を備える。Ｘ線検査装置１は、物品（被検査物）Ｇを搬送しつつ物品ＧのＸ線透過画像を生成し、当該Ｘ線透過画像に基づいて物品Ｇの検査（たとえば、収納数検査、異物検査、欠品検査、割れ欠け検査等）を行う。検査前の物品Ｇは、搬入コンベア１５１によってＸ線検査装置１に搬入される。検査後の物品Ｇは、搬出コンベア１５２によってＸ線検査装置１から搬出される。Ｘ線検査装置１によって不良品と判定された物品Ｇは、搬出コンベア１５２の下流に配置された振分装置（図示省略）によって生産ライン外に振り分けられる。Ｘ線検査装置１によって良品と判定された物品Ｇは、当該振分装置をそのまま通過する。本実施形態では、物品Ｇは食肉である。
装置本体２は、制御部１０等を収容している。支持脚３は、装置本体２を支持している。シールドボックス４は、装置本体２に設けられている。シールドボックス４は、外部へのＸ線（電磁波）の漏洩を防止する。シールドボックス４の内部には、Ｘ線による物品Ｇの検査が実施される検査領域Ｒが設けられている。シールドボックス４には、搬入口４ａ及び搬出口４ｂが形成されている。検査前の物品Ｇは、搬入コンベア１５１から搬入口４ａを介して検査領域Ｒに搬入される。検査後の物品Ｇは、検査領域Ｒから搬出口４ｂを介して搬出コンベア１５２に搬出される。搬入口４ａ及び搬出口４ｂのそれぞれには、Ｘ線の漏洩を防止するＸ線遮蔽カーテン（図示省略）が設けられている。
搬送部５は、シールドボックス４の中央を貫通するように配置されている。搬送部５は、搬入口４ａから検査領域Ｒを介して搬出口４ｂまで、搬送方向Ａに沿って物品Ｇを搬送する。搬送部５は、たとえば、搬入口４ａと搬出口４ｂとの間に掛け渡されたベルトコンベアである。なお、ベルトコンベアは、搬入口４ａと搬出口４ｂとより外に突出していてもよい。
図１及び図２に示されるように、Ｘ線照射部６は、シールドボックス４内に配置されている。Ｘ線照射部６は、搬送部５によって搬送される物品ＧにＸ線を照射する。Ｘ線照射部６は、たとえば、Ｘ線を出射するＸ線管と、Ｘ線管から出射されたＸ線を搬送方向Ａに垂直な面内において扇状に広げる絞り部と、を有している。Ｘ線照射部６から照射されるＸ線には、低エネルギー（長波長）から高エネルギー（短波長）までの様々なエネルギー帯のＸ線が含まれている。なお、上述した低エネルギー帯及び高エネルギー帯における「低」及び「高」は、Ｘ線照射部６から照射される複数のエネルギー帯の中で相対的に「低い」及び「高い」ことを示すものであり、特定の範囲を示すものではない。
Ｘ線検出部７は、シールドボックス４内に配置されている。Ｘ線検出部７は、物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７は、低エネルギー帯（第１エネルギー帯）のＸ線及び高エネルギー帯（第２エネルギー帯）のＸ線を検出するように構成されている。すなわち、Ｘ線検出部７は、第１ラインセンサ１１と、第２ラインセンサ１２と、を有している。第１ラインセンサ１１及び第２ラインセンサ１２は、それぞれ、搬送方向Ａに垂直な水平方向に沿って一次元に配列されたＸ線検出素子によって構成されている。第１ラインセンサ１１は、物品Ｇ及び搬送部５の搬送ベルトを透過した低エネルギー帯のＸ線を検出する。第２ラインセンサ１２は、物品Ｇ、搬送部５の搬送ベルト及び第１ラインセンサ１１を透過した高エネルギー帯のＸ線を検出する。
図１に示されるように、表示操作部８は、装置本体２に設けられている。表示操作部８は、各種情報を表示すると共に、各種条件の入力を受け付ける。表示操作部８は、たとえば、液晶ディスプレイであり、タッチパネルとしての操作画面を表示する。この場合、オペレータは、表示操作部８を介して各種条件を入力することができる。
制御部１０は、装置本体２内に配置されている。制御部１０は、Ｘ線検査装置１の各部（本実施形態では、搬送部５、Ｘ線照射部６、Ｘ線検出部７、及び、表示操作部８、並びに、Ｘ線装置の下流に配置される図示しない振分装置）の動作を制御する。なお、振分装置は、Ｘ線検査装置１による画像検査で不良品と判定された被検査物（物品）を搬送路上から排除する装置である。制御部１０は、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ、及びＳＳＤ（Solid State Drive）等のストレージを備える。ＲＯＭには、Ｘ線検査装置１を制御するためのプログラムが記録されている。制御部１０には、Ｘ線検出部７の第１ラインセンサ１１から低エネルギー帯のＸ線の検出結果が入力されると共に、Ｘ線検出部７の第２ラインセンサ１２から高エネルギー帯のＸ線の検出結果が入力される。
制御部（学習装置）１０は、図３に示されるように、ＣＰＵ及びＲＡＭ等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもと実行されることにより構成される、第１画像取得部（画像生成部）１０１と、学習部１０２と、機械学習モデル１０３と、検出部１０４と、を備える。機械学習モデル１０３は、物品Ｇを透過した低エネルギー帯のＸ線に基づくソフト画像（第１画像）と、物品Ｇを透過した高エネルギー帯のＸ線に基づくハード画像（第２画像）とから、物品Ｇに異物Ｆが含まれている場合に当該異物の位置を予測するモデルである。本実施形態では、異物Ｆとして、物品Ｇ（食肉）中に含まれる骨が主に想定されている。
制御部１０は、学習フェーズ及び検査フェーズの両方を実行するように構成されている。学習フェーズは、教師データを用いて機械学習モデル１０３の学習を行うフェーズである。すなわち、学習フェーズは、教師データを用いた機械学習を実行することにより、学習済みモデルとしての機械学習モデル１０３を構築するフェーズである。機械学習モデル１０３に用いられる機械学習の例としては、（多層）ニューラルネットワーク（深層学習／ディープラーニング）、サポートベクターマシン、遺伝的アルゴリズム等が挙げられる。検査フェーズは、学習フェーズにより構築された機械学習モデル１０３を用いて、検査対象である物品Ｇの異物検査を実行するフェーズである。本実施形態では、第１画像取得部１０１及び学習部１０２によって学習フェーズが実行され、第１画像取得部１０１及び検出部１０４によって検査フェーズが実行される。
第１画像取得部１０１は、上述したソフト画像とハード画像とを取得する。なお、第１画像取得部１０１は、Ｘ線検出部７から出力される電圧値に基づいて画像に変換する画像生成部を介してソフト画像及びハード画像が取得される。本実施形態では、第１画像取得部１０１は、Ｘ線検出部７の第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、当該低エネルギー帯についてのＸ線透過画像であるソフト画像を生成する。また、第１画像取得部１０１は、Ｘ線検出部７の第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、当該高エネルギー帯についてのＸ線透過画像であるハード画像を生成する。
なお、本実施形態では、図２に示されるように、Ｘ線照射部６から照射されるＸ線は扇状に放射されると共に、Ｘ線照射部６から第１ラインセンサ１１までの距離とＸ線照射部６から第２ラインセンサ１２までの距離とが異なる。このため、ソフト画像における物品Ｇの大きさとハード画像における物品Ｇの大きさとが異なる。具体的には、ハード画像における物品Ｇは、ソフト画像における物品Ｇよりも僅かに大きくなる。そこで、第１画像取得部１０１は、Ｘ線照射部６から第１ラインセンサ１１までの距離（Ｌ１）とＸ線照射部６から第２ラインセンサ１２までの距離（Ｌ２）との比（Ｌ２／Ｌ１）に基づいて、ソフト画像とハード画像とのスケールを合わせる処理を実施してもよい。
たとえば、第１画像取得部１０１は、ソフト画像を上記比で拡大してもよいし、ハード画像を上記比の逆数（Ｌ１／Ｌ２）で縮小してもよい。さらに、第１画像取得部１０１は、図４（Ａ）及び図４（Ｂ）に示されるソフト画像Ｐ１０における物品Ｇの位置とハード画像Ｐ２０における物品Ｇの位置とを合わせる処理を実施してもよい。たとえば、第１画像取得部１０１は、ソフト画像Ｐ１０とハード画像Ｐ２０との差異が最小になるように、ソフト画像Ｐ１０を上下左右に移動させてもよい。より具体的には、第１画像取得部１０１は、両画像を重ね合わせて、両画像の各画素の濃淡値の差の絶対値の総和を算出し、その総和が最小となるように位置合わせを行ってもよい。
図４の（Ａ）は、上述した第１画像取得部１０１の処理によって生成されたソフト画像Ｐ１０の一例であり、図４の（Ｂ）は、上述した第１画像取得部１０１の処理によって生成されたハード画像Ｐ２０の一例である。ソフト画像Ｐ１０は、比較的コントラストが高く、全体的に暗くなっている。一方、ハード画像Ｐ２０は、比較的コントラストが低く、全体的に明るくなっている。本実施形態では、ソフト画像Ｐ１０及びハード画像Ｐ２０は、同一の幅及び高さを有している。すなわち、ソフト画像Ｐ１０及びハード画像Ｐ２０は、いずれもＨ行×Ｗ列に配列された画素を有しており、各画素には画素値（濃淡値）が関連付けられている。
なお、学習フェーズにおいては、第１画像取得部１０１は、後述する学習部１０２により用いられる教師データとして、それぞれ所定位置に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１を取得する。互いに関連する所定位置（すなわち、ソフト画像Ｐ１１における所定位置と、ハード画像Ｐ２１において上記所定位置に対応する位置）に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１は、たとえば以下のようにして取得される。すなわち、元々異物を含んでいない物品Ｇ（すなわち、良品の物品Ｇ）の所定位置に異物Ｆ（又はテストピース）が配置されたサンプルを搬送部５に搬送させる。そして、第１画像取得部１０１が、当該サンプルについて、上述した処理によってソフト画像及びハード画像を生成する。これにより、所定位置に異物Ｆが配置されたソフト画像Ｐ１１及びハード画像Ｐ２１が得られる。
ただし、このような方法では、後述する教師データにおける正解データ（すなわち、異物Ｆが存在する位置（画素））を設定する作業（ラベリング）に手間がかかる。また、異物Ｆの輪郭部分等において、異物Ｆが存在する画素を正確に特定できない場合がある。さらに、異物Ｆの大きさ、位置等についての様々なバリエーションの教師データを得るためには、バリエーション毎のサンプルを用意し、各サンプルを搬送部５に搬送させてソフト画像及びハード画像を取得する必要があるため、非常に手間がかかる。
また、異物Ｆが配置された画像を得る手段としては、実際の生産ラインで画像を収集しながら、実検査物を人手で異物があるかどうか、その位置はどこかを判断し、画像上で異物をマーキングすることも可能であるが、非常に手間がかかる作業となる。また、異物が混入しているサンプル自体も発生頻度が低いために、異物の写った画像を集めるには非常に時間を要することとなる。
更に詳細には、ここでの課題は２点あり、（１）教師データとなる異物画像は、そもそも異物混入頻度が低いために収集するのが困難である、（２）異物画像を得られたとしても、どこに異物があるのかを人手でマーキング（アノテーションという）をする必要がある。この２点のために、以後に説明する仮想不良品画像が有効で、この画像は、多数収集することが出来る良品画像を基に作られること、また、仮想異物はコンピュータが生成するものなので、異物の位置もコンピュータ自身が自明に分かっているので、ラベルが容易に生成できる。
そこで、本実施形態のＸ線検査装置１は、異物Ｆを含まない物品Ｇを透過したＸ線（電磁波）に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像（第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２）を生成する画像処理部（画像処理装置）５０を有している。画像処理部５０は、第１画像取得部１０１と、第１処理部５２と、第２処理部５３と、情報入力部５４と、ＨＤＤ（Hard Disk Drive）５５と、記憶部５６と、を有している。第２画像取得部５１、第１処理部５２、第２処理部５３、及び情報入力部５４は、上述した制御部１０のＣＰＵ及びＲＡＭ等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもと実行されることにより構成される。ＨＤＤ５５は、Ｘ線検出部７よって取得されるソフト画像と、ハード画像とを記憶（ストック）する。このようにして撮りためられたソフト画像及びハード画像は、後段にて詳述する第１画像取得部１０１及び第２画像取得部５１によって取得されてもよい。
第２画像取得部５１は、図５に示されるように、第１エネルギー帯のＸ線に基づく良品画像である第１良品画像Ｐ１１１と、第１エネルギー帯とは異なる第２エネルギー帯のＸ線に基づく良品画像である第２良品画像Ｐ１２１と、を取得する。第１良品画像Ｐ１１１と第２良品画像Ｐ１２１は、少なくとも１枚ずつ取得する。良品画像とは、異物を含まない物品Ｇの透過画像である。第２画像取得部５１は、Ｘ線検出部７の第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、第１良品画像Ｐ１１１を生成する。また、第２画像取得部５１は、Ｘ線検出部７の第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、第２良品画像Ｐ１２１を生成する。ここで、以降は、Ｘ線の透過量が多い程、画素の濃淡値（たとえば、０～２５５を取る値）が大きくなる指標における記述とする。
なお、第１良品画像Ｐ１１１及び第２良品画像Ｐ１２１は、通常の検査時に得られる良品画像を用いてもよい。すなわち、日常的に実施される検査において、良品と判断されたソフト画像Ｐ１１及びハード画像Ｐ２１を記憶しておき、これらを学習フェーズに利用してもよい。
第１処理部５２は、第１良品画像Ｐ１１１を構成する少なくとも１つ以上の画素である第１対象画素ＰＸ１における画素値を変更することによって仮想異物画像ＰＦ１を合成し、仮想不良品画像である第１仮想不良品画像Ｐ１１２を生成する。第２処理部５３は、第１対象画素ＰＸ１に対応する、第２良品画像を構成する少なくとも１つ以上の画素であり、第１対象画素ＰＸ１の位置と対応する位置にある第２対象画素ＰＸ２における画素値を変更することによって、仮想異物画像ＰＦ２を合成し、仮想不良品画像である第２仮想不良品画像Ｐ１２２を生成する。
図６に示されるように、第１処理部５２は、第１対象画素ＰＸ１における画素値を変更する前に、物品Ｇが無い部分に対応する領域の明るさ（ブライト値）が、たとえば２２０（８ｂｉｔ：０～２５５階調）となるように調整してもよい。また、第２処理部５３は、第２対象画素ＰＸ２における画素値を変更する前に、物品Ｇが無い部分に対応する領域の明るさが、たとえば２２０（８ｂｉｔ：０～２５５階調）となるように調整してもよい。すなわち、第１良品画像Ｐ１１１と第２良品画像Ｐ１２１との間で、物品Ｇが無い部分に対応する領域が同じ明るさの２２０となるように調整してもよい。このような前処理によって、たとえば、第１良品画像Ｐ１１１における物品Ｇに対応する領域の明るさが９０となり、第２良品画像Ｐ１２１における物品Ｇに対応する領域の明るさが１１０になったとする。なお、説明の便宜のため、物品Ｇに対応する領域は、一律の明るさと示しているが、実際には、変動がある。
第１処理部５２は、異物ＦにおけるＸ線（電磁波）の減弱特性（吸収特性）に基づく第１処理により第１対象画素ＰＸ１の画素値を変更し、第２処理部５３は、第１処理とは異なる処理であって、減弱特性に基づく第２処理により第２対象画素ＰＸ２の画素値を変更する。
第１処理は、第１良品画像Ｐ１１１の画素値（たとえば、第１良品画像Ｐ１１１を構成する画素の最頻値、平均値、最大値、又は最小値）を基準として第１対象画素ＰＸ１の画素値を第１範囲ＣＯＬ内で減少させる処理である。たとえば、画素値の例が、明るさを示す指標（いわゆる、濃淡値、濃度値、明度値、輝度値等）の場合、これらの値を減少させることにより、第１対象画素ＰＸ１が周囲に比べて暗くなる。
第２処理は、第２良品画像Ｐ１２１の画素値（たとえば、第２良品画像Ｐ１２１を構成する画素の最頻値、平均値、最大値、又は最小値）を基準として第２対象画素ＰＸ２の画素値を第２範囲ＣＯＨ内で減少させる処理である。たとえば、画素値の例が、明るさを示す指標（濃度値、明度値、輝度値）の場合、これらの値を減少させることにより、第２対象画素ＰＸ２が周囲に比べて暗くなる。なお、第１範囲ＣＯＬと第２範囲ＣＯＨとでは、互いに異なる範囲が設定されている。
ここで、第１範囲ＣＯＬ及び第２範囲ＣＯＨは、いずれも正値であり、計算対象となる画素の変更量の度合い（絶対値）であり、或る範囲を持った値である。第１範囲ＣＯＬ及び第２範囲ＣＯＨは、各々対応する実際の画像の画素値（本実施形態では、たとえば、同一の被検査物が映ったソフト画像（第１画像）及びハード画像（第２画像）のセットの各々に撮像されている被検査物に含まれる実際の異物に対応する画素の濃淡値を基準にして決定する。この場合、１つのセットに限らず、ソフト画像（第１画像）及びハード画像（第２画像）の複数セットの各々の傾向から、被検査物の濃淡値を決定すればよい）。
第２範囲ＣＯＨ（第１範囲及び第２範囲のいずれか一方）における絶対値の下限値は、第１範囲ＣＯＬ（第１範囲及び第２範囲の他方）における絶対値の下限値よりも小さくなるように設定されており、第２範囲ＣＯＨ（第１範囲及び第２範囲の上記一方）における絶対値の上限値は、第１範囲ＣＯＬ（第１範囲及び第２範囲の上記他方）における絶対値の上限値よりも小さくなるように設定されている。たとえば、第１範囲ＣＯＬの下限値が第２範囲ＣＯＨの下限値よりも小さい関係性にあるとする。この関係性は下限値でも成り立ち、第１範囲ＣＯＬの上限値が第２範囲ＣＯＨの上限値よりも小さい関係性となる。本実施形態では、第１範囲ＣＯＬ及び第２範囲ＣＯＨは、下記の通り設定されている。
第１範囲 ： ８≦ＣＯＬ≦３０
第２範囲 ： ４≦ＣＯＨ≦１５
すなわち、第２範囲ＣＯＨの下限値が第１範囲ＣＯＬの下限値よりも小さく、かつ、第２範囲ＣＯＨの上限値が第１範囲ＣＯＬの上限値よりも小さい。このように、第１範囲ＣＯＬと、第２範囲ＣＯＨとは、一部値が重複することがある。
また、本実施形態では、第２範囲ＣＯＨ（第１範囲及び第２範囲の一方）における上限値及び下限値の両方は、第１範囲ＣＯＬ（第１範囲及び第２範囲の他方）に基づいて設定される。この関係性は、以下の数式（１）を満たす。
ＣＯＨ＝ｋＣＯＬ＋δ，（０＜ｋ＜１））…（１）
ここで、δを無視しても差し支えない程度の大きさとなるように、ｋが設定できるとする。このとき、数式（１）は、数式（２）に近似できる。
ＣＯＨ≒ｋＣＯＬ，（０＜ｋ＜１））…（２）
近似の等号は、処理（計算）上、無視できる程度の違いしかなく、以降、等しいと扱ってもよいことを示している。次に、具体的な対象（たとえば、被検査物は赤身肉であり、異物は骨）で得られた値の範囲を示す、数式（２）の具体的な例は、以下の数式（３）となる。
ＣＯＨ＝（１／２）ＣＯＬ，（ｋ＝１／２）…（３）
なお、数式（３）では、完全な等号「＝」となっている。これは、δ＝０であったためである。
第１対象画素ＰＸ１及び第２対象画素ＰＸ２の選択は、たとえば、予め記憶された異物Ｆの形を模倣した形状データを、拡大／縮小・回転・反転・剪断変換・台形変換等（アフィン変換及び非アフィン変換等）を行った形状データに基づいて行われる。ただし、セットとなる第１画像及び第２画像において、第１対象画素ＰＸ１及び第２対象画素ＰＸ２は対応する位置となる。これは、セットとなる第１画像及び第２画像には、同一の異物が含まれることが想定されているためである。第１対象画素ＰＸ１及び第２対象画素ＰＸ２は、素朴には同一の位置となるが、第１画像及び第２画像の各々が撮像された位置の違いや、第１画像及び第２画像を撮像したＸ線撮像部の画素の大きさ（面積）の違いが反映されて、画像上で必ずしも完全に重なる位置になるとは限らない。ただし、第１対象画素ＰＸ１及び第２対象画素ＰＸ２は、必ず対応関係（一方の画素から他方の画素（群）への対応関係）が生じる。
（第１処理）
第１処理は、このようにして選択された第１対象画素ＰＸ１の一つ一つの画素に対して第１処理により、画素を変換する。
具体的には、第１処理は、同一のソフト画像（第１画像）Ｐ１０における全ての第１対象画素ＰＸ１に対して、第１範囲ＣＯＬに含まれることを条件に一様ランダムに（等確率で）選び出された共通の一の値Ｃ´ＯＬによって、全ての第１対象画素ＰＸ１を変換する。ここで、第１対象画素ＰＸ１を変換するとは、各第１対象画素の変換前の濃淡値から、上記第１範囲ＣＯＬから選び出した一の値（絶対値）である第１値Ｃ´ＯＬを減算し、得られた濃淡値に置き換ることをいう。この結果、第１対象画素ＰＸ１の各々は、第１範囲ＣＯＬの範囲に含まれる一の値（絶対値）が減算されて、置き換えられる。すなわち、第１処理は、上記計算を経て、第１対象画素ＰＸ１を暗くする上記一連の処理を実行することである。以上、第１処理により、第１仮想不良品画像Ｐ１１２が含まれる第２仮想不良画像を得ることができる。
ただし、各第１対象画素ＰＸ１毎に、第１範囲ＣＯＬから個別の値を選び出して変換してもよい。この場合、第１対象画素ＰＸ１の各々は、第１範囲ＣＯＬの範囲に含まれる（各画素の間で必ずしも等しい値とはならない）個別の値（絶対値）Ｃ‘ＯＬが減算されて、置き換えられる。また、一様ランダムに（等確率で）値が選び出されるよう構成された例を示したが、たとえば、範囲上下限値の平均値（あるいは、減弱特性を考慮した出現頻度を考慮した値）を基準とした正規分布に従うように、重み付けされた確率で選び出されるように構成してもよい。
（第２処理）
第２処理も、上記のようにして選択された第２対象画素ＰＸ２の一つ一つの画素に対して、ランダムに所定の第２の規則で画素を変換する。ここで、実際の運用段階では、同一の異物が撮像されたセットとなる第１画像と第２画像とに基づいて、異物の有無を判断する必要がある。そのため、学習段階でも、セットとなる第１画像と第２画像とには、同一の異物が含まれた状況を想定する必要がある。そのため、第２処理は、第１処理において第１範囲から選び出された第１値Ｃ´ＯＬに基づいて（第１値Ｃ‘ＯＬを考慮して）、従属的に決定された値Ｃ´ＯＨ（詳細後述）に基づいて第２対象画素を変換する。ただし、第２処理は、（たとえば、厚み等の）異物の多様性を表現するために、変動させる（多様性を表現するため、所定の範囲内で値を増減させる）必要がある。
具体的には、実際の異物を含むサンプル画像等から各々個別に決定した、第１範囲ＣＯＬと第２範囲ＣＯＨとの関係性である数式（３）（数式（２）の具体例）を用いる。ここで、第２範囲ＣＯＨは、第１範囲ＣＯＬよりも１／２であった。そのため、同一サンプルを撮像している状況を想定すれば、第１処理において第１範囲から選び出された一の値（各画素の濃淡値の変更量）である第１値Ｃ´ＯＬに対して１／２倍した第２値Ｃ´ＯＨを第２対象画素ＰＸ２から減算することにより、異物（の濃淡値の変更量の度合い）を表現すればよいとわかる。ただし、単に固定的に１／２倍するだけでは、異物の多様性が表現できない（たとえば、各セットの仮想的な異物の間で、厚みが常に一定等といった、何らかの不必要な共通性を持った異物群になってしまう）。そこで、第１値Ｃ´ＯＬから（ここでは、ある定まった値である）第２値Ｃ´ＯＨを得る際に、第１値を所定範囲で増減させ、変調を加える。
変調を加える式として、たとえば、次の数式（４）を用いることができる。
（１－ｆ）ｋＣ´ＯＬ≦Ｃ´ＯＨ≦（１＋ｆ）ｋＣ´ＯＬ，（０＜１＜ｋ，０＜ｆ＜１）…（４）
ここでは、ｋは上記の通り、ｋ＝１／２である。また、ｆは、たとえば、１／５と設定するものとする。なお、ｆは、後述する学習済みモデルの出力の精度が良くなるように、適切な値を決定する。異なるｆを設定した複数の学習（済み）モデルを作成し、比較検討した結果に基づいて、より適切なｆを決定して（選び出して）もよい。
すると、数式（４）から、変調した第２値（以下、変調第２値）の取り得る範囲である第２値範囲Ｃ´ＯＨに関して、下記数式（５）が得られる。
（２／５）Ｃ´ＯＬ≦Ｃ´ＯＨ≦（３／５）ｋＣ´ＯＬ，（たとえば、ｋ＝１／２、ｆ＝１／５）…（５）
このようにして得られた（各第２対象画素ＰＸ２毎の）第２値Ｃ´ＯＨの範囲第２処理に用いる。
第２処理は、同一のソフト画像（第１画像）Ｐ１０における全ての第２対象画素ＰＸ２に対して、第２値範囲Ｃ´ＯＨに含まれることを条件に一様ランダムに（等確率で）選び出された共通の一の変調第２値Ｃ´´ＯＨによって、全ての第２対象画素ＰＸ２を変換する。ここで、第２対象画素ＰＸ２を変換するとは、各第２対象画素の変換前の濃淡値から、上記第２値範囲Ｃ´ＯＨから選び出した一の値（絶対値）である変調第２値Ｃ´´ＯＨを減算し、得られた濃淡値に置き換ることをいう。この結果、第１対象画素ＰＸ１の各々は、第２値範囲Ｃ´ＯＨの範囲に含まれる一の値（絶対値）が減算されて、置き換えられる。すなわち、第２処理は、上記計算を経て、第２対象画素ＰＸ２を暗くする上記一連の処理を実行することである。以上、第２処理により、第２仮想不良品画像Ｐ１２２が含まれる第２仮想不良画像を得ることができる。
ただし、各第２対象画素ＰＸ２毎に、第２値範囲Ｃ´ＯＨから個別の値を選び出して変換してもよい。この場合、第２対象画素ＰＸ２の各々は、第２値範囲Ｃ´ＯＨの範囲に含まれる（各画素の間で必ずしも等しい値とはならない）個別の値（絶対値）Ｃ´ＯＬが減算されて、置き換えられる。また、各第２対象画素ＰＸ２毎に、一様ランダムに（等確率で）変調第２値Ｃ´´ＯＨが選び出されるよう構成された例を示したが、たとえば、範囲上下限値の平均値等（あるいは、減弱特性を考慮した出現頻度を考慮した値等）を基準とした正規分布に従うように、重み付けされた確率で選び出されるように構成してもよい。
図５に示されるように、第１処理部５２によって第１良品画像Ｐ１１１が第１処理されることによって仮想異物画像ＰＦ１が合成され、第１仮想不良品画像Ｐ１１２が生成される。また、第２処理部５３によって第２良品画像Ｐ１２１が第２処理されることによって仮想異物画像ＰＦ２が合成され、第２仮想不良品画像Ｐ１２２が生成される。
上記実施形態では、説明の便宜のため、第１処理及び第２処理によって処理される画素の位置が、第１良品画像Ｐ１１１と第２良品画像Ｐ１２１とで同じとした例を挙げて説明した。しかしながら、Ｘ線照射部６から第１ラインセンサ１１までの距離とＸ線照射部６から第２ラインセンサ１２までの距離とが異なっている。そこで、第２画像取得部５１は、Ｘ線照射部６から第１ラインセンサ１１までの距離（Ｌ１）とＸ線照射部６から第２ラインセンサ１２までの距離（Ｌ２）との比（Ｌ２／Ｌ１）に基づいて、ソフト画像とハード画像とのスケールを合わせる処理が実施された（その結果、第１処理及び第２処理によって処理される画素の位置が、第１良品画像Ｐ１１１と第２良品画像Ｐ１２１とで同じ）として説明した。なお、このようなスケールの差を考慮して、第１処理及び第２処理によって処理される画素の位置、数、大きさ等（仮想異物画像合成する位置）を第１良品画像Ｐ１１１と第２良品画像Ｐ１２１との間で変えてもよい。
図４に示されるように、画像処理部５０は、情報入力部５４と記憶部５６を有している。情報入力部５４は、画像処理部５０によって生成しようとする仮想不良品画像（第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２）についての情報を入力する部分である。具体的には、情報入力部５４は、物品Ｇの種類と、仮想的に合成させようとする異物Ｆの種類の入力と、を受け付ける部分である。
記憶部５６は、物品Ｇの種類と、良品画像に合成される異物の種類と、上述した第１範囲ＣＯＬと、上述した第２範囲ＣＯＨと、が関連付けられた合成処理情報を記憶している。第１処理部５２及び第２処理部５３は、たとえば、オペレータによって、情報入力部５４を介して入力操作された異物の種類に基づいて、合成処理情報から第１範囲ＣＯＬ又は第２範囲ＣＯＨを抽出（取得）する。すなわち、物品Ｇの種類と、良品画像に合成される異物の種類とがオペレータによって選択されることによって最適な第１範囲ＣＯＬ及び第２範囲ＣＯＨが選択され、その結果、好適な第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２が生成されるようになっている。
上述した合成処理情報は、異物Ｆの減弱特性が物品Ｇの減弱特性よりも小さな場合には、第１範囲ＣＯＬの代表値（たとえば、上下限値の平均値）が第２範囲ＣＯＨの代表値（たとえば、上下限値の平均値。第１範囲ＣＯＬの代表値と同一の基準で比較する必要がある）よりも小さくなる。第１範囲ＣＯＬ及び、第２範囲ＣＯＨは、０でない正の範囲の範囲である。
ここで、異物Ｆの減弱特性が物品Ｇの減弱特性よりも小さな場合に物理的な特性（Ｘ線における吸収特性，本実施形態では減弱特性）を反映するためには、上記異物Ｆの減弱特性が物品Ｇの減弱特性よりも大きな場合と逆に、第１対象画素ＰＸ１及び第２対象画素ＰＸ２の濃淡値（画素値）を増加させる必要がある。そのため、異物Ｆの減弱特性が物品Ｇの減弱特性よりも大きい場合には、第１範囲ＣＯＬの代表値が第２範囲ＣＯＨの代表値よりも大きくなるような組合せとなるようなデータベースとなっている。
この場合でも、Ｘ線においては、第２範囲ＣＯＨ（第１範囲及び第２範囲のいずれか一方）における絶対値の下限値は、第１範囲ＣＯＬ（第１範囲及び第２範囲の上記一方）における絶対値の下限値よりも小さくなるように設定されており、第２範囲ＣＯＨ（第１範囲及び第２範囲上記一方）における絶対値の上限値は、第１範囲ＣＯＬ（第１範囲及び第２範囲の上記他方）における絶対値の上限値よりも小さくなるように設定されている。たとえば、第１範囲ＣＯＬの下限値が第２範囲ＣＯＨの下限値よりも小さい関係性にあるとする。この関係性は下限値でも成り立ち、第１範囲ＣＯＬの上限値が第２範囲ＣＯＨの上限値よりも小さい関係性となる。
なお、このようなデータベースは、Ｘ線検査装置１の内蔵される記憶部５６に記憶されるだけでなく、たとえば、ネットワークを介して通信可能なサーバ等に格納されていてもよい。
なお、上記実施形態では、物品Ｇの種類と、良品画像に合成される異物の種類とがオペレータによって選択されることによって最適な第１範囲ＣＯＬ及び第２範囲ＣＯＨが選択される例を挙げて説明したが、第１範囲ＣＯＬ及び第２範囲ＣＯＨの一方のみが選択されてもよい。第１範囲ＣＯＬ及び第２範囲ＣＯＨの他方は、別途記憶される計算式等から算出されてもよい。つまり、物品Ｇの種類や、良品画像に合成される異物の種類から、物理的な特性（吸収特性、本実施形態ではＸ線の減弱特性）に基づいて、一方が決定できれば、他方を算出することが可能であることから、一方のみの記憶としてもよい。
学習部１０２は、上述した学習フェーズにおける機械学習モデル１０３の学習処理を実行する。具体的には、学習部１０２は、それぞれ所定位置に異物Ｆ（図５参照）が配置された第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２と、所定位置（すなわち、第１対象画素ＰＸ１及び第２対象画素ＰＸ２）に対応する画素を示す正解データと、を含む教師データを用意する。本実施形態では、学習部１０２は、画像処理部５０により生成された第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２を取得する。ただし、上述したように、学習部１０２は、Ｘ線検査装置１によるリアルタイムの検査と同時並行でソフト画像Ｐ１１及びハード画像Ｐ２１を取得する必要はない。一又は複数台のＸ線検査装置１から出力されるデータをＸ線検査装置１に外付けされる記録媒体である図示しないＨＤＤ等に撮り溜めておき、学習部１０２は、当該ＨＤＤから、適宜画像を取得するように構成されてもよい。また、学習部１０２は、仮想異物画像が占める領域に含まれる画素を示す情報を第２画像取得部５１から取得することにより、正解データを取得する。
そして、学習部１０２は、このようにして得られた教師データ（第１仮想不良品画像Ｐ１１２、第２仮想不良品画像Ｐ１２２、及び正解データ）を機械学習モデル１０３に入力することにより、機械学習モデル１０３を学習させる。学習部１０２は、上記機械学習を実行することにより、ソフト画像Ｐ１０及びハード画像Ｐ２０を入力して画素毎の異物尤度を出力するように構成された（多層の）ニューラルネットワークを含む学習済みモデル（すなわち、ニューラルネットワークのパラメータが調整された機械学習モデル１０３）を構築する。ここで、異物尤度とは、異物である確からしさを示す情報である。たとえば、ある画素の異物尤度は、当該画素が異物Ｆ（本実施形態では仮想異物画像）に対応する画素である確率（０から１までの数値）により表現され得る。
図７は、機械学習モデル１０３の一例を示す図である。図７に示されるように、本実施形態では一例として、機械学習モデル１０３は、予め構成されたニューラルネットワークＮを含んでいる。
機械学習モデル１０３の学習（すなわち、ニューラルネットワークＮのパラメータの調整）は、以下のようにして行われる。すなわち、学習部１０２は、ニューラルネットワークＮに教師データにおける第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２を入力する。そして、学習部１０２は、ニューラルネットワークＮにより出力された予測結果Ｒ１（画素毎の異物尤度）から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように、ニューラルネットワークＮのパラメータを調整する。このようなパラメータの調整には、誤差逆伝播法等の公知の手法を用いることができる。
一例として、学習部１０２は、予測結果Ｒ１に含まれる画素毎の異物尤度に基づいて、ニューラルネットワークＮによって異物に対応すると推定された画素を特定する。たとえば、学習部１０２は、予め設定した閾値（たとえば０．５）以上の異物尤度を有する画素を、異物に対応する画素として取得する。一方、学習部１０２は、上記閾値未満の異物尤度を有する画素を、異物に対応しない画素として取得する。そして、学習部１０２は、このようにして特定された異物に対応する画素（又は異物に対応しない画素）と正解データとを比較することにより、予測結果Ｒ１の正解データからの誤差を算出することができる。学習部１０２は、このような誤差（損失）を表す任意の損失関数（コスト関数）を設定し、最急降下法等を用いて、当該損失関数の値が減少するようにニューラルネットワークＮのパラメータ（重み）を調整する。
検出部１０４は、上述した学習フェーズにおいて構築された機械学習モデル１０３を用いて検査対象である物品Ｇの異物検出を行う。すなわち、検出部１０４は、検査フェーズにおいて、検査対象である物品Ｇについてのソフト画像Ｐ１０及びハード画像Ｐ２０を機械学習モデル１０３に入力することにより、画素毎の異物尤度（機械学習モデル１０３から出力される予測結果Ｒ１）を取得する。そして、検出部１０４は、当該画素毎の異物尤度に基づいて異物を検出する。たとえば、検出部１０４は、上述したように予め設定した閾値（たとえば０．５）以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Ｇに混入された異物を検出することができる。
次に、図８を参照して、学習フェーズにおけるＸ線検査装置１の動作の一例について説明する。
ステップＳ１において、教師データ作成用の物品Ｇが、搬入コンベア１５１から搬入口４ａを介して検査領域Ｒに搬入される（図１参照）。そして、Ｘ線照射部６が当該物品ＧにＸ線を照射し、Ｘ線検出部７が当該物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７の第１ラインセンサ１１によって低エネルギー帯のＸ線が検出され、Ｘ線検出部７の第２ラインセンサ１２によって高エネルギー帯のＸ線が検出される（図２参照）。
ステップＳ２において、第２画像取得部５１は、第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、第１良品画像Ｐ１１１を生成し、第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、第２良品画像Ｐ１２１を生成する（図５参照）。
ステップＳ３において、第１処理部５２は、ソフト画像用の仮想異物画像を第１良品画像Ｐ１１１の第１対象画素ＰＸ１に合成することにより、所定位置に異物Ｆが配置された第１仮想不良品画像Ｐ１１２を取得する。また、第２処理部５３は、ハード画像用の仮想異物画像を第２良品画像Ｐ１２１の第２対象画素ＰＸ２に貼り付けることにより、所定位置に異物Ｆが配置された第２仮想不良品画像Ｐ１２２を取得する（図５参照）。
画像処理部５０は、ステップＳ１，Ｓ２で取得された一組の第１良品画像Ｐ１１１及び第２良品画像Ｐ１２１に対して、異なる複数の仮想異物画像ＰＦを用いてステップＳ３の処理を複数回実行することにより、複数の異なる教師データを生成する。また、物品Ｇ及び仮想異物画像の複数の異なる組み合わせに対して、ステップＳ１～Ｓ３の処理を複数回実行することにより、複数の異なる教師データが作成する。このとき、仮想異物画像ＰＦ（第１対象画素ＰＸ１及び第２対象画素ＰＸ２）の明るさ（濃淡値のコントラスト）の大小関係が逆転しないように設定値（たとえば、上述したｋやｆといった所定値）を決めるのが望ましい。ただし、全体の傾向としてコントラストの大小関係が保たれていれば、一部の仮想異物において、大小関係の逆転が生じてもよい。教師データは一般的に多数の画像を含むので、ＰＸ１の（たとえば）平均値とＰＸ２の（たとえば）平均値を比較した場合には、コントラストの大小関係は前述の通りの大小関係を示すように設定されるのが望ましい。ただし、教師データのごく一部でこのコントラストの大小関係が反転していても最終的な出力に与える影響が無視できる場合がある。この場合、全体的な影響は非常に限定的である。
ステップＳ４において、画像処理部５０は、ステップＳ３で取得された第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２と第１対象画素ＰＸ１及び第２対象画素ＰＸ２のそれぞれを示す正解データとを含む教師データを作成する。
ステップＳ５において、学習部１０２は、ステップＳ４で作成された教師データを用いた機械学習（たとえば深層学習等）を実行することにより、学習済みモデル（すなわち、ニューラルネットワークＮのパラメータが調整された機械学習モデル１０３）を構築する。
次に、図９を参照して、検査フェーズにおけるＸ線検査装置１の動作の一例について説明する。
ステップＳ１１において、異物検査の対象となる物品Ｇが、搬入コンベア１５１から搬入口４ａを介して検査領域Ｒに搬入される（図１参照）。そして、Ｘ線照射部６が当該物品ＧにＸ線を照射し、Ｘ線検出部７が当該物品Ｇを透過した複数のエネルギー帯の各々のＸ線を検出する。本実施形態では、Ｘ線検出部７の第１ラインセンサ１１によって低エネルギー帯のＸ線が検出され、Ｘ線検出部７の第２ラインセンサ１２によって高エネルギー帯のＸ線が検出される（図２参照）。
ステップＳ１２において、第１画像取得部１０１は、第１ラインセンサ１１による低エネルギー帯のＸ線の検出結果に基づいて、ソフト画像Ｐ１０を生成し、第２ラインセンサ１２による高エネルギー帯のＸ線の検出結果に基づいて、ハード画像Ｐ２０を生成する（図４参照）。
ステップＳ１３において、検出部１０４は、ステップＳ１２で取得されたソフト画像Ｐ１０及びハード画像Ｐ２０を機械学習モデル１０３に入力することにより、画素毎の異物尤度（機械学習モデル１０３から出力される予測結果Ｒ１）を取得する。
ステップＳ１４において、検出部１０４は、機械学習モデル１０３から出力された予測結果Ｒ１に基づいて異物を検出する。たとえば、検出部１０４は、予め設定した閾値（たとえば０．５）以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Ｇに混入された異物を検出することができる。
上記実施形態によれば、第１処理部５２及び第２処理部５３は、第１良品画像Ｐ１１１及び第２良品画像Ｐ１２１において、第１対象画素ＰＸ１及び第２対象画素ＰＸ２に対して、各々第１エネルギー帯および第２エネルギー帯の減弱特性を反映して、仮想異物画像ＰＦを合成する（含める）ことができる。その結果、エネルギー帯によってＸ線の減弱減弱量が異なるという異物の減弱特性を適切に反映し、各々のエネルギーに基づく仮想不良品画像（第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２）を生成することができる。
より詳細には、物品Ｇ（たとえば、赤身肉）よりも減弱特性の高い異物（たとえば、骨又は金属片）を仮想的に合成したい場合は、物品Ｇの画素値を基準とした場合に、第１良品画像Ｐ１１１における第１対象画素ＰＸ１の画素値における変更値の度合い（絶対値であり、たとえば、上述した所定値ｋやｆを、被検査物や異物の物理特性に応じて適宜変更した上で、第１値Ｃ´Ｏｌと同様の計算により得られる値））を第２良品画像Ｐ１２１の第２対象画素ＰＸ２における画素値の変更値の度合い（絶対値であり、たとえば、上述した所定値ｋやｆ、被検査物や異物の物理特性に応じて適宜変更した上で、変調第２値Ｃ´´ＯＨと同様の計算により得られる値）よりも大きく設定した。これにより、実際の異物ＦにおけるＸ線の減弱特性を反映することができる。
ここで、物品Ｇ（たとえば、赤身肉）よりも減弱特性の低い異物Ｆ（たとえば、空隙や脂肪塊）を仮想的に合成したい場合は、物品Ｇの画素値を基準とした場合について記述する。この場合でも、第１良品画像Ｐ１１１の第１対象画素ＰＸ１における画素値の変更値の度合い（絶対値であり、たとえば、上述した所定値ｋやｆ、被検査物や異物の物理特性に応じて適宜変更した上で、適宜変更した上で、第１値Ｃ´Ｏｌと同様の計算により得られる値）を第２良品画像Ｐ１２１の第２対象画素ＰＸ２における画素値の変更値の度合い（絶対値であり、たとえば、上述した所定値ｋやｆ、被検査物や異物の物理特性に応じて適宜変更した上で、変調第２値Ｃ´´ＯＨと同様の計算により得られる値）よりも、同様に大きく（絶対値であり、たとえば、上述した所定値ｋやｆ、被検査物や異物の物理特性に応じて適宜変更した上で、適宜変更した上で、変調第２値Ｃ´´ＯＨと同様の計算により得られる値）設定すればよい。ただし、その後の計算が異なる。すなわち、第１処理においては、第１対象画素ＰＸ１における各画素の画素値に対して、第１値Ｃ´Ｏｌを（減算ではなく、）増加させた値に置き換える操作を行うとともに、第２処理においては、第２対象画素ＰＸ２における各画素の画素値に対して、第２値Ｃ´´ＯＨを（減算ではなく、）増加させた値に置き換える操作を行う。このようにすれば、実際の異物ＦのＸ線の減弱特性を反映することができる。
また、Ｘ線透過画像に対して、画像処理アルゴリズムを用いた画像処理を施して処理画像を生成し、この処理画像に基づいて物品の検査を行うＸ線検査装置が知られている。このようなＸ線検査装置では、複数の画像処理アルゴリズムが記憶部に予め記憶されており、記憶された複数の画像処理アルゴリズムの中から、検査時の画像処理に用いる最適な画像処理アルゴリズムが選択されて設定される。
このような画像処理アルゴリズムは、一般的に１枚の画像に対して為されるものであり、２枚の画像を入力することはできない。この画像処理アルゴリズムの一例として、ＧＡ（遺伝的アルゴリズム）がある。ＧＡは、既存の画像処理を組み合わせて、検査したい対象物と発見しようとする異物に応じた画像処理（用いる画像処理フィルタの選択変更、当該画像フィルタをかける順や、各々フィルタのかける強さの変更を適宜行い、適正化した画像処理）を生成（特定）することを目的とする手法が提案されている。
ここで、ＧＡでは、画像処理を生成（特定）するにあたって、様々な組み合わせを実行して目的に適合しているかどうかを適応度により評価し、遺伝的アルゴリズムを用いて適応度を向上させていく手法である。しかし、Ｘ線画像は一般的にモノクロ画像となっており、既存の画像処理ではモノクロ画像を扱うものが主となっているため、遺伝的アルゴリズムを使用したとしてもモノクロ画像を扱うことに変わりはない。そのため、２枚の画像を入力して画像処理を行うことはここでは想定されていない。ただし、上記した第１処理及び第２処理により、同一の異物を仮想的に含むように変更された第１画像及び第２画像から、サブトラクション等の公知の手法を用いて、異物が強調された１枚の画像（いわゆる、差分画像）を得ることができる。差分画像の時点では、異物のシグナルの他、ノイズのシグナルも含んでいる可能性がある（Ｓ／Ｎ比が悪い）。この差分画像に対して、ＧＡを用いれば、差分画像から適切に異物を抽出することができる。ここで、適応度の評価として、第１処理及び第２処理において異物を含めた位置に対応する画素（第１対象画素及び第２対象画素）が既知であることから、ＧＡにより抽出された異物に対応する画素との比較により、上記適応度を算出することができる。これにより、適応度が向上するように、上記画像処理を調整することができるので、精度よく異物を検出可能なＧＡに調整していくことができる。
すなわち、本実施形態のＸ線検査装置１では、このようなタイプの画像処理アルゴリズムを有するＸ線検査装置において、最適な画像処理アルゴリズムを予め設定するに際し、最適な画像処理アルゴリムを選択するのに好適な第１画像及び第２画像のセットを取得することができる。
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
上記実施形態では、画像生成装置が画像処理部５０としてＸ線検査装置１に装備されている例を挙げて説明したが、これに限定されない。たとえば、ＰＣ、タブレット等の端末装置として構築されてもよい。また、画像処理部５０は、Ｘ線検査装置１と別体に構築されたサーバ装置（画像処理装置）として構築されてもよい。この場合、Ｘ線検査装置１とサーバ装置とを備えるシステムとして構築され、Ｘ線検査装置１とサーバ装置は電子ネットワーク経由で接続され得る。
上記実施形態及び変形例では、物品Ｇに対応する領域の画素から第１対象画素ＰＸ１及び第２対象画素ＰＸ２の画素値（明るさ）を減少させる例を挙げて説明したが、たとえば、たとえば、空隙や脂肪塊等を異物Ｆとする場合には、画素値（明るさ）を増加させてもよい。また、第１仮想不良品画像Ｐ１１２及び第２仮想不良品画像Ｐ１２２のネガ・ポジが逆転した場合には、上述した関係性も逆転する。ただし、ここでの逆転は、第１対象画素及び第２対象画素に対する増加又は減少の計算処理を逆転させることをいう。絶対値で定義される、第１範囲、第１値、第２範囲、第２値範囲等での大小の関係性は逆転しない。
上記実施形態及び変形例では、物品Ｇに対応する領域の画素から第１対象画素ＰＸ１及び第２対象画素ＰＸ２の画素値（明るさ）を減少させる画素値の範囲が予め記憶されている例を挙げて説明したが、たとえば、画素値の範囲に代えて、物品Ｇに対応する領域の画素の代表値（たとえば、最頻値、平均値、最大値、最小値等）の割合（％）が予め記憶されていてもよい。
また、上記実施形態では、検査装置がＸ線検査装置１である形態を一例に説明した。しかし、本開示に係る検査装置は、Ｘ線検査装置１に限定されず、電磁波を利用して物品Ｇの異物検査を行う装置であればよい。ここで、電磁波とは、Ｘ線、近赤外線、光、その他の電磁波である。また、物品Ｇの種類は特に限定されず、様々な物品Ｇを検査対象とすることができる。同様に、異物の種類は特に限定されず、様々な異物を検査対象とすることができる。
（赤外線検査装置における上記実施形態の変形例）
たとえば、赤外線検査装置の場合には、第１の波長帯を透過した赤外線に基づく第１良品画像と、第１の波長帯とは異なる第２の波長帯を透過した赤外線に基づく第２良品画像とを取得し、上述した第１処理及び第２処理を実施することによって仮想異物画像を合成し、第１仮想不良品画像及び第２仮想不良品画像を生成してもよい。赤外線検査装置は、たとえば、被検査物である包装物のシール（封止）部分に、異物である内容物の噛み込みが生じていないかを検査する装置である。シール部分を（いずれも）透過した赤外線、または、シール部分で（いずれも）反射した赤外線を後述する２つのエネルギー帯域において各々撮像し、第１良品画像と、第２良品画像撮像する。
ここで、赤外線検査装置においては、第１処理及び第２処理における各値（範囲）の設定の仕方が異なる。これは、Ｘ線の吸収特性（減弱係数）が、主として原子核及び電子と光子との相互作用に起因した特性であるのに対し、赤外線の吸収特性が、主として分子の結合の伸縮運動や結合画を変化させる際に光子が吸収されること（いわゆる分光特性）に起因した特性であるためである。そのため、赤外線検査においては、Ｘ線検査装置とは異なるロジックにより、各値（範囲）を設定する必要がある。
（装置構成）
赤外線検査において、異物（包装物の噛み込み）を含まない被検査物を透過した赤外線に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置を考える。この場合、画像処理装置は、以下の各構成要素を備える。すなわち、第１エネルギー帯の赤外線に基づく良品画像である第１良品画像と、第１エネルギー帯とは異なる第２エネルギー帯の赤外線に基づく良品画像である第２良品画像と、を取得する画像取得部を備える。また、第１良品画像を構成する少なくとも１つ以上の画素である第１対象画素における画素値を変更することによって、仮想不良品画像である第１仮想不良品画像を生成する第１処理部と、第１対象画素に対応する、第２良品画像を構成する少なくとも１つ以上の画素である第２対象画素における画素値を変更することによって、仮想不良品画像である第２仮想不良品画像を生成する第２処理部と、を備える。ここで、画像生成装置の有する第１処理部は、異物における赤外線の吸収特性（分光特性等）に基づく第１処理により第１対象画素の画素値を変更し、第２処理部は、第１処理とは異なる処理であって、吸収特性に基づく第２処理により第２対象画素の画素値を変更するように構成されている。
また、赤外線検査装置は、上記画像処理装置を備える。また、赤外線検査装置は、第１エネルギー帯の赤外線を照射可能な第１赤外線照射部と、第１エネルギー帯とは異なる第２エネルギー帯の赤外線を照射可能な第１赤外線照射部とを空に備える。また、赤外線検査装置は、被検査物を透過した第１エネルギー帯の電磁波及び第２エネルギー帯の電磁波を検出する検出部と、検出部により検出された前記第１エネルギー帯の電磁波に基づいて被検査物の第１画像を生成すると共に、検出部により検出された第２エネルギー帯の電磁波に基づいて被検査物の第２画像を生成する画像生成部と、を備える。
以下、具体的に、赤外線検査装置の備える画像処理装置における、第１処理及び第２処理の一例について説明する。
（原理）
（近）赤外線領域においては、電磁波は、異物（ここでは、噛み込みを起こしている内容物そのもの）に応じた特定の波長域において、他の波長域よりも格段に吸収されるという吸収特性を示す。ここで、第１エネルギー帯又は第２エネルギー帯の一方を、異物の吸収が著しく大きい波長帯域と一致させるとともに、他方を、異物の吸収がそれほど発生しない領域に設定する。具体的には、第１エネルギー帯又は第２エネルギー帯の一方を、異物が米粒であった場合には、米粒は多くの水分を含むため、水の吸収が多く起こる一の第１波長（水の場合、よく用いられる波長は、９７０ｎｍ付近、１４５０ｎｍ付近、１９４０ｎｍ付近のいずれかであり、ここでは、たとえば１４５０ｎｍ）を設定する。これに基づき、水の吸収が多く発生する当該一の波長にピークを有する第１波長帯域（第１エネルギー帯）の赤外線を照射可能な第１赤外線照射部を配置する。そして、他方は、これら水による吸収がほとんど起こらない波長帯域であって、内容物を入れる袋やパック（以下、単に被検査物）による赤外線の吸収量が、上記設定した一の波長における赤外線の吸収量とほとんど変わらないように、当該一の波長とは異なる一の第２波長（たとえば、１３００ｎｍ）を設定する。これに基づき、当該第１波長とは異なる第２波長にピークを有する第２波長帯域（第２エネルギー帯）の赤外線を照射可能な第２赤外線照射部を配置する。第１赤外線照射部及び第２赤外線照射部は、ほぼと同じ領域に赤外線を照射し、照射されて透過又は反射した赤外線を、赤外線撮像部により撮像する。
（第１処理）
第１処理では、第１波長帯域により撮像された第１良品画像に、仮想的に異物を含ませる処理である。まず、画像処理部は、第１処理において、上記実施形態と同様に、第１対象画素を決定する。次に、第１対象画素の変更値の第１範囲（上下限範囲）を設定する。この範囲は、第１波長帯域で撮像した異物を含む実際の不良品画像における、異物に対応する画素の吸収量の度合い（異物でない対象物との濃淡値の差（減少量）の絶対値）から設定する。そして、この上下限範囲から、たとえば、一様ランダムに、（各画素毎に個別に、又は、全画素に共通の）第１値を選び出す。そして、各第１対象画素の画素値（濃淡値）を、各第１対象画素の当初の画素値（濃淡値）から、当該第１値Ｄ´１を減算した値に置き換え、第１仮想不良品画像を得る。これにより、仮想的に異物を含ませることができる。
（第２処理）
第２処理では、上記第１良品画像と同一の対象物が、第２波長帯域により撮像された第２良品画像に、仮想的に異物を含ませる処理である。ここで、第２範囲（上下限範囲）を、第２波長帯域で撮像した異物を含む実際の不良品画像における、異物に対応する画素の吸収量の度合い（異物でない対象物との濃淡値の差（減少量）の絶対値）から設定されているとする。この第２範囲を定数ｍ（０＜ｍ＜１）倍した場合に、第１範囲とほぼ一致するような、ｋが設定できるとする。この場合、第２値Ｄ´２は、Ｄ´２＝ｍＤ´１となる。ただし、上記実施形態と同様に、異物の多様性を表現するために、第２値に変調を加える。具体的には、（１－ｇ）ｍＤ´１＜Ｄ´２＜（１＋ｇ）ｍＤ´１（０＜ｍ＜１，０＜ｇ＜１）を満たすある一の値を抽出し、変調第２値Ｄ´´２を取得する。そして、各第２対象画素の画素値（濃淡値）を、各第２対象画素の当初の画素値（濃淡値）から、当該変調第２値Ｄ´´２を減算した値に置き換え、第２仮想不良品画像を得る。これにより、仮想的に異物を含ませることができる。
（総括）
以上の第１処理及び第２処理により、赤外線撮像における吸収特性を反映した仮想異物の貼付ができる。これら仮想異物を貼付した第１仮想不良品画像及び第２仮想不良品画像に対する学習の工程は、上記実施形態と同様のため、記載省略する。
１…Ｘ線検査装置（検査装置）、１０…制御部（学習装置）、５０…画像処理部（画像生成装置）、５１…第２画像取得部、５２…第１処理部、５３…第２処理部、５４…情報入力部、５５…ＨＤＤ、５６…記憶部、１０１…第１画像取得部（画像生成部）、１０２…学習部、１０３…機械学習モデル、１０４…検出部、Ｐ１０…ソフト画像（第１画像）、Ｐ１１１…第１良品画像、Ｐ１１２…第１仮想不良品画像、Ｐ１２１…第２良品画像、Ｐ１２２…第２仮想不良品画像、Ｐ２０…ハード画像（第２画像）、ＰＦ…仮想異物画像、ＰＸ１…第１対象画素、ＰＸ２…第２対象画素、Ｆ…異物、Ｇ…物品。

Claims (8)

  1. 異物を含まない被検査物を透過した電磁波に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置であって、
    同一の被検査物に対して、第１エネルギー帯の電磁波に基づく前記良品画像である第１良品画像と、前記第１エネルギー帯とは異なる第２エネルギー帯の電磁波に基づく前記良品画像である第２良品画像と、のセットを取得する画像取得部と、
    前記第１良品画像を構成する少なくとも１つ以上の画素である第１対象画素における画素値を変更することによって、前記仮想不良品画像である第１仮想不良品画像を生成する第１処理部と、
    前記第１対象画素に対応する、前記第２良品画像を構成する少なくとも１つ以上の画素である第２対象画素における画素値を変更することによって、前記仮想不良品画像である第２仮想不良品画像を生成する第２処理部と、を備え、
    前記第１処理部は、前記異物における前記電磁波の吸収特性に基づく第１処理により前記第１対象画素の画素値を変更し、前記第２処理部は、前記第１処理とは異なる処理であって、前記吸収特性に基づく第２処理により前記第２対象画素の画素値を変更する、画像生成装置。
  2. 前記第１処理は、前記第１良品画像の画素値を基準として前記第１対象画素の画素値を第１範囲内で減少又は増加させる処理であり、
    前記第２処理は、前記第２良品画像の画素値を基準として前記第２対象画素の画素値を第２範囲内で、前記第１処理と同じく減少又は増加させる処理であり、
    前記第１範囲と前記第２範囲とでは、互いに異なる範囲が設定されている、請求項１に記載の画像生成装置。
  3. 前記第１範囲及び前記第２範囲の何れか一方における絶対値の下限値は、前記第１範囲及び前記第２範囲の他方における絶対値の下限値よりも小さくなるように設定されており、前記第１範囲及び前記第２範囲の前記一方における絶対値の上限値は、前記第１範囲及び前記第２範囲の前記他方における絶対値の上限値よりも小さくなるように設定されている、請求項２記載の画像生成装置。
  4. 前記第１範囲及び前記第２範囲の一方における上限値及び下限値の少なくとも一方は、前記第１範囲及び前記第２範囲の他方に基づいて設定されている、請求項２又は３記載の画像生成装置。
  5. 前記良品画像に合成される前記仮想異物画像について、前記異物の種類の入力を受け付ける情報入力部と、
    前記良品画像に合成される前記異物の種類と、前記第１範囲及び前記第２範囲の少なくとも一方とが関連付けられた合成処理情報を記憶する記憶部と、を更に備え、
    前記第１処理部及び前記第２処理部の少なくとも一方は、前記情報入力部に入力された前記異物の種類に基づいて前記合成処理情報から前記第１範囲又は前記第２範囲を取得する、請求項２～４のいずれか一項に記載の画像生成装置。
  6. 前記合成処理情報は、前記被検査物の種類と、前記良品画像に合成される前記異物の種類と、前記第１範囲と、前記第２範囲とが関連付けて記憶されており、
    前記合成処理情報は、前記異物の前記吸収特性が前記被検査物の前記吸収特性よりも小さな場合には、前記第１範囲の代表値が前記第２範囲の代表値よりも小さくなるような組合せとなるように形成され、前記異物の前記吸収特性が前記被検査物の前記吸収特性よりも大きい場合には、前記第１範囲の代表値が前記第２範囲の代表値よりも大きくなるような組合せとなるように形成されている、請求項５記載の画像生成装置。
  7. 被検査物に電磁波を照射する照射部と、
    前記被検査物を透過した前記第１エネルギー帯の電磁波及び前記第２エネルギー帯の電磁波を検出する検出部と、
    前記検出部により検出された前記第１エネルギー帯の電磁波に基づいて前記被検査物の第１画像を生成すると共に、前記検出部により検出された前記第２エネルギー帯の電磁波に基づいて前記被検査物の第２画像を生成する画像生成部と、
    請求項１～６の何れか一項記載の画像生成装置と、を備える、検査装置。
  8. 請求項１～６の何れか一項記載の画像生成装置から生成された前記第１仮想不良品画像及び前記第２仮想不良品画像と、前記第１対象画素に関する情報及び前記第２対象画素に関する情報を示す正解データと、を含む教師データを用いて機械学習を実行することにより、
    前記異物を含む可能性のある前記被検査物を透過した前記第１エネルギー帯の電磁波に基づく第１画像、及び、前記異物を含む可能性のある前記被検査物を透過した前記第２エネルギー帯の電磁波に基づく第２画像を入力して、画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部を備える、学習装置。
JP2019126528A 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置 Active JP7250331B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019126528A JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置
EP20182887.8A EP3764087B1 (en) 2019-07-05 2020-06-29 Image generating device and inspection apparatus,
US16/916,993 US11189058B2 (en) 2019-07-05 2020-06-30 Image generating device, inspection apparatus, and learning device
CN202010618226.3A CN112255250A (zh) 2019-07-05 2020-07-01 图像生成装置、检查装置及学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019126528A JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置

Publications (2)

Publication Number Publication Date
JP2021012108A JP2021012108A (ja) 2021-02-04
JP7250331B2 true JP7250331B2 (ja) 2023-04-03

Family

ID=72147868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019126528A Active JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置

Country Status (4)

Country Link
US (1) US11189058B2 (ja)
EP (1) EP3764087B1 (ja)
JP (1) JP7250331B2 (ja)
CN (1) CN112255250A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220317063A1 (en) * 2019-08-22 2022-10-06 John Bean Technologies Corporation X-ray unit technology modules and automated application training
US11160521B2 (en) * 2019-12-20 2021-11-02 Hdt Co., Ltd. Method for 3D image reconstruction
CN113014773B (zh) * 2021-03-02 2023-08-01 山东鲁软数字科技有限公司智慧能源分公司 一种架空线路视频可视化监拍系统及方法
CN113159206A (zh) * 2021-04-28 2021-07-23 北京达佳互联信息技术有限公司 图像比对方法、装置、电子设备、计算机可读存储介质
EP4083614A1 (de) * 2021-04-29 2022-11-02 Sesotec GmbH Verfahren zum erfassen der detektionsempfindlichkeit eines röntgengeräts
JP2023000672A (ja) * 2021-06-18 2023-01-04 株式会社サタケ 選別機、不良品の判別方法、および、選別方法
US20230017006A1 (en) * 2021-07-16 2023-01-19 Voti Inc. Material detection in x-ray security screening
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
KR20230070714A (ko) * 2021-11-15 2023-05-23 라이트비전 주식회사 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294147A1 (en) 2013-03-15 2014-10-02 Varian Medical Systems, Inc. Systems and methods for multi-view imaging and tomography

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907762B2 (en) * 2004-05-26 2011-03-15 Guardian Technologies International, Inc. Method of creating a divergence transform for identifying a feature of interest in hyperspectral data
JP4317566B2 (ja) 2004-06-24 2009-08-19 株式会社イシダ Ｘ線検査装置およびｘ線検査装置の画像処理手順の生成方法
CN2901301Y (zh) * 2005-07-15 2007-05-16 北京中盾安民分析技术有限公司 便携式双能量x射线检查装置
JP2010190830A (ja) * 2009-02-20 2010-09-02 Hamamatsu Photonics Kk 放射線検出装置
CN103903303B (zh) * 2012-12-27 2018-01-30 清华大学 三维模型创建方法和设备
JP6356430B2 (ja) * 2014-02-20 2018-07-11 株式会社イシダ 脂質含有率測定装置
JP5876116B1 (ja) 2014-08-11 2016-03-02 株式会社イシダ Ｘ線検査装置
WO2016168194A1 (en) * 2015-04-13 2016-10-20 Case Western Reserve University Dual energy x-ray coronary calcium grading
EP3287774B8 (en) * 2015-04-20 2020-12-02 Job Corporation Data processing device for x-ray examination, and computer implemented data processing method
JP6654397B2 (ja) * 2015-10-09 2020-02-26 株式会社イシダ Ｘ線検査装置
JP6747948B2 (ja) * 2016-11-25 2020-08-26 浜松ホトニクス株式会社 放射線検出装置、放射線画像取得装置、及び放射線画像の取得方法。
CN108181327B (zh) * 2016-12-07 2021-02-05 同方威视技术股份有限公司 多能谱x射线成像系统和用于利用多能谱x射线成像系统对待测物品进行物质识别的方法
CN108572183B (zh) * 2017-03-08 2021-11-30 清华大学 检查设备和分割车辆图像的方法
DE102017217543B4 (de) * 2017-10-02 2020-01-09 Siemens Healthcare Gmbh Verfahren und System zur Klassifikation von Materialien mittels maschinellen Lernens
CN108009997B (zh) * 2017-11-08 2022-05-13 海信视像科技股份有限公司 一种调整图像对比度的方法及装置
CN109978809B (zh) * 2017-12-26 2022-02-22 同方威视技术股份有限公司 图像处理方法、装置及计算机可读存储介质
DE102018200895A1 (de) * 2018-01-19 2019-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung zumindest einer mechanischen Eigenschaft zumindest eines Objektes
EP3743714A4 (en) * 2018-01-22 2022-04-06 Xenselab, Llc PROCEDURE FOR X-RAY IMAGING OF A PERSON USING MULTIPLE ENERGY DEDUCTION
US10977842B2 (en) * 2018-06-04 2021-04-13 Korea Advanced Institute Of Science And Technology Method for processing multi-directional X-ray computed tomography image using artificial neural network and apparatus therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294147A1 (en) 2013-03-15 2014-10-02 Varian Medical Systems, Inc. Systems and methods for multi-view imaging and tomography

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Samet Akcay et al.，Using deep convolutional neural network architectures for object classification and detection within x-ray baggage security imagery，IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY，vol. 13, no. 9, pp. 2203-2215，2018年09月

Also Published As

Publication number Publication date
EP3764087A2 (en) 2021-01-13
US20210004994A1 (en) 2021-01-07
JP2021012108A (ja) 2021-02-04
EP3764087B1 (en) 2024-04-17
EP3764087A3 (en) 2021-03-10
US11189058B2 (en) 2021-11-30
CN112255250A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
JP7250331B2 (ja) 画像生成装置、検査装置及び学習装置
JP4317566B2 (ja) Ｘ線検査装置およびｘ線検査装置の画像処理手順の生成方法
US10845319B2 (en) Dual-energy microfocus radiographic imaging method for meat inspection
JPWO2019159440A1 (ja) 検査装置
US10006873B1 (en) Dual-energy microfocus radiographic imaging method for meat inspection
JP7250330B2 (ja) 検査装置及び学習装置
JP7295568B2 (ja) 検査装置及びプログラム
WO2019131945A1 (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
KR102498829B1 (ko) 검사 장치
JP2023082280A (ja) Ｘ線検査装置、ｘ線検査システム、及びｘ線検査方法
JP6757970B2 (ja) 光検査装置及び光検査方法
JP7406220B2 (ja) Ｘ線検査装置
JP2018155754A (ja) Ｘ線検出装置
US20230284991A1 (en) X-ray inspection apparatus and adjustment method thereof
US20230252620A1 (en) Inspection device, learned model generation method, and inspection method
US20230252621A1 (en) Inspection device, learned model generation method, and inspection method
JP2018048844A (ja) 光検査装置及び光検査システム
JP2024054011A (ja) 検査装置
Andriiashen et al. X-ray Image Generation as a Method of Performance Prediction for Real-Time Inspection: a Case Study
JP2023113027A (ja) Ｘ線検査装置
JP2023113030A (ja) Ｘ線検査装置
JP2021149653A (ja) 画像処理装置及び画像処理システム
JP2021148645A (ja) Ｘ線検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230314

R150 Certificate of patent or registration of utility model

Ref document number: 7250331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150