JP7248284B2 - 異物の検出装置及び異物の検出方法ならびに異物の検出プログラム - Google Patents

Description

本発明は、異物の検出装置及び異物の検出方法ならびに異物の検出プログラムに係る。例えば、被検査物として緑色野菜中の異物である昆虫の検出装置及び異物である昆虫の検出方法ならびに異物の検出装置及び異物の検出方法ならびに異物である昆虫の検出プログラムに係る。

被検査物中の異物の検出装置及び異物の検出方法ならびに異物の検出プログラムとしては、種々のものが知られている。被検査物に、可視光及び赤外光を照射して、異物を発見する被検査物中の異物の検出装置及び異物の検出方法ならびに異物の検出プログラムとしても種々のものが知られている。

特開２００７－０３３２７３号公報 特表２００８－５４１００７号公報 特開２００２－４８７２７号公報

可視光及び赤外光を照射して、異物を発見する装置としては以下のものが知られている。
特許文献１「白色系食品の異物検出装置」には、「白色系食品２０に混入した有色異物を検出する白色系食品の異物検出装置において、前記白色系食品を搬送する搬送コンベア１０と、該搬送コンベアの上方に設置され前記食品の光学画像を撮像するカメラ１４と、該画像に対して２値化処理を含む画像処理を行い異物を検出する画像処理手段と、を備えた装置であって、前記搬送コンベア１０のうち前記食品２０が載置されるベルト面１０ａを白色光透過性材料で形成するとともに、前記搬送コンベア上の撮像領域Ａより上方に位置して前記撮像領域に向けて白色光を照射する第１の白色照明１６、１７と、該撮像領域に対して前記ベルト面の下方から白色光を照射する第２の白色照明１８と、を備えた構成とする。」。そして、「凹凸のある検出対象であっても高精度で以って異物検出を行うことができる白色系食品の異物検出装置を提供する。」とされる。

特許文献２「食品の異物検出装置」は、「食品２０に混入した毛髪、虫等の異物を検出する異物検出装置１０において、前記食品２０を検出領域Ａに搬送する搬送コンベア１１と、前記検出領域Ａを挟んで少なくとも２方向から食品に対して照明光を照射する照明手段１４、１５と、検出領域Ａの一側から前記食品の表画像を撮像する撮像カメラ１２と、該撮像した表画像に対して２値化処理を含む画像処理を行い、異物を検出する画像処理手段１３と、を備え、前記画像処理手段１３が、前記撮像した表画像を２値化処理し、得られた２値画像のうち予め設定した黒色度の閾値を超える異常な１画素を検出した後に、該１画素に隣接する画素の異常の有無を検出し、異常画素が前記１画素を元に連続的に出現した場合に異物と判定する。このとき、異常画素が連続的な線状で出現した場合には毛髪等の繊維状異物と判定し、連続的な面積状に出現した場合には虫等の面積異物と判定する。」とされる。

特許文献３「海苔の外観検査装置」は、「検査位置に対して上部に可視光及び赤外光を含んだ照明装置と、可視光及び赤外光を分離して受光できるカメラ装置を投受光面に対して一定の角度をもって配設し、被検体である海苔の表面の反射異物の反射光及び反射板の直射反射光とする可視光と、透過光である赤外光をカメラ装置に分離受光し、判定処理を行うことにより海苔の外形形状、カケ、穴、やぶれ、表面反射異物、表面異物、内面異物、裏面異物等の一部又は全部の検査を行う海苔の外観検査装置。」からなる。そのため、「検査位置においてコンベアを分離することなく、小型で高性能の外観検査装置を得る。産地の相違等に関わらず、検査対象海苔の寸法に若干の大小が生じていても被検体を正確に検査位置に運ぶ。」とされる。

特許文献１、同２、同３記載発明には、被検査物に、可視光及び赤外光を照射、すること、「白色系食品の異物検出装置において、」「撮像領域に向けて白色光を照射する」については記載がある。

しかしながら、特許文献１乃至３記載の発明では、異物の発見は容易とはいかなかった。

他方、発明者は、以下知見した。
１．異物（本件では昆虫）が付いた撮影対象物（本件ではレタス）に光を照射し、適正露出以上に露出を上げた状態を含む複数の状態で撮影し、異なる露出の画像を得る。
２．露出を上げると撮影対象物である背景は白っぽくなり、異物が見えやすくなる。
３．異なる露出の画像データを複数得る。
４．複数の異なる露出の画像データを基に、ディープラーニングの手法により異物を検出することで、異物の発見が容易となる。
５．異物（本件では昆虫）が付いた撮影対象物（本件ではレタス）に撮影対象物色と同色乃至近似した光を照射する。例えば、レタスの場合は、緑色の光の領域(波長495-570 nm)の光を照射し、撮影対象物である白色野菜に紫色光あるいは、青色光あるいは、紫外光を照射するとともに適正露出以上に露出を上げた状態を含む複数の状態で撮影し、異なる露出の画像を得ると、更に有効である。

更に、発明者は、異物を含んでいる撮影対象物（被写体）に、紫外光から赤外線光まで波長の異なる、例えばLED照明の光を連続変化させて（光の周波数をスィープして）、同時に適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数といえる、ことを知見した。
この光の周波数を求めるため、撮影対象物（被写体）に紫外光から赤外線光までの波長の異なる例えばLED照明の光を連続変化させて撮影し、白く撮影されている面積をコンピュータで計算することによって、異物検出に必要な光の周波数を特定することができる。
そして、撮影対象物（被写体）に、異物検出に必要な光の周波数を特定した、周波数の光をあてることで、より効率良く異物を特定できる。

この発明は、
画像データから異物である抽出対象物を抽出した画像解析にあたり、
照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影した異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させる異物判別装置であって、
コンピュータは、
前記画像データを区分分割する区分分割手段と、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割手段により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別手段と、
前記画像識別手段により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換手段と、
前記識別結果変換手段により変換された前記画素値を有する画像に画像処理を行う画像処理手段と、を備え、
撮影対象物に照射する光は、
異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射部で照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、
コンピュータは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
異物検出に必要な光の周波数を特定することを特徴とする異物の判別装置、
からなる。

この発明は、
それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する異物の判別装置、
からなる。

この発明は、
画像データから異物である抽出対象物を抽出した画像解析にあたり、
照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影し、異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させる異物判別方法であって、
コンピュータでは、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、を備え、
撮影対象物に照射する光は、
異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射部で照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、
コンピュータは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
異物検出に必要な光の周波数を特定することを特徴とする異物の判別方法、
からなる。

この発明は、
それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する異物の判別方法、
からなる。

この発明は、
画像データから異物である抽出対象物を抽出した画像解析にあたり、
照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影し、異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させるためのプログラムであって、
コンピュータでは、
前記画像データを区分分割する区分分割ステップと、
ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、を備え、
撮影対象物に照射する光は、
異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、コンピュータでは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
異物検出に必要な光の周波数を特定することを特徴とする異物の判別プログラム、
からなる。

この発明は、
それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する異物の判別プログラム、
からなる。

野菜果実等撮影対象物に異物が付着した部位の判別を可能とするものである。

この発明の実施の形態である使用状態の正面図である。 この発明の実施の形態である画像解析装置が有する機能について説明するための機能ブロック図である。 この発明の実施の形態である画像解析処理について説明するためのフローチャートである。 この発明の実施の形態である画像識別処理について説明するためのフローチャートである。 この発明の実施の形態であるディープラーニングの手法を用いた抽出対象物である昆虫の付着したレタスについての学習結果を有している識別器による処理について説明するための図である。 この発明の実施の形態であるレタスに、可視光である緑色光を照射し適正露出で撮影したレタスと虫の見え方をあらわす図である。 この発明の実施の形態である第１実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。 この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。 この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。 この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。 この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。 この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

以下、本発明の一実施の形態の画像判別装置について、図１～図２７に基づき説明する。
第１実施例
異物の判別装置、異物の判別方法、ならびに異物の判別プログラムの実施の形態について、説明する。
異物の判別装置である画像判別装置１は、照射部（照射手段）１１、画像データ取得部（画像データ取得手段）２１、操作入力情報取得部（操作入力情報取得手段）１２、画像データ分割処理部（画像データ分割処理手段、区分分割手段）１３、画像識別処理部（画像識別処理手段）１４、識別結果変換処理部（識別結果変換処理手段）１５、画像処理部（画像処理手段）１６、出力処理部（出力処理手段）１７、および、記憶部（記憶手段）１８を有する。

照射部１１は、第１実施例に係るこの実施の形態では、緑色野菜Ｗ、この実施例では、レタスでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの緑色光（495-570 nm）を使用する。
なお、可視光の波長は以下とされる。
紫 380-450 nm
青 450-495 nm
緑 495-570 nm
黄 570-590 nm
橙 590-620 nm
赤 620-750 nm
赤外線光の波長は、以下とされる。
近赤外線は、波長がおよそ0.7 - 2.5 μm
中赤外線は、波長がおよそ2.5 - 4 μm
遠赤外線は、波長がおよそ4 - 1000 μm
紫外線は、10 - 400 nm

緑色野菜、緑色果実としては、
モロヘイヤ、にら、さやいんげん、ささげ、藤豆、青梗菜（チンゲンサイ）、山椒(さんしょう)、枝豆、そら豆、ターツァイ、かぼす、ハーブ類、アボガド（アボカド）、アロエ、すだち、ライム、キウイ、すいか、メロン、ブロッコリー、つるむらさき、春菊、ほうれん草類、からし菜類、広島菜、壬生菜、セロリ、ふき、アーティチョーク、小松菜、きゅうり、レタス、サラダ菜、エンダイブ、オクラ、おかひじき、つる菜、えんどう、ピーマン、大阪白菜、クレソン、アスパラガス、あしたば、青じそ（大葉）、かぼちゃがある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、緑色野菜この実施例では、レタスには、抽出対象物である異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではレタス）に撮影対象物色と同色乃至近似した光を照射する。レタスの場合は、緑色の光の領域(波長495-570 nm)を照射する。
レタスに、緑色光を照射するとともに、適正露出以上に露出を上げて撮影し、緑色光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではレタス）である背景は白っぽくなり、異物Ａが見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

図６は、この発明の実施の形態である第１実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図７この発明の実施の形態である第１実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第２実施例
図８は、この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図９、図１０は、この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第３実施例
図１１は、この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図１２、図１３は、この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第４実施例
図１４は、この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図１５、図１６は、この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第５実施例
図１７は、この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射適正露出で撮影した画像図である。
図１８、図１９は、この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第６実施例
図２０は、この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図２１、図２２、図２３、図２４、図２５、図２６、図２７は、この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。

第７実施例
第７実施例に係るこの実施の形態では、赤色野菜、赤色果物Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの赤色光（620-750 nm）あるいは、近赤外線（0.7 - 2.5 μm）を使用する。
赤色野菜、赤色果物としては、にんじん、トマト、いちご、スイカ、トウガラシ、パプリカ、茗荷(みょうが)、ビーツ、りんご、さくらんぼ、桃(もも)、ルバーブ、唐辛子、赤ピーマンがある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、赤色野菜、赤色果物Ｗこの実施例では、ニンジンには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではニンジン）に撮影対象物色と同色乃至近似した光を照射する。ニンジンの場合は、赤色光（620-750 nm）あるいは、近赤外線（0.7 - 2.5 μm）を照射する。
適正露出以上に露出を上げて撮影し、赤色光または近赤外線光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。

露出を上げると撮影対象物Ｗ（本件ではニンジン）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

第８実施例
第８実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、オレンジ色野菜、オレンジ色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤのオレンジ色、橙色 光（590-620 nm）を使用する。
オレンジ色野菜、オレンジ色果実としては、かぼちゃ、にんじん、パパイヤ、柿、ゆず、マンゴー、あんず、オレンジ、びわがある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、オレンジ色野菜、オレンジ色果実この実施例では、かぼちゃには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではかぼちゃ）に撮影対象物色と同色乃至近似した光を照射する。かぼちゃの場合は、オレンジ色、橙色 光（590-620 nm）の光の領域を照射する。

上に露出を上げて撮影し、オレンジ色橙色 光（590-620 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではかぼちゃ）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

第９実施例
第９実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、黄色野菜、黄色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの黄色光（570-590 nm）を使用する。
黄色野菜、黄色果実としては、かぼちゃ、たまねぎ、レモン、きんかん、梨(ナシ)、パイナップル、グレープフルーツ、バナナ、とうもろこしがある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、黄色野菜、黄色果実この実施例では、たまねぎには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではたまねぎ）に撮影対象物色と同色乃至近似した光を照射する。たまねぎの場合は、黄色光（570-590 nm）の光の領域を照射する。
たまねぎに、黄色光（570-590 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、
黄色光（570-590 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではたまねぎ）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

第１０実施例
第１０実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、紫色野菜、紫色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの紫色光（380-450 nm）を使用する。
紫色野菜、紫色果実としては、ブルーベリー、なす、ベリー類、ぶどうがある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、紫色野菜、紫色果実この実施例では、なすには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではなす）に撮影対象物色と同色乃至近似した光を照射する。なすの場合は、紫色光（380-450 nm）の光の領域を照射する。
なすに、紫色光（380-450 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、
紫色光（380-450 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではなす）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

第１１実施例
第１１実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、白色野菜、白色果実Ｗでは、照射部１１ではＬＥＤの紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）を使用する。
白色野菜、白色果実としては、大根、キャベツ、わさび、ねぎ、にんにく、たまねぎ、セロリアック(セロリラブ)、かぶ、れんこん、ゆり根、もやし、かいわれ菜、うど、たけのこ、白菜、チコリ(アンディーブ)がある。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、白色野菜、白色果実この実施例では、大根には、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件では大根）に大根の場合は、紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）の光の領域を照射する。
大根に、紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、紫色光（380-450 nm）等の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件では大根）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

第１２実施例
第１２実施例では、異物を含んでいる撮影対象物（被写体）に、紫外光から赤外線光まで波長の異なる例えばLED照明の光を連続変化させて照射する（光の周波数をスィープして）、とともに、適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数といえる。
この光の周波数を求めるため、撮影対象物（被写体）に紫外光から赤外線光までの波長の異なる例えばLED照明の光を連続変化させて撮影し、撮影したそれぞれの画像で白く撮影されている面積をコンピュータで演算、計算することによって、それぞれの画像を比較する。得られた画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、異物検出に必要な光の周波数を特定し、その光の周波数を使用する。

適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、緑色野菜この実施例では、レタスには、抽出対象物である異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではレタス）に、適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数の光を照射する。レタスの場合は、緑色の光の領域(波長495-570 nm)を照射する。
レタスに、緑色光を照射するとともに、適正露出以上に露出を上げて撮影し、緑色光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の判別装置、異物の判別方法、ならびに異物の判別プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではレタス）である背景は白っぽくなり、異物Ａが見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。

画像データ取得部（画像データ取得手段）２１は、撮影部であって、照射部１１からの反射光を受光する。
画像データ取得部（画像データ取得手段）２１は、例えば、デジタルスチルカメラ、ラインセンサカメラ等により第１実施例乃至第１２実施例で撮像された、検査対象物の画像データを取得し、画像データ分割処理部１３に供給する。
図６乃至図２７に図示する第１実施例乃至第１２実施例で撮像された、異なる露出の画像データで受光された画像を重ね合わせた画像を得る。

昆虫検出の仕方
第１実施例乃至第１２実施例では、昆虫Ａは、露出を変化させることで、白っぽい撮影対象物Ｗである背景に黒い点として検出されるため色と形状をAIに学習させ形状によって識別させることが出来る（図６乃至図２７参照）。

第１実施例乃至第１２実施例で、二値化は、不要である。
ディープラーニングを用いたAIに学習させる方法をとらないと色と形状を用いた異物である昆虫Ａの検出が困難であるので必ずディープラーニングを用いたAIを使用する必要がある。
人工知能 (AI) の一部であるディープラーニングは、人間と同じように、コンピューターがrawデータから新しい概念を習得できるようにするものである。ディープラーニングシステムでは、特定のイメージをそれぞれ数千通り確認すると、その違いを特定できる。

得られた画像を重ね合わせ、ＡＩで判断する。
異なる露出で受光した画像を得て、重ね合わせた画像を得る。

操作入力情報取得部１２は、入力部２から入力される、ユーザの操作入力を取得し、画像データ分割処理部１３、画像識別処理部１４、識別結果変換処理部１５、画像処理部１６、および、出力処理部１７の各部に、ユーザの操作入力に対応する情報を供給する。

画像データ分割処理部１３は、画像データ取得部２１から供給された図３乃至図９に図示する紫色光で受光した画像および青色光で受光した画像、赤外線光で受光された画像を重ね合わせた画像についての画像データを区分分割し、所定の大きさの正方形のセルとして、画像識別処理部１４、または、画像処理部１６に供給する。
画像データ分割処理部１３により分割されるセルの大きさは、ユーザにより指定可能で
ある。画像データ分割処理部１３は、区分分割手段に対応する。また、セルは、区分分割手段により分割された区分に対応する。なお、セルは、画像データ分割処理部１３により分割された区分に対応する所定の大きさの画像領域であり、縦横同画素数数からなる画素の正方形の領域で構成しても、縦横のサイズの異なる長方形の領域で構成されるようにしてもよい。

画像識別処理部１４は、ディープラーニング（Deep learning）の手法を用いた抽出対象物の学習結果を有しており、供給された画像データから抽出対象物の特徴量を発見する。例えば、異なる露出で昆虫Ａは黒く映る画像から、ディープラーニングの手法を用いて昆虫Ａを見分ける特徴量の学習を行った画像識別処理部１４は、供給された画像データから抽出対象物である昆虫Ａを識別することが可能である。

ディープラーニングは、人間の脳の神経細胞のネットワーク（ニューラルネットワーク）を模倣したものであり、ニューラルネットワーク（多層ネットワーク）の層を深くすることによって、画像や音声などに含まれる特徴量を学習結果に基づいて発見することが可能な情報処理技術である。
従来の、画像や音声等の認識・識別技術では、ユーザが特徴量を設定し、その後、その特徴量を基に分類アルゴリズムにかけて、抽出対象物が分類されていたが、ディープラーニングを用いて、画像識別処理部１４に機械学習を行わせることにより、ユーザによる特徴量の設定を必要とすることなく、抽出対象物を抽出することが可能である。画像識別処理部１４は、画像データ分割処理部１３、または、画像処理部１６から供給された画像データを構成するそれぞれのセルが抽出対象物である確率を算出し、識別結果変換処理部１５に供給する。画像識別処理部１４は、画像識別手段に対応する。

識別結果変換処理部１５は、画像識別処理部１４から供給された、画像データを構成するそれぞれのセルが抽出対象物である確率を後述する方法によって画素値に変換し、各セルをその変換された画素値に応じた画像データを生成し、画像処理部１６に供給する。識別結果変換処理部１５は、例えば、トーンカーブ（または、ルックアップテーブル）を参照し、それぞれのセルが対象物である確率（０％から１００％）を、０から２５５の値を有する画素値に変換する。例えば、抽出対象物であるセルの確率が１００％であった場合にはトーンカーブに基づいて画素値を２５５に変換する。識別結果変換処理部１５は、識別結果変換手段に対応する。

画像処理部１６は、識別結果変換処理部１５から供給された、各セルの画素値が抽出対象物である確率を示す画像データに対して、または、画像データ分割処理部１３から供給された、区分分割されたセル画像データに対して、例えば、閾値などを用いたノイズ除去、昆虫Ａを見分ける処理者の知見、膨張処理、クロージング処理、骨格線抽出処理などを反映した画像処理を実行し、処理後の画像データを、画像識別処理部１４、または、出力処理部１７に供給する。画像処理部１６は、画像処理手段に対応する。

ここで、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４および画像処理部１６のうちのどちらで先に処理をされるものであっても構わない。また、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４または画像処理部１６において、複数回処理されるものであっても構わない。画像判別装置１においては、入力部２により入力されたユーザの操作入力に基づいて、入力される画像データおよび抽出対象物の特徴に適するように、画像識別処理部１４および画像処理部１６における処理の順序および回数を設定することが可能である。

出力処理部１７は、画像処理部１６から供給された処理後の画像データを、出力部３に供給して出力させたり、記憶部１８に供給して記憶させる。また、出力処理部１７は、記憶部１８に記憶されている処理後の画像データを読み出し、出力部３に供給して出力させる。
記憶部１８は、内蔵された記憶媒体、または、装着されたリムーバブル記憶媒体に、出力処理部１７から供給された処理後の画像データを記憶する。

画像判別装置１においては、画像識別処理部１４において識別された、画像データを構成するそれぞれのセルが抽出対象物である確率を、識別結果変換処理部１５において、画像データに変換し、その画像データを処理することにより、抽出対象物を検出することができる。したがって、異なる時期に撮影した画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがなく、同部分の経時変化を比較する場合に用いて好適である。

次に、図２のフローチャートを参照して、画像判別装置１が実行する処理の一例として、野菜に付着した昆虫Ａの多くの画像から、ディープラーニングの手法を用いた昆虫Ｓが付着した野菜の特徴量の学習を行った画像識別処理部１４を備える画像判別装置１が実行する画像解析処理１について説明する。

ステップＳ１において、画像データ取得部２１は、解析する対象となる画像データを取得し、画像データ分割処理部１３に供給する。

ステップＳ２において、画像データ分割処理部１３は、解析する画像データを区分分割し、画像識別処理部１４に供給する。区分分割された１セルの大きさは、解析する画像データの種類や抽出対象物によってユーザが設定可能であってもよい。１つのセルは、解析する画像データを、例えば、縦６４画素×横６４画素のように正方形で構成されるようにしてもよいし、縦横のサイズの異なる長方形で構成されるようにしてもよい。また、１つのセルは、昆虫Ａの１ｃｍ四方を１セルにしてもよいし、５ｃｍ四方を１セルにしてもよい。単位画素あたりの画像解像度を自由に設定することが可能である。

ステップＳ３において、図３を用いて後述する画像識別処理が実行される。

ステップＳ４において、識別結果変換処理部１５は、画像識別処理による識別結果、すなわち、画像識別処理部１４により算出された、それぞれのセルが抽出対象物である確率を、例えば、トーンカーブに基づいて、画素値に変換し、画像処理部１６に供給する。

ステップＳ５において、図４を用いて後述する従来型画像処理１が実行される。

ステップＳ６において、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を記憶部１８に供給する。記憶部１８は、供給された画像解析結果を記憶する。また、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を出力部３に供給して出力させ、処理が終了される。

このような処理により、画像データを構成するそれぞれのセルが抽出対象物である確率が、画像データに変換され、その画像データを用いて、抽出対象物が検出されるので、画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがない。
また、このようにして得られた対象物の抽出結果には、例えば、昆虫Ａと紛らわしい部分が昆虫Ａとともに抽出されてしまうことがなく、目視の確認に近い解析結果を得ることが可能となる。

次に、図３のフローチャートを参照して、ステップＳ３において実行される画像識別処理について説明する。

ステップＳ１１において、画像識別処理部１４は、操作入力情報取得部１２から供給されるユーザの操作入力に基づいて、識別するべきターゲットの指定を受ける。ここでは、画像識別処理部１４は、識別するべきターゲットとして、昆虫Ａの指定を受ける。

ステップＳ１２において、画像識別処理部１４は、学習結果に基づいて、ターゲットの識別処理を実行する。

１３において、画像識別処理部１４は、ステップＳ１２の処理による識別結果に基づいて、セルごとに、ターゲットに含まれる画素の画素値が抽出対象である確率を算出して、識別結果変換処理部１５に供給し、処理は、図３のステップＳ４に戻る。

このような処理により、画像識別処理部１４は、ディープラーニングの手法を用いて、例えば、昆虫Ａが付着した野菜の多くの画像から得た特徴量の学習結果に基づいて、ユーザによる特徴量の設定を必要とすることなく、昆虫Ａと紛らわしい部分等に対応する部分を排除して、抽出対象物を抽出することが可能である。

次に、図４のフローチャートを参照して、図２のステップＳ５において実行される従来型画像処理１について説明する。

ステップＳ２１において、画像処理部１６は、識別結果変換処理部１５から供給された画素値を有するセル画像データ、すなわち、セル画像の画素値が抽出対象物である確率を示す画像データに対して、所定の閾値以下の画素値を有するセル画像の画素値を０とする。識別結果変換処理部１５から供給された画像データが、昆虫Ａの存在する確率が高いセルが画素値の高いドットで示され、昆虫Ａの存在する確率が低いセルが画素値の低いドットで示されている画像データである。

画素値の７０％を閾値として、それ以下の画素値を有するセルについては、画素値を０とした場合、例えば、野菜に付着した昆虫Ａ中で存在する昆虫Ａの特徴と近い特徴を有している昆虫Ａと紛らわしい部分によるノイズ成分がある程度除去された画像データが得られる。

ステップＳ２２において、画像処理部１６は、ステップＳ２１の処理により画素値ありとなったドットの面積を広げる膨張処理を実行する。この処理により、図６乃至図２７等の画像のうち、野菜に付着した昆虫Ａの検出されている部分が、表される。

ステップＳ２３において、画像処理部１６は、ステップＳ２２の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、図６乃至図２７等の画像データのうち、昆虫Ａと紛らわしい部分や、ステップＳ２１の処理によって削除できなかったノイズ成分が除去された画像データを得ることができる。

ステップＳ２４において、画像処理部１６は、ステップＳ２３の処理により得られた画像データのエッジ部分を滑らかにするクロージング処理を実行する。この処理により、図６乃至図２７等に示された画像データから、画像データを得ることができる。

ステップＳ２５において、画像処理部１６は、ステップＳ２４の処理により得られた画像データに対して、骨格線抽出処理を実行することにより、ステップＳ２２の膨張処理により膨張された、野菜に付着した昆虫Ａの形状に戻して、画像データを得ることができる。

ステップＳ２６において、画像処理部１６は、ステップＳ２５の処理により得られた画像データの連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、画像データのうち、昆虫Ａと紛らわしい部分や、ステップＳ２１およびステップＳ２３の処理によって削除できなかったノイズ成分が除去され、図３に示されるような画像データを得ることができる。ステップＳ２６の処理の終了後、処理は、図２のステップＳ６に戻る。

このような処理により、画像処理部１６は、識別結果変換処理部１５から供給され、各ドットの画素値が抽出対象物である確率を示す画像データに対して、従来行われていた画像処理をさらに行うことにより、ディープラーニングの手法を用いた抽出対象物の学習結果を有している識別器による画像識別結果よりも精度良く、検出するべき対象物を抽出することが可能となる。

これに対して、抽出結果を出力可能な識別器と同等の能力を有する画像識別処理部１４を用いて検出された、それぞれのセルが抽出対象物である確率を、識別結果変換処理部１５により画像データに変換し、野菜Ｗの中で存在する昆虫Ａに関する知見を反映した画像処理機能を有する画像処理部１６によって処理した場合、昆虫Ａに近いノイズ成分が除去された抽出結果を得ることが可能となる。このようにして、画像判別装置１を用いて、目視の確認に近い解析結果を得ることが可能となる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

１ 画像判別装置（異物の判別装置）
２ 入力部
３ 出力部
１１ 照射部
１２ 操作入力情報取得部（操作入力情報取得手段）
１３ 画像データ分割処理部（画像データ分割処理手段、区分分割手段）
１４ 画像識別処理部（画像識別処理手段）
１５ 識別結果変換処理部（識別結果変換処理手段）
１６ 画像処理部（画像処理手段）
１７ 出力処理部（出力処理手段）
１８ 記憶部（記憶手段）
２１ 画像データ取得部（画像データ取得手段）
Ａ 抽出対象物（昆虫）
Ｗ 撮影対象物

Claims (6)

1. 画像データから異物である抽出対象物を抽出した画像解析にあたり、
   照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影した異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させる異物判別装置であって、
   コンピュータは、
   前記画像データを区分分割する区分分割手段と、
   ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割手段により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別手段と、
   前記画像識別手段により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換手段と、
   前記識別結果変換手段により変換された前記画素値を有する画像に画像処理を行う画像処理手段と、を備え、
   撮影対象物に照射する光は、
   異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射部で照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、
   コンピュータは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
   異物検出に必要な光の周波数を特定することを特徴とする異物の判別装置。
2. それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する請求項１記載の異物の判別装置。
3. 画像データから異物である抽出対象物を抽出した画像解析にあたり、
   照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影し、異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させる異物判別方法であって、
   コンピュータでは、
   前記画像データを区分分割する区分分割ステップと、
   ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
   前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
   前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、を備え、
   撮影対象物に照射する光は、
   異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射部で照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、
   コンピュータは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
   異物検出に必要な光の周波数を特定することを特徴とする異物の判別方法。
4. それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する請求項３記載の異物の判別方法。
5. 画像データから異物である抽出対象物を抽出した画像解析にあたり、
   照射部で撮影対象物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影し、異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物である前記抽出対象物を判別する処理をコンピュータに実行させるためのプログラムであって、
   コンピュータでは、
   前記画像データを区分分割する区分分割ステップと、
   ディープラーニングの手法による前記抽出対象物の特徴量の機械学習結果に基づいて、前記区分分割ステップの処理により分割された前記画像データの前記区分ごとに、前記区分が前記抽出対象物である確率を算出する画像識別ステップと、
   前記画像識別ステップの処理により算出された、前記区分ごとの前記抽出対象物である確率を画素値に変換する識別結果変換ステップと、
   前記識別結果変換ステップの処理により変換された前記画素値を有する画像に画像処理を行う画像処理ステップと、を備え、
   撮影対象物に照射する光は、
   異物である前記抽出対象物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射するとともに、適正露出以上に露出を上げて画像データ取得部で撮影し、コンピュータでは、画像データ取得部で得られた撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、
   異物検出に必要な光の周波数を特定することを特徴とする異物の判別プログラム。
6. それぞれの画像の比較は、得られた複数枚の画像を重ね合わせてＡＩで判断する請求項５記載の異物の判別プログラム。

Images