JP7097642B1 - 食品検査システム、食品検査学習装置および食品検査方法 - Google Patents

Abstract

【課題】現場の作業者の良品、不良品の判定基準を迅速かつ容易に食品検査装置の判定手段に反映することのできる食品検査システム、および食品検査方法を提供する。【解決手段】食品検査システム１００は、食品検査装置１１０と食品検査学習装置１２０とを含み、食品検査装置１１０は、食品を撮影する第１のカメラ２１と、食品の画像を入力して良品か不良品かを判定する判定手段３０と、を含み、判定手段３０は多層ニューラルネットワークで構成され、あらかじめ良品の画像および／または不良品の画像を用いて学習され、食品検査学習装置１２０は、作業者の手元を撮影する第２のカメラ２２と、作業者が不良品と判断して廃棄した場合に第１のカメラ２１で撮影した画像のうちの廃棄された不良品に該当する画像を保存する保存手段５０と、を含み、保存された不良品の画像を用いて、判定手段３０が再学習される。【選択図】図１

Description

本発明は、食品を良品と異物などの不良品とに判別する、食品検査システム、食品検査学習装置、および食品検査方法に関する。

食品を検査する装置、方法に関して、以下の発明が出願されている。
特許文献１（国際公開２０１８／０３８１２３号公報）には、異物の検出を高速に行うことができる食品検査装置が開示されている。

特許文献１に記載の食品検査装置は、搬送手段と、光照射手段と、検査対象物の映像を撮像する撮像手段と、第１の光学フィルター及び／又は第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から異物に特徴的な異物特定波長を強調する波長強調手段と、異物を識別する識別処理装置と、を備え、識別処理装置は、撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段と、軽量化データから異物特定波長を識別する処理を、あらかじめディープラーニングさせた識別手段と、を有し、識別手段は、検査対象物の搬送中に撮像して得られた軽量化データから、異物又は良品をインラインで識別するものである。

また、特許文献２（特開２０２０－１０３２８４号公報）には、異物または異種海藻が混在した海藻類から異物または異種海藻を判別する判別装置が開示されている。

特許文献２に記載の判別装置は、釣り糸またはえびまたは魚または貝または異種海藻が混在した海藻類に可視光を照射して該可視光の反射光を取り入れ可視光画像を得る可視光撮影部と、釣り糸またはえびまたは魚または貝または異種海藻が混在した海藻類に紫外光を照射して該紫外光の反射光を取り入れ紫外光画像を得る紫外色光撮影部と、から得られる、画像データから抽出対象物を抽出するにあたり、釣り糸またはえびまたは魚または貝または異種海藻が混在した海藻類から釣り糸またはえびまたは魚または貝または異種海藻を判別する釣り糸またはえびまたは魚または貝または異種海藻の判別装置であって、画像データを区分分割する区分分割手段と、ディープラーニングの手法による抽出対象物の特徴量の機械学習結果を有し、機械学習結果に基づいて、区分分割手段により分割された画像データの区分ごとに、区分が抽出対象物である確率を算出する画像識別手段と、画像識別手段により算出された、区分ごとの抽出対象物である確率を画素値に変換する識別結果変換手段と、識別結果変換手段により変換された画素値を有する画像に画像処理を行う画像処理手段と、を備えることを特徴としている。

また、特許文献３（特開２０２０－１２５９７４号公報）には、固液混合物の内側における異物を検出可能な食品検査装置が開示されている。

特許文献３に記載の食品検査装置は、液体部と固形部とが混合する検査対象物を、厚みを有するように搬送する搬送部と、搬送部上の検査対象物に向けて複数の波長を含む光を照射する光照射部と、光が照射された領域を撮像し、複数の波長に係る光に基づく複数の画像を取得する画像取得部と、複数の画像に基づいて、厚み方向で検査対象物の表面よりも内側に含まれうる異物Ｆｎを検出する食品検査処理部とを含む。

また、良品と不良品を判定する学習モデルの生成方法に関しては以下の発明が出願されている。
特許文献４（特開２０２０－１８１３３３号公報）には、適度な品質感度での検査が可能となる学習モデルの生成方法等が開示されている。

特許文献４の学習済みモデルの生成方法は、製品画像を入力した場合に良否情報を出力する学習済みモデルにより良品と判断された製品に対して、納品先が不良と判断した要因情報を取得し、取得した要因情報に基づき、学習済みモデルの再学習を行う。

国際公開２０１８／０３８１２３号公報 特開２０２０－１０３２８４号公報 特開２０２０－１２５９７４号公報 特開２０２０－１８１３３３号公報

食品検査装置において、多層ニューラルネットワークなどのＡＩを用いて、食品の画像から良品と不良品とを判別する場合、いったん、特定の良品と不良品の画像を用いて多層ニューラルネットワークに学習させ、学習させた多層ニューラルネットワークを用いて食品を検査しても、多層ニューラルネットワークが良品と判定した食品の中に、不良品とすべき食品が混入する場合、または良品を不良と誤判定する場合がある。
この場合、検査した食品を良品とする判定基準を厳しくすれば不良品の混入はある程度防げるが、その場合には良品を不良品と判定する可能性が高くなる。したがって、良品と不良品との判定を正確に行うには、熟練した作業者の良品、不良品の判断を多層ニューラルネットワークに反映する仕組みが必要である。

また、どの食品を良品とし、どの食品を不良品とするかについては、それぞれの食品を提供する業者によっても異なる。この場合、食品検査装置を製造する会社が食品を提供する会社から良品不良品の判定基準として、良品の画像と不良品の画像を受け取って多層ニューラルネットワークに反映することも考えられるが、食品を提供する会社（食品検査装置の利用者）が適当な不良品の画像を漏れなく提供することは実際には困難である。
したがって、食品を提供する会社の実際の食品の良品、不良品の判別の現場において、良品の画像と不良品の画像の情報を収集し、それらの情報を多層ニューラルネットワークに反映する仕組みが必要である。

特許文献１に記載の食品検査装置には、現場の作業者の良品、不良品の判断を多層ニューラルネットワークに反映する仕組みは組み込まれていない。
特許文献２に記載の異物または異種海藻を判別する判別装置、特許文献３に記載の食品検査装置においても、同様である。
特許文献４に記載の学習済みモデルの生成方法では、納品先が不良と判断した要因情報を取得し、取得した前記要因情報に基づき、前記学習済みモデルの再学習を行う仕組みが組み込まれているが、納品先とのやり取りに時間を要するなどにより、迅速な再学習および良品と不良品との判定基準の更新は困難である。

本発明の主な目的は、食品を良品と異物などの不良品とに判別する、食品検査システムおよび食品検査方法において、現場の作業者の良品、不良品の判定基準を迅速かつ容易に食品検査装置の判定手段に反映することのできる食品検査システム、および食品検査方法を提供することにある。
本発明の第２の目的は、食品を良品と異物などの不良品とに判別する、食品検査システム、および食品検査方法において、食品検査システムおよび食品検査方法を利用するそれぞれの会社が、自社の良品と不良品との判定基準を、迅速かつ容易に食品検査装置の判定手段に反映することのできる食品検査システム、および食品検査方法を提供することにある。

（１）
一局面に従う食品検査システムは、食品検査装置と食品検査学習装置と搬送手段とを含む食品検査システムであって、搬送手段は食品検査装置から食品検査学習装置へと食品を搬送し、食品検査装置は、搬送手段上の食品を撮影する第１の撮影手段と、第１の撮影手段が撮影した食品の画像を入力して良品か不良品かを判定する判定手段と、判定手段が不良品と判定した食品を搬送手段上から除去する除去手段と、を含み、判定手段は多層ニューラルネットワークで構成され、あらかじめ良品の画像および／または不良品の画像を用いて学習され、食品検査学習装置は、作業者の手元を撮影する第２の撮影手段と、第２の撮影手段で撮影した画像を入力し、作業者が食品を不良品と判断して廃棄した場合に、第１の撮影手段で撮影した画像のうちから廃棄された不良品に該当する画像を保存する保存手段と、を含み、保存手段に保存された不良品の画像と、（あらかじめ準備した）良品の画像および／または不良品の画像とを用いて、食品検査装置の判定手段が再学習される。

この場合、食品検査装置の判定手段は、あらかじめ準備した良品の画像および／または不良品の画像を用いて学習することで、異物など明らかな不良品を除去する。そして、食品検査装置で良品と判定された食品の中から、作業者が自社の検査基準に則り不良品と判断した食品を廃棄するとともに、廃棄された不良品の画像を保存し、保存された不良品の画像を用いて食品検査装置の判定手段を再学習させる。これにより、現場の作業員の判定基準を迅速かつ容易に食品検査装置の判定手段に反映することができる。
この場合、食品検査装置を通さずに直接すべての食品を食品検査学習装置で作業者が判別することも不可能ではないが、作業者の負荷低減、集中力確保等の観点から、まず異物など明らかな不良品を食品検査装置で除去し、その食品検査装置を通過した食品を食品検査学習装置で作業者が判別することが望ましい。
食品検査は、異物など明らかな不良品を除去するだけではなく、食品の用途や加工の目的、加工段階によって（例えば、その後に油揚げするか否かなど）、検査段階における良品／不良品の基準は各社様々である。したがって、まず異物など明らかな不良品を食品検査装置で除去して、作業者は検査基準に適合しない食品の選別を行い、そして当該選別された食品を不良品として再学習することによって、効率的かつ正確に食品検査の判定を行うことができる。

また、あらかじめ良品の画像および／または不良品の画像を入力して学習する当初の判定手段の判定基準では、良品の画像を良品と学習させ（および／または、異物など明らかな不良品の画像を不良品と学習させ）ておく。このようにして、良品と不良品の境界付近の食品は良品と判定させておき、再学習において、現場の作業者の判断、あるいは、食品検査システムを利用する会社ごとの判断により、不良品とすべき食品が不良品と判定されるように再学習させることが望ましい。
そして、食品検査装置の判定手段の再学習により食品検査装置の良品不良品の判定の精度が所定のレベルまで向上した場合には、食品検査装置の良品をそのまま良品として出荷することも可能である。

（２）
第２の発明にかかる食品検査システムは、一局面に従う食品検査システムにおいて、保存手段に保存された不良品の画像のうちから、食品検査装置で不良品と判定すべき画像がさらに選別されて、食品検査装置の判定手段の再学習に用いられ、判定手段の再学習は、所定の検査時間または所定の検査された食品の個数ごとに行われてもよい。

この場合、作業現場（検査ラインの作業者）において不良品と判断された不良品の画像の群の中から、改めて再学習させるべき不良品の画像を選択して、判定手段にこれを再学習させる。
食品検査学習装置では作業者は瞬時に不良品を見分ける必要があるため、作業者が不良品と判定し画像が保存された食品の中には、本来は良品と判定すべき食品が含まれている可能性がある。また、食品の検査は作業者の感覚に依存するところもあるため、良品／不良品の判断は必ずしも一義的に確定するものではなく、作業者によって検査結果にばらつきが生じる場合がある。したがって、保存手段に保存された不良品の画像のうちから、食品検査装置で不良品と判定すべき画像を選別して、それらの画像を食品検査装置の判定手段の再学習に用いることが望ましい。
また、再学習の効果をあげるには、追加の不良品と判定すべき画像を一定の数収集する必要があることから、判定手段の再学習は、所定の検査時間または所定の検査された食品の個数ごとに行われることが望ましい。
検査ラインの現場で不良品と判断された画像の群から、改めて再学習させるべき不良品の画像、および／または異物と誤判定された良品の画像を選択することによって、当該検査ラインの判定基準をより正確に反映させることができる。

（３）
第３の発明にかかる食品検査システムは、一局面または第２の発明にかかる食品検査システムにおいて、食品検査装置は、第１の撮影手段が撮影する食品を照射する光照射手段をさらに備え、光照射手段は特定の波長の光を強調するようにしてもよい。

検査で不良品と判定される食品には、例えば虫、金属などの異物が付着している場合がある。このような異物は特定の波長の光を強く反射するため、光照射手段として、特定の波長の光を強調する光源を用い、食品の画像を撮影することにより、異物が付着した不良品と良品との差異をより明確にすることができる。
なお、特定の波長の光を強調する光源を用いる代わりに、撮影手段の前面に特定の波長の光を強調するフィルタを配設してもよい。
あるいは、判定手段の多層ニューラルネットワークへの入力の前処理として、特定の波長の光を強調するフィルタの機能を有する回路を挿入してもよい。

（４）
第４の発明にかかる食品検査システムは、一局面から第３の発明にかかる食品検査システムにおいて、多層ニューラルネットワークの教師データは、良品、および異なる種類の不良品の画像ごとにそれぞれ別のラベルが指定されてもよい。

多層ニューラルネットワークとしては、画像データを入力してその特徴を抽出することのできるものを用いてもよい。

また、多層ニューラルネットワークの学習では、良品、および／または異なる種類の不良品の画像ごとに、別のラベルを指定して、多層ニューラルネットワークの学習をさせてもよい。
この場合、多層ニューラルネットワークに判定すべき食品の画像を入力すると、それらの食品のラベルが抽出され、良品不良品の判定だけでなく、不良品の種類をも検出することができる。

また、多層ニューラルネットワークでは、食品の一部に異常部位（潰れ、変色、腐敗など）が含まれていた場合も、当該異常部位の部分だけを不良として判定するのではなく、異常部位を含む食品全体を不良品として判定することができる。
したがって多層ニューラルネットワークを用いることによって、異常部位を含むような不良品もより的確に選別することができ、検査基準に適合しない食品を効率的かつ正確に検査することができる。

（５）
他の局面に従う食品検査学習装置は、多層ニューラルネットワークで構成された、食品が良品か不良品かを判定する判定手段の学習のための検査学習装置であって、検査学習する食品を搬送する搬送手段と、搬送手段上の食品を撮影する第１の撮影手段と、作業者の手元を撮影する第２の撮影手段と、第２の撮影手段で撮影した画像を入力し、作業者が不良品と判断して廃棄した場合に、第１の撮影手段で撮影した画像のうちから廃棄された不良品に該当する画像を保存する保存手段と、を含み、保存手段に保存された不良品の画像が判定手段の再学習に用いられる。

この場合、食品検査学習装置を用いて不良品の画像を収集することによって、現場の作業員の判定基準を迅速かつ容易に食品検査装置の判定手段に反映することができる。また、検査段階における良品／不良品の基準は各社様々であるが、食品検査学習装置を用いて自社の基準に基づく不良品の画像を収集し、収集した不良品の画像を用いて判定手段を再学習させることによって、食品検査装置の判定手段を、迅速かつ容易に自社の判定基準に沿った判定手段とすることができる。

（６）
さらに他の局面に従う食品検査方法は、食品の画像を入力して良品か不良品かを判定する食品検査方法であって、良品の画像および／または不良品の画像を教師データとして、多層ニューラルネットワークに良品か不良品かの判定を学習させる第１学習工程と、食品の画像を撮影し、食品の画像を多層ニューラルネットワークに入力して良品か不良品かを判定する第１判定工程と、第１判定工程で良品とされた食品の中から作業者が不良品を取り除く第２判定工程と、第２判定工程で取り除かれた不良品の画像と、（あらかじめ準備した）良品の画像および／または不良品の画像と、を用いて多層ニューラルネットワークを再学習させる第２学習工程と、を含む。

この場合、多層ニューラルネットワークに、第１学習工程で基本的な良品、不良品の判定基準を学習させた後、第２学習工程で現場の作業者の判断、あるいは、食品検査方法を利用する会社ごとの判断に合わせて、不良品とすべき食品が不良品と判定されるように再学習させることができる。そして、多層ニューラルネットワークに再学習させることにより、第１判定工程での判定基準を、現場の作業者の判断、あるいは食品検査方法を利用する会社ごとの判断に対応させることができる。
そして、第２学習工程での再学習により第１判定工程での判定の精度が所定のレベルまで向上した場合には、第１判定工程での良品をそのまま良品として出荷することも可能である。
また、この場合、第１判定工程を通さずに直接すべての食品を第２判定工程で作業者が判別することも不可能ではないが、作業者の負荷低減、集中力確保等の観点から、まず第１判定工程で判別し、その良品を第２判定工程で作業者が判別することが望ましい。

第１の実施形態の食品検査システムの全体構成を示す模式図である。 食品検査システムの搬送手段に載置された食品の一例を示す模式図である。 食品検査システムのフローチャートを示す模式図である。 第２の実施形態の食品検査学習装置の構成を示す模式図である。

以下、図面を参照しつつ、本発明の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付す。また、同符号の場合には、それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰り返さないものとする。

［第１の実施形態］
図１は第１の実施形態の食品検査システム１００の全体構成を示す模式図である。
食品検査システム１００は、ベルトコンベア１１と食品検査装置１１０と食品検査学習装置１２０とで構成されている。ベルトコンベア１１は食品検査装置１１０と食品検査学習装置１２０とを横断して配設されており、食品検査装置１１０から食品検査学習装置１２０へと食品６０を搬送する。

（食品検査装置１１０）
食品検査装置１１０は、ベルトコンベア１１、第１のカメラ２１、照明装置２４、判定手段３０、および除去手段４０を備えている。第１のカメラ２１と照明装置２４とはベルトコンベア１１の上方に配置され、除去手段４０は、ベルトコンベア１１の側方に配置されている。
ベルトコンベア１１に載置された食品６０は、照明装置２４で光を照射された状態で第１のカメラ２１により画像を撮影される。撮影された食品６０の画像は、判定手段３０に入力されて良品か不良品かが判定される。判定手段３０は、多層ニューラルネットワークで構成され、あらかじめ良品の画像および／または不良品の画像を用いて学習されている。

あらかじめの学習段階においては、良品のみの画像を複数用いて良品の学習を行っていてもよい。また、あらかじめの学習段階においては、良品のみの学習に加えて、異物６２、６３など明らかな不良品の画像のみを不良品と学習させてもよい。
このようにすることで、再学習を開始する前の段階では、異物６２、６３など明らかな不良品のみを不良品と判定するようにする。そして、検査工程ごとに設けられる各社独自の検査基準（良品と不良品の境界付近の食品６０）は、作業者７０が良品と不良品とを選別し、当該選別された食品６０を不良品として再学習することによって、効率的かつ正確な食品検査の判定を行うことができるようになる。

食品６０が不良品であるとの情報は判定手段３０から除去手段４０に送られ、不良品と判定された食品６０は、除去手段４０によりベルトコンベア１１上から除去される。除去手段４０としては、特に限定されるものではなく、例えばベルトコンベア１１の一方の側方にアクチュエータを配置し、ピストンロッドで不良品を他方の側方に押し出すといった構成、エアガンで不良品を飛ばす構成などが使用可能である。

第１のカメラ２１で食品６０を撮影する際には照明装置２４から光を照射して撮影する。照明装置２４には、光源そのものに特定の波長の光を強調する光源を用いる、または、図１に記載のように光源の前面に特定の波長の光を強調するフィルタ２４ａを配設することが望ましい。これは、食品６０に、例えば虫、金属などの異物が付着している場合、このような異物は特定の波長の光を強く反射するためである。
なお、特定の波長の光を強調する照明装置２４を用いる代わりに、第１のカメラ２１の前面に特定の波長の光を強調するフィルタを配設してもよい。
あるいは、判定手段３０の多層ニューラルネットワークへの入力の前処理として、特定の波長の光を強調するフィルタの機能を有する回路を挿入してもよい。

（食品検査学習装置１２０）
食品検査学習装置１２０は、ベルトコンベア１１、第２のカメラ２２、保存手段５０、および廃棄ボックス７１から構成される。第２のカメラ２２はベルトコンベア１１の後方上部に配置されている。また、ベルトコンベア１１の側方で、第２のカメラ２２の近傍には作業者７０が位置している。
食品検査学習装置１２０には食品検査装置１１０で良品と判定された食品６０が搬送される。

食品検査学習装置１２０に搬送された食品６０は作業者７０の前面に搬送され、作業者７０は前面の食品６０が良品か不良品かを判断し、不良品の場合は食品６０を廃棄ボックス７１に廃棄する。第２のカメラ２２は作業者７０の手の動きを撮影し、保存手段５０は第２のカメラ２２で撮影された画像を入力し、作業者７０が食品６０を廃棄した場合、廃棄された時刻から、廃棄された食品６０が第１のカメラ２１で撮影された食品６０のうちのどの食品６０であるかを検知し、その食品６０の画像を不良品の画像として保存する。
本実施の形態では、第１のカメラ２１および第２のカメラ２２は、独立した２つのカメラを用いて撮影したが、広角カメラなど一つのカメラを用いて撮影してもよい。この場合、カメラは、ベルトコンベア１１上の食品６０と作業者７０の手元とを一度に撮影する。

（判定手段３０）
本実施形態の判定手段３０の多層ニューラルネットワークとしては、画像データを入力してその特徴を抽出することのできるものであればよく、例えば、Ｙｏｌｏ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｓｅ）、エフィシェントネット（Ｅｆｆｉｃｉｅｎｔ Ｎｅｔ）、または、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）を用いることができる。この多層ニューラルネットワークは、あらかじめ、基本的な良品の画像、または良品の画像および不良品の画像、を用いて学習されている。
Ｙｏｌｏは、物体検出を回帰問題としてモデル化し、物体検出の精度が高くリアルタイム処理が可能である。
エフィシェントネットは、従来の多層ニューラルネットワークと比較して、パラメータ数(１レイヤのサイズとレイヤの数と解像度との積)が小さく、良品、不良品の判定の高速化を実現することができる点で好ましい。
ＲｅｓＮｅｔは、残差特徴量の学習により層を深くすることができる。

図２に食品検査システム１００のベルトコンベア１１に載置された食品６０の一例を示す。図２において、ベルトコンベア１１には、一例として、良品６１、異物（不良品）６２、６３、および一部が変色した不良品６４が載置されている。
それぞれの食品６０は順次第１のカメラ２１で撮影される。図２の２５は第１のカメラ２１で撮影される画像の範囲を示す。この範囲２５の画像が判定手段３０に入力され、良品か不良品かが判定される。良品以外の食品６０は除去手段４０によって、ベルトコンベア１１上から除去される。

多層ニューラルネットワークの教師データはそれぞれの食品６０の画像に、ラベルを指定して作成される。ラベルとしては、良品と不良品とを分類することは当然であるが、特に不良品については、種々の異物、一部が潰れ、変色、腐敗した食品６０等が含まれることから、不良品に対してそれぞれ別のラベルを指定して教師データとすることが望ましい。
例えば、食品６０の一部に潰れがあっても、次工程でミンチ加工するなど検査基準上は問題がない場合がある。一方で、僅かであっても食品６０に腐敗した部位が含まれる場合は、食品６０全体を不良品として判定する場合がある。また、変色の場合に比べて腐敗の場合は判定確率が低い場合も不良品と判定するなど、不良の分類に応じて判定確率の閾値を変更してもよい。多層ニューラルネットワークでは食品６０の不良をラベルによってクラス分けできるので、より正確に食品検査を行うことができる。
さらに、多層ニューラルネットワークではクラス分けされた不良品の発生状況をリアルタイムで把握することができる。したがって、例えば食品６０の変色の頻度が高まっているので上流工程の温度管理に問題があるなど、工程の異常を効果的に把握することができる。

また、食品検査システム１００による食品６０の検査が所定の検査時間経過したとき、または所定の検査個数完了したときには、あらかじめ判定手段３０の学習に用いた良品および不良品の画像に、保存手段５０に保存された不良品の画像を追加して、判定手段３０の再学習をさせることが望ましい。
例えば、一部に変色がある食品６０であっても、その変色の程度、色、大きさなどによって、当該食品６０を良品とするか不良品とするかは、食品６０の用途や加工の目的、加工段階によって各社様々である。したがって、検査ラインの現場で不良品と判断された画像の群から、改めて再学習させるべき不良品の画像を選択することによって、当該検査ラインの判定基準をより正確かつ効果的に反映させることができる。
そして、判定手段３０の再学習をさせることによって、判定手段３０は、現場の作業者７０の判断、あるいは、食品検査システム１００を利用する会社ごとの判断に合致した判別を行うことができるようになる。

また、食品検査学習装置１２０における作業者７０の良品、不良品の判断は瞬時に行われなければならないため、作業者７０が良品を不良品と判断してしまう可能性もある。したがって、保存手段５０に保存された不良品の画像を判定手段３０の再学習に用いるにあたっては、不良品の画像のうちから食品検査装置１１０で不良品と判定すべき画像を選別して食品検査装置１１０の判定手段３０の再学習に用いることが望ましい。また、その際には、判定基準の精度向上のために、不良品と判定すべき画像のそれぞれを適切なラベルを指定することが望ましい。
また、食品検査装置１１０の判定手段３０の再学習を繰り返すことにより、判定手段３０の判定精度が十分高まった場合には、食品検査装置１１０の良品を食品検査学習装置１２０を通すことなく、そのまま良品として出荷してもよい。

本実施形態では、判定手段３０の多層ニューラルネットワークとしてエフィシェントネット（Ｅｆｆｉｃｉｅｎｔ Ｎｅｔ）を用いているが、多層ニューラルネットワークはエフィシェントネットには限定されない。画像データを入力してその特徴（ラベル）を抽出することのできるものであれば、エフィシェントネット以外の多層ニューラルネットワークを判定手段３０として用いてもよい。

（食品検査システム１００のフローチャート）
図３に、食品検査システム１００のフローチャートの模式図を示す。
以下、図３の各ステップについて説明する。
ステップＳ１：判定手段３０の多層ニューラルネットワークの学習に用いる良品、不良品の画像を準備する。この場合、最初の学習では、良品の画像だけを準備して、学習させてもよい。
ステップＳ２：準備した画像に、ラベルを追加し、判定手段３０の多層ニューラルネットワークに学習させる。このときの画像の数としては、少なくとも１０、できれば１００以上が望ましい。また、この段階では、良品と不良品の境界付近の食品６０は良品と判定するように教師データを準備することが望ましい。
ステップＳ３：検査する食品６０をベルトコンベア１１に載せる。
ステップＳ４：第１のカメラ２１で食品６０の画像を撮影し、判定手段３０で良品か不良品かを判定する。
ステップＳ５：判定手段３０での判定結果が不良品の場合、除去手段４０で不良品をベルトコンベア１１から除去する。
ステップＳ６：すでに判定手段３０の再学習が行われ、食品検査装置１１０の判定手段３０の判定精度が十分高い場合はそのまま良品として出荷する(ステップＳ１２)。この場合、以降、ステップＳ３～Ｓ６および良品出荷（ステップＳ１２）を繰り返す。

ステップＳ７：食品検査装置１１０の判定手段３０の判定精度が十分でない場合、また、自社の良品と不良品との判定基準を、食品検査装置１１０の判定手段３０に反映させたい場合には、食品検査装置１１０の良品を食品検査学習装置１２０に搬送し、作業者７０が良品不良品の判定を行うとともに、第２のカメラ２２で作業者７０の手元を撮影する。作業者７０が良品と判定した食品６０は出荷する(ステップＳ１２)。
ステップＳ８：作業者７０が食品６０を廃棄した場合、廃棄された時刻から、廃棄された食品６０が第１のカメラ２１で撮影された食品６０のうちのどの食品６０であるかを検知し、その食品６０の画像を不良品の画像として保存する。
ステップＳ９：検査時間が所定の時間を超過するまで、あるいは検査個数が所定の個数を超過するまでステップＳ３（食品搬送）～ステップＳ８（不良品画像保存）が繰り返される。
ステップＳ１０：検査時間が所定の時間を超過した場合、あるいは検査個数が所定の個数を超過した場合には、いったんステップＳ３～Ｓ８を停止し、保存手段５０に保存された画像の中から、判定手段３０再学習のために用いるべき不良品の画像を選別する。
ステップＳ１１：保存手段５０に保存された不良品の画像にラベルを追加し、ステップＳ１で準備した良品および不良品の画像と組み合わせて、判定手段３０の多層ニューラルネットワークを再学習させる。再学習終了後は、再びステップＳ３～Ｓ８に沿って、食品６０の検査、および再学習のための不良品画像の保存を繰り返す。

[第２の実施形態]
第２の実施形態の食品検査学習装置１２０ａは、食品検査装置１１０の判定手段３０を再学習するための教師データを収集する装置である。したがって、食品検査装置１１０は含まない。
図４は第２の実施形態の食品検査学習装置１２０ａの構成を示す模式図である。第２の実施形態の食品検査学習装置１２０ａは、ベルトコンベア１１ａ、第１のカメラ２１ａ、第２のカメラ２２、保存手段５０、および廃棄ボックス７１から構成される。第２のカメラ２２はベルトコンベア１１ａの後方上部に配置されている。また、ベルトコンベア１１の側方で、第２のカメラ２２の近傍には作業者７０が位置している。

食品検査学習装置１２０ａに載置された食品６０は、第１のカメラ２１ａにより画像を撮影される。画像を撮影された食品６０は、作業者７０の前面に搬送され、作業者７０は前面の食品６０が良品か不良品かを判断し、不良品の場合は食品６０を廃棄ボックス７１に廃棄する。第２のカメラ２２は作業者７０の手の動きを撮影し、保存手段５０は第２のカメラ２２で撮影された画像を入力し、作業者７０が食品６０を廃棄した場合、廃棄された時刻から、廃棄された食品６０が第１のカメラ２１ａで撮影された食品６０のうちのどの食品６０であるかを検知し、その食品６０の画像を不良品の画像として保存する。

食品検査学習装置１２０ａで収集された不良品の画像は、再学習用データとして食品検査装置１１０に提供される。
食品検査学習装置１２０ａにおける作業者７０の良品、不良品の判断は瞬時に行われなければならないため、作業者７０が良品を不良品と判断してしまう可能性もある。したがって、保存手段５０に保存された不良品の画像を判定手段３０の再学習に用いるにあたっては、不良品の画像のうちから食品検査装置１１０で不良品と判定すべき画像を選別して食品検査装置１１０の判定手段３０の再学習に用いることが望ましい。また、その際には、判定基準の精度向上のために、不良品と判定すべき画像のそれぞれを適切なラベルを指定することが望ましい。

本発明において、食品検査装置１１０が『食品検査装置』に相当し、食品検査学習装置１２０、１２０ａが『食品検査学習装置』に相当し、食品検査システム１００が『食品検査システム』に相当し、食品６０が『食品』に相当し、ベルトコンベア１１、１１ａが『搬送手段』に相当し、第１のカメラ２１、２１ａが『第１の撮影手段』に相当し、判定手段３０が『判定手段』に相当し、除去手段４０が『除去手段』に相当し、第２のカメラ２２が『第２の撮影手段』に相当し、作業者７０が『作業者』に相当し、保存手段５０が『保存手段』に相当し、照明装置２４が『光照射手段』に相当する。

本発明の好ましい一実施形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

１１、１１ａベルトコンベア
２１、２１ａ 第１のカメラ
２２ 第２のカメラ
２４ 照明装置
３０ 判定手段
４０ 除去手段
５０ 保存手段
６０ 食品
７０ 作業者
１００ 食品検査システム
１１０ 食品検査装置
１２０、１２０ａ 食品検査学習装置

Claims (6)

1. 食品検査装置と食品検査学習装置と搬送手段とを含む食品検査システムであって、
   前記搬送手段は前記食品検査装置から前記食品検査学習装置へと食品を搬送し、
   前記食品検査装置は、
   前記搬送手段上の食品を撮影する第１の撮影手段と、
   前記第１の撮影手段が撮影した食品の画像を入力して良品か不良品かを判定する判定手段と、
   前記判定手段が不良品と判定した食品を前記搬送手段上から除去する除去手段と、を含み、
   前記判定手段は多層ニューラルネットワークで構成され、あらかじめ良品の画像および／または不良品の画像を用いて学習され、
   前記食品検査学習装置は、
   作業者の手の動きを撮影する第２の撮影手段と、
   前記第２の撮影手段で撮影した画像を入力し、前記作業者が食品を不良品と判断して廃棄した場合、廃棄された食品が前記第１の撮影手段で撮影された食品のうちのどの食品であるかを検知し、検知された食品の画像を不良品の画像として保存する保存手段と、を含み、
   前記保存手段に保存された前記不良品の画像と、前記良品の画像および／または不良品の画像とを用いて、前記食品検査装置の前記判定手段が再学習される、食品検査システム。
2. 前記保存手段に保存された前記不良品の画像のうちから、前記食品検査装置で不良品と判定すべき画像がさらに選別されて、前記食品検査装置の前記判定手段の再学習に用いられ、
   前記判定手段の再学習は、所定の検査時間または所定の検査された食品の個数ごとに行われる、請求項１に記載の食品検査システム。
3. 前記食品検査装置は、前記第１の撮影手段が撮影する食品を照射する光照射手段をさらに備え、
   前記光照射手段は特定の波長の光を強調する、請求項１または２に記載の食品検査システム。
4. 前記多層ニューラルネットワークの教師データは、良品、および異なる種類の前記不良品の画像ごとにそれぞれ別のラベルが指定される、請求項１から３のいずれか１項に記載の食品検査システム。
5. 多層ニューラルネットワークで構成された、食品が良品か不良品かを判定する判定手段の学習のための検査学習装置であって、
   検査学習する食品を搬送する搬送手段と、
   前記搬送手段上の食品を撮影する第１の撮影手段と、
   作業者の手の動きを撮影する第２の撮影手段と、
   前記第２の撮影手段で撮影した画像を入力し、前記作業者が不良品と判断して廃棄した場合、廃棄された食品が前記第１の撮影手段で撮影された食品のうちのどの食品であるかを検知し、検知された食品の画像を不良品の画像として保存する保存手段と、を含み、
   前記保存手段に保存された前記不良品の画像が前記判定手段の再学習に用いられる、食品検査学習装置。
6. 食品の画像を入力して良品か不良品かを判定する食品検査方法であって、
   良品の画像および／または不良品の画像を教師データとして、多層ニューラルネットワークに良品か不良品かの判定を学習させる第１学習工程と、
   食品の画像を撮影し、前記食品の画像を前記多層ニューラルネットワークに入力して良品か不良品かを判定する第１判定工程と、
   前記第１判定工程で良品とされた食品の中から作業者が不良品を取り除く第２判定工程と、
   作業者の手の動きを撮影し、前記第２判定工程で前記不良品が取り除かれた場合に、取り除かれた不良品が前記第１判定工程で撮影された食品のうちのどの食品であるかを検知し、取り除かれた食品の画像を不良品の画像として保存し、保存された前記不良品の画像と、前記良品の画像および／または不良品の画像とを用いて前記多層ニューラルネットワークを再学習させる第２学習工程と、を含む、食品検査方法。

Images