JPWO2019151393A1 - 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 - Google Patents

Abstract

［課題］食品原材料の正確かつ迅速な選別を実現し、高品質な食品の生産およびコストの抑制に寄与する、食品検査システム、食品検査プログラム、食品検査方法および食品生産方法を提供する。［解決手段］本発明に係る食品検査システムは、検査対象食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと、前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、検査対象食品の判定モードを推定するステップとを実行することを特徴とする。

Description

本発明は、食品検査システム、食品検査プログラム、食品検査方法および食品生産方法に関する。

食品の生産工程では、原材料の加工時に不良品や異物の選別と除去が行われている。例えば、鶏肉を使った加工食品の生産では、原材料の選別作業において骨、羽などの異物や血合いなどの欠陥を除去しなくてはならない。しかし、現実の選別作業は、目視検査や触手検査に頼っているため、作業ミスで骨、羽などの異物や血合いを含む原材料が見落とされ、次の工程に進んでしまうおそれがある。作業ミスを減らし、選別作業を高速化するためには、作業人員を増やす必要があり、生産コストが高くなってしまう。

上述の背景もあり、食品の生産工程では高精度の検査を自動的に行う装置の導入が進められている。原材料中に混入した硬骨については、Ｘ線検査装置による検出が行われるようになっている。食肉の異物や血合いなどを検出する技術の開発も進められている。特許文献１では、魚介類の切り身に紫外線を照射し、発生する蛍光より異物を検出する装置が示されている。特許文献２では、肉類に可視光を照射し、寄生中から発生する蛍光をフィルタにより選択的に検出する方法が示されている。特許文献３では、食肉に紫外線を照射し、発生した蛍光により画像を生成し、脂肪交雑等級を判定する装置が示されている。

特開２０１７−１４２１３３号公報 特開２００７−２８６０４１号公報 特開２００５−２３３６３６号公報

食肉の血合いを検出する技術としては、画像中の色彩の違いによって血合いの位置を推定する方法がある。この方法では画像中の影や凹凸を血合いと誤判定することがあり、充分な検査精度を確保できない。鶏肉の羽については検査対象に紫外線を照射し、発生する蛍光に基づき、羽の位置を推定する方法がある。鶏肉の皮からも蛍光が発生し、画像中の色彩が羽の部分と類似してしまうため、正確な判定が難しい。また、近年は原材料価格や人件費の高騰などもあり、高い品質を維持しながら生産コストを抑えることが課題となっており、食品原材料の低コストで高精度な検査を実現することが求められている。

これらの課題を踏まえ、加工食品の生産においては、高品質な製品を低コストで提供するため、効率的に血合いや羽などの選別を実現する技術の開発が望まれている。本発明は食品原材料の正確かつ迅速な選別を実現し、高品質な食品の生産およびコストの抑制に寄与する、食品検査システム、食品検査プログラム、食品検査方法および食品生産方法を提供する。

本発明に係る食品検査システムでは、検査対象食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと、前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、検査対象食品の判定モードを推定するステップとを実行することを特徴とする。判定画像における検査対象食品の大きさ、形状、位置、方向（回転）は不定で予測困難である。そこで、本発明では判定画像を検査対象食品の大きさ、形状、位置、方向（回転）に係る情報を捨像した第１入力データに変換してから、ニューラルネットワークに入力するものとする。

第１の実施形態に係る食品検査システム全体の構成例を示す図。 第１の実施形態に係る装置の構成例を示した図。 第１の実施形態に係る装置の構成例を示した図。 色彩の違いによる血合い検出の例を示した図。 色彩の違いに基づく判定における誤検出例を示した図。 偏光フィルタを通して画像を撮影された画像の例を示す図。 赤の輝度データから緑の輝度データを減算した画像の例を示す図。 赤外線撮影が可能なカラーカメラによって撮影された画像の例を示した図。 入力画像の例を示した図。 血合い選別用の撮影装置の構成例を示した図。 良品の鶏肉と不良品の鶏肉を撮影した画像の例を示す図。 様々な形状に係る食肉の例を示した図。 食肉の画像とピクセルとの対応関係の例を示した図。 画像から入力データを生成する処理のフローチャート。 各色の輝度に係る度数分布を示したヒストグラム。 輝度により昇順に整列した輝度データの例を示した図。 輝度データのブロック分割処理と代表値の計算処理の例を示す図。 輝度データと入力データの関係を示した図。 第１の実施形態に係る学習処理のフローチャート。 ３つの反応値を出力するニューラルネットワークの例を示す図。 ニューラルネットワークのユニット間の演算処理を示す図。 ガウス関数を示したグラフ。 シグモイド関数を示したグラフ。 第１の実施形態に係る判定処理のフローチャート。 活性化関数にＲＢＦを使ったときの識別曲面と反応値の分布。 活性化関数にシグモイド関数を使ったときの識別曲面と反応値の分布。 ニューラルネットワークの反応値の例を示したグラフ。 ニューラルネットワークの反応値の例を示したテーブル。 プログラムにより提供されるＧＵＩの例を示した図。 ２つの反応値を出力するニューラルネットワークの例を示す図。 画像のピクセルと領域分割処理の対応関係の例を示した図。 第２の実施形態に係る学習処理のフローチャート。 第２の実施形態に係る判定処理のフローチャート。 ひとつの反応値を出力するニューラルネットワークの例を示す図。 識別性能の結果を示したテーブル。 光源の種類による画像の見え方の違いを示した図。 鶏の各部位における分光蛍光スペクトル分析の結果を示した図。 分光蛍光スペクトル分析における羽と皮の差分信号を示す図。 フィルタの種類による画像の違いを示した図。 異物である羽を選別する撮影装置の構成例を示した図。 良品画像に相当する第２入力データにおける輝度の分布の例を示した図。 もとの判定画像へのバックトレース結果の例を示した図。 度数分布における輝度のしきい値（第２しきい値）の例を示した図。 複数の良品のカテゴリおよび不良品のカテゴリに対応した反応値を出力するニューラルネットワークの例を示した図。 産地ごとの良品のカテゴリおよび不良品のカテゴリの比率を示した図。 良品のカテゴリごとに異なる調理工程を選択するシステムの例を示した図。

以下では、図面を参照しながら、本発明の実施形態について説明する。また、図面において同一の構成要素は、同じ番号を付し、説明は、適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る食品検査システム全体の構成例を示す図である。

図１の食品検査システムは、食品検査装置１と、撮影装置２と、仕分け装置３と、搬送装置４と、滑り台５と、ＰＬＣ（プログラマブルロジックコントローラ）６とを含む。以下では、食品検査システムの概要について説明する。

食品検査システムは、食品を撮影した画像に基づき、良品と不良品の自動的な判定を行う。ここで不良品とは、欠陥を有する食品や異物を含む食品のことをいうものとする。一方、良品とは欠陥や異物のない食品のことをいう。食品検査システムが検査対象とする食品の例としては、鶏肉、豚肉、牛肉、羊肉、魚介類、野菜、果物、穀物、飲料、調味料などがあるが、食品の種類については特に問わない。鶏肉、豚肉、牛肉、魚介類などの食肉の場合、未加熱である生の食肉を検査対象としてもよいし、加熱後の食肉を検査対象としてもよい。食品は未加工の原材料であってもよいし、生の切り身であってもよいし、何らかの加工が施されたものであってもよい。すなわち、食品の加工の程度についても特に限定しない。

第１の実施形態では、鶏肉の生の切り身を検査対象とし、血合いの有無を判定する場合を例に説明する。血合いは鶏肉の欠陥の一例であるが、その他の種類の欠陥を検査対象としてもよい。なお、鶏肉における異物のひとつである羽の有無を検査する例については後述する。本発明の食品検査システムが検出する、不良品に含まれる欠陥や異物などの種類については特に問わない。

食品検査システムは、サンプルの食品（サンプル食品）を撮影した画像に含まれるピクセルの輝度に基づき生成されたデータを使ってニューラルネットワークの学習を行う。ニューラルネットワークの学習が完了したら、検査対象食品を撮影した画像のピクセルの輝度に基づき、ニューラルネットワークへ入力可能なデータに変換した後、ニューラルネットワークに入力する。以降では、ニューラルネットワークの入力層へ入力可能な形式に変換されたデータを入力データと呼ぶものとする。

食品検査システムは、ニューラルネットワークからの出力層における反応値に基づき、良品と不良品の判定を行う。判定結果に基づき、良品と良品が混在した食品群を仕分けてもよい。

食品検査システムは効果的な学習や高い精度の判定を行うため、学習処理と判定処理に最適化された画像を使うことができる。例えば、食品を撮影するときに利用する光源の周波数スペクトルや偏光を制御してもよい。カメラにフィルタを装着し、フィルタを通して得られた画像を使ってもよい。また、血合いや異物の検出が容易になるよう、撮影後の画像に各種画像処理を行ってもよい。ここで、血合いとは食肉における打ち身などの起因する着色や血の固まりだけでなく、色、風味などが他の部位とは異なる着色部位なども含むものとする。

次に、食品検査システムに含まれる各装置の概要について説明する。

食品検査装置１は、画像処理、入力データの生成、ニューラルネットワークの学習、ニューラルネットワークを使った良品と不良品の判定などを行う。食品検査装置１は、１以上のＣＰＵ（中央処理装置）、記憶部、通信部を備え、ＯＳ（オペレーティングシステム）とアプリケーションが動作する計算機などの情報処理装置である。食品検査装置１は、物理的な計算機であってもよいし、仮想計算機（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：ＶＭ）、コンテナ（ｃｏｎｔａｉｎｅｒ）またはこれらの組み合わせにより実現されるものであってもよい。１つ以上の物理計算機、仮想計算機、コンテナに食品検査装置１の機能を分担させてもよい。可用性の向上や負荷分散のために食品検査装置１の台数を増やした構成を用いることも排除されない。なお、食品検査装置１の機能の詳細については後述する。

撮影装置２は、筐体内に入った食品を光源で照らし、撮影する。撮影装置２で撮影された画像は、食品検査装置１の記憶部に保存される。撮影装置２と食品検査装置１の間のインタフェースとして、Ｅｔｈｅｒｎｅｔ、無線ＬＡＮ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、Ｂｌｕｅｔｏｏｔｈなどによって行われるものとする。これらのインタフェースは例であり、その他の方式によるものを用いることを妨げるものではない。撮影装置２の詳細についても後述する。

仕分け装置３は、食品検査装置１による判定結果に基づき、良品と良品が混在した食品群を仕分ける。図１の例では、搬送装置４により搬送された食品を搬送装置４から押し出す装置が示されているが、仕分け装置３の構造や動作については特に問わない。例えば、仕分け装置３は不良品と判定された食品を、良品とは異なる方向に搬送する装置であってもよい。また、仕分け装置３は不良品または異物ありと判定された食品を、把持（ピッキング）するロボットであってもよい。

仕分け装置３は、ＰＬＣ６を介して食品検査装置１と接続されている。食品検査装置１が食品を不良品と判定した場合、ＰＬＣ６に制御信号を送信する。仕分け装置３はＰＬＣ６から送信された制御信号に基づき、不良品と良品が混在した食品群を仕分ける。なお、食品検査システムは必ず仕分け装置３を備えていなくてもよい。仕分け装置３の有無に関わらず、食品検査装置１により不良品と判定された食品を作業員が手作業で取り除いてもよい。

搬送装置４は、食品を撮影装置２の下方の撮影領域に搬送する。その後、食品は搬送装置４によって仕分け装置３に搬送される。搬送装置４として、例えばベルトコンベヤ、チェーンコンベヤ、ローラコンベヤ、メッシュコンベヤ、グラビティコンベヤなど各種のコンベヤ装置を用いることができる。コンベヤ装置は一例であり、その他の移動体を使って食品を搬送してもよく、搬送手段については特に問わない。また、図１の例では、食品が左から右に向かって搬送されているが、食品が搬送される方向についても特に限定しない。

搬送装置４を設けることにより、食品加工または食品製造のいずれかの工程において、流れてくる食品の撮影や判定を行うことができる。食品検査システムは必ず搬送装置４を備えていなくてもよいが、効率的な画像の撮影や食品検査の高速化のため、何らかの搬送手段を備えていることが望ましい。搬送装置の構成例については後述する。

滑り台５は、不良品と判定された食品を良品とは異なる方向に移動する。仕分け装置３によって搬送装置４から押し出された食品は、自重により滑り台５を降下する。滑り台５の下部には大型の容器が設置されていてもよいし、別の搬送装置が設置されていてもよい。不良品と判定された食品は、異物や血合いを除去した後、瑕疵のない良品として次の工程で加工してもよいし、廃棄してもよい。なお、図１の滑り台５は、不良品と判定された食品を移動する手段の一例に過ぎない。食品検査システムはその他の方法で不良品と判定された食品を仕分けてもよい。

ＰＬＣ６は、食品検査装置１から送信された制御信号に基づき仕分け装置３または搬送装置４を制御する。食品検査装置１とＰＬＣ６の間のインタフェースならびにＰＬＣ６と仕分け装置３または搬送装置４の間のインタフェースとして、Ｅｔｈｅｒｎｅｔ、無線ＬＡＮ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、Ｂｌｕｅｔｏｏｔｈなどを使うことができる。これらのインタフェースは例であり、その他の方式のものを使ってもよい。

図１の食品検査システムでは、食品６１の画像が撮影装置２によって撮影されている。撮影された食品の画像は食品検査装置１に保存され、判定に用いられる。食品６２は、血合いを有する不良品であると判定されたため、仕分け装置３によって、搬送装置４から押し出され、滑り台５を降下している。食品６３は、良品であると判定されたため、食品群から仕分けられずに次の工程に進むことができる。

次に、食品検査装置１に含まれる構成要素について説明する。

食品検査装置１は、制御部１０と、画像記憶部１１と、画像処理部１２と、入力データ生成部１３と、学習データ記憶部１４と、学習部１５と、モデル記憶部１６と、判定部１７と、表示部１８と、操作部１９とを備えている。

制御部１０は、撮影装置２のセンサ２３が食品を検出したら、撮影装置２のカメラ２２に画像の撮影を指示する。すなわち、センサ２３は食品が搬送装置４により撮影装置２の下方に移動してきたことを検出する。制御部１０は、食品がカメラ２２の撮影アングル内に入ったタイミングで撮影を指示する。このタイミングは、例えばセンサ２３による食品の検出時刻と、搬送装置４の移動速度に基づいて推定することができる。このように制御部１０の機能により、食品の自動的な撮影が行われる。

画像記憶部１１は、撮影装置２のカメラ２２により撮影された画像を保存する記憶領域である。画像記憶部１１は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。画像記憶部１１は、食品検査装置１に内蔵されていてもよいし、食品検査装置１の外部の記憶装置であってもよい。また、画像記憶部１１は、ＳＤメモリカード、ＵＳＢメモリなどの取り外し可能な記憶媒体であってもよい。

画像処理部１２は、撮影された食品の画像に対して画像処理を行い、画像処理が行われた後の画像を画像記憶部１１に保存する。画像処理の例としては、画像中のピクセルにおける赤、緑、青（ＲＧＢ）の各色の輝度をそれぞれ抽出した画像の生成、各ピクセルにおける赤（Ｒ）の輝度から緑（Ｇ）の輝度を減算した画像の生成、ＨＳＶ色空間への変換後、赤の成分のみを抽出した画像の生成などが挙げられるが、他の種類の画像処理を行ってもよい。画像処理を行うことにより、食品の欠陥や異物の検出が容易となる場合がある。

画像処理部１２は、他に画像の拡大、縮小、切り取り、ノイズ除去、回転、反転、色深度の変更、コントラスト調整、明るさ調整、シャープネスの調整、色補正などを行ってもよい。また、複数の処理を組み合わせて実行してもよい。画像処理部１２の機能は、例えば画像処理ライブラリや、画像処理ソフトウェアによって実現することができるが、画像処理機能を備えたＦＰＧＡ、ＡＳＩＣなどの半導体回路を使って実装してもよい。なお、食品検査装置１は画像処理部１２を必ず備えていなくてもよい。また、撮影された食品の画像に対して画像処理を行わなくてもよい。

入力データ生成部１３は、食品の画像からニューラルネットワークの入力層に入力される、入力データを生成する。例えば、画像に含まれるピクセル数よりニューラルネットワークの入力層に含まれるユニット数が少ない場合、画像に含まれる学習や判定に必要な情報を保持しつつ、入力変数の数をニューラルネットワークの入力層に含まれるユニット数Ｎに等しい数に減らす必要がある。入力データ生成部１３による入力データの生成処理の詳細については後述する。入力データ生成部１３により、入力データに変換される画像は、画像処理が行われた画像であってもよいし、カメラ２２により撮影された未加工の画像のいずれであってもよい。

食品検査装置１が学習処理を実行している場合、入力データ生成部１３は入力データを学習データ記憶部１４に保存する。食品検査装置１が食品の検査を行っている場合、入力データは判定部１７に転送される。判定部１７への入力データの転送方法については入力データを共有メモリに配置する方法や、プロセス間通信を使う方法などがあるが、特に問わない。

なお、学習処理において入力データ生成部１３は必ず撮影装置２のカメラ２２により撮影された画像を使わなくてもよい。例えば、外部の装置やシステムによって撮影された画像を使って入力データを生成してもよい。

学習データ記憶部１４は、ニューラルネットワークの学習に用いられる複数の入力データを保存する記憶領域である。学習データ記憶部１４に保存された入力データは、学習部１５の学習データ（教師データ）として用いられる。学習データとして使われる入力データ（第２入力データ）は、良品、不良品、異物有り、異物無、血合い有り、血合い無、判定困難などの判定モードをラベル付けされた状態で保存されていてもよい。第２入力データのラベル付けは、例えばユーザが表示部１８に表示された画像を目視で判定し、ユーザが操作部１９を操作することによって行うことができる。なお、連続して撮影された画像の判定モードが既知なのであれば、プログラムやスクリプトなどによって自動的にラベル付けを行ってもよい。判定モードのラベル付けは第２入力データへの変換前に行ってもよいし、第２入力データへの変換以後に行ってもよい。

学習データ記憶部１４は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。学習データ記憶部１４は、食品検査装置１に内蔵されていてもよいし、食品検査装置１の外部の記憶装置であってもよい。また、学習データ記憶部１４は、ＳＤメモリカード、ＵＳＢメモリなどの取り外し可能な記憶媒体であってもよい。

学習部１５は、学習データ記憶部１４に保存された入力データ（第２入力データ）を使い、ニューラルネットワークの学習を行う。学習部１５は、学習したニューラルネットワークをモデル記憶部１６に保存する。学習部１５は、例えば入力層と、隠れ層と、出力層の３層のニューラルネットワークを学習することができる。３層のニューラルネットワークを学習することにより、食品検査時におけるリアルタイムの応答性能を確保することができる。入力層、隠れ層、出力層のそれぞれに含まれるユニット数については特に限定しない。各層に含まれるユニット数は、求められる応答性能、判定対象、識別性能などに基づいて決定することができる。

なお、３層のニューラルネットワークは一例であり、これより層の数が多い多層のニューラルネットワークを用いることを妨げるものではない。多層のニューラルネットワークを用いる場合、畳み込みニューラルネットワークなど各種のニューラルネットワークを使うことができる。

モデル記憶部１６は、学習部１５により学習されたニューラルネットワークを保存する、記憶領域である。モデル記憶部１６には、検査対象とする食品の種類や検出対象とする異物の種類に応じて複数のニューラルネットワークを保存してもよい。モデル記憶部１６は判定部１７より参照可能に設定されているため、判定部１７はモデル記憶部１６に保存されているニューラルネットワークを使って食品の検査を行うことができる。

モデル記憶部１６は、ＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。モデル記憶部１６は、食品検査装置１に内蔵されていてもよいし、食品検査装置１の外部の記憶装置であってもよい。また、モデル記憶部１６は、ＳＤメモリカード、ＵＳＢメモリなどの取り外し可能な記憶媒体であってもよい。

判定部１７は、モデル記憶部１６に保存されたニューラルネットワークを使って、良品と不良品の判定を行う。判定部１７は、出力層のユニットから出力される反応値に基づいて食品の判定モード（例えば、良品、不良品、判定困難など）を推定する。出力層のユニットの例としては、良品のユニット、不良品のユニット、異物なしのユニット、異物ありのユニット、判定不明のユニットなどがあるが、その他の種類のユニットを用意してもよい。判定部１７は、例えば反応値をしきい値と比較し、食品の判定モードを推定することができる。複数のユニットの反応値の差や比を使って食品の判定モードを推定してもよい。

なお、学習部１５および判定部１７の機能はＣＰＵ上で動作するプログラムによって実現されていてもよいし、一部またはすべての機能をＦＰＧＡ、ＡＳＩＣなどの半導体回路やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現してもよい。

表示部１８は、画像やテキストを表示するディスプレイである。表示部１８には、撮影された画像や画像処理後の画像を表示してもよいし、食品検査の判定結果または検出結果を表示してもよい。また、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）やＣＬＩ（Ｃｏｍｍａｎｄ Ｌｉｎｅ Ｉｎｔｅｒｆａｃｅ）などを表示し、利用者のための操作画面を提供してもよい。

表示部１８として、例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（ブラウン管）、有機ＥＬ（有機エレクトロルミネッセンス）ディスプレイなどを使うことができるが、その他の種類の装置を使ってもよい。図１の例における表示部１８は食品検査装置１に内蔵されているが、表示部１８の位置については特に問わない。表示部１８は、食品検査装置１から離れた部屋や建物に設置されていてもよい。

操作部１９は、利用者による食品検査装置１の操作手段を提供する装置である。操作部１９は、例えば、キーボード、マウス、ボタン、スイッチ、音声認識装置などであるが、これに限られない。また、操作部１９は表示部１８と一体化タッチパネルであってもよい。図１の例における操作部１９は食品検査装置１に内蔵されているが、操作部１９の位置についても特に問わない。操作部１９は、食品検査装置１から離れた部屋や建物に設置されていてもよい。

図２、図３は第１の実施形態に係る装置の構成例を示している。以下では、図２および図３を参照しながら各装置の構成について説明する。

図２、図３には食品検査システムに含まれる一部の装置の構成が示されている。図２は、装置を側面から見たときの構成を示す側面図である。図３は、装置を上から見たときの構成を示す平面図である。図２、図３には撮影装置２ａと、仕分け装置３ａと、搬送装置４ａと、表示部１８ａが示されている。

搬送装置４ａはコンベヤ上に配置された食品を長さ方向に移動することができる。撮影装置２ａは搬送装置４ａのコンベヤの一部区間を覆うように設置されている。コンベヤ上に配置された食品は、撮影装置２ａの下方の撮影領域に入ったタイミングで撮影される。表示部１８ａは搬送装置４ａの一方の側面に沿って直立するように配置されている。これにより作業員は、表示部１８ａに表示された映像を確認しながら、選別作業を行うことができる。仕分け装置３ａは、シャトル式コンベヤ装置となっており、検査対象食品が不良品または異物ありと判定されたら、該当する食品を良品とは異なる方向に移動する。

本発明による血合い検出の方法を説明する前に、上述の色彩の違いに基づく検出技術について説明する。色彩の違いによる検出では、食品画像中の色彩に基づき、鶏肉上の血合いがある部位を特定している。例えば、画像中で特定の範囲の色彩を有するピクセルを血合いと判定するよう、検査装置を設定する。

図４は、色彩の違いによる血合い検出の例を示している。図４左側には血合い検出処理前の鶏肉の画像が示されている。一方、図４右側には画像処理後の鶏肉の画像が示されている。いずれの画像においても、楕円で血合いのある部位を囲んで示している。図４右側では、血合いのある部位が明るくハイライトされており、図４の例では血合い検出に成功していることがわかる。だが、画像中の色彩の違いのみに基づく判定では、正確な血合い検出が行われるとは限らない。

図５は、色彩の違いに基づく判定における誤検出例を示している。図５には端部にくぼみを有する鶏肉が示されている。鶏肉のくぼみの部分は、照明の角度によっては影になることがある。図５の画像でくぼみの部分は本来の鶏肉の色とは異なる暗い色で表現されている。図５左側は血合い検出処理前の鶏肉の画像であり、図５右側は血合い検出処理後の鶏肉の画像である。図５右側では鶏肉の端部にあるくぼみが明るくハイライトされており、血合いのある部位と誤判定されていることがわかる。

従来の色彩の違いに基づく血合いおよび異物検出では、血合いや異物の検出に失敗する確率が高く、色彩の違いに基づく判定は目視検査に変わる自動検査の方法として適用するのが難しい。自動検査を実現するためには、より高精度で血合いを検出する方法を使う必要がある。

図６上段は、偏光フィルタを通さずに撮影された鶏肉の画像の例を示している。食肉などの食品は工程や加工方法によっては、濡れた状態で検査されることがある。濡れた食品は、光を反射することがあるため、撮影時に食品の正確な色情報が取得できなくなるおそれがある。また、油脂などに由来する光沢を有する食品も存在する。食品に光沢があると、画像中にテカリが現れ、食品の正しい色情報が得られなくなってしまう。図６上段の例では、画像中に光の反射やテカリが現れている。

そこで、本発明では高い精度の血合い検出を実現するため、食肉の撮影方法を変更する。具体的には、カメラの前面に偏光フィルタを配置し、偏光フィルタを通して撮影を行う。図６下段は、図６上段と同一の鶏肉を、偏光フィルタを通して撮影したときの画像である。図６下段の例では画像から光の反射成分やテカリが除去されており、正確な色情報が取得されていることがわかる。また、コンベヤ上の水の反射も消えており、画像が見やすくなっている。

本発明では、撮影された画像に対して画像処理を行い、血合いや異物の検出を容易にしてもよい。例えば、画像に含まれるピクセルの輝度に着目して画像処理を行うことが考えられる。ピクセルに係る各種の輝度の値を有する情報をまとめて輝度情報とよぶものとする。輝度情報の例としては、カラー画像のピクセルが有する赤色、緑色、青色など光の三原色の色情報、グレースケール画像のピクセルが有する明るさ情報が挙げられる。輝度情報として、他に画像処理後の画像に係るピクセルの明るさ情報を用いてもよい。画像処理後の画像の例としては、各ピクセルの赤の輝度から緑の輝度を減算した画像、赤の輝度成分のみを抽出した画像、カラー画像をグレースケールに変換した画像などが挙げられるが、その他の画像を使ってもよい。

上述の明るさ情報における輝度は、画像に含まれるピクセルの赤色、緑色、青色のうち、少なくとも２つ以上の色に係る色情報の輝度を重み付け加算して求めたものであってもよい。また、上述の明るさ情報における輝度は、ピクセルの赤色、緑色、青色のうち、２つの色に係る色情報の輝度を減算することによって求めたものであってもよい。

図７は、各ピクセルの赤の輝度から緑の輝度を減算した画像の例を示している。図７の例では、もとの画像１３０の各ピクセルの色情報について、赤（Ｒ）の輝度を分離した画像１３１と、緑（Ｇ）の輝度を分離した画像１３２と、青（Ｂ）の輝度を分離した画像１３３が示されている。もとの画像１３０はカラー画像である一方、画像１３１〜１３３はそれぞれの色に係る輝度の大小を表現できればよいので、グレースケールの画像となっている。グレースケール画像のピクセルには、色情報の代わりに明るさ情報が格納されている。

図７の右上には、各ピクセルにおける赤の輝度から緑の輝度を減算することによって得られた画像１３４が示されている。画像１３４ではもとの画像１３０における血合いのある部位が白色で強調された形で示されている。このように、画像処理を行うと血合いの検出を容易に行うことができるようになる。なお、画像を色ごとの輝度に分離する前に、画像処理部１２はもとの画像の赤色と緑色を強調してもよい。

図８は、赤外線撮影が可能なカラーカメラによって撮影された画像の例を示している。赤外線撮影が可能なカラーカメラは、複数の波長領域の電磁波に係る画像を撮影可能なカメラの一例である。画像２４１〜２４４の被写体は同一の肉であるものとする。この肉は比較的色の濃い血合いを有するものとする。比較的色の濃い血合いの一部には、黒みの強いものも存在する。しかし、検査対象とする肉の種類や部位によって血合いの色は異なるため、検出対象とする血合いの色彩および色の濃さについては特に限定しないものとする。

画像２４１は、赤色の可視光（Ｒ）に係る強度を示した画像（赤色成分画像の一例）である。画像２４２は、緑色の可視光（Ｇ）に係る強度を示した画像（緑色成分画像の一例）である。画像２４３は、青色の可視光（Ｂ）に係る強度を示した画像（青色成分画像の一例）である。画像２４４は、近赤外線に係る強度を示した画像（赤外線画像の一例）である。画像２４１〜２４３において、強度は各色成分に係る輝度に相当する。

画像２４１〜２４４では、各ピクセルにおける対応する波長領域の電磁波の強度がグレースケールの階調（輝度）に変換されて表示されている。対応する波長領域の電磁波の強度が大きいほど、ピクセルは明るく表示されている。一方、対応する波長領域に係る電磁波の強度が小さいほど、ピクセルは暗く表示されている。画像２４１〜２４４を参照すると、いずれの画像においても、肉の部分が周囲より明るく浮き出ており、対応する波長領域の電磁波の強度が周囲より強くなっていることがわかる。

図８に示された画像は複数の波長領域の電磁波に係る画像を撮影可能なカメラによって撮影された画像の一例にしかすぎない。したがって、図８の例とは異なる種類の食品が被写体となっていてもよいし、図８の例に示されていない波長領域に係る電磁波の画像が撮影されてもよい。

次に、食品検査システムが実行する画像処理の例について説明する。静脈に由来する血液によって形成された血合いは、黒みの強い血合いになりやすい傾向がある。一方、動脈に由来する血液によって形成された血合いは、赤みの強い血合いになりやすい傾向にある。ここでは、黒みの強い血合いをはじめとする、比較的色の濃い血合いが検出される精度を改善したい場合に実行される画像処理の例について説明する。以下では、比較的色の濃い血合いの例として、黒みの強い血合いの検出を行う場合について述べる。

画像処理部１２は、複数の波長領域に係る電磁波の画像に基づき、入力データに変換される画像（入力画像）を生成する。図９は、画像処理部１２によって生成された入力画像の例を示している。図９に示されたように、画像処理部１２は、近赤外線画像（例えば、画像２４４）から可視光の緑色成分画像（例えば、画像２４２）を減算した画像２４６を生成することができる。なお、画像２４５は、可視光の赤成分画像（例えば、画像２４１）から可視光の緑色成分画像（例えば、画像２４２）を減算した画像の例である。

ここで、画像どうしの減算によって別の画像を生成する処理について説明する。例えば、第１画像から第２画像を減算した第３画像を生成する場合、生成された第３画像の各ピクセルの輝度は、第１画像の対応するピクセルの輝度から第２画像の対応するピクセルの輝度を減算した値となっている。

図９の画像２４５を参照すると、現実に血合いの存在しない箇所にノイズ成分が現れている。この場合、欠陥・異物の誤検出が発生するおそれがある。一方、画像２４６を参照すると、黒みの強い血合いのある箇所に相当するピクセルが鮮明に浮き出ている。このため、近赤外線画像から緑色成分画像を減算した画像を入力画像とすると、黒みの強い血合いが検出される精度を改善できることがわかる。

なお、ここで述べた演算対象の画像の組み合わせは例にしかすぎない。したがって、近赤外線領域以外の赤外線画像、紫外線画像、距離画像、ＲＧＢ以外の波長領域に係る可視光成分の画像の任意の組み合わせを演算対象に含めてもよい。また、上述では画像どうしの減算について説明したが、画像どうしの加算を行ってもよい。また、画像に重み係数を乗じてから加算または減算を行ってもよい。すなわち、任意の画像を組み合わせて線形演算を行い、入力画像を生成することができる。

また、演算後に生成された画像に対して二値化処理を行ってもよい。二値化処理の一例として、画像中の各ピクセルの輝度（明るさ）をしきい値と比較する処理が挙げられる。ここでは、当該ピクセルの輝度がしきい値以上であれば、当該ピクセルを白色（当該ピクセルの値を１）とする。一方、当該ピクセルの輝度がしきい値未満であれば、当該ピクセルを黒色（当該ピクセルの値を０）とする。ピクセルの変換方法はこれと逆であってもよい。また、しきい値の大きさについては特に問わない。

上述のように、入力画像の生成時に使われる画像の種類や、使用されるアルゴリズムについては特に問わない。入力画像は、各ピクセルが１種類の輝度（明るさ）に係る情報を有する画像であってもよい。このような画像は、一般にディスプレイへの表示時や、印刷時にグレースケールの画像または、単色の階調に係る画像に可視化される。近赤外線画像から緑色成分画像を減算した画像は、１種類の輝度（明るさ）に係る情報を有する入力画像の一例である。

上述のような画像処理を使うことにより、比較的色の濃い血合い（例えば、黒みの強い血合い）をはじめとする、欠陥や異物を高い精度で検出することが可能となる。これにより、食品生産に係るコストの削減、食品の高品質化を実現することができる。検出対象とする欠陥や異物に応じて、入力画像の生成に使われる画像の種類の組み合わせ、使用する演算の種類を選択してもよい。

入力データに変換される画像は、少なくとも一部のピクセルが検査対象食品の範囲に含まれる画像であればよい。画像において、被写体である検査対象食品に相当する部分のピクセルが視覚的に、またはデータ的に識別可能な状態となっているか否かは問わないものとする。

図１０は、血合い選別用の撮影装置の構成例を示している。以下では、図１０を参照しながら撮影装置２ａについて説明する。

図１０は、撮影装置２ａの断面図である。撮影装置２ａは搬送装置４ａに面した下部が開放された略直方体形状の筐体を有する。撮影装置２ａは、搬送装置４ａの一部区間を上方から覆うように支持されている。撮影装置２ａは、側面の一部またはすべてに壁を備えていてもよい。また、撮影装置２ａの上部には天井が設けられていてもよい。天井や壁を備えることにより、撮影領域に外部の光源からの赤外線、可視光、紫外線などが入り込むのを抑制することができる。これにより、撮影装置２ａは所望の光源から必要となる性質の光を選択的に撮影対象の食品に照射することができる。

なお、撮影装置２ａは必ず天井や壁を備えていなくてもよい。例えば、撮影装置２ａが暗室に設置されているのであれば、外部の光源からの影響が少ないため、遮光用の天井や壁を省略することができる。天井や壁の材質の例としては、ステンレス鋼、アルミニウム、樹脂などがあるが、材質については特に問わない。

撮影装置２ａは、照明部２１と、偏光板２１ａと、カメラ２２と、偏光板２２ａと、センサ２３を備えている。

照明部２１は、例えば白色ＬＥＤによる照明装置である。白色ＬＥＤは、一例であり、これとは異なる色のＬＥＤを光源として使ってもよい。例えば、赤色、緑色、青色など複数の色のＬＥＤを組み合わせて光源を構成してもよい。また、エレクトロルミノセンスランプ、ＨＩＤランプ、蛍光灯、白熱灯など、その他の光源を使ってもよい。使用する光源の種類は、検出対象の食品や異物の種類に応じて決めることができる。光源は可視光を放射するものに限らず、赤外線や紫外線などを放射するものであってもよいし、複数の波長に係る光源の組み合わせ（マルチ波長）であってもよい。照明部２１は単一の光源ではなく、図１０の例のように複数の位置に配置された光源であってもよい。例えば、撮影装置２ａ下方の撮影領域に可視光が照射されるよう、照明部２１における光源の数と位置を決めることができる。

照明部２１の前面には偏光板２１ａが設けられている。偏光板２１ａは例えば直線偏光板である。照明部２１の前面に必ず偏光板２１ａを設けなくてもよいが、偏光板２１ａがあれば、搬送装置４ａの表面や食品の水分や油脂による光の乱反射が抑制され、カメラ２２における食品の正確な色情報の取得に寄与する。

カメラ２２は、照明部２１から放射された光線に照らされた食品を撮影する。カメラ２２の内部には、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが実装されており、撮影対象の食品に係る色情報を含むカラー画像を得ることができる。これらの撮像素子は例であり、異なるデバイスを使って撮像を行ってもよい。カメラ２２のレンズは固定焦点レンズであってもよいし、ズームレンズであってもよく、レンズの種類について特に限定しない。カメラ２２が撮影する画像に係る解像度の例としては、フルＨＤ（１９２０×１０８０ピクセル）があるが、撮影される画像の解像度については特に限定しない。

カメラ２２の撮影する画像は、各ピクセルに赤、緑、青（ＲＧＢ）の三色の輝度に関する情報が含まれるカラー画像に限られない。例えば、可視光の波長内であっても、赤、緑、青（ＲＧＢ）以外の色の輝度に関する情報が含まれる画像を撮影してもよい。また、撮影される画像は可視光以外の電磁波に係る画像であってもよい。例えば、各ピクセルに紫外線の強度に関する情報が含まれる画像（紫外線画像）や、各ピクセルに赤外線の強度に関する情報が含まれる画像（赤外線画像）を撮影してもよい。

赤外線は、波長によって近赤外線、中赤外線、遠赤外線に分類されるが、どの種類の赤外線を使ってもよい。図１０の画像２４４は、波長が７６０ｎｍ〜１０００ｎｍの近赤外線を使って検査対象食品を撮影した画像の例である。

複数波長に係る電磁波を使って画像を撮影することができるカメラの例としては、赤外線撮影が可能なカラーカメラ、マルチスペクトルカメラ、ハイパースペクトルカメラが挙げられる。また、撮影装置２ａに可視光画像を撮影可能なカメラ（例えば、ＲＧＢカメラ）と、赤外線カメラの両方を装着し、画像記憶部１１に両方のカメラによって撮影された画像を保存してもよい。また、紫外線画像を撮影可能なカメラを使ってもよいし、距離画像を撮影可能なカメラを使ってもよい。距離画像は、例えばＴｏＦ方式の距離画像センサによって得ることができるが、使用するセンサの種類については特に問わない。

このように、可視光の赤色成分（Ｒ）、可視光の緑色成分（Ｇ）、可視光の青色成分（Ｂ）に限られない複数の波長に係る画像が撮影可能なのであれば、撮影装置２ａが備えるカメラの構成、台数、種類については特に限定しない。

カメラ２２の前面にも偏光板２２ａが設けられている。偏光板２２ａは例えば、カメラレンズ用の偏光フィルタである。カメラ２２の照明部２１の前面に必ず偏光板２１ａを設けなくてもよいが、偏光板２１ａを通して撮影を行うことにより、水分、油脂などの光沢に由来する乱反射やテカリなどが抑制された画像を得ることができる。

センサ２３は、搬送装置４ａによって、撮影装置２ａの下方に食品が搬送されたことを検出する。センサ２３の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。

次に、血合いの有無に基づき不良品の鶏肉に検出するときに使用する画像について説明する。図１１上段は、良品と判定される鶏肉を撮影した画像の例を示している。図１１上段の鶏肉には血合いがなく、異物も見えないため、良品と判定される。図１１下段は、不良品と判定される鶏肉を撮影した画像の例を示している。図１１下段の鶏肉は丸で囲まれた部位に血合いが含まれているため、不良品と判定される。

次に、判定対象とされる食品の形状について説明する。図１２は、様々な形状に係る食肉の例を示している。図１２には画像１０１〜１０６が示されている。画像１０１、１０２、１０５に係る食肉は比較的大きいが、画像１０３に係る食肉は比較的小さい。画像１０２に係る食肉は楕円形に近い形状を有しているが、画像１０１に係る食肉は四角形に近い形状である。また、画像１０４に係る食肉は細長く、画像１０５に係る食肉は凹凸のある形状である。このように、同じ種類の食品であっても、異なる形状や大きさのものが混在することがある。

図１２の例のように、判定対象とされる食品の形状が不定で予測困難な場合、パターンマッチングなどの手法を使って、画像中の食品に相当する領域を抽出するのは現実的ではない。本発明に係る食品検査システムでは、判定において食品の大きさ、形状、位置、方向（回転）などに依存しない手法を使う必要がある。例えば、食品の画像を、食品の大きさ、形状、位置、方向（回転）に係る情報を捨像した入力データに変換する処理を実行することが考えられる。以下ではこのような入力データを生成する方法の一例について説明する。

図１３は、食肉の画像とピクセルとの対応関係の例を示している。以下では、図１３を参照しながら、入力データの生成処理について説明する。

図１３の画像１０７には撮影装置２によって撮影された食品１１０が示されている。食品１１０は、鶏肉などの食肉であるものとする。食品１１０は血合い１１０ａと、血合い１１０ｂを有する。食品１１０を良品または不良品と効率的に判定するためには、食品１１０の領域に相当するピクセル１０９に係る情報を選択的に抽出するのが望ましい。食品１１０の存在しない領域にあるピクセル１０８に係る情報は食品の判定との関連性が少ないため、データ変換処理の過程で捨像されてもよい。画像中から食品の判定に必要な情報を含む部分のデータを、ニューラルネットワークの入力層に入力する入力データとして使うことにより、効率的な学習や判定を行うことができる。

次に、上述のデータ変換処理の一例として輝度の度数分布を用いる方法について説明する。以降の説明では、輝度情報として、赤色、緑色、青色の色情報を使う場合を例に説明するが、その他の種類の輝度情報を使うことを妨げるものではない。図１４は、画像から入力データを生成する処理のフローチャートである。以下では、図１４を参照しながらデータ変換処理について説明する。

まず、食品の画像の各色（ＲＧＢ）について各ピクセルにおける輝度の度数分布を求める（ステップＳ１０１）。ステップＳ１０１における処理の概要は図１５に示されている。図１５は、各色の輝度に係る度数分布を示したヒストグラムである。

図１５には、赤（ＲＥＤ）、緑（ＧＲＥＥＮ）、青（ＢＬＵＥ）の各色の輝度に係る度数分布のグラフ（ヒストグラム）が示されている。それぞれのグラフの横軸は輝度の値を示している。例えば、各色の輝度が８ビットの情報で表現されている場合、輝度の値は０〜２５５の２５６階調となる。使われる画像の色情報が必ず２４ビット（８ビット×３）で表されているとは限らないため、各色の輝度に係る階調はこれより粗くてもよいし、細かくてもよい。色情報とはそれぞれのピクセルにおける任意の色に係る輝度の値である。

図１５の各グラフの縦軸は、それぞれの輝度の値を有するピクセルの数であり、ヒストグラムにおける度数（頻度）に相当する。図１５の各グラフでは、度数が輝度の昇順で整列されているため、左から右に行くのにつれて輝度の値が大きくなっている。なお、図１５のグラフは一例であり、度数分布の生成時に、度数を輝度の降順で整列してもよい。食品検査装置１における処理では、入力データ生成部１３が食品の画像から図１５に相当する度数分布データを生成すればよく、必ず図１５のようなヒストグラムを表示部１８に表示しなくてもよい。入力データ生成部１３は度数分布データをメモリなどの記憶装置に保存する。

なお、画像処理部１２で各ピクセルにおける赤の輝度から緑の輝度を減算した画像を生成した場合、Ｒ−Ｇの輝度（明るさ情報）について度数分布を求めてもよい。もとの画像をＨＳＶ色空間に変換し、赤色を抽出した場合には、赤（Ｒ）の輝度についてのみ度数分布を求めてもよい。

次に、各色の度数分布より、輝度が一定範囲の値にあるピクセルの色情報（輝度情報）を抽出する（ステップＳ１０２）。ステップＳ１０２における処理の概要についても図１５を参照しながら説明する。図１５に示された各グラフ（ヒストグラム）には、輝度の小さい側に第１のピーク７０がある。一方、輝度の大きい側には第２のピーク７１がある。

図１５の例では、ピーク７０は図１５の画像における背景部分の領域である、ピクセル１０８の色情報に相当している。ピーク７１は図１３の画像における食品部分の領域である、ピクセル１０９の色情報に相当している。

上述のように、食品の良品／不良品判定では画像中の食品部分の領域に係る情報のみを使えばよいため、食品部分の領域に相当するピークの情報を取り出す。図１５の例では、ピーク７１に相当する部分の色情報を取得するため、しきい値を使ったピーク抽出処理を行っている。ピーク抽出処理では、例えばピーク検出用のしきい値（第１しきい値）と、輝度のしきい値（第２しきい値）とを用いることができる。

度数分布におけるピークは、それぞれの輝度の値におけるピクセル数（度数）をピーク検出用のしきい値と比較することによって検出することができる。例えば、ピーク検出用のしきい値として度数の平均値を使う場合を説明する。この場合、ヒストグラムにおいて度数が複数の輝度で連続して度数の平均値を上回ったら、ピークがあると判定する。なお、ピーク検出用のしきい値として度数の平均値以外の値を使ってもよい。図１５の線７０ａ、７０ｂ、７０ｃはこのようなピーク検出用のしきい値の一例である。

図１５のしきい値１１１ａ、１１１ｂ、１１１ｃは輝度のしきい値（第２しきい値）である。輝度のしきい値を使って、色情報を抽出する範囲を決めることができる。例えば、赤（Ｒ）の輝度に係る度数分布については、輝度がしきい値１１１ａより大きい部分の色情報のみを抽出する。ここで抽出された情報は輝度データ１１２ａである。例えば、緑（Ｇ）の輝度に係る度数分布については、輝度がしきい値１１１ｂより大きい部分の色情報のみを抽出する。ここで抽出された情報は輝度データ１１２ｂである。例えば、青（Ｂ）の輝度に係る度数分布については、輝度がしきい値１１１ｃより大きい部分の色情報のみを抽出する。ここで抽出された情報は輝度データ１１２ｃである。以降では、色情報（輝度情報）の輝度の値を格納した要素を含むデータを輝度データとよぶものとする。

しきい値１１１ａ、１１１ｂ、１１１ｃはすべて同じ値に設定されてもよいし、色ごとに異なる値に設定されていてもよい。図１５の例では各色についてひとつずつ輝度のしきい値を設定して抽出処理を行っているが、複数の輝度のしきい値を使って抽出処理を行ってもよい。例えば、ふたつの輝度のしきい値ｂ_１、ｂ_２を設定し、輝度の値が［ｂ_１，ｂ_２］の範囲である部分を抽出してもよい。

図１５の例における輝度のしきい値としては、例えば輝度の最大値の０．７倍〜０．８倍の値を設定することができるが、値については特に限定しない。輝度のしきい値の設定は画像における背景部分の色と、食品部分の色に基づいて決めることができる。例えば、食品部分の色が明るい場合には、輝度のしきい値を大きく調整し、食品部分の色が暗い場合には輝度のしきい値を小さく調整することができる。輝度のしきい値の調整値は、利用者が事前に画像処理ソフトウェアなどを使って食品画像における各色の度数分布（ヒストグラム）を参照することによって決めることができる。

なお、輝度のしきい値（第２しきい値）の具体例については後述する。

図１５では画像中の食品部分の色が背景部分の色より明るい場合を例に説明したため、輝度の大きい側のピークに係る情報を抽出したが、食品と背景部分の色によってはこれとは異なる処理を行ってもよい。例えば、食品の背景部分が白色、黄色、クリーム色、薄い灰色などの明るい色であり、食品が背景部分より相対的に暗い色なのであれば、輝度の小さい側のピークに係る情報を抽出してもよい。この場合、各色の輝度に係る度数分布から、輝度がしきい値より小さい部分の色情報のみを抽出する。

画像中の背景部分の色は、搬送装置４のコンベヤの色や、撮影装置２の照明部２１の光源の選定や設定などによって調整することができる。画像中の食品部分の色は、食品の種類に依存するが、撮影装置２の照明部２１の光源の選定や設定などによって調整することが可能である。

なお、画像処理部１２における画像処理で、画像中の食品部分の色や、背景部分の色が置換された場合には、置換後の色に基づいて、抽出する範囲やしきい値を設定すればよい。ステップＳ１０２における処理で抽出されたデータ（色情報）は食品の大きさ、形状、位置、方向に係る情報が捨像された、正規化済みのデータであるといえる。

次に、抽出された色情報（輝度データ）の要素を輝度の値の昇順または降順に整列（ソート）する（ステップＳ１０３）。以下ではステップＳ１０３に係る処理を、図１６を参照しながら説明する。図１６は、輝度の昇順に整列した輝度データの例を示している。

前のステップＳ１０２で、度数分布より輝度に基づいて抽出された一部の色情報に係る輝度データは、輝度の値に基づき整列される。図１６では、輝度の昇順にソートされた輝度データ１１３ａ、１１３ｂ、１１３ｃが示されている。輝度データ１１３ａは抽出された色情報における赤色（Ｒ）の輝度の値を格納した要素を含む。輝度データ１１３ｂは抽出された色情報における緑色（Ｇ）の輝度の値を格納した要素を含む。輝度データ１１３ｃは抽出された色情報における青色（Ｂ）の輝度の値を格納した要素を含む。

なお、画像処理部１２で赤の輝度から緑の輝度を減算した画像を生成した場合、Ｒ−Ｇに係る輝度データを整列してもよい。もとの画像をＨＳＶ色空間に変換し、赤色を抽出した場合には、赤（Ｒ）の輝度に係る輝度データが整列されてもよい。

ステップＳ１０３で輝度データを整列すると、輝度の値が同一の色情報は連続して配置され、連なりを形成する。例えば、図１６の輝度データ１１３ａは連なり１１４、１１５、１１６を有する。連なり１１４には、輝度＝１８２の色情報が３つ連続している。連なり１１５には、輝度＝２４２の色情報が４つ連続している。連なり１１６には、輝度＝２４３の色情報が３つ連続して配置されている。

同様に、輝度データ１１３ｂには、輝度＝２４３の連なり１１７がある。輝度データ１１３ｂには、輝度＝１８２の連なり１１８、輝度＝２４１の連なり１２０、輝度＝２４３の連なり１２１がある。図１６の例では、輝度データの一部しか示されていないため、これらの連なりは例にしか過ぎない。また、検出対象となる食品の種類、背景の色、使用する画像や、しきい値の設定によって異なるパターンの連なりが生ずる。

なお、図１６の例では、色情報を輝度の昇順に整列した輝度データが示されているが、ステップＳ１０３では輝度データの色情報を輝度の降順に整列してもよい。入力データ生成部１３は整列した輝度データをメモリなどの記憶装置に保存する。

そして、それぞれの輝度データに対してブロック分割と代表値の計算を行う（ステップＳ１０４）。ブロック分割と代表値の計算の処理では、輝度データを複数のブロックに分割し、それぞれのブロックについて輝度の代表値を計算する。代表値の例としては、平均値、モード、メジアン、パワースペクトル加算平均などが挙げられるが、その他の種類の代表値を用いてもよい。以下では、輝度の代表値として平均値を用いた場合を例に説明する。ブロック分割と代表値の計算の処理は、入力データ生成部１３に係る説明で述べた、画像に含まれる学習や判定に必要な情報を保持しつつ、入力変数の数をニューラルネットワークの入力層に含まれるユニット数Ｎに等しい数に減らす処理にあたる。

ブロック分割と代表値の計算の処理について、図１７を参照しながら説明する。図１７中段は、輝度データを複数のブロックに分割した例を示している。図１７下段は、各ブロックの輝度の平均値を計算した例を示している。

図１７上段には、Ｍ個の色情報を有する輝度データ１２２が示されている。輝度データ１２２の色情報にはそれぞれ、色情報番号ｉ＝１、２、３、・・・、Ｍが付与されているものとする。図１７中段には、Ｘ個のブロックに分割された後の輝度データ１２２ａが示されている。図１７中段の例では、Ｘ＝１０であるため、輝度データ１２２ａは１０個のブロックに分割されている。それぞれのブロックには、ブロック番号ｊ＝１、２、３、・・・、１０が付与されているものとする。それぞれのブロックは、Ｍ／Ｘ個の色情報を含んでいる。

図１７中段における輝度データの分割数Ｘは１０であるが、これは一例に過ぎず、分割数Ｘはこれとは異なる数であってもよい。分割数Ｘは、ニューラルネットワークの入力層に含まれるユニット数、入力データ生成部１３に入力される色（例えばＲＧＢ、Ｒ−Ｇ、Ｒ）の数などによって決めることができる。

輝度データ１２２ａに係るそれぞれのブロックに含まれる色情報について、輝度の平均値を計算すると、図１７下段の輝度データ１２３が得られる。輝度データ１２３はもとの輝度データ１２２ａをブロックの数に等しい数の要素を有し、輝度の平均値を要素の値とする輝度データに変換したものであるといえる。

下記の式（１）と使って各ブロックに含まれる色情報に係る輝度の平均値の計算することができる。
ここで、ｘ_ｉはブロック内のそれぞれの色情報に係る輝度の値である。式（１）の左辺はブロック番号ｊに含まれる色情報に係る輝度の平均値である。式（１）の計算はＣＰＵで動作するプログラムにより実行されてもよいし、半導体回路などのハードウェアによって実行されてもよい。

図１７下段の例では、Ｍ個の色情報が１０個の色情報に集約されている。ステップＳ１０４に係る処理はそれぞれの色に係る色情報について実行される。入力データ生成部１３にＲＧＢの３色の色情報が入力された場合、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色情報についてブロック分割と代表値の計算を行う。この例ではＲＧＢの色情報がある場合、画像の色情報は合計３０個の色情報（輝度）にまとめられる。

すなわち、ブロック分割処理では輝度データが複数のブロックに分割され、代表値の計算処理では各ブロックに含まれる要素に格納されている輝度の代表値を計算し、もとの輝度データをブロックの数に等しい数の要素を含み、輝度の代表値を要素の値とする輝度データに変換する処理が実行されているといえる。

なお、ブロック分割は入力変数の数を絞り込む方法の一例にしか過ぎない。ステップＳ１０４ではブロック分割に代わり、線形変換、主成分分析などその手法を使って入力変数の数を減らしてもよい。また、輝度データに含まれる色情報の数がニューラルネットワークの入力層に含まれるユニット数に等しく、入力変数の数を絞り込む必要がない場合にはブロック分割と代表値の計算処理（ステップＳ１０４）を省略してもよい。

最後に、各色に係る輝度データを結合する（ステップＳ１０５）。図１８は、ステップＳ１０５における処理を示している。輝度データ１２５ａは、赤（Ｒ）に係る輝度データである。輝度データ１２５ｂは、緑（Ｇ）に係る輝度データである。輝度データ１２５ｃは、青（Ｂ）に係る輝度データである。輝度データ１２５ａ、１２５ｂ、１２５ｃを結合することにより、入力データ１２６が生成される。入力データ１２６は３０個の色情報（輝度）を有するため、入力層のユニット数がＮ＝３０のニューラルネットワークに入力することができる。

食品検査装置１による良品／不良品の判定処理を行う前に、同一種類のサンプルの食品を使って学習処理を行う必要がある。以降では、学習に使用される食品をサンプル食品とよぶものとする。図１９は、第１の実施形態に係る学習処理のフローチャートである。以下では図１９のフローチャートを参照しながら学習部１５による学習処理について説明する。

まず、サンプル食品について複数の良品画像および不良品画像を撮影する（ステップＳ２０１）。良品画像とは、良品であると利用者によってラベル付けされたサンプル食品の画像をいう。不良品画像とは、不良品であると利用者によってラベル付けされたサンプル食品の画像をいう。画像をラベル付けする方法とタイミングについては特に問わない。また、以降では学習処理に用いられる画像をサンプル画像とよび、判定処理で使う画像（判定画像）と区別することにする。サンプル画像は良品画像や不良品画像などを含むものとする。

例えば利用者は撮影装置２でサンプル食品のサンプル画像を撮影した後、表示部１８でサンプル画像を確認し、当該サンプル画像に写された食品が良品であると判定した場合には、良品とラベル付けをし、当該サンプル画像に写された食品が不良品であると判定された場合には、不良品とラベル付けすることができる。

また、複数個のサンプル食品をあらかじめ良品と不良品に分類した後、撮影装置２で撮影してもよい。この場合、プログラムやスクリプトなどを使い、良品のサンプルの集合を撮影しているときは、サンプル画像を良品とラベル付けをし、不良品のサンプルの集合を撮影しているときには、サンプル画像を不良品とラベル付けする。

サンプル画像における不良品画像として、複数の種類の欠陥や異物（不良モード）を有するサンプル食品の画像を使ってもよい。この場合、サンプル画像をサンプル食品が有する不良モードごとにラベル付けしてもよい。例えば、「不良モード＝血合い」、「不良モード＝羽の混入」のようなラベル付けを行うことが考えられる。また、不良品画像に写されたサンプル食品の不良モードを分類せずにラベル付けを行ってもよい。この場合、血合いを有するサンプル画像も、羽などの異物が混入しているサンプル画像にも同じ「不良品」のラベルが付与される。

サンプル画像における不良品画像は、特定の種類の欠陥や異物（不良モード）を有するサンプル食品の画像のみであってもよい。例えば、不良品画像に写されたサンプル食品の不良モードは血合いのみであってもよいし、羽の混入のみであってもよい。ニューラルネットワークの出力層に設けるユニットの種類に基づいて、不良品画像に含める異物や欠陥の種類を決めることができる。

ニューラルネットワークの出力層に判定困難の反応値を出力するユニットを設ける場合には、判定困難なサンプル画像を用意してもよい。判定困難なサンプル画像とは、食品の欠陥や異物の有無を視覚的に判定できないサンプル画像をいう。判定困難なサンプル画像の例としては、撮影対象領域に判定対象のサンプル食品が充分に写っていない画像、照明や露光による明るさ調整が不適切でサンプル食品が鮮明に写っていない画像などが挙げられる。判定困難なサンプル画像については、「判定困難」とラベル付けをする。

なお、それぞれのサンプル画像が第２入力データに変換された後も、当該サンプル画像に付与されたラベルは対応する第２入力データに引き継がれるものとする。

図１１上段ならびに図１２の画像１０１、１０２、１０３、１０６は良品画像の例である。図１１下段ならびに図１２の画像１０４、１０５ならびに図１３の画像１０７は不良品画像の例である。

次に、良品画像および不良品画像について画像処理をする（ステップＳ２０２）。画像処理の詳細については、画像処理部１２に係る説明で述べた通りである。ステップＳ２０２で行う画像処理の種類および内容については特に問わない。ステップＳ２０２の処理を省略してもよい。

そして、それぞれの良品画像および不良品画像（サンプル画像）からニューラルネットワークの学習に使う入力データ（第２入力データ）を生成する（ステップＳ２０３）。それぞれのサンプル画像は、ニューラルネットワークへ入力可能な入力データの形式に変換される。サンプル画像から入力データを生成する処理の詳細については入力データ生成部１３に係る説明で述べた通りである。以降では特にニューラルネットワークの学習に用いられる入力データを第２入力データと呼び、判定のために検査対象食品を撮影した画像（判定画像）から生成された入力データ（第１入力データ）と区別するものとする。

サンプル画像から第２入力データを生成したら、すべてのサンプル画像に係る第２入力データが生成されているかを確認する（ステップＳ２０４）。まだ入力データの形式に変換されていないサンプル画像がある場合、ステップＳ２０３の処理に戻る。すべてのサンプル画像が入力データの形式に変換されている場合、ステップＳ２０５の処理に進む。

複数の良品画像および不良品画像（サンプル画像）に対応する第２入力データに基づき、ニューラルネットワークの学習を開始する（ステップＳ２０５）。以下では、学習に用いられるニューラルネットワークについて説明する。

図２０は、３つの反応値を出力するニューラルネットワークの例を示している。図２０のニューラルネットワーク１５０は入力層１５１、隠れ層１５２、出力層１５３の３層を有するニューラルネットワークである。出力層１５３はユニット１５３ａ、１５３ｂ、１５３ｃの３つのユニットを含む。ユニット１５３ａは良品の反応値を出力するユニットである。ユニット１５３ｂは不良品の反応値を出力するユニットである。ユニット１５３ｃは判定困難の反応値を出力するユニットである。

ニューラルネットワークは入力層に入力された値が、隠れ層、出力層と伝播され、出力層の反応値が得られる。図２１はニューラルネットワークのユニット間の演算処理を示している。図２１を参照しながら、ニューラルネットワークの動きを説明する。

図２１には、第ｍ−１層のユニット１５４ａ、１５４ｂ、１５４ｃと、第ｍ層のユニット１５５が示されている。説明のため、図２１にはニューラルネットワークの一部のユニットのみが示されているものとする。第ｍ−１層におけるユニット番号はｋ＝１、２、３．．．である。第ｍ層におけるユニット番号はｊ＝１、２、３．．．である。

第ｍ−１層のユニット番号ｋの反応値をａ^ｍ−１ _ｋとすると、第ｍ層のユニット番号ｊの反応値ａ^ｍ _ｊは、下記の式（２）を使って求められる。
ここで、Ｗ^ｍ _ｊｋは重みであり、ユニット間の結合の強さを示している。ｂ^ｍ _ｊはバイアスである。ｆ（・・・）は活性化関数である。図２１および式（２）より、第ｍ層における任意のユニットの反応値は、第ｍ−１層にあるすべてのユニット（ｋ＝１、２、３．．．）の反応値を重み付け加算し、活性化関数の変数として入力したときの出力値であることがわかる。

次に活性化関数の例について説明する。図２２は、正規分布関数を示したグラフである。下記の式（３）は正規分布関数である。正規分布関数はガウス関数の一種である。
ここで、μは平均値であり、正規分布関数が描く釣鐘状のピークの中心位置を示している。σは標準偏差でありピークの幅を示している。式（３）の値は、ピークの中心からの距離のみに依存するため、ガウス関数（正規分布関数）は放射基底関数（ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ：ＲＢＦ）の一種であるといえる。ガウス関数（正規分布関数）は一例であり、これ以外のＲＢＦを使ってもよい。

図２３は、シグモイド関数を示したグラフである。下記の式（４）はシグモイド関数である。シグモイド関数はｘ→∞の極限で１．０に漸近する。また、ｘ→−∞の極限で０．０に漸近する。すなわち、シグモイド関数は（０．０，１．０）の範囲の値をとる。
なお、活性化関数としてガウス関数やシグモイド関数以外の関数を用いることを妨げるものではない。

次にニューラルネットワークの学習について説明する。ニューラルネットワークの学習は、所定の判定モードに係る入力データを入力層に入力したら、正しい出力が得られるよう、ユニット間の結合の強さである重みＷ_ｊｋの調整を行う。ニューラルネットワークにおいてある判定モードのラベル付けされた入力データを入力したときに期待される、正しい出力（出力層のユニットの反応値）は教師信号ともよばれる。

例えば、不良品とラベル付けされた入力データをニューラルネットワーク１５０に入力したら、教師信号ではユニット１５３ａ（良品のユニット）の反応値が０、ユニット１５３ｂ（不良品のユニット）の反応値が１、ユニット１５３ｃの反応値が０となる。また、良品とラベル付けされた入力データをニューラルネットワーク１５０に入力したら、教師信号ではユニット１５３ａ（良品のユニット）の反応値が１、ユニット１５３ｂ（不良品のユニット）の反応値が０、ユニット１５３ｃの反応値が０となる。

欠陥の有無を視覚的に判定するのが困難なサンプル画像から生成された（判定困難とラベル付けされた）入力データをニューラルネットワーク１５０に入力したら、教師信号ではユニット１５３ａ（良品のユニット）の反応値が０、ユニット１５３ｂ（不良品のユニット）の反応値が１、ユニット１５３ｃの反応値が１となる。

重みＷ_ｊｋの調整はバックプロパゲーション法（誤差逆伝播法：Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｍｅｔｈｏｄ）を使って実行することができる。バックプロパゲーション法では、ニューラルネットワークの出力と教師信号のずれが小さくなるよう、出力層側から順番に、重みＷ_ｊｋを調整する。下記の式（５）は改良型バックプロパゲーション法を示している。

なお、活性化関数としてガウス関数を用いた場合には重みＷ_ｊｋだけでなく、式（３）のσとμも、改良型バックプロパゲーション法におけるパラメータとして調整対象とする。パラメータσ、μの値を調整することにより、ニューラルネットワークの学習収束を補助する。下記の式（６）はパラメータσについて行われる値の調整処理を示している。

下記の式（７）はパラメータμについて行われる値の調整処理を示している。
ここで、ｔは学習回数、ηは学習定数、δ_ｋは一般化誤差、Ｏ_ｊはユニット番号ｊの反応値、αは感性定数、βは振動定数である。ΔＷ_ｊｋ、Δσ_ｊｋ、Δμ_ｊｋは重みＷ_ｊｋ、σ、μのそれぞれの修正量を示す。

ここでは、改良型バックプロパゲーション法を例に重みＷ_ｊｋやパラメータの調整処理を説明したが、代わりに一般のパックプロパゲーション法を使ってもよい。以降で単にバックプロパゲーション法と述べた場合、改良型バックプロパゲーション法を一般のバックプロパゲーション法の双方を含むものとする。

パックプロパゲーション法による重みＷ_ｊｋやパラメータの調整回数は一回でもよいし、複数回でもよく、特に限定しない。一般に、テストデータを使ったときの判定精度に基づいてバックプロパゲーション法による重みＷ_ｊｋやパラメータの調整の繰り返しを行うのか否かを判断することができる。重みＷ_ｊｋやパラメータの調整を繰り返すと、判定精度が向上する場合がある。

上述の方法を使うことにより、重みＷ_ｊｋ、パラメータσ、μの値を決定することができる（ステップＳ２０６）。重みＷ_ｊｋ、パラメータσ、μの値が決まると、ニューラルネットワークを使った判定処理を行うことが可能となる。なお、上述では出力層において不良品の反応値を出力するユニットの数が１つであるニューラルネットワークの学習を例に説明したが、不良品の反応値を出力するユニットが複数あるニューラルネットワークを使ってもよい。例えば、血合い、異物、羽毛など欠陥の種類（不良モード）ごとに反応値を出力するユニットを用意して学習を行ってもよい。

次に、学習したニューラルネットワークによる良品／不良品判定処理について説明する。図２４は、第１の実施形態に係る判定処理のフローチャートである。以下では、図２４のフローチャートを参照しながら、処理を説明する。

まず、検査対象食品を撮影する（ステップＳ３０１）。例えば、撮影装置２を使い、搬送装置４によって搬送された食品を撮影する。撮影された画像は食品検査装置１に保存される。以降では、判定処理のために撮影された画像を判定画像とよぶものとする。次に判定画像に対して画像処理をする（ステップＳ３０２）。画像処理の詳細については、画像処理部１２に係る説明で述べた通りである。ステップＳ３０２で行う画像処理の種類および内容については特に問わない。また、ステッＳ３０２の処理を省略してもよい。

そして判定画像から第１入力データを生成する（ステップＳ３０３）。判定画像から生成された入力データを特に第１入力データとよぶものとする。第１入力データはニューラルネットワークの入力層のユニット数に等しいＮ個の要素を有し、ニューラルネットワークへ入力可能な形式となっている。判定画像から入力データを生成する処理の詳細については入力データ生成部１３に係る説明で述べた通りである。

第１入力データが生成されたら、第１入力データをニューラルネットワークへ入力する（ステップＳ３０４）。図２１および式（２）に係る説明で述べたように、第１入力データは入力層、隠れ層、出力層の順番に伝達される。そして、ニューラルネットワークの出力層における反応値に基づき、良品と不良品の判定を行う（ステップＳ３０５）。

ニューラルネットワークを使った判定処理は、第１入力データの識別空間内における位置を見つける処理と等価である。図２５は、活性化関数にガウス関数を使ったときの識別空間の例を示している。活性化関数にガウス関数などのＲＢＦを使うと、識別空間を良品の領域と不良品の領域に分ける識別曲面が閉曲面になる。また、良品と不良品のそれぞれのカテゴリについて、高さ方向の指標を追加することにより、識別空間において各カテゴリに係る領域を局所化することができる。図２６は、活性化関数にシグモイド関数を使ったときの識別空間の例を示している。活性化関数がシグモイド関数である場合、識別曲面は開曲面となる。なお、上述のニューラルネットワークの学習処理は、識別空間で識別曲面を学習する処理にあたる。

図２５、図２６における不良品の領域にはそれぞれ複数の不良品の分布が示されている。それぞれの不良品の分布は、例えば血合い、羽毛、異物などの欠陥の種類（不良モード）に対応している。

図２７は、ニューラルネットワークの反応値の例を示したグラフである。図２７のグラフの縦軸はユニットの反応値を示している。図２７のグラフの横軸は入力データ番号を示している。図２７のグラフ上側の線は良品の反応値である。良品の反応値は、図２０のニューラルネットワーク１５０におけるユニット１５３ａ（良品のユニット）の反応値に相当する。図２７のグラフ下側の線は不良品の反応値である。不良品の反応値は、図２０のニューラルネットワーク１５０におけるユニット１５３ｂ（不良品のユニット）の反応値に相当する。

図２７に示された出力値はいずれも良品の反応値が１．０近傍の値をとり、不良品の反応値が０．０近傍の値をとっているため、いずれの入力データも良品の判定画像に対応していると考えられる。

図２８は、ニューラルネットワークの反応値の例を示したテーブルである。図２８のテーブルの各行は、異なる入力データに対応している。テーブルの左側の列には良品の反応値が格納されている。テーブルの右側の列には不良品の反応値が格納されている。図２８のテーブルでは、データ１６１、１６２を除き、いずれも良品の反応値が１．０近傍の値をとり、不良品の反応値が０．０近傍の値をとっているため、ニューラルネットワークへ入力された入力データのほとんどが良品の判定画像に対応していると推測される。

一方、データ１６１、１６２は良品の反応値が１．０より離れた値をとり、不良品の反応値が０．０から離れた値をとっている。したがって、反応値としてデータ１６１、１６２が得られたときにニューラルネットワークへ入力された入力データは、不良の判定画像または判定困難な画像である可能性がある。

ニューラルネットワークの反応値に基づき、良品と不良品の判定を行う方法の例としては、良品の反応値をしきい値と比較し、良品の反応値がしきい値より大きい場合には、入力データに対応する判定画像を良品の画像と推定する方法がある。しきい値として、例えば０．８、０．９などの値を使うことができるが、これとは異なるしきい値を使ってもよい。

また、良品の反応値と不良品の反応値の差を求め、値の差をしきい値と比較することによって、入力データに対応する判定画像が良品の画像であるか、あるいは不良品の画像であるかを推定してもよい。この場合、しきい値として例えば０．６、０．７などの値を使うことができるが、これとは異なるしきい値を使ってもよい。

判定部１７は判定結果を表示部１８に表示してもよい。図２９は、プログラムにより提供されるＧＵＩの例を示している。図２９は食品検査装置１で実行されるプログラムによって表示される画面である。図２９の画面は、食品検査装置１の操作画面と、判定結果の表示画面を兼ねている。画面の右上には“ＯＫ”の文字が表示されているため、プログラムに入力された判定画像は良品の画像と判定されたことがわかる。なお、図２９は食品検査装置１のローカルで実行されているアプリケーションの画面であるが、操作画面や判定結果の表示画面は食品検査装置１から離れたリモートのクライアント端末上でウェブブラウザなどの画面として表示されてもよい。この場合、食品検査装置１はクライアント端末のサーバとして動作する。

（第１の変形例）
第１の実施形態に係るニューラルネットワークは出力層に３つのユニットを有していたが、出力層のユニット数はこれとは異なる数であってもよい。図３０は、２つの反応値を出力するニューラルネットワークの例を示している。図３０のニューラルネットワーク１７０は、ニューラルネットワーク１５０と同様、入力層１７１、隠れ層１７２、出力層１７３の３層を有する。しかし、出力層１７３には、良品のユニット（ユニット１７３ａ）と不良品のユニット（ユニット１７３ｂ）があるが、判定困難な反応値を出力するユニットなど、他のユニットを備えていない。

（第２の実施形態）
第１の実施形態に係る入力データ生成部は、画像（サンプル画像および判定画像）の各色について、各ピクセルにおける輝度の度数分布を求め、度数分布の一部の輝度情報（色情報）である輝度データを抽出し、輝度データを輝度の値に基づき整列した後にブロック分割と代表値の計算処理を行っていた。入力データ生成部が行う処理はこれとは異なっていてもよい。第２の実施形態に係る入力データでは、はじめに検査対象食品を撮影した判定画像を複数の領域に分割し、各領域に含まれるピクセルの輝度情報に係る輝度の代表値を計算し、各領域における代表値を格納した要素を含む輝度データを生成する。すなわち、入力データ生成部は画像に対して領域分割処理と代表値の計算処理を行う。

図３１は、第２の実施形態における画像のピクセルと領域分割処理の対応関係の例を示している。本実施形態に係る入力データ生成部は、画像を複数の領域に分割する。領域２０１は、入力データ生成部によって生成された領域の一例である。図３１では、画像２００が３×３ピクセルのサイズの領域に分割されているが、領域の大きさについては特に限定しない。そして、各領域に含まれるピクセルの色情報における赤色（Ｒ）の輝度の代表値、緑色（Ｇ）の輝度の代表値、青色（Ｂ）の輝度の代表値を計算する。代表値の例としては、平均値、モード、メジアン、パワースペクトル加算平均などが挙げられるが、その他の種類の代表値を用いてもよい。

なお、以降の説明では輝度情報として赤色、緑色、青色のすべての色に係る色情報を使い、輝度の代表値を計算した場合を例に説明するが、必ずすべての色について輝度の代表値を計算しなくてもよい。例えば、一部の色について輝度の代表値を計算してもよいし、いずれかの色に限り輝度の代表値の計算を行ってもよい。また、各ピクセルの赤色の輝度から緑色の輝度を減算した画像を使った場合には、輝度情報として明るさ情報を使って輝度の代表値を計算してもよい。第１の実施形態と同様、グレースケールの画像や一部の色のみを抽出した画像など画像処理後の画像を使ってもよい。

図３１に示した領域分割処理と代表値の計算処理を行うことにより、色情報の数を減らし、ニューラルネットワークに入力可能な要素数Ｎを有する入力データを生成することができる。すなわち、領域分割処理では画像を複数の領域に分割し、代表値の計算処理では各領域に含まれるピクセルの輝度情報に係る輝度の代表値を計算し、各領域における輝度の代表値を要素の値とする輝度データを生成しているといえる。次に、第２の実施形態に係る食品検査装置が実行する全体的な処理について述べる。

図３２は、第２の実施形態に係る学習処理のフローチャートである。以下では、図３２のフローチャートを参照しながら処理を説明する。

最初に、良品画像および不良品画像（サンプル画像）をそれぞれ複数枚、撮影する（ステップＳ４０１）。ステップＳ４０１で実行される処理は、図１９のステップＳ２０１で実行される処理される処理と同様である。次に、サンプル画像について画像処理をする（ステップＳ４０２）。ステップＳ４０１で実行される処理は、図１９のステップＳ２０２で実行される処理される処理と同様である。ステップＳ４０１の処理を省略してもよい。

そして、サンプル画像の各色（ＲＧＢ）について領域分割を行い、領域ごとにＲＧＢの輝度の代表値を計算する（ステップＳ４０３）。ステップＳ４０３で実行される処理の詳細は、図３１に係る説明で述べた通りである。領域分割が行われたら、各領域に係る輝度の代表値を色（ＲＧＢ）ごとに抽出する（ステップＳ４０４）。これにより、Ｒ（赤）に係る輝度の代表値を要素の値としたデータ、Ｇ（緑）に係る輝度の代表値を要素の値としたデータ、Ｂ（青）に係る輝度の代表値を要素の値としたデータが得られる。本実施形態では、輝度の代表値を要素の値としたデータを輝度データとよぶものとする。ステップＳ４０４の処理により、色ごとの輝度データが生成される。

次に、各色（ＲＧＢ）の輝度データの要素を輝度の値の昇順または降順に整列する（ステップＳ４０５）。各色の輝度データが整列されたら、輝度データを結合し、第２入力データを生成する（ステップＳ４０６）。なお、複数の色について輝度データを生成していない場合には、ステップＳ４０６の処理を省略してもよい。そして、すべてのサンプル画像について第２入力データが作成されたか否かを確認する（ステップＳ４０７）。まだ第２入力データに変換されていないサンプル画像が存在する場合には、当該サンプル画像についてステップＳ４０３以降の処理を実行する。すべてのサンプル画像が第２入力データに変換されている場合、ステップＳ４０８の処理に進む。

第２入力データの生成が完了したら、複数の良品画像および不良品画像（サンプル画像）に対応する要素数Ｎの第２入力データに基づき、ニューラルネットワークの学習を開始する（ステップＳ４０８）。そして、学習により重みＷ_ｊｋ、パラメータσ、μの値を決定する（ステップＳ４０９）。ステップＳ４０８、Ｓ４０９で実行される処理は、第１の実施形態に係るニューラルネットワークの学習処理と同様である。

図３３は、第２の実施形態に係る判定処理のフローチャートである。以下では、図３３のフローチャートを参照しながら、処理を説明する。

まず、検査対象食品を撮影する（ステップＳ５０１）。ステップＳ５０１の処理は図２４のステップＳ３０１に係る処理と同様である。次に、撮影した判定画像に対して画像処理をする（ステップＳ５０２）。ステップＳ５０２の処理は図２４のステップＳ３０２に係る処理と同様である。ステップＳ５０２の処理は省略してもよい。

そして、判定画像の各色（ＲＧＢ）について領域分割を行い、領域ごとにＲＧＢの輝度の代表値を計算する（ステップＳ５０３）。ステップＳ５０３の処理は、図３２のステップＳ４０３に係る処理と同様である。領域分割が行われたら、各領域に係る輝度の代表値を色（ＲＧＢ）ごとに抽出する（ステップＳ５０４）。これにより、色ごとに、輝度の代表値を要素の値とする輝度データが得られる。次に、各色（ＲＧＢ）の輝度データの要素を輝度の値の昇順または降順に整列する（ステップＳ５０５）。各色の輝度データが整列されたら、輝度データを結合し、第１入力データを生成する（ステップＳ５０６）。

判定画像を要素数Ｎの第１入力データに変換したら、当該第１入力データをニューラルネットワークへ入力する（ステップＳ５０７）。そして、ニューラルネットワークからの出力に基づき、良品と不良品の判定を行う（ステップＳ５０８）。食品の判定処理は、第１の実施形態に係るニューラルネットワークを用いる場合と同様である。

図３２、図３３のフローチャートでは、画像について領域分割を行ってから、色ごとに要素を整列した輝度データを結合し、第１入力データまたは第２入力データを生成していた。ただし、これとは異なる方法により第１入力データと第２入力データの生成を行ってもよい。例えば、本実施形態に係る画像の領域分割を行った後に、第１の実施形態で行った輝度の度数分布の一定範囲を抽出する処理を実行して輝度データを生成してもよい。また、輝度データに対して第１の実施形態で行ったブロック分割と代表値の計算処理を実施し、使用するピクセルに係る色情報（輝度）の数を絞り込んでもよい。このような処理を行うことにより、撮影された画像の解像度が高い場合（例えば、フルＨＤ、４Ｋ、８Ｋ、またはそれ以上のピクセル数など）にもピクセルに係る色情報（輝度）が格納された要素の数をニューラルネットワークの入力層のユニット数Ｎに等しい数に減らすことができる。

図３４は、ひとつの反応値を出力するニューラルネットワークの例を示している。図３４のニューラルネットワーク１８０は、上述の各ニューラルネットワークと同様、入力層１８１、隠れ層１８２、出力層１８３の３層を有する。ただし、出力層には良品のユニットである、ユニット１８３ａがあるだけで、他のユニットが存在しない。このように、出力層のユニット数をひとつにしてもよい。ニューラルネットワーク１８０を使用する場合、ユニット１８３ａの反応値をしきい値と比較することにより、良品または不良品の判定を行う。なお、ニューラルネットワーク１８０は一例であり、出力層のユニット数がこれより多くてもよい。

図３５は、識別性能の結果を示したテーブルである。図３５のテーブル上段は、第１の実施形態に係るニューラルネットワーク（ＮＮ）を使ったときの識別性能である。図３５のテーブル下段は、第２の実施形態に係るニューラルネットワーク（ＮＮ）を使ったときの識別性能である。それぞれの欄に格納された値は判定の成功率（識別性能）をパーセントで示したものである。図３５に格納された判定の成功率は、いずれも試験的に１回の学習を行わせたニューラルネットワークを使った場合の値である。したがって、ニューラルネットワークの学習を継続することにより、判定の成功率が図３５より改善する可能性がある。

（撮影時に使用する光源の選定）
サンプル画像および判定画像を撮影するときに使用する光源の種類は、検査対象とする食品の種類、検出対象とする欠陥や異物の種類などに応じて決定することができる。以下では食品検査システムで使用する光源の選定方法について説明する。

一般に、物質に対して電磁波を照射すると、物質の種類によって異なる反応が得られる。例えば、物質によって吸収する電磁波、反射する電磁波、蛍光が発生する電磁波の波長（周波数）は異なる。そこで、検査対象とする食品、検出対象とする欠陥や異物に対して分光蛍光スペクトル分析を行い、強い反応を示す電磁波の波長を調べることができる。分光蛍光スペクトル分析は例えば、分光蛍光光度計を使うことによって行うことができる。

図３６は、光源の種類による画像の見え方の違いを示している。図３６左側は、可視光の光源を使って撮影した鶏肉の画像を示している。図３６左側は、紫外線光源を使って撮影した鶏肉の画像を示している。可視光の光源を使った場合、可視光に照らされた異物の色が鶏肉の色と類似している場合、異物の検出が難しくなることがある。一方、紫外線光源を使った場合、蛍光が発生するため、羽など異物の部分が周囲の鶏肉から見分けやすくなることがある。図３６左側の丸で囲まれた部分は、蛍光によって周囲から浮きあがって見える鶏の羽を示している。ただし、鶏の皮からも蛍光が発生し、画像では羽と類似した色に見えるため、色彩の違いのみを基準として使って異物を選別するのは難しい。

図３７は、鶏の各部位における分光蛍光スペクトル分析の結果を示している。図３７には、鶏の皮、鶏の羽、鶏の肉、血合いに対する分光蛍光スペクトル分析の結果が示されている。

図３８は、分光蛍光スペクトル分析における羽と皮の差分信号を示している。図３８は、羽と皮の差分信号のスペクトルを三次元グラフに表したものである。図３８の白い丸で囲まれた部分は、蛍光が発生するピークを示している。上側の丸は、波長３７５ｎｍの電磁波で励起を行ったときに、発生する蛍光には波長４３５ｎｍのピークがあることを示している。下側の丸は、波長２０５ｎｍの電磁波で励起を行ったときに、波長４０５ｎｍのピークがあることを示している。

図３８の結果より、異物として羽を検出するときに使用する光源とバンドパスフィルタの特性を決定することができる。波長３７５ｎｍの紫外線を発生する光源を使うと、羽の識別がしやすいことがわかる。バンドパスフィルタとして、波長４３５ｎｍ近傍の電磁波を選択的に透過させるものを使うと、羽の検出がしやすくなることがわかる。

（第３の実施形態）
第１の実施形態では、食肉の血合いを検出する場合を例に説明したが、本発明に係る食品検査方法を用いてその他の欠陥や異物を検出してもよい。第３の実施形態では、鶏肉の異物として羽の有無を検査する場合を例に説明する。

上述のように、鶏の羽に紫外線を照射すると、蛍光が発生するため、周囲の鶏肉から浮きあがって見えるようになる。しかし、羽を高い精度で検出可能な画像を撮影するためには、撮影条件を調整する必要がある。図３９上段は、カラーフィルタを通さずに撮影された鶏肉の画像を示している。図３９上段では白い楕円で囲まれた範囲内に羽の一部がある。図３９上段を見ると羽のある箇所に、色がやや薄い筋があるものの、不鮮明である。羽の部分より、皮のある部位や凹凸のある部位の方が高い輝度であり鮮明である。たとえ紫外線を照射したとしても、カラーフィルタを通さずに撮影をすると、画像中の羽の識別が容易になるとは限らないことがわかる。

次に、カラーフィルタを通して画像を撮影したときの結果をみる。図３９中段は、ブルーフィルタを通して得られた画像の例を示している。図３９中段の画像は、図３９上段の画像と同一の鶏肉を撮影したものである。図３９中段でも、白い楕円に囲まれた範囲内に羽の一部がある。図３９中段の画像は皮のある部位や凹凸のある部位の輝度は抑えられているが、羽のある箇所の輝度も低下しており、羽がぼやけている。したがって、ブルーフィルタを通して画像を撮影しても羽の識別が容易になるとは言い難い。

図３９下段は、グリーンフィルタを通して撮影された画像の例と示している。図３９下段の画像は、図３９上段および図３９中段の画像と同一の鶏肉を撮影したものである。図３９下段でも、白い楕円に囲まれた範囲内に羽の一部がある。図３９下段の画像では羽のある箇所が鮮明に現れており、鶏肉の他の部位との識別がしやくなっているといえる。本実施形態に係る撮影装置は、紫外線光源を使い、グリーンフィルタを通して画像の撮影を行うものとする。

次に、本実施形態に係る撮影装置について述べる。図４０は、異物である羽を選別するための撮影装置の構成例を示している。以下では、図４０を参照しながら撮影装置２ｂについて説明する。

図４０は、撮影装置２ｂの断面図である。撮影装置２ｂの筐体に係る構造は、図１０に示された撮影装置２ａの構造と同様である。撮影装置２ｂは、照明部２１ｂと、カメラ２２ｂと、フィルタ２２ｃと、センサ２３とを備えている。

照明部２１ｂは、紫外線を放射する装置である。照明部２１ｂにおける光源の例としては、紫外線ＬＥＤ、ブラックライト、各種の蛍光ランプなどがあるが、種類については特に問わない。異物として鶏の羽を検出する場合、光源として、例えばスペクトルに波長３７５ｎｍのピークがある紫外線光源を使うことができる。紫外線光源として、スペクトルに波長３６５ｎｍ〜４００ｎｍの範囲にピークがあるものを用いることが望ましい。ただし、光源のスペクトルについては特に問わない。検出対象の食品や異物に応じて異なるスペクトルを有する光源を選ぶことができる。紫外線成分だけでなく、可視光成分も含む光源を用いてもよい。図４０には、撮影装置２ｂの筐体内下部に複数の照明部２１ｂが設置されているが、撮影装置２ｂの下方の撮影領域に紫外線を照射できるのであれば、光源の数と配置については特に問わない。

カメラ２２ｂは、照明部２１ｂから放射された紫外線が照射された食品を撮影する。カメラ２２ｂの構造や機能は、図１０に示されたカメラ２２と同様である。

カメラ２２ｂの前面にはフィルタ２２ｃが設けられている。フィルタ２２ｃは、カメラ２２ｂによって撮影される画像によって異物の識別を容易にする機能を備える。異物として鶏の羽を検出する場合、フィルタ２２ｃとして緑色のグリーンフィルタを用いることができる。グリーンフィルタとは、例えば波長５２０ｎｍ近傍の電磁波を選択的に透過させる光学フィルタである。グリーンフィルタはフィルタ２２ｃの一例であり、これと異なる種類のフィルタを用いることを妨げるものではない。

センサ２３は、搬送装置４ｂによって、撮影装置２ｂの下方に食品が搬送されたことを検出する。センサ２３の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。

なお、第２の実施形態に係る食品検査システムのその他の構成要素の機能と構成は、第１の実施形態に係る食品検査システムと同様である。

（第４の実施形態）
上述の実施形態に係る食品検査システムは、食品において欠陥や異物などの不良の有無を判定していた。本発明に係る食品検査システムは、さらに食品における欠陥や異物の位置を特定してもよい。食品における欠陥や異物の位置を特定すると、ロボットまたは手作業によって不良箇所または異物の除去などを行うことができる。

上述のように、本発明に係る食品検査装置は、複数のサンプル画像をそれぞれ要素数Ｎの第２入力データに変換後、第２入力データを入力層のユニット数がＮのニューラルネットワークに入力して、学習を行っていた。例えば良品、不良品、判定困難な場合を識別するためには、複数の良品のサンプル画像から生成された第２入力データと、複数の不良品のサンプル画像から生成された第２入力データと、判定困難なサンプル画像から生成された第２入力データのそれぞれを使って学習を行う必要があった。

第４の実施形態に係る食品検査システムは、複数の良品とラベル付けされたサンプル画像（良品画像）から生成された第２入力データの集合を使い、判定画像が不良品と判定された場合に欠陥または異物がある位置をたどる（バックトレース）することができる。食品検査装置の入力データ生成部は、良品のサンプル画像から生成された第２入力データにおける輝度の分布を生成することができる。以下では、第２入力データにおける輝度の分布の例を説明する。

図４１は良品画像から生成された第２入力データにおける輝度の分布の例を示している。図４１のグラフの横軸は、入力データにおける要素の番号ｋ＝１、２、３、・・・、Ｎを示している。図４１の例では、要素番号の昇順に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の要素が配置されている。入力データ生成部が第１の実施形態のブロック分割処理または第２の実施形態の領域分割処理と代表値の計算処理を行う場合、それぞれの要素の値は複数のピクセルの集合から計算された輝度の値となる。図４１のグラフの縦軸は、輝度を示している。

図４１のグラフ上に、複数の良品のサンプル画像に相当する第２入力データの輝度をすべてプロットすると、輝度の値がグラフ上の一定範囲に分布する。図４１の分布１９４、１９５、１９６はこのようにして得られた良品のサンプル画像から生成された第２入力データに係る輝度の分布である。後述するように、判定画像から生成された第１入力データの輝度を、良品のサンプル画像から生成された第２入力データの輝度分布と比較すると、欠陥または異物の部位に相当するピクセルのグループを特定することができる。

図４１のグラフ上に示された破線１９１、１９２、１９３は判定画像から生成された第１入力データの輝度を示している。Ｇ（緑）の輝度である破線１９２は分布１９５の範囲内に含まれている。同様に、Ｂ（青）の輝度である破線１９３は分布１９６の範囲内に含まれている。一方、Ｒ（赤）の輝度である破線１９１の一部は、分布１９４の範囲から外れている。破線１９１のうち、分布１９４の範囲から外れた区間は、第１入力データにおける欠陥や異物の存在が疑われる要素番号に対応している。このような要素を分布外要素ｋ_ｄとよぶものとする。ｋ_ｄはひとつの要素である場合もあれば、複数の要素を含む場合もある。

入力データの生成時に第１の実施形態で説明したブロック分割と代表値の計算処理が行われている場合、それぞれの分布外要素ｋ_ｄは欠陥や異物の存在が疑われるブロックの番号ｊに相当している。入力データの生成時に第２の実施形態で説明した領域分割と代表値の計算処理が行われている場合、それぞれの分布外要素ｋ_ｄは欠陥や異物の存在が疑われる画像中の領域に相当している。食品検査装置が第１入力データ中の分布外要素ｋ_ｄに係る情報から、もとの判定画像のピクセルの座標位置を求めるためには、第１入力データの生成処理においてもとの判定画像のピクセルと要素番号との間の対応関係を保持する必要がある。

そこで、第４の実施形態に係る入力データ生成部は、判定画像を第１入力データに変換するときに、どのピクセルに係る色情報を使ってブロックを生成したのかを示すデータを記憶部に保存する。記憶部は、ＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。色情報を取得したピクセルとブロックの対応関係は、例えばプログラムがポインタテーブルや２次元のテーブルなどのメタデータの形式で保存することができる。また、テキスト形式、ＣＳＶ形式、ＸＭＬ形式、ＪＳＯＮ形式などのログファイルを使って対応関係を保存してもよい、このような対応関係を保持したデータを、バックトレース用データとよぶものとする。

バックトレース用データでは判定画像中のピクセルを、（ｘ、ｙ）座標など２次元の座標情報を使って特定してもよいし、他の種類の識別子により特定してもよい。入力データ生成部で生成された入力データの要素は、例えば要素の番号ｋにより特定することができるが、他の種類の識別子を使って特定してもよい。なお、第１の実施形態に係る入力データ生成部のように、判定画像が複数回の変換処理を経た後に各ブロックの代表値を計算する処理が実行される場合には、変換処理の各ステップにおいてピクセルの座標位置と要素またはブロックの対応関係を保持したバックトレース用データを生成し、保存する。これによって、第１入力データにおける要素の番号ｋがもとの判定画像中のどのピクセルの座標位置に対応しているかを追跡することができる。

なお、第１の実施形態のように輝度データにブロック分割と代表値の計算処理を行う前に色情報（輝度）を昇順または降順にソートしている場合、分布外要素ｋ_ｄに相当するブロックに係る輝度の平均値（代表値）の計算に使われたピクセルは判定画像上に拡散している可能性がある。このため、判定画像上の当該ピクセルの位置をマーキングした画像に対してブロブ解析などを行い、画像中に当該ピクセルが隣接して分布している領域や、高い密度で分布して密度で分布している領域を特定し、判定画像中の欠陥や異物の位置を推定してもよい。

図４２は、もとの判定画像へのバックトレース結果の例を示している。もとの判定画像を第１入力データに変換するときに生成したバックトレース用データを参照すると、図４１のグラフの区間１９７（分布外要素ｋ_ｄ）が、画像２１０における領域２１１、２１２、２１３に含まれるピクセルに対応していることがわかる。入力データ生成部でブロック分割（領域分割）処理と代表値の計算処理が行われている場合、判定画像中で欠陥や異物の存在が疑われるブロック（領域）に対応する複数のピクセルの座標位置を特定できる。なお、入力データ生成部がブロック分割（領域分割）処理と代表値の計算処理を行わない場合、判定画像中で欠陥や異物の存在が疑われるそれぞれのピクセルの座標位置を特定することができる。

撮影された判定画像における欠陥や異物の存在が疑われるピクセルに係る情報を使って、検査対象食品における問題箇所または異物の除去を行うことができる。例えば、プロジェクタを使い、当該検査対象食品上に欠陥や異物の存在が疑われる部位に記号や色などをプロジェクションマッピングしてもよい。また、当該検査対象食品の欠陥や異物の存在が疑われる部位を記号や色などでマーキングした画像を生成し、ディスプレイに写し出してもよい。これにより、作業員はプロジェクションマッピングの結果や、表示内容を確認し、手作業で問題箇所や異物の除去作業を行うことができる。

また、撮影された判定画像における欠陥や異物の存在が疑われるピクセルの座標位置などの情報を物理的な座標情報に変換し、ロボットやレーザなどによる自動的な問題箇所や異物の除去作業を行ってもよい。

（度数分布におけるしきい値）
図１５の例ではピクセルの輝度に係る度数分布を生成し、度数分布から輝度が一定範囲の値にあるピクセルの輝度情報（色情報）を抽出する方法について説明した。このとき、抽出する輝度の範囲を決めるため、輝度のしきい値（第２しきい値）を使っていた。以下では、鶏肉の血合い検出を行う場合について、第２しきい値の設定値と学習・判定の結果を示す。

図４３上段は、輝度が上位１０％の値をとる色情報を抽出するよう、第２しきい値を設定した例を示している。図４３上段のヒストグラムの横軸は輝度であり、縦軸はそれぞれの輝度の度数（頻度）である。図４３上段のヒストグラムの最も左側の範囲が背景部分のピクセルに係る色情報に相当する。一方、図４３上段のヒストグラムの最も右側の範囲が血合い部分のピクセルに係る色情報に相当する。図４３上段の例では、破線が第２のしきい値に対応している。ヒストグラムの背景部分の範囲と、血合い部分の範囲にはいずれもピークが現れている。

なお、図４３上段の例では、２５６×２５６＝６５５３６ピクセル、ピクセル当たりの色情報が２４ビットのカラー画像から輝度のヒストグラムを生成している。

図４３上段の例では、２７５枚の画像に基づき２万回の学習を行っても学習が収束せず、ニューラルネットワークの学習が終わらなかった。輝度が上位１０％の値をとる色情報を抽出すると、判定画像中の鶏肉や血合いの部分だけでなく、背景部分のうち輝度が高いピクセルまでも含まれてしまう。したがって、鶏肉部分と背景部分に係る情報の分離が不十分になっていると推測される。

図４３中段は、輝度が上位４％の値をとる色情報を抽出するよう、第２しきい値を設定した例を示している。図４３中段のヒストグラムの横軸は輝度であり、縦軸はそれぞれの輝度の度数（頻度）である。図４３中段では、図４３上段の例で使用した判定画像と同一の判定画像を使用しているため、同一の形状のヒストグラムが示されている。

図４３中段の例では、良品の判定画像を入力した場合の正解率が７４％、不良品の判定画像を入力した場合の正解率が９６％となった。輝度が上位４％の値をとる色情報を抽出すると、良品の判定画像を入力した場合の正解率が低いことがわかる。

図４３下段は、輝度が上位２％の値をとる色情報を抽出するよう、第２しきい値を設定した例を示している。図４３下段のヒストグラムの横軸は輝度であり、縦軸はそれぞれの輝度の度数（頻度）である。図４３下段では、図４３上段および図４３中段の例で使用した判定画像と同一の判定画像を使用しているため、同一の形状のヒストグラムが示されている。

図４３下段の例では、良品の判定画像を入力した場合の正解率が８８％、不良品の判定画像を入力した場合の正解率が９７％となった。輝度が上位２％の値をとる色情報を抽出すると、血合い部分を含む色情報を効果的に選択できることがわかる。なお、輝度が上位２％の値をとる色情報は、判定画像の全６５５３６ピクセルのうち、２％の１３１０ピクセルに相当し、判定画像中の血合い部分に係る情報を抽出するのに充分な量であると考えられる。

なお、ここで述べた第２しきい値の設定方法は一例であり、検査対象とする食品、欠陥、異物、背景の色、撮影環境などに応じて異なる設定値を使用することができる。

本発明に係る食品検査方法を適用することにより、食品原材料の正確かつ迅速な選別を実現し、高品質な食品の生産とコストの削減を行うことができる。ニューラルネットワークの学習においては改良バックプロパゲーション法を用いることにより、多層でないニューラルネットワークであっても高精度の判定処理が実現される。これにより、学習や判定にかかる負荷が軽減され、高性能な計算機を使わなくてもリアルタイムの識別や選別を行うことができる。

（第５の実施形態）
上述の各実施形態では、高速かつ高精度な食品の欠陥や異物（不良品）の検出を行う方法について説明した。本発明を使って良品を複数のカテゴリに分類し、それぞれの良品の特性に適合した調理工程を選択できるようにしてもよい。同様に不良品も複数のカテゴリに分類してもよい。また、食品の産地ごとに、特性や欠陥・異物の種類のデータを集計し、食品の最適な調理方法や品質面における課題などを分析できるようにしてもよい。第５の実施形態では、良品と不良品をそれぞれ複数のカテゴリに分類した場合について述べる。

図４４は、複数の良品のカテゴリおよび不良品のカテゴリに対応した反応値を出力するニューラルネットワークの例を示している。図４４のニューラルネットワーク２２０は上述の各実施形態と同様、入力層２２１、隠れ層２２２、出力層２２３の３層を含む。一方、出力層２２３には複数のカテゴリのそれぞれ対応したユニットが設けられている。

図４４の例では、良品のカテゴリごとに、良品ユニット２２４（良品＃１のユニット）、良品ユニット２２５（良品＃２のユニット）、良品ユニット２２６（良品＃Ｐのユニット）の複数の良品ユニットが示されている。ここで、Ｐは良品ユニットの個数であるものとする。以下はＰ＝３の場合を説明する。例えば、良品＃１はから揚げとして調理すると、良好な食味が得られる良品のカテゴリであるとする。良品＃２は、あぶり焼き（グリルチキン）として調理すると、良好な食味が得られる良品のカテゴリであるとする。良品＃３は、蒸し鶏として調理すると、良好な食味が得られる良品のカテゴリであるとする。

例えば、肉の部分が一定の色彩であり、脂肪分が混入した鶏肉を使ってから揚げをつくると、良好な食味が得られる場合、該当する要件を満たした鶏肉に係る複数のサンプル画像から第２入力データを生成し、良品＃１のユニットの反応値を１、その他のユニットの反応値を０とし、ニューラルネットワーク２２０の学習を行う。一定割合の脂肪分を有する鶏肉を使ってあぶり焼きをつくると良好な食味が得られる場合、該当する要件を満たした鶏肉の複数のサンプル画像から第２入力データを生成し、良品＃２のユニットの反応値を１、その他のユニットの反応値を０とし、ニューラルネットワーク２２０の学習を行う。脂肪分の少ない鶏肉を使って蒸し鶏をつくると良好な食味が得られるのであれば、該当する要件を満たした鶏肉の複数のサンプル画像から第２入力データを生成し、良品＃３のユニットの反応値を１、その他のユニットの反応値を０とし、ニューラルネットワーク２２０の学習を行う。

上述のようなニューラルネットワークの学習を行うと、これまで熟練した作業員が経験側から判別していた鶏肉の最適な調理用途を装置によって自動的に判定できるようになる。なお、上述の良好な食味が得られる鶏肉の要件は例であり、異なる要件を使ってもよい。また、ここでは最適な調理用途に基づいて良品のカテゴリを定義しているが、時間経過による食味変化の少なさ、時間経過による色の変化の少なさ、冷凍による変性の少なさなどその他の基準に基づく良品のカテゴリを定義してもよい。

このように、本実施形態に係るシステムでは、判定モードは複数の良品のカテゴリを含み、ニューラルネットワークの出力層は、いずれかの良品のカテゴリに係る反応値を出力する良品ユニットを複数含んでいる。

また、図４４のニューラルネットワーク２２０の出力層には、不良品のカテゴリごとに、不良品ユニット２２７（不良品＃１のユニット）、不良品ユニット２２８（不良品＃２のユニット）、不良品ユニット２２９（不良品＃Ｑのユニット）が示されている。ここで、Ｑは不良品ユニットの個数である。以下ではＱ＝２の場合を説明する。例えば、不良品＃１は、血合いを有する鶏肉に係る不良品のカテゴリである。不良品＃２は、異物として羽を含む鶏肉に係る不良品のカテゴリである。これらの不良品のカテゴリは例であり、その他の欠陥や異物に係る不良品のカテゴリを定義してもよい。

血合いを有する鶏肉が写った複数のサンプル画像から第２入力データを生成し、不良品＃１のユニットの反応値を１、その他のユニットの反応値を０とし、ニューラルネットワーク２２０の学習を行う。異物として羽を含む鶏肉が写った複数のサンプル画像から第２入力データを生成し、不良品＃２のユニットの反応値を１、その他のユニットの反応値を０とし、ニューラルネットワーク２２０の学習を行う。

このように、本実施形態に係るシステムでは、判定モードは複数の不良品のカテゴリを含み、ニューラルネットワークの出力層は、いずれかの不良品のカテゴリに係る反応値を出力する不良品ユニットを複数含んでいる。

同様に、図４４のニューラルネットワーク２２０の出力層には、その他のユニット２３０、２３１、２３２が示されている。その他のユニットの個数はＲであるものとする。以下ではＲ＝１の場合を説明する。その他のユニットのカテゴリの例としては判定困難な場合が挙げられるが、その他のカテゴリであってもよい。例えば、同一の搬送装置（コンベヤ）で複数の種類の食品が搬送される場合には、別の種類の食品に係る反応値を出力してもよい。これにより、食品の種類の分類や仕分け作業を行うことができる。

検査対象画像から第１入力データを生成し、第１入力データを出力層に複数の良品ユニットおよび複数の不良品ユニットを有するニューラルネットワーク（例えば、図４４）に入力すると、それぞれのユニットの反応値が得られる。また、複数の良品ユニットまたは不良品ユニットの反応値に基づいて、検査対象画像に写された食品の良品のカテゴリまたは不良品のカテゴリが推定される。

検査対象食品の判定モードを推定したときに、複数の良品ユニットに係る反応値を記憶装置に保存してもよい。検査対象食品が良品であると推定されたのであれば、推定された良品のカテゴリを記憶装置に保存してもよい。同様に、複数の不良品ユニットに係る反応値を記憶装置に保存してもよい。検査対象食品が不良品であると推定されたのであれば、推定された不良品のカテゴリを記憶装置に保存してもよい。また、その他のユニットに係る反応値を保存してもよいし、判定困難なのであれば、その旨を記憶装置に保存してもよい。上述の記憶部と同様、記憶装置の種類と配置については特に問わない。

図４５は、産地ごとの良品のカテゴリおよび不良品のカテゴリの比率を示している。複数の検査対象食品について、推定された良品のカテゴリ、不良品のカテゴリ、その他のカテゴリの件数をそれぞれ集計し、カテゴリごとの構成比率を計算すると、図４５のような統計データを格納したテーブルが得られる。図４５のテーブルのそれぞれの行は、検査された鶏肉の産地に対応している。図４５では、鶏肉の産地として、Ａ工場、Ｂ工場、Ｃ工場、Ｄ農場、Ｅ社、Ｆ社が示されている。

図４５のそれぞれの列は、推定されたカテゴリに対応している。左から、から揚げに向いた特性を有する鶏肉（良品＃１）、あぶり焼きに向いた特性を有する鶏肉（良品＃２）、蒸し鶏に向いた特性を有する鶏肉（良品＃３）、血合いを有する鶏肉（不良品＃１）、異物として羽を含む鶏肉（不良品＃２）、判定困難な場合（その他＃１）のカテゴリが示されている。図４５の統計データでは、各カテゴリの構成比率がパーセントで示されている。

図４５を参照すると、Ａ工場およびＦ社から供給される鶏肉には蒸し鶏に向いた特性を有するものの比率が高く、Ｂ工場およびＤ工場から供給される鶏肉にはあぶり焼きに向いた特性を有するものの比率が高いことがわかる。Ｃ工場から供給される鶏肉にはから揚げに向いた特性を有するものの比率が高いことがわかる。Ｅ社から供給される鶏肉には、欠陥として血合いを含むものの確率が比較的高く、Ｄ農場から供給される鶏肉には異物として羽を有するものの確率が比較的高いことがわかる。

このような集計や計算を行うことにより、それぞれの産地から供給される鶏肉の特性や品質を定量的に評価し、それぞれの産地に係る供給者に対してフィードバックを行うことができる。例えば、欠陥や異物を有する鶏肉の確率が高い場合には、供給者に改善を求めたり、鶏肉の加工工程の見直しを行ったりすることが考えられる。図４５の統計データを使って、から揚げ、あぶり焼き、蒸し鶏などの生産ラインに供給する鶏肉の産地を決定してもよい。図４５の統計データは一例であり、これとは異なる方法で取得したデータを加工してもよい。

食肉について推定された良品のカテゴリに基づき、食肉に対して行う調理工程を選択してもよい。図４６は、良品のカテゴリごとに異なる調理工程を選択するシステムの例を示している。
以下では、鶏肉に対して適用した場合を例に、第５の実施形態に係るシステムを説明する。

図４６は、本実施形態に係るシステムを平面視したときの構成例を示した平面図である。図４６では、搬送装置４ｃが複数の鶏肉を図４６の下方向に搬送している。搬送装置４ｃは、例えばベルトコンベヤであるが、その他の種類の搬送装置であってもよい。搬送されているそれぞれの鶏肉に係る良品のカテゴリ（判定モード）は、搬送装置４ｃの上流側に設置された食品検査システム（図示せず）により推定されているものとする。本実施形態に係る食品検査システムの構成と機能は、使用するニューラルネットワークと学習方法の違いを除けば、上述の各実施形態と同様である。また、不良品と推定された鶏肉は搬送装置４ｃの上流側で取り除かれているか、欠陥や異物が除去されているため、図４６に示された鶏肉８１〜８４はすべて良品である。

食品検査システムで鶏肉８１の良品のカテゴリ（判定モード）は、良品＃３（蒸し鶏向き）と推定されている。このため、仕分け装置３ｂはセンサ２４により搬送装置４ｃ上に鶏肉８１が搬送されたことを検出したら、アーム３１ｂを動かし、搬送装置４ｃ上の鶏肉８１を搬送装置４ｄ上へ押し出す。搬送装置４ｄは図４６の左方向に動いている。搬送装置４ｄは鶏肉８１を蒸し鶏に係る調理工程に搬送する。そして、鶏肉８１は次の工程で蒸し鶏として調理される。

食品検査システムで鶏肉８３の良品のカテゴリ（判定モード）は、良品＃２（あぶり焼き向き）と推定されている。このため、仕分け装置３ｃはセンサ２５により搬送装置４ｃ上に鶏肉８３が搬送されたことを検出したら、アーム３１ｃを動かし、搬送装置４ｃ上の鶏肉８３を搬送装置４ｅ上へ押し出す。搬送装置４ｅは図４６の右方向に動いている。搬送装置４ｅは鶏肉８３をあぶり焼き（グリルチキン）に係る調理工程に搬送する。そして、鶏肉８１は次の工程でグリルチキンとして調理される。

センサ２３と同様、センサ２４、２５の種類については問わないものとする。また、搬送装置４ｂ、４ｃは食品検査システムと電気的に接続されており、食品検査システムで推定されたそれぞれの鶏肉に係る良品のカテゴリの情報を取得できるものとする。

食品検査システムで鶏肉８４の良品のカテゴリ（判定モード）は、良品＃１（から揚げ向き）と推定されている。このため、鶏肉８４は仕分け装置３ｂ、３ｃにより押し出されず、搬送装置４ｃにより、図４６の下方向に搬送されている。搬送装置４ｃは鶏肉８４をから揚げに係る調理工程に搬送する。そして、鶏肉８４は次の工程でから揚げとして調理される。

上述では、鶏肉の調理工程の例として、から揚げ、あぶり焼き、蒸し鶏を挙げたが、その他の調理工程を選択してもよい。例えば、とり天、フライドチキン、つくね、カレー、焼き鳥、シチューなどの調理工程を選択してもよい。図４６のシステムを適用することにより、食肉の特性に適合した調理が行われるため、良好な食味や品質を備えた食品を生産することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲の限定することは意図していない、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 食品検査装置
２、２ａ、２ｂ、２ｃ 撮影装置
３、３ａ、３ｂ、３ｃ 仕分け装置
４、４ａ、４ｂ、４ｃ、４ｄ、４ｅ 搬送装置
５ 滑り台
６ プログラマブルロジックコントローラ（ＰＬＣ）
１０ 制御部
１１ 画像記憶部
１２、１２ａ 画像処理部
１３ 入力データ生成部
１４ 学習データ記憶部
１５ 学習部
１６ モデル記憶部
１７ 判定部
１８、１８ａ 表示部
１９ 操作部
２１、２１ｂ 照明部
２１ａ、２２ａ 偏光板
２２、２２ｂ カメラ
２２ｃ フィルタ
２３、２４、２５ センサ
３１、３１ｂ、３１ｃ アーム
６１、６２、６３、１１０ 食品
７０、７１ ピーク
７０ａ、７０ｂ、７０ｃ、１１１ａ、１１１ｂ、１１１ｃ しきい値（破線）
８１、８２、８３、８４ 鶏肉
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１３０、１３１、１３２、１３３、１３４、２００、２１０、２４１、２４２、２４３、２４４、２４５、２４６ 画像
１０８、１０９ ピクセル
１１０ａ、１１０ｂ 血合い
１１２ａ、１１２ｂ、１１２ｃ、１１３ａ、１１３ｂ、１１３ｃ、１２２、１２２ａ、１２３、１２５ａ、１２５ｂ、１２５ｃ 輝度データ
１１４、１１５、１１６、１１７、１１８、１１９、１２０、１２１ 連なり
１２６ 入力データ
１２５ａ、１２５ｂ、１２５ｃ 輝度データ
１５０、１７０、１８０、２２０ ニューラルネットワーク
１５１、１７１、１８１、２２１ 入力層
１５２、１７２、１８２、２２２ 隠れ層
１５３、１７３、１８３。２２３ 出力層
１５３ａ、１５３ｂ、１５３ｃ、１５４ａ、１５４ｂ、１５４ｃ、１５５、１７３ａ、１７３ｂ、１８３ａ、２３０、２３１、２３２ ユニット
１６１、１６２ データ
１９１、１９２、１９３ 破線
１９４、１９５、１９６ 分布
１９７ 区間（分布外要素）
２０１、２１１、２１２、２１３ 領域
２２４、２２５、２２６ 良品ユニット
２２７、２２８、２２９ 不良品ユニット

Claims (26)

1. 検査対象食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、
   前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと、
   前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、
   前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、検査対象食品の判定モードを推定するステップとを実行することを特徴とする、
   食品検査システム。
2. 前記ピクセルの前記輝度は、前記ピクセルの赤色、緑色、青色の少なくともいずれかの色情報に係る前記輝度であり、さらに前記輝度情報は前記色情報であり、前記色情報に係る前記輝度の値を格納した前記要素を含む前記輝度データを生成することを特徴とする、
   請求項１に記載の食品検査システム。
3. 前記ピクセルの前記輝度は、前記ピクセルの赤色、緑色、青色の前記色情報に係る前記輝度であり、さらに前記輝度情報は前記色情報であり、色ごとに、前記色情報に係る前記輝度の値を格納した前記要素を含む前記輝度データを生成し、複数の前記色に係る前記輝度データを結合することによって前記第１入力データを生成することを特徴とする、
   請求項２に記載の食品検査システム。
4. 前記輝度の値は、前記判定画像に含まれる前記ピクセルの赤色、緑色、青色のうち、少なくとも２つ以上の色の色情報に係る前記輝度を重み付け加算して求められることを特徴とする、
   請求項１に記載の食品検査システム。
5. 前記輝度の値は、前記ピクセルの赤色、緑色、青色のうち、２つの色に係る色情報の前記輝度を減算することによって求められることを特徴とする、
   請求項１に記載の食品検査システム。
6. 前記輝度の値は、前記ピクセルの赤色の前記色情報に係る前記輝度から前記ピクセルの緑の前記色情報に係る前記輝度を減算することによって求められることを特徴とする、
   請求項５に記載の食品検査システム。
7. 前記輝度の値は、前記判定画像に含まれる前記ピクセルの複数の波長領域のうち、少なくとも２つ以上の前記波長領域に係る前記輝度を重み付け加算して求められることを特徴とする、
   請求項１に記載の食品検査システム。
8. 前記輝度の値は、前記判定画像に含まれる前記ピクセルの複数の波長領域のうち、少なくとも２つ以上の前記波長領域に係る前記輝度を減算して求められることを特徴とする、
   請求項１に記載の食品検査システム。
9. 前記輝度の値は、前記ピクセルの赤外線領域に係る前記輝度から前記ピクセルの緑色の前記波長領域に係る前記輝度を減算することによって求められることを特徴とする、
   請求項８に記載の食品検査システム。
10. 前記赤外線領域は、波長が７６０ｎｍ〜１０００ｎｍの電磁波の領域であることを特徴とする、
    請求項９に記載の食品検査システム。
11. 前記輝度データを複数のブロックに分割し、前記ブロックに含まれる前記要素に格納されている前記輝度の代表値を計算するステップと、
    もとの前記輝度データを前記ブロックの数に等しい数の前記要素を含み、前記輝度の代表値を前記要素の値とする前記輝度データに変換するステップとを含むことを特徴とする、
    請求項１ないし１０のいずれか一項に記載の食品検査システム。
12. 前記検査対象食品を撮影した前記判定画像を複数の領域に分割するステップと、
    前記領域に含まれる前記ピクセルの前記輝度情報に係る前記輝度の代表値を計算し、前記領域における前記輝度の代表値を前記要素の値とする前記輝度データを生成するステップとを含むことを特徴とする、
    請求項１ないし１１のいずれか一項に記載の食品検査システム。
13. 前記代表値は、平均値、モード、メジアン、パワースペクトル加算平均のいずれかであることを特徴とする、
    請求項１１または１２に記載の食品検査システム。
14. 前記判定モードは、少なくとも良品または不良品を含むことを特徴とする、
    請求項１ないし１３のいずれか一項に記載の食品検査システム。
15. 前記判定モードは、判定困難な場合を含むことを特徴とする、
    請求項１４に記載の食品検査システム。
16. 前記検査対象食品が搬送されている食品であるときに、３層の前記ニューラルネットワークを使って前記食品の前記判定モードを推定することを特徴とする、
    請求項１ないし１５のいずれか一項に記載の食品検査システム。
17. 前記第１入力データが生成されるステップと同一の方法によって、サンプル食品を撮影したサンプル画像に基づき、第２入力データを生成するステップと、
    前記第２入力データを前記ニューラルネットワークに入力し、前記サンプル画像に写されている前記サンプル食品の前記判定モードを前記出力層の教師信号として前記ニューラルネットワークの学習をするステップとを含むことを特徴とする、
    請求項１ないし１６のいずれか一項に記載の食品検査システム。
18. 前記検査対象食品が不良品であると推定されたら、前記判定モードが良品である前記サンプル画像から生成された前記第２入力データの集合から求められた前記輝度の分布と、前記第１入力データにおける前記輝度の値を比較し、前記第１入力データにおいて前記輝度の値が前記分布の範囲外にある分布外要素を求めるステップと、
    前記分布外要素から前記判定画像における前記検査対象食品の欠陥または異物の位置を特定するステップとを含むことを特徴とする、
    請求項１７に記載の食品検査システム。
19. ブロブ解析を適用することによって、前記第１入力データにおける前記分布外要素から前記判定画像における前記検査対象食品の前記欠陥または前記異物の前記位置を特定することを特徴とする、
    請求項１８に記載の食品検査システム。
20. 前記判定モードは少なくとも良品または不良品に係る複数のカテゴリを含み、前記ニューラルネットワークの前記出力層は、いずれかの前記カテゴリに係る前記反応値を出力するユニットを複数含むことを特徴とする、
    請求項１ないし１９のいずれか一項に記載の食品検査システム。
21. 前記ニューラルネットワークの活性化関数は、放射基底関数であることを特徴とする、
    請求項１ないし２０のいずれか一項に記載の食品検査システム。
22. 前記放射基底関数は、正規分布関数であり、前記ニューラルネットワークの学習では、バックプロパゲーション法により前記正規分布関数の平均値と標準偏差の値が調整されることを特徴とする、
    請求項２１に記載の食品検査システム。
23. 食肉を紫外線光源で照らし、グリーンフィルタを通して撮像することを特徴とする、
    請求項１ないし２２のいずれか一項に記載の食品検査システム。
24. 検査対象食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、
    前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと
    前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、
    前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、前記検査対象食品の判定モードを推定するステップと
    をコンピュータに実行させることを特徴とする、食品検査プログラム。
25. 検査対象食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、
    前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと
    前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、
    前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、前記検査対象食品の判定モードを推定するステップと
    を含むことを特徴とする、食品検査方法。
26. 食品を撮影した判定画像について、前記判定画像に含まれるピクセルの輝度の度数分布を求めるステップと、
    前記度数分布から、前記輝度が一定範囲の値にある前記ピクセルの輝度情報を抽出し、前記ピクセルの前記輝度情報における前記輝度の値を格納した要素を含む輝度データを生成するステップと、
    前記輝度データの前記要素を前記輝度の値の降順または昇順に整列するステップと、
    前記輝度データを第１入力データとして、ニューラルネットワークに入力し、前記ニューラルネットワークの出力層における反応値に基づき、前記食品の判定モードを推定するステップと、
    推定された前記判定モードに基づき、前記食品に対して行う調理工程を選択するステップと
    を含むことを特徴とする、食品生産方法。