JP7317702B2 - 食品検査補助システム、食品検査補助装置、およびコンピュータプログラム - Google Patents

Description

本発明の実施形態は、食品検査補助システム、食品検査補助装置、およびコンピュータプログラムに関する。

食品の生産工程では、原材料の加工時前の選別作業において、原材料からの異物や欠陥の除去が行われている。例えば、鶏肉を使った加工食品の生産では、原材料の選別作業において骨、羽根などの異物や、血合いなどの欠陥を除去することが行われている。作業ミスを減らし、選別作業を高速化することが望まれるが、作業人員を増やすと、生産コストが高くなってしまう。

食品の生産工程では、高精度の検査を補助するＸ線検査装置などの装置の導入が進められている。Ｘ線検査装置を用いた選別作業では、例えばＸ線画像で原材料中に硬骨が混入していることが確認されたら、Ｘ線画像と原材料を見比べながら、作業者が目視や触手により硬骨を探し、見つけた硬骨を除去する。しかしながら、硬骨の位置を探すのに時間を要する場合や、硬骨を見落とす場合があり、能率や精度に問題がある。また、硬骨以外に、羽根や血合いなども除去する必要があり、これらについても高精度かつ効率的に検出することが必要である。

特開２０１７－１４２１３３号公報 特開２００７－２８６０４１号公報 特開２００５－２３３６３６号公報

本発明の実施形態は、食品の正確かつ迅速な検査を実現する、食品検査補助システム、食品検査補助装置、およびコンピュータプログラムを提供する。

本発明の実施形態に係る食品検査補助システムは、搬送装置と、センシング装置と、補助情報生成部と、情報出力装置と、制御部とを備える。前記搬送装置は、食品を搬送する。前記センシング装置は、搬送される前記食品をセンシングする。前記補助情報生成部は、前記センシング装置の出力情報に基づいて、前記食品の検査補助情報を生成する。前記情報出力装置は、前記検査補助情報を表示する。前記制御部は、搬送される前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき、前記検査補助情報を表示するタイミングを制御する。

第１の実施形態に係る食品検査補助システムの一例を示す図。 第１の実施形態に係る撮影装置の断面図。 カラーフィルタを通さずに得られた画像、ブルーフィルタを通して得られた画像、グリーンフィルタを通して得られた画像の例を示す図。 二値化画像と検査補助情報の例を示す図。 第１の実施形態に係るシステムの具体例を示す図。 第１の実施形態に係る動作の一例のフローチャート。 第２の実施形態に係る鶏肉を撮影した画像の例を示す図。 第２の実施形態に係る撮影装置の断面図。 第２の実施形態に係る画像処理の具体例を示す図。 第２の実施形態の変形例に係るカメラにより撮影された画像の例を示す図。 第２の実施形態及びその変形例に係る二値化画像の例をそれぞれ示す図。 第３の実施形態に係る食品検査補助システムの一例を示す図。 撮影装置による連続撮影およびプロジェクタによる連続投影を表す図。 連続撮影された撮影画像の例を示す図。 連続投影される複数の検査補助情報の例を示す図。 第３の実施形態に係る動作の一例のフローチャート。 第４の実施形態に係る食品検査補助システムの一例を示す図。 プロジェクタによる投影を示す図。 第４の実施形態に係る動作の一例のフローチャート。

以下では、図面を参照しながら、本発明の実施形態について説明する。図面において同一の構成要素は、同じ番号を付し、説明は、適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る食品検査補助システム（以下、システム）の構成例を示す図である。図１のシステムは、食品検査補助装置（以下、検査補助装置）１と、センシング装置である撮影装置２と、情報出力装置であるディスプレイ３と、搬送装置４とを備えている。

図１のシステムにおいて、搬送装置４により検査対象とする食品（検査対象食品）が一定の速度で、紙面に沿って右方向に搬送されている。食品の搬送元側を上流側、搬送方向側を下流側と呼ぶ。上流側では、作業者による手作業またはマシンにより搬送装置４に食品が、一定時間間隔または任意の時間間隔で置かれる。食品が撮影装置２の筐体内の撮影領域に入ったことがセンサ２３により検出されると、カメラ３２で食品を撮影する。図では食品２２が撮影される状況が示されている。１つの食品に対して撮影は１回でもよいし、複数回連続して（例えば１秒間に１０回など）撮影してもよい。連続撮影する場合、撮影の間も、食品は搬送経路を移動していることから、撮影領域内で少しずつ食品の位置が移動した撮影画像が得られる。

撮影装置２の出力情報である撮影画像は検査補助装置１に送られ、検査補助装置１で撮影画像に基づき異物または欠陥の検出処理が行われる。具体的には、撮影画像に各種画像処理を行った後、画像処理された画像に基づき、異物または欠陥の検出処理を行う。なお、異物または欠陥を有する食品を不良品、異物および欠陥のない食品のことを良品と呼ぶ場合がある。

検査対象とする食品の例としては、鶏肉、豚肉、牛肉、羊肉、魚介類、野菜、果物、穀物、飲料、調味料などがあるが、食品の種類については特に問わない。鶏肉、豚肉、牛肉、魚介類などの食肉の場合、未加熱である生の食肉を検査対象としてもよいし、加熱後の食肉を検査対象としてもよい。食品は未加工の原材料であってもよいし、生の切り身であってもよいし、何らかの加工が施されたものであってもよい。すなわち、食品の加工の程度についても特に限定しない。

第１の実施形態では、鶏肉の生の切り身を検査対象とし、異物として羽根の検出を行う場合を例に説明する。異物として、羽根以外のもの（例えば硬骨、軟骨、木片、飼料など）を検出対象としてもよい。

システムは、画像から異物（羽根）を検出した場合、羽根の位置を特定し、特定した位置を表す情報を含む検査補助情報を生成する。特定した位置を表す情報の一例として、特定した位置を指示するデータがある。本実施形態では、そのようなデータとして、検出された羽根を囲む枠データ（例えば矩形の枠データ）を生成する。システムは撮影画像に、生成した枠データを配置する。これにより、撮影画像に含まれる羽根が枠データにより囲まれた画像が生成される。これを検査補助情報とする。特定した位置を指示するデータは枠データに限定されず、特定した位置を示す矢印のデータでもよいし、その他の形態のデータでもよい。

システムでは、撮影装置２の下流側に、食品の検査を行う検査区間が、搬送装置４の搬送経路に沿って設けられている。検査区間の近傍にはディスプレイ３が配置されている。ディスプレイ３は、作業者に情報を表示する情報出力装置の一例である。情報出力装置の他の例としては、情報を投影する投影装置がある。投影装置の例として、情報を光により投影するプロジェクタや、情報を光ビームにより投影するビーム投影器などがある。プロジェクタやビーム投影器を用いた実施形態は後述する。

ディスプレイ３は、検査区間で作業者が検査を行う際に、作業者がディスプレイ３の画面３ａを視認できる位置に設置されている。例えば、作業者が図の紙面の手前側に位置する場合、ディスプレイ３は搬送装置４を挟んで紙面の奥側に設置され、その画面が作業者に向けられる。

作業者は検査区間に搬送された（現れた）食品を検査する。検査は一例として目視または触手またはこれらの両方で行う。検査補助装置１は、検査区間に食品が搬送されるタイミング、すなわち、検査区間に食品が現れるタイミングに合わせて、ディスプレイ３に検査補助情報を表示する。換言すれば、検査区間に食品が現れる前までは、検査補助情報を表示しない。作業者から見ると、検査区間に食品が現れるのに同期して、ディスプレイ３に検査補助情報が表示される。図には、ディスプレイ３に異物（羽根）を枠データ５で囲んだ画像が表示されている。

作業者は、表示された検査補助情報を見ながら、搬送されている食品の検査を行う。具体的に、枠データ５から羽根の位置を把握し、当該枠データ５に対応する位置およびその付近から羽根を探し、見つけた羽根を除去する。作業者は除去した羽根を、例えば所定のケースに廃棄する。検査中も、食品が作業者の前を少しずつ移動しているため、作業者は、効率よく羽根を除去する必要がある。本実施形態では、ディスプレイ３に表示された検査補助情報を参照することで、作業者は羽根の位置を高速に特定でき、効率的に羽根を除去できる。

システムは、検査補助情報を、食品が検査区間に存在する間表示し続けてもよいし、検査区間に入ってから一定時間表示してもよい。また、食品を複数回撮影（連続撮影）した場合は、複数の撮影画像に対して生成された複数の検査補助情報を、食品が検査区間に入ってから、検査区間を出るまでの間に、連続表示（例えば一定時間間隔で表示）してもよい。これにより、搬送される食品と同期した動画像として、検査補助情報を見ることができる。食品が移動するのに合わせて、ディスプレイ３に表示される検査補助情報に含まれる枠データ５も移動しているように見える。このため、作業者はより効率的に羽根を探すことができる。

以下、図１のシステムの各構成要素について詳細に説明する。

搬送装置４は、上流側で作業者またはマシン等により投入された食品を下流側に搬送する装置である。搬送装置４として、例えばベルトコンベヤ、チェーンコンベヤ、ローラコンベヤ、メッシュコンベヤ、グラビティコンベヤなど各種のコンベヤ装置を用いることができる。コンベヤ装置は一例であり、その他の搬送手段を使って食品を搬送してもよい。なお、図１の例では、食品が左から右に向かって搬送されているが、食品が搬送される方向については特に限定しない。

搬送装置４の検査区間の入口には搬送路の片側または両側にセンサ２４が配置されている。センサ２４は、食品の通過を検出する。具体的に、センサ２４は、食品が検査区間まで搬送されたことを検出する。センサ２４は、食品の通過を検出すると検出信号を制御部１３に出力する。センサ２４の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。

搬送装置４の検査区間の下流には回収装置４ａが配置されている。回収装置４ａは検査を経た食品を回収する。搬送装置４が、食品検査補助装置１に電気的に接続され、食品検査補助装置１から搬送装置４を制御してもよい。例えば、搬送速度、動作のオン・オフ等を制御してもよい。本実施形態では搬送装置４は一定の速度で搬送を行うとするが、作業者が、搬送装置４に対して設けられた操作部を操作して、オン・オフや速度を調整可能にしてもよい。なお、回収装置４ａに食品を回収せずに、そのまま次の工程（例えば調理工程）に搬送してもよい。

撮影装置２は、筐体内の撮影領域に搬送された食品を光源で照らし、撮影する。撮影装置２で撮影された画像のデータは、検査補助装置１に送られ、画像記憶部１１に保存される。撮影装置２と検査補助装置１の間のインタフェースとして、Ｅｔｈｅｒｎｅｔ、無線ＬＡＮ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを用いることができる。これらのインタフェースは例であり、その他の方式によるものを用いることを妨げるものではない。

図２は、撮影装置２の断面図である。撮影装置２は、１つまたは複数の照明部３１と、カメラ３２と、フィルタ３３と、センサ２３とを備えている。撮影装置２は、略直方体形状の筐体を有し、筐体の搬送装置４に面した下部には、食品が通過するための開口部３４が形成されている。撮影装置２は、搬送装置４の一部区間を上方から覆っている。筐体の側面の一部またはすべてには壁が形成されている。また、筐体の上部には天井が形成されている。天井や壁により、撮影領域に外部の光源からの赤外線、可視光などが入り込むのを抑制できる。これにより、撮影装置２は所望の光源からの光を選択的に撮影対象の食品に投影できる。

なお、撮影装置２は天井または壁またはこれらの両方を備えていなくてもよい。例えば、撮影装置２が暗室に設置されているのであれば、外部の光源からの影響が少ないため、遮光用の天井および壁を省略できる。天井および壁の材質の例としては、ステンレス鋼、アルミニウム、樹脂などがあるが、材質については特に問わない。図の例では、搬送路の真上から撮影しているが、斜め上から撮影してもよいし、複数の方向から撮影してもよい。

撮影装置２の筐体内下部に、１つまたは複数の照明部３１が設置されている。照明部３１は、紫外線を放射する装置である。鶏の羽根に紫外線を照射すると、蛍光が発生するため、羽根の検出が可能となる。照明部３１は、撮影装置２の下方の撮影領域に紫外線を照射する。図の例では２つの照明部３１が配置されている。一例として、２つの照明部３１は、紙面に垂直な方向に延びる直方体状の形状を有する。ただし、形状はこれに限られない。例えば照明部３１の形状は、円柱状でもよい。また、照明部３１が１つで、リング状に形成されていてもよい。

照明部３１における光源の例としては、紫外線ＬＥＤ、ブラックライト、各種の蛍光ランプなどがあるが、種類については特に問わない。鶏の羽根を検出する場合、光源として、スペクトルにおける波長のピークが３６５以上４００ｎｍ以下の範囲内にある紫外線光源を用いることが好ましい。一例として、スペクトルに波長３７５ｎｍのピークがある紫外線光源を使うことができる。ただし、光源のスペクトルについては特に問わない。紫外線成分だけでなく、可視光成分も含む光源を用いてもよい。

使用する光源の種類は、検査対象とする食品の種類、検出対象とする異物または欠陥の種類などに応じて決定すればよい。例えば異物として骨（硬骨または軟骨）を検出する場合には、Ｘ線を用いることができる。一般に、物質に対して電磁波を照射すると、物質の種類によって異なる反応が得られる。例えば、物質によって吸収する電磁波、反射する電磁波、蛍光が発生する電磁波の波長（周波数）は異なる。そこで、検査対象とする食品、検出対象とする異物または欠陥に対して分光蛍光スペクトル分析を行い、強い反応を示す電磁波の波長を調べることができる。分光蛍光スペクトル分析は例えば、分光蛍光光度計を使うことによって行うことができる。

カメラ３２は、照明部３１から放射された紫外線が照射された食品を撮影する。カメラ３２の内部には、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが実装されており、撮影対象の食品に係る色情報を含むカラー画像を得ることができる。これらの撮像素子は例であり、異なるデバイスを使って撮像を行ってもよい。カメラ３２のレンズは固定焦点レンズであってもよいし、ズームレンズであってもよく、レンズの種類について特に限定しない。カメラ３２が撮影する画像に係る解像度の例としては、フルＨＤ（１９２０×１０８０ピクセル）があるが、撮影される画像の解像度については特に限定しない。

カメラ３２の前面にはフィルタ３３が設けられている。カメラ３２は、照明部３１から紫外線を放射された食品から発生する蛍光を、フィルタ３３を介して検出する。フィルタ３３は、カメラ３２によって撮影される画像によって異物の識別を容易にするために備えられる。異物として鶏の羽根を検出する場合、フィルタ３３としてグリーンフィルタを用いることで、羽根の検出が容易になる。つまり、羽根のある箇所が鮮明に現れ、鶏肉の他の部位との識別がしやくなる。グリーンフィルタは、緑色の波長域の波長（例えば波長５２０ｎｍ近傍の電磁波）を通過させ、他の波長域を遮断するフィルタである。本実施形態では異物として羽根の検出を行うため、フィルタ３３としてグリーンフィルタを用いる場合を想定する。

図３（Ａ）は、カラーフィルタを通さずに撮影された鶏肉の画像の例を示している。図３（Ａ）の楕円で囲まれた範囲内に羽根の一部がある。図３（Ａ）を見ると羽根のある箇所に、色がやや薄い筋があるものの、不鮮明である。図３（Ｂ）は、ブルーフィルタを通して得られた画像の例を示している。図３（Ｂ）でも、白い楕円に囲まれた範囲内に羽根の一部がある。羽根の周囲の輝度は抑制されているが、羽根のある箇所の輝度も低下しており、羽根がぼやけている。図３（Ｃ）は、グリーンフィルタを通して撮影された画像の例を示している。白い楕円に囲まれた範囲内に羽根がある。図３（Ｃ）の画像では羽根のある箇所が鮮明に現れており、鶏肉の他の部位との識別がしやくなっている。これらのことからも、グリーンフィルタを通して画像の撮影を行うことで、羽根を識別が容易になることが分かる。

センサ２３は、搬送装置４によって、撮影装置２の筐体内に食品が搬送されたことを検出する。具体的には、撮影装置２内の撮影領域に食品が入ったことを検出する。センサ２３は、紙面に垂直な方向に、搬送される食品とは異なる位置に配置されており、食品の通過を妨げないようになっている。センサ２３の例としては、レーザセンサ、赤外線センサ、超音波センサ、各種の光電センサ、画像センサ、重量センサなどが挙げられるが、センサの種類については特に問わない。

ディスプレイ３は、画像やテキスト等の情報を、画面３ａに表示する情報出力装置である。ディスプレイ３は、検査補助装置１と有線または無線で接続されている。検査補助装置１およびディスプレイ３間のインタフェースは、無線ＬＡＮ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、Ｂｌｕｅｔｏｏｔｈ、Ｅｔｈｅｒｎｅｔ、などを使うことができる。これらのインタフェースは例であり、その他の方式のものを使ってもよい。ディスプレイ３として、例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（ブラウン管）、有機ＥＬ（有機エレクトロルミネッセンス）ディスプレイなどを使うことができるが、その他の種類の装置を使ってもよい。ディスプレイ３は、検査を行っている作業者が検査中に画面３ａを視認できる位置および向きに配置されている。例えば、作業者から見て、搬送装置４を挟んで正面、斜め上、斜め左、斜め右または斜め下に、ディスプレイ３の画面３ａが位置してもよい。

検査補助装置１は、撮影装置２で撮影された画像の画像処理、異物または欠陥の検出処理、検出した異物または欠陥の位置を特定する情報を含む検査補助情報の生成処理、検査補助情報を作業者に表示する際の表示タイミング制御などを行う。検査補助装置１は、一例として、１以上のＣＰＵ（中央処理装置）、記憶部、通信部を備え、ＯＳ（オペレーティングシステム）とアプリケーションが動作する計算機などの情報処理装置である。検査補助装置１の一部または全部の機能を、ＦＰＧＡ、ＡＳＩＣなどの半導体回路やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現してもよい。検査補助装置１は、物理的な計算機であってもよいし、仮想計算機（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：ＶＭ）、コンテナ（ｃｏｎｔａｉｎｅｒ）またはこれらの組み合わせにより実現されるものであってもよい。１つ以上の物理計算機、仮想計算機、コンテナに検査補助装置１の機能を分担させてもよい。可用性の向上や負荷分散のために検査補助装置１の台数を増やした構成を用いることも排除されない。

検査補助装置１は、画像記憶部１１、画像処理部１２、制御部１３、検出処理部１４、および補助情報生成部１５を備えている。

制御部１３は、撮影装置２のセンサ２３から検出信号を受信すると、撮影装置２のカメラ３２に撮影の指示信号を送信する。すなわち、制御部１３は、食品がカメラ３２の撮影アングル（撮影領域）内に入ったタイミングでカメラ３２に撮影を指示する。これにより、搬送される食品の自動的な撮影が行われる。

画像記憶部１１は、撮影装置２のカメラ３２により撮影された画像を保存する記憶領域を備える。画像記憶部１１は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。画像記憶部１１は、検査補助装置１に内蔵されていてもよいし、検査補助装置１の外部の記憶装置であってもよい。また、画像記憶部１１は、ＳＤメモリカード、ＵＳＢメモリなどの取り外し可能な記憶媒体であってもよい。

画像処理部１２は、撮影された食品の画像に対して画像処理を行う。羽根を検出する場合、グリーンフィルタを用いることで、撮影画像における羽根が他の箇所よりも鮮明になる。本画像処理では、羽根をさらに強調する処理を行う。画像処理の例として、ＨＳＶ色空間へ変換、ＲＧＢ空間への変換、またはグレースケールへの変換などがあるが、特定の方法に限定されない。画像処理部１２は、画像処理された画像を画像記憶部１１に保存する。なお、保存される画像には識別子が付与されてもよい。識別子は、一定値ずつ値が大きくなる番号でもよいし、時刻でもよいし、その他の基準で決めても良い。画像処理部１２は、制御部１３に画像処理された画像の識別子、または当該画像が格納されている領域のアドレス情報を通知してもよい。グリーンフィルタを用いて撮影した画像に画像処理を行わないことも可能である。その場合、画像処理部１２を設けなくてもよい。

制御部１３は、画像記憶部１１に保存された画像処理された画像について、異物または欠陥の検出処理を検出処理部１４に要求する。制御部１３が、画像処理された画像を画像記憶部１１から読み出し、読み出した画像を検出処理部１４に提供してもよいし、検出処理部１４が画像記憶部１１から画像処理された画像を直接読み出してもよい。この場合、制御部１３が、検出処理部１４に画像処理された画像の識別子、または当該画像が格納されている領域のアドレス情報を通知する。ここでは制御部１３を介して画像処理された画像を検出処理部１４に提供したが、画像処理部１２が画像処理の実行後、検出処理部１４に画像処理された画像を提供してもよい。

検出処理部１４は、画像処理された画像に基づき、異物または欠陥の検出処理を行う。ここでは羽根の検出処理を行う。なお、画像は複数のピクセルからなり、各ピクセルは一定範囲内の値を有する。例えば１つのピクセルが８ビットの情報で表現されている場合、ピクセルの値は０～２５５の２５６階調を有する。検出処理部１４は、画像処理された画像に対して、エッジ検出により、羽根を特定する。具体的には、まず画像処理された画像を、閾値で二値化する。すなわち、閾値以上のピクセル値は１，閾値未満のピクセル値は０として、二値化画像を生成する。１と０の関係は逆でもよい。二値化により羽根の全部もしくは大部分が１、それ以外の部分の全部または大部分が０となる。１が固まっている領域を羽根領域として検出する。

図４（Ａ）に、画像処理された画像を閾値で二値化して得られた二値化画像の例を示す。黒のドットが１のピクセルに対応し、それ以外のピクセルは０のピクセルに対応する。画像の右側に、値が１のピクセル群の短い長さの領域３０がある。この領域３０が羽根領域に対応する。領域３０内の全部が値１のピクセルの場合もあるが、一部値が０のピクセルがあってもよい。領域３０の特定は、例えばクラスタリングを用いて行うことができる。例えば画像上で隣接するピクセル間の距離が一定範囲内にある値１のピクセル群を同じグループに分類していき、一定数以上のピクセルを含むグループを羽根領域として特定する。ここでは羽根領域は１つであるが、複数の羽根領域が特定される場合もある。クラスタリングの手法は何でもよい。またクラスタリング以外の手法を用いて領域検出を行ってもよい。

補助情報生成部１５は、検出処理部１４により特定された羽根の位置を表す情報を生成する。そのような情報の例として、羽根の位置を指示するデータがある。本実施形態では、羽根の位置を指示するデータとして、羽根を囲む枠データを生成するが、羽を指し示す矢印のデータなど、他の形態のデータを生成してもよい。羽根を囲む枠は、例えば、羽根に外接する矩形でもよいし、羽根を囲む星形でもよいし、その他の形でもよい。枠の色は、画像処理前の撮影画像（グリーンフィルタを介して撮影した画像）に対してコントラストが高い色であることが望ましい。補助情報生成部１５は、生成した枠データの座標を保持しておく。

補助情報生成部１５は、撮影画像に対して、生成した枠データを、上記保持しておいた座標に配置する。このようにして得た画像（補助画像）は、検査補助情報の一例に相当する。枠データを撮影画像に重ねて２層構造の画像としてもよいし、枠データに対応する位置のピクセルの値を枠データの値で更新してもよい。これにより撮影画像の羽根を枠データで囲んだ画像が得られる。なお、スケール変換により二値化画像のサイズが撮影画像と異なることとなっている場合は、スケールを逆変換して、枠データを撮影画像に配置すればよい。

補助情報生成部１５は、撮影画像に対して枠データ以外の情報を配置してもよい。例えば、羽根を異物として検出していることから、羽根を表す文字もしくは記号を、枠データの近傍に配置してもよい。例えば「ｈａｎｅ」の文字データを、枠データの近傍に配置してもよい。また、検出された羽根領域のサイズを表すデータを、枠データの近傍に配置してもよい。サイズは、羽根領域の横または縦の少なくとも一方のサイズでもよいし、羽根領域の面積（ピクセル数）でもよいし、大・中・小などのサイズのカテゴリでもよい。また、特定された羽根領域の個数を表すデータを配置してもよい。例えば、羽根領域が２つ特定された場合は、「２」を撮影画像に配置してもよい。この場合、枠データも２つ存在する。ここで述べた以外の情報を配置してもよい。

図４（Ｂ）に、補助情報生成部１５が生成した検査補助情報の例を示す。グリーンフィルタを介して撮影した画像に、太い白線の枠データが配置され、近傍に「ｈａｎｅ」の文字データが配置されている。

制御部１３は、補助情報生成部１５によって生成された検査補助情報を受け取り、内部のバッファまたは画像記憶部１１に格納する。制御部１３は、検査対象となった食品が検査区間を通過するタイミングで、検査補助情報を表示するように、検査補助情報の表示タイミングを制御する。具体的には、制御部１３は、センサ２４から検出信号を受信すると、生成された検査補助情報を内部のバッファまたは画像記憶部１１から読み出し、読み出した検査補助情報をディスプレイ３に送信する。ディスプレイ３は、制御部１３から受信した検査補助情報を表示する。制御部１３は、検査補助情報の送信から一定時間後（例えば検査区間の長さを搬送速度で除算した時間の経過後）、検査補助情報の表示を停止する停止指示信号もしくは待機用の画像をディスプレイ３に送信する。待機用の画像は、作業者が次の検査対象となる食品が検査区間に来るまで待っている間に表示しておく画像である。制御部１３は、食品が連続撮影されたことにより複数の検査補助情報が生成された場合は、これらの検査補助情報を連続して（一定の時間間隔で）ディスプレイ３に出力する。ディスプレイ３は、これらの検査補助情報を動画像として連続表示する。検査区間の終了位置付近にセンサを配置し、当該センサが食品を検出した場合に、検出信号を制御部１３に送信し、制御部１３が、検出信号に基づき、停止指示信号または待機用の画像をディスプレイ３に送信してもよい。

制御部１３は、複数の食品について順次生成された複数の検査補助情報のうち、今回表示する検査補助情報をどのようにして特定するかは任意の方法を用いればよい。例えば、まだ表示していない検査補助情報のうち最も古い検査補助情報を、表示すべき検査補助情報としてもよい。この場合、表示済みの検査補助情報と、まだ表示されていない検査補助情報を識別するフラグを設定してもよい。あるいは、表示されていない検査補助情報を先入れ先出しバッファで管理してもよい。

他の方法として、撮影装置２で撮影対象となる食品が代わるごとに１ずつ大きくなるシーケンス番号を、当該食品に対して生成された検査補助情報に付与する。また、センサ２４で食品が検出されるごとに、１ずつ大きくなるシーケンス番号を生成する。センサ２４で検出された際に生成されるシーケンス番号に値が一致する検査補助情報を、今回表示すべき検査補助情報として特定する。

なお、検査区間に食品があるときに、次の検査対象となる食品がまだ撮影領域に搬送されていないような緩やかな間隔で食品が搬送される場合は、直前に生成した検査補助情報を表示するようにしてもよい。

ディスプレイ３は、制御部１３から検査補助情報を受信し、受信した検査補助情報（図４（Ｂ）参照）を画面３ａに表示する。ディスプレイ３は制御部１３から停止指示信号を受信した場合は、検査補助情報の表示を停止する。待機用の画像を受信した場合は、待機用の画像を表示する。

図５（Ａ）および図５（Ｂ）はシステムの具体的な構成例を示す。図５（Ａ）は、システムの側面図である。図５（Ｂ）は、システムの平面図である。前述した図１では紙面に向かって左側が上流側、右側が下流側であったが、図５（Ａ）および図５（Ｂ）では、紙面に向かって右側が上流側、左側が上流側となっている。図５（Ａ）には撮影装置２、搬送装置４、回収装置４ａ、ディスプレイ３、食品２１が示されている。図５（Ｂ）には、撮影装置２、搬送装置４、回収装置４ａ、ディスプレイ３、食品２１、センサ２３、センサ２４、検査補助装置１、作業者２７が示されている。以下、図５（Ａ）および図５（Ｂ）を用いて、システムを用いて食品検査の流れを説明する。

搬送装置４のコンベヤベルト上に上流側で配置された食品（鶏肉）２１が撮影装置２へ搬送される。食品２１は、撮影装置２の筐体の下方の撮影領域に入ると、センサ２３により検出され、撮影装置２の筐体内のカメラにより撮影される。撮影後、食品２１は撮影装置２の筐体から出て、下流側に搬送される。一方、撮影された画像は検査補助装置１に送られ、検査補助装置１は画像に基づき羽根の検出を行い、検出した羽根の位置を特定する情報を含む検査補助情報（ここでは鶏肉の画像に羽根の位置を表す矩形の枠データ５を重ねた補助画像）を生成する。

撮影装置２の筐体から出た食品２１がセンサ２４により検出されると、検査補助装置１は、上記の生成した検査補助情報をディスプレイ３に出力する。ディスプレイ３は、搬送装置４の一方の側面に沿って、床に対して画面が垂直になるように、アーム部材２８によって支持されている。ディスプレイ３は、検査補助装置１から入力された検査補助情報を画面３ａに表示する。一方、作業者２７は、検査区間に搬送されてきた食品２１を、目視または触手またはこれらの両方で検査する。なお、検査の際、食品２１は搬送装置４に載せたままでもよいし、食品２１を搬送装置４から手で持ち上げてもよい。作業者２７は、ディスプレイ３に表示された検査補助情報を参照し、枠データ５の位置および大きさを確認しつつ、食品２１から羽根を探す。作業者は、見つけた羽根を除去する。羽根が除去された後、食品は搬送装置４によって検査区間の下流側に搬送され、回収装置４ａによって回収される。

図６は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置２の撮影領域に入ったことをセンサ２３が検出すると（ステップＳ１０１）、センサ２３は検出信号を制御部１３に送る。制御部１３はカメラ３２に撮影の指示信号を出力する。カメラ３２は、グリーンフィルタを介して食品を撮影し、制御部１３は、撮影画像を画像記憶部１１に格納する（Ｓ１０２）。画像処理部１２は、撮影画像を画像処理する（Ｓ１０３）。

検出処理部１４は、画像処理後の画像に基づき、エッジ検出を用いて、異物の検出処理を行う（Ｓ１０４）。ここでは、異物として羽根の検出処理を行う。具体的には、まず、まず画像処理された画像を、閾値で二値化し、二値化画像を生成する。二値化画像に基づき、１（または０）のピクセル領域を羽根の領域として特定する。

補助情報生成部１５は、特定された羽根の領域を表す情報を生成する（Ｓ１０５）。例えば、羽根を囲む枠データを生成し、枠データを撮影画像に配置した画像（検査補助情報）を生成する。

制御部１３は、生成された検査補助情報を受け取り、食品が検査区間を搬送されるタイミングで、検査補助情報をディスプレイ３に表示する（Ｓ１０６）。表示すべき検査補助情報が複数存在する場合は、連続してこれらの検査補助情報を出力することで、これらの検査補助情報を順次切り替えながら表示する。これにより搬送路上の食品の移動に合わせて、ディスプレイ３に表示される食品および検査補助情報も、動画像として移動して見える。

本実施形態では、二値化画像に対してエッジ検出により異物の領域を特定したが、別の方法を用いてもよい。例えば、撮影画像または画像処理後の画像をモデルの入力とし、モデルから、異物の位置または領域の情報を出力させてもよい。この場合、サンプルとなる画像（撮影画像または画像処理後の画像）と、異物の位置または領域とを対応づけたデータを、学習データとして用いて、機械学習によりモデルを構築する。モデルの例としては、ニューラルネットワークがある。

本実施形態では、食品が検査区間に搬送されたことをセンサ２４により検出したが、別の方法で検出してもよい。例えば、食品の搬送速度と、食品の撮影位置（またはセンサ２３の検出位置）から検査区間までの距離に基づいて、食品が検査区間に現れるタイミングを計算してもよい。食品が検査区間に搬送されるまでの時間に基づいて、食品が検査区間に搬送されたことを検出するものである限り、どのような方法を用いてもかまわない。

本実施形態によれば、食品原材料の正確かつ迅速な検査を実現し、高品質な食品の生産およびコストの抑制を図ることができる。

（変形例１）
第１の実施形態では、二値化画像を用いて羽根の領域を特定したが、食品が良品の場合には、羽根が存在せず、羽根の領域が見つからない。その場合、補助情報生成部１５は、羽根が存在しない（食品は良品である）ことを示す情報を検査補助情報として生成する。例えば、「ＮＯ Ｈａｎｅ」または「ＧＯＯＤ」の文字データを生成する。作業者は、この情報をディスプレイ３で確認することで、検査対象となる食品に羽根は存在しないと判断できるため、羽根を探す作業を省略できる。

（変形例２）
変形例１の拡張として、検査補助装置１は、羽根が検出された場合は不良品、検出されなかった場合は良品と判断し、不良品か良品かを表す情報を、検査補助情報として生成してもよい。作業者は、良品の情報が表示された食品のみを回収装置４ａに回収し、不良品と判断された食品は、搬送装置４から取り上げて、別の容器に回収する。良品か不良品かで食品を自動的に仕分ける仕分け装置を、搬送装置４に対して設置し、仕分け装置が自動的に仕分けを行ってもよい。この場合、仕分け装置は、検査補助装置１から良品か不良品かの判定結果情報を受信し、受信した判定結果情報に基づいて仕分けを行う。

（第２の実施形態）
第２の実施形態では、食品から欠陥として血合いを検出する。血合いは食肉における打ち身などに起因する着色や血の固まりだけでなく、色、風味などが他の部位とは異なる着色部位なども含む。また、欠陥の他の例として、欠け、亀裂、ねじれなど形状に関するものがある。システム構成は基本的には第１の実施形態と同じである。以下、第１の実施形態との差分を説明する。

図７に、本実施形態に係る鶏肉を撮影した画像の例を示している。丸で囲まれた部位に血合いが含まれている。本実施形態では、このような血合いを、食品（鶏肉）の欠陥として検出する。

図８は、本実施形態に係る撮影装置５１の断面図である。本実施形態では図１の撮影装置２に代えて、撮影装置５１を用いる。

撮影装置５１は、１つまたは複数の照明部５２と、偏光板５３と、カメラ５５と、偏光板５６と、センサ２３を備えている。撮影装置５１は、略直方体形状の筐体を有し、筐体の搬送装置４に面した下部には、食品が通過するための開口部５４が形成されている。筐体の具体的な構成については第１の実施形態と同様であるため説明を省略する。

照明部５２は、例えば白色ＬＥＤによる照明装置である。複数の照明部５２が設けられており、左右の照明部５２は紙面に沿って垂直方向に延びる形を有する。中央の照明部５２は、紙面に沿って左右に延びる形の照明部が、紙面に沿って垂直方向に１つまたは複数、間隔を開けて配置されている。この間隔を通過する光をカメラ５５が偏光板５６を介して撮影する。

白色ＬＥＤは、一例であり、これとは異なる色のＬＥＤを光源として使ってもよい。例えば、赤色、緑色、青色など複数の色のＬＥＤを組み合わせて光源を構成してもよい。また、エレクトロルミノセンスランプ、ＨＩＤランプ、蛍光灯、白熱灯など、その他の光源を使ってもよい。使用する光源の種類は、検出対象の食品や異物の種類に応じて決めることができる。光源は可視光を放射するものに限らず、赤外線や紫外線などを放射するものであってもよいし、複数の波長に係る光源の組み合わせ（マルチ波長）であってもよい。

照明部５２の前面には偏光板５３が設けられている。偏光板５３は例えば直線偏光板である。偏光板５３を設けることで、搬送装置４の表面や食品の水分や油脂による光の乱反射が抑制され、カメラ５５における食品の正確な撮影に寄与する。偏光板５３を設けない構成も可能である。

カメラ５５は、照明部５２から照射された光線に照らされた食品を撮影する。カメラ５５の前面にも偏光板５６が設けられている。偏光板５６は例えば、カメラレンズ用の偏光フィルタである。偏光板５３を通して撮影を行うことにより、水分、油脂などの光沢に由来する乱反射やテカリなどが抑制された画像を得ることができる。偏光板５６を設けない構成も可能である。

画像処理部１２は、撮影装置５１の出力情報である撮影画像内のピクセルにおける赤、緑、青（ＲＧＢ）の各色の輝度を抽出して色毎の画像を得る。そして、赤（Ｒ）の画像から緑（Ｇ）の画像のピクセル値をピクセルごとに減算した画像を生成する。このようにして生成した画像を、第１の実施形態と同様に、閾値を用いて二値化処理し、二値化画像を生成する。

図９は、画像処理の具体例を示す。撮影画像６１を、Ｒの画像６２と、Ｇの画像６３と、Ｂの画像６４とに分離する。Ｒの画像６２のピクセル値からＧの画像６３のピクセル値を減算した画像（Ｒ－Ｇ画像）を生成する。生成した画像を二値化処理して二値化画像６５を生成する。撮影画像６１はカラー画像であり、画像６２～６４は、それぞれＲＧＢに係る輝度の大きさを表現したグレースケールの画像となっている。二値化画像６５において、ピクセル値が閾値以上のピクセルが白色、閾値未満のピクセルが黒色になっている。ピクセル値が閾値以上のピクセルの領域が、血合いの部位に対応する。

検出処理部１４は、二値化画像６５に対して第１の実施形態と同様にエッジ検出を行うことで、血合いの領域（二値化画像６５の白色の領域）を特定できる。

なお、上記の画像処理は一例であり、他の画像処理を行ってもよい。例えば撮影画像に対して赤色と緑色を強調する処理を行い、その後で、処理後の撮影画像を、Ｒ画像、Ｇ場画像、Ｂ画像に分離してもよい。その他、減算後の画像（Ｒ－Ｇ画像）の変換（例えばＨＳＶ色空間への変換）を行い、変換後の画像から赤の成分のみを抽出した画像を生成してもよい。Ｒ－Ｇ画像を変換せずに、Ｒ－Ｇ画像から赤の成分のみを抽出した画像を生成してもよい。なお、撮影映像に何ら画像処理を行わず、撮影画像をそのまま二値化処理することも排除されない。

補助情報生成部１５は、第１の実施形態と同様に、血合いの位置を特定する情報を含む検査補助情報を生成する。例えば、血合いの領域を囲む枠データを二値化画像に基づき生成し、生成した枠データを撮影映像に配置する。枠データの近傍に、「ｃｈｉａｉ」などの文字データを配置してもよい。このようにして生成した画像（補助画像）を、検査補助情報としてディスプレイ３に表示する。表示のタイミング制御は、第１の実施形態と同様である。作業者は、ディスプレイ３に表示された検査補助情報の枠データを参照して血合いの位置を確認しながら、検査区間に搬入された食品を検査する。血合いを見つけたら、所定の器具を利用して、血合いを除去する。あるいは、作業者は血合いを確認し、血合いの程度が、許容可能な程度のもの（小さいなど）であればそのまま食品を回収装置４ａに回収させ、許容できない程度のものであれば、所定のケースに収容し、別途、血合いを除去する作業を別工程で行ってもよい。血合いが検出された鶏肉について、その他の方法で対処してもよい。

（変形例）
上述の第２の実施形態では、画像処理としてＲ－Ｇ画像を生成し、Ｒ－Ｇ画像から二値化画像を生成した（図９参照）。本変形例では、カラー画像に加えて赤外線（ＩＮＦＲＡＲＥＤ）画像を撮影し、赤外線画像のピクセル値からＧ画像のピクセル値を減算した画像を生成する。赤外線画像の具体例として近赤外線（ＮＥＡＲ ＩＮＦＲＡＲＥＤ）画像がある。近赤外線は、一例として波長が７６０ｎｍ～１０００ｎｍの電磁波である。本変形例では、近赤外線画像を撮影し、近赤外線画像のピクセル値からＧ画像のピクセル値を減算した画像（ＮＩＲ－Ｇ画像）を生成する。さらにＮＩＲ－Ｇ画像を二値化処理して二値化画像を生成する。この二値化画像を用いて異物または欠陥の検出を行う。これにより、色の濃い血合い（例えば黒みの強い血合い）の検出精度を高めることができる。

本変形例ではカメラ５５として、カラー画像と近赤外線画像とを撮影可能なカメラを用いる。そのようなカメラの例として、ＲＧＢカメラと赤外線カメラの両方を用いてもよい。あるいは、マルチスペクトルカメラ、または、撮影可能な波長の数がより多いハイパースペクトルカメラを用いてもよい。カメラの構成、台数、種類については特に限定しない。ＲＧＢカメラと赤外線カメラの両方を用いる場合、撮影は同時に行っても、順番に行ってもよい。後者の場合、後段の画像処理部１２では、画像の減算処理を行う際、画像の位置合わせを行ってもよい。

カメラ５５で撮影された食品（鶏肉）のカラー画像と近赤外線画像は、画像記憶部１１に送られる。画像記憶部１１は、カラー画像と近赤外線画像を内部に格納する。画像処理部１２は、画像記憶部１１からカラー画像を読み出し、カラー画像から赤、緑、青（ＲＧＢ）の各色の輝度を抽出してＲ画像（赤色画像）１３１、Ｇ画像（緑色画像）１３２及びＢ画像（青色画像）１３３を生成する。

図１０に、画像処理部１２により生成されたＲ画像１３１、Ｇ画像１３２及びＢ画像１３３の例を示す。また、同図に、画像記憶部１１に格納された近赤外線画像１３４の例を示す。これらの画像１３１～１３４では、ピクセルごとに、対応する波長の電磁波の強度がグレースケールの階調（輝度）で表示されている。強度が大きいほど、ピクセルは明るく表示されている。強度が小さいほど、ピクセルは暗く表示されている。画像１３１～１３４のいずれにおいても、肉の部分が周囲より明るく浮き出ている。ここでは、黒みの強い血合いのみあるサンプルを用いている。

画像処理部１２は、近赤外線画像１３４からＧ画像１３２のピクセル値をピクセルごとに減算した画像（ＮＩＲ－Ｇ画像）、すなわち近赤外線画像１３４とＧ画像１３２との差分画像を生成する。画像処理部１２は、ＮＩＲ－Ｇ画像を二値化処理して二値化画像（ＮＩＲ－Ｇ二値化画像）１３５を生成する。二値化処理の詳細は前述した通りである。

図１１の上側に、画像処理部１２により生成されたＮＩＲ－Ｇ二値化画像１３５の例を示す。また、図１１の下側に、Ｒ画像１３１からＧ画像１３２のピクセル値をピクセルごとに減算した画像（Ｒ－Ｇ画像）を二値化処理して得られる二値化画像（Ｒ－Ｇ二値化画像）１３６の例を示す。Ｒ－Ｇ画像は、Ｒ画像１３１とＧ画像１３２との差分画像に相当する。Ｒ－Ｇ二値化画像１３６は、ＮＩＲ－Ｇ二値化画像１３５と対比するために示したものであり、本変形例においてＲ－Ｇ二値化画像１３６を生成することは必須ではない。

ＮＩＲ－Ｇ二値化画像１３５及びＲ－Ｇ二値化画像１３６において、ピクセル値が閾値以上のピクセルが白色、閾値未満のピクセルが黒色になっている。ピクセル値が閾値以上のピクセルの領域が、血合いの部位に対応する。

図１１下側のＲ－Ｇ二値化画像１３６を参照すると、丸で囲った領域１３９において黒みの強い血合いの箇所のピクセルが検出されているものの、丸で囲った領域１３８に示すように、現実には血合いの存在しない箇所にノイズ成分が多く現れている。これは、黒みの強い血合いを検出するために、Ｒ－Ｇ二値化画像１３６を生成する際に用いる閾値を低くしていることによる。

これに対して、図１１上側のＮＩＲ－Ｇ二値化画像１３５では、丸で囲った領域１３７において黒みの強い血合いの箇所のピクセルを検出しつつも、Ｒ－Ｇ二値化画像１３６の領域１３８に対応する領域において、ノイズ成分がさほど現れていない。これは、ＮＩＲ－Ｇ画像では黒い血合いの箇所を強調できるため、ＮＩＲ－Ｇ二値化画像１３５の生成の際の閾値を、Ｒ－Ｇ二値化画像１３６のように下げる必要がないためである。すなわち、ＮＩＲ－Ｇ二値化画像１３５では、Ｒ－Ｇ二値化画像１３６よりも閾値を高くしている。このように、ＮＩＲ－Ｇ二値化画像１３５を用いることで、ノイズ成分の低減と、黒みの強い血合いの検出精度の改善を両立できる。

本変形例において、近赤外線画像の代わりに、他の画像を用いてもよい。例えば近赤外線以外の他赤外線（遠赤外線など）の画像、紫外線画像又は３次元画像を用いてもよい。他近赤外線の画像は、一例として、他赤外線に感度を有するセンサを備えたカメラを用いて撮影できる。紫外線画像は、一例として、紫外線に感度を有するセンサを備えたカメラを用いて撮影できる。３次元画像は、一例として、３Ｄカメラを用いて撮影することができる。

また、本変形例では、近赤外線画像とＧ画像との演算（減算）を行ったが、演算対象とする画像の組合せは近赤外線画像とＧ画像の組に限定されない。すなわち、検出したい異物または欠陥を精度良く検出できる限り、任意の種類の画像の組を演算対象にできる。例えば、近赤外線画像、他赤外線の画像、紫外線画像、３次元画像、Ｒ画像、Ｇ画像、およびＢ画像の中から選択した２つ以上の画像を演算対象にできる。演算の種類は、減算に限定されず、加算、減算、乗算、除算、または、これらを組合せたものでもよい。また、演算を行う前に、画像に重み係数を乗じてもよい。

第１の実施形態の各変形例は、本実施形態に対しても同様に適用される。

（第３の実施形態）
第１および第２の実施形態では、検査補助情報を出力する情報出力装置としてディスプレイ３を用いたが、第３の実施形態では投影装置の一例であるプロジェクタを用いて、検査補助情報を、搬送される食品または搬送路に投影する。以下、本実施形態について詳細に説明する。

図１２は、第３の実施形態に係る食品検査補助システムの一例を示す。図１のディスプレイ３がプロジェクタ７１に代わっている。プロジェクタ７１は、検査区間内に搬送路の上方に設けられており、搬送面に向けて検査補助情報を投影する。それ以外の構成については、基本的に第１の実施形態と同様である。以下では、第１の実施形態からの変更または拡張された部分を中心に説明する。

図１３（Ａ）は、撮影装置２による連続撮影の例を表している。搬送装置４により鶏肉（食品）２１が搬送されており、撮影装置２内の撮影領域８１に入ると、一定時間間隔で、複数回撮影（静止画の連写）が行われる。図では時刻ｔ１１、時刻ｔ１２、時刻ｔ１３で、計３回行われる例が示されている。複数回の撮影が行われている間も食品は移動しているため、撮影画像における食品の位置は少しずつ搬送方向に移動する。ここでは３回撮影しているが、１秒間に１０回など、撮影の回数およびレートは任意に定めることができる。

図１４は、連続撮影された画像の例を示す。図１４（Ａ）が時刻ｔ１１での１回目の撮影画像９１、図１４（Ｂ）が時刻ｔ１２での２回目の撮影画像９２、図１４（Ｃ）が時刻ｔ１３での３回目の撮影画像９３を示す。撮影画像９１～９３で撮影対象である食品が少しずつ搬送方向に移動している。

撮影装置２は、連続撮影した複数の撮影画像を検査補助装置１に送る。検査補助装置１は第１の実施形態と同様にして、複数の撮影画像に対する複数の検査補助情報を生成する。各検査補助情報は、ここでは、第１の実施形態と同様、各撮影画像に枠データを配置したものとする。

制御部１３は、センサ２４から食品の検出信号を受信すると、複数の検査補助情報が連続して（例えば一定時間間隔で）投影されるようプロジェクタ７１を制御する。制御部１３は、プロジェクタ７１に複数の検査補助情報を一定時間間隔で出力する。プロジェクタ７１は、制御部１３から入力される複数の検査補助情報を一定時間間隔で順番に搬送路に対して投影する。プロジェクタ７１の照射領域は、一例として、撮影装置２の撮影領域と同じサイズである。

図１３（Ｂ）にプロジェクタ７１による投影の例を示す。搬送装置４により撮影装置２の筐体から出た鶏肉（食品）２１が搬送され、プロジェクタ７１の投影領域８２に入ると、これに合わせて、プロジェクタ７１から一定時間間隔で、複数の検査補助情報が投影される。図１５に、連続投影される複数の検査補助情報の例を示す。図１５（Ａ）が時刻ｔ２１で１回目に投影される検査補助情報１０１、図１５（Ｂ）が時刻ｔ２１で２回目に投影される検査補助情報１０２、図１５（Ｃ）が時刻ｔ２３で３回目に撮影される検査補助情報１０３を示す。それぞれ、図１４（Ａ）～図１４（Ｃ）の撮影画像に対応している。検査補助情報１０１～１０３内で食品が少しずつ搬送方向に移動しており、枠データ７５もこれに合わせて同じだけ搬送方向に移動している。図１５（Ａ）～図１５（Ｂ）の検査補助情報が順番に投影されると、図１３（Ｂ）に示すように、搬送される食品に検査補助情報（食品画像および枠データ）が食品に重なるように投影される。プロジェクタ７１の撮影が行われている間も食品は移動しているが、時刻ｔ２１、時刻ｔ２２、時刻ｔ２３で投影される検査補助情報に含まれる食品および枠も同じ速度で移動しているため、検査補助情報に含まれる食品および枠の画像は、食品の移動に拘わらず、食品の位置に合致するように投影される。したがって、搬送される食品に投影されている枠の中には異物（羽根）が含まれることとなる。作業者は食品に投影されている枠内に羽根があると分かるため、容易に羽根を特定できる。

図１６は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置２の撮影領域に入ったことをセンサ２３が検出すると（ステップＳ２０１）、センサ２３は検出信号を制御部１３に送る。制御部１３はカメラ３２に撮影の指示信号を出力する。カメラ３２は、グリーンフィルタを介して食品を一定時間間隔で複数回撮影（連続撮影）し、制御部１３は、複数の撮影画像を画像記憶部１１に格納する（Ｓ２０２）。画像処理部１２は、各撮影画像を画像処理する。具体的には、各撮影画像を画像処理した画像を生成する（Ｓ２０３）。

検出処理部１４は、画像処理された画像に基づき、エッジ検出を用いて、異物の検出処理を行う（Ｓ２０４）。ここでは、異物として羽根の検出処理を行う。具体的には、まず検出処理部１４は、画像処理された画像を、閾値で二値化し、二値化画像を生成する。二値化画像に基づき、１（または０）のピクセル領域を羽根領域として特定する。

補助情報生成部１５は、特定された羽根領域の位置を表す情報を生成する（Ｓ２０５）。例えば、羽根を囲む枠データを生成し、枠データを撮影画像に配置した画像（検査補助情報）を生成する。

制御部１３は、複数の撮影画像に対して生成された複数の検査補助情報を受け取り、検査対象となった食品が検査区間を通過するタイミングで、複数の検査補助情報をプロジェクタ７１に一定時間間隔で順番に出力する。これにより、複数の検査補助情報が一定時間間隔で搬送路を搬送される食品に投影される（Ｓ２０６）。これにより搬送路上の食品の移動に合わせて、投影される検査補助情報に含まれる枠データの位置を移動させることができるため、作業者は食品の異物（羽根）に投影される枠を途切れることなく、確認しつづけることができる。よって、作業者は、羽根を容易に特定し、除去できる。

本実施形態では、カメラ３２の撮影領域（撮影方向）およびプロジェクタ７１の投影領域（投影方向）は固定であったが、食品を連続撮影する場合、カメラ３２の向きを移動させながら、食品を撮影してもよい。同様に、プロジェクタ７１の投影方向を移動させながら、複数の検査補助情報を順次投影してもよい。これにより、アングルが狭いカメラおよび照射角の狭いプロジェクタを用いることができる。

本実施形態では、撮影画像に枠データを配置した画像を検査補助情報として食品に投影したが、枠データのみを含む画像（鶏肉を含まない画像）を、検査補助情報として生成し、食品に投影してもよい。

本実施形態では、食品に検査補助情報を投影したが、搬送路に投影してもよい。例えば、搬送される食品の近傍（例えば右側、左側、上側、または下側など）の搬送路部分に、検査補助情報を投影してもよい。この場合も、搬送される食品に同期して、投影される情報の位置も移動する。これにより作業者は、搬送される食品の近傍に表示された検査補助情報を見ながら、検査を行うことができる。

本実施形態では、情報出力装置として情報を光により投影するプロジェクタを用いたが、光ビームにより情報を投影するビーム投影器を用いてもよい。ビーム投影器を用いる場合、検出された異物の位置に対して光ビームを投影してもよい。また、異物を囲むように、投影するビームを移動させてもよい。いずれの場合も、搬送される食品に同期して、投影されるビームの投影位置も移動する。このように光ビームを投影することも、検査補助情報の表示の一形態である。

第１の実施形態をベースに異物（羽根）を検出する場合を例に本実施形態をしたが、第２の実施形態のように欠陥（血合い等）を検出する場合にも本実施形態と同様の実施が可能である。

（第４の実施形態）
第１～第３の実施形態では、撮影画像に基づき食品の異物または欠陥の検出処理を行い、検出結果に応じた検査補助情報を生成および表示した。これに対して、本実施形態では食品の特性情報を測定し、測定した特性情報に応じた検査補助情報を生成および表示する。これ以外については基本的にこれまでの実施形態と同様である。

図１７に、本実施形態に係る食品検査補助システムの一例を示す。第３の実施形態で用いた図１２における撮影装置２が３次元カメラ（３Ｄカメラ）１１２に置換され、検出処理部１４が測定処理部１１１に置換されている。図１２と同じ名称の要素には同一の符号を付してある。以下、第３の実施形態から変更および拡張された点を中心に説明する。

３Ｄカメラ１１２は、検査対象の食品を撮影する。３Ｄカメラ１１２はセンシング装置の一例である。３Ｄカメラ１１２は、食品のカラーと深度を測定し、３Ｄカメラ１１２の出力情報である３Ｄ画像を撮影画像として取得する。３Ｄ画像は、ピクセルごとのカラー情報と深度を含む。深度は、一例として、赤外線を照射するＬＥＤと、反射した赤外線を受光するセンサとを用いて測定できる。センサ２３が食品１２２を検出すると、センサ２３が検出信号を制御部１３に出力する。検出信号を受信した制御部１３が３Ｄカメラ１１２に撮影の指示信号を出力し、３Ｄカメラ１１２が撮影を行う。撮影回数は、１回または複数回である。以下の説明では複数回撮影する（連続撮影する）場合を想定する。

画像処理部１２は、３Ｄ画像に前処理を行う。例えばノイズ成分を減らす処理（平均化）、コントラスト調整、濃淡調整などを行う。前処理を行わない構成も可能である。

測定処理部１１１は、３Ｄ画像に基づき、食品の特性情報を測定する。例えば食品の重量を測定する。３Ｄ画像に基づき食品の体積を測定し、体積に食品（鶏肉）の平均密度を掛け合わせることで、重量を算出する。鶏肉の平均密度は、事前に測定処理部１１１に与えておくか、測定処理部１１１からアクセス可能なメモリ等の記憶部に格納しておく。重量以外に、鶏肉のサイズ（縦・横・高さの少なくとも１つ）を測定してもよい。また、鶏肉の脂肪比率を計算してもよい。例えば、輝度が一定値以上のピクセルの箇所（鶏肉の白っぽい部分）は深さ方向にすべて脂肪部分とみなし、鶏肉の全体の体積と脂肪部分の体積との比率から脂肪比率を計算する。なお、本実施形態では３Ｄカメラを使って食品の特性情報を測定しているが、可視光または紫外線などを用いて測定を行うことも可能である。また、３Ｄカメラで無く、センシング装置である重量センサを搬送装置４に配置し、重量センサで鶏肉の重量を検出してもよい。

補助情報生成部１５は、測定処理部１１１で測定された食品の特性情報に基づき、検査補助情報を生成する。具体的には、３次元画像、または深度情報を除いた２次元画像における鶏肉の位置に食品の特性情報を配置した（重ねた画像）を生成する。または、鶏肉と同じ位置に特性情報を配置した、鶏肉の画像が入っていない画像を生成してもよい。

制御部１３は、複数の撮影画像（３Ｄ画像）に対して生成された複数の検査補助情報を受け取る。制御部１３は、センサ２４から食品１２１の検出信号を受信すると、複数の検査補助情報が一定時間間隔で投影されるようプロジェクタ７１を制御する。制御部１３は、プロジェクタ７１に複数の検査補助情報を一定時間間隔で出力する。プロジェクタ７１は、制御部１３から入力される複数の検査補助情報を一定時間間隔で順番に搬送路に対して投影する。プロジェクタ７１の照射領域は、一例として、撮影装置２の撮影領域と同じサイズである。

図１８にプロジェクタ７１による投影の例を示す。搬送装置４により鶏肉（食品）１２１が搬送され、プロジェクタ７１の投影領域８２に入ると、これに合わせて、プロジェクタ７１から一定時間間隔で、複数の検査補助情報が投影される。第３の実施形態と同様に、搬送される食品に検査補助情報（食品の特性情報が含まれる）が食品に重なるように投影される。図の例では「３９８グラム」の文字データが、検査対象となる鶏肉１２１に投影されている。プロジェクタ７１の撮影が行われている間も食品１２１は移動しているが、時刻ｔ３１、時刻ｔ３２、時刻ｔ３３で投影される検査補助情報に含まれる特性情報もこれに合わせるように移動し、特性情報は、食品の移動に拘わらず、食品に重なるように投影される。作業者は食品に投影されている重量の値を確認することで、鶏肉の重量が仕様で定められた範囲内にあるかを判断する。仕様に定められた範囲内にあるときは、その鶏肉は適性であるとして、そのまま回収装置４ａに回収させる。仕様範囲外にあるときは、その鶏肉を搬送路から手で取り上げ、別途用意したケースに収容する。図の例では、仕様範囲内のため、作業者は問題ないと判断し、鶏肉１２１を見送っている。ケースに収容された鶏肉は後工程で、重量調整を行い、仕様範囲内にされる。あるいは、逆に仕様範囲内の鶏肉を取り上げて別途用意したケースに収容し、仕様範囲外の鶏肉を回収装置４ａに回収させてもよい。

図１９は、本発明の実施形態に係る動作の一例のフローチャートである。検査対象となる食品が撮影装置２の撮影領域に入ったことをセンサ２３が検出すると（ステップＳ３０１）、センサ２３は検出信号を制御部１３に送る。制御部１３は３Ｄカメラ１１２に撮影の指示信号を出力する。３Ｄカメラ１１２は、一定時間間隔で複数回撮影（連続撮影）し、制御部１３は、複数の撮影画像（３Ｄ画像）を画像記憶部１１に格納する（Ｓ３０２）。画像処理部１２は、各撮影画像に画像処理（ノイズ成分低減処理など）をする（Ｓ３０３）。

検出処理部１４は、画像処理された画像に基づき、食品の特性情報を測定する（Ｓ３０４）。例えば、食品の重量、サイズ、および脂肪比率のうち少なくとも１つを測定する。

補助情報生成部１５は、測定した特性情報を含む検査補助情報を生成する（Ｓ３０５）。

制御部１３は、複数の撮影画像に対して生成された複数の検査補助情報を受け取り、検査対象となった食品が検査区間を搬送されるタイミングで、複数の検査補助情報をプロジェクタ７１に一定時間間隔で順番に出力する（Ｓ３０６）。プロジェクタ７１は、複数の検査補助情報を一定時間間隔で投影する（同Ｓ３０６）。これにより搬送路上の食品の移動に合わせて、投影される検査補助情報に含まれる特性情報の位置を移動させることができるため、これらの特性情報が、搬送される食品の移動に合わせて、食品に投影される。作業者は食品に投影される情報（重量情報等）を途切れることなく、確認しつづけることができる。第３の実施形態で述べた各種の拡張例や変形例は、本実施形態にも適用可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲の限定することは意図していない、これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 食品検査補助装置
２ 撮影装置
３ ディスプレイ
４ 搬送装置
４ａ 回収装置
５ 枠データ
１１ 画像記憶部
１２ 画像処理部
１３ 制御部
１４ 検出処理部
１５ 補助情報生成部
２１、１２２，１２１ 鶏肉（食品）
２１ａ 異物（羽根）
２３、２４ センサ
２７ 作業者
２８ アーム部材
３０ 領域
３１、５２ 照明部
３２、５５ カメラ
３３ フィルタ
３４、５４ 開口部
５３、５６ 偏光板
７１：プロジェクタ
８２：投影領域
１１１：測定処理部
１１２：３Ｄカメラ

Claims (20)

1. 搬送路により食品を搬送する搬送装置と、
   前記搬送路を搬送され、撮影領域内を通過する前記食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影して複数の撮影画像を取得する１台のカメラと、
   前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行う検出処理部と、
   前記複数の撮影画像ごとに、前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
   複数の前記検査補助情報を、前記食品の検査が行われる検査区間における前記搬送路の少なくとも一部を含む所定の投影方向に前記食品の移動に合わせて順次切り替えて投影することにより、前記検査区間を搬送される前記食品、または前記検査区間における前記搬送路に複数の前記検査補助情報を順次表示する、プロジェクタと、
   を備えた食品検査補助システム。
2. 前記補助情報生成部は、前記複数の撮影画像ごとに、検出された異物または欠陥の位置を特定する情報を含む前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成し、
   前記プロジェクタは、前記複数の撮影画像のそれぞれ含まれる前記食品の前記異物または欠陥の位置に対応付けられた前記検査補助情報を含む複数の画像を順次投影する、
   請求項１に記載の食品検査補助システム。
3. 前記カメラは、前記食品を第１の所定時間間隔で撮影して前記複数の撮影画像を取得し、
   前記プロジェクタは、複数の前記検査補助情報を第２の所定時間間隔で、前記所定の投影方向に順次投影する、
   請求項１に記載の食品検査補助システム。
4. 前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき、前記検査区間を搬送される前記食品、または前記検査区間における前記搬送路に、複数の前記検査補助情報を前記食品の移動に合わせて順次切り替えて表示させる制御部をさらに備えた、
   請求項１に記載の食品検査補助システム。
5. 搬送路により食品を搬送する搬送装置と、
   前記搬送路を搬送され、撮影領域を通過する前記食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影して複数の撮影画像を取得する１台のカメラと、
   前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行う検出処理部と、
   前記複数の撮影画像ごとに、前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
   複数の前記検査補助情報を前記食品の移動に合わせて順次切り替えて表示する、ディスプレイと、
   を備えた食品検査補助システム。
6. 前記補助情報生成部は、前記複数の撮影画像ごとに、検出された異物または欠陥の位置を特定する情報を含む前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成し、
   前記ディスプレイは、前記複数の撮影画像のそれぞれ含まれる前記食品の前記異物または欠陥の位置に対応付けられた前記検査補助情報を含む複数の画像を前記食品の移動に合わせて順次切り替えて表示する、
   請求項５に記載の食品検査補助システム。
7. 前記カメラは、前記食品を第１の所定時間間隔で撮影して前記複数の撮影画像を取得し、
   前記ディスプレイは、複数の前記検査補助情報を第２の所定時間間隔で順次表示する、
   請求項５に記載の食品検査補助システム。
8. 前記食品の検査が行われる検査区間へ前記食品が搬送されるまでの時間に基づき、複数の前記検査補助情報を前記食品の移動に合わせて順次切り替えて表示させる制御部をさらに備えた、
   請求項５に記載の食品検査補助システム。
9. 前記制御部は、前記食品が前記検査区間を搬送されるタイミングで複数の前記検査補助情報を表示させる
   請求項４または８に記載の食品検査補助システム。
10. 前記検査補助情報は、検出された前記異物または欠陥のサイズ、および形状の少なくとも１つに関する情報をさらに含む
    請求項１ないし９のいずれか一項に記載の食品検査補助システム。
11. 前記カメラは、前記食品に紫外線を照射し、発生した蛍光をグリーンフィルタを通して検出することにより、前記食品を撮影する
    請求項１ないし１０のいずれか一項に記載の食品検査補助システム。
12. 前記検出処理部は、前記グリーンフィルタを介して撮影された画像に基づき二値化画像を生成し、前記二値化画像に基づき前記異物または前記欠陥を検出する
    請求項１１に記載の食品検査補助システム。
13. 前記撮影画像は、カラー画像を含み、
    前記検出処理部は、前記カラー画像に含まれる赤色画像と緑色画像との差分画像を生成し、前記差分画像に基づいて、前記異物または前記欠陥を検出する
    請求項１ないし１２のいずれか一項に記載の食品検査補助システム。
14. 前記撮影画像は、赤外線画像と、カラー画像とを含み、
    前記検出処理部は、前記赤外線画像と、前記カラー画像に含まれる緑色画像との差分画像を生成し、前記差分画像に基づいて、前記異物または前記欠陥を検出する
    請求項１ないし１２いずれか一項に記載の食品検査補助システム。
15. 前記カメラは、前記食品の特性情報を検出し、前記検査補助情報は、前記特性情報を含み、前記特性情報は、前記食品の重量、サイズおよび脂肪比率のうちの少なくとも１つを含む
    請求項１ないし１４のいずれか一項に記載の食品検査補助システム。
16. 前記食品の通過を検出するセンサを備え、
    前記制御部は、前記センサにより前記食品が検出されたタイミングに応じて、複数の前記検査補助情報を順次切り替えて表示させる
    請求項４または８に記載の食品検査補助システム。
17. 搬送装置によって搬送路上を搬送され、撮影領域内を通過する食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影する１台のカメラから複数の撮影画像を取得し、前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行う検出処理部と、
    前記複数の撮影画像ごとに、前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
    複数の前記検査補助情報を、前記食品の検査が行われる検査区間における前記搬送路の少なくとも一部を含む所定の投影方向に前記食品の移動に合わせて順次切り替えて投影することにより、前記検査区間を搬送される前記食品、または前記検査区間における前記搬送路に複数の前記検査補助情報を順次表示させるよう制御する制御部と、
    を備えた食品検査補助装置。
18. 搬送装置によって搬送路上を搬送され、撮影領域内を通過する食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影する１台のカメラから複数の撮影画像を取得し、前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行う検出処理部と、
    前記複数の撮影画像ごとに、前記検出処理部の出力情報に基づいて、前記食品の検査補助情報を生成する補助情報生成部と、
    複数の前記検査補助情報をディスプレイの画面に前記食品の移動に合わせて順次切り替えて表示させるよう制御する制御部と、
    を備えた食品検査補助装置。
19. 搬送装置によって搬送路上を搬送され、撮影領域内を通過する食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影する１台のカメラから複数の撮影画像を取得するステップと、
    前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行うステップと、
    前記複数の撮影画像ごとに、前記検出処理の出力情報に基づいて、前記食品の検査補助情報を生成するステップと、
    複数の前記検査補助情報を、前記食品の検査が行われる検査区間における前記搬送路の少なくとも一部を含む所定の投影方向に前記食品の移動に合わせて順次切り替えて投影する制御を行うことにより、前記検査区間を搬送される前記食品、または前記検査区間における前記搬送路に複数の前記検査補助情報を順次表示するステップと、
    をコンピュータに実行させるためのコンピュータプログラム。
20. 搬送装置によって搬送路上を搬送され、撮影領域内を通過する食品を、前記食品が前記撮影領域内に存在する間に前記撮影領域内の複数の異なる位置で撮影する１台のカメラから複数の撮影画像を取得するステップと、
    前記複数の撮影画像のそれぞれに基づいて、異物または欠陥の検出処理を行うステップと、
    前記複数の撮影画像ごとに、前記検出処理の出力情報に基づいて、前記食品の検査補助情報を生成するステップと、
    複数の前記検査補助情報をディスプレイの画面に前記食品の移動に合わせて順次切り替えて表示するステップと、
    をコンピュータに実行させるためのコンピュータプログラム。

Images