JP6754114B2

JP6754114B2 - 画像解析装置

Info

Publication number: JP6754114B2
Application number: JP2015083763A
Authority: JP
Inventors: 潤哉大西; 数也石原; 優川端; 信義粟屋; 賢二竹岡; 信二赤阪; 勝彦中元
Original assignee: Hiroshima Prefecture
Current assignee: Hiroshima Prefecture
Priority date: 2015-04-15
Filing date: 2015-04-15
Publication date: 2020-09-09
Anticipated expiration: 2035-04-15
Also published as: JP2016205839A; WO2016167319A1

Description

本発明は、農産物を撮像した画像に基づいて上記農産物の変質または該変質の予兆の有無を判定する画像解析装置、および該画像解析装置を備えた検査システムなどに関する。

レモンや八朔などの柑橘類果実を保管や出荷する前に、予め異常が起こりそうな、病気になりそうな果実が選別できることが望ましい。果実に傷があると保管中にそこからカビが発生して周辺の果実までカビを生やしてしまう。また見た目は健常であっても、既に病気に罹患しており、後になって病状が発現するものもある。そこで保存や出荷の前に検査を行い、傷のあるものや病気になりそうなものを選別しておく必要がある。

このような果実の選別方法に関する従来技術の一例として、特許文献１に開示された柑橘等の油胞損傷判定装置がある。この油胞損傷判定装置では、柑橘等の表面に紫外線を照射して、油胞の損傷部分を励起発光させることで柑橘等の表皮油胞の損傷の有無等を判定するようになっている。

また、従来技術の別の例として、特許文献２に開示された果実・そ菜の品質選別装置がある。この品質選別装置では、紫外線を照射して果実・そ菜の病障害部から発生する蛍光の強度、波長に基づいて被選別物の病障害の有無等を判別するようになっている。

また、従来技術のさらに別の例として、特許文献３に開示された農産物検査装置がある。この農産物検査装置では、紫外線領域の光を農産物に照射することにより農産物の表皮に生傷が有るか否かを判定するようになっている。

また、従来技術のさらに別の例として、非特許文献１に開示された技術がある。この技術では、３５０ｎｍにピークを持つ３１５〜４００ｎｍの紫外光をレモン果実に照射しながらカメラ撮影して画像を取得し、各画素のＲＧＢ（Red, Green and Blue）値からＨＩＳ（Hue, Saturation and Intensity）値を算出し、レモン果実の傷部分の蛍光と正常部分とをＨ値を用いて判別するようになっている。

特開平６−１２９９８７号公報（１９９４年５月１３日公開）特開昭６０−２５７３６２号公報（１９８５年１２月１９日公開）特開２００３−１４６５０号公報（２００３年１月１５日公開）

MOMIN et al, "Identification of UV-Fluorescence Components for Detecting Peel Defects of Lemon and Yuzu using Machine Vision", Engineering in Agriculture, Environment and Food Vol.6,No.4(2013)

しかしながら、上記特許文献１〜３に開示された技術では、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができないという問題点がある。また、上記非特許文献１に開示された技術では、レモン果実の傷部分の蛍光と正常部分とをＨ値（色相値）のみを用いて判別しており、例えば、保存の際に問題となる軸腐病などの病気を早期に検出することはできないという問題点がある。蛍光光度分光計(日立ハイテク、F-2700)を用いて測定したレモンの健常部分と軸腐病の予兆がある部分、軸腐病になった部分のＥＥＭＳ(Excitation-Emission Matrix)の測定結果を図１０に示す。また、励起波長が３６５ｎｍの場合のＥＥＭＳの測定結果を図１１に示す。これらの結果からレモン果実では変質または該変質の予兆として現れる蛍光物質の他に健常な果実、果実部にも蛍光物質があるため、病変時にはこれら複数の蛍光物質の蛍光が重なってしまい、従来技術の蛍光強度（明度）だけ、色の変化（色相）だけで判定するのでは見え難いという課題がある。

本発明は、以上の問題点に鑑みて為されたものであり、その目的は、農産物の変質または該変質の予兆の有無を高い確率で判定することができる画像解析装置などを提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像解析装置は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する判定部と、を備えることを特徴としている。

また、上記の課題を解決するために、本発明の一態様に係る検査システムは、紫外光を出射する光源と、紫外光が照射された農産物を撮像する撮像装置と、上記撮像装置が撮像した撮像画像を解析する画像解析装置と、を備えた検査システムであって、上記画像解析装置は、上記撮像画像の色相値、および彩度値を算出する色相彩度値算出部と、算出した色相値、および彩度値を元に農産物の変質または該変質の予兆の有無を判定する判定部と、上記画像解析装置が備える各部として動作させることにより上記画像解析装置をコンピュータにて実現させる上記画像解析装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体と、を備え、さらに、上記判定部による判定結果を表示する出力部を備えていることを特徴としている。

本発明の一態様によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができるという効果を奏する。

本発明の実施の一形態に係る検査システムの構成を示すブロック図である。上記検査システムの動作の流れの一例を示すフローチャートである。図２に示したフローに続くフローを示すフローチャートである。上記検査システムに関し、蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示すグラフであり、（ａ）および（ｃ）は、それぞれ、柑橘類果実が正常な場合の蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示し、（ｂ）および（ｄ）は、それぞれ、柑橘類果実が病気の場合の蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示す。上記検査システムに関し、レモン果実に白色光を照射して有効画素を特定するために用いる画像を示す図面代用写真であり、（ａ）は、有効画素の特定例を示し、（ｂ）は、レモン果実に白色光を照射したときの状態を示す。軸腐病を罹患したレモン果実および正常なレモン果実のそれぞれにおける蛍光画像の各画素におけるＨ値およびＳ値の分布状態を比較した図面代用写真であり、（ａ）および（ｃ）は、それぞれ、複数のレモン果実に対して紫外光を照射したときの様子を示す図面代用写真であり、（ｂ）および（ｄ）は、それぞれ、各レモン果実における蛍光画像の各画素におけるＨ値およびＳ値の分布状態を比較した図面代用写真である。紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の各画素におけるＨＶＳ値またはＲＧＢ値の変化を示す図面代用写真であり、（ａ）は、上記蛍光画像の各画素におけるＨＶＳ値の変化を示す図面代用写真であり、（ｂ）は、上記蛍光画像の各画素におけるＲＧＢ値の変化を示す図面代用写真であり、（ｃ）は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の例を示す図面代用写真である。（ａ）は、レモン果実の収穫時期が１月、４月と異なる春果のレモン果実の蛍光画像をそれぞれ４つのＨ値と、Ｓ値をプロットした図であり、（ｂ）は、７月に収穫した前年の夏花由来果実と１１月に収穫した春花由来果実のレモン果実の蛍光画像をそれぞれ２個と１個のＨ値と、Ｓ値をプロットした図である。本発明の実施の一形態に係る検査システムの構成を示すブロック図である。蛍光光度分光計を用いて測定したレモンの健常部分と軸腐病の予兆がある部分、軸腐病になった部分のＥＥＭＳの測定結果を示す図である。励起波長が３６５ｎｍの場合の上記ＥＥＭＳの測定結果を示す図である。蛍光光度分光計を用いて励起波長を変えた場合の蛍光測定結果を示す図である。

本発明の実施の形態について図１〜図９および図１２に基づいて説明すれば、次の通りである。以下、説明の便宜上、特定の実施形態にて説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する場合がある。

〔実施形態１〕
以下、図１に基づき、本発明の実施形態１に係る検査システム１０の構成について説明する。図１は、検査システム１０の構成を示すブロック図である。同図に示すように、検査システム１０は、複数の白色ＬＥＤ（光源、白色光光源）１ａ、複数の紫外ＬＥＤ（光源、紫外光光源）１ｂ、複数の撮像装置２、検査対象保持装置３、撮像システム制御部４、および画像解析装置５を備える。なお、図１の破線で示す四角は、外界からの光を遮断する隔壁を示す。検査システム１０は、検査対象物（農産物、例えば、レモン、八朔、柚子などの柑橘類果実など）を撮像した画像データに基づいて、検査対象物の変質または変質の予兆の有無を判定するものである。なお、本実施形態では、検査対象物としてレモン、八朔、柚子などの柑橘類果実を例にとって説明するが、これに限定されない。本実施形態の判定方法を利用できる農産物であれば、どのような農産物を検査対象物としても良い。「変質または変質の予兆」としては、柑橘類果実の軸腐病による腐敗・腐敗予兆、青かび病・緑かび病、炭疽病による腐敗、水腐れによる腐敗、かいよう病の病斑、果実の表面の陥没、生傷、害虫（ホコリダニ，訪花害虫）や擦過傷による果実表面の癒合した傷痕などを例示することができる。

（白色ＬＥＤ１ａ，紫外ＬＥＤ１ｂ）
検査システム１０では、３６５ｎｍに発光ピーク波長を有する紫外光を放射（出射）する紫外ＬＥＤ１ｂと、白色光を放射（出射）する白色ＬＥＤ１ａと、をそれぞれ、複数個（例えば９個くらい）を暗箱内に格子状に配置する。蛍光光度分光計を用いて励起波長を変えた場合の蛍光測定結果を図１２に示す。図１２の結果から、紫外光の発光波長の好適な範囲は、３００ｎｍ〜４００ｎｍ、さらに好ましい範囲は３３０ｎｍ〜３７０ｎｍの範囲である。

複数個のＬＥＤを格子状に配置する目的は、光を照射する検査対象物のハレーションを防ぐためであり、１個のＬＥＤであってもＬＥＤの前に拡散板を使用したり、暗箱の代わりに積分球のようなものを使用したりしても良い。また、紫外ＬＥＤ１ｂの放射光の可視光成分を極力小さくするために、３６０ｎｍのバンドパス光学フィルターなど可視光をカットする光学フィルターを紫外ＬＥＤ１ｂに取り付けることが望ましい。検査対象物に照射される紫外光の強さは紫外線強度計（ＵＶＡ−３６５，ＳＡＴＯＴＥＣＨ）を用いて計測した場合に０．０６８〜１．６３６ｍＷ／ｃｍ^２程度である。好ましい範囲は０．０６８〜１．６３６ｍＷ／ｃｍ^２程度で、より好ましい範囲は０．３５４〜０．５３７ｍＷ／ｃｍ^２程度である。

（撮像装置２，検査対象保持装置３）
暗箱内には、少なくとも可視光域の光感度を有する１６００万画素のＣＭＯＳ（Complementary metal-oxide semiconductor）カメラまたはＣＣＤ（Charge-coupled device）カメラで構成された撮像装置２が複数設置されており、紫外光が照射された検査対象物と、白色光が照射された検査対象物とを同一の撮像位置から撮像できるようになっている。これにより、紫外光が照射された検査対象物の蛍光画像の各画素と、白色光が照射された検査対象物の白色光画像の各画素間で画素ずれが生じることを回避でき、後述する柑橘類果実の変質または変質の予兆の有無の判定精度の悪化を回避することができる。

また、撮像装置２は、紫外光照射の撮影時と白色光照射の撮影時のそれぞれでホワイトバランス、感度、露出時間などの設定が固定されている。複数個など多量の検査対象物を一回で撮影する場合には、解像度を上げるために撮像装置２をより高画素にする必要がある。図１に示すように、暗箱内には複数の撮像装置２、または、検査対象物と撮像装置２との相対位置を変更する検査対象保持装置３（例えば、検査対象物を回転させる回転機構などを備える）が設置されており、検査対象物の様々な方向から撮影が行えるようになっている。これにより、検査対象物の全体の撮像が可能になるため、柑橘類果実の変質等の判定精度を高めることができる。

（撮像システム制御部４）
撮像システム制御部４は、複数の白色ＬＥＤ１ａ、複数の紫外ＬＥＤ１ｂ、複数の撮像装置２、および検査対象保持装置３から構成される撮像システムを統括的に制御するものである。図１に示すように、撮像システム制御部４は、光源制御部４１、撮像装置制御部４２、および検査対象保持装置制御部４３を備える。撮像システム制御部４の各制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

光源制御部４１は、複数の白色ＬＥＤ１ａ、および複数の紫外ＬＥＤ１ｂのそれぞれの動作を制御するものである。撮像装置制御部４２は、複数の撮像装置２のそれぞれに検査対象物の画像を撮像させる制御を行うとともに、各撮像装置２が検査対象物を撮像した撮像画像（白色光画像または蛍光画像）を後述する画像解析装置５に渡す制御を行う。検査対象保持装置制御部４３は、検査対象保持装置３の動作を制御するものである。

（画像解析装置５）
図１に示すように、画像解析装置５は、白色光画像または蛍光画像を解析する装置であり、有効画素特定部５１、色相彩度値算出部５２、および判定部５３を備える。画像解析装置５の各制御ブロックは、集積回路等に形成された論理回路によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。また、画像解析装置５は、撮像装置制御部４２から取得した白色光画像や蛍光画像、および画像解析装置５の各制御ブロックで生成される各種処理データなどを記憶する記憶部（不図示）を備えている。

有効画素特定部５１は、白色光が照射された検査対象物を撮像した白色光画像の各画素のＨ値（色相値）に基づいて、解析対象となる有効画素を特定するものである。より具体的には、例えば、検査対象物がレモン果実である場合、白色光画像の各画素のＨ値が、０＜Ｈ値＜６０または２４０＜Ｈ値＜３６０を満たす画素を、解析対象となる有効画素として特定する。ここで、図５は、レモン果実に白色光を照射して有効画素を特定する様子を示す図面代用写真である。図５の（ａ）は、有効画素の特定例を示し、一方、図５の（ｂ）は、レモン果実に白色光を照射したときの状態を示す。

発明者らの実験により、レモン果実の軸・癒合部の各画素については、Ｈ値およびＳ値による軸腐病の罹患または軸腐病の予兆の有無の判別が困難なため、レモン果実の軸・癒合部の各画素は処理対象から事前に除外しておくことが好ましいことが判明している。そこで、図５の（ａ）に示すレモン果実の軸・癒合部の各画素は、上記Ｈ値の条件を満たさないことで、有効画素でないと判定されるようにしている。以上により、蛍光画像の各画素からレモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

色相彩度値算出部５２は、白色光が照射された検査対象物を撮像した白色光画像の各画素のＲＧＢ値に基づいてＨ値（色相値）を算出する処理を実行する。また、色相彩度値算出部５２は、有効画素特定部５１によって特定された有効画素について、紫外光が照射された検査対象物を撮像した蛍光画像の各画素のＲＧＢ値に基づいてＨ値およびＳ値（彩度値）を算出する処理を実行する。なお、本実施形態では、白色光画像の各画素のＲＧＢ値に基づいてＨ値を算出する処理と、蛍光画像の各画素のＲＧＢ値に基づいてＨ値およびＳ値を算出する処理と、を一つのブロックである色相彩度値算出部５２が実行する形態について説明したが、このような形態に限定されない。例えば、白色光画像の各画素のＲＧＢ値に基づいてＨ値を算出する処理と、蛍光画像の各画素のＲＧＢ値に基づいてＨ値およびＳ値を算出する処理と、を２つのブロックに分けて実行する形態を採用しても良い。

また、本実施形態では、有効画素特定部５１によって特定された有効画素について、蛍光画像の各画素のＨ値およびＳ値を算出する構成を採用しているが、有効画素を特定せず、直接、蛍光画像の全画素のＨ値およびＳ値を算出する構成を採用しても良い。なお、蛍光画像の各画素のＨ値およびＳ値を算出する前に事前に有効画素特定部５１によって有効画素を特定する処理を実行した方が、蛍光画像の各画素から検査対象物の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができるため、柑橘類果実の変質等の判定精度を高めることができる。

判定部５３は、色相彩度値算出部５２によって算出された蛍光画像の各画素におけるＨ値およびＳ値に基づいて、検査対象物の変質または該変質の予兆の有無を判定するものである。蛍光画像の各画素における色相値が第１の値と第２の値の間に入り、彩度値が第３の値と第４の値の間に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定する。より具体的には、例えば、検査対象物がレモン果実である場合、判定部５３は、上記蛍光画像の各画素におけるＨ値およびＳ値が、６０（第１の値）＜Ｈ値＜１８０（第２の値）かつ０（第３の値）＜Ｓ値＜５０（第４の値）、または、２４０（第１の値）＜Ｈ値＜３６０（第２の値）かつ０（第３の値）＜Ｓ値＜５０（第４の値）を満たす画素の画素数が、閾値数以上の場合、レモン果実は軸腐病に罹患している、または軸腐病の予兆があると判定する。

なお、判定部５３は、蛍光画像の各画素における色相値の前回測定値との変化量が第１の値と第２の値に入り、彩度値の前回測定値との変化量が第３の値と第４の値に入る画素の画素数が、閾値数以上の場合、測定対象物（農産物）の変質がある、または該変質の予兆があると判定しても良い。

（検査システム１０における処理の流れの一例）
次に、レモン果実の病変検知のアルゴリズムについて図２および図３のフローチャートを用いて説明する。撮影したレモン果実の画像は、紫外光照射時と白色光照射時の２種類がある。レモン果実が固定された状態で、２つの画像は短時間に連続して撮影されており、２つの画像の画素ずれはないものと考える。図２は、白色光画像を用いて、有効画素を特定する処理の流れを示すフローチャート（フローチャート１）を示す。

Ｓ１０１では、光源制御部４１が複数の白色ＬＥＤ１ａを制御して、レモン果実に白色光を照射させながら、撮像装置制御部４２が複数の撮像装置２を制御して、レモン果実の画像撮影を行い、撮像した白色光画像に係るデータを画像解析装置５に渡して、Ｓ１０２に進む。

Ｓ１０２では、色相彩度値算出部５２が、白色光画像の全画素について、Ｒ値、Ｇ値、Ｂ値（以下、ＲＧＢ値と略記する）を取り出し、Ｓ１０３に進む。

Ｓ１０３では、色相彩度値算出部５２が、白色光画像の各画素のＲＧＢ値からＨ値、Ｓ値、Ｖ値（明度値）（以下、ＨＳＶ値と略記する）を計算し、Ｓ１０４に進む。ＨＳＶ値は下記の式から計算される。以下、Ｈ値、Ｓ値およびＶ値の座標空間をＨＳＶ空間という。

Ｓ１０４では、有効画素特定部５１が、ＨＳＶ値で有効画素を特定し、有効画素部分である果実の部分（周辺部）と、癒合部分や軸部分の画素とを判別する。すなわち、レモン果実の周辺部の画素を蛍光画像から診断を行う有効画素部分とする。例えば、白色光画像の各画素の色相値が、０＜Ｈ値＜６０または２４０＜Ｈ値＜３６０を満たす画素を有効画素（果実の周辺部の画素）と特定する。具体的には、画素のＨ値が、０＜Ｈ値＜６０または２４０＜Ｈ値＜３６０を満たしていれば、Ｓ１０５に進み、有効画素と判定する。一方、画素のＨ値が、０＜Ｈ値＜６０または２４０＜Ｈ値＜３６０を満たしていなければ、Ｓ１０６に進み、無効画素と判定する。以上によれば、レモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

次に、図３は、蛍光画像を用いて、レモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定を行う処理の流れを示すフローチャート（フローチャート２）を示す。

Ｓ２０１では、光源制御部４１が複数の紫外ＬＥＤ１ｂを制御して、レモン果実に紫外光を照射させながら、撮像装置制御部４２が複数の撮像装置２を制御して、レモン果実の画像撮影を行い、撮像した蛍光画像に係るデータを画像解析装置５に渡して、Ｓ２０２に進む。

Ｓ２０２では、色相彩度値算出部５２が、蛍光画像の各画素のうち有効画素特定部５１によって特定された有効画素について、ＲＧＢ値を取り出し、Ｓ２０３に進む。

Ｓ２０３では、色相彩度値算出部５２が、蛍光画像の各画素（有効画素）のＲＧＢ値からＨＳＶ値を計算し、Ｓ２０４に進む。

Ｓ２０４では、判定部５３が、蛍光画像の有効画素におけるＨ値およびＳ値が、６０＜Ｈ値＜１８０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上であるか否かを判定する。その結果、６０＜Ｈ値＜１８０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上である場合、Ｓ２０５に進み、軸腐病の可能性大と判定する。一方、６０＜Ｈ値＜１８０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上でない場合、Ｓ２０６に進む。

Ｓ２０６では、判定部５３が、蛍光画像の有効画素におけるＨ値およびＳ値が、２４０＜Ｈ値＜３６０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上であるか否かを判定する。その結果、２４０＜Ｈ値＜３６０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上である場合、Ｓ２０５に進み、軸腐病の可能性大と判定する。一方、２４０＜Ｈ値＜３６０かつ０＜Ｓ値＜５０を満たす画素の画素数が、閾値数以上でない場合、Ｓ２０７に進み、軸腐病の可能性小と判定する。なお、撮像装置２のホワイトバランス、感度によって、あるいは撮像装置２の種類や使用する光源の種類などによってＲＧＢ値（ＨＳＶ値）は変動するため、上記の閾値数は環境や設定に応じて変更する必要がある。

（実験結果の一例）
次に、図４に基づき、発明者らによる実験結果について説明する。図４は、蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示すグラフである。図４の（ａ）および図４の（ｃ）は、それぞれ、柑橘類果実が正常な場合の蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示す。一方、図４の（ｂ）および図４の（ｄ）は、それぞれ、柑橘類果実が病気の場合の蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示す。

レモン果実の軸腐病の検知の場合、紫外光照射時に軸腐病の部分またはその予兆部分（「Ｂ」、「Ｃ」の四角で囲んだ領域参照）は、正常な部分「Ａ」と比べてＳ値が低くなり、Ｈ値が正常な橙色・黄色から緑色方向「Ｂ」か、或いは、橙色・黄色から赤色方向「Ｃ」にある。このような病気部分と思われる画素数の数がある一定以上ある場合に病気果実であると判定することができる。これにより軸腐病に罹患している可能性が高いと早期に判断することができる。なお、病変部分が白色光照射時でも見えるようになるまで進むと、紫外光照射時では予兆部分よりＳ値が高くなり、Ｈ値は青色から紫色の範囲になる。なお、画像のＲＧＢ値は撮像装置２のホワイトバランス、感度によって、或いは撮像装置２の種類や使用する光源の種類などによって同じ対象物を撮影しても値が変動するため、撮影条件は常に固定しておく必要がある。

次に、図６は、軸腐病を罹患したレモン果実および正常なレモン果実のそれぞれにおける蛍光画像の各画素におけるＨ値およびＳ値の分布状態を比較した図面代用写真である。図６の（ａ）および図６の（ｃ）は、それぞれ、複数のレモン果実に対して紫外光を照射したときの様子を示す図面代用写真である。一方、図６の（ｂ）および図６の（ｄ）は、それぞれ、各レモン果実における蛍光画像の各画素におけるＨ値およびＳ値の分布状態を比較した図面代用写真である。

図６の（ｂ）および図６の（ｄ）のそれぞれに示す「ａ」のグラフは、図６の（ａ）に示す「ａ」のレモン果実（軸腐病に罹患）における蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示している。これらの図面代用写真に示すように、病気レモンでは、Ｈ値が急激に変化（橙→緑→青）している。また、Ｓ値は、一度下がって、上がっている。

次に、図６の（ｂ）および図６の（ｄ）のそれぞれに示す「ｂ」〜「ｆ」のグラフは、それぞれ、図６の（ａ）に示す「ｂ」〜「ｆ」のレモン果実（健常）における蛍光画像の各画素におけるＨ値およびＳ値の分布状態を示している。これらのグラフでは、「ａ」のグラフのようなＨ値およびＳ値の変化は見られない。以上の実験結果は、蛍光画像の各画素のＨ値およびＳ値の変化を利用して軸腐病の罹患または軸腐病の予兆の有無を判別できる可能性を示している。

（八朔果実の実験例）
次に、図７は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の各画素におけるＨＶＳ値またはＲＧＢ値の変化を示す図面代用写真である。図７の（ａ）は、上記蛍光画像の各画素におけるＨＶＳ値の変化を示す図面代用写真である。また、図７の（ｂ）は、上記蛍光画像の各画素におけるＲＧＢ値の変化を示す図面代用写真である。一方、図７の（ｃ）は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の例を示す図面代用写真である。

図７の（ａ）および図７の（ｂ）に示すグラフの横軸が、図７の（ｃ）に示す画像の白矢印で示した場所の画素の位置を示す。また、図７の（ａ）および図７の（ｂ）に示すグラフの縦軸は、それぞれ、ＨＳＶ値およびＲＧＢ値を示す。

図７の（ａ）に示すように、健常の部分から境界の部分では急速にＨ値が変化（減少）して、Ｓ値が増加し、Ｖ値も増加している。一方、軸腐病の部分では再度、Ｈ値が変化して（増加して）、Ｓ値が減少、Ｖ値が減少している。以上の結果は、八朔果実においてもレモン果実と同様に、紫外線を照射して八朔果実を撮像した蛍光画像の各画素におけるＨ値およびＳ値の変化を利用して軸腐病の罹患または軸腐病の予兆の有無を判別できる可能性を示している。

（検査システム１０による効果）
上述した検査システム１０では、色相彩度値算出部５２は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部５３は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献１に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

（レモン果実の鮮度実験例）
上記の検査システム１０を用いて、レモン果実の収穫時期、鮮度を判定することもできる。図８の（ａ）はレモン果実の収穫時期が１月、４月と異なる春果のレモン果実の蛍光画像をそれぞれ４つのＨ値と、Ｓ値をプロットしたものである。収穫時期の新しい４月のレモン果実が収穫時期の古い１月のレモン果実よりＳ値が高くなっている。

図８の（ｂ）は７月に収穫した前年の夏花由来果実と１１月に収穫した春花由来果実のレモン果実の蛍光画像をそれぞれ２個と１個のＨ値と、Ｓ値をプロットしたものである。この場合でも収穫時期の新しい１１月のレモン果実が収穫時期の古い７月のレモン果実よりＳ値が高くなっている。以上により、Ｈ値とＳ値を用いてレモン果実の鮮度を判定することができる。また、夏果と春果の蛍光画像では色相が異なっていることから、夏果と春果を色相で判定できる可能性がある。

その他、上記のレモン果実の分類は、例えば、収穫後１１か月（前年の春花由来果実：１月収穫）、収穫後８か月（前年の春花由来果実：４月収穫）、収穫後５か月（前年の夏花由来果実：７月収穫）、および収穫後２週間（春花由来果実：１１月収穫）のように分類しても良い。

〔実施形態２〕
次に、図９に基づき、本発明の実施形態２に係る検査システム２０について説明する。同図に示すように、検査システム２０は、白色ＬＥＤ（白色光源）１ａ、紫外ＬＥＤ（紫外光源）１ｂ、撮像装置２、画像解析装置５、出力部（表示部）６を備える。白色ＬＥＤ（白色光源）１ａ、紫外ＬＥＤ（紫外光源）１ｂ、撮像装置２については上述した実施形態１と同様である。

本実施形態の画像解析装置５は、有効画素特定部５１を備えていない点で、実施形態１の構成と異なっているが、色相彩度値算出部５２および判定部５３の機能は実施形態１と同様である。すなわち、本実施形態の検査システム２０は、有効画素を特定せず、直接、蛍光画像の全画素のＨ値およびＳ値を算出する構成となっている点で、実施形態１の検査システム１０と異なっている。また、本実施形態の画像解析装置５は、さらに、画像解析装置５が備える各部として動作させることにより画像解析装置５をコンピュータにて実現させる画像解析装置５の制御プログラム５５を記録したコンピュータ読み取り可能な記録媒体５４を備えており、画像解析装置５の判定部５３の判定結果を出力する出力部（表示部）６を備えている。

（検査システム２０による効果）
上述した検査システム２０では、色相彩度値算出部５２は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部５３は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献１に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

〔実施形態３；ソフトウェアによる実現例〕
画像解析装置５の制御ブロック（特に有効画素特定部５１、色相彩度値算出部５２および判定部５３）は、集積回路等に形成された論理回路によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。

後者の場合、画像解析装置５は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像解析装置は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部（５２）と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する判定部（５３）と、を備える構成である。

上記構成によれば、色相彩度値算出部は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する。このため、上記非特許文献１に開示された技術のように、色相値のみに基づいて農産物の変質または該変質の予兆の有無を判定する技術と比較して、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

本発明の態様２に係る画像解析装置は、上記態様１において、上記農産物は柑橘類果実であることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

本発明の態様３に係る画像解析装置は、上記態様１または２において、上記判定部は、色相値、彩度値および明度値の座標空間であるＨＳＶ空間における色相値に第１の値とそれより大きい第２の値を設け、彩度値に第３の値とそれより大きい第４の値を設け、上記蛍光画像の各画素における色相値が上記第１の値と上記第２の値の間に入り、彩度値が上記第３の値と上記第４の値の間に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

本発明の態様４に係る画像解析装置は、上記態様１または２において、上記判定部は、色相値、彩度値および明度値の座標空間であるＨＳＶ空間における色相値に第１の値とそれより大きい第２の値を設け、彩度値に第３の値とそれより大きい第４の値を設け、上記蛍光画像の各画素における色相値の前回測定値との変化量が上記第１の値と上記第２の値に入り、彩度値の前回測定値との変化量が上記第３の値と上記第４の値に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

本発明の態様５に係る画像解析装置は、上記態様３において、上記判定部は、上記農産物がレモンであり、当該レモンの軸腐病の判定を行う場合、上記蛍光画像の各画素における色相値の上記第１の値が６０、上記第２の値が１８０であり、彩度値の上記第３の値が０、上記第４の値が５０である、または、上記第１の値が２４０、上記第２の値が３６０であり、彩度値の上記第３の値が０、上記第４の値が５０であることが好ましい。上記構成によれば、レモンの軸腐病または該軸腐病の予兆の有無を高い確率で判定することができる。

本発明の態様６に係る検査システムは、紫外光を出射する光源と、紫外光が照射された農産物を撮像する撮像装置と、上記撮像装置が撮像した撮像画像を解析する画像解析装置と、を備えた検査システムであって、上記画像解析装置は、上記撮像画像の色相値、および彩度値を算出する色相彩度値算出部と、算出した色相値、および彩度値を元に農産物の変質または該変質の予兆の有無を判定する判定部と、上記画像解析装置が備える各部として動作させることにより上記画像解析装置をコンピュータにて実現させる上記画像解析装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体と、を備え、さらに、上記判定部による判定結果を出力する出力部を備えているシステムである。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

本発明の態様７に係る検査システムは、上記態様６において、上記農産物は柑橘類果実であることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

〔本発明の別の表現〕
また、本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像解析装置は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する判定部と、を備えていても良い。

上記構成によれば、色相彩度値算出部は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献１に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

また、本発明の別の態様に係る画像解析装置は、白色光が照射された上記柑橘類果実を撮像した白色光画像の各画素の色相値に基づいて、解析対象となる有効画素を特定する有効画素特定部をさらに備え、上記色相彩度値算出部は、上記有効画素特定部によって特定された有効画素について、上記蛍光画像の各画素における色相値および彩度値を算出しても良い。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができるため、柑橘類果実の変質等の判定精度を高めることができる。

また、本発明のさらに別の態様に係る画像解析装置は、上記判定部は、上記蛍光画像の各画素における色相値および彩度値が、６０＜色相値＜１８０かつ０＜彩度値＜５０、または、２４０＜色相値＜３６０かつ０＜彩度値＜５０を満たす画素の画素数が、閾値数以上の場合、上記柑橘類果実の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無をより高い確率で判定することができる。

また、本発明のさらに別の態様に係る画像解析装置は、上記有効画素特定部は、上記白色光画像の各画素の色相値が、０＜色相値＜６０または２４０＜色相値＜３６０を満たす画素を有効画素と特定しても良い。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

また、本発明の一態様に係る検査システムは、上記の何れかの画像解析装置と、上記柑橘類果実に光を照射する光源と、を備えていることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

また、本発明の別の態様に係る検査システムは、上記光源は、上記柑橘類果実に紫外光を照射する紫外光光源を含むことが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

また、本発明のさらに別の態様に係る検査システムは、上記光源は、上記柑橘類果実に白色光を照射する白色光光源を含むことが好ましい。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができ、柑橘類果実の変質等の判定精度を高めることができる検査システムを実現することができる。

また、本発明のさらに別の態様に係る検査システムは、上記紫外光が照射された柑橘類果実と、上記白色光が照射された柑橘類果実とを同一の撮像位置から撮像する撮像装置を備えていることが好ましい。上記構成によれば、蛍光画像の各画素と白色光画像の各画素間で画素ずれが生じることを回避できるため、上記画素ずれが生じることによる判定精度の悪化を回避することができる。

また、本発明のさらに別の態様に係る検査システムは、上記柑橘類果実と上記撮像装置との相対位置を変更する検査対象保持装置を備えていても良い。上記構成によれば、柑橘類果実の全体の撮像が可能になるため、柑橘類果実の変質等の判定精度を高めることができる。

〔付記事項〕
本発明の各態様に係る画像解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像解析装置が備える各部（ソフトウェア要素）として動作させることにより上記画像解析装置をコンピュータにて実現させる画像解析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、果実を撮像した画像に基づいて上記果実の変質または該変質の予兆の有無を判定する画像解析装置、および該画像解析装置を備えた検査システムなどに利用することができる。

１ａ白色ＬＥＤ（光源、白色光光源）
１ｂ紫外ＬＥＤ（光源、紫外光光源）
２撮像装置
３検査対象保持装置
５画像解析装置
５１有効画素特定部
５２色相彩度値算出部
５３判定部

Claims

紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、
上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、
上記農産物の変質または該変質の予兆の有無を判定する判定部と、を備え、
上記判定部は、色相値、彩度値および明度値の座標空間であるＨＳＶ空間における色相値に第１の値とそれより大きい第２の値を設け、彩度値に第３の値とそれより大きい第４の値を設け、
上記蛍光画像の各画素における色相値の前回測定値との変化量が上記第１の値と上記第２の値に入り、彩度値の前回測定値との変化量が上記第３の値と上記第４の値に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定することを特徴とする画像解析装置。