JP6632014B1 - 追熟度判定装置 - Google Patents

Abstract

【課題】市販の撮像手段により得られる画像データに基づいて追熟度を簡便に判定できる追熟度判定装置を提供する。【解決手段】追熟度判定装置１は、果物の画像データを背景色がその参照値と等しくなるように補正して規格化する色調規格化部５と、規格化された画像データから所定範囲の色調を対象領域として切り出す対象領域切出部６と、該対象領域のＲＧＢ成分について所定の演算を施して判定基礎値を取得する判定基礎値取得部７と、該判定基礎値に基づいて前記果物の追熟の程度を判定する追熟度判定部８とを備える。【選択図】図１

Description

本発明は、果物の追熟度を判定する追熟度判定装置に関する。

従来、一部の果物は、種子は成熟しており、果肉にも十分な栄養素が蓄積している状態で成熟過程が一端休止し、その後、ある程度の時間を置いてグルコースやフルクトースの生成、果肉の軟化、芳香物質の生成などがしばしば五月雨式に生じる後熟を行う特性を有する。

このような果物は、収穫した後、成熟が完了するまでの追熟を行ってから食に供されるので、追熟が行われる間に集荷や輸送、保存に供することができるという利便性を有している。

一方、農作物表面に照射される光の該農作物表面からの拡散反射光を測定し、その拡散反射光のピーク特性値に基づいて、該農作物の成熟度を判定する装置が知られている（例えば、特許文献１参照）。特許文献１の装置では、当該農作物表面で反射した拡散反射光を測定するための手段が、農作物の成熟度の特徴を表す波長帯域のみを透過させる光学フィルタ等によって構成される。

具体的には、特許文献１の装置は、当該光学フィルタ等を用いることが可能な拡散反射光測定手段と、測定された拡散反射光のピーク特性値を計算するピーク特性計算手段と、計算されたピーク特性値に基づいて農作物の成熟度を判定する成熟度判定手段とで構成される。かかる装置は、収穫後の果物について、成熟が完了するまでの追熟度を判定することにも利用することができると考えられる。

特開２００６−５５７４４号公報

しかしながら、上記特許文献１の装置によれば、光学フィルタ等を用いることが可能な拡散反射光測定手段を用いているので、ハード構成が成熟度判定に特化したものとなる。

本発明の目的は、かかる従来技術の課題に鑑み、市販の撮像手段により得られる画像データに基づいて追熟度を簡便に判定できる追熟度判定装置を提供することにある。

本発明の追熟度判定装置は、
果物の可視画像を統一した背景色の下で撮像手段により撮像して得られた画像データの背景色がその参照値と等しくなるように、該画像データ全体の色調を補正して規格化する色調規格化部と、
前記色調規格化部により規格化された前記画像データから、背景色以外の領域の色調の平均値から所定範囲の色調、或いは所定の所定範囲の色調を対象領域として切り出す対象領域切出部と、
前記対象領域切出部により切り出された対象領域のＲＧＢの３つの成分又は該３つの成分のうちのいずれか２つの成分について所定の演算を施して判定基礎値を取得する判定基礎値取得部と、
前記判定基礎値取得部により取得された判定基礎値に基づいて前記果物の追熟の程度を判定する追熟度判定部とを備え、
前記果物は、ラフランス又はアールスメロンであり、
前記所定の演算は、前記判定基礎値として、前記果物の追熟の進行に伴って増大する値が得られる演算又は該果物の追熟の進行に伴って減少する値が得られる演算であって、前記ラフランスにあっては、前記対象領域のＲ成分の平均値及びＧ成分の平均値のうちのいずれか一方を他方で除する演算又はいずれか一方から他方を減ずる演算であり、前記アールスメロンにあっては、前記対象領域におけるＢ成分の平均値と標準偏差との積をＲ成分の平均値で除する演算又は該Ｒ成分の平均値を該積で除する演算であり、
前記追熟度判定部は、経時的に変化する前記判定基礎値が所定の判定閾値を超えたか否かに基づいて追熟の完了又は追熟の程度を判定するものであり、
前記所定の判定閾値として、軟らかめを好む人及び固めを好む人のそれぞれに対応した異なる判定閾値が用いられることを特徴とする。

本発明によれば、追熟度の判定の対象となる果物から取得するデータとしては、市販の撮像手段により得られるＲＧＢの画像データで足りるので、追熟度を簡便に判定することができる。

また、追熟度の判定の基礎となる判定基礎値は、対象領域のＲＧＢの３つの成分又は該３つの成分のうちのいずれか２つの成分についての演算により、果物の追熟の進行とともに増大し、又は減少するものとして得られる。このため、目視では判定し難い果物の追熟の程度も良好に判定することができる。

本発明において、
前記果物の種類を認識する判定対象認識部を備え、前記所定の演算は、前記判定対象認識部により認識された果物の種類に対応する演算であるのが好ましい。これによれば、判定対象の果物についてより正確に追熟度を判定することができる。

本発明の一実施形態に係る追熟度判定装置の構成を示すブロック図である。 図１の追熟度判定装置における追熟度判定処理を示すフローチャートである。 黒の統一した背景の下で撮像された果物の撮像画像を示す図である。 画像データから、背景色（黒色）以外で、同じ色調の領域を、判定対象である果物の領域（対象領域）として抽出する様子を示す図である。 購入したラフランスについて、購入後の経過日数Ｄ（日）に応じて、Ｒ−Ｇ演算による判定基礎値Ｒ−Ｇがどのように変化するかを例示するグラフである。 図６Ａ〜図６Ｃは、それぞれ、図５のラフランスの購入から０日、７日及び１１日経過した場合について、その画像データの画素毎にＲ成分からＧ成分を減算して得た画像を示す図である。 判定基礎値を得るためにＲ／Ｇ演算を用いた以外は図５の場合と同様にして判定基礎値Ｒ／Ｇを得た結果を示すグラフである。 購入したアールスメロンについて、購入後の経過日数Ｄ（日）に応じて、ＢＢｓｄ／Ｒ演算により得られる判定基礎値ＢＢｓｄ／Ｒがどのように変化するかを例示するグラフである。 ２つのラフランスについて購入後の経過日数Ｄ（日）に応じたＲ−Ｇ演算による判定基礎値Ｒ−Ｇの変化を調べた結果を示すグラフである。 判定基礎値を得るためにＲ／Ｇ演算を用いた以外は図９の場合と同様にして各ラフランスについての判定基礎値Ｒ／Ｇの変化を調べた結果を示すグラフである。

以下、図面を用いて本発明の実施形態を説明する。図１は本発明の一実施形態に係る追熟度判定装置の構成を示す。

図１に示すように、この追熟度判定装置１は、撮像手段２により得られた果物の画像データの入力を受け入れるデータ入力部３を備え、入力される画像データに基づいて当該果物の追熟度判定処理（図２参照）を行う。この追熟度判定処理を行うために、追熟度判定装置１には、判定対象認識部４、色調規格化部５、対象領域切出部６、判定基礎値取得部７、追熟度判定部８及び判定結果出力部９が設けられる。

すなわち、上記追熟度判定処理において、判定対象認識部４は、データ入力部３を介して入力された画像データに基づき、判定対象としての果物の種類等を認識する。一方、入力された画像データは、色調規格化部５により規格化されてから対象領域切出部６により、果物に対応する対象領域が切り出される。

判定基礎値取得部７は、切り出された対象領域の画像データに基づき、判定対象認識部４による認識結果を考慮して、追熟度の判定の基礎となる判定基礎値を取得する。この判定基礎値に基づいて追熟度判定部８により果物の追熟度が判定される。この判定結果は、判定結果出力部９によりディスプレイ１０に出力される。

ここで、撮像手段２としては、撮像データとしてＲＧＢ画像データを取得できるものが該当し、スマートホンや携帯電話の内蔵カメラや、デジタルカメラが該当する。図を用いて後述するように、色調規格化部５による画像データの規格化は、当該果物の可視画像を統一した背景色の下で撮像手段２により撮像して得られた画像データの背景色がその参照値と等しくなるように、該画像データ全体の色調を補正することによって行われる。

対象領域切出部６による対象領域の切出しは、色調規格化部５により規格化された画像データから、背景色以外の領域の色調の平均値から所定範囲の色調、或いは所定の所定範囲の色調を該対象領域として切り出すことにより行われる。

判定基礎値取得部７による判定基礎値の取得は、対象領域切出部６により切り出された対象領域のＲＧＢの３つの成分又は該３つの成分のうちのいずれか２つの成分について所定の演算を施すことにより行われる。所定の演算としては、判定基礎値として果物の追熟の進行とともに増大するような値が得られるような演算、又は判定基礎値として果物の追熟の進行とともに減少するような値が得られるような演算が該当する。

具体的には、所定の演算としては、例えば、ラフランスを判定対象とする場合に適したものとして、該対象領域のＲ成分の平均値Ｒを該対象領域のＧ成分の平均値Ｇで除するＲ／Ｇ演算や、該平均値Ｒを該平均値Ｇで減算するＲ−Ｇ演算が該当する。

また、アールスメロンを判定対象とする場合に適したものとして、該対象領域のＢ成分の平均値Ｂと該Ｂ成分の標準偏差Ｂｓｄとの積を該対象領域のＲ成分の平均値Ｒで除するＢＢｓｄ／Ｒ演算を採用することができる。これらのＲ／Ｇ演算、Ｒ−Ｇ演算、ＢＢｓｄ／Ｒ演算は、判定基礎値として果物の追熟の進行とともに増大するような値が得られるような演算の例である。

追熟度判定部８による追熟度の判定は、判定基礎値取得部７により取得された判定基礎値に基づいて行われる。例えば、果物の追熟の進行とともに増大するような判定基礎値が得られるような演算により判定基礎値を得る場合には、該判定基礎値が所定の判定閾値を超えた場合に、追熟が完了したと判定することができる。

追熟度判定部８による追熟度の判定結果としては、上記の追熟が完了したかどうかの他、追熟が完了するまでに要する残りの日数や、収穫から追熟完了までに要する全日数に対する追熟完了までに要する残り日数の割合などの追熟の程度を示すものであってもよい。

判定結果出力部９によるディスプレイ１０の表示は、上記判定結果を文字により表示するほか、表示結果を表す表情やシンボルであってもよい。例えば、追熟が完了している場合には、笑顔を表示するようにしてもよい。

なお、本実施形態において、追熟度判定装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ等のハードウェア及びこのハードウェア上で実行されるソフトウェアにより構成される。

図２は、追熟度判定装置１における追熟度判定処理を示す。この処理が開始されると、追熟度判定装置１は、まず、データ入力部３により、判定対象とする収穫後の果物についてデジタルカメラ等によって黒の統一した背景の下で撮像された画像データの入力を受け入れる（ステップＳ１）。この入力の受入れは、無線や、ケーブル、記録媒体を介して行われる。

次に、判定対象認識部４において、判定対象となる果物の種類が特定される（ステップＳ２）。果物の種類としては、例えば、ラフランスやアールスメロンが該当する。この判定対象の特定は、例えば、ステップＳ１で入力された画像データに基づいて、パターン認識により行うことができる。又は、ディスプレイ上のメニューから「ラフランス」又は「アールスメロン」が選択されたことに基づいて行うようにしてもよい。

次に、色調規格化部５により、上記ステップＳ１で入力された画像データの色調が規格化される（ステップＳ３）。この規格化は、図３に示すように、黒の統一した背景の下で撮像された果物（ラフランス）の撮像画像の背景色（黒色）がその参照値と等しくなるように、画像全体の色調を補正することにより行われる。

また、追熟度の判定精度を向上させるために、撮像画像の背景色（黒色）の輝度がその参照値と等しくなるように、画像全体の輝度を補正して規格化してもよい。

次に、規格化された画像データから、対象領域切出部６により、判定対象である果物の領域に対応する対象領域を切出す（ステップＳ４）。具体的には、図４に斜線で示すように、画像データから、背景色（黒色）以外で、同じ色調の領域を、判定対象である果物の領域（対象領域）として抽出する。

このとき、同じ色調の領域の抽出は、背景色以外の領域の色調の平均値から所定範囲の色調を同じ色調の領域として抽出してもよく、色調のばらつき等を考慮してユーザが所定の所定範囲の色調を指定するようにしてもよい。これにより、対象領域のうちで反射等による高輝度領域や陰となった低輝度領域を除いて対象領域を切り出すことができる。

なお、この対象領域切出部６による処理に加えて又は代えて、ユーザが対象領域を手動で指定して、対象領域を切り出すようにしてもよい。

次に、切り出された対象領域の画像データに基づいて、判定基礎値取得部７により判定基礎値を取得する（ステップＳ５）。すなわち、判定対象がラフランスである場合には、対象領域のＲ成分の平均値Ｒを対象領域のＧ成分の平均値Ｇで除するＲ／Ｇ演算、又は該平均値Ｒから該平均値Ｇを減算するＲ−Ｇ演算を行って、その演算結果としての判定基礎値を得る。

また、判定対象がアールスメロンである場合には、対象領域のＢ成分の平均値Ｂと該Ｂ成分の標準偏差Ｂｓｄとの積を対象領域のＲ成分の平均値Ｒで除するＢＢｓｄ／Ｒ演算を行って、その演算結果としての判定基礎値を得る。

次に、得られた判定基礎値に基づき、追熟度判定部８により追熟が完了したか否かや追熟の程度等を判定し、その結果を判定結果出力部９によりディスプレイ１０等に出力する。すなわち、例えば、ラフランスの場合には、Ｒ／Ｇ演算又はＲ−Ｇ演算を行って得られた判定基礎値がそれぞれ判定閾値ｒ１又はｒ２を超えた場合には、追熟が完了した旨を示す判定結果がディスプレイ１０に表示される。また、判定閾値ｒ１又はｒ２を超えていない場合には、あと何日で追熟が完了するか等の追熟の程度が表示される。

また、アールスメロンの場合には、ＢＢｓｄ／Ｒ演算を行って得られた判定基礎値が判定閾値ａ１を超えた場合には、追熟が完了した旨を示す判定結果がディスプレイ１０に表示される。また、判定閾値ａ１を超えていない場合には、追熟の程度等が表示される。これにより、追熟度判定処理が終了する。

なお、判定閾値ｒ１、ｒ２、ａ１は、例えば、予めラフランス又はアールスメロンについて収穫後の各追熟時点において、上記ステップＳ５で得られる判定基礎値と、実際に食したときの食感や味覚、測定された糖度（Ｂｒｉｘ値）などとを比較することにより定めることができる。

図５は、購入した収穫後のラフランスについて図２の追熟判定処理を行い、購入後の経過日数に応じて、図２のスッテップＳ５で得られるＲ−Ｇ演算による判定基礎値がどのように変化するかを例示するグラフである。グラフの横軸は購入後の経過日数Ｄ（日）であり、縦軸はＲ−Ｇ演算による判定基礎値Ｒ−Ｇである。図６Ａ、図６Ｂ及び図６Ｃは、それぞれ、このラフランスの購入から０日、７日及び１１日が経過した場合の画像データに基づき、その画素毎にＲ成分からＧ成分を減算して得た画像である。

図５に示すように、ラフランスの判定基礎値Ｒ−Ｇは、経過日数Ｄの増大とともに増大してゆくのがわかる。したがって、図５の場合、例えば、判定閾値ｒ１が１４である場合には、経過日数Ｄが９日ごろに追熟が完了し、食べ頃を迎えたと判定されることがわかる。また、図６Ａ〜図６Ｃに示すように、購入後の経過日数が多くなるにつれてＲ成分が優勢となっている。このことは、図５の結果を裏付けている。

図７は、判定基礎値を得るためにＲ−Ｇ演算に代えてＲ／Ｇ演算を用いた以外は図５の場合と同様にして判定基礎値Ｒ／Ｇを得た結果を示している。図７の場合には、図５の場合と同様に日が経つにつれて判定基礎値Ｒ／Ｇが増大するので、例えば、判定閾値ｒ２が１．０８５である場合には、経過日数Ｄが９日ごろに追熟が完了し、食べ頃を迎えたと判定されることがわかる。

図８は、購入したアールスメロンについて、その後の経過日数Ｄに応じて、図２のスッテップＳ４でＢＢｓｄ／Ｒ演算により得られる判定基礎値がどのように変化するかを例示するグラフである。グラフの横軸は購入後の経過日数Ｄ（日）であり、縦軸はＢＢｓｄ／Ｒ演算による判定基礎値ＢＢｓｄ／Ｒである。

図８のように、アールスメロンの場合も、経過日数Ｄが多くなるにつれて、ＢＢｓｄ／Ｒ演算による判定基礎値ＢＢｓｄ／Ｒが増大するので、判定閾値ａ１を適切に設定することにより、追熟が完了したか否かを適切に判定できることがわかる。

図９は、２つのラフランスについて図５の場合と同様にして購入後の経過日数に応じたＲ−Ｇ演算による判定基礎値の変化を調べた結果を示す。一方のラフランスについての変化は実線のグラフ曲線Ｌ１で示し、他方のラフランスについての変化は破線のグラフ曲線Ｌ２で示している。

この場合、双方のラフランスとも、経過日数Ｄが多くなるにつれて判定基礎値が増大しているが、判定基礎値は、一方のラフランスの方が他方のラフランスよりも２〜４程度大きく、双方の判定基礎値はほぼ並行して変化している。

ところで、軟らかめを好む人と固めを好む人とで判定閾値ｒ１は異なっており、柔らかめを好む人の判定閾値ｒ１は、固めを好む人の判定閾値ｒ１よりも大きい。そして、例えば、図９のように、軟らかめを好む人の判定閾値ｒ１が１３近傍であり、固めを好む人の判定閾値ｒ１が７近傍であるとする。

この場合、固めを好む人にとっては、グラフ曲線Ｌ１のラフランスについては経過日数Ｄが８日程度になると、図２の追熟度判定処理により判定基礎値が判定閾値ｒ１を超えて追熟が完了したと判定され、食べごろになったことがわかる。グラフ曲線Ｌ２のラフランスについては、経過日数Ｄが１３日程度になると、追熟が完了したと判定されることになる。

一方、軟らかめを好む人にとっては、グラフ曲線Ｌ１、Ｌ２のラフランスともに、経過日数Ｄが１３日に達しても、追熟が完了したと判定されず、追熟完了が判定されるまでにはさらに日数を要する。

図１０は、判定基礎値を得るためにＲ／Ｇ演算を用いた以外は図９の場合と同様にして２つのラフランスについて判定基礎値を得た結果を示す。一方のラフランスについての変化は実線のグラフ曲線Ｌ３で示し、他方のラフランスについての変化は破線のグラフ曲線Ｌ４で示している。

この場合も、軟らかめを好む人と固めを好む人とで判定閾値ｒ２は異なっており、軟らかめを好む人の判定閾値ｒ２は、固めを好む人の判定閾値ｒ２よりも大きく、図１０のように判定閾値ｒ２が設定されているとすれば、完熟の完了の判定については、図９の場合と同様のことがいえる。

なお、図９及び図１０のように、人の好みに応じて値が異なる判定閾値を採用し、判定結果を出力する場合には、図２の追熟度判定処理において、例えば、軟らかめを好むか又は固めを好むかを選択させ、その選択結果に応じた判定閾値を用いればよい。

以上説明したように、本実施形態によれば、追熟度の判定対象となる果物からのデータの取得は、市販の撮像手段２により画像データを得るだけで足りるので、簡便な構成で追熟度判定装置１を構成することができる。

また、判定対象の画像データのＲＧＢ成分について、果物の追熟の進行とともに増大するような判定基礎値が得られる演算により、判定結果の出力に使用される判定基礎値が取得されるので、追熟度の判定が目視によっては困難な果物についても、適切な判定基礎値を取得し、追熟度を適切に判定することができる。

また、判定基礎値を取得する演算が、対象領域のＲ成分の平均値を該対象領域のＧ成分の平均値で除するＲ／Ｇ演算又は該Ｒ成分の平均値から該Ｇ成分の平均値を減算するＲ−Ｇ演算である場合には、判定対象がラフランスである場合について、良好な判定結果を得ることができる。

また、判定基礎値を取得する演算が、対象領域のＢ成分の平均値と標準偏差との積をＲ成分の平均値で除するＢＢｓｄ／Ｒ演算である場合には、判定対象がアールスメロンである場合について、良好な判定結果を得ることができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されない。例えば、追熟度判定装置１は、図２の追熟度判定処理を一定期間が経過する毎に行い、ステップＳ５で得られる判定基礎値が、対応する判定閾値ｒ１、ｒ２又はａ１を超えた場合に追熟が完了した旨を示す表示をディスプレイ１０に出力するものであってもよい。

また、追熟度判定装置１は、ラフランスやアールスメロンに限らず、他の追熟を要するが、色の変化に乏しい果実はもとより、色の変化があっても、追熟度が目視によっては判定し難い果物に対して、好ましく適用することができる。

さらに、本実施形態では、１つの追熟度判定装置１により、一連の処理を行う場合について説明したが、これに限定されるものではない。例えば、生産者側（例えば、収穫時や出荷時）と、卸業者（例えば、入荷時）と、小売業者（例えば、販売時）と、消費者（例えば、購入時や購入後）との全部または一部が、それぞれ追熟度判定装置１を有して、データのネットワーク上の共有により一連の処理をそれぞれが行って判定結果を得るようにしてもよい。

この場合において、追熟度の判定は、収穫時や出荷時、入荷時および販売時や購入時（購入後）のいずれを起点としてもよい。例えば、卸業者の入荷時のデータを起点として、購入した消費者が、起点に応じた補正等の処理を行った上で、起点からの増加分（減少分）に応じた判定結果を得るようにしてもよい。このように、いずれの時点を起点としても、起点に応じた必要な補正を加えた上で、起点からの追熟が完了するまでに要する残りの日数などの追熟の程度を示す判定結果を得ることができる。

また、追熟度判定装置１は、順次搬送される果物を撮像手段２により自動的に撮像し、順次得られる撮像データに基づいて得られる追熟の度合いなどの判定結果に基づいて、該果物を自動的に選別又は仕分けするために用いてもよい。

また、判定基礎値取得部７における所定の演算は、対象領域切出部６により切り出された対象領域のＲＧＢの３つの成分を用いた演算であってもよい。

１…追熟度判定装置、２…撮像手段、３…データ入力部、４…判定対象認識部、５…色調規格化部、６…対象領域切出部、７…判定基礎値取得部、８…追熟度判定部、９…判定結果出力部、１０…ディスプレイ、Ｌ１〜Ｌ４…グラフ曲線。

Claims (2)

1. 果物の可視画像を統一した背景色の下で撮像手段により撮像して得られた画像データの背景色がその参照値と等しくなるように、該画像データ全体の色調を補正して規格化する色調規格化部と、
   前記色調規格化部により規格化された前記画像データから、背景色以外の領域の色調の平均値から所定範囲の色調、或いは所定の所定範囲の色調を対象領域として切り出す対象領域切出部と、
   前記対象領域切出部により切り出された対象領域のＲＧＢの３つの成分又は該３つの成分のうちのいずれか２つの成分について所定の演算を施して判定基礎値を取得する判定基礎値取得部と、
   前記判定基礎値取得部により取得された判定基礎値に基づいて前記果物の追熟の程度を判定する追熟度判定部とを備え、
   前記果物は、ラフランス又はアールスメロンであり、
   前記所定の演算は、前記判定基礎値として、前記果物の追熟の進行に伴って増大する値が得られる演算又は該果物の追熟の進行に伴って減少する値が得られる演算であって、前記ラフランスにあっては、前記対象領域のＲ成分の平均値及びＧ成分の平均値のうちのいずれか一方を他方で除する演算又はいずれか一方から他方を減ずる演算であり、前記アールスメロンにあっては、前記対象領域におけるＢ成分の平均値と標準偏差との積をＲ成分の平均値で除する演算又は該Ｒ成分の平均値を該積で除する演算であり、
   前記追熟度判定部は、経時的に変化する前記判定基礎値が所定の判定閾値を超えたか否かに基づいて追熟の完了又は追熟の程度を判定するものであり、
   前記所定の判定閾値として、軟らかめを好む人及び固めを好む人のそれぞれに対応した異なる判定閾値が用いられることを特徴とする追熟度判定装置。
2. 前記果物の種類を認識する判定対象認識部を備え、
   前記所定の演算は、前記判定対象認識部により認識された果物の種類に対応する演算であることを特徴とする請求項１に記載の追熟度判定装置。