JP4171806B2 - 果実そ菜類の等級判別方法。 - Google Patents

Description

本発明は、りんごやトマトなどの果実そ菜類の等級判別方法に関する。

りんごやトマトなどの果実そ菜類は、色むら、傷、形状などによって等級を判別して各等級ごとに選別して出荷される。
従来の等級判別方法は、例えば果実の場合、カラーセンサーによる対象の微少量の輪切りに含まれるカラー量（１次元カラー量）を連続的に測定した総和量と、設定閾値との比較によって着色度を判定する方法であった。
カラーセンサーを用いる方法は、色づきの分布が全般に万遍にわたっている場合には問題ないが、局所的に分散した色むらがあるときには、この１次元的方法では、その色むらを判別することはできず、このような２次元的に判断を必要とする場合には、人間の判断に頼らざるを得ず、等級判別に多大な時間と労力が必要だった。

画像処理を用いた判定方法については、従来から種々の提案があり、例えば、特開２０００−２４２７９１号公報には、照明の反射部分を減少するために特定の分光反射率を有する周波数を使用する方法が記載されている。
また、特開平９−２９１８５号公報には、メロンなどの果皮ネットパターンの良否を判定する方法が記載されている。
さらに、特開平５−２６３２号公報には、撮像カメラから得られた色彩情報からニューラルネットワーク技術を使い等級判定する方法が記載されている。
しかし、これらの従来技術は、人間の目による判断に代替できるレベルに達しておらず、実用化されていなかった。
特開２０００−２４２７９１号公報 特開平９−２９１８５号公報 特開平５−２６３２号公報

本発明は、前述のような従来技術の問題点を解決し、人間の目による判断に代替できる果実そ菜類の等級判別方法を提供することを課題とする。

本発明は、前述の課題を解決するために鋭意検討の結果、2次元色特徴地図とラベリング処理で得られる対象物体の色・位置情報から2次元特徴量を用いることによって、人間の目による判断に代替できる果実そ菜類の等級判別方法を提供するものであり、その要旨とするところは特許請求の範囲に記載したとおりの下記内容である。
（１）果実そ菜類を撮像した画像によって等級を判別する果実そ菜類の等級判別法であって、等級半別を行う果実そ菜類を撮像した画像の各画素を赤（Ｒ）, 緑（Ｇ）、青（Ｂ）の３原色により表現し、または各画素の色彩をＨＳＶ方式に変換する第１工程と、
前記各画素から得られる赤（Ｒ）、緑（Ｇ）、青（Ｂ）のデータ、または該データをＨＳＶ方式に変換されたデータを用いて、相互結合型ニューラルネットによる自己組織化を行って、当該種類の果実そ菜類に特有の２次元色特徴地図を作成する第２工程と、
前記果実そ菜類を等級別に分類したサンプルにより、前記２次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報を用いて、赤い領域の大きさ、赤い領域の彩度の平均値、色むらの領域の大きさ、色むらの領域の数、円形度、色むらの領域の飛散度に基づいて等級別に得られる複数の２次元特徴量を決定し、前記等級別２次元特徴量にＮ層ニューラルネットワークを作用させた場合に、各等級が定まるようにＮ層ニューラルネットワークを構成させる第３工程と、
任意の当該果実そ菜類を撮像し、前記第２工程で得られた２次元色特徴地図とラベリング処理を用いて得られる複数の２次元特徴量に前記ニューラルネットを作用させて当該果実そ菜類の等級を出力する第４工程とを有することを特徴とする果実そ菜類の等級判別方法。
（２）前記２次元色特徴地図およびラベリング処理を用いて得られる結果は、色および形状情報を含み、果実そ菜類における色、形状または傷の自動判別に適用することを特徴とする請求項１に記載の果実そ菜類の等級判別法。

本発明によれば、２次元特徴量を用いることによって、人間の目による判断に代替できる果実そ菜類の等級判別方法を提供することができる。
具体的には、本発明は従来にない全く新しい一連の知能画像処理法によって、画像の２次元的解析が可能となり、そのもとで得られる様々な２次元特徴量から、これまで人間の判断に頼っていた果実そ菜類の等級判別を自動化することができるなど、産業上有用な著しい効果を奏する。

発明を実施するための最良の形態について、図１乃至図４を用いて詳細に説明する。
図１は、本発明における果実そ菜類の等級判別方法の処理フローを例示する図である。
まず、等級判別を行う果実そ菜類を撮像した画像の各画素を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色により表現し、または各画素の色彩をＨＳＶ方式に変換する（S-1）。
等級別に選別しようとする一種類の果実等を無差別に２次元色特徴地図を作成するに十分な個数を撮像し、その各画素を通常の色の３原色により表示してもよいが、各画素の色彩をH(Hue：色相)、S(Saturation：彩度)、V(Value：明度)の3要素で色を表現することにより、RGB色空間よりも、人間の知覚に近い色彩モデルにすることができるうえ、画像中で光が全反射し、真っ白く見えるハイライト部分も、色相H,Sによって識別することができる。

次に、前記各画素から得られる赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色、またはＨＳＶ方式に変換されたデータを用いて相互結合型ニューラルネットワークによる自己組織化を行って当該種類の果実そ菜類に特有の２次元色特徴地図を作成する（S-2）。
ここに、自己組織化とは、「教師なし学習」ともいい、外界からの内部構造に関する信号(教師信号)がないにもかかわらず、その内部構造を外界に適応させることをいう。
また、相互結合型ニューラルネットワークとは、特徴地図の入力層と競合層間が完全結合であり、各入力ユニットは競合層のすべてのユニットと結合しているモデルをいう。全結合は結合荷重をもち、これを入力ベクトルに応じて更新していくことで、自己組織化が行われる。
また、前記果実そ菜類を等級別に分類したサンプルにより複数の２次元特徴量を前記２次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報から決定し、前記等級別２次元特徴量にＮ層ニューラルネットワークを作用させた場合に各等級が定まるようにＮ層ニューラルネットワークを構成させる（S-3）。
果実そ菜類を等級別に分類したサンプルの画像を２次元特徴地図を使って認識・分類するクラスタリングを行い、次いで連結している画素をひとまとめにし、その領域ごとに異なるラベルを割り振るラベリングを行うことにより得られる対象物体の色・位置情報から複数の２次元特徴量を決める。
ここに、本発明に用いる複数の２次元特徴量とは、２次元画像から得られる複数の特徴量をいい、本発明においては、この複数の２次元特徴量を用いることによって、従来用いられていたカラー量などの１次元情報では判別できなかった、局所的に分散した色むらなどを自動的に判別することができる。

そして、任意の当該果実そ菜類を撮像することによって得られる２次元色特徴量に前記ニューラルネットワークを作用させて当該果実そ菜類の等級を出力する（S-4）。
さらに、前記２次元色特徴地図およびラベリング処理により得られる結果は、形状情報を含み、果実そ菜類における形状または傷選別に適用することにより、色むら以外の形状による等級判別を自動的に行うことができる。
なお、本発明を機械部品や機械製品の形状判別に応用することにより、機械分野における自動判別を実現することができる。

図２は、本発明における果実そ菜類の等級判別方法の実施形態を例示する図であり、完成時の未判別画像に対する等級判別処理過程の手順を示す図である。
これらは、果実そ菜類を撮像した画像が２次元画像データとしてコンピュータに取り込まれてから後の、コンピュータ上での一連の自動的な処理の流れを示したものである。
第１ステップは、上面撮影であのRGB表示対象画像である。第２ステップは、RGB画像からHSV色空間画像への変換である。前述のようにHSV画像は人間の色の知覚に基づいた表現方法であり、この表現により人間の知覚にあった色修正が可能となる。HSVとRGBの間には１対１の対応関係が成り立っている。

第３ステップは、色クラスタリングの決定工程である。相互結合型ニューラルネットワーク（NN）自己組織化特徴地図は、HSV色空間からの入力を対象の色毎にクラスタリングする。以下にその手順を例示する。
自己組織化地図は、入力層ユニットの入力ベクトルＥと、競合層ユニットの荷重ベクトルＷi(t)との距離（Ａ）式を最小にする競合層の勝者ユニットを探し、そのユニットと近傍ユニットのＷを更新しながら組織化を行う手法である。

ここで、iとjはそれぞれ競合層と入力層のユニット番号である。
勝者ユニットとその近傍の結合定数の更新の仕方は、学習率をαとして次の式で行われる。

また、その学習率αと、勝者ユニット近傍幅ｄは次のように更新する。

ここで、ｔは学習回数の変数であり、Ｔは全学習回数である。

第４ステップのラベリングは、色領域を自動的に分離確認するものであり、連結している画素をひとまとめにして、その領域ごとに異なるラベルを割り振る処理である。ここでは、対象画素を囲む8連結を考慮し、各色毎に管理して行う。ラベリングのアルゴリズムは、背景色は別として、１）対象画素の上部（３画素）と左（１画素）の既走査の４画素の全てが対象画素と異なる場合と２）既走査の４画素のどれかが対象画素と同じ場合に分けた上で、３）同じ場合には、それぞれ同色の画素のラベルを修正しながらラベリングを行う。図３にラベリング前後の画像の例を示す。
第５ステップは、確認された対象物の位置および色の２次元情報から、判別に有効な複数の２次元特徴量を求める。
例えば、りんごの色むらを判別する場合の特徴量としては、例えば、Ｆ１．赤い領域の大きさ、Ｆ２．赤い領域の彩度の平均値、Ｆ３．色むらの領域の大きさ、Ｆ４．色むらの領域の数、Ｆ５．円形度、Ｆ６〜Ｆ９．色むらの領域の飛散度（大きさに応じて４段階）とすることが好ましい。

第６ステップは、複数の２次元特徴量から等級を割り出す判別工程である。
本発明における判別手段としては、N層ニューラルネットワーク（NN）を用いるが、脳を模した学習機械であって、いくつかのユニットがまとまった数段の層から成り、各層間のユニットは結合しており、各結合の持つ結合荷重を更新することで学習を行う階層型パーセプトロンを用いることが好ましい。
例えば、りんごの色むらを判別する場合には、前述のＦ１〜Ｆ９の特徴量を求め、その値を３層ニューラルネットワーク（ＮＮ）の入力ベクトルとし、教師信号をその対応する等級として学習を行う。
学習法としては、例えば、出力と教師信号との誤差から、最急降下法により結合荷重を更新するBP(Back Propagation：誤差逆伝播)学習法を用いることによって、入力ベクトルの符号化、線形分離不可能な入力パターンの学習が可能である。
ユニット数は、例えば、入力層９個（特徴量の数）、隠れ層１４個、出力層５個（等級数）とし、学習の終了条件をε＝1.0×10^-5とする。
これらの過程の中で、第３、第４、第５ステップは、それぞれ目的にあった学習装置や、特徴変量をあらかじめ独立に作成しておく。
学習が終った上記の一連の判別処理システムに対して、等級未知の２次元画像を取り込めば、全自動的に等級判別を行うことができる。

本発明方法を用いてりんごの色むらについて等級判別を行った結果を図４に示す。
図４の、上段は特選、下段は無印の等級のりんごを示しており、左端は元画像、真ん中はクラスタリング後、右端はラベリング後の画像である。
本発明の等級判別方法を用いて２５個の画像について等級判別を行った結果、熟練した人間の判別結果と同じく、全て正しい判別を行うことができ、本発明の効果が確認された。

本発明における果実そ菜類の等級判別方法の処理フローを例示する図である。 本発明における果実そ菜類の等級判別方法の実施形態を例示する図である。 本発明の果実そ菜類の等級判別方法に用いるラベリングを説明する図である。 本発明の果実そ菜類の等級判別方法をりんごに適用した実施例を示す図である。

Claims (2)

1. 果実そ菜類を撮像した画像によって等級を判別する果実そ菜類の等級判別法であって、
   等級半別を行う果実そ菜類を撮像した画像の各画素を赤（Ｒ）, 緑（Ｇ）、青（Ｂ）の３原色により表現し、または各画素の色彩をＨＳＶ方式に変換する第１工程と、
   前記各画素から得られる赤（Ｒ）、緑（Ｇ）、青（Ｂ）のデータ、または該データをＨＳＶ方式に変換されたデータを用いて、相互結合型ニューラルネットによる自己組織化を行って、当該種類の果実そ菜類に特有の２次元色特徴地図を作成する第２工程と、
   前記果実そ菜類を等級別に分類したサンプルにより、前記２次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報を用いて、赤い領域の大きさ、赤い領域の彩度の平均値、色むらの領域の大きさ、色むらの領域の数、円形度、色むらの領域の飛散度に基づいて等級別に得られる複数の２次元特徴量を決定し、前記等級別２次元特徴量にＮ層ニューラルネットワークを作用させた場合に、各等級が定まるようにＮ層ニューラルネットワークを構成させる第３工程と、
   任意の当該果実そ菜類を撮像し、前記第２工程で得られた２次元色特徴地図とラベリング処理を用いて得られる複数の２次元特徴量に前記ニューラルネットを作用させて当該果実そ菜類の等級を出力する第４工程とを有することを特徴とする果実そ菜類の等級判別方法。
2. 前記２次元色特徴地図およびラベリング処理を用いて得られる結果は、色および形状情報を含み、果実そ菜類における色、形状または傷の自動判別に適用することを特徴とする請求項１に記載の果実そ菜類の等級判別法。
   

Images