JPH0929185A - 果皮表面に固有のネットパターンを有する青果物の等級判定方法 - Google Patents

Abstract

(57)【要約】 【目的】 メロンなどの果皮ネットパターンの良否度合
いを数量化するとともに、メロンの果皮ネットパターン
の良否を中心とした外部品質の総合的な新しい等級判定
法を確立することにより、市場における品質への信頼性
向上や選果システムの自動化を行う。 【構成】 果皮表面に当該青果物固有のネットおよびネ
ットの地であるブロックで構成されるネットパターンを
有する青果物の等級判定において、当該青果物の果皮画
像を処理、加工して、選択抽出したネットパターンの発
達の良否、果皮の成熟等の青果物の外部品質情報の特徴
ベクトルをニューラルネットワークにより並列処理し、
外部品質の総合的な等級判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マスクメロン、ア
ンデスメロン、クインシーメロン等といったいわゆるネ
ットメロンのように果皮表面に固有のネットおよびネッ
トの地であるブロックで構成されるネットパターンを有
する青果物の等級判定方法に関する。

【０００２】

【発明が解決しようとする課題】青果物の中でもネット
メロンは、その流通の過程において大きさによる階級選
別に加え、熟練の選果人の目視を中心とした知覚機能に
より果皮ネットパターンの良否、形状、果皮の地の着色
度といった外部品質が総合的に判断されるとともに各等
級に格付けされ商品化されるため、機械的に選果するこ
とは従来は困難であった。

【０００３】従来例として後述するニューラルネットワ
ークを等級判定に用いる青果物の選果装置はネットメロ
ンの選果には適当でない。例えば、撮影した画像の２値
化処理や色の３要素である赤、緑、青といったＲＧＢ信
号の各種解析により大きさや形状、着色度等については
数量化することが可能であり、これらの等級判定因子に
基づく等級判定は可能であるが、ネットメロンのように
果皮表面に固有のネットパターンをもち、同ネットパタ
ーンの良否度合いが外部品質の主要な因子として等級判
定される青果物に対しては、ネットパターンの良否度合
いを判定するアルゴリズムを備えていないため等級判定
が困難である。

【０００４】また、従来技術の果実の欠陥検出装置や同
じく色合判定装置は、果実の果皮表面の限られた部分に
存在する傷や病虫害の痕跡を検出するものであったり、
撮像された果皮画像全域の色合を総合化して判定するも
のであり、果皮に発達するネットパターンを数量化し、
判定の主要因子として等級判定を実現するものではなか
った。

【０００５】さらに従来の果物表面模様判定装置にあっ
ては、果物の果皮表面模様が無地であるか縞模様である
かを判定するものであり、概略網目状にしかも無数にラ
ンダムに発達するネットメロンの果皮ネットパターンの
良否度合いを判定することができるものではなかった。

【０００６】以上のような選果に関する技術水準を背景
として、生産地の共選施設においては、果皮ネットパタ
ーンの良否度合いを中心としたネットメロンの外部品質
の等級判定が、選果人の目視を中心とした知覚機能によ
り行われている。しかし、隣合う等級間においては格上
げや格下げといった誤判定が生じ、等級内品質が安定し
ないことや、単位時間当たりの判定能率が時間経過とと
もに低下し、生産コストの削減に結びつかないこと等が
従来から指摘されていた。

【０００７】本発明は、判断が人間の知覚機能に依存し
ているメロンの果皮ネットパターンの良否度合いを数量
化するとともに、メロンの果皮ネットパターンの良否を
中心とした外部品質の総合的な新しい等級判定法を確立
することにより、市場における品質への信頼性向上や選
果システムの自動化に伴う生産コストの削減を目的とす
る。

【０００８】

【課題を解決するための手段】本発明は上記課題を解決
するために、果皮表面に固有のネットおよびネットの地
であるブロックで構成されるネットパターンを有する青
果物の等級判定において、対象とする青果物の果皮画像
を処理、加工するとともに、選択抽出したネットパター
ンの発達の良否、果皮の成熟等といった外部品質情報の
特徴ベクトルをニューラルネットワークにより並列処理
し、外部品質の総合的な等級判定を行う方法である。

【０００９】すなわちネットパターンを有する青果物の
果皮画像データの処理を行い、不定形に、しかもランダ
ムに発達する果皮ネットパターンの良否度合いを数量化
するとともに、同じく画像データを処理して得られる大
きさや形状、着色度等といった他の外部品質情報の抽出
・加工を行う。

【００１０】さらに、学習および推論や判断を行う人間
の脳・神経系の機能をモデル化したニューラルネットワ
ークを外部品質に基づくメロンの等級判定アルゴリズム
として用いて、熟達した選果人の知識・経験を学習する
とともに、その獲得した知識ベースと先のメロンの外部
品質を表す数量データに基づき当該メロンの等級判定を
行う高精度の新等級判定方法を提供するものである。

【００１１】ニューラルネットワークの入力データとし
て用いられる特徴ベクトルの成分選定は、その適用され
る事例毎に異なり、一般的な解というものはない。不都
合な特徴ベクトルの成分の組み合わせを選択すると、学
習効果が上がらず、ニューラルネットワークの機能が発
揮できない。ニューラルネットワークが有効に働くか否
かは採用する特徴ベクトル成分の組に大きく依存し、ま
たそのような組を見つけ出すことは容易ではない。

【００１２】本発明の方法のニューラルネットワークで
使用される特徴ベクトルの成分（等級判定因子）は(1)
ネットにより形成されるブロックの面積ヒストグラムの
各階級相対度数、(2)ブロック面積の標準偏差、(3)ブロ
ックの数、(4)ネットとブロックの面積比、(5)ネットに
対するブロックの平均着色度、(6)ネットの平均白色
度、(7)玉の歪度である。

【００１３】

【従来の技術】青果物の選果は人手によるものから機械
化、特にコンピュータを用いたものに移行している。そ
して、大きさ、重さなどを選別の因子とする階級選果に
加え、外部および内部品質を選別因子とする等級選果を
交えた総合的な選果が行われるようになってきた。とく
に熟練者の経験的な判断が必要とされる選果について
は、ニューラルネットワークを用いたコンピュータによ
る選果が有効であると言われている。

【００１４】例えば、本出願人が出願した特願平６−２
３０５１４号の明細書には等級判断処理部にニューラル
ネットワークを搭載したコンピューターを組み込んだ選
果装置について記載されている。この装置では、画像計
測、近赤外分光分析、音響解析等といったいわゆる非破
壊計測技術により得られる外部および内部品質の特徴量
をニューラルネットワーク処理し、総合的な等級判定を
実現するものである。

【００１５】このほかに、特開平４−３６４４４９号公
報および特開平５−２０４２６号公報に記載されている
ような、画像データとして取り込まれる各画素のＲＧＢ
信号を各種統計量に変換するとともに、同統計量をもと
にリンゴ等の傷、日焼け、錆等の周囲と異なる色の欠陥
部分や果皮の色合いをニューラルネットワークを用いて
検出・判断する果実の欠陥検出装置や色合判定装置があ
る。

【００１６】さらに、特開平５−２６３２号公報では、
上記の例と同じく、各画素のＲＧＢ信号の輝度の微分値
をもとに縞状の果皮表面模様をニューラルネットワーク
を用いて判定する果物表面模様判定装置が示されてい
る。

【００１７】

【発明の実施の形態】本発明の等級判定システムは、青
果物の画像を取り込むＣＣＤカラーカメラセンサー、画
像処理装置、高解像度ディスプレイ、画像情報の処理プ
ログラムおよびニューラルネットワークプログラムを記
憶したメモリーボードを搭載したコンピュータシステム
などより構成される。

【００１８】本発明の方法では数量化された青果物の外
部品質データを階層型ニューラルネットワークを用いて
パターン分類処理することにより、総合的な等級判定を
行うもので、ニューラルネットワークの学習法としては
バックプロパゲーション法を用いる。

【００１９】ニューラルネットワークは学習と判断の二
つの機能をもち、ニューロン（神経細胞）の機能を情報
処理の機能素子としてモデル化した工学モデル（ユニッ
ト）を、相互に多数結合したソフトウェア上の計算モデ
ルである。本発明ではネットワークを階層的に構成し、
信号（データ）の流れが一方向である階層型ニューラル
ネットワークを青果物の等級判定に適用する。

【００２０】本発明の等級判定用ニューラルネットワー
クモデルの入力は画像処理装置から得られた数量化され
た果皮情報であり、出力は特秀、秀、特優、優、良、無
印、格外といった等級である。ニューラルネットワーク
ではシステムに熟練の選果人による等級判定パターンを
事前に学習させる必要があるが、そのための情報処理手
法としてバックプロパゲーション学習法を用いる。

【００２１】

【実施例】本発明の等級判定方法を実施するためのシス
テム構成の一例を図１に示す。ＣＣＤカラーカメラセン
サー１はネットメロン２を撮像してネットメロンの外部
品質情報を非破壊で検出するセンサーである。ＣＣＤカ
ラーカメラセンサー１から得られるメロン果皮のアナロ
グ画像信号はＲＧＢ Ａ−Ｄ変換器３によりデジタル信
号に変換される。

【００２２】移動する選果ラインコンベヤ上のメロンの
果皮情報を画像処理システムの画像処理装置４に取込む
際にＣＣＤカラーカメラセンサー１の撮像タイミングを
合わせるためのカメラ同期用センサー５が配置されてい
る。カメラ同期用センサー５の出力信号は画像処理装置
４を介してコンピュータ８に送られ、ラインコンベヤの
移動速度に基づいてＣＣＤカラーカメラセンサー１の撮
像タイミングが調整される。

【００２３】本発明の画像処理システムは画像処理装置
４、ＭＯディスクドライブ６、高解像度カラーモニター
７、および画像処理装置４の制御を行うとともに、画像
情報より抽出・加工された当該メロンの外部品質を表す
果皮特徴ベクトルをニューラルネットワーク処理し等級
判定を行う画像解析／パターン識別用コンピュータ８か
らなる。

【００２４】次に本発明の実施例の等級判定方法につい
て処理の流れに沿って説明する。選果ライン投入部にお
いて１玉ずつラインコンベヤに載せられたネットメロン
は、等級判定部に達するとまずコンベヤの流れ方向に沿
って設置されたカメラ同期用センサー５により検出され
る。

【００２５】カメラ同期用センサー部を通過したネット
メロン２がラインコンベヤの側方に設置されたＣＣＤカ
ラーカメラセンサー１の直前に達すると、ネットメロン
２の赤道部を中心とした果皮側面の撮像が行われる。

【００２６】メロンの果皮画像信号、すなわちＣＣＤカ
ラーカメラセンサー１からのアナログのＲＧＢ出力信号
は、果皮色の３成分である赤、青、緑の３原色に分けら
れた後、ＲＧＢ Ａ−Ｄ変換器３によりそれぞれデジタ
ル信号に変換され画像処理装置４に入力される。

【００２７】画像処理装置４においては、データの１次
加工操作（前処理）として、図２に示すように、果皮撮
影画像よりネットメロンの外部品質情報の抽出領域であ
るメロン２の赤道部９を中心とした概略３×４ｃｍのウ
インドウ１０の切り出し操作が行われる。

【００２８】次に３原色それぞれにしきい値が設定さ
れ、２値化処理（２固定しきい値法）が施され、果皮撮
影画像はネット部１１と果皮の地の部分であるｎi個の
ブロック部（ｎ1，ｎ2，……，ｎi）１２に明確に区分
される。さらに、得られた２値画像からのノイズ除去、
同画像の反転処理が行われる。

【００２９】また、ウインドウ画像中のランダムに発達
したネットに囲まれた閉領域である１つ１つのブロック
部に対してラベリング操作が加えられ、各ブロック部を
構成する画素の数すなわち各ブロックの面積が計測され
る。

【００３０】次に、前処理された画像データに対して次
の２次加工操作（特徴量の抽出）が加えられる。まずウ
インドウ画像中のブロックの面積ヒストグラムの各階級
相対度数（階級幅は２０画素）、同ブロック面積の標準
偏差、ブロック数、ネット部とブロック部の面積比が演
算される。

【００３１】また２値化された果皮撮影画像中のメロン
の果皮部を表す画素の数をもとにネットメロンの等価円
径が演算され、同算出値と果皮撮影画像中のメロンの最
大直径との比より当該メロンの歪度が算出される。ま
た、同じくウインドウ画像中のネットおよびブロック部
をそれぞれ形成する各画素の平均白色度および平均着色
度が演算される。

【００３２】以上の操作にともなうメロン果皮部の画像
は、高解像度カラーモニター７の画面上に逐次表示され
る一方、画像処理装置４の制御は画像解析／パターン識
別用コンピュータ８により行われる。

【００３３】画像処理装置４により得られたブロックの
面積ヒストグラムの各階級相対度数、同ブロック面積の
標準偏差、ブロック数、ネットとブロックの面積比、ネ
ットに対する地（ブロック）の平均着色度、ネットの平
均白色度および玉（ネットメロン）の歪度等は、ネット
メロンの外部品質を表す特徴量として総合化される。

【００３４】図３に、この様にして得られたネットメロ
ンの各外部品質等級を代表する特徴量のパターンベクト
ルを折れ線グラフとして例示する。この図から明らかな
ように、各外部品質等級パターンベクトルの間には明確
な違いが認められ、ニューラルネットによるパターン分
類の有効な指標となる。

【００３５】さらに、総合化された特徴量のパターンベ
クトルは、コンピュータ８のメモリー上の等級判定用ニ
ューラルネットへの入力データの形式に正規化される。
ネットメロンの等級判定因子として正規化された特徴量
は、ニューラルネットワークの並列処理によりパターン
分類が行われ、当該ネットメロンの外部品質情報に基づ
く等級判定が行われる。

【００３６】以上のネットメロンの等級判定処理の流れ
を図４に示す。一方、ニューラルネットは学習と推論・
判断という２つの機能を持ち、ニューロンの機能を情報
処理の機能素子としてモデル化したユニットを相互に多
数結合した計算モデルであり、本実施例では階層型ニュ
ーラルネットワークモデルをネットメロンの等級判定に
適用している。

【００３７】本実施例の階層型ニューラルネットを図５
に示す。同モデルの入力層はネットメロンの外部品質を
表す特徴ベクトルを入力するための複数ユニット、出力
層は当該共選施設において設定される等級に対応する複
数のユニットより構成するとともに、良好な等級判定精
度を得るため共選施設毎に準備的に等級判定シュミレー
ションを実施し、その結果に応じて複数の中間層および
等級数に応じた中間ユニット数を選択決定することが可
能である。

【００３８】入力ユニットには画像処理装置４において
２次加工された当該メロンの外部品質を表す特徴量、す
なわち、ブロック面積の標準偏差、ブロック数、ネット
とブロックの面積比、玉の歪度、ネットに対する地（ブ
ロック）の平均着色度、ネットの平均白色度およびブロ
ックの面積ヒストグラムの各階級相対度数などを与える
一方、出力ユニットは特秀、秀、優、良、格外など共選
施設毎に設定される等級に対応している。

【００３９】また本実施例においては、等級判定因子で
ある外部品質の特徴量の入力パターンに対する特秀およ
び秀をはじめとした等級判定パターンの対応といったパ
ターン情報処理にバックプロパゲーション学習則を用い
ている。本実施例の等級判定方法による判定結果の一例
を図６に示す。

【００４０】横軸は学習回数を、縦軸は熟練の選果人に
よる等級判定結果に対する本実施例の等級判定方法によ
る判定結果の正答率を示している。本実施例の等級判定
法において採用した外部品質の特徴量を、概ね３万回の
学習を行ったニューラルネットによりパターン識別する
と、熟練の選果人の判定に対して約９０％程度の正答率
を得ることが出来た。

【００４１】図６中には本特許の請求項に記載した外部
品質の特徴量よりブロック面積ヒストグラムの各階級相
対度数を除いた残りの物理量、すなわちブロック面積標
準偏差、ブロック数、ネットとブロックの面積比、ネッ
トに対する地（ブロック）の平均着色度、ネットの平均
白色度および玉の歪度などをニューラルネットに入力
し、パターン識別した結果も合わせて示した。

【００４２】本事例の場合、同図から明らかなように、
熟練の選果人の判定に対するニューラルネットの正答率
は約６０％程度の正答率しか得られておらず、先の事例
に比べて約３０％程度正答率の低下が認められた。

【００４３】これより、等級判定用ニューラルネットに
よるネットメロンの外部品質等級判定においては、外部
品質を表す特徴量としてどの様な物理量を選択するかが
重要であり、単にニューラルネットの援用だけで熟練の
選果人による判定に近い等級判定を実現できるものでは
ないことがわかる。

【００４４】すなわち、本特許においては、外部品質を
表す適切な特徴量の選択抽出とパターン識別に特効を有
するニューラルネットワークの採用により、ネットメロ
ンの実用レベルの等級判定を可能としている。

【００４５】本発明の外部品質情報に基づく等級判定方
法によれば、果皮表面に不定形にしかも無数にランダム
に固有の模様を有するパインアップルなどの青果物の等
級判定も同様に実現可能である。また、本実施例ではＣ
ＣＤカラーカメラで青果物を撮影したが、モノクロのＣ
ＣＤカメラでも、判定精度に多少の違いは出るが、同様
に使用することができる。

【００４６】

【発明の効果】本発明の方法により、従来は自動化が困
難であった固有のネットパターンを有する青果物の等級
判定を自動化することができる。とくに、ネットメロン
果皮の模様判断には有効に働いて、熟練選果人の判断の
学習を行うことができるようになった。

【図面の簡単な説明】

【図１】本発明の実施例のシステム構成図である。

【図２】本発明の実施例における画像の切り出しの説明
図である。

【図３】本発明の実施例におけるネットメロンの各外部
品質等級を代表する特徴量のパターンベクトルを折れ線
グラフとして示す図である。

【図４】本発明の実施例におけるネットメロンの等級判
定処理の流れ図である。

【図５】本発明の実施例における階層型ニューラルネッ
トの説明図である。

【図６】本発明の実施例の等級判定方法による判定結果
の説明図である。

【符号の説明】

１ ＣＣＤカラーカメラセンサー ２ ネットメロン ３ ＲＧＢ Ａ−Ｄ変換器 ４ 画像処理装置 ５ カメラ同期用センサー ６ ＭＯディスクドライブ ７ 高解像度カラーモニター ８ 画像解析／パターン識別用コンピュータ ９ メロンの赤道部 １０ ウインドウ １１ ネット部 １２ ブロック部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 果皮表面に当該青果物固有のネットおよ
   びネットの地であるブロックで構成されるネットパター
   ンを有する青果物の等級判定において、当該青果物の果
   皮画像を処理、加工して、選択抽出したネットパターン
   の発達の良否、果皮の成熟等の青果物の外部品質情報の
   特徴ベクトルをニューラルネットワークにより並列処理
   し、外部品質の総合的な等級判定を行うことを特徴とす
   る果皮表面に固有のネットパターンを有する青果物の等
   級判定方法。
2. 【請求項２】 果皮表面に当該青果物固有のネットおよ
   びネットの地であるブロックで構成されるネットパター
   ンを有する青果物の等級判定において、当該青果物の果
   皮画像を処理、加工して、選択抽出したネットパターン
   の発達の良否、果皮の成熟等の青果物の外部品質情報の
   特徴ベクトルの成分として、(1)ネットにより形成され
   るブロックの面積ヒストグラムの各階級相対度数、(2)
   ブロック面積の標準偏差、(3)ブロックの数、(4)ネット
   とブロックの面積比、(5)ネットに対するブロックの平
   均着色度、(6)ネットの平均白色度、(7)玉の歪度を選択
   抽出するとともに、ニューラルネットワークにより並列
   処理し、外部品質の総合的な等級判定を行うことを特徴
   とする果皮表面に固有のネットパターンを有する青果物
   の等級判定方法。