JPH09163853A - 果実の画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】通常の２値画像を更に２値化したマトリックス
画像によって果実部領域を抽出し、この果実部領域から
果実中心線を選択判別する。 【解決手段】ＣＣＤカメラ１による果実など対象物の画
像をＲ，Ｇ，Ｂ信号の輝度差により２値化するものにお
いて、この２値画像Ｘを予め設定したマトリックスサイ
ズＭによって平均輝度を求める平均輝度算出手段と、こ
の平均輝度を一定の果実占有率により２値化して果実部
領域を抽出する果実部領域抽出手段と、この果実部領域
から推定される中心線を別途アルゴリズムによって抽出
された多数の中心線のうちから果実中心線Ａとして、選
択判別する果実中心線判別手段とを備えた果実の画像処
理装置の構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、果実の画像処理
装置に関し、ＣＣＤカメラの画像情報によりマニピュレ
ータ等を操作して果実を自動的に収穫する果実収穫機等
の分野に属する。

【０００２】

【従来の技術、及び発明が解決しようとする課題】従
来、ＣＣＤカメラによる入力画像を２値化し、この２値
画像を解析して果実など対象物の領域輪郭の検出からそ
の形状，面積，周囲長，細長さ等の形態特徴量を算出
し、果実と果実以外のものとの判別を行っていた。しか
し、これらの処理において２値化部分が多いときは、そ
の形態特徴量の算出時間が長くなると共に、多くの形態
パラメータを必要とする不都合があった。

【０００３】この発明は、このような不都合を解消する
ためのものである。

【０００４】

【課題を解決するための手段】この発明は、ＣＣＤカメ
ラ１による果実など対象物の画像をＲ，Ｇ，Ｂ信号の輝
度差により２値化するものにおいて、この２値画像Ｘを
予め設定したマトリックスサイズＭによって平均輝度を
求める平均輝度算出手段と、この平均輝度を一定の果実
占有率により２値化し果実部領域を抽出する果実部領域
抽出手段と、この果実部領域から推定される中心線を別
途アルゴリズムによって抽出された多数の中心線のうち
から果実中心線Ａとして、選択判別する果実中心線判別
手段とを備えた果実の画像処理装置の構成とする。

【０００５】

【作用、及び発明の効果】２値画像Ｘを果実の大きさよ
り小さいマトリックスサイズＭに分割して、このマトリ
ックスサイズＭ内の平均輝度を平均輝度算出手段によっ
て算出し、このマトリックスサイズＭ内の平均輝度を一
定の果実占有率により２値化し、この２値化によって果
実部領域を果実部領域抽出手段により抽出し、この果実
部領域から推定される中心線を、全体の２値画像Ｘから
アルゴリズムによって抽出された多数の中心線のうちか
ら果実中心線判別手段によって選択判別し、この判別さ
れた中心線を果実中心線Ａとして設定することができ
る。

【０００６】このように、マトリックスサイズＭ内の平
均輝度を一定の果実占有率により２値化し、この２値化
から果実部領域の抽出によりその中心線を判別し、この
判別された果実中心線Ａによって以後の処理を行わせる
ことにより、従来の如く、形態特徴量の算出のために算
出時間が長くなったりすることがなく、果実の認識に要
する算出時間が短縮され、認識効率の向上を図ることが
できる。

【０００７】

【実施例】図１に示す如く、対象物としての果実、例え
ばキュウリを撮像して画像信号を出力するカラーＣＣＤ
カメラ１と、この画像信号を入力して信号処理結果によ
り画像を出力する信号処理装置２と、この信号処理結果
画像を入力して画像認識を行うＣＰＵ３とによって果実
の画像処理装置を構成する。

【０００８】該カラーＣＣＤカメラ１は、キュウリ等果
実の像を光学レンズ４でＣＣＤイメージセンサ５の受光
面に結像させる。このイメージセンサ５はラスタ走査に
より各画素に当たっている光の照度に応じた電気信号を
アナログ信号として、順次出力する。該信号処理装置２
は、前段のアナログのプロセス増幅器６で画像情報のア
ナログ信号を整形し、同期パルスに基づいて各画素を読
み出す。次のＡ／Ｄ変換器７では、アナログ信号を量子
化してデジタル信号に変換する。後段の信号処理部８で
は、種々の画像処理アルゴリズムにより、雑音除去、歪
補正などの処理を行った後、信号処理して画像を出力す
る。

【０００９】ＣＰＵ３は、信号処理結果により、図２の
フローチャートに示す如く、まず、図３に示す如き画像
を入力し（ステップ１０１）、この入力した画素のＲ，
Ｇ，Ｂ信号を輝度加算（Ｒ＋Ｇ＋Ｂ）して輝度基準を算
出し、該Ｒ，Ｇ，Ｂ信号のうちの一つの信号と輝度基準
の輝度差を算出する。この輝度差と、別に算出したしき
い値との大小を比較し、輝度差がしきい値より大きいか
等しいときは、その画素の値を１に設定すると共に、輝
度差がしきい値より小さいときは、その画素の値を０に
設定することにより、図４に示す如く、画像を２値化す
る（ステップ１０２）。

【００１０】次に、この２値画像Ｘから各々その中心を
算出して、図５に示す如く、各中心線の抽出を行う（ス
テップ１０３）。続いて、この２値画像Ｘを、ＣＰＵ３
に設定された平均輝度算出手段によって果実より小さ
い、例えば２０×２０画素のマトリックスサイズＭに分
割し、この分割エリア内の各画素の輝度を加算平均して
平均輝度を求め（ステップ１０４）、この平均輝度を、
図６に示す如く、例えば一定の果実占有率によるしきい
値５１（０〜２５５段階の２０％）によって２値化し
（ステップ１０５）、この２値画像ＹからＣＰＵ３に設
定された果実部領域抽出手段によって果実部領域を抽出
する（ステップ１０６）。

【００１１】この抽出された果実部領域から推定される
中心線を、図７に示す如く、ステップ１０３で抽出され
た多数の中心線のうちから、ＣＰＵ３に設定された果実
中心線判別手段によって果実中心線Ａとして選択判別す
る（ステップ１０７）。この果実中心線Ａの判別により
果実認識に要する算出時間が短縮され、認識効率を向上
させることができる。

【００１２】また、キュウリ等果実の入力画像は、その
葉や茎などの不要な部分が含まれており、２値化処理に
際してこれらが一体化された画像となり、そのまま中心
線を求めても精度の高い果実の認識はでき難いものであ
る。このため、前記信号処理結果によって、図８のフロ
ーチャートに示す如く、まず、図３に示す如き画像を入
力し（ステップ２０１）、この入力画像を輝度基準によ
る輝度差により２値化する（ステップ２０２）。この２
値画像Ｘから中心線を算出し（ステップ２０３）、その
中心線の果実候補を選択判別する（ステップ２０４）。
次に、これらの果実と茎葉等が一体化された輪郭線を、
例えば、図９に示す如きラプラシアン手法により抽出し
（ステップ２０５）、続いて、図１０に示す如く、輪郭
線を果実と茎葉等との４箇所の直交性に応じて空間フィ
ルター処理（図１１参照）を行い（ステップ２０６）、
この空間フィルター処理後の画像中最も高い輝度の座標
により４箇所の交点９を抽出する（ステップ２０７）。
続いて、図１２に示す如く、この抽出した各交点９間に
存在する一定以上の長さの中心線Ａ（上側と下側）があ
るかどうかをチェックし（ステップ２０８）、ＹＥＳの
ときは上・下の中心線Ａの連結を行う（ステップ２０
９）。

【００１３】このような処理を行うことにより、果実の
中心線の連結を精度良く行うことができるから、収穫作
業の効率化と収穫率の向上並びに収穫果実の不揃いを最
小に抑えることができる。また、形態の悪い（曲がり
等）未熟果は成熟しても曲がっていることから、収穫時
に樹勢の低下を防止する面よりこれら不良未熟果の取り
除き作業も同時に行うため、作業時間が長くなる等作業
負荷が大きくなっている。

【００１４】このため、前記信号処理結果により出力さ
れた画像を、図１３のフローチャートに示す如く、ま
ず、図３に示す如き画像を入力し（ステップ３０１）、
この入力画像を図４に示す如く２値化し（ステップ３０
２）、この２値画像Ｘを２種類のマトリックスサイズ
Ｍ、例えば１３×１３画素と５×５画素とに各々分割し
その平均輝度を求め（ステップ３０３）、この２種類の
平均輝度を各々一定の果実占有率によるしきい値によっ
て、図１４及び図１５に示す如く２値化する（ステップ
３０４）。この２値画像Ｙを一定の長さ以下を除去し
（ステップ３０５）、この２種類の２値画像Ｙを、図１
６に示す如く重ね合わせ、両者の領域が一致しない部分
を未熟果として抽出する（ステップ３０６）。

【００１５】このような画像情報から不良未熟果を検出
できるから、収穫と同時に行う不良果実の取り除きが人
手による作業形態に近いものとなり、機械収穫後の補助
作業の負荷を低減することができる。また、キュウリ等
果実の２値画像では果実部も果柄部も同時に抽出される
場合が多く、収穫時のアプローチの際に切断位置の検出
を行う必要があり、この検出に時間を要し収穫効率が阻
害される難点があった。

【００１６】このため、前記信号処理結果により出力さ
れた画像を、図１７のフローチャートに示す如く、ま
ず、図３に示す如き画像を入力し（ステップ４０１）、
この入力画像を図４に示す如く２値化し（ステップ４０
２）、この２値画像Ｘから、図５に示す如く各中心線を
算出する（ステップ４０３）。この２値画像Ｘをマトリ
ックスサイズＭ、例えば５×５画素に分割してその平均
輝度を求め（ステップ４０４）、この平均輝度を一定の
果実占有率によるしきい値によって、図１５に示す如く
２値化する（ステップ４０５）。この２値画像Ｙから果
実部領域を抽出し（ステップ４０６）、この果実部領域
から水平方向の幅の変化を算出する（ステップ４０
７）。この幅の変化によって果柄部１０を検出したとき
は（ステップ４０８）、図１８に示す如く、果実部領域
における果柄部１０の水平直線と果実中心線Ａとの交点
を算出し（ステップ４０９）、この算出位置を、図１９
に示す如くアプローチ位置とする。

【００１７】このような画像情報から果柄部１０が抽出
されているか否かを判別し収穫時のアプローチを行うこ
とから、把持後の切断位置の検出が不要となり、検出時
間の短縮により、収穫効率の向上を図ることができる。
また、果柄部１０の切断位置の検出を、前記図１７のフ
ローチャートに従ってステップ４０１から４０８まで処
理した後、ステップ４０９における果実部領域における
果柄部１０の水平直線と果実中心線Ａの交点算出処理
を、前記ステップ４０９とは異なり、果実部領域におけ
る果柄部１０の水平直線の中心を算出し、この算出位置
を、図２０に示す如くアプローチ位置としてもよい。

【００１８】また、キュウリ等果実の栽培において、収
穫時に画像上で果実の中央部が茎葉等で遮られて隠れて
いる場合に、この隠れている部分に曲がりがあるとき
は、この曲がりを推定して全体の形状を認識する必要が
ある。このため、図２１のフローチャートに示す如く、
キュウリ等果実の画像を入力し（ステップ５０１）、こ
の入力画像を２値化する（ステップ５０２）。この２値
画像Ｘのノイズ除去と（ステップ５０３）、中心線Ａを
算出し（ステップ５０４）、この中心線Ａを連結する
（ステップ５０５）。次に図２２に示す如く、中心線Ａ
の果頂部始点ａから花落部終点ｂを結ぶ果実直線Ｌの、
特定の値ｃ（０＜ｃ＜１）の位置から垂線ｄを立てて、
この垂線ｄが中心線Ａと交わる交点ｅを求め、この交点
ｅと始点ａとを始点線ｆで結び、この始点線ｆと果実直
線Ｌとによってなす曲がり推定角度θによって、果実曲
がり量ｇを一定の比率による相関によって推定算出する
ことができる（ステップ５０６）。この推定算出方法を
情報として記憶させる（ステップ５０７）。

【００１９】このような推定方法は、果柄部１０の丸い
形状に影響されることから、始点線ｆの長さを果実直線
Ｌに対して大きくとる方が確度が高くなる傾向にあり、
一部隠れた果実の曲がりを推定できるため、収穫品質を
的確に設定できると共に、収穫率の向上とその安定化を
図ることができる。また、キュウリ等果実の形状は真直
のものは少なく、大半のものは１ｃｍ以上の曲がりを有
し、この曲がりは常に円弧状の形態（一部変形果は除
く）を示すから、この曲線形状の対向性によって全体形
状の認識を行う必要がある。

【００２０】このため、図２３のフローチャートに示す
如く、キュウリ等果実の画像を入力し（ステップ６０
１）、この入力画像を２値化する（ステップ６０２）。
この２値画像Ｘの中心線Ａを算出し（ステップ６０
３）、図２４に示す如く中心線Ａの傾斜状態を算出する
と共に（ステップ６０４）、果実を長さ方向に２等分し
それぞれを回帰直線で表しその交差状態を算出する（ス
テップ６０５）。この交差による形状特性が対向するも
の、つまり円弧の類似性のある中心線Ａを果実中心曲線
Ａ′により連結し一本の果実として識別する（ステップ
６０６）。この識別方法を情報として記憶させる（ステ
ップ６０７）。

【００２１】このような識別方法は、果実の中央部分で
茎葉等の障害物によって中心線が切断された場合やノイ
ズ直線が含まれる場合においても、果実全体の高精度な
識別を行いうると共に、収穫率の向上を図ることができ
る。また、キュウリ等果実の輪郭から曲がりを求める従
来の方法に対して、果実の中心線を基にして曲がりを求
める方法では、相関係数が１に近く、予測誤差も小さ
く、±５ｍｍ以内（回帰式による９５％の信頼区間推定
において）で曲がりの評価が可能となる。

【００２２】これらの評価は、図２５のフローチャート
に示す如く、キュウリ等果実の画像を入力し（ステップ
７０１）、この入力画像を２値化する（ステップ７０
２）。この２値画像Ｘの中心線Ａを算出し（ステップ７
０３）、この算出から果実中心曲線Ａ′を抽出すると共
に（ステップ７０４）、図２４に示す如く、この中心曲
線Ａ′の始点ａと終点ｂを結ぶ果実直線Ｌから中心曲線
Ａ′に対する最大の果実曲がり量ｇによって曲がりを算
出する（ステップ７０５）。この算出方法を情報として
記憶させる（ステップ７０６）。

【００２３】このような果実の曲がり算出方法は、収穫
アプローチ情報のデータを流用できるから、再度輪郭に
よる曲がりを求める必要がなく、曲がり測定時間の高速
化を図ることができるため収穫性能（処理面積）が向上
する。また、従来では、中央部分が隠れて欠落したキュ
ウリ等果実が複数存在する場合、一本の果実を正しく認
識することができなかった。

【００２４】このため、図２６のフローチャートに示す
如く、キュウリ等果実の画像を入力し（ステップ８０
１）、この入力画像を２値化する（ステップ８０２）。
図２７に示す如く、この２値画像Ｘの中心線Ａを算出し
（ステップ８０３）、この中心線Ａから果実部領域を推
定すると共に（ステップ８０４）、その果頂部始点ａと
花落部終点ｂとを選定する（ステップ８０５）。続い
て、果実直線Ｌを仮決定し（ステップ８０６）、この果
実直線Ｌが一定長さの範囲Ｎかどうかをチェックし（ス
テップ８０７）、ＹＥＳであれば、その傾斜角度を算出
する（ステップ８０８）。ＮＯのときは、ステップ８１
５へスキップさせる。次に、果実直線Ｌの、例えば１５
％と８５％のｃとｃ′位置を算出すると共に（ステップ
８０８）、各々中心線Ａとの交点ｅ，ｅ′を算出し（ス
テップ８１０）、果実直線Ｌとの開き角度θ，θ′を算
出する（ステップ８１１）。次に、果頂部始点ａの開き
角度θが一定値以下かどうかをチェックし（ステップ８
１２）、ＹＥＳであれば、信頼区間内かどうかをチェッ
クし（ステップ８１３）、ＹＥＳであれば、中心線Ａの
連結により一本の果実と認識する（ステップ８１４）。
ステップ８１２及び８１３が各々ＮＯのときは、ステッ
プ８１５へスキップさせる。最後に全てのチェックが完
了したかどうかをチェックし（ステップ８１５）、ＹＥ
ＳであれはＥＮＤとなり、ＮＯのときはステップ８０６
へリターンさせる。

【００２５】このように、２値画像Ｘの果実部推定領域
中に複数の果実が存在する場合に、始点ａと終点ｂとを
順次果実直線Ｌで仮連結を行い、この果実直線Ｌの予め
設定した比率の位置から各々垂線ｄ，ｄ′を立て、この
両垂線ｄ，ｄ′と中心線Ａとの両交点ｅ，ｅ′を求め、
この両交点ｅ，ｅ′と始点ａ及び終点ｂとを始点線ｆと
終点線ｆ′とにより各々連結し、この始点線ｆ及び終点
線ｆ′と果実直線Ｌによって割り出した始点角θ及び終
点角θ′と回帰式による信頼区間とによって、始点ａ部
と終点ｂ部さえ２値化できていれば、複数の果実中心線
Ａの中から選択して連結させることにより、一本の果実
としての認識を可能にするものである。（曲がりが４ｃ
ｍ以内の商品価値の高いキュウリについて特に効果的で
ある） また、中央部分が隠れて欠落したキュウリ等果実を認識
する場合、垂直方向に予め設定した角度で連結していく
方法があるが、下方に茎葉等の中心線が存在するとき
は、この中心線と連結させて誤った果実の判定を行うと
いう不具合があった。

【００２６】このため、果実の中央部が欠落した果実の
認識を、図２８に示す如く、果実以外の中心線を含む２
値画像Ｘの中から、果実の長さを果実の果頂部始点ａか
ら一定範囲の検索領域Ｎで規制すると共に、その範囲に
存在する中心線Ａ′の複数の終点ｂ，ｂ′と果頂部始点
ａとを各々果実直線Ｌ，Ｌ′で結び、この各果実直線
Ｌ，Ｌ′の一定比率の位置から各々垂線ｄ，ｄ′を立
て、この各垂線ｄ，ｄ′と果頂部中心線Ａとの各交点
ｅ，ｅ′を求め、この各交点ｅ，ｅ′と果頂部始点ａ及
び各終点ｂ，ｂ′とを結んで形成される各開き角α，
α′が、予め設定する一定範囲の角度内にあるかどうか
を判定し、この判定による始点ａと終点ｂにより果実全
体を認識した後、中心線Ａ及びＡ′を連結させる。

【００２７】この方法の連結を行うことにより、果実の
形態的特性に基づいた中心線の判別を行うことができ、
果実以外の中心線との誤連結や未熟果の誤連結を防止で
きると共に、連結範囲を絞って中心線の連結効率が良好
となり、認識速度や認識精度を高め収穫率が向上する。
また、上記と異なる実施例として、キャベツの結球状態
の判定により選択収穫を行う判定装置に関するもので
は、キャベツの生育状態が進むにつれて外葉が開き結球
部の露出量が増加すると、結球中心部は緑色が薄くな
り、外葉は緑色が濃くなることから、この状態を、図２
９に示す如く、照明器１１付きのカラーセンサ１２と演
算部１３をもつ撮像装置１４によりキャベツを撮像し、
この画像をダイナミックレンジ拡大して２値化を行い光
学的に検出するものであり、この検出結果から緑色の薄
い部分ではＲ成分とＧ成分は等しくなり、Ｒ成分とＢ成
分の光量差が大きくなることに対し、緑色の濃い部分で
はＲ成分とＢ成分の光量差が小さくなることが知見でき
る。

【００２８】このように、キャベツの色を決めるＲ，
Ｇ，Ｂ成分の中で、ＲとＢの光量差によって結球中心部
の露出量から結球状態を測定し、収穫適期の判断を行う
ことができる。また、結球中心部を検出できることによ
って、自動収穫を行う際の把持位置の検出や硬さ測定位
置のセンサとしても利用可能である。

【図面の簡単な説明】

【図１】画像処理装置の回路構成を示すブロック図。

【図２】２値画像を平均輝度により２値化した果実部領
域から果実中心線を判別するフローチャートを示す。

【図３】ＣＣＤカメラにより撮像されたキュウリ等果実
の原画像を示す。

【図４】原画像を輝度基準による輝度差により２値化し
た２値画像を示す。

【図５】２値画像から認識アルゴリズムによって算出し
た各中心線の画像を示す。

【図６】２値画像を小分割した平均輝度により２値化し
た果実部領域の画像を示す。

【図７】２値化した果実部領域から選択判別される果実
中心線の画像を示す。

【図８】２値画像の中心線を空間フィルター処理して連
結するフローチャートを示す。

【図９】２値画像を空間フィルターによって処理した輪
郭線抽出画像を示す。

【図１０】輪郭線抽出画像による果実と茎葉等との交点
抽出画像を示す。

【図１１】空間フィルター処理の座標の一例（９×９画
素）を示す。

【図１２】交点抽出により各交点間に存在する中心線の
連結画像を示す。

【図１３】二種類の平均輝度画像の重合により未熟果を
抽出するフローチャートを示す。

【図１４】２値画像を小分割した平均輝度により２値化
した果実部領域の画像を示す。

【図１５】２値画像を小分割した平均輝度により２値化
した果実部領域の画像を示す。

【図１６】二種類の平均輝度により２値化した果実部領
域画像の重合画像を示す。

【図１７】果実中心線と果柄部水平直線との交点を算出
するフローチャートを示す。

【図１８】平均輝度で２値化した果実部領域画像と果実
中心線画像の重合画像を示す。

【図１９】果実中心線と果柄部水平直線の交点によるア
プローチ位置の画像を示す。

【図２０】果柄部水平直線中心のアプローチ位置の画像
を示す。

【図２１】隠れた果実中央部の曲がり量を算出するフロ
ーチャートを示す。

【図２２】隠れた果実中央部の曲がり量を果頂部の曲が
り角度から算出する画像を示す。

【図２３】傾斜中心線の交差から類似性のある中心線を
連結するフローチャートを示す。

【図２４】果実中心線の連結と果実曲がり量を算出する
画像を示す。

【図２５】果実中心曲線を抽出して果実曲がり量を算出
するフローチャートを示す。

【図２６】複数の果実中心線の中から一本の果実を認識
するフローチャートを示す。

【図２７】複数の始点と終点とを仮連結して算出し一本
の果実を認識する画像を示す。

【図２８】始点と一定の検索領域内の複数終点により一
本の果実を認識する画像を示す。

【図２９】撮像装置の回路構成を示すブロック図。

【符号の説明】

１． ＣＣＤカメラ Ａ． 果実中心線 Ｍ． マトリックスサイズ Ｘ． ２値画像

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ＣＣＤカメラ１による果実など対象物の
   画像をＲ，Ｇ，Ｂ信号の輝度差により２値化するものに
   おいて、この２値画像Ｘを予め設定したマトリックスサ
   イズＭによって平均輝度を求める平均輝度算出手段と、
   この平均輝度を一定の果実占有率により２値化し果実部
   領域を抽出する果実部領域抽出手段と、この果実部領域
   から推定される中心線を別途アルゴリズムによって抽出
   された多数の中心線のうちから果実中心線Ａとして、選
   択判別する果実中心線判別手段とを備えた果実の画像処
   理装置。