JPS62274379A - 果実認識用の画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実用作業機の作業用マニプレータ
を作業対象果実のある位置に誘導するための制御情報を
得るために、作業対象果実のある位置を検出する手段等
として用いるだめの果実認識用の画像処理装置に関し、
詳しくは、撮像画像情報から認識対象果実の色に対応す
る特定色範囲の領域を抽出して２値化する２値化手段、
前記撮像画像情報のグレイレベルを量子化した濃淡画像
情報を得る量子化手段、及び、前記２値化手段にて２値
化された２値化画像情報と同一領域内の濃淡画像情報の
グレイレベルに基づいて、最も明るく見えるハイライト
領域を抽出するハイライト領域抽出手段を備えた果実認
識用の画像処理装置に関する。

〔従来の技術〕

ミカンやリンゴ等の果実は、一般的にその形状が球形で
あることから、この認識対象果実をある方向から見ると
、その球形の頂点として見える位置が最も明るく反射す
る状態となるハイライト領域として認識できる。そして
、この最も明るく見える位置は、果実が球形であること
から複数個の対象夫々について各−個所存在することか
ら、この最も明るく見える位置つまりハイライ）　ＳＲ
域の位置を、認識対象果実夫々の位置を代表する位１と
して扱えることとなる。

上記この種の果実認識用の画像処理装置は、上述したよ
うに、果実をある方向から見た場合に生じるハイライ）
　６ｉ域が、認識対象果実の位置を代表する情報として
扱えることを利用して、認識対象果実を逼像した画像情
報から果実のみに対応した領域内のハイライト領域を求
めるようにしたものである。

そして、本出願人は、上記特性を利用して、認識対象を
盪像した画像情報を、認識対象果実の色に対応した特定
色をマスクして、このマスクされた領域と同一領域の濃
淡画像情報の明るさが最大となるハイライ）　２ＴＪ域
の位置を検出する手段を備えた果実認識装置を先に提案
した（特願昭６０−１２８９３号、特願昭６０−２１１
５８５号参照）。

〔発明が解決しようとする問題点〕

しかしながら、上記従来手段においては、以下に示すよ
うな不都合があり、改善の余地があった。

例えば、果実に対して当たる光りの方向によっては、第
３図（ニ）に示すように、上記ハイライト領域（Ｐ０）
の位置が、果実（Ｆ）とその周囲にある技、葉等の他の
物体又は背景となる空等との境界に接した位置となる場
合がある。

そして、上記果実認識用の画像処理装置では、逼像画像
情報を量子化して処理するために、その処理画像情報は
、モザイク状の画像となり、量子化誤差の影響もあって
、上記ハイライ）　？Ｊ域（Ｐ０）の位置が、果実（Ｆ
）のみに対応した領域の境界（Ｆ０）に接した状態とし
て認識されることとなる。

従って、果実（Ｆ）のみに対応した領域の境界（Ｆ０）
つまり認識対象果実（Ｆ）の縁に位置するハイライト領
域（Ｐ０）を、果実の位置を代゛表する位置として用い
て、例えば、上述した果実用作業機の作業用マニプレー
タを誘導すると、その位置が果実の縁であるために、ア
プローチを失敗する確率が高くなる不利が生じるもので
あった。

〔問題点を解決するための手段〕

本発明による果実認識用の画像処理装置の特徴構成は、
前記抽出されたハイライト領域の位置を前記２値化画像
情報の抽出領域の境界の内方側に移動させるハイライト
領域補正手段を、前記ハイライト領域抽出手段に備えさ
せてある点にあり、その作用並びに効果は以下の通りで
ある。

〔作　用〕

すなわち、認識対象果実の色に対応した特定色の領域を
２値化した２値化画像情報の領域内の濃淡画像情報のグ
レイレベルに基づいて抽出したハイライト領域を、上記
２値化画像情報の境界である認識した果実の縁よりも内
方側に移動させるように補正するのである。

〔発明の効果〕

従って、認識対象果実の位置を代表するハイライト領域
の位置を、認識した果実の縁よりも内方側に寄った状態
で抽出できるので、例えば、認識結果としてのハイライ
ト領域の位置情報を用いて作業用マニプレータを誘導す
る場合等に、その誘導方向がアプローチを失敗し易い果
実の縁となるような不都合が生じる虞れを回避できる。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において盪像されたカラー画像情報（Ｓ
０）から、認識対象果実の位置情報を得るための果実認
識用の画像処理装置のブロック図であって、特に、ミカ
ンやリンゴ等の暖色系の果実を認識するための装置とし
て構成してあり、認識対象果実（Ｆ）の色に対応する特
定色の画像情報（Ｓｌ）として、前記カラー画像情報（
Ｓ０）を構成する赤色成分の色信号（Ｒ）を分離抽出す
ると共に、特定色を含まない画像情報（Ｓ２）として、
青色成分の色信号（Ｂ）を分離抽出し、そして、前記赤
色成分の色信号（Ｒ）から青色成分の色信号（Ｂ）を減
算して２値化することにより、認識対象果実以外の技、
葉、空等の背景となる物体の色成分を除去すると共に、
明るさに対して正規化した果実の色のみに対応した領域
を抽出した２値化画像情報（Ｓ４）を得るようにしであ
る。そして、前記カラー画像情報（Ｓ０）のうちの明る
さ情報のみに対応した濃淡画像情報としての輝度信号（
Ｙ）を、そのグレイレベルに基づいて量子化した濃淡画
像情報（Ｓ５）を分離抽出した後、前記濃淡画像情報（
Ｓ５）を、前記２値化画像情報（Ｓ４）にてマスクした
領域内において最も明るく見えるハイライト領域（Ｐ０
）の位置を求めることにより、重なりあって見える複数
果実の一つ一つを分離識別可能な位置情報を得るように
構成しである。

すなわち、描像手段としてのカラービデオカメラ（１）
により描像されたカラー画像情報（第３図（イ）参照）
として出力されるＮＴＳＣ形式のカラービデオ信号（Ｓ
０）は、ＮＴＳＣデコーダ（２）により、垂直同期信号
（ＶＤ）と水平同期信号（ＨＤ）の同期信号、赤色信号
（Ｒ）と青色信号（Ｂ）の色信号、及び、濃淡画像情報
としての輝度信号（Ｙ）の夫々に分離される。

前記分離された赤色信号（Ｒ）と青色信号（Ｂ）は、前
記認識対象果実（Ｆ）に対応した特定色範囲の画像情報
（Ｓ５）を抽出する色分離手段としての色分離回路（３
）により減算処理されると共に、２値化回路（４）にて
設定闇値に基づいて２値化され、認識対象果実（Ｆ）の
色のみに対応した特定色領域を抽出した２値化画像情報
（Ｓ４．）（第３図（Ｅｌ）参照）に変換される。

一方、前記輝度信号（Ｙ）は、量子化手段としてのＡ／
Ｄ変換器（５）にて、その明るさつまりグレイレベルを
１２８段階に量子化され、７ビツト長のデジタル値とし
て表現される濃淡画像情報（Ｓ５）に変換され、データ
バッファ（６）にて、量子化画素単位毎に、前記２値化
画像情報（Ｓ４）と合成されて、画像記憶手段としての
画像メモリ（７）に、一画面分の画像情報として一旦記
憶されるようにしである。尚、本実施例では、前記輝度
信号（Ｙ）を量子化するに、−画面当たり３２　Ｘ　３
２画素のモザイク状の画像データ（Ｓ６）　（第３図（
ハ）参照）として記憶するようにしである。

前記２値化画像情報（Ｓ４）と濃淡画像情報（Ｓ５）と
を各量子化画素毎に、一つの画像データ（Ｓ５）として
合成する処理について説明すれば、−画素当たりの画像
データ（Ｓ＆）を全体として８ビツト長で表現するよう
にしてあり、そして、その最下位ビット位置（ビット“
０”）を、前記２値化画像情報（Ｓ４）の値として用い
ると共に、それより上位の７ビツト分を、前記濃淡画像
情報（Ｓ５）の明るさを示す値として用いるようにしで
ある。但し、前記２値化画像情報（Ｓ４）の値が“１”
の場合が前記認識対象果実（Ｆ）の色の領域を示し、“
０”が認識対象果実（Ｆ）以外の色の領域を示すように
しである。

従って、前記画像メモリ（７）には、８ビツト長で示さ
れる量子化画素毎に対応した２値化した色情報と明るさ
情報とを、同一アドレス位置において一つの画像データ
（Ｓ６）として記憶することとなる。

但し、前記２値化画像情報（ｓ４）を得る処理と、前記
輝度信号（Ｙ）をＡ／Ｄ変換してデジタル化された濃淡
画像情報（Ｓ５）を得る処理、並びに、前記２値化画像
情報（Ｓ４）と濃淡画像情報（Ｓ５）を画素毎に一対一
に対応した画像データとして一つの画像データ（Ｓ５）
に合成して記憶させる処理は、前記垂直同期信号（ＶＤ
）及び水平同期信号（ＩＩ　Ｏ）に同期して同時並列的
に行われるように、タイミング回路（８）にて、その処
理動作が制御されるようにしである。又、前記カメラ（
１）による描像動作に同期してストロボ装置（９）が発
光するように、前記タイミング回路（８）からの制御信
号によって起動されるストロボ制御回路（１０）により
、発光タイミング及びその発光強度を適性化するように
構成しである。

又、前記画像メモリ（７）に記憶された２値化画像情報
（Ｓ＋）及び濃淡画像情報（Ｓ２）は、ＣＲＴコントロ
ーラ（１１）及びＴＶ信号ジェネレータ（１２）により
、コンポジットビデオ信号に変換されて、モニタテレビ
（１３）に表示されるようにしである。

前記２値化画像情報（Ｓ４）及び濃淡画像情報（Ｓ５）
は、制御プロセッサ（ＣＰＵＩ）及び数値演算プロセッ
サ（ＣＰＵりにて、各画素毎の画像データ（Ｓ５）とし
て記憶された画像情報に基づいて、前記２値化画像情報
（Ｓ４）の値が“１”で囲まれた領域内のうちの前述し
たハイライト領域（Ｐ０）に相当する欠落した部分（第
３図（０）参照）の穴埋めの処理をした後、その穴埋め
処理を施した２値化画像情報（Ｓ５）（第３図（ハ）参
照）が“１”である領域内のグレイレヘルに基づいて、
前記果実（Ｆ）とそれ以外の領域との境界（Ｆ０）に接
した状態のハイライト８Ｎ域（Ｐ０）の位置（第３図（
ニ）参照）を前記境界（Ｆ０）の内方側に移動させるハ
イライト領域補正の処理を行った後、最も明るく見える
位置であるハイライト８Ｍ域（ｐ０）　（第３図（ネ）
参照）の位置を求めると共に、前記２値化画像情報（し
）が“１”である領域つまり果実に対応する領域の重心
（Ｐｏの位置を求める処理を施される。

前記穴埋め処理について説明すれば、前記合成された画
像データ（Ｓ５）のうちの２値化画像情報（Ｓ４）の値
に基づいてラベリング処理を行った後、例えば、面積が
小さい領域の２値化画像情報（Ｓ４）の値が“Ｏ″の部
分を“１”に置き換えることにより、その部分の明るさ
情報が欠落することな（色情報に関する穴埋めを行うの
である。

・次に、穴埋め処理を行った画像情報を後述するハイラ
イト領域（Ｐ０）を２値化画像情報（Ｓ５）の境界（Ｆ
０）よりも内方側に移動させるハイライト領域補正処理
を行った後、再度ラベリングし、例えば、そのラベル毎
の明るさの最大値及びその最大値より一段階低い明るさ
の領域のみを残して他の領域の画像データ（Ｓ５）を全
て“０”に置き換えることにより、前記ハイライト領域
（Ｐ０）を抽出するのである。もって、上述したラベル
毎の明るさの最大値及びその最大値より一段階低い明る
さの領域のみを残して他の領域の画像データ（Ｓ＆）を
全て“０”に置き換える処理にてハイライト領域抽出手
段（Ａ）を構成しである。

前記ハイライト領域（Ｐ０）を抽出する処理について説
明すれば、第２図に示すように、注目画素（＊）と、そ
の周囲に隣接する８つの画素（第２図中、■〜■として
示す）の９つの画素を抽出するマスクを用いて、下記式
に示すように、前記隣接する８つの画素の明るさつまり
前記量子化した濃淡画像情報（Ｓ５）の値を加算して１
７８することにより平均化した値を求め、その値を、前
記注目画素（率）の値に置き換える処理を、前記穴埋め
処理後の２値化画像情ｆｎ（Ｓｓ）が“ｌ。

である領域内の全画素について行うことにより、第３図
（ニ）に示す２値化画像情報（Ｓ４）の境界（Ｆ０）に
接した状態のハイライト８Ｍ域（Ｐ０）の位置を、第３
図（ネ）に示すように、前記境界（Ｆ０）で囲まれた領
域の内方側に寄せるのである。もって、上述した明るさ
の平均化処理にて、ハイライト領域補正手段（Ｂ）を構
成しである。

＊＝−・（■＋■＋・・・・・・＋■）そして、認識し
た果実の個数やその位置情報つまり前記補正処理された
ハイライト領域（Ｐ０）（第３図（ネ）参照）や重心（
Ｐ５）の位置座標の情報を、その認識結果を利用するホ
ストコンピュータ（ＣＰＵ０）に、インターフェース装
置（１４）を介して伝達すると共に、全体の動作を制御
されるのである。尚、第１図中、（１５）は、前記各プ
ロセ・ノサ（ＣＰＵ　＋　）　、（ＣＰＵ　ｚ）の動作
プログラムや演算用データを格納したり、前記ホストコ
ンピュータ（ＣＰＵＯ）との間で授受する各種データ等
を格納するためのメモリである。

次に、上述した構成になる果実認識装置によって得られ
たハイライｈ　ＳＪｆ域（Ｐ０）の位置情報を用いて、
果実用作業機の作業用マニプレータを誘導する手段につ
いて説明する。

第４図に示すように、左右一対の走行車輪（１６）を前
後に備えた走行機体（Ｖ）に、昇降並びに左右揺動自在
にブーム（１７）を枢支すると共に、そのブーム（１７
）の先端部に、補助ブーム（１８）を水平方向に揺動自
在に枢支し、前記補助ブーム（１８）の先端部に、多間
接型の伸縮式マニプレータ（１９）を、上下左右方向に
揺動自在に取り付けである。

そして、前記マニプレータ（１９）の先端部に作業用ハ
ンド（Ｈ）を取り付けると共に、その視野方向が、マニ
プレータ（１９）つまり前記作業用ハンド（Ｈ）の向き
と一致する状態で、前記マニプレータ（１９）の基端部
の内部に、前記カメラ（１）を格納しである。

従って、前記カメラ（１）からは、前記マユブレーク（
１９）が向いた方向にある作業対象果実（Ｆ５及びその
周囲の技や葉等の前景となる物体を含む撮像画像情報（
Ｓ０）が得られ、その撮像画像情ＩＩ　（ｓ０）に対し
て上述した処理を行うことにより、現在のマユブレーク
（１９）の位置に対する作業対象果実（Ｆ）の位置に対
応したハイライト領域（Ｐ０）の位置座標の情報が得ら
れるのである。

そして、前記ハイライト８１域（Ｐ０）の位置する方向
に向けて前記マニプレータ（１９）を突出させるること
により、作業対象果実（Ｆ）に対してアプローチさせる
ようにすれば、ひとかたまりの領域として認識された果
実（Ｆ）の夫々に対して正確にアプローチさせることが
できる。

〔別実施例〕

上記実施例においては、ハイライト領域（Ｐ０）を、２
値化画像情報（Ｓオ）の境界（Ｆ０）の内方側に移動さ
せるハイライト領域補正手段（Ｂ）を、注目画素（本）
の明るさの値を、注目画素（本）の周囲に位置する各画
素の明るさを平均化した値に置き換える平均化処理にて
構成するようにした場合を例示したが、例えば、抽出し
たハイライト領域（Ｐ０）の位置を、例えば、一画素分
上記境界（Ｆ０）の内方側に寄せた位置として認識させ
る等の処理にて構成してもよい。又、ハイライト８１域
（Ｐ０）を、例えば、前記境界（Ｆ０）で囲まれた領域
の重心を求め、その重心の方向へ移動させるようにして
もよい。

又、上記実施例では、認識対象果実（Ｆ）の色のみに対
応した画像情報を得るに、カラー画像を構成する赤色と
青色の各色信号をそのまま減算するようにした場合を例
示したが、認識対象果実の色に対応して減算する色の画
像情報を設定すればよく、認識対象果実の色に応じて各
種変更できる。又、量子化する画素数も、認識する情報
に必要な分解能に応じて設定すればよく、本発明は、上
記実施例のみに限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る果実認識用の画像装置の実施例を示
し、第１図は果実認識装置の構成を示すブロック図、第
２図はハイライト領域補正用マスクの説明図、第３図は
画像情報の説明図、第４図は果実用作業機の概略構成を
示す側面図である。 （Ｆ）・・・・・・認識対象果実、（ｓ０）・・・・・
・撮像画像情報、（Ｓ４）・・・・・・２値化画像情報
、（Ｓ５）・・・・・・濃淡画像情報、（Ｐ０）・・・
・・・ハイライト領域、（Ｆ０）・・・・・・境界、（
４）・・・・・・２値化手段、（５）・・・・・・量子
化手段、（Ａ）・・・・・・ハイライト領域抽出手段、
（Ｂ）・・・・・・ハイライト６ｉ域補正手段。

Claims (1)

1. 【特許請求の範囲】 ［１］撮像画像情報（Ｓ＿０）から認識対象果実（Ｆ）
   の色に対応する特定色範囲の領域を抽出して２値化する
   ２値化手段（４）、前記撮像画像情報（Ｓ＿０）のグレ
   イレベルを量子化した濃淡画像情報（Ｓ＿５）を得る量
   子化手段（５）、及び、前記２値化手段（４）にて２値
   化された２値化画像情報（Ｓ＿４）と同一領域内の濃淡
   画像情報（Ｓ＿５）のグレイレベルに基づいて、最も明
   るく見えるハイライト領域（Ｐ＿０）を抽出するハイラ
   イト領域抽出手段（Ａ）を備えた果実認識用の画像処理
   装置であって、前記抽出されたハイライト領域（Ｐ＿０
   ）の位置を前記２値化画像情報（Ｓ＿４）の抽出領域の
   境界（Ｆ＿０）の内方側に移動させるハイライト領域補
   正手段（Ｂ）を、前記ハイライト領域抽出手段（Ａ）に
   備えさせてある果実認識用の画像処理装置。 ［２］前記ハイライト領域補正手段（Ｂ）が、前記濃淡
   画像情報（Ｓ＿５）の明るさを平均化する処理である特
   許請求の範囲第［１］項に記載の果実認識用の画像処理
   装置。