JPH058472B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実用作業機に対する作業
対象果実の位置関係を検出して、作業用マニプレ
ータを誘導するための制御情報を得るための手段
等として用いられる果実認識装置に関し、詳しく
は、撮像対象を照光する照光手段、及び、この照
光手段による照光時に撮像対象を撮像する撮像手
段を備え、この撮像画像情報より認識果実に対応
した特定色範囲の濃淡画像情報を抽出し、その抽
出濃淡情報のグレイレベルに基づいて認識果実位
置情報を検出する果実位置検出手段を備えた果実
認識装置に関する。 〔従来の技術〕 ミカンやリンゴ等の果実は、一般的にその形状
が球形であることから、この認識対象果実を照光
すると、その球形が頂点として見える位置すなわ
ち明るさが極大値となる位置が最も明るく反射す
る状態となる。そして、この最も明るく見える位
置は、果実が球形があることから複数個の対象
夫々について各一箇所存在する。従つて、この最
も明るく見える位置は、夫々の認識対象果実の代
表位置情報として扱えることとなる。 上記この種の果実認識装置は、上記果実を所定
方向から照光すると、その位置を代表する点が最
も明るく見えるという特性を利用して、認識対象
果実の位置情報を検出するようにしたものであ
る。 そして、本出願人は、上記特性を利用して、認
識対応を照光して撮像した画像情報を、対象果実
に対応した特定色のマスクして、このマスクされ
た特定色と同一座標範囲内にある濃淡画像情報の
み抽出し、その濃淡画像情報の明るさが極大値と
なる明るさのピーク位置を検出する手段を備えた
果実認識装置を先に提案した。（特願昭60−
128933号参照） 〔発明が解決しようとする問題点〕 しかしながら、上記特定色にの対応した範囲の
濃淡画像情報から、その明るさのピーク位置を検
出し、その検出ピーク位置情報を認識果実の位置
情報とする構成では、以下に示すように不都合が
あり、改善の余地があつた。 すなわち、果実の表面状態が滑らかな球形にな
つていることはまれであり、通常細かな凹凸や損
傷による小さな凹部が存在するものである。従つ
て、その表面に局所的に変化する凹凸がある果実
に照光すると、その凹凸部分において、明るさが
局所的に変化することとなる。 一方、この種の画像処理を伴う装置において
は、カメラ等の撮像手段によるアナログ画像信号
をデジタル化して処理することとなり、そのデジ
タル化による量子化誤差や標本化誤差が発生す
る。これら誤差を小さくするためには、量子化や
標本化の分解能を高くれすればよいのであるが、
そうすると、デジタル化された画像情報の構成画
素数が非常に多いものとなり、実用的な処理速度
では、処理できなくなる。又、画像情報の画素数
が多くなると、微妙な明るさ変化まで認識するこ
ととなり、明らさのピーク位置が、一つの果実表
面においても複数個存在するかのように見え、逆
に認識精度が低くなる不利もある。 そこで、上記濃淡画像と抽出する際に、画像信
号をフイルタリングして、細かい明暗変化を除去
することが考えられるが、果実の大きさやその形
状が不定であるために、単純なフイルタでは除去
しきれないものである。又、上記明るさのピーク
位置を検出する際に、ピーク位置検出用のマスク
を設け、そのマスク内にあるピーク位置を検出す
るようにすることも考えられるが、果実の大きさ
やその形状が不定であるために、画像処理用のマ
スクをむやみに大きくすることはできないもので
ある。 本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、上記認識対応果実に対応した
特定色てマスクした範囲の濃淡画像情報から、そ
の最も明るい部分を抽出することにより、認識果
実の位置情報を検出する際に、明るさの局所変化
の影響を受けないようにすることにある。 〔問題点を解決するための手段〕 本発明による果実認識装置の特徴構成は、前記
特定色範囲の濃淡画像情報を抽出するに、そのグ
レイレベルを複数段階に標本化する標本化手段、
及び、その標本化濃淡画像情報のグレイレベルが
最大となるハイライト領域を抽出するハイライト
領域抽出手段、及び、前記抽出ハイライト領域の
重心位置を検出する重心位置検出手段を備えさせ
てある点にあり、その作用並びに効果は以下の通
りである。 〔作用〕 すなわち、特定色の対応した濃淡画像情報を抽
出する際に、その濃淡画像情報のグレイレベルを
複数段階に標本化し、その標本化された濃淡画像
情報のグレイレベルが最大となるハイライト領域
を抽出することにより、明るさの極大値つまり最
も明るく見える果実位置を代表する点を含む領域
を特定して、その重心位置を求めることにより、
認識果実の位置を代表する一つの位置情報を得る
のである。 〔発明の効果〕 つまり、複数段階の標本化した濃淡画像情報の
グレイレベルが最大となるハイライト領域を抽出
することにより、認識果実の最も明るく見える位
置を含む領域を狭い範囲に特定して、その重心位
置を認識果実の位置情報とするので、上記グレイ
レベルが最大となるハイライト領域内において明
るさが局所変化していても、そのことによる影響
を確実に除去できる。又、この狭い範囲に特定さ
れたハイライト領域の重心を検出するので、重心
位置を検出するための画像情報の処理データ量は
少ないものとかなり、重心位置検出のための処理
速度が問題となることはない。 〔実施例〕 以下、本発明の実施例の図面に基づいて説明す
る。 第１図は、屋外において撮像された画像譲歩か
ら、認識対象果実の一つ一つに対応した位置情報
を得る果実認識装置のブロツク図であつて、特
に、ミカンやリング等の暖色系の果実を認識する
ための装置として構成してあり、カラー画像を構
成する赤色成分の色信号Ｒより青色成分の色信号
Ｂを減算することにより、果実色以外の枝、葉、
空等の背景となる物体に対応した色成分を除去し
て得た果実の色Ｃのみに対応した２値化画像情報
F₁を抽出し、この２値化画像情報F₁で輝度信号
Ｙでマスクして、果実の色Ｃのみに対応した特定
色範囲の濃淡画像処理情報S₁を抽出し、その明る
さすなわちグレイレベルを複数段階に標本化して
最も明るいハイライト領域P₀を抽出し、そのハ
イライト領域P₀の重心位置P₁を求めることによ
り、重なりあつて見える複数果実の一つ一つが分
離された状態の位置情報を得るように構成してあ
る。 すなわち、撮像手段としてのカラービデオカメ
ラ１により撮像された画像情報（第３図イ参照）
として出力されるNTSC形式のカラービデオ信号
S₀は、NTSデコーダ２により、垂直同期信号
VD、水平同期信号HDの各同期信号、赤色信号
Ｒ、青色信号Ｂの各色信号、及び、濃淡画像情報
としての輝度信号Ｙに分離され、色分離回路３に
より、前記赤色信号Ｒと青色信号Ｂの差Ｒ−Ｂを
演算して、設定闘値（Cref）と比較されて、認識
対象果実の色Ｃのみに対応した色の２値化画像情
報である２値化色画像情報F₁（第３図ロ参照）に
変換される。 前記輝度信号Ｙは、前記２値化色画像情報F₁
をコントロール信号として、この２値化色画像情
報F₁が“Ｈ”レベルである間すなわち果実色Ｃ
に対応する区間のみ開くゲート回路４を通過させ
ることにより、前記２値化色画像情報F₁をマス
クとして、前記認識対象果実の色Ｃのみに対応し
に濃淡画像情報S₁として抽出されるのである。次
に、この濃淡画像情報S₁は、A/D交換器５によ
り４ビツト／１画素の分解能で量子化されて、32
×32画素／１画面で構成されるデジタル濃淡画像
情報S₂（第３図ハ参照）として標本化され、デー
タバツフア６を介して画像メモリ７に一旦記憶さ
れる。 前記２値化色画像情報F₁を得る処理と、この
２値化色画像情報F₁をマスクとして前記輝度信
号Ｙから認識対象果実の色Ｃのみに対応した濃淡
画像情報S₁抽出し、A/D変換して画像メモリ７
に１画面分のデジタル濃淡画像情報S₂として記憶
させる処理は、前記垂直同期信号VD及び水平同
期信号HDに同期して同時並列的に行われるよう
に、タイミング回路８により、その処理動作が制
御されるようにしてある。又、前記カメラ１によ
り撮像動作に同期して照光手段としてのストロボ
装置１０が発光するように、前記タイミング回路
８からの制御信号によつて起動されるストロボ制
御回路９により、発光タイミング及びその発光強
度を制御するように構成してある。 又、前記画像メモリ７に記憶されたデジタル濃
淡画像情報S₂は、CRTコントローラ１１及びTV
信号ジエネレータ１２により、コンポジツトビデ
オ信号に変換され、モニタテレビ１３により表示
されるようにしてある。 そして、前記デジタル濃淡画像情報S₂は、制御
プロセツサCPU₁及び数値演算プロセツサCPU₂
により、その各座標点（ｘ、ｙ）における明るさ
程度すなわちグレイレベルをチエツクしてデジタ
ル濃淡画像情報S₂の各ハイライト領域P₀（第３図
ホ参照）を抽出し、その重心位置P₁の座標（Xj、
Yi）を演算して、認識果実の位置情報とする そして、認識した果実の個数やその位置座標
（Xj、Yi）の情報を認識結果として、インターフ
エース装置１５を介して、ホストコンピユータ
CPU₀に伝達すると共に、全体の動作を制御され
るのである。尚、第１図中、１６は、前記各プロ
セツサCPU₁，CPU₂の動作プログラムや演算用
データを格納したり、前記ホストコンピユータ
CPU₀との間で授受する各種データ等を格納する
ためのメモリである。 以下、第２図に示すフローチヤートに基づい
て、果実認識装置の動作を詳述する。 すなわち、前記輝度信号Ｙを前記２値化色画像
信号F₁でマスクして得た特定色Ｃ範囲の濃淡画
像情報S₁を、標本化して画像メモリ７に記憶させ
ることにより認識対象果実のみに対応した画像情
報を抽出する（ステツプ＃１）。 次に、前記画像メモリ７に記憶されたデジタル
濃淡画像情報S₂の白黒を反転させて反転画像情報
S₂に変換して（第３図ニ参照）、ラベリング処理
を行い、その面積が小さい領域を消去することに
より、果実の傷やその表面の凹凸によつて発生し
た極端なハイライトにより、穴があいたように見
える領域を埋める（ステツプ＃２〜ステツプ
＃４）。 そして、前記穴を埋めた画像情報を、再度ラベ
リングし、そのラベル毎の明るさの最大値を求
め、その最大値及び最大値−１の明るさとなるハ
イライト領域P₀（第３図ホ参照）のみを残して他
の領域を除去することにより、グレイレベルが最
大となるハイライト領域P₀を抽出する（ステツ
プ＃５〜＃７）。もつて、このステツプ＃５〜ス
テツプ＃７にて、ハイライト領域抽出手段を構成
してある。尚、このハイライト領域P₀を抽出す
る処理において、明るさの最大値とその最大値−
１となる領域を抽出するのは、画像情報の標本化
を比較的粗くしているので、局所的な明るさ変化
で認識領域を大きく誤ることがないようにするた
めである。 更に、前記抽出したハイライト領域P₀に対し
てラベリングし、各ラベル毎にその重心位置P₁
の座標（Xj、Yi）を演算することにより、認識
果実毎の位置情報を得るのである（ステツプ
＃８、ステツプ＃９）。もつて、重心位置検出手
段を構成してある。 従つて、本発明によれば、第３図イに示すよう
に、重なりあつて見える複数果実の各重心位置を
夫々の果実において検出できるのみならず、第４
図イに示すように、その重なりが遠近方向に距離
を隔てた重なりである場合には、一番手前側にあ
るものが最も明るく見えることから、同図ロに示
すように、この一番手前側にあるもののみを認識
することとなり、作業用マニプレータを誘導しや
すい果実から優先的に認識されることとなる。従
つて、果実収穫機等の作業用マニプレータを誘導
するための制誤情報として、この検出位置情報を
用いると、作業し易い部分から作業できることと
なり、その作業性が良くなる。又、第５図イに示
すように、葉等によりその一部が欠けて見えるよ
うな果実であつても、その最も明るく見える部分
は、果実の重心位置とほぼ一致しているとみなす
ことができるので、このような元の形状から大幅
に異なつて見える果実をも、同図ロに示すよう
に、正確な認識することができるのである。

【図面の簡単な説明】

図面は、本発明に係る果実認識装置の実施例を
示し、第１図は果実認識装置の構成を示すブロツ
ク図、第２図はその動作を示すフローチヤート、
第３図イ〜ホは処理画像の説明図、第４図イ，ロ
は遠近方向に重なつた果実の説明図、第５図イ，
ロは一部欠けて見える果実の説明図である。 １……撮像手段、１０……照光手段、S₀……撮
像画像情報、S₁……濃淡画像情報、S₂……標本化
画像情報、P₀……ハイライト領域、P₁……重心
位置。

Claims (1)

【特許請求の範囲】
1. １ 撮像対象を照光するを照光手段１０、及び、
   この照光手段１０による照光時に撮像対象を撮像
   する撮像手段１を備え、その撮像画像情報S₀より
   認識果実Ｆに対応した特定色範囲の濃淡画像情報
   S₁を抽出し、その抽出濃淡画像情報S₁のグレイレ
   ベルに基づいて認識果実位置情報を検出する果実
   位置検出手段を備えた果実認識装置であつて、前
   記特定色範囲の濃淡画像情報S₁を抽出するに、そ
   のグレイレベルを複数段階に標本化する標本化手
   段５、及び、その標本化濃淡画像情報S₂のグレイ
   レベルが最大となるハイライト領域P₀を抽出す
   るハイライト領域抽出手段、及び、前記抽出ハイ
   ライト領域P₀の重心位置P₁を検出する重心位置
   検出手段を備えさせてある果実認識装置。