JPS62274379A - 果実認識用の画像処理装置 - Google Patents
果実認識用の画像処理装置Info
- Publication number
- JPS62274379A JPS62274379A JP61118014A JP11801486A JPS62274379A JP S62274379 A JPS62274379 A JP S62274379A JP 61118014 A JP61118014 A JP 61118014A JP 11801486 A JP11801486 A JP 11801486A JP S62274379 A JPS62274379 A JP S62274379A
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- area
- image information
- information
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 241001672694 Citrus reticulata Species 0.000 description 2
- 241000220225 Malus Species 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Harvesting Machines For Specific Crops (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、例えば、果実用作業機の作業用マニプレータ
を作業対象果実のある位置に誘導するための制御情報を
得るために、作業対象果実のある位置を検出する手段等
として用いるだめの果実認識用の画像処理装置に関し、
詳しくは、撮像画像情報から認識対象果実の色に対応す
る特定色範囲の領域を抽出して2値化する2値化手段、
前記撮像画像情報のグレイレベルを量子化した濃淡画像
情報を得る量子化手段、及び、前記2値化手段にて2値
化された2値化画像情報と同一領域内の濃淡画像情報の
グレイレベルに基づいて、最も明るく見えるハイライト
領域を抽出するハイライト領域抽出手段を備えた果実認
識用の画像処理装置に関する。
を作業対象果実のある位置に誘導するための制御情報を
得るために、作業対象果実のある位置を検出する手段等
として用いるだめの果実認識用の画像処理装置に関し、
詳しくは、撮像画像情報から認識対象果実の色に対応す
る特定色範囲の領域を抽出して2値化する2値化手段、
前記撮像画像情報のグレイレベルを量子化した濃淡画像
情報を得る量子化手段、及び、前記2値化手段にて2値
化された2値化画像情報と同一領域内の濃淡画像情報の
グレイレベルに基づいて、最も明るく見えるハイライト
領域を抽出するハイライト領域抽出手段を備えた果実認
識用の画像処理装置に関する。
ミカンやリンゴ等の果実は、一般的にその形状が球形で
あることから、この認識対象果実をある方向から見ると
、その球形の頂点として見える位置が最も明るく反射す
る状態となるハイライト領域として認識できる。そして
、この最も明るく見える位置は、果実が球形であること
から複数個の対象夫々について各−個所存在することか
ら、この最も明るく見える位置つまりハイライ) SR
域の位置を、認識対象果実夫々の位置を代表する位1と
して扱えることとなる。
あることから、この認識対象果実をある方向から見ると
、その球形の頂点として見える位置が最も明るく反射す
る状態となるハイライト領域として認識できる。そして
、この最も明るく見える位置は、果実が球形であること
から複数個の対象夫々について各−個所存在することか
ら、この最も明るく見える位置つまりハイライ) SR
域の位置を、認識対象果実夫々の位置を代表する位1と
して扱えることとなる。
上記この種の果実認識用の画像処理装置は、上述したよ
うに、果実をある方向から見た場合に生じるハイライ)
6i域が、認識対象果実の位置を代表する情報として
扱えることを利用して、認識対象果実を逼像した画像情
報から果実のみに対応した領域内のハイライト領域を求
めるようにしたものである。
うに、果実をある方向から見た場合に生じるハイライ)
6i域が、認識対象果実の位置を代表する情報として
扱えることを利用して、認識対象果実を逼像した画像情
報から果実のみに対応した領域内のハイライト領域を求
めるようにしたものである。
そして、本出願人は、上記特性を利用して、認識対象を
盪像した画像情報を、認識対象果実の色に対応した特定
色をマスクして、このマスクされた領域と同一領域の濃
淡画像情報の明るさが最大となるハイライ) 2TJ域
の位置を検出する手段を備えた果実認識装置を先に提案
した(特願昭60−12893号、特願昭60−211
585号参照)。
盪像した画像情報を、認識対象果実の色に対応した特定
色をマスクして、このマスクされた領域と同一領域の濃
淡画像情報の明るさが最大となるハイライ) 2TJ域
の位置を検出する手段を備えた果実認識装置を先に提案
した(特願昭60−12893号、特願昭60−211
585号参照)。
しかしながら、上記従来手段においては、以下に示すよ
うな不都合があり、改善の余地があった。
うな不都合があり、改善の余地があった。
例えば、果実に対して当たる光りの方向によっては、第
3図(ニ)に示すように、上記ハイライト領域(P0)
の位置が、果実(F)とその周囲にある技、葉等の他の
物体又は背景となる空等との境界に接した位置となる場
合がある。
3図(ニ)に示すように、上記ハイライト領域(P0)
の位置が、果実(F)とその周囲にある技、葉等の他の
物体又は背景となる空等との境界に接した位置となる場
合がある。
そして、上記果実認識用の画像処理装置では、逼像画像
情報を量子化して処理するために、その処理画像情報は
、モザイク状の画像となり、量子化誤差の影響もあって
、上記ハイライ) ?J域(P0)の位置が、果実(F
)のみに対応した領域の境界(F0)に接した状態とし
て認識されることとなる。
情報を量子化して処理するために、その処理画像情報は
、モザイク状の画像となり、量子化誤差の影響もあって
、上記ハイライ) ?J域(P0)の位置が、果実(F
)のみに対応した領域の境界(F0)に接した状態とし
て認識されることとなる。
従って、果実(F)のみに対応した領域の境界(F0)
つまり認識対象果実(F)の縁に位置するハイライト領
域(P0)を、果実の位置を代゛表する位置として用い
て、例えば、上述した果実用作業機の作業用マニプレー
タを誘導すると、その位置が果実の縁であるために、ア
プローチを失敗する確率が高くなる不利が生じるもので
あった。
つまり認識対象果実(F)の縁に位置するハイライト領
域(P0)を、果実の位置を代゛表する位置として用い
て、例えば、上述した果実用作業機の作業用マニプレー
タを誘導すると、その位置が果実の縁であるために、ア
プローチを失敗する確率が高くなる不利が生じるもので
あった。
本発明による果実認識用の画像処理装置の特徴構成は、
前記抽出されたハイライト領域の位置を前記2値化画像
情報の抽出領域の境界の内方側に移動させるハイライト
領域補正手段を、前記ハイライト領域抽出手段に備えさ
せてある点にあり、その作用並びに効果は以下の通りで
ある。
前記抽出されたハイライト領域の位置を前記2値化画像
情報の抽出領域の境界の内方側に移動させるハイライト
領域補正手段を、前記ハイライト領域抽出手段に備えさ
せてある点にあり、その作用並びに効果は以下の通りで
ある。
すなわち、認識対象果実の色に対応した特定色の領域を
2値化した2値化画像情報の領域内の濃淡画像情報のグ
レイレベルに基づいて抽出したハイライト領域を、上記
2値化画像情報の境界である認識した果実の縁よりも内
方側に移動させるように補正するのである。
2値化した2値化画像情報の領域内の濃淡画像情報のグ
レイレベルに基づいて抽出したハイライト領域を、上記
2値化画像情報の境界である認識した果実の縁よりも内
方側に移動させるように補正するのである。
従って、認識対象果実の位置を代表するハイライト領域
の位置を、認識した果実の縁よりも内方側に寄った状態
で抽出できるので、例えば、認識結果としてのハイライ
ト領域の位置情報を用いて作業用マニプレータを誘導す
る場合等に、その誘導方向がアプローチを失敗し易い果
実の縁となるような不都合が生じる虞れを回避できる。
の位置を、認識した果実の縁よりも内方側に寄った状態
で抽出できるので、例えば、認識結果としてのハイライ
ト領域の位置情報を用いて作業用マニプレータを誘導す
る場合等に、その誘導方向がアプローチを失敗し易い果
実の縁となるような不都合が生じる虞れを回避できる。
以下、本発明の実施例を図面に基づいて説明する。
第1図は、屋外において盪像されたカラー画像情報(S
0)から、認識対象果実の位置情報を得るための果実認
識用の画像処理装置のブロック図であって、特に、ミカ
ンやリンゴ等の暖色系の果実を認識するための装置とし
て構成してあり、認識対象果実(F)の色に対応する特
定色の画像情報(Sl)として、前記カラー画像情報(
S0)を構成する赤色成分の色信号(R)を分離抽出す
ると共に、特定色を含まない画像情報(S2)として、
青色成分の色信号(B)を分離抽出し、そして、前記赤
色成分の色信号(R)から青色成分の色信号(B)を減
算して2値化することにより、認識対象果実以外の技、
葉、空等の背景となる物体の色成分を除去すると共に、
明るさに対して正規化した果実の色のみに対応した領域
を抽出した2値化画像情報(S4)を得るようにしであ
る。そして、前記カラー画像情報(S0)のうちの明る
さ情報のみに対応した濃淡画像情報としての輝度信号(
Y)を、そのグレイレベルに基づいて量子化した濃淡画
像情報(S5)を分離抽出した後、前記濃淡画像情報(
S5)を、前記2値化画像情報(S4)にてマスクした
領域内において最も明るく見えるハイライト領域(P0
)の位置を求めることにより、重なりあって見える複数
果実の一つ一つを分離識別可能な位置情報を得るように
構成しである。
0)から、認識対象果実の位置情報を得るための果実認
識用の画像処理装置のブロック図であって、特に、ミカ
ンやリンゴ等の暖色系の果実を認識するための装置とし
て構成してあり、認識対象果実(F)の色に対応する特
定色の画像情報(Sl)として、前記カラー画像情報(
S0)を構成する赤色成分の色信号(R)を分離抽出す
ると共に、特定色を含まない画像情報(S2)として、
青色成分の色信号(B)を分離抽出し、そして、前記赤
色成分の色信号(R)から青色成分の色信号(B)を減
算して2値化することにより、認識対象果実以外の技、
葉、空等の背景となる物体の色成分を除去すると共に、
明るさに対して正規化した果実の色のみに対応した領域
を抽出した2値化画像情報(S4)を得るようにしであ
る。そして、前記カラー画像情報(S0)のうちの明る
さ情報のみに対応した濃淡画像情報としての輝度信号(
Y)を、そのグレイレベルに基づいて量子化した濃淡画
像情報(S5)を分離抽出した後、前記濃淡画像情報(
S5)を、前記2値化画像情報(S4)にてマスクした
領域内において最も明るく見えるハイライト領域(P0
)の位置を求めることにより、重なりあって見える複数
果実の一つ一つを分離識別可能な位置情報を得るように
構成しである。
すなわち、描像手段としてのカラービデオカメラ(1)
により描像されたカラー画像情報(第3図(イ)参照)
として出力されるNTSC形式のカラービデオ信号(S
0)は、NTSCデコーダ(2)により、垂直同期信号
(VD)と水平同期信号(HD)の同期信号、赤色信号
(R)と青色信号(B)の色信号、及び、濃淡画像情報
としての輝度信号(Y)の夫々に分離される。
により描像されたカラー画像情報(第3図(イ)参照)
として出力されるNTSC形式のカラービデオ信号(S
0)は、NTSCデコーダ(2)により、垂直同期信号
(VD)と水平同期信号(HD)の同期信号、赤色信号
(R)と青色信号(B)の色信号、及び、濃淡画像情報
としての輝度信号(Y)の夫々に分離される。
前記分離された赤色信号(R)と青色信号(B)は、前
記認識対象果実(F)に対応した特定色範囲の画像情報
(S5)を抽出する色分離手段としての色分離回路(3
)により減算処理されると共に、2値化回路(4)にて
設定闇値に基づいて2値化され、認識対象果実(F)の
色のみに対応した特定色領域を抽出した2値化画像情報
(S4.)(第3図(El)参照)に変換される。
記認識対象果実(F)に対応した特定色範囲の画像情報
(S5)を抽出する色分離手段としての色分離回路(3
)により減算処理されると共に、2値化回路(4)にて
設定闇値に基づいて2値化され、認識対象果実(F)の
色のみに対応した特定色領域を抽出した2値化画像情報
(S4.)(第3図(El)参照)に変換される。
一方、前記輝度信号(Y)は、量子化手段としてのA/
D変換器(5)にて、その明るさつまりグレイレベルを
128段階に量子化され、7ビツト長のデジタル値とし
て表現される濃淡画像情報(S5)に変換され、データ
バッファ(6)にて、量子化画素単位毎に、前記2値化
画像情報(S4)と合成されて、画像記憶手段としての
画像メモリ(7)に、一画面分の画像情報として一旦記
憶されるようにしである。尚、本実施例では、前記輝度
信号(Y)を量子化するに、−画面当たり32 X 3
2画素のモザイク状の画像データ(S6) (第3図(
ハ)参照)として記憶するようにしである。
D変換器(5)にて、その明るさつまりグレイレベルを
128段階に量子化され、7ビツト長のデジタル値とし
て表現される濃淡画像情報(S5)に変換され、データ
バッファ(6)にて、量子化画素単位毎に、前記2値化
画像情報(S4)と合成されて、画像記憶手段としての
画像メモリ(7)に、一画面分の画像情報として一旦記
憶されるようにしである。尚、本実施例では、前記輝度
信号(Y)を量子化するに、−画面当たり32 X 3
2画素のモザイク状の画像データ(S6) (第3図(
ハ)参照)として記憶するようにしである。
前記2値化画像情報(S4)と濃淡画像情報(S5)と
を各量子化画素毎に、一つの画像データ(S5)として
合成する処理について説明すれば、−画素当たりの画像
データ(S&)を全体として8ビツト長で表現するよう
にしてあり、そして、その最下位ビット位置(ビット“
0”)を、前記2値化画像情報(S4)の値として用い
ると共に、それより上位の7ビツト分を、前記濃淡画像
情報(S5)の明るさを示す値として用いるようにしで
ある。但し、前記2値化画像情報(S4)の値が“1”
の場合が前記認識対象果実(F)の色の領域を示し、“
0”が認識対象果実(F)以外の色の領域を示すように
しである。
を各量子化画素毎に、一つの画像データ(S5)として
合成する処理について説明すれば、−画素当たりの画像
データ(S&)を全体として8ビツト長で表現するよう
にしてあり、そして、その最下位ビット位置(ビット“
0”)を、前記2値化画像情報(S4)の値として用い
ると共に、それより上位の7ビツト分を、前記濃淡画像
情報(S5)の明るさを示す値として用いるようにしで
ある。但し、前記2値化画像情報(S4)の値が“1”
の場合が前記認識対象果実(F)の色の領域を示し、“
0”が認識対象果実(F)以外の色の領域を示すように
しである。
従って、前記画像メモリ(7)には、8ビツト長で示さ
れる量子化画素毎に対応した2値化した色情報と明るさ
情報とを、同一アドレス位置において一つの画像データ
(S6)として記憶することとなる。
れる量子化画素毎に対応した2値化した色情報と明るさ
情報とを、同一アドレス位置において一つの画像データ
(S6)として記憶することとなる。
但し、前記2値化画像情報(s4)を得る処理と、前記
輝度信号(Y)をA/D変換してデジタル化された濃淡
画像情報(S5)を得る処理、並びに、前記2値化画像
情報(S4)と濃淡画像情報(S5)を画素毎に一対一
に対応した画像データとして一つの画像データ(S5)
に合成して記憶させる処理は、前記垂直同期信号(VD
)及び水平同期信号(II O)に同期して同時並列的
に行われるように、タイミング回路(8)にて、その処
理動作が制御されるようにしである。又、前記カメラ(
1)による描像動作に同期してストロボ装置(9)が発
光するように、前記タイミング回路(8)からの制御信
号によって起動されるストロボ制御回路(10)により
、発光タイミング及びその発光強度を適性化するように
構成しである。
輝度信号(Y)をA/D変換してデジタル化された濃淡
画像情報(S5)を得る処理、並びに、前記2値化画像
情報(S4)と濃淡画像情報(S5)を画素毎に一対一
に対応した画像データとして一つの画像データ(S5)
に合成して記憶させる処理は、前記垂直同期信号(VD
)及び水平同期信号(II O)に同期して同時並列的
に行われるように、タイミング回路(8)にて、その処
理動作が制御されるようにしである。又、前記カメラ(
1)による描像動作に同期してストロボ装置(9)が発
光するように、前記タイミング回路(8)からの制御信
号によって起動されるストロボ制御回路(10)により
、発光タイミング及びその発光強度を適性化するように
構成しである。
又、前記画像メモリ(7)に記憶された2値化画像情報
(S+)及び濃淡画像情報(S2)は、CRTコントロ
ーラ(11)及びTV信号ジェネレータ(12)により
、コンポジットビデオ信号に変換されて、モニタテレビ
(13)に表示されるようにしである。
(S+)及び濃淡画像情報(S2)は、CRTコントロ
ーラ(11)及びTV信号ジェネレータ(12)により
、コンポジットビデオ信号に変換されて、モニタテレビ
(13)に表示されるようにしである。
前記2値化画像情報(S4)及び濃淡画像情報(S5)
は、制御プロセッサ(CPUI)及び数値演算プロセッ
サ(CPUりにて、各画素毎の画像データ(S5)とし
て記憶された画像情報に基づいて、前記2値化画像情報
(S4)の値が“1”で囲まれた領域内のうちの前述し
たハイライト領域(P0)に相当する欠落した部分(第
3図(0)参照)の穴埋めの処理をした後、その穴埋め
処理を施した2値化画像情報(S5)(第3図(ハ)参
照)が“1”である領域内のグレイレヘルに基づいて、
前記果実(F)とそれ以外の領域との境界(F0)に接
した状態のハイライト8N域(P0)の位置(第3図(
ニ)参照)を前記境界(F0)の内方側に移動させるハ
イライト領域補正の処理を行った後、最も明るく見える
位置であるハイライト8M域(p0) (第3図(ネ)
参照)の位置を求めると共に、前記2値化画像情報(し
)が“1”である領域つまり果実に対応する領域の重心
(Poの位置を求める処理を施される。
は、制御プロセッサ(CPUI)及び数値演算プロセッ
サ(CPUりにて、各画素毎の画像データ(S5)とし
て記憶された画像情報に基づいて、前記2値化画像情報
(S4)の値が“1”で囲まれた領域内のうちの前述し
たハイライト領域(P0)に相当する欠落した部分(第
3図(0)参照)の穴埋めの処理をした後、その穴埋め
処理を施した2値化画像情報(S5)(第3図(ハ)参
照)が“1”である領域内のグレイレヘルに基づいて、
前記果実(F)とそれ以外の領域との境界(F0)に接
した状態のハイライト8N域(P0)の位置(第3図(
ニ)参照)を前記境界(F0)の内方側に移動させるハ
イライト領域補正の処理を行った後、最も明るく見える
位置であるハイライト8M域(p0) (第3図(ネ)
参照)の位置を求めると共に、前記2値化画像情報(し
)が“1”である領域つまり果実に対応する領域の重心
(Poの位置を求める処理を施される。
前記穴埋め処理について説明すれば、前記合成された画
像データ(S5)のうちの2値化画像情報(S4)の値
に基づいてラベリング処理を行った後、例えば、面積が
小さい領域の2値化画像情報(S4)の値が“O″の部
分を“1”に置き換えることにより、その部分の明るさ
情報が欠落することな(色情報に関する穴埋めを行うの
である。
像データ(S5)のうちの2値化画像情報(S4)の値
に基づいてラベリング処理を行った後、例えば、面積が
小さい領域の2値化画像情報(S4)の値が“O″の部
分を“1”に置き換えることにより、その部分の明るさ
情報が欠落することな(色情報に関する穴埋めを行うの
である。
・次に、穴埋め処理を行った画像情報を後述するハイラ
イト領域(P0)を2値化画像情報(S5)の境界(F
0)よりも内方側に移動させるハイライト領域補正処理
を行った後、再度ラベリングし、例えば、そのラベル毎
の明るさの最大値及びその最大値より一段階低い明るさ
の領域のみを残して他の領域の画像データ(S5)を全
て“0”に置き換えることにより、前記ハイライト領域
(P0)を抽出するのである。もって、上述したラベル
毎の明るさの最大値及びその最大値より一段階低い明る
さの領域のみを残して他の領域の画像データ(S&)を
全て“0”に置き換える処理にてハイライト領域抽出手
段(A)を構成しである。
イト領域(P0)を2値化画像情報(S5)の境界(F
0)よりも内方側に移動させるハイライト領域補正処理
を行った後、再度ラベリングし、例えば、そのラベル毎
の明るさの最大値及びその最大値より一段階低い明るさ
の領域のみを残して他の領域の画像データ(S5)を全
て“0”に置き換えることにより、前記ハイライト領域
(P0)を抽出するのである。もって、上述したラベル
毎の明るさの最大値及びその最大値より一段階低い明る
さの領域のみを残して他の領域の画像データ(S&)を
全て“0”に置き換える処理にてハイライト領域抽出手
段(A)を構成しである。
前記ハイライト領域(P0)を抽出する処理について説
明すれば、第2図に示すように、注目画素(*)と、そ
の周囲に隣接する8つの画素(第2図中、■〜■として
示す)の9つの画素を抽出するマスクを用いて、下記式
に示すように、前記隣接する8つの画素の明るさつまり
前記量子化した濃淡画像情報(S5)の値を加算して1
78することにより平均化した値を求め、その値を、前
記注目画素(率)の値に置き換える処理を、前記穴埋め
処理後の2値化画像情fn(Ss)が“l。
明すれば、第2図に示すように、注目画素(*)と、そ
の周囲に隣接する8つの画素(第2図中、■〜■として
示す)の9つの画素を抽出するマスクを用いて、下記式
に示すように、前記隣接する8つの画素の明るさつまり
前記量子化した濃淡画像情報(S5)の値を加算して1
78することにより平均化した値を求め、その値を、前
記注目画素(率)の値に置き換える処理を、前記穴埋め
処理後の2値化画像情fn(Ss)が“l。
である領域内の全画素について行うことにより、第3図
(ニ)に示す2値化画像情報(S4)の境界(F0)に
接した状態のハイライト8M域(P0)の位置を、第3
図(ネ)に示すように、前記境界(F0)で囲まれた領
域の内方側に寄せるのである。もって、上述した明るさ
の平均化処理にて、ハイライト領域補正手段(B)を構
成しである。
(ニ)に示す2値化画像情報(S4)の境界(F0)に
接した状態のハイライト8M域(P0)の位置を、第3
図(ネ)に示すように、前記境界(F0)で囲まれた領
域の内方側に寄せるのである。もって、上述した明るさ
の平均化処理にて、ハイライト領域補正手段(B)を構
成しである。
*=−・(■+■+・・・・・・+■)そして、認識し
た果実の個数やその位置情報つまり前記補正処理された
ハイライト領域(P0)(第3図(ネ)参照)や重心(
P5)の位置座標の情報を、その認識結果を利用するホ
ストコンピュータ(CPU0)に、インターフェース装
置(14)を介して伝達すると共に、全体の動作を制御
されるのである。尚、第1図中、(15)は、前記各プ
ロセ・ノサ(CPU + ) 、(CPU z)の動作
プログラムや演算用データを格納したり、前記ホストコ
ンピュータ(CPUO)との間で授受する各種データ等
を格納するためのメモリである。
た果実の個数やその位置情報つまり前記補正処理された
ハイライト領域(P0)(第3図(ネ)参照)や重心(
P5)の位置座標の情報を、その認識結果を利用するホ
ストコンピュータ(CPU0)に、インターフェース装
置(14)を介して伝達すると共に、全体の動作を制御
されるのである。尚、第1図中、(15)は、前記各プ
ロセ・ノサ(CPU + ) 、(CPU z)の動作
プログラムや演算用データを格納したり、前記ホストコ
ンピュータ(CPUO)との間で授受する各種データ等
を格納するためのメモリである。
次に、上述した構成になる果実認識装置によって得られ
たハイライh SJf域(P0)の位置情報を用いて、
果実用作業機の作業用マニプレータを誘導する手段につ
いて説明する。
たハイライh SJf域(P0)の位置情報を用いて、
果実用作業機の作業用マニプレータを誘導する手段につ
いて説明する。
第4図に示すように、左右一対の走行車輪(16)を前
後に備えた走行機体(V)に、昇降並びに左右揺動自在
にブーム(17)を枢支すると共に、そのブーム(17
)の先端部に、補助ブーム(18)を水平方向に揺動自
在に枢支し、前記補助ブーム(18)の先端部に、多間
接型の伸縮式マニプレータ(19)を、上下左右方向に
揺動自在に取り付けである。
後に備えた走行機体(V)に、昇降並びに左右揺動自在
にブーム(17)を枢支すると共に、そのブーム(17
)の先端部に、補助ブーム(18)を水平方向に揺動自
在に枢支し、前記補助ブーム(18)の先端部に、多間
接型の伸縮式マニプレータ(19)を、上下左右方向に
揺動自在に取り付けである。
そして、前記マニプレータ(19)の先端部に作業用ハ
ンド(H)を取り付けると共に、その視野方向が、マニ
プレータ(19)つまり前記作業用ハンド(H)の向き
と一致する状態で、前記マニプレータ(19)の基端部
の内部に、前記カメラ(1)を格納しである。
ンド(H)を取り付けると共に、その視野方向が、マニ
プレータ(19)つまり前記作業用ハンド(H)の向き
と一致する状態で、前記マニプレータ(19)の基端部
の内部に、前記カメラ(1)を格納しである。
従って、前記カメラ(1)からは、前記マユブレーク(
19)が向いた方向にある作業対象果実(F5及びその
周囲の技や葉等の前景となる物体を含む撮像画像情報(
S0)が得られ、その撮像画像情II (s0)に対し
て上述した処理を行うことにより、現在のマユブレーク
(19)の位置に対する作業対象果実(F)の位置に対
応したハイライト領域(P0)の位置座標の情報が得ら
れるのである。
19)が向いた方向にある作業対象果実(F5及びその
周囲の技や葉等の前景となる物体を含む撮像画像情報(
S0)が得られ、その撮像画像情II (s0)に対し
て上述した処理を行うことにより、現在のマユブレーク
(19)の位置に対する作業対象果実(F)の位置に対
応したハイライト領域(P0)の位置座標の情報が得ら
れるのである。
そして、前記ハイライト81域(P0)の位置する方向
に向けて前記マニプレータ(19)を突出させるること
により、作業対象果実(F)に対してアプローチさせる
ようにすれば、ひとかたまりの領域として認識された果
実(F)の夫々に対して正確にアプローチさせることが
できる。
に向けて前記マニプレータ(19)を突出させるること
により、作業対象果実(F)に対してアプローチさせる
ようにすれば、ひとかたまりの領域として認識された果
実(F)の夫々に対して正確にアプローチさせることが
できる。
上記実施例においては、ハイライト領域(P0)を、2
値化画像情報(Sオ)の境界(F0)の内方側に移動さ
せるハイライト領域補正手段(B)を、注目画素(本)
の明るさの値を、注目画素(本)の周囲に位置する各画
素の明るさを平均化した値に置き換える平均化処理にて
構成するようにした場合を例示したが、例えば、抽出し
たハイライト領域(P0)の位置を、例えば、一画素分
上記境界(F0)の内方側に寄せた位置として認識させ
る等の処理にて構成してもよい。又、ハイライト81域
(P0)を、例えば、前記境界(F0)で囲まれた領域
の重心を求め、その重心の方向へ移動させるようにして
もよい。
値化画像情報(Sオ)の境界(F0)の内方側に移動さ
せるハイライト領域補正手段(B)を、注目画素(本)
の明るさの値を、注目画素(本)の周囲に位置する各画
素の明るさを平均化した値に置き換える平均化処理にて
構成するようにした場合を例示したが、例えば、抽出し
たハイライト領域(P0)の位置を、例えば、一画素分
上記境界(F0)の内方側に寄せた位置として認識させ
る等の処理にて構成してもよい。又、ハイライト81域
(P0)を、例えば、前記境界(F0)で囲まれた領域
の重心を求め、その重心の方向へ移動させるようにして
もよい。
又、上記実施例では、認識対象果実(F)の色のみに対
応した画像情報を得るに、カラー画像を構成する赤色と
青色の各色信号をそのまま減算するようにした場合を例
示したが、認識対象果実の色に対応して減算する色の画
像情報を設定すればよく、認識対象果実の色に応じて各
種変更できる。又、量子化する画素数も、認識する情報
に必要な分解能に応じて設定すればよく、本発明は、上
記実施例のみに限定されるものではない。
応した画像情報を得るに、カラー画像を構成する赤色と
青色の各色信号をそのまま減算するようにした場合を例
示したが、認識対象果実の色に対応して減算する色の画
像情報を設定すればよく、認識対象果実の色に応じて各
種変更できる。又、量子化する画素数も、認識する情報
に必要な分解能に応じて設定すればよく、本発明は、上
記実施例のみに限定されるものではない。
図面は本発明に係る果実認識用の画像装置の実施例を示
し、第1図は果実認識装置の構成を示すブロック図、第
2図はハイライト領域補正用マスクの説明図、第3図は
画像情報の説明図、第4図は果実用作業機の概略構成を
示す側面図である。 (F)・・・・・・認識対象果実、(s0)・・・・・
・撮像画像情報、(S4)・・・・・・2値化画像情報
、(S5)・・・・・・濃淡画像情報、(P0)・・・
・・・ハイライト領域、(F0)・・・・・・境界、(
4)・・・・・・2値化手段、(5)・・・・・・量子
化手段、(A)・・・・・・ハイライト領域抽出手段、
(B)・・・・・・ハイライト6i域補正手段。
し、第1図は果実認識装置の構成を示すブロック図、第
2図はハイライト領域補正用マスクの説明図、第3図は
画像情報の説明図、第4図は果実用作業機の概略構成を
示す側面図である。 (F)・・・・・・認識対象果実、(s0)・・・・・
・撮像画像情報、(S4)・・・・・・2値化画像情報
、(S5)・・・・・・濃淡画像情報、(P0)・・・
・・・ハイライト領域、(F0)・・・・・・境界、(
4)・・・・・・2値化手段、(5)・・・・・・量子
化手段、(A)・・・・・・ハイライト領域抽出手段、
(B)・・・・・・ハイライト6i域補正手段。
Claims (1)
- 【特許請求の範囲】 [1]撮像画像情報(S_0)から認識対象果実(F)
の色に対応する特定色範囲の領域を抽出して2値化する
2値化手段(4)、前記撮像画像情報(S_0)のグレ
イレベルを量子化した濃淡画像情報(S_5)を得る量
子化手段(5)、及び、前記2値化手段(4)にて2値
化された2値化画像情報(S_4)と同一領域内の濃淡
画像情報(S_5)のグレイレベルに基づいて、最も明
るく見えるハイライト領域(P_0)を抽出するハイラ
イト領域抽出手段(A)を備えた果実認識用の画像処理
装置であって、前記抽出されたハイライト領域(P_0
)の位置を前記2値化画像情報(S_4)の抽出領域の
境界(F_0)の内方側に移動させるハイライト領域補
正手段(B)を、前記ハイライト領域抽出手段(A)に
備えさせてある果実認識用の画像処理装置。 [2]前記ハイライト領域補正手段(B)が、前記濃淡
画像情報(S_5)の明るさを平均化する処理である特
許請求の範囲第[1]項に記載の果実認識用の画像処理
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61118014A JPS62274379A (ja) | 1986-05-22 | 1986-05-22 | 果実認識用の画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61118014A JPS62274379A (ja) | 1986-05-22 | 1986-05-22 | 果実認識用の画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS62274379A true JPS62274379A (ja) | 1987-11-28 |
JPH0548507B2 JPH0548507B2 (ja) | 1993-07-21 |
Family
ID=14725921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61118014A Granted JPS62274379A (ja) | 1986-05-22 | 1986-05-22 | 果実認識用の画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS62274379A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107661867A (zh) * | 2016-07-28 | 2018-02-06 | 精工爱普生株式会社 | 电子部件搬送装置以及电子部件检查装置 |
CN109153099A (zh) * | 2016-06-01 | 2019-01-04 | 株式会社富士 | 图像处理装置、工件移载装置及图像处理方法 |
CN109566092A (zh) * | 2019-01-24 | 2019-04-05 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人控制系统 |
CN114530009A (zh) * | 2021-12-28 | 2022-05-24 | 惠州市智慧大数据有限公司 | 防疫通勤监控方法、装置、计算机设备和存储介质 |
-
1986
- 1986-05-22 JP JP61118014A patent/JPS62274379A/ja active Granted
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109153099A (zh) * | 2016-06-01 | 2019-01-04 | 株式会社富士 | 图像处理装置、工件移载装置及图像处理方法 |
CN107661867A (zh) * | 2016-07-28 | 2018-02-06 | 精工爱普生株式会社 | 电子部件搬送装置以及电子部件检查装置 |
CN107661867B (zh) * | 2016-07-28 | 2020-04-14 | 精工爱普生株式会社 | 电子部件搬送装置以及电子部件检查装置 |
CN109566092A (zh) * | 2019-01-24 | 2019-04-05 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人控制系统 |
CN109566092B (zh) * | 2019-01-24 | 2024-05-31 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人控制系统 |
CN114530009A (zh) * | 2021-12-28 | 2022-05-24 | 惠州市智慧大数据有限公司 | 防疫通勤监控方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPH0548507B2 (ja) | 1993-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3938257B2 (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
KR102194499B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 | |
JPH06325180A (ja) | 移動体自動追跡装置 | |
JP3035920B2 (ja) | 動体抽出装置及び動体抽出方法 | |
JP4969291B2 (ja) | 移動物体追跡装置 | |
JPH09102910A (ja) | 動画像処理装置および方法 | |
JP3731952B2 (ja) | 動画像検索用情報生成装置 | |
CN110730345B (zh) | 图像显示方法、图像识别方法、装置、介质、设备及系统 | |
JP2019109710A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JPS62274379A (ja) | 果実認識用の画像処理装置 | |
CN113627328A (zh) | 电子设备及其图像识别方法、片上系统和介质 | |
JP2002157598A (ja) | 侵入者検知システム | |
JPS62295190A (ja) | 作物認識装置 | |
JP2002279429A (ja) | 侵入物体検出方法 | |
JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
CN112532938B (zh) | 一种基于大数据技术的视频监控系统 | |
JPS62279480A (ja) | 果実認識装置 | |
JPH10151591A (ja) | 識別装置及び方法、位置検出装置及び方法、ロボツト装置並びに色抽出装置 | |
JPH10149447A (ja) | ジェスチャー認識方法および装置 | |
JP2001273484A (ja) | 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体 | |
JPS62194587A (ja) | 果実認識装置 | |
JP2008193672A (ja) | 情報出力装置、情報出力方法、及び、プログラム | |
JP2019139801A (ja) | 信号機認識装置、信号認識システム、及び信号機認識方法 | |
JPS63220A (ja) | 果菜類用作業機の誘導装置 | |
JPS60239189A (ja) | 物体の分離識別方法 |