JP2813697B2 - 果菜類収穫機の画像処理装置 - Google Patents

果菜類収穫機の画像処理装置

Info

Publication number
JP2813697B2
JP2813697B2 JP14431291A JP14431291A JP2813697B2 JP 2813697 B2 JP2813697 B2 JP 2813697B2 JP 14431291 A JP14431291 A JP 14431291A JP 14431291 A JP14431291 A JP 14431291A JP 2813697 B2 JP2813697 B2 JP 2813697B2
Authority
JP
Japan
Prior art keywords
fruit
specific color
area
image processing
highlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP14431291A
Other languages
English (en)
Other versions
JPH04367981A (ja
Inventor
上田  吉弘
正徳 藤原
正昭 西中
淳 増留
弘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP14431291A priority Critical patent/JP2813697B2/ja
Publication of JPH04367981A publication Critical patent/JPH04367981A/ja
Application granted granted Critical
Publication of JP2813697B2 publication Critical patent/JP2813697B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Harvesting Machines For Specific Crops (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、収穫対象を撮像する撮
像手段と、前記撮像手段の撮像情報を画像処理して前記
収穫対象の色に対応した特定色領域とその特定色領域内
において明るさが設定値より大なるハイライト領域とを
求める画像処理手段とが設けられている果菜類収穫機の
画像処理装置に関する。
【0002】
【従来の技術】画像処理装置の情報に基づいて収穫対象
を捕捉するハンドを収穫対象にアプローチさせるのであ
るが、適正なアプローチを行うためには、収穫対象の大
きさ等を正確に検出することが望ましい。ところで、複
数の果菜類が接近していると、同一の特定色領域内に複
数のハイライト領域が検出されることがある。従来、こ
のような場合には、各ハイライト領域に対応する特定色
領域として前記同一の特定色領域をそのまま当てはめて
いた(特願昭63ー132213号参照)。
【0003】
【発明が解決しようとする課題】上記従来技術では、各
収穫対象夫々に、複数の収穫対象の特定色領域の集合で
ある大きな特定色領域をそのまま当てはめているので、
収穫対象の大きさ等がかなり実際の大きさと異なるもの
となった。本発明の目的は、上記従来欠点を解消して収
穫対象の大きさ等を実際の状態に近い状態で検出できる
果菜類収穫機の画像処理装置を得る点にある。
【0004】
【課題を解決するための手段】この目的を達成するた
め、本発明による果菜類収穫機の画像処理装置の特徴構
成は、前記画像処理手段は、同一の特定色領域に複数の
ハイライト領域が検出されたとき、前記ハイライト領域
を中心とすると共に前記特定色領域の輪郭に内接する所
定形状の仮想領域を求め、それらの仮想領域が前記ハイ
ライト領域の夫々に対応する特定色領域と推定するよう
に構成されていることである。
【0005】
【作用】一般的に、ハイライト領域は、特定色領域の中
心にある。又、収穫対象の形状は、ほぼ一定である。従
って、前記特定色領域内であっても仮想領域から外れる
領域は、収穫対象の実際の特定色領域の外であると判断
できる。尚、所定形状としては、円や正方形等を用いる
ことができる。
【0006】
【発明の効果】仮想領域を収穫対象夫々に対応する特定
色領域と推定することにより、収穫対象の大きさ等を実
際の状態に近いものにすることができる。
【0007】
【実施例】以下、本発明を果実収穫機に適用した場合に
おける実施例を図面に基づいて説明する。図9に示すよ
うに、左右一対の走行車輪1を前後に備えた車体Vに、
ブーム2が昇降駆動並びに旋回駆動自在に取り付けら
れ、そのブーム2の先端部に、補助ブーム3が水平方向
に揺動駆動自在に取り付けられ、そして、果実収穫用の
ハンドHを備えた作業用マニプレータ4が、補助ブーム
3の先端部に取り付けられている。尚、図中、5はブー
ム昇降用油圧シリンダ、6はブーム旋回用油圧シリン
ダ、7は補助ブーム揺動用油圧シリンダである。
【0008】作業用マニプレータ4は、多関節型の伸縮
アーム8と、その伸縮アーム8の先端部に取り付けられ
たハンドHとからなる。そして、伸縮アーム8は、電動
モータ9aにて縦軸芯Y周りで旋回操作され、且つ、電
動モータ9bにて横軸芯X周りで揺動操作され、さらに
電動モータ9cにて伸縮操作されるように構成されてい
る。
【0009】ハンドHについて説明すれば、図7及び図
8に示すように、その先端部に、収穫対象としての果実
Fを吸着する捕捉部としてのバキュームパッド10と、
そのバキュームパッド10の吸引口10aに吸着された
果実Fを覆うための捕捉部ケース12と、その捕捉部ケ
ース12内に取り込んだ果実Fの柄部分を上下方向に挾
み込んだ状態で切断する柄切断装置13とが設けられて
いる。
【0010】バキュームパッド10について説明を加え
ると、バキュームパッド10は蛇腹状に形成されて、通
気管11に対して向き変更自在に且つ前方向きに復帰付
勢された状態で取り付けられている。又、先端部の吸引
口10aと夫々ワイヤ22を介して連結された3個のエ
アシリンダ21と、3個の近接スイッチS4とが通気管
11に取り付けられている。各エアシリンダ21と近接
スイッチS4とは、夫々交互に同一円周上に60度ごと
に配設されている。又、吸引口10aの近接スイッチS
4に対向する位置に夫々突起部10bが設けられ、吸引
口10aの通気管11に対する後退移動を各別に検出す
るようになっている。尚、各ワイヤ22には、バキュー
ムパッド10を前方に付勢するスプリング18が介装さ
れている。又、各エアシリンダ21のロッド21aにも
同様にスプリング19が介装されている。ところで、3
個のエアシリンダ21を同時に出退させることにより、
吸引口10aを前方向きにした状態で通気管11に対し
て出退させることができる。又、1個或いは2個のエア
シリンダ21を引退させ、且つ、他のエアシリンダ21
を伸長させることによりバキュームパッド10の通気管
11に対する向きを変更できるようになっている。図
中、S1は作業用ハンドHが向いた方向に位置する果実
Fを撮像する撮像手段としてのカラー式のイメージセン
サ、S2は作業用ハンドHが作業対象果実Fに対して所
定距離内に接近したことを検出する赤外光利用の反射式
近接センサであって、それら両センサS1,S2はアプ
ローチや果実収穫の邪魔にならないようにするために、
バキュームパッド10の内部に設けられている。又、1
5はイメージセンサS1の撮像処理に同期して作業用ハ
ンドHの前方側を設定光量で照光するための照光装置で
あって、一般的には、いわゆるストロボ発光装置が用い
られることになる。
【0011】捕捉部ケース12は、ハンド前後方向にス
ライド移動自在に通気管11に外嵌支持される基端部分
12aと、その先端部に果菜類の導入口dが開口してい
る上下左右に4分割されたカバー12b〜12eとから
なる。上下のカバー12b、12cは横軸芯回りに、左
右のカバー12d,12eは縦軸芯回りに夫々背反揺動
自在に基端部分12aに取り付けられている。又、各カ
バー12b〜12eはスプリング17a,17bにより
導入口dを狭くする側に付勢されている。つまり、各カ
バー12b〜12eは、果菜類への押圧力の反作用で導
入口dが広がるように外方に変位自在に支持されてい
る。
【0012】柄切断装置13は、果実Fの柄を切断する
バリカン型の刃体13aと、その刃体13aに果実Fの
柄を下方側から押圧支持する柄支持部材13bとからな
る。
【0013】果実収穫の手順について説明を加えると、
捕捉部ケース12をハンド後方側に引退させてバキュー
ムパッド10の吸引口10aが捕捉部ケース12よりも
前方側に突出する状態で、作業用ハンドHを予め設定さ
れたアプローチ開始位置に位置させ、且つ、収穫対象と
なる果実Fが位置する方向に向けて、イメージセンサS
1にて撮像処理する。次に、その撮像画像情報を画像処
理した情報に基づいて果実Fの色に対応した特定色領域
F1と、その特定色領域F1内において明るさが設定値
より大なるハイライト領域F2とを求める。そして、ハ
イライト領域F2の明るさに基づいて、明るさが最も大
きい果実Fを優先してアプローチ順序を決定し、作業用
ハンドHのアプローチ方向を求めるようにしてある。こ
こで、アプローチする果実Fに対応するハイライト領域
F2を囲む特定色領域F1の端部が撮像視野の外端に接
触している場合には、イメージセンサS1の撮像視野の
向きを補正して再撮像処理する。そして、その再撮像情
報に基づいて作業用ハンドHのアプローチ方向を求める
ようにしてある。但し、図6Aに示すように、アプロー
チする果実Fに対応するハイライト領域F2を囲む特定
色領域F1内に前記ハイライト領域F2以外のハイライ
ト領域F2が検出されたとき、前記ハイライト領域F2
を中心とすると共に前記特定色領域F1の輪郭に内接す
る正方形状の仮想領域F3を求め、それらの仮想領域F
3が前記ハイライト領域F2の夫々に対応する特定色領
域F1と推定する。つまり、例えば、図6Bにおいて、
cのハイライト領域F2にアプローチするときには撮像
視野の向きを補正して再撮像処理する。しかし、aもし
くはbのハイライト領域F2にアプローチするときには
再撮像処理は行わない。アプローチ方向を決定した後
は、作業用ハンドHが決定されたアプローチ方向に向か
って直線的に移動するように、各電動モータ9a,9
b,9cを作動させると共に、近接センサS2が果実F
を感知するに伴って、バキュームパッド10を吸引作動
させて収穫対象果実Fを吸着させ、そして、捕捉部ケー
ス12を突出させて、その内側に果実Fを取り込んだ
後、柄を切断して収穫させることになる。
【0014】次に、イメージセンサS1による撮像画像
情報等の検出情報に基づいて、アプローチ方向を決定す
ると共に、果実Fに向けてハンドHを誘導するための制
御構成について説明する。図1に示すように、マイクロ
コンピュータ利用の制御装置16が設けられ、その制御
装置16に、前記各センサS1,S2,S3,S4が接
続されている。そして、制御装置16は、特定色領域F
1とハイライト領域F2と仮想領域F3とを求め、その
情報に基づいて前記エアシリンダ21、前記各油圧シリ
ンダ5、6、7や各電動モータ9a,9b,9cの作動
を制御するように構成されている。即ち、制御装置16
を利用して画像処理手段100が構成されている。
【0015】次に、図2乃至図5に示すフローチャート
に基づいて制御装置16の動作を説明する。先ず、ハン
ドHを、予め設定されたアプローチ開始位置にセット
し、全エアシリンダ21を引退させた状態で撮像処理
し、その撮像画像情報に基づいて特定色領域F1と、ハ
イライト領域F2とを求めて、ハイライト領域F2の明
るさに基づいてアプローチ順序を決定する。ここで、前
述のように、アプローチする果実Fに対応するハイライ
ト領域F2を囲む特定色領域F1の端部が撮像視野の外
端に接触している場合には、イメージセンサS1の撮像
視野の向きを補正して再撮像処理する。又、その特定色
領域F1内に複数のハイライト領域F2が検出されたと
き、前記ハイライト領域F2を中心とすると共に前記特
定色領域F1の輪郭に内接する正方形状の仮想領域F3
を求め、それらの仮想領域F3が前記ハイライト領域F
2の夫々に対応する特定色領域F1と推定する。アプロ
ーチ方向を決定した後は、伸縮アーム8を伸長させるこ
とになる。このとき、エアシリンダ21は突出作動させ
ておく。伸縮アーム8の伸長を開始した後は、近接セン
サS2の情報に基づいて、ハンドHが収穫対象果実Fに
対して前記所定距離手前側まで接近したか否かを判別
し、前記所定距離内に接近するに伴って、伸縮アーム8
の伸長速度を低速に切り換えると共に、バキュームパッ
ド10の吸引作動を開始して、更に負圧センサS3がO
N作動するまでハンドHを果実側に移動させる。負圧セ
ンサS3がON作動して果実吸着を検出すると、伸縮ア
ーム8を停止させて、収穫作動を実行させることにな
る。但し、近接センサS2がON作動してから所定距離
移動する間に負圧センサS3が作動しない場合には、収
穫失敗と判断する。このとき、近接スイッチS4の少な
くとも1つがON作動していた場合には、ハンドHを近
接センサS2がON作動した位置まで一旦戻して、ハン
ドHの位置を修正して再アプローチさせるのである。近
接スイッチS4がいずれもON作動していない場合に
は、収穫不能と判断してハンドHをアプローチ開始位置
まで戻す。最初のアプローチ又は再アプローチによって
果実を収穫できた場合には、捕捉部ケース12内に柄を
切断された果実Fを保持する状態で、作業用ハンドHを
アプローチ開始位置まで戻して、果実Fを排出すること
になる。収穫した果実Fを排出した後は、作業終了か否
かを判別して、作業終了でない場合には、作業用ハンド
Hをアプローチ開始位置に再セットして撮像処理させ、
そして、残りの果実Fに対するアプローチ順序を決定し
て、決定されたアプローチ方向に向けて作業用ハンドH
を誘導する各処理を繰り返すことになる。
【0016】〔別実施例〕上記実施例では、仮想領域F
3の所定形状として正方形を用いたが、例えば、円形で
あってもよい。上記実施例では、本発明を果実収穫用作
業機に適用した場合を例示したが、本発明は、トマト等
の野菜用収穫機等、各種の果菜類用作業機に適用できる
ものであって、ハンドHの具体構成等、各部の具体構成
は各種変更できる。尚、特許請求の範囲の項に図面との
対照を便利にする為に符号を記すが、該記入により本発
明は添付図面の構成に限定されるものではない。
【図面の簡単な説明】
【図1】制御構成のブロック図
【図2】制御作動のフローチャート
【図3】制御作動のフローチャート
【図4】制御作動のフローチャート
【図5】制御作動のフローチャート
【図6】画像処理の説明図
【図7】ハンドの要部側面図
【図8】ハンドの要部平面図
【図9】収穫機の概略側面図
【符号の説明】
S1 撮像手段 F1 特定色領域 F2 ハイライト領域 F3 仮想領域 100 画像処理手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 7/18 H04N 7/18 B (72)発明者 増留 淳 大阪府堺市石津北町64番地 株式会社ク ボタ 堺製造所内 (72)発明者 鈴木 弘 大阪府堺市石津北町64番地 株式会社ク ボタ 堺製造所内 (56)参考文献 特開 平4−184573(JP,A) 特開 平1−301084(JP,A) 特公 平5−48507(JP,B2) (58)調査した分野(Int.Cl.6,DB名) G06T 1/00

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 収穫対象を撮像する撮像手段(S1)
    と、前記撮像手段(S1)の撮像情報を画像処理して前
    記収穫対象の色に対応した特定色領域(F1)とその特
    定色領域(F1)内において明るさが設定値より大なる
    ハイライト領域(F2)とを求める画像処理手段(10
    0)とが設けられている果菜類収穫機の画像処理装置で
    あって、前記画像処理手段(100)は、同一の特定色
    領域(F1)に複数のハイライト領域(F2)が検出さ
    れたとき、前記ハイライト領域(F2)を中心とすると
    共に前記特定色領域(F1)の輪郭に内接する所定形状
    の仮想領域(F3)を求め、それらの仮想領域(F3)
    が前記ハイライト領域(F2)の夫々に対応する特定色
    領域(F1)と推定するように構成されている果菜類収
    穫機の画像処理装置。
JP14431291A 1991-06-17 1991-06-17 果菜類収穫機の画像処理装置 Expired - Lifetime JP2813697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14431291A JP2813697B2 (ja) 1991-06-17 1991-06-17 果菜類収穫機の画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14431291A JP2813697B2 (ja) 1991-06-17 1991-06-17 果菜類収穫機の画像処理装置

Publications (2)

Publication Number Publication Date
JPH04367981A JPH04367981A (ja) 1992-12-21
JP2813697B2 true JP2813697B2 (ja) 1998-10-22

Family

ID=15359162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14431291A Expired - Lifetime JP2813697B2 (ja) 1991-06-17 1991-06-17 果菜類収穫機の画像処理装置

Country Status (1)

Country Link
JP (1) JP2813697B2 (ja)

Also Published As

Publication number Publication date
JPH04367981A (ja) 1992-12-21

Similar Documents

Publication Publication Date Title
JPH074097B2 (ja) 果菜類収穫装置
JP2813697B2 (ja) 果菜類収穫機の画像処理装置
JP2548828B2 (ja) 果菜類収穫機の誘導装置
JPH078176B2 (ja) 作業機の誘導装置
JP2637636B2 (ja) 垣根仕立の果樹用の果実収穫方法
JP2603767B2 (ja) 果菜類収穫用ハンド
JP2574950B2 (ja) 果菜類収穫機の誘導装置
JP2608999B2 (ja) 果実収穫装置
JP2548829B2 (ja) 果菜類収穫機の誘導装置
JP2641645B2 (ja) 果菜類収穫機の誘導装置
JP2608998B2 (ja) 果菜類収穫機の誘導装置
JPH04365415A (ja) 果菜類収穫用ハンド
JPH078177B2 (ja) 果菜類収穫機の誘導装置
JPH0488917A (ja) 果菜類収穫機の誘導装置
JPH0367647B2 (ja)
JPH0714298B2 (ja) 果菜類収穫装置
JPH074098B2 (ja) 果菜類の収穫用ハンド
JPH0695849B2 (ja) 果菜類用作業機の誘導装置
JPH074099B2 (ja) 果樹用作業機の誘導装置
JPH02142410A (ja) 果菜類用作業機の誘導装置
JPH0716340B2 (ja) 果菜類収穫装置の誘導装置
JPH0728599B2 (ja) 果菜類収穫用作業機の捕獲部昇降制御装置
JPS63119614A (ja) 果菜類用作業機の誘導装置
JPS6324815A (ja) 果菜類収穫用ハンド
JPH0741570B2 (ja) 果菜類収穫機の収穫用ハンド