JPH06261622A - 果菜収穫ロボット等の視覚装置 - Google Patents

果菜収穫ロボット等の視覚装置

Info

Publication number
JPH06261622A
JPH06261622A JP5049035A JP4903593A JPH06261622A JP H06261622 A JPH06261622 A JP H06261622A JP 5049035 A JP5049035 A JP 5049035A JP 4903593 A JP4903593 A JP 4903593A JP H06261622 A JPH06261622 A JP H06261622A
Authority
JP
Japan
Prior art keywords
image
fruit
wavelength
luminance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5049035A
Other languages
English (en)
Other versions
JP3336663B2 (ja
Inventor
Seiichi Arima
誠一 有馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iseki and Co Ltd
Iseki Agricultural Machinery Mfg Co Ltd
Original Assignee
Iseki and Co Ltd
Iseki Agricultural Machinery Mfg Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iseki and Co Ltd, Iseki Agricultural Machinery Mfg Co Ltd filed Critical Iseki and Co Ltd
Priority to JP04903593A priority Critical patent/JP3336663B2/ja
Publication of JPH06261622A publication Critical patent/JPH06261622A/ja
Application granted granted Critical
Publication of JP3336663B2 publication Critical patent/JP3336663B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Harvesting Machines For Specific Crops (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【目的】多板式CCDカメラを用いて相異なる波長の光
を用いて演算画像を求める方式において、欠除する果実
の鏡面光沢部分の画像を、単色光の画像の輝度の高い値
の画像で補完する。 【構成】対象物を波長の異なる複数の光で撮影するカメ
ラを備え、該カメラに撮影された画像が各画素に与える
複数の波長の輝度から、画素毎に所定の演算式を用いて
各波長の輝度の比を算出し、この算出した値を一定以上
の部分と一定未満の部分とに2値化した画像として対象
物の選定を行いながら、その形状を検出する視覚装置に
おいて、この画像に欠落を生ずる対象物の鏡面反射部分
を、この鏡面反射部分を特に強く検出する波長の画像の
輝度が一定以上の部分と輝度が一定未満の部分とに2値
化した画像で補うことを特徴とする果菜収穫ロボット等
の視覚装置の構成とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、果菜収穫ロボットに設
けられる収穫物探索用の視覚装置に関する。
【0002】
【従来の技術】果菜の栽培された植条に素って自走しな
がら、成熟した果菜を判別して自動収穫する果菜収穫ロ
ボットが開発されており、この視覚装置のうち、果菜類
の果実・葉・茎等植物体の各部位によって光の波長の変
化に体する反射率の変化に特定の傾向を有する点を利用
して、果実を判別する如く、2板式イメージセンサカメ
ラ(CCDカメラ)を備え、相異なる2種類の波長が画
素に与える各々の波長の輝度を演算処理し、該演算処理
値の値の一定以上の画素と、値の一定以下の画素とで2
値化された画像を用いて果実を選定し、その形状を判別
する技術が開発されている。
【0003】
【発明が解決しようとする課題】このようにして果実の
形状を抽出した時、果実の鏡面反射部分は2種類の波長
による輝度が共に大きく同等の輝度レベルを示すので、
果実の特徴を示す演算値を得ることができないため画像
中の欠落部分となり、果実形状を正確に把握することが
できない。
【0004】
【課題を解決するための手段】この発明は、対象物を波
長の異なる複数の光で撮影するカメラを備え、該カメラ
に撮影された画像が各画素に与える複数の波長の輝度か
ら、画素毎に所定の演算式を用いて各波長の輝度の比を
算出し、この算出した値を一定以上の部分と一定未満の
部分とに2値化した画像として対象物の選定を行いなが
らその形状を検出する視覚装置において、この画像に欠
落を生ずる対象物の鏡面反射部分を、この鏡面反射部分
を特に強く検出する波長の画像の輝度が一定以上の部分
と輝度が一定未満の部分とに2値化した画像で補うこと
を特徴とする果菜収穫ロボット等の視覚装置の構成とす
る。
【0005】
【作用、及び発明の効果】演算画像において欠落部分と
なった果実の鏡面反射部分は、複数の波長で撮影した画
像の鏡面反射部を特に強く感じる波長の画像において、
輝度の高いレベルにしきい値を設けて当該波長の2値化
画像を作れば、この画像は鏡面反射部分のみを示す画像
となるので、この画像を演算画像に重ね合わせれば果体
の完全な画像を得ることができ、形状・寸法等を正確に
検出することができる。
【0006】
【実施例】本発明の実施例であるキュウリ用収穫ロボッ
トを示す図1〜図4において、この果菜収穫ロボット1
は移動用手段として電動式の走行部2を備え、該走行部
の上に果菜収穫用のマニピュレータ3収穫物探索用の視
覚装置5等を備える。この果菜収穫ロボット1を使用す
る栽培場では、斜めに設けた支持体7にキュウリの樹体
8を支持させて生育させる。マニピュレータ3は、対面
する樹体8の傾斜とほゞ平行となるよう傾斜させた傾斜
枠10と、該傾斜枠のガイドレール11に沿って昇降自
在に取り付けた基台12と、該基台の上に水平面内で回
動自在に設けた本体13と、該本体に設けた関節型を成
すアーム14と、該アームの先端に設けた摘果用のハン
ド部15とからなる。傾斜枠10は、ヒンジ16を用い
て走行部2に枢支され、背面側を支持リンク17で支え
られている。支持リンク17の下端部は長穴18の任意
の位置に止着され、止着位置を調節して傾斜枠10の傾
斜角度を任意に調節することができる。マニピュレータ
3の各部を作動させることによって、ハンド部15を対
象とする果実19を把持してその果柄を切断するように
構成されている。視覚装置5は、図2に示す如く、多板
式CCDカメラ6と、該カメラの視野内を水平および垂
直に走査して、対象物までの距離を測定する距離センサ
(PSD)20と、これらからの入力信号を分析処理す
るCPU21と、データを記憶するメモリ4とを備えて
構成される。
【0007】多板式CCDカメラ6(図3、図4)およ
びPSD20からなる視覚装置5はマニピュレータの本
体13の上部に設置される。レンズ22で集光された光
はプリズム23を通過し、方向を90°屈折された後フ
ィルタ27で濾過され所定の波長の単色光で受光素子板
28上に映像を結ぶ構成をなす。
【0008】濾過する波長帯の異なるフィルタ27,2
9等および受光素子板28,30によって構成される受
光部35,36は、レンズ22の光軸Yに直角な平面X
上においてこの光軸Yより等距離に配置され、プリズム
23はプリズム枠24と共に軸26を介してモーター2
5で光軸Yを中心として回転し、各受光部35,36に
光を送り受光素子板28,30上に画像を結ぶ。
【0009】受光部35,36に結ぶ画像は、回転する
プリズム23の回転位置より受光部35,36のいずれ
の画像であるかを判別することができる。なお、上記と
同様にして、フィルタ33及び受光素子板34を有する
受光部37を平面X上に配設するもよい。このような構
成を持つ果実収穫ロボット1の視覚装置5の果実判別方
法について、キュウリの果実の判別を例として説明す
る。
【0010】図5は、キュウリの樹体8を構成する果実
19、花、葉、茎に当る光の波長による反射率を示し、
波長550nm(ナノメーター)と850nmの波長に
おいて、果実とその他部位の反射率の傾向が異なること
を示す。即ち、キュウリの果実19の反射率は、波長8
50nmにおいて他の部位に比して最も高く、波長55
0nmにおいて最も低い傾向を有する。
【0011】今二板式CCDカメラ6を用いて、受光部
35のフィルタ37を波長850nmの近辺の光のみを
通すものとし、受光部36のフィルタ29を波長550
nmの近辺の光のみを通すものとすれば、受光素子を碁
盤目状に配置し、各受光素子に投影される光の強さを検
知して投影される画像を検出するように構成された受光
素子板28上に投影されるキュウリの果実像は、茎・葉
など他の部分より輝度が高く、受光素子板30上に投影
されるキュウリの果実像は、他の部分より輝度が低くな
る。
【0012】この特性を用いて、画像の同一点について
波長850nmの単色光が受光素子板28上の素子に与
える光の強さN850とし、受光素子板30上の対応す
る素子に与える光の強さをN550として、特性を助長
すべく定めた算定式(算定式の例λ=N850/N85
0+N550)を用いて、両波長による光の強さの比λ
を算出する。
【0013】取込んだ画面のすべての点について光の強
さの比λを算出して、その値をしきい値を用いて2値化
した演算画像を作れば、果実19の演算画像を構成する
画素の数は、他の部分に比べ例式においてλの値が大き
いため、茎・葉等、他の部分に比し多点が取込まれるの
で明確な画像を得ることができる。しかしながら、キュ
ウリ果実19の画像D1を構成する画素のうち、鏡面の
光沢部分D2は、すべての波長に対し鏡面外の部分より
反射率が高く、N850とN550の値がほゞ同等とな
り、λの値が例式において小さくなるのでしきい値で削
除されこの部分の画像D2が欠落する(図7−A)。
【0014】上述の鏡面反射部分D2は、N850の画
像データのうちでも特に高い値を示すので、N850の
画像データを、しきい値の高い値で仕切り、2値化画像
を作れば鏡面反射部分の画像D3を得ることができる
(図7−B)。今前述の演算画像D2(図7−A)の上
に、上述のN850の輝度の高い部分の画像D3(図7
−B)を重ね合わせると、果実19の形状Dを欠落部分
なく正確に描出することができ(図7−C)、ロボット
の視覚装置5は果実19の形状・寸法を明確に把握する
ことができる。なお、E,E1,E2,E3は葉の部分
の画像である。図8の別実施例におけるフローチャート
では、鏡面反射部分を描出するに当り、N850の2値
化に際して、認識画素数の内、その1/n(n>2)の
数だけ輝度レベルの高い方から選びこれを2値化するこ
とによって、鏡面反射部分の画像を損うことなく処理時
間の短縮を図るもので、鏡面反射部分が他の部分に比べ
高い反射率を示す点に着目してCPU処理負荷を低減さ
せるものである。
【0015】図9は別実施例において、波長850nm
の光を照射するストロボ発光器31と、波長550nm
の光を照射するストロボ発光器32と、2板式CCDカ
メラ6を備え、天候による日照量、昼夜による明暗にか
かわらず明瞭な各単色光画像を、各々波長の光の照射タ
イミングに同期させて得ることによって、果実19と茎
・葉などの採取光量のレベル差を大きくし、演算値のし
きい値を照明条件に合わせて細かく変える必要がなく、
しきい値を概略値とし、演算処理を簡略化する如く構成
したものである。
【0016】図10にストロボ31,32によって発光
する光の発光エネルギーの波長毎のエネルギーの分布を
示す。
【図面の簡単な説明】
【図1】果実栽培圃場における果実収穫ロボットの正面
図。
【図2】果実収穫ロボットのブロック図。
【図3】多板式CCDカメラの平面断面図。
【図4】その正面一部断面図。
【図5】キュウリ樹体各部の光の波長に対する反射率を
示すグラフ。
【図6】画像処理のフローチャート。
【図7】処理画像。
【図8】その他実施例のフローチャート。
【図9】その他実施例の発光装置を備えたカメラの斜視
図。
【図10】その発光装置の発光エネルギーの波長分布
図。
【符号の説明】
1 果実収穫ロボット 5 視覚装置 6 多板式CCDカメラ 21 CPU 27 フィルタ 28 受光素子板 29 フィルタ 30 受光素子板 35 受光部 36 受光部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 対象物を波長の異なる複数の光で撮影す
    るカメラを備え、該カメラに撮影された画像が各画素に
    与える複数の波長の輝度から、画素毎に所定の演算式を
    用いて各波長の輝度の比を算出し、この算出した値を一
    定以上の部分と一定未満の部分とに2値化した画像とし
    て対象物の選定を行いながらその形状を検出する視覚装
    置において、この画像に欠落を生ずる対象物の鏡面反射
    部分を、この鏡面反射部分を特に強く検出する波長の画
    像の輝度が一定以上の部分と輝度が一定未満の部分とに
    2値化した画像で補うことを特徴とする果菜収穫ロボッ
    ト等の視覚装置。
JP04903593A 1993-03-10 1993-03-10 果菜収穫ロボット等の視覚装置 Expired - Fee Related JP3336663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04903593A JP3336663B2 (ja) 1993-03-10 1993-03-10 果菜収穫ロボット等の視覚装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04903593A JP3336663B2 (ja) 1993-03-10 1993-03-10 果菜収穫ロボット等の視覚装置

Publications (2)

Publication Number Publication Date
JPH06261622A true JPH06261622A (ja) 1994-09-20
JP3336663B2 JP3336663B2 (ja) 2002-10-21

Family

ID=12819836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04903593A Expired - Fee Related JP3336663B2 (ja) 1993-03-10 1993-03-10 果菜収穫ロボット等の視覚装置

Country Status (1)

Country Link
JP (1) JP3336663B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190623A (ja) * 1995-01-10 1996-07-23 Mitsubishi Agricult Mach Co Ltd 農作物の画像処理測定法
US6009186A (en) * 1996-08-30 1999-12-28 New Holland Braud S.A. Method and apparatus for harvesting crop material
NL1013780C2 (nl) * 1999-12-07 2001-06-08 Inst Voor Milieu En Agritechni Werkwijze en inrichting voor het detecteren van waterrijke objecten.
CN103512494A (zh) * 2013-07-16 2014-01-15 宁波职业技术学院 一种植物果实微尺寸变化视觉检测系统及方法
CN108718685A (zh) * 2018-08-01 2018-11-02 榆林学院 一种可视化电动调节果实采摘收集装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62184583A (ja) * 1986-02-10 1987-08-12 Kubota Ltd 撮像式の対象抽出装置
JPH0554124A (ja) * 1991-08-21 1993-03-05 Iseki & Co Ltd 果実収穫ロボツト等の視覚装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62184583A (ja) * 1986-02-10 1987-08-12 Kubota Ltd 撮像式の対象抽出装置
JPH0554124A (ja) * 1991-08-21 1993-03-05 Iseki & Co Ltd 果実収穫ロボツト等の視覚装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190623A (ja) * 1995-01-10 1996-07-23 Mitsubishi Agricult Mach Co Ltd 農作物の画像処理測定法
US6009186A (en) * 1996-08-30 1999-12-28 New Holland Braud S.A. Method and apparatus for harvesting crop material
NL1013780C2 (nl) * 1999-12-07 2001-06-08 Inst Voor Milieu En Agritechni Werkwijze en inrichting voor het detecteren van waterrijke objecten.
CN103512494A (zh) * 2013-07-16 2014-01-15 宁波职业技术学院 一种植物果实微尺寸变化视觉检测系统及方法
CN108718685A (zh) * 2018-08-01 2018-11-02 榆林学院 一种可视化电动调节果实采摘收集装置

Also Published As

Publication number Publication date
JP3336663B2 (ja) 2002-10-21

Similar Documents

Publication Publication Date Title
US10085379B2 (en) Grain quality sensor
Jimenez et al. A survey of computer vision methods for locating fruit on trees
US9928584B2 (en) Inspecting plants for contamination
US7248968B2 (en) Obstacle detection using stereo vision
Sites et al. Computer vision to locate fruit on a tree
WO2017168469A1 (ja) 外観検査装置と外観検査方法
JP2008022737A (ja) 収穫ロボット
CN112218729A (zh) 用于检测外来物品的产品流的内置检查的过程和系统
WO2015121809A1 (es) Equipo portátil para la cosecha selectivacon identificación de frutos por color
Steward et al. Machine-vision weed density estimation for real-time, outdoor lighting conditions
EP0524119A1 (fr) Dispositif d'identification et de classification et procédé mis en oeuvre par ledit dispositif
Tejada et al. Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas
Kondo et al. A machine vision system for tomato cluster harvesting robot
JPH06261622A (ja) 果菜収穫ロボット等の視覚装置
AU2021204034B2 (en) Information processing device, information processing method and program
CA3071695A1 (en) Grain handling system and method
Zhang et al. Recognition of greenhouse cucumber fruit using computer vision
EP4154214A1 (en) Systems and methods for automatically grading cannabis plants and adjusting control parameters
JPH0534281A (ja) メロンの外観評価装置
JPH0554124A (ja) 果実収穫ロボツト等の視覚装置
JP2003000031A (ja) 果実の検出方法
JPH04184573A (ja) 果実収穫機等の視覚装置
JP3489210B2 (ja) 果菜収穫機の果菜類検出装置
JP3443865B2 (ja) 果菜収穫機
JP3546477B2 (ja) 収穫ロボットの画像識別装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees