JP3139074B2 - 果実収穫ロボット等の視覚装置 - Google Patents

果実収穫ロボット等の視覚装置

Info

Publication number
JP3139074B2
JP3139074B2 JP03235366A JP23536691A JP3139074B2 JP 3139074 B2 JP3139074 B2 JP 3139074B2 JP 03235366 A JP03235366 A JP 03235366A JP 23536691 A JP23536691 A JP 23536691A JP 3139074 B2 JP3139074 B2 JP 3139074B2
Authority
JP
Japan
Prior art keywords
fruit
image
distance
camera
visual device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03235366A
Other languages
English (en)
Other versions
JPH0554124A (ja
Inventor
博 長井
誠一 有馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iseki and Co Ltd
Original Assignee
Iseki and Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iseki and Co Ltd filed Critical Iseki and Co Ltd
Priority to JP03235366A priority Critical patent/JP3139074B2/ja
Publication of JPH0554124A publication Critical patent/JPH0554124A/ja
Application granted granted Critical
Publication of JP3139074B2 publication Critical patent/JP3139074B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Harvesting Machines For Specific Crops (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、果実収穫ロボットに設
けられる収穫物探索用の視覚装置に関するものである。
【0002】
【従来の技術】栽培作物の植付条に沿って自走しつつ、
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、果実固有の色相
成分の光のみを通すフィルタを有するイメージセンサカ
メラを備え、該イメージセンサカメラで撮像された像を
2値化することにより、収穫可能な果実を検出するよう
になっているものが多い。
【0003】
【発明が解決しようとする課題】しかしながら、栽培作
物がきゅうりの場合、果実と葉の色相が共に緑色である
ので、緑色の色相成分の光だけを撮像するイメージセン
サカメラで撮った画像には果実と葉の両方が検出され
る。果実と葉が独立して位置する場合は、形状や大きさ
の違いから両者を区別することができるが、両者が重な
り合っている場合は、画像の外形が複雑となり、果実だ
けを認識することは困難であった。そこで本発明は、例
えばきゅうり等のように果実と葉の色相成分が同じで、
しかも果実と葉が前後に重なっている場合でも、それぞ
れを分離して識別できるようにすることを課題としてい
る。
【0004】
【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボット等の視覚装置は、特定の色相
成分の光の像のみを撮像するカメラと、対象物を水平方
向及び垂直方向に走査して該対象物までの距離を測定す
る距離測定素子とを備え、前記カメラによって撮像され
た画像をしきい値を基準として2値化して当該2値化画
像の輪郭線を求め、得られた輪郭線の縦横比から当該2
値化画像が果実のものであるかどうかを判断して、果実
であると予想される場合にのみ2値画像の中心点を求
め、該中心点の周辺を前記測定素子で走査して、測定さ
れた距離が所定範囲内にある走査点から果実の形状を求
めるように構成したことを特徴としている。
【0005】
【作用】まず、カメラの入力信号を2値化処理して、複
数の物体、例えば果実と葉が重なった画像を得る。つぎ
に、距離測定素子で水平方向及び垂直方向(直交する2
軸方向)に走査して対象物までの距離を測定し、その測
定結果に基づいて前記画像を分析する。距離値の分布に
より、複数の物体を分離して識別する。
【0006】
【実施例】図3はきゅうり用果実収穫ロボットの使用状
態をあらわしている。この果実収穫ロボット1は、移動
手段として電動式の走行台車2を備え、該走行台車の上
にガイドレール3を有する傾斜枠4を設置し、これに果
実収穫用マニピュレータ6と視覚装置7が昇降自在に設
けられている。傾斜枠4は、ヒンジ8にて走行台車2に
枢支され、背面側を支持リンク9で支えられている。支
持リンク9の下端部は長穴10の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠4
の傾斜角度を任意に調節することができる。
【0007】マニピュレータ6は、前記ガイドレール3
に沿って昇降可能な基台12と、該基台上に水平面内で
回動自在に設けた本体部13と、該本体部に設けた関節
型アーム14と、該関節型アームの先端部に設けた摘果
ハンド15とからなる。関節型アーム14は、本体部側
の上腕部17と摘果ハンド側の前腕部18をエルボ部1
9を介して連結したもので、人の腕と同様に、アーム全
体の上下回動、屈伸、摘果ハンド15の上下回動が可能
となっている。関節型アーム14を屈曲させたとき、エ
ルボ部19が下側にくるように折れ曲がる。摘果ハンド
15は、果実を把握してその果柄を切断するように構成
されている。
【0008】視覚装置7は、図1のブロック図に示す如
く、緑色の色相成分だけを撮像するイメージセンサカメ
ラ(CCD)31および対象物までの距離を測定する距
離測定素子(PSD)32を備えた視覚部7aと、これ
らからの入力信号を分析して処理するCPU33とから
なる。視覚部7aはマニピュレータ本体部13の上端部
に設けられ、またCPU33は本体部13に内蔵されて
いる。
【0009】距離測定素子32は、図2に示す構成とな
っている。投光器40から発せられた光を反射鏡41で
反射させて対象物42に照射し、その反射光を反射鏡4
3で反射させて受光器44に受光させる。反射鏡41,
43の距離は一定であるから、三角測量の原理に基づい
て対象物42までの距離が計測される。反射鏡41,4
3の角度をステッピングモータM1 ,M2 に変えること
により図における水平走査を行い、ステッピングモータ
3 でケース46全体を回動させることにより図におけ
垂直走査を行う。
【0010】作業を開始する前に、以下に示す方法でこ
の視覚装置7の調整を行う(図4参照)。まず、図5に
示すように、規定パターン47を印したプレート48を
カメラ31の前方に設け、これをカメラ31で撮像す
る。次に、距離測定素子32で前記規定パターン47の
4角の点(Q1 ,Q2 ,Q3 ,Q4 )の距離値d(
)を測定し、これらが等しくなるように前記ステッピ
ングモータM1 ,M2 ,M3 を駆動する。これにて、カ
メラ31の入像範囲と距離測定素子32の測定範囲が一
致する。このときの走査角度を記憶しておく。
【0011】果実の探索のための処理は、図6のフロー
チャートに示す順序で行われる。なお、図示例では入力
信号レベルの分解能を64としている。全画素において
入力信号レベルが64より小さくなるようにカメラ31
の絞り調整を行い、入力信号レベルの平均値よりしきい
値を求め、これを基準として画像を「1」と「0」に2
値化する。続いて、画像中のノイズを除去する。ノイズ
除去後の「1」画素の数が所定値P以上であるかを判断
し、所定値P以上の場合はカメラ31が何かをとらえた
として次に進むが、所定値P以下の場合はカメラ31に
何も映っていないとして視覚部7aを移動させる。
「1」画素の数が所定値P以上の場合、2値化画像の輪
郭線を求め、さらに縦横の画素の比により画像の物体が
果実であるかどうかを判断し、果実であると予想される
場合のみ距離測定素子32で走査する。果実でないと判
断されたならば、視覚部7aを移動させる。なお、未成
熟の果実については、光の反射面積が小さいため、ノイ
ズとして除去される。このように、カメラ31の画像中
に果実がある場合だけ距離測定素子32で走査するよう
になっているので、果実認識のための処理時間が短縮さ
れる。
【0012】カメラ31が果実をとらえたならば、その
画像信号をCPU33に入力する前に、距離測定素子3
2で画面中央部を水平走査し、その最短距離を求め、最
短距離が30cm程度となるように視覚部7aを前後移動
させる(図7参照)。カメラ31から対象物までの距離
が常にほぼ同じになるので、照明の影響等が一定な同一
条件の情報を得ることができるようになる。また、果実
認識画素の数だけで果実の大きさを概判定できるので、
処理時間が短縮化される。
【0013】果実のサイズを判定するには、図8のフロ
ーチャートに示す処理を行う。まず、イメージセンサカ
メラ31の画像を果実部分と背景部分に2値化し、果実
部分の中心点Cを求める(図9参照)。そして、その中
心点Cの近辺を距離測定素子32で水平および垂直走査
し、中心点の距離値をdcとしたときに、距離値がdc
±αである走査点を抜き出すことにより、果実の形状が
判明する。これにより、完熟した果実だけを収穫できる
ようになる。
【0014】なお、画素ピッチにより果実と思われる画
像の長さと幅を算出し、これを予め用意しておいた比較
テーブルと比較し、実際に果実であるか否かを判定する
(図10参照)。例えば、成熟したきゅうりにおける標
準的な長さと幅の関係は図11に示すようになってい
る。このように、長さと幅(直径)の関係を利用して果
実であることを確認することにより、収穫時に誤って茎
を傷つけることを防止できる。
【0015】1画面中に複数の物体が入像されている場
合は、各像の距離値分布のヒストグラム(図13参照)
を作成し、その頻度と面積により葉と果実を識別する
(図12参照)。
【0016】さらに、例えば図15に示す如く、葉50
と果実(きゅうり)51が前後に重なっている場合は、
1画面に両者が同時に映し出される。このような時は、
図14のフローチャートに示す分析を行って両者を分離
する。まず、イメージセンサカメラ31で対象物を撮
り、これを緑色の色相成分とそれ以外の色相成分に2値
化する。果実と葉は共に緑色であるので、2値化画像は
図16に示すように両者を合体させた形状となる。次
に、この2値化画像の輪郭線を求め、距離測定素子32
を水平および垂直走査する。そして、輪郭線上の距離値
の差分をとり、図17に示すように、しきい値Lを基準
として、しきい値Lより距離値が小さい線分Aと、しき
い値Lより距離値が大きい線分Bとに輪郭線を分離す
る。線分Aは葉の輪郭をあらわし、線分Bはきゅうりの
輪郭をあらわしている。
【0017】上記分析手順中において、輪郭線上の距離
値の差分をとる代わりに、図19に示す如く、輪郭線内
の距離値のヒストグラムを作成し、そのヒストグラムに
より葉50と果実51の輪郭線を分離するようにしても
よい(図18参照)。
【0018】視覚装置7が収穫可能な果実を見つける
と、マニピュレータ6が所定の動作を行い当該果実を収
穫する。視覚部7aの視野内の果実を全て収穫し終える
と、視覚部7aの向きを変えて果実の収穫を繰り返す。
マニピュレータ6の全作業範囲内の果実をすべて収穫し
終えると、走行台車2を移動させて次の株に移動する。
【0019】
【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットの視覚装置は、距離測定素子の測定結果
に基づいてカメラによる画像を分析することにより、き
ゅうり等のように葉と果実の色が同じ作物の場合でも、
両者を確実に分離して識別できるようになった。
【図面の簡単な説明】
【図1】視覚装置のブロックである。
【図2】距離測定素子の構成を示す図である。
【図3】果実収穫ロボットの使用状態を示す図である。
【図4】第1の視覚装置制御のフローチャートである。
【図5】第1の視覚装置制御の概念を示す図である。
【図6】第2の視覚装置制御のフローチャートである。
【図7】第3の視覚装置制御のフローチャートである。
【図8】第4の視覚装置制御のフローチャートである。
【図9】第4の視覚装置制御の説明を補足するための画
像の図である。
【図10】第5の視覚装置制御のフローチャートであ
る。
【図11】成熟したきゅうりにおける標準的な長さと直
径の関係を示す図である。
【図12】第6の視覚装置制御のフローチャートであ
る。
【図13】第6の視覚装置制御の説明を補足するための
距離値のヒストグラムである。
【図14】第7の視覚装置制御のフローチャートであ
る。
【図15】第7の視覚装置制御の概念を示す図である。
【図16】第7の視覚装置制御の説明を補足するための
画像の図である。
【図17】第7の視覚装置制御の説明を補足するための
輪郭線と差分の関係を示す図である。
【図18】第8の視覚装置制御のフローチャートであ
る。
【図19】第8の視覚装置制御の説明を補足するための
距離値のヒストグラムである。
【符号の説明】
1 果実収穫ロボット 6 マニピュレータ 7 視覚装置 15 摘果ハンド 31 イメージセンサカメラ 32 距離測定素子 33 CPU 50 葉 51 果実
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−15780(JP,A) 特開 昭60−39279(JP,A) 特開 昭60−116077(JP,A) 特開 平2−234013(JP,A) 特開 昭63−285410(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 A01D 46/24 - 46/253 B25J 19/04 G05D 1/02 - 1/03

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 特定の色相成分の光の像のみを撮像する
    カメラと、対象物を水平方向及び垂直方向に走査して該
    対象物までの距離を測定する距離測定素子とを備え、前
    記カメラによって撮像された画像をしきい値を基準とし
    て2値化して当該2値化画像の輪郭線を求め、得られた
    輪郭線の縦横比から当該2値化画像が果実のものである
    かどうかを判断して、果実であると予想される場合にの
    み2値画像の中心点を求め、該中心点の周辺を前記測定
    素子で走査して、測定された距離が所定範囲内にある走
    査点から果実の形状を求めるように構成したことを特徴
    とする果実収穫ロボット等の視覚装置。
JP03235366A 1991-08-21 1991-08-21 果実収穫ロボット等の視覚装置 Expired - Fee Related JP3139074B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03235366A JP3139074B2 (ja) 1991-08-21 1991-08-21 果実収穫ロボット等の視覚装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03235366A JP3139074B2 (ja) 1991-08-21 1991-08-21 果実収穫ロボット等の視覚装置

Publications (2)

Publication Number Publication Date
JPH0554124A JPH0554124A (ja) 1993-03-05
JP3139074B2 true JP3139074B2 (ja) 2001-02-26

Family

ID=16985022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03235366A Expired - Fee Related JP3139074B2 (ja) 1991-08-21 1991-08-21 果実収穫ロボット等の視覚装置

Country Status (1)

Country Link
JP (1) JP3139074B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3336663B2 (ja) * 1993-03-10 2002-10-21 井関農機株式会社 果菜収穫ロボット等の視覚装置
JP3443865B2 (ja) * 1993-03-31 2003-09-08 井関農機株式会社 果菜収穫機
JP3451656B2 (ja) * 1993-05-20 2003-09-29 井関農機株式会社 果菜類収穫機
JP3503207B2 (ja) * 1994-08-19 2004-03-02 井関農機株式会社 収穫ロボットの果実識別装置
JP3489210B2 (ja) * 1994-09-09 2004-01-19 井関農機株式会社 果菜収穫機の果菜類検出装置
DE69943406D1 (de) * 1998-05-25 2011-06-16 Panasonic Corp Abstandsmesser und kamera
JP4761177B2 (ja) * 2001-06-21 2011-08-31 独立行政法人農業・食品産業技術総合研究機構 果実の検出方法
JP6856411B2 (ja) * 2017-03-09 2021-04-07 パナソニック株式会社 果梗位置推定装置および果梗位置推定方法
CN107038446B (zh) * 2017-03-23 2020-06-05 中国计量大学 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
JP2019091310A (ja) * 2017-11-15 2019-06-13 Necエンベデッドプロダクツ株式会社 画像処理装置、摘み取り装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
JPH0554124A (ja) 1993-03-05

Similar Documents

Publication Publication Date Title
JP3139074B2 (ja) 果実収穫ロボット等の視覚装置
Zhao et al. On-tree fruit recognition using texture properties and color data
EP1211928B1 (en) An apparatus and a method for improving teatcup attachment, by using illuminating and image capturing means
JP2001523095A (ja) 動物の一部位の位置を認識して決定するための装置と方法
US6538750B1 (en) Rotary sensor system with a single detector
JP3277529B2 (ja) 果実収穫ロボット
JP3503207B2 (ja) 収穫ロボットの果実識別装置
JP3396920B2 (ja) 収穫ロボットの撮像方法
JP3277530B2 (ja) 果実収穫ロボツトの視覚装置
JPH05168333A (ja) 果実収穫ロボツト
JP3964077B2 (ja) トロリ線支持碍子の高さ測定装置
JPH04184573A (ja) 果実収穫機等の視覚装置
JP3336663B2 (ja) 果菜収穫ロボット等の視覚装置
JPH05168335A (ja) 果実収穫ロボツトの視覚装置
JPH10137696A (ja) 選別方法及びその装置
JP3239280B2 (ja) 果菜収穫機の果菜類中心線検出方式
JPH08154450A (ja) 果実認識装置
JPH09163853A (ja) 果実の画像処理装置
JPH05174130A (ja) 果実収穫ロボツトの視覚装置
JPH0962839A (ja) 農水産物の外観検査装置
JP3396905B2 (ja) 果菜収穫機の果菜類検出方式
JPH11194021A (ja) 果菜類の計測装置
JPH0456933B2 (ja)
JP3443865B2 (ja) 果菜収穫機
JPH1051668A (ja) 農業用ロボットの撮像装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees