JP3277530B2 - 果実収穫ロボツトの視覚装置 - Google Patents
果実収穫ロボツトの視覚装置Info
- Publication number
- JP3277530B2 JP3277530B2 JP35515491A JP35515491A JP3277530B2 JP 3277530 B2 JP3277530 B2 JP 3277530B2 JP 35515491 A JP35515491 A JP 35515491A JP 35515491 A JP35515491 A JP 35515491A JP 3277530 B2 JP3277530 B2 JP 3277530B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- fruit
- camera
- distance sensor
- visual device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、果実収穫ロボットに設
けられる収穫物探索用の視覚装置に関するものである。
けられる収穫物探索用の視覚装置に関するものである。
【０００２】
【従来の技術】栽培作物の植付条に沿って自走しつつ、
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、モノクロのイメ
ージセンサカメラに撮像された画像を輝度が一定以上の
部分と輝度が一定未満の部分に２値化し、画像中から果
実等の輪郭を抽出するようになっていた。
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、モノクロのイメ
ージセンサカメラに撮像された画像を輝度が一定以上の
部分と輝度が一定未満の部分に２値化し、画像中から果
実等の輪郭を抽出するようになっていた。
【０００３】
【発明が解決しようとする課題】しかしながら、逆光時
等に日光がカメラの画面に入ると、画面全体の輝度レベ
ルが高くなり、果実等と背景との境界が不明瞭になった
り、日光を誤って果実であると判定することがあった。
本発明は、このような誤検出を防止し、果実を正確に検
出できるようにすることを課題としている。
等に日光がカメラの画面に入ると、画面全体の輝度レベ
ルが高くなり、果実等と背景との境界が不明瞭になった
り、日光を誤って果実であると判定することがあった。
本発明は、このような誤検出を防止し、果実を正確に検
出できるようにすることを課題としている。
【０００４】
【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラを備え、該カメラに撮像された画像を輝度が
一定以上の部分と輝度が一定未満の部分に２値化するこ
とにより対象物の輪郭を抽出するようにした果実収穫ロ
ボットの視覚装置において、対象物までの距離を測定す
る距離センサと、該距離センサの測定結果から得られる
距離画像に基づいて対象物が所定の距離内にあるか否か
を判定するＣＰＵとを設けるとともに、前記距離センサ
の測定結果に基づいて、対象物までの距離が大きいとき
は当該距離センサの走査ステップを細かくし、対象物ま
での距離が小さいときは当該距離センサの走査ステップ
を粗くするように構成したことを特徴としている。
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラを備え、該カメラに撮像された画像を輝度が
一定以上の部分と輝度が一定未満の部分に２値化するこ
とにより対象物の輪郭を抽出するようにした果実収穫ロ
ボットの視覚装置において、対象物までの距離を測定す
る距離センサと、該距離センサの測定結果から得られる
距離画像に基づいて対象物が所定の距離内にあるか否か
を判定するＣＰＵとを設けるとともに、前記距離センサ
の測定結果に基づいて、対象物までの距離が大きいとき
は当該距離センサの走査ステップを細かくし、対象物ま
での距離が小さいときは当該距離センサの走査ステップ
を粗くするように構成したことを特徴としている。
【０００５】
【作用】果実収穫ロボットは栽培植物の植付条に沿って
移動するので、果実収穫ロボットの視覚装置から栽培植
物に生っている果実までの距離はほぼ一定の範囲内にあ
る。したがって、距離センサの測定結果から得られる距
離画像に基づいて対象物が所定の距離内にあるか否かを
判定し、所定距離内にあるときはカメラに入力された対
象物が果実であるとし、所定距離外にあるときはカメラ
に入力された対象物が日光または他の異物によるもので
あるとみなす。
移動するので、果実収穫ロボットの視覚装置から栽培植
物に生っている果実までの距離はほぼ一定の範囲内にあ
る。したがって、距離センサの測定結果から得られる距
離画像に基づいて対象物が所定の距離内にあるか否かを
判定し、所定距離内にあるときはカメラに入力された対
象物が果実であるとし、所定距離外にあるときはカメラ
に入力された対象物が日光または他の異物によるもので
あるとみなす。
【０００６】
【実施例】図３はきゅうり用果実収穫ロボットの使用状
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行部２を備え、該走行部の上に果
実収穫用のマニピュレータ３、収穫物探索用の視覚装置
５等を設置してなる。この果実収穫ロボット１が使用さ
れる栽培場では、斜めに設けた支持体７にきゅうりの樹
体８を支持させている。
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行部２を備え、該走行部の上に果
実収穫用のマニピュレータ３、収穫物探索用の視覚装置
５等を設置してなる。この果実収穫ロボット１が使用さ
れる栽培場では、斜めに設けた支持体７にきゅうりの樹
体８を支持させている。
【０００７】マニピュレータ３は、対面する樹体８の傾
斜とほぼ平行になるよう傾斜させた傾斜枠１０と、該傾
斜枠のガイドレール１１に沿って昇降自在に取り付けた
基台１２と、該基台の上に水平面内で回動自在に設けた
本体部１３と、該本体部に設けた関節型アーム１４と、
該関節型アームの先端に設けた摘果用ハンド部１５とか
らなる。傾斜枠１０は、ヒンジ１６にて走行部２に枢支
され、背面側を支持リンク１７で支えられている。支持
リンク１７の下端部は長穴１８の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠１
０の傾斜角度を任意に調節することができる。マニピュ
レータ３の各部を適当に作動させることにより、ハンド
部１５を対象果実に接近させる。摘果用ハンド部１５
は、果実を把握してその果柄を切断するように構成され
ている。
斜とほぼ平行になるよう傾斜させた傾斜枠１０と、該傾
斜枠のガイドレール１１に沿って昇降自在に取り付けた
基台１２と、該基台の上に水平面内で回動自在に設けた
本体部１３と、該本体部に設けた関節型アーム１４と、
該関節型アームの先端に設けた摘果用ハンド部１５とか
らなる。傾斜枠１０は、ヒンジ１６にて走行部２に枢支
され、背面側を支持リンク１７で支えられている。支持
リンク１７の下端部は長穴１８の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠１
０の傾斜角度を任意に調節することができる。マニピュ
レータ３の各部を適当に作動させることにより、ハンド
部１５を対象果実に接近させる。摘果用ハンド部１５
は、果実を把握してその果柄を切断するように構成され
ている。
【０００８】視覚装置５は、図１のブロック図に示す如
く、赤外線モノクロカメラ２０と、該カメラの視野内を
水平および垂直に走査して対象物までの距離を測定する
距離センサ（ＰＳＤ）２１と、これらからの入力信号を
分析処理するＣＰＵ２２と、データを記憶するメモリ２
３とを備えてなる。カメラ２０およびＰＳＤ２１からな
る視覚部５ａはマニピュレータ本体部１３の上部に設け
られている。
く、赤外線モノクロカメラ２０と、該カメラの視野内を
水平および垂直に走査して対象物までの距離を測定する
距離センサ（ＰＳＤ）２１と、これらからの入力信号を
分析処理するＣＰＵ２２と、データを記憶するメモリ２
３とを備えてなる。カメラ２０およびＰＳＤ２１からな
る視覚部５ａはマニピュレータ本体部１３の上部に設け
られている。
【０００９】果実の位置検出装置であるＰＳＤ２１は、
図２に示す構造となっている。投光器３０から発せられ
た光を反射鏡３１で反射させて対象物３２に照射し、そ
の反射光を反射鏡３３で反射させて受光器３４に受光さ
せる。反射鏡３１，３３の距離は一定であるから、三角
測量の原理に基づいて対象物３２までの距離を算出す
る。反射鏡３１，３３の角度をステッピングモータＭ
1 ，Ｍ2 に変えることにより水平走査を行い、ステッピ
ングモータＭ3 でケース３６全体を回動させることによ
り垂直走査を行う。
図２に示す構造となっている。投光器３０から発せられ
た光を反射鏡３１で反射させて対象物３２に照射し、そ
の反射光を反射鏡３３で反射させて受光器３４に受光さ
せる。反射鏡３１，３３の距離は一定であるから、三角
測量の原理に基づいて対象物３２までの距離を算出す
る。反射鏡３１，３３の角度をステッピングモータＭ
1 ，Ｍ2 に変えることにより水平走査を行い、ステッピ
ングモータＭ3 でケース３６全体を回動させることによ
り垂直走査を行う。
【００１０】果実の探索は図４のフローチャートに示す
順に行う。まず、カメラ２０の画像を入力し、その画面
の範囲内をＰＳＤ２１で水平および垂直に走査して対象
物までの距離を測定する。次に、カメラ画像を輝度に基
づいて２値化し、対象物の輪郭を抽出する。例えば、カ
メラ画像が図５であるとし、そのａ−ａ線上の画素の輝
度分布が図６のようであるとした場合、輝度が２値化レ
ベル以上の画素（図６において斜線で示す部分）を
「１」、２値化レベル以下の画素を「０」として処理
し、図７に示す処理画面を得る。そして、輪郭で囲まれ
た部分の距離の平均値を算出し、その平均距離値を予め
設定されている所定値と比較する。視覚部５ａから果実
までの最大距離はほぼ畝間距離（約６０cm）に等しいか
ら、所定値はこの畝間距離に余裕幅として数十cmを加え
た数値としておく。平均距離値が所定値以下の場合は対
象物が果実であると判定し、平均距離値が所定値を超え
る場合は対象物が日光もしくは他の光源等の異物による
ものであると判定する。
順に行う。まず、カメラ２０の画像を入力し、その画面
の範囲内をＰＳＤ２１で水平および垂直に走査して対象
物までの距離を測定する。次に、カメラ画像を輝度に基
づいて２値化し、対象物の輪郭を抽出する。例えば、カ
メラ画像が図５であるとし、そのａ−ａ線上の画素の輝
度分布が図６のようであるとした場合、輝度が２値化レ
ベル以上の画素（図６において斜線で示す部分）を
「１」、２値化レベル以下の画素を「０」として処理
し、図７に示す処理画面を得る。そして、輪郭で囲まれ
た部分の距離の平均値を算出し、その平均距離値を予め
設定されている所定値と比較する。視覚部５ａから果実
までの最大距離はほぼ畝間距離（約６０cm）に等しいか
ら、所定値はこの畝間距離に余裕幅として数十cmを加え
た数値としておく。平均距離値が所定値以下の場合は対
象物が果実であると判定し、平均距離値が所定値を超え
る場合は対象物が日光もしくは他の光源等の異物による
ものであると判定する。
【００１１】上記ＰＳＤ２１の走査は、前述の如く、反
射鏡３１，３３およびケース３６を首振り状に回動させ
て行うので、視覚部５ａから対象物までの距離によって
走査精度が異なる。すなわち、距離が近いほど精度が高
くなる。そこで、距離画像の分解能を損なわない程度
に、視覚部５ａから対象物までの距離が近い場合は走査
検出点数を粗くし、処理速度を向上させるようにした。
図８はその制御のフローチャートである。この実施例で
は、走査検出点数を大、中、小の３段階に変化させるよ
うにしている。
射鏡３１，３３およびケース３６を首振り状に回動させ
て行うので、視覚部５ａから対象物までの距離によって
走査精度が異なる。すなわち、距離が近いほど精度が高
くなる。そこで、距離画像の分解能を損なわない程度
に、視覚部５ａから対象物までの距離が近い場合は走査
検出点数を粗くし、処理速度を向上させるようにした。
図８はその制御のフローチャートである。この実施例で
は、走査検出点数を大、中、小の３段階に変化させるよ
うにしている。
【００１２】実際には、１画面上に果実と葉が共存する
場合があり、果実の一部が葉に隠れていると正確な検出
結果が得られないことがある。そこで、果実と葉が重な
っているか否かを判定するために、図９のフローチャー
トに示す制御を行う。すなわち、果実および葉とカメラ
２０との相対距離のヒストグラムを作成し、そのヒスト
グラム上での距離のばらつきの度合いによって果実と葉
の重なりを判定するのである。例えば、カメラ画像が図
１０のようであったとすると、その距離ヒストグラムは
図１１のようになる。きゅうりの標準寸法はタテ２２０
mm、ヨコ２２mm程度であり、きゅうりから３０cm離れた
位置でカメラ２０で撮像するのが最適である。このヒス
トグラムの分布状態から距離のばらつきＡが規定値以上
であれば果実と葉が重なっていると判定し、規定値以下
であれば果実のみと判定する。このような処理を行なう
ことにより、より効果的な摘果作業を行なうことができ
る。
場合があり、果実の一部が葉に隠れていると正確な検出
結果が得られないことがある。そこで、果実と葉が重な
っているか否かを判定するために、図９のフローチャー
トに示す制御を行う。すなわち、果実および葉とカメラ
２０との相対距離のヒストグラムを作成し、そのヒスト
グラム上での距離のばらつきの度合いによって果実と葉
の重なりを判定するのである。例えば、カメラ画像が図
１０のようであったとすると、その距離ヒストグラムは
図１１のようになる。きゅうりの標準寸法はタテ２２０
mm、ヨコ２２mm程度であり、きゅうりから３０cm離れた
位置でカメラ２０で撮像するのが最適である。このヒス
トグラムの分布状態から距離のばらつきＡが規定値以上
であれば果実と葉が重なっていると判定し、規定値以下
であれば果実のみと判定する。このような処理を行なう
ことにより、より効果的な摘果作業を行なうことができ
る。
【００１３】
【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットの視覚装置は、距離センサの測定結果か
ら得られる距離画像に基づいて対象物が所定距離内にあ
るか否かを判定することにより、カメラに入力された対
象物が果実であるか、日光または他の光源等によるもの
であるかを正確に判定でき、誤操作を防止できるように
なった。しかも、前記距離センサの測定結果に基づい
て、対象物までの距離が大きいときは当該距離センサの
走査ステップを細かくし、対象物までの距離が小さいと
きは当該距離センサの走査ステップを粗くするように構
成したので、処理速度を向上させることが可能となり、
作業能率を改善することができた。
実収穫ロボットの視覚装置は、距離センサの測定結果か
ら得られる距離画像に基づいて対象物が所定距離内にあ
るか否かを判定することにより、カメラに入力された対
象物が果実であるか、日光または他の光源等によるもの
であるかを正確に判定でき、誤操作を防止できるように
なった。しかも、前記距離センサの測定結果に基づい
て、対象物までの距離が大きいときは当該距離センサの
走査ステップを細かくし、対象物までの距離が小さいと
きは当該距離センサの走査ステップを粗くするように構
成したので、処理速度を向上させることが可能となり、
作業能率を改善することができた。
【図１】視覚装置のブロック図である。
【図２】距離センサの構成を示す図である。
【図３】果実収穫ロボットの使用状態を示す図である。
【図４】第１の視覚装置制御のフローチャートである。
【図５】カメラ入力画像の図である。
【図６】輝度分布を示す図である。
【図７】処理画像の図である。
【図８】第２の視覚装置制御のフローチャートである。
【図９】第３の視覚装置制御の説明を補足するためのフ
ローチャートである。
ローチャートである。
【図１０】カメラ入力画像の図である。
【図１１】視覚部と対象物の相対距離のヒストグラムで
ある。
ある。
１ 果実収穫ロボット ３ マニピュレータ ５ 視覚装置 １５ 摘果用ハンド部 ２０ カメラ ２１ 距離センサ（ＰＳＤ） ２２ ＣＰＵ
Claims (2)
- 【請求項１】 対象物を撮像するカメラを備え、該カメ
ラに撮像された画像を輝度が一定以上の部分と輝度が一
定未満の部分に２値化することにより対象物の輪郭を抽
出するようにした果実収穫ロボットの視覚装置におい
て、対象物までの距離を測定する距離センサと、該距離
センサの測定結果から得られる距離画像に基づいて対象
物が所定の距離内にあるか否かを判定するＣＰＵとを設
けるとともに、前記距離センサの測定結果に基づいて、
対象物までの距離が大きいときは当該距離センサの走査
ステップを細かくし、対象物までの距離が小さいときは
当該距離センサの走査ステップを粗くするように構成し
たことを特徴とする果実収穫ロボットの視覚装置。 - 【請求項２】 上記ＣＰＵによる判定の基準となる所定
の距離が、圃場の畝間距離に余裕幅を加えた距離として
設定される請求項１に記載の果実収穫ロボットの視覚装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35515491A JP3277530B2 (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35515491A JP3277530B2 (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05168334A JPH05168334A (ja) | 1993-07-02 |
| JP3277530B2 true JP3277530B2 (ja) | 2002-04-22 |
Family
ID=18442261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35515491A Expired - Fee Related JP3277530B2 (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3277530B2 (ja) |
-
1991
- 1991-12-19 JP JP35515491A patent/JP3277530B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05168334A (ja) | 1993-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10746763B2 (en) | Apparatus and method for diagnosing electric power equipment using thermal imaging camera | |
| EP1211928B1 (en) | An apparatus and a method for improving teatcup attachment, by using illuminating and image capturing means | |
| US7916898B2 (en) | Method and system for identifying an edge of a crop | |
| EP3552474A1 (en) | A system for controlling an operative parameter of a harvesting header | |
| US10217013B2 (en) | Methods and system for detecting curved fruit with flash and camera and automated image analysis with invariance to scale and partial occlusions | |
| JP3139074B2 (ja) | 果実収穫ロボット等の視覚装置 | |
| JP3277530B2 (ja) | 果実収穫ロボツトの視覚装置 | |
| JP3277529B2 (ja) | 果実収穫ロボット | |
| JP2001188988A (ja) | 車両検出装置 | |
| JP3336663B2 (ja) | 果菜収穫ロボット等の視覚装置 | |
| JP3964077B2 (ja) | トロリ線支持碍子の高さ測定装置 | |
| JPH05174130A (ja) | 果実収穫ロボツトの視覚装置 | |
| JPH05168335A (ja) | 果実収穫ロボツトの視覚装置 | |
| JPH05168333A (ja) | 果実収穫ロボツト | |
| JP3396905B2 (ja) | 果菜収穫機の果菜類検出方式 | |
| JPH08154450A (ja) | 果実認識装置 | |
| JP3451656B2 (ja) | 果菜類収穫機 | |
| Byrne et al. | Precise image segmentation for forest inventory | |
| JPH06284810A (ja) | 果菜収穫機の果菜類中心線検出方式 | |
| JP3443865B2 (ja) | 果菜収穫機 | |
| JPH05264225A (ja) | 車両運転者の眼球位置検出装置 | |
| JPH06319355A (ja) | 果菜収穫機の果菜類画像入力方式 | |
| JPH0944650A (ja) | 果実認識装置 | |
| JPH0823748A (ja) | 果菜収穫機の果菜類検出装置 | |
| JPH0456933B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |