JP3277529B2 - 果実収穫ロボット - Google Patents
果実収穫ロボットInfo
- Publication number
- JP3277529B2 JP3277529B2 JP35472291A JP35472291A JP3277529B2 JP 3277529 B2 JP3277529 B2 JP 3277529B2 JP 35472291 A JP35472291 A JP 35472291A JP 35472291 A JP35472291 A JP 35472291A JP 3277529 B2 JP3277529 B2 JP 3277529B2
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- center
- image
- manipulator
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Environmental Sciences (AREA)
- Robotics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Manipulator (AREA)
- Harvesting Machines For Specific Crops (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、収穫可能な果実を自動
的に収穫する果実収穫ロボットに関するものである。
的に収穫する果実収穫ロボットに関するものである。
【０００２】
【従来の技術】栽培作物の植付条に沿って自走しつつ、
視覚装置で収穫可能な成熟した果実を見つけ出し、摘果
用ハンド部を有するマニピュレータでこれを自動的に収
穫するようにした果実収穫ロボットが開発されている。
この種の果実収穫ロボットに設けられる収穫物探索用の
視覚装置として、果実固有の色相成分の光のみを通すフ
ィルタを有するイメージセンサカメラ（ＣＣＤカメラ）
と、一定範囲内を垂直および水平に走査して対象物まで
の距離を測定する距離センサ（ＰＳＤ）とを備え、ＣＰ
Ｕで前記ＰＳＤの測定結果に基づいて前記ＣＣＤによる
画像を分析し、果実とそれに重なり合った葉等の異物と
を識別するように構成したものがある。
視覚装置で収穫可能な成熟した果実を見つけ出し、摘果
用ハンド部を有するマニピュレータでこれを自動的に収
穫するようにした果実収穫ロボットが開発されている。
この種の果実収穫ロボットに設けられる収穫物探索用の
視覚装置として、果実固有の色相成分の光のみを通すフ
ィルタを有するイメージセンサカメラ（ＣＣＤカメラ）
と、一定範囲内を垂直および水平に走査して対象物まで
の距離を測定する距離センサ（ＰＳＤ）とを備え、ＣＰ
Ｕで前記ＰＳＤの測定結果に基づいて前記ＣＣＤによる
画像を分析し、果実とそれに重なり合った葉等の異物と
を識別するように構成したものがある。
【０００３】
【発明が解決しようとする課題】従来は、上記構成の視
覚装置において、ＣＣＤの取付位置とＰＳＤの取付位置
にずれの分だけＣＣＤの焦点（撮像中心）とＰＳＤの焦
点（走査範囲の中心）に差が生じるので、両者の検出範
囲が一致するように修正したのち画像処理を行ってい
た。さらに、得られた処理画像がハンド部の基準点と一
致するように処理して、マニピュレータを作動させる際
の位置データとして利用していた。しかしながら、この
ような修正処理は複雑であり、修正処理における誤差の
ためハンド部の動作位置が実際の果実の位置から多少ず
れるという問題があった。
覚装置において、ＣＣＤの取付位置とＰＳＤの取付位置
にずれの分だけＣＣＤの焦点（撮像中心）とＰＳＤの焦
点（走査範囲の中心）に差が生じるので、両者の検出範
囲が一致するように修正したのち画像処理を行ってい
た。さらに、得られた処理画像がハンド部の基準点と一
致するように処理して、マニピュレータを作動させる際
の位置データとして利用していた。しかしながら、この
ような修正処理は複雑であり、修正処理における誤差の
ためハンド部の動作位置が実際の果実の位置から多少ず
れるという問題があった。
【０００４】
【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットは、摘果用ハンド部を３次元
方向に移動させ得るマニピュレータと、果実を検出する
視覚装置とを有する果実収穫ロボットであって、前記視
覚装置は、対象物を撮像するカメラと、一定範囲内を垂
直および水平に走査して対象物までの距離を測定する距
離センサとを備え、前記カメラの画像を前記距離センサ
の測定結果に基づいて分析することにより、果実とそれ
に重なり合った葉等の異物とが識別された処理画像を得
るように構成するとともに、前記マニピュレータにおけ
る１つの可動部を作動させるだけで前記カメラの画像の
中心と前記距離センサの走査範囲の中心を合致できるよ
うに当該カメラと距離センサを配置し、前記処理画像の
中心がマニピュレータ初期姿勢における前記ハンド部の
基準点と一致するようにしたことを特徴としている。
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットは、摘果用ハンド部を３次元
方向に移動させ得るマニピュレータと、果実を検出する
視覚装置とを有する果実収穫ロボットであって、前記視
覚装置は、対象物を撮像するカメラと、一定範囲内を垂
直および水平に走査して対象物までの距離を測定する距
離センサとを備え、前記カメラの画像を前記距離センサ
の測定結果に基づいて分析することにより、果実とそれ
に重なり合った葉等の異物とが識別された処理画像を得
るように構成するとともに、前記マニピュレータにおけ
る１つの可動部を作動させるだけで前記カメラの画像の
中心と前記距離センサの走査範囲の中心を合致できるよ
うに当該カメラと距離センサを配置し、前記処理画像の
中心がマニピュレータ初期姿勢における前記ハンド部の
基準点と一致するようにしたことを特徴としている。
【０００５】
【作用】本発明によれば、カメラの画像を距離センサの
検出結果に基づいて画像処理するに際し、カメラの画像
の中心と距離センサの走査範囲の中心の位置合わせをマ
ニピュレータにおける所定の１つの可動部を作動させる
だけでできる。このため、マニピュレータを動かして実
際にカメラの撮像中心と距離センサの走査範囲の中心が
合致するようにして画像処理を行うことが容易となり、
修正処理を行う必要がなくなる。また、得られた処理画
像の中心がマニピュレータ初期位置におけるハンド部の
基準点と一致しているので、処理画像のデータに修正処
理を施すことなく、マニピュレータの作動にそのまま利
用することができる。このように、カメラの画像の中心
と距離センサの走査範囲の中心の位置合わせ、および処
理画像の中心とハンド部の中心の位置合わせに際して、
入力データに修正処理を施す必要がないので、処理が簡
単であると共に、果実の位置検出における誤差を小さく
することができる。
検出結果に基づいて画像処理するに際し、カメラの画像
の中心と距離センサの走査範囲の中心の位置合わせをマ
ニピュレータにおける所定の１つの可動部を作動させる
だけでできる。このため、マニピュレータを動かして実
際にカメラの撮像中心と距離センサの走査範囲の中心が
合致するようにして画像処理を行うことが容易となり、
修正処理を行う必要がなくなる。また、得られた処理画
像の中心がマニピュレータ初期位置におけるハンド部の
基準点と一致しているので、処理画像のデータに修正処
理を施すことなく、マニピュレータの作動にそのまま利
用することができる。このように、カメラの画像の中心
と距離センサの走査範囲の中心の位置合わせ、および処
理画像の中心とハンド部の中心の位置合わせに際して、
入力データに修正処理を施す必要がないので、処理が簡
単であると共に、果実の位置検出における誤差を小さく
することができる。
【０００６】
【実施例】図１および図２はきゅうり用果実収穫ロボッ
トの使用状態をあらわしている。この果実収穫ロボット
１は、移動手段として電動式の走行部２を備え、該走行
部の上に果実収穫用のマニピュレータ３、収穫物探索用
の視覚装置５、果実貯蔵部６等を設置してなる。この果
実収穫ロボット１が使用される栽培場では、斜めに設け
た支持体７にきゅうりの樹体８を支持させている。
トの使用状態をあらわしている。この果実収穫ロボット
１は、移動手段として電動式の走行部２を備え、該走行
部の上に果実収穫用のマニピュレータ３、収穫物探索用
の視覚装置５、果実貯蔵部６等を設置してなる。この果
実収穫ロボット１が使用される栽培場では、斜めに設け
た支持体７にきゅうりの樹体８を支持させている。
【０００７】マニピュレータ３は、図３および図４に示
すように、対面する樹体８の傾斜とほぼ平行になるよう
傾斜させた傾斜枠１０と、該傾斜枠のガイドレール１１
に沿って昇降自在に取り付けた基台１２と、該基台の上
に水平面内で回動自在に設けた本体部１３と、該本体部
に設けた関節型アーム１４と、該関節型アームの先端に
設けた摘果用ハンド部１５とからなる。傾斜枠１０は、
ヒンジ１６にて走行部２に枢支され、背面側を支持リン
ク１７で支えられている。支持リンク１７の下端部は長
穴１８の適所に止着するようになっており、その止着位
置を変えることにより傾斜枠１０の傾斜角度を任意に調
節することができる。傾斜枠１０の傾斜度は前記支持体
７の傾斜度と同じにしておくのがよい。
すように、対面する樹体８の傾斜とほぼ平行になるよう
傾斜させた傾斜枠１０と、該傾斜枠のガイドレール１１
に沿って昇降自在に取り付けた基台１２と、該基台の上
に水平面内で回動自在に設けた本体部１３と、該本体部
に設けた関節型アーム１４と、該関節型アームの先端に
設けた摘果用ハンド部１５とからなる。傾斜枠１０は、
ヒンジ１６にて走行部２に枢支され、背面側を支持リン
ク１７で支えられている。支持リンク１７の下端部は長
穴１８の適所に止着するようになっており、その止着位
置を変えることにより傾斜枠１０の傾斜角度を任意に調
節することができる。傾斜枠１０の傾斜度は前記支持体
７の傾斜度と同じにしておくのがよい。
【０００８】関節型アーム１４は、本体部側の上腕部２
０とハンド部側の前腕部２１とからなり、人の腕と同様
に、ショルダ部２２を中心として上腕部２０が上下に回
動、エルボ部２３を支点として全体が屈伸、リスト部２
４を中心としてハンド部１５が上下に回動するようにな
っている。関節型アーム１４を屈曲させたとき、エルボ
部２３が下側にくるように折れ曲がる。上腕部２０およ
び前腕部２１は、所定間隔を開けて２枚の板材２６，２
６，２７，２７を対面させて形成されており、関節型ア
ーム１４を最大に屈曲させたとき、図３において２点鎖
線で示す如く、上腕部２０と前腕部２１が重なり合い、
ショルダ部２２の内側にリスト部２４が位置するように
なる。この状態がマニピュレータの初期姿勢である。
０とハンド部側の前腕部２１とからなり、人の腕と同様
に、ショルダ部２２を中心として上腕部２０が上下に回
動、エルボ部２３を支点として全体が屈伸、リスト部２
４を中心としてハンド部１５が上下に回動するようにな
っている。関節型アーム１４を屈曲させたとき、エルボ
部２３が下側にくるように折れ曲がる。上腕部２０およ
び前腕部２１は、所定間隔を開けて２枚の板材２６，２
６，２７，２７を対面させて形成されており、関節型ア
ーム１４を最大に屈曲させたとき、図３において２点鎖
線で示す如く、上腕部２０と前腕部２１が重なり合い、
ショルダ部２２の内側にリスト部２４が位置するように
なる。この状態がマニピュレータの初期姿勢である。
【０００９】上記のように、初期姿勢においてショルダ
部２２の内側にリスト部２４が位置するようになってい
るので、果実収穫ロボット１に対して近くに位置する果
実も収穫することできる。また、走行時に関節型アーム
１４やハンド部１５が栽培植物に接触することがなく、
栽培植物の損傷を防止できる。さらに、慣性モーメント
が小さくなるので、本体部１３を旋回させるための後記
モータ２６を小型にできるという利点もある。
部２２の内側にリスト部２４が位置するようになってい
るので、果実収穫ロボット１に対して近くに位置する果
実も収穫することできる。また、走行時に関節型アーム
１４やハンド部１５が栽培植物に接触することがなく、
栽培植物の損傷を防止できる。さらに、慣性モーメント
が小さくなるので、本体部１３を旋回させるための後記
モータ２６を小型にできるという利点もある。
【００１０】マニピュレータ３は以上のように構成され
ており、ガイドレール１１に沿って基台１２を昇降させ
ることによりハンド部１５の上下方向（Ｚ軸方向）の高
さを調整し、基台１２上でＺ軸を中心として本体部１３
を水平面内で回動させることによりハンド部１５の左右
方向（Ｙ軸方向）の角度を調整し、また関節型アーム１
４を伸縮させることによりハンド部１５の前後方向（Ｘ
軸方向）の距離を調整する。すなわち、マニピュレータ
３はハンド部１５の位置を３次元方向に調節可能となっ
ている。図中符号２５は基台昇降用モータ、２６は本体
部旋回用モータ、２７はショルダ部用モータ、２８はエ
ルボ部用モータ、２９はリスト部用モータである。
ており、ガイドレール１１に沿って基台１２を昇降させ
ることによりハンド部１５の上下方向（Ｚ軸方向）の高
さを調整し、基台１２上でＺ軸を中心として本体部１３
を水平面内で回動させることによりハンド部１５の左右
方向（Ｙ軸方向）の角度を調整し、また関節型アーム１
４を伸縮させることによりハンド部１５の前後方向（Ｘ
軸方向）の距離を調整する。すなわち、マニピュレータ
３はハンド部１５の位置を３次元方向に調節可能となっ
ている。図中符号２５は基台昇降用モータ、２６は本体
部旋回用モータ、２７はショルダ部用モータ、２８はエ
ルボ部用モータ、２９はリスト部用モータである。
【００１１】ハンド１５部は、図５乃至図１３に示すよ
うに、各々左右一対の把握部３１，（Ｌ，Ｒ）、果柄位
置検出部３２（Ｌ，Ｒ）およびカッタ３３（Ｌ，Ｒ）を
有する。ハンド部１５全体はローリング軸３５を中心と
してローリングできるようになっている。図中符号３６
がそのローリング駆動用モータである。
うに、各々左右一対の把握部３１，（Ｌ，Ｒ）、果柄位
置検出部３２（Ｌ，Ｒ）およびカッタ３３（Ｌ，Ｒ）を
有する。ハンド部１５全体はローリング軸３５を中心と
してローリングできるようになっている。図中符号３６
がそのローリング駆動用モータである。
【００１２】把握部３１（Ｌ，Ｒ）は、きゅうりを両側
から挟み付けて把握するのに適した形状に成形され、そ
の把握面にゴム性のクッション材４４，４４が貼着され
ている。左右の把握部３１（Ｌ，Ｒ）はそれぞれガイド
棒４０（Ｌ，Ｒ）に沿って左右に摺動自在に支持されて
おり、基部に取り付けたラック４１（Ｌ，Ｒ）に噛合す
るピニオン４２をモータ４３で駆動することにより互い
に接近または離反するようになっている。
から挟み付けて把握するのに適した形状に成形され、そ
の把握面にゴム性のクッション材４４，４４が貼着され
ている。左右の把握部３１（Ｌ，Ｒ）はそれぞれガイド
棒４０（Ｌ，Ｒ）に沿って左右に摺動自在に支持されて
おり、基部に取り付けたラック４１（Ｌ，Ｒ）に噛合す
るピニオン４２をモータ４３で駆動することにより互い
に接近または離反するようになっている。
【００１３】果柄位置検出部３２（Ｌ，Ｒ）は互いに対
向して配置された板状の部材であり、ガイド棒４６
（Ｌ，Ｒ）に沿って左右に摺動自在に支持されており、
スプリング４７（Ｌ，Ｒ）によって互いに接近する方向
（内向き）に付勢されている。果柄位置検出部３２
（Ｌ，Ｒ）の開き動作は後述する如く把握部３１（Ｌ，
Ｒ）の動作に付随して行われ、閉じ動作は前記スプリン
グ４７（Ｌ，Ｒ）の力によって行われる。このように構
成することにより、ハンド部１５内のアクチュエータを
１つ減らすことができ、ハンド部１５の小型軽量化が図
れる。左右の果柄位置検出部３２（Ｌ，Ｒ）を果実や果
柄の外面部に当てがい、そのときの開度から果柄を検出
する。開度の計測は、一方の果柄位置検出部３２（Ｌ）
のスライド量をポテンションメータ４８で検出して行
う。
向して配置された板状の部材であり、ガイド棒４６
（Ｌ，Ｒ）に沿って左右に摺動自在に支持されており、
スプリング４７（Ｌ，Ｒ）によって互いに接近する方向
（内向き）に付勢されている。果柄位置検出部３２
（Ｌ，Ｒ）の開き動作は後述する如く把握部３１（Ｌ，
Ｒ）の動作に付随して行われ、閉じ動作は前記スプリン
グ４７（Ｌ，Ｒ）の力によって行われる。このように構
成することにより、ハンド部１５内のアクチュエータを
１つ減らすことができ、ハンド部１５の小型軽量化が図
れる。左右の果柄位置検出部３２（Ｌ，Ｒ）を果実や果
柄の外面部に当てがい、そのときの開度から果柄を検出
する。開度の計測は、一方の果柄位置検出部３２（Ｌ）
のスライド量をポテンションメータ４８で検出して行
う。
【００１４】カッタ部３３（Ｌ，Ｒ）は、一方（Ｒ）は
内端部が鋭利に形成された刃体、他方（Ｌ）は反対側か
ら果柄を受け止める支持体として形成されている。両カ
ッタ部３３（Ｌ，Ｒ）はそれぞれガイド棒５０（Ｌ，
Ｒ）に沿って左右に摺動自在に支持されており、その基
部がねじ軸５１のねじ部５２（Ｌ，Ｒ）に螺合してい
る。ねじ部５２（Ｌ，Ｒ）は互いに逆向きにねじが切ら
れており、モータ５３でこのねじ軸５１を回転させるこ
とにより、左右のカッタ３３（Ｌ，Ｒ）が左右方向に駆
動される。
内端部が鋭利に形成された刃体、他方（Ｌ）は反対側か
ら果柄を受け止める支持体として形成されている。両カ
ッタ部３３（Ｌ，Ｒ）はそれぞれガイド棒５０（Ｌ，
Ｒ）に沿って左右に摺動自在に支持されており、その基
部がねじ軸５１のねじ部５２（Ｌ，Ｒ）に螺合してい
る。ねじ部５２（Ｌ，Ｒ）は互いに逆向きにねじが切ら
れており、モータ５３でこのねじ軸５１を回転させるこ
とにより、左右のカッタ３３（Ｌ，Ｒ）が左右方向に駆
動される。
【００１５】また、果柄位置検出部３２（Ｌ，Ｒ）およ
びカッタ部３３（Ｌ，Ｒ）は共通の取付枠５５に取り付
けられており、この取付枠５５ごと上下動可能となって
いる。上下動の範囲は最大で３０mm程度である。上下動
機構の構造は、取付枠５５をガイド棒５６に上下に摺動
自在に支持させ、かつ取付枠５５に形成したねじ穴５７
にねじ軸５８を螺合させ、モータ５９でねじ軸５８を回
転させるようになっている。
びカッタ部３３（Ｌ，Ｒ）は共通の取付枠５５に取り付
けられており、この取付枠５５ごと上下動可能となって
いる。上下動の範囲は最大で３０mm程度である。上下動
機構の構造は、取付枠５５をガイド棒５６に上下に摺動
自在に支持させ、かつ取付枠５５に形成したねじ穴５７
にねじ軸５８を螺合させ、モータ５９でねじ軸５８を回
転させるようになっている。
【００１６】視覚装置５は、図１４のブロック図に示す
如く、緑色の色相成分だけを撮像するイメージセンサカ
メラ（ＣＣＤ）６０と、所定の範囲内を垂直および水平
に走査して対象物までの距離を測定する距離センサ（Ｐ
ＳＤ）６１と、対象物に光を照射するストロボ６２と、
前記ＣＣＤ６０およびＰＳＤ６１からの入力信号を分析
して処理するＣＰＵ６３とを備えてなる。ＣＣＤ６０は
マニピュレータ本体部１３の上部に設けられており、レ
ンズの中心が初期状態にあるハンド部１５の基準点（中
心）と一致させてある。ＰＳＤ６１は、ＣＣＤ６０と同
一高さに設けられ、走査範囲の中心がＺ軸を中心として
ＣＣＤ６０に対し９０度の位置になるよう横向きになっ
ている。また、ＣＰＵ６３は本体部１３に内蔵されてい
る。
如く、緑色の色相成分だけを撮像するイメージセンサカ
メラ（ＣＣＤ）６０と、所定の範囲内を垂直および水平
に走査して対象物までの距離を測定する距離センサ（Ｐ
ＳＤ）６１と、対象物に光を照射するストロボ６２と、
前記ＣＣＤ６０およびＰＳＤ６１からの入力信号を分析
して処理するＣＰＵ６３とを備えてなる。ＣＣＤ６０は
マニピュレータ本体部１３の上部に設けられており、レ
ンズの中心が初期状態にあるハンド部１５の基準点（中
心）と一致させてある。ＰＳＤ６１は、ＣＣＤ６０と同
一高さに設けられ、走査範囲の中心がＺ軸を中心として
ＣＣＤ６０に対し９０度の位置になるよう横向きになっ
ている。また、ＣＰＵ６３は本体部１３に内蔵されてい
る。
【００１７】距離センサ（ＰＳＤ）６１は、図１５に示
す構成となっている。投光器６４から発せられた光を反
射鏡６５で反射させて対象物６６に照射し、その反射光
を反射鏡６７で反射させて受光器６８に受光させる。反
射鏡４１，４３の距離は一定であるから、三角測量の原
理に基づいて対象物６６までの距離が計測される。反射
鏡６５，６８の角度をステッピングモータＭ1 ，Ｍ2 に
変えることにより水平走査を行い、ステッピングモータ
Ｍ3 でケース６９全体を回動させることにより垂直走査
を行う。
す構成となっている。投光器６４から発せられた光を反
射鏡６５で反射させて対象物６６に照射し、その反射光
を反射鏡６７で反射させて受光器６８に受光させる。反
射鏡４１，４３の距離は一定であるから、三角測量の原
理に基づいて対象物６６までの距離が計測される。反射
鏡６５，６８の角度をステッピングモータＭ1 ，Ｍ2 に
変えることにより水平走査を行い、ステッピングモータ
Ｍ3 でケース６９全体を回動させることにより垂直走査
を行う。
【００１８】視覚装置５による収穫物の探索は図１６の
フローチャートに示す順序で行う。すなわち、対象植物
に本体部１３を正対させてＣＣＤ６０で対象物を撮像す
ると共に、その状態から本体部１３を９０度回転させて
ＰＳＤ６１で対象物までの距離を測定する。ＣＣＤ入力
画像が図１７であるとし、そのａ−ａ線上の画素の輝度
分布が図１８のようであるとした場合、輝度が２値化レ
ベル以上の画素（図１８において斜線で示す部分）を
「１」、２値化レベル以下の画素を「０」として処理
し、図１９に示す処理画面を得る。このとき、ＣＣＤ入
力画像をＰＳＤ６１の測定結果に基づいてＣＰＵ６３で
分析し、果実とそれに重なり合った葉等を識別すること
は従来の方法と同様である。そして、この処理画面上に
おける対象物のたて長・よこ幅の比を求め、その比が規
定範囲内であれば対象物をきゅうりであると判定する。
なお、基準のたて長は２０cm、よこ幅は２．２cmであ
る。つぎに、ＰＳＤ６１の測定結果に基づいて画像中の
きゅうりの中心座標を求め、それに合わせてマニピュレ
ータ３を作動させる。
フローチャートに示す順序で行う。すなわち、対象植物
に本体部１３を正対させてＣＣＤ６０で対象物を撮像す
ると共に、その状態から本体部１３を９０度回転させて
ＰＳＤ６１で対象物までの距離を測定する。ＣＣＤ入力
画像が図１７であるとし、そのａ−ａ線上の画素の輝度
分布が図１８のようであるとした場合、輝度が２値化レ
ベル以上の画素（図１８において斜線で示す部分）を
「１」、２値化レベル以下の画素を「０」として処理
し、図１９に示す処理画面を得る。このとき、ＣＣＤ入
力画像をＰＳＤ６１の測定結果に基づいてＣＰＵ６３で
分析し、果実とそれに重なり合った葉等を識別すること
は従来の方法と同様である。そして、この処理画面上に
おける対象物のたて長・よこ幅の比を求め、その比が規
定範囲内であれば対象物をきゅうりであると判定する。
なお、基準のたて長は２０cm、よこ幅は２．２cmであ
る。つぎに、ＰＳＤ６１の測定結果に基づいて画像中の
きゅうりの中心座標を求め、それに合わせてマニピュレ
ータ３を作動させる。
【００１９】ＣＣＤ６０の画像とＰＳＤ６１の計測結果
は全く同一対象についてのものであるから、修正処理を
施すことなくそのままのデータをＣＰＵ６３で分析処理
することができる。また、こうして得られた処理画像の
中心は初期状態にあるハンド部１５の中心と一致してい
るので、処理画像の位置データをマニピュレータ３の目
標位置データとしてそのまま利用することができる
は全く同一対象についてのものであるから、修正処理を
施すことなくそのままのデータをＣＰＵ６３で分析処理
することができる。また、こうして得られた処理画像の
中心は初期状態にあるハンド部１５の中心と一致してい
るので、処理画像の位置データをマニピュレータ３の目
標位置データとしてそのまま利用することができる
【００２０】次に、図２０のフローチャートに基づい
て、果実収穫ロボット１の動作を説明する。作業を開始
するに際してはマニピュレータ３を初期姿勢に保持し、
栽培植物の並びに沿って走行部２で前記ＣＣＤ６０の１
画面幅分づつ移動しながら、前記視覚装置５の探索手順
にしたがって収穫物を探索する。収穫可能な果実を見つ
け出すと、ショルダ部２２、エルボ部２３、リスト部２
４を適当に作動させてハンド部１５を対象果実に接近さ
せる。そして、ハンド部１５を次の順に作動させて対象
果実を摘果する。
て、果実収穫ロボット１の動作を説明する。作業を開始
するに際してはマニピュレータ３を初期姿勢に保持し、
栽培植物の並びに沿って走行部２で前記ＣＣＤ６０の１
画面幅分づつ移動しながら、前記視覚装置５の探索手順
にしたがって収穫物を探索する。収穫可能な果実を見つ
け出すと、ショルダ部２２、エルボ部２３、リスト部２
４を適当に作動させてハンド部１５を対象果実に接近さ
せる。そして、ハンド部１５を次の順に作動させて対象
果実を摘果する。
【００２１】初期状態では、把握部３１，３１および果
柄位置検出部３２，３２が共に閉じている。まず、把握
部３１，３１が開く。把握部３１，３１の係合片３１
ａ，３１ａが果柄位置検出部３２，３２の係合片３２
ａ，３２ａの内側に係合しているので、係合片果柄位置
検出部３２，３２も開く。把握部３１，３１の内側に果
実が位置するようになると、把握部３１，３１が閉じて
果実を把握する。把握面にクッション材４４，４４を貼
着されているので、把握部ときゅうりが弾性的に接触
し、果実を傷つけることが少なく、しかも両者の接触面
積が広くなり、きゅうりを把握する上で好都合である。
続いて、果柄位置検出部３２，３２とカッタ３３，３３
が上動する。係合片３１ａ，３１ａと係合片３２ａ，３
２ａの係合が外れるので、スプリング４７，４７の力に
よって果柄位置検出部３２，３２は果実の外周面に押し
付けられ、ハンド部１５の上昇にともない果柄位置検出
部３２，３２は果実の外周に沿って移動する。果柄位置
検出部３２，３２が果柄を検出すると、カッタ３３，３
３が作動して果柄を切断する。両果柄位置検出部３２
（Ｌ，Ｒ）はスプリング４７（Ｌ，Ｒ）によって接近す
る方向に付勢されているので、確実に果実や果柄の外面
部に接触し、正確な検出結果が得られる。
柄位置検出部３２，３２が共に閉じている。まず、把握
部３１，３１が開く。把握部３１，３１の係合片３１
ａ，３１ａが果柄位置検出部３２，３２の係合片３２
ａ，３２ａの内側に係合しているので、係合片果柄位置
検出部３２，３２も開く。把握部３１，３１の内側に果
実が位置するようになると、把握部３１，３１が閉じて
果実を把握する。把握面にクッション材４４，４４を貼
着されているので、把握部ときゅうりが弾性的に接触
し、果実を傷つけることが少なく、しかも両者の接触面
積が広くなり、きゅうりを把握する上で好都合である。
続いて、果柄位置検出部３２，３２とカッタ３３，３３
が上動する。係合片３１ａ，３１ａと係合片３２ａ，３
２ａの係合が外れるので、スプリング４７，４７の力に
よって果柄位置検出部３２，３２は果実の外周面に押し
付けられ、ハンド部１５の上昇にともない果柄位置検出
部３２，３２は果実の外周に沿って移動する。果柄位置
検出部３２，３２が果柄を検出すると、カッタ３３，３
３が作動して果柄を切断する。両果柄位置検出部３２
（Ｌ，Ｒ）はスプリング４７（Ｌ，Ｒ）によって接近す
る方向に付勢されているので、確実に果実や果柄の外面
部に接触し、正確な検出結果が得られる。
【００２２】図２１に示すように、便宜上きゅうりの果
実を果基部Ａ、中央部Ｂ、果頂部Ｃに３分割し、各部ご
とに表面圧縮力と表面変位の関係を実験により調べてみ
た結果、中央部Ｂおよび果頂部Ｃでは１cm2 当たりの圧
縮力が３〜４Ｎになると永久歪みが生じるが、果基部Ａ
では１cm2 当たりの圧縮力が約１０Ｎ程度まで耐え得る
ことがわかった（図２２参照）。これは、果基部Ａには
種子がないので硬いからである。そこで、把握部３１，
３１で果実の果基部Ａを把握することとし、その把握力
が６Ｎ程度となるようモータの駆動力を設定するのが良
い。把握力が６Ｎの場合、接触面積と摩擦係数との関係
から１kg程度の果実を把持することができる。きゅうり
の重量は平均で２００ｇ程度であるから、ほとんどのき
ゅうりを確実に把握することができる。
実を果基部Ａ、中央部Ｂ、果頂部Ｃに３分割し、各部ご
とに表面圧縮力と表面変位の関係を実験により調べてみ
た結果、中央部Ｂおよび果頂部Ｃでは１cm2 当たりの圧
縮力が３〜４Ｎになると永久歪みが生じるが、果基部Ａ
では１cm2 当たりの圧縮力が約１０Ｎ程度まで耐え得る
ことがわかった（図２２参照）。これは、果基部Ａには
種子がないので硬いからである。そこで、把握部３１，
３１で果実の果基部Ａを把握することとし、その把握力
が６Ｎ程度となるようモータの駆動力を設定するのが良
い。把握力が６Ｎの場合、接触面積と摩擦係数との関係
から１kg程度の果実を把持することができる。きゅうり
の重量は平均で２００ｇ程度であるから、ほとんどのき
ゅうりを確実に把握することができる。
【００２３】果実貯蔵部６には各サイズごとの出荷用ダ
ンボール箱７０（Ｌ，Ｍ，Ｓ）が取り付けられる。図示
例では、上段がＬサイズ用、中断がＭサイズ用、下段が
Ｓサイズ用となっている。視覚装置５で収穫物を識別す
る際にそのきゅうりの形状、長さ、太さを判別し、それ
によって上記３種のサイズに選別する。そして、収穫し
たきゅうりを選別したサイズに応じて各ダンボール箱に
分別収納する。すなわち、この果実収穫ロボットは、図
２３に示す収穫から出荷までの工程中、収穫から箱詰ま
での工程を自動的に１台で行うのである。これにより、
人手による選果、箱詰作業をなくすことができ、作業能
率が大幅に向上する。
ンボール箱７０（Ｌ，Ｍ，Ｓ）が取り付けられる。図示
例では、上段がＬサイズ用、中断がＭサイズ用、下段が
Ｓサイズ用となっている。視覚装置５で収穫物を識別す
る際にそのきゅうりの形状、長さ、太さを判別し、それ
によって上記３種のサイズに選別する。そして、収穫し
たきゅうりを選別したサイズに応じて各ダンボール箱に
分別収納する。すなわち、この果実収穫ロボットは、図
２３に示す収穫から出荷までの工程中、収穫から箱詰ま
での工程を自動的に１台で行うのである。これにより、
人手による選果、箱詰作業をなくすことができ、作業能
率が大幅に向上する。
【００２４】なお、図２に示すように、出荷用ダンボー
ル箱を複数段積載できる収穫物運搬用ロボット７１を別
に設け、この収穫物運搬用ロボット７１を果実収穫ロボ
ット１の後を追随させるようにすれば、１度の収穫作業
でより多くのきゅうりを収穫することができ、さらに能
率的である。
ル箱を複数段積載できる収穫物運搬用ロボット７１を別
に設け、この収穫物運搬用ロボット７１を果実収穫ロボ
ット１の後を追随させるようにすれば、１度の収穫作業
でより多くのきゅうりを収穫することができ、さらに能
率的である。
【００２５】栽培植物の支持体には図２４に示す支持ネ
ットを使用する。この支持ネット７３は、金属または樹
脂製の細い棒７４，…を等間隔（７cm程度）で縦に配
し、その上端および下端を紐７５，７５で結んで連結し
てある。このような横桟がない支持体を用いると、果実
が横桟に引っかかることがないので、果実が重力にした
がって自然に垂下した状態となり、良好な成育状況が得
られる。また、縦棒が等間隔で並んでいるので、主茎７
６の支持と共にわき芽７７，…の誘引が可能となり、管
理が簡単になる。
ットを使用する。この支持ネット７３は、金属または樹
脂製の細い棒７４，…を等間隔（７cm程度）で縦に配
し、その上端および下端を紐７５，７５で結んで連結し
てある。このような横桟がない支持体を用いると、果実
が横桟に引っかかることがないので、果実が重力にした
がって自然に垂下した状態となり、良好な成育状況が得
られる。また、縦棒が等間隔で並んでいるので、主茎７
６の支持と共にわき芽７７，…の誘引が可能となり、管
理が簡単になる。
【００２６】なお、図２５および図２６に示すように、
ＣＣＤ６０とＰＳＤ６１を平面視同位置に上下に並設
し、基板１２を昇降させてＣＣＤ６０の画像中心とＰＳ
Ｄ６１の走査中心を合致させるようにしてもよい。
ＣＣＤ６０とＰＳＤ６１を平面視同位置に上下に並設
し、基板１２を昇降させてＣＣＤ６０の画像中心とＰＳ
Ｄ６１の走査中心を合致させるようにしてもよい。
【００２７】
【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットは、カメラの撮像中心と距離センサの走
査範囲の中心の位置合わせ、および処理画像の中心とハ
ンド部の基準点の位置合わせに際して、入力データに修
正処理を施す必要がないので、処理が簡単であると共
に、果実の位置検出における誤差を小さくすることがで
きるようになった。
実収穫ロボットは、カメラの撮像中心と距離センサの走
査範囲の中心の位置合わせ、および処理画像の中心とハ
ンド部の基準点の位置合わせに際して、入力データに修
正処理を施す必要がないので、処理が簡単であると共
に、果実の位置検出における誤差を小さくすることがで
きるようになった。
【図１】果実収穫ロボットの使用状態を示す正面図であ
る。
る。
【図２】果実収穫ロボットの側面図である。
【図３】マニピュレータの側面図である。
【図４】マニピュレータの平面図である。
【図５】ハンド部の外形側面図である。
【図６】ハンド部の外形平面図である。
【図７】主として把握部を中心にあらわしたハンド部の
側面図である。
側面図である。
【図８】主として把握部を中心にあらわしたハンド部の
平面図である。
平面図である。
【図９】主として果柄位置検出部を中心にあらわしたハ
ンド部の側面図である。
ンド部の側面図である。
【図１０】主として果柄位置検出部を中心にあらわした
ハンド部の平面図である。
ハンド部の平面図である。
【図１１】主としてカッタ部を中心にあらわしたハンド
部の側面図である。
部の側面図である。
【図１２】主としてカッタ部を中心にあらわしたハンド
部の平面図である。
部の平面図である。
【図１３】主として果柄位置検出部とカッタ部の上下動
機構を中心にあらわしたハンド部の側面図である。
機構を中心にあらわしたハンド部の側面図である。
【図１４】視覚装置のブロック図である。
【図１５】距離センサの説明図である。
【図１６】視覚装置の制御をあらわすフローチャートで
ある。
ある。
【図１７】カメラ入力画像を示す図である。
【図１８】輝度分布を示す図である。
【図１９】処理画像を示す図である。
【図２０】果実収穫ロボットの動作をあらわすフローチ
ャートである。
ャートである。
【図２１】きゅうりの部位を表示する説明図である。
【図２２】きゅうり果実の物性を測定する実験結果の図
である。
である。
【図２３】収穫から出荷までの工程のフローチャートで
ある。
ある。
【図２４】支持ネットの図である。
【図２５】異なる果実収穫ロボットの正面図である。
【図２６】図２５に示す果実収穫ロボットの平面図であ
る。
る。
１ 果実収穫ロボット ３ マニピュレータ ５ 視覚装置 １５ ハンド部 ６０ イメージセンサカメラ ６１ 距離センサ
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) A01D 46/24 A01D 46/00 B25J 13/08
Claims (1)
- 【請求項１】 摘果用ハンド部を３次元方向に移動させ
得るマニピュレータと、果実を検出する視覚装置とを有
する果実収穫ロボットであって、前記視覚装置は、対象
物を撮像するカメラと、一定範囲内を垂直および水平に
走査して対象物までの距離を測定する距離センサとを備
え、前記カメラの画像を前記距離センサの測定結果に基
づいて分析することにより、果実とそれに重なり合った
葉等の異物とが識別された処理画像を得るように構成す
るとともに、前記マニピュレータにおける１つの可動部
を作動させるだけで前記カメラの画像の中心と前記距離
センサの走査範囲の中心を合致できるように当該カメラ
と距離センサを配置し、前記処理画像の中心がマニピュ
レータ初期姿勢における前記ハンド部の基準点と一致す
るようにしたことを特徴とする果実収穫ロボット。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35472291A JP3277529B2 (ja) | 1991-12-18 | 1991-12-18 | 果実収穫ロボット |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35472291A JP3277529B2 (ja) | 1991-12-18 | 1991-12-18 | 果実収穫ロボット |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05168332A JPH05168332A (ja) | 1993-07-02 |
| JP3277529B2 true JP3277529B2 (ja) | 2002-04-22 |
Family
ID=18439465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35472291A Expired - Fee Related JP3277529B2 (ja) | 1991-12-18 | 1991-12-18 | 果実収穫ロボット |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3277529B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101386397B1 (ko) * | 2013-01-02 | 2014-04-17 | 군산대학교산학협력단 | 콤바인의 동작 제어 장치 및 그 방법 |
| US9804604B2 (en) | 2013-08-16 | 2017-10-31 | Husqvarna Ab | Intelligent grounds management system integrating robotic rover |
| EP3373203A1 (en) * | 2017-03-09 | 2018-09-12 | Panasonic Corporation | Equipment of localization of peduncle and method of localization of peduncle |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3503207B2 (ja) * | 1994-08-19 | 2004-03-02 | 井関農機株式会社 | 収穫ロボットの果実識別装置 |
| JP5023259B2 (ja) * | 2007-11-30 | 2012-09-12 | 長崎県 | アスパラガス切断可否自動判定装置 |
| KR101013540B1 (ko) * | 2008-12-29 | 2011-02-14 | 한국생산기술연구원 | 로봇 핸드의 물체 접근 방법 |
| KR101249355B1 (ko) * | 2013-01-24 | 2013-04-03 | 경북대학교 산학협력단 | 참외 수확로봇용 핸더 |
| KR102133716B1 (ko) * | 2018-06-21 | 2020-07-14 | 박재언 | 커팅과 그랩을 동시에 수행하는 엔드 이펙터 |
| CN110692355B (zh) * | 2019-11-21 | 2021-02-19 | 江西理工大学 | 一种剑麻叶片自动采割收集装置 |
| JP7528813B2 (ja) | 2021-02-16 | 2024-08-06 | トヨタ自動車株式会社 | 搬送システム及び搬送方法 |
| CN113771060A (zh) * | 2021-09-27 | 2021-12-10 | 季华实验室 | 一种夹持机构及多果快速采摘机器人 |
| CN114097424B (zh) * | 2021-12-02 | 2023-08-15 | 南通科技职业学院 | 一种防苹果损伤的快速采摘装置及其方法 |
| CN115226489B (zh) * | 2022-08-31 | 2023-09-15 | 安徽理工大学 | 一种安全便捷的榴莲采摘运输机 |
-
1991
- 1991-12-18 JP JP35472291A patent/JP3277529B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101386397B1 (ko) * | 2013-01-02 | 2014-04-17 | 군산대학교산학협력단 | 콤바인의 동작 제어 장치 및 그 방법 |
| US9804604B2 (en) | 2013-08-16 | 2017-10-31 | Husqvarna Ab | Intelligent grounds management system integrating robotic rover |
| EP3373203A1 (en) * | 2017-03-09 | 2018-09-12 | Panasonic Corporation | Equipment of localization of peduncle and method of localization of peduncle |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05168332A (ja) | 1993-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3277529B2 (ja) | 果実収穫ロボット | |
| US4532757A (en) | Robotic fruit harvester | |
| Li et al. | Review on fruit harvesting method for potential use of automatic fruit harvesting systems | |
| US4843561A (en) | Apparatus for locating and manipulating agricultural products | |
| US10542672B2 (en) | Harvester and method for leafy plants | |
| JP3131993B2 (ja) | 果菜類収穫機等の視覚装置 | |
| US20060150602A1 (en) | Method and apparatus for remotely assisted harvester | |
| Hannan et al. | Current developments in automated citrus harvesting | |
| FR2531604A1 (fr) | Appareil a recolter les fruits susceptible d'etre applique a une large variete de fruits | |
| Hayashi et al. | Field operation of a movable strawberry-harvesting robot using a travel platform | |
| US8033087B2 (en) | Apparatus for picking mushrooms | |
| US20110022231A1 (en) | Apparatuses, Systems and Methods for Automated Crop Picking | |
| JPH06508755A (ja) | キノコの自動選別収穫装置 | |
| JP2012110256A (ja) | 果柄切断装置 | |
| Mu et al. | Design of end-effector for kiwifruit harvesting robot experiment | |
| Hayashi et al. | Gentle handling of strawberries using a suction device | |
| JP2024505669A (ja) | ガントリーシステムを備えたロボット収穫システム | |
| Yin et al. | Development, integration, and field evaluation of an autonomous citrus‐harvesting robot | |
| JP7174217B2 (ja) | 果菜収穫装置 | |
| JP2020174546A (ja) | 収穫方法及び果菜収穫装置 | |
| JP3139074B2 (ja) | 果実収穫ロボット等の視覚装置 | |
| JPH05168333A (ja) | 果実収穫ロボツト | |
| KR102642313B1 (ko) | 수확 로봇 학습용 영상 취득 장치 | |
| KR101191100B1 (ko) | 참외 수확용 엔드 이펙터 | |
| JPH05174131A (ja) | 果実収穫ロボツトの視覚装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |