JPH05168333A

JPH05168333A - 果実収穫ロボツト

Info

Publication number: JPH05168333A
Application number: JP35515391A
Authority: JP
Inventors: Hiroshi Nagai; 博長井; Seiichi Arima; 誠一有馬
Original assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Current assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Priority date: 1991-12-19
Filing date: 1991-12-19
Publication date: 1993-07-02

Abstract

(57)【要約】【目的】摘果用ハンド部が移動中に対象果実の位置が
ずれた場合でも、ハンド部を的確に対象果実の位置まで
移動させるようにする。【構成】対象果実を撮像するカメラと、果実を摘果す
るハンド部と、前記カメラの入力画像から得られる情報
に基づいて前記ハンド部を移動させる移動手段と備えた
果実収穫ロボットにおいて、少なくともハンド部を対象
果実に接近させる方向に移動手段を作動中はカメラ入力
を継続し、カメラ画像における対象果実の中心位置の変
化に応じて移動手段のハンド部移動出力を修正するよう
制御する制御装置を設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、収穫可能な果実を自動
的に収穫する果実収穫ロボットに関するものである。

【０００２】

【従来の技術】栽培作物の植付条に沿って自走しつつ、
視覚装置で収穫可能な成熟した果実を見つけ出し、摘果
用ハンド部を有するマニピュレータでこれを自動的に収
穫するようにした果実収穫ロボットが開発されている。
この種の果実収穫ロボットは、ハンド部が初期位置にあ
る状態でカメラで対象物に撮像し、そのときの画像入力
データに基づきハンド部を果実に接近させるようマニピ
ュレータを作動させていた。

【０００３】

【発明が解決しようとする課題】しかしながら、ハンド
部が初期位置から対象果実まで移動するのに若干の時間
を要するため、この間に風などで栽培植物の樹体が揺れ
るとハンド部の到達位置と実際の果実の位置とにずれが
生じることがある。また、ハンド部が移動中にハンド部
やムニピュレータの一部が茎、葉等に接触した場合にも
同様のことが起きる。

【０００４】

【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットは、対象果実を撮像するカメ
ラと、果実を摘果するハンド部と、前記カメラの入力画
像から得られる情報に基づいて前記ハンド部を移動させ
る移動手段と備えた果実収穫ロボットにおいて、少なく
ともハンド部を対象果実に接近させる方向に移動手段を
作動中はカメラ入力を継続し、カメラ画像における対象
果実の中心位置の変化に応じて移動手段のハンド部移動
出力を修正するよう制御する制御装置を設けたことを特
徴としている。

【０００５】

【作用】ハンド部が対象果実に接近中はカメラ入力を継
続し、カメラ画像中における対象果実の中心位置の変化
に応じて移動手段のハンド部移動出力を修正するので、
ハンド部が移動中に対象果実の位置がずれた場合でも、
ハンド部を的確に対象果実の位置まで移動させることが
できる。

【０００６】

【実施例】図１および図２はきゅうり用果実収穫ロボッ
トの使用状態をあらわしている。この果実収穫ロボット
１は、移動手段として電動式の走行部２を備え、該走行
部の上に果実収穫用のマニピュレータ３、収穫物探索用
の視覚装置５、果実貯蔵部６等を設置してなる。この果
実収穫ロボット１が使用される栽培場では、斜めに立設
した支持体７に沿わせて栽培植物８を栽培している。

【０００７】マニピュレータ３は、図３および図４に示
すように、対面する栽培植物の傾斜とほぼ平行になるよ
う傾斜させた傾斜枠１０と、該傾斜枠のガイドレール１
１に沿って昇降自在に取り付けた基台１２と、該基台の
上に水平面内で回動自在に設けた本体部１３と、該本体
部に設けた関節型アーム１４と、該関節型アームの先端
に設けた摘果用ハンド部１５とからなる。傾斜枠１０
は、ヒンジ１６にて走行台車２に枢支され、背面側を支
持リンク１７で支えられている。支持リンク１７の下端
部は長穴１８の適所に止着するようになっており、その
止着位置を変えることにより傾斜枠１０の傾斜角度を任
意に調節することができる。傾斜枠１０の傾斜度は前記
支持体７の傾斜度と同じにしておくのがよい。

【０００８】関節型アーム１４は、本体部側の上腕部２
０とハンド部側の前腕部２１とからなり、人の腕と同様
に、ショルダ部２２を中心として上腕部２０が上下に回
動、エルボ部２３を支点として全体が屈伸、リスト部２
４中心としてハンド部１５が上下に回動するようになっ
ている。関節型アーム１４を屈曲させたとき、エルボ部
２３が下側にくるように折れ曲がる。上腕部２０および
前腕部２１は、所定間隔を開けて２枚の板材２６，２
６，２７，２７を対面させて形成されており、関節型ア
ーム１４を最大に屈曲させたとき、図３において２点鎖
線で示す如く、上腕部２０と前腕部２１が重なり合い、
ショルダ部２２の内側にリスト部２４が位置するように
なる。この状態がマニピュレータの初期姿勢である。

【０００９】ガイドレール１１に沿って基台１２を昇降
させることによりハンド部１５の上下方向（Ｚ軸方向）
の高さを調整し、基台１２上でＺ軸を中心として本体部
１３を水平面内で回動させることによりハンド部１５の
左右方向（Ｙ軸方向）の角度を調整し、また関節型アー
ム１４を伸縮させることによりハンド部１５の前後方向
（Ｘ軸方向）の距離を調整する。すなわち、マニピュレ
ータ３はハンド部１５の位置を３次元方向に調節可能と
なっている。図中符号２５は基台昇降用モータ、２６は
本体部旋回用モータ、２７はショルダ部用モータ、２８
はエルボ部用モータ、２９はリスト部用モータである。

【００１０】ハンド１５部は、図５乃至図１３に示すよ
うに、各々左右一対の把握部３１，（Ｌ，Ｒ）、果柄位
置検出部３２（Ｌ，Ｒ）およびカッタ３３（Ｌ，Ｒ）を
有する。ハンド部１５全体はローリング軸３５を中心と
してローリングできるようになっている。図中符号３６
がそのローリング駆動用モータである。

【００１１】把握部３１（Ｌ，Ｒ）は、把握部３１はき
ゅうりを両側から挟み付けて把握するのに適した形状に
成形され、その把握面にゴム性のクッション材４４，４
４が貼着されている。左右の把握部３１（Ｌ，Ｒ）はそ
れぞれガイド棒４０（Ｌ，Ｒ）に沿って左右に摺動自在
に支持されており、基部に取り付けたラック４１（Ｌ，
Ｒ）に噛合するピニオン４２をモータ４３で駆動するこ
とにより互いに接近または離反するようになっている。

【００１２】果柄位置検出部３２（Ｌ，Ｒ）は互いに対
向して配置された板状の部材であり、ガイド棒４６
（Ｌ，Ｒ）に沿って左右に摺動自在に支持されており、
スプリング４７（Ｌ，Ｒ）よって互いに接近する方向
（内向き）に付勢されている。果柄位置検出部３２
（Ｌ，Ｒ）の開き動作は後述する如く把握部３１（Ｌ，
Ｒ）の動作に付随して行われ、閉じ動作は前記スプリン
グ４７（Ｌ，Ｒ）の力によって行われる。左右の果柄位
置検出部３２（Ｌ，Ｒ）を果実や果柄の外面部に当てが
い、そのときの開度から果柄を検出する。開度の計測
は、一方の果柄位置検出部３２（Ｌ）のスライド量をポ
テンションメータ４８で検出して行う。

【００１３】カッタ部３３（Ｌ，Ｒ）は、一方（Ｒ）は
内端部が鋭利に形成された刃体、他方（Ｌ）は反対側か
ら果柄を受け止める支持体として形成されている。両カ
ッタ部３３（Ｌ，Ｒ）はそれぞれガイド棒５０（Ｌ，
Ｒ）に沿って左右に摺動自在に支持されており、その基
部がねじ軸５１のねじ部５２（Ｌ，Ｒ）に螺合してい
る。ねじ部５２（Ｌ，Ｒ）は互いに逆向きにねじが切ら
れており、モータ５３でこのねじ軸５１を回転させるこ
とにより、左右のカッタ３３（Ｌ，Ｒ）が左右方向に駆
動される。

【００１４】また、果柄位置検出部３２（Ｌ，Ｒ）およ
びカッタ部３３（Ｌ，Ｒ）は共通の取付枠５５に取り付
けられており、この取付枠５５ごと上下動可能となって
いる。上下動の範囲は最大で３０mm程度である。上下動
機構の構造は、取付枠５５をガイド棒５６に上下に摺動
自在に支持させ、かつ取付枠５５に形成したねじ穴５７
をねじ軸５８を螺合させ、モータ５９でねじ軸５８を回
転させるようになっている。

【００１５】次に、図１４乃至図１６に示すフローチャ
ートに基づいて、果実収穫ロボット１の動作を説明す
る。作業を開始するに際してはマニピュレータ３を初期
姿勢に保持し、栽培植物の並びに沿って走行部２で移動
しながら、後述する視覚装置５の探索手順にしたがって
収穫物を探索する。移動のピッチは後記ＣＣＤ６０の１
画面幅である。収穫可能な果実を見つけ出すと、マニピ
ュレータ３各部を適当に作動させてハンド部１５を対象
果実に接近させる。「中間点」とは、ハンド部１５が対
象果実の方向を向いた状態のことで、この状態から関節
型アーム１４を作動させることによりハンド部１５を目
的位置へ直線的移動させることができる。そして、ハン
ド部１５を次の順に作動させて対象果実を摘果する。

【００１６】初期状態では、把握部３１，３１および果
柄位置検出部３２，３２が共に閉じている。まず、把握
部３１，３１が開く。把握部３１，３１の係合片３１
ａ，３１ａが果柄位置検出部３２，３２の係合片３２
ａ，３２ａの内側に係合しているので、係合片果柄位置
検出部３２，３２も開く。把握部３１，３１の内側に果
実が位置するようになると、把握部３１，３１が閉じて
果実を把握する。続いて、果柄位置検出部３２，３２と
カッタ３３，３３が上動する。係合片３１ａ，３１ａと
係合片３２ａ，３２ａの係合が外れるので、スプリング
４７，４７の力によって果柄位置検出部３２，３２は果
実の外周面に押し付けられ、ハンド部１５の上昇にとも
ない果柄位置検出部３２，３２は果実の外周に沿って移
動する。果柄位置検出部３２，３２が果柄を検出する
と、カッタ３３，３３が作動して果柄を切断する。

【００１７】摘果後、マニピュレータ各部を適当に作動
させてハンド部１５を果実貯蔵部６の上方へ移動させ、
ここでハンド部１５の把握部３１，３１が開いて把持し
ていた果実を果実貯蔵部６内に解放する。

【００１８】以下、同様の動作を繰り返し、視覚装置５
の視野内の果実を全て収穫し、さらに視覚装置５の向き
を変えて探索を行い、マニピュレータ３の全作業範囲内
の果実を全て収穫する。

【００１９】視覚装置５は、図１７のブロック図に示す
如く、緑色の色相成分だけを撮像するイメージセンサカ
メラ（ＣＣＤ）６０と、所定の範囲内を垂直および水平
に走査して対象物までの距離を測定する距離センサ（Ｐ
ＳＤ）６１と、これらの入力信号を分析して処理するＣ
ＰＵ６２と、データを記憶するメモリ６３とを備えてな
る。ＣＣＤ６０およびＰＳＤ６１はハンド部１５の上面
部に設けられ、またＣＰＵ６２およびメモり６３は本体
部１３に内蔵されている。

【００２０】距離センサ（ＰＳＤ）６１は、図１８に示
す構造となっている。投光器６４から発せられた光を反
射鏡６５で反射させて対象物６６に照射し、その反射光
を反射鏡６７で反射させて受光器６８に受光させる。反
射鏡６５，６８の距離は一定であるから、三角測量の原
理に基づいて対象物６６までの距離を算出する。反射鏡
６５，６８の角度をステッピングモータＭ₁ ，Ｍ₂ に変
えることにより水平走査を行い、ステッピングモータＭ
₃ でケース６９全体を回動させることにより垂直走査を
行う。

【００２１】視覚装置５による収穫物の探索は図１９の
フローチャートに示す順序で行う。すなわち、ハンド部
１５を対象植物に正対させてＣＣＤ６０で対象物を撮像
すると共に、ＰＳＤ６１で対象物までの距離を測定す
る。ＣＣＤ入力画像が図２０であるとし、そのａ−ａ線
上の画素の輝度分布が図２１のようであるとした場合、
輝度が２値化レベル以上の画素（図２１において斜線で
示す部分）を「１」、２値化レベル以下の画素を「０」
として処理し、図２２に示す処理画面を得る。そして、
この処理画面上における対象物のたて長・よこ幅の比を
求め、その比が規定範囲内であれば対象物をきゅうりで
あると判定する。なお、基準のたて長は２０cm、よこ幅
は２．２cmである。つぎに、ＰＳＤ６１の測定結果に基
づいて画像中の果実の中心座標を求め、それに合わせて
マニピュレータ３を作動させ、ハンド部１５を対象果実
に接近させる。

【００２２】ハンド部１５を対象果実に接近中も、ＣＣ
Ｄ６０でカメラ入力とＰＳＤ６１で距離測定を継続し、
その処理画像中における果実の中心座標を求め続ける。
そして、その中心座標の変化に応じてマニピュレータ３
の動作方向を修正する。例えば、最初の画像を図２３、
一定時間経過後の画像が図２４であるとすると、果実の
中心がＯ₁ からＯ₂ へずれているので、ハンド部１５が
Ｏ₂ の位置に到達するように修正するのである。なお、
ＣＣＤ６０の入力画像における果実の中心座標を求め、
その変化に応じてマニピュレータ３の動作方向を修正す
るようにしてもよい。図２５はそのフローチャートであ
る。

【００２３】初期姿勢で収穫物を探索するに際しては、
ＣＣＤ６０と果実との距離が遠過ぎると誤って果実をノ
イズを見做すおそれがあるので、カメラ画像内に果実が
適正な大きさで入るようにハンド部１５と対象果実との
相対距離を調整する。図２６はその制御のフローチャー
トである。

【００２４】また、日差しが強い場合等、背景と対象物
を識別できず、実際には果実があるにもかかわらず果実
がないと判定することがある。そこで、こういった事態
を防止するために、ＰＳＤ６１の測定結果が規定範囲内
にないときは異常であるとするよう構成した。図１７に
おいて鎖線で示す如く、ＰＳＤ６１の測定結果の規定範
囲を示す規定値を設定する規定値設定器７１と、該規定
値設定器で設定された規定値を記憶する不揮発ＲＡＭ７
２と、作業者に異常を知らせる警報器７３とを設け、図
２７のフローチャートに示す順で制御する。異常があっ
た場合に、警報器７３を作動させる代わりに、作業を停
止するようにしてもよい。

【００２５】果実の大きさの判定に関しては図２８のフ
ローチャートに示す制御を行う。すなわち、果柄位置検
出部３１，３１を果実に沿って上動させる際にポテンシ
ョンメータ４８の検出値より果実の直径を計算し、こう
して得られた果実の実径値とカメラ入力画像から得られ
る画面上の直径値とを比較し、画面上の直径値を実径値
で補正するのである。このように果柄位置検出部３１，
３１で測定した実径値を視覚装置による果実の抽出にフ
ィードバックさせることにより、次回収穫する果実の大
きさをより正確に求めることができる。

【００２６】果柄位置の検出に関して図２９のフローチ
ャートに示す制御を行ってもよい。すなわち、前記果柄
位置検出部３１，３１によって測定された果実の実径値
（図３０は１例）を微分し、実径値の変化の大きな部分
を果柄部と見做すのである。

【００２７】図３１に示すように、果柄８０は主茎８１
と葉柄８２の分岐部から出ているため、果柄８０が葉柄
８２の表裏どちら側を通っているかで、果柄位置検出部
３２，３２やカッタ部３３，３３の可動スペースに違い
がある。そこで、把握部３１，３１で果実を把握後、Ｐ
ＳＤ６１を把握部３１，３１より上方へ垂直走査するよ
う制御する。葉柄８２を検出した場合は果柄８０が葉柄
８２の表側にある（図において鎖線で示す）と判定し、
葉柄８２を検出しない場合は果柄８０が葉柄８２の裏側
にある（図において鎖線で示す）と判定する。果柄８０
が葉柄８２の表裏どちら側を通っているかが分かれば、
果柄切断スペースの確保とハンド部１５の移動方向を適
正に決定することができる。

【００２８】

【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットは、ハンド部が対象果実に接近中はカメ
ラ入力を継続し、カメラ画像中における対象果実の中心
位置の変化に応じて移動手段のハンド部移動出力を修正
するので、マニピュレータの機械的振れや風による植物
が揺れでハンド部が移動中に対象果実の位置がずれた場
合でも、ハンド部を的確に対象果実の位置まで移動させ
ることができ、果実を確実に収穫できるようになった。

【図面の簡単な説明】

【図１】果実収穫ロボットの使用状態を示す正面図であ
る。

【図２】果実収穫ロボットの側面図である。

【図３】マニピュレータの側面図である。

【図４】マニピュレータの平面図である。

【図５】ハンド部の外形側面図である。

【図６】ハンド部の外形平面図である。

【図７】主として把握部を中心にあらわしたハンド部の
側面図である。

【図８】主として把握部を中心にあらわしたハンド部の
平面図である。

【図９】主として果柄位置検出部を中心にあらわしたハ
ンド部の側面図である。

【図１０】主として果柄位置検出部を中心にあらわした
ハンド部の平面図である。

【図１１】主としてカッタ部を中心にあらわしたハンド
部の側面図である。

【図１２】主としてカッタ部を中心にあらわしたハンド
部の平面図である。

【図１３】主として果柄位置検出部とカッタ部の上下動
機構を中心にあらわしたハンド部の平面図である。

【図１４】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１５】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１６】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１７】視覚装置のブロック図である。

【図１８】距離センサの説明図である。

【図１９】視覚装置の制御をあらわすのフローチャート
である。

【図２０】カメラ入力画像を示す図である。

【図２１】輝度分布を示す図である。

【図２２】処理画像を示す図である。

【図２３】一時点におけるカメラ入力画像を示す図であ
る。

【図２４】一定時間経過のカメラ入力画像を示す図であ
る。

【図２５】視覚装置に関する制御のフローチャートであ
る。

【図２６】視覚装置に関する制御のフローチャートであ
る。

【図２７】視覚装置に関する制御のフローチャートであ
る。

【図２８】視覚装置に関する制御のフローチャートであ
る。

【図２９】果実の大きさの判定に関する制御のフローチ
ャートである。

【図３０】果柄位置の検出に関する制御のフローチャー
トである。

【図３１】栽培植物とハンド部の位置関係をあらわす説
明図である。

【符号の説明】

１果実収穫ロボット３マニピュレータ５視覚装置１４関筋型アーム（移動手段）１５ハンド部６０イメージセンサカメラ６１距離センサ６２ＣＰＵ（制御装置）

Claims

【特許請求の範囲】

【請求項１】対象果実を撮像するカメラと、果実を摘
果するハンド部と、前記カメラの入力画像から得られる
情報に基づいて前記ハンド部を移動させる移動手段と備
えた果実収穫ロボットにおいて、少なくともハンド部を
対象果実に接近させる方向に移動手段を作動中はカメラ
入力を継続し、カメラ画像における対象果実の中心位置
の変化に応じて移動手段のハンド部移動出力を修正する
よう制御する制御装置を設けたことを特徴とする果実収
穫ロボット。