JPH05174131A - 果実収穫ロボツトの視覚装置 - Google Patents

Abstract

(57)【要約】 【目的】 ３次元方向に移動可能な摘果用ハンド部を有
する果実収穫ロボットの視覚装置において、画像処理を
迅速かつ正確に行えるようにする。 【構成】 複数の区画に分割された画面に対象物を撮像
するカメラと、該カメラから対象物までの距離を測定す
る距離センサと、該距離センサの検出結果に基づき前記
カメラ画面上からハンド部で収穫可能な範囲内にあると
判定される対象物を抽出し、その対象物が撮像されてい
るカメラ画面の区画のみを所定の輝度レベルで２値化す
ることにより当該対象物の位置を検出する画像認識手段
とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、果実収穫ロボットに設
けられる収穫物探索用の視覚装置に関するものである。

【０００２】

【従来の技術】栽培作物の植付条に沿って自走しつつ、
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、イメージセンサ
カメラに撮像された画像を輝度が一定以上の部分と輝度
が一定未満の部分に２値化することにより対象物を検出
するようになっているが、従来の視覚装置は、上記２値
化処理をカメラ画面の全域わたって行っていた。

【０００３】

【発明が解決しようとする課題】カメラ画面上において
果実や葉等の対象物がとらえられている領域は一部分で
あることが多く、カメラ画面の全域わたって２値化処理
を行うということには無駄が多かった。例えば、対象物
の存在しない無効領域におけるノイズ処理に時間を要
し、画像処理を迅速化させる上で障害となっていた。ま
た、太陽の直射や強い太陽の反射光等をカメラがとらえ
た場合には、これを果実や葉と誤認識するおそれもあっ
た。

【０００４】本発明は、上記事情に鑑み、画像処理を迅
速かつ正確に行えるようにすることを課題としている。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、３次元方向に
移動可能な摘果用ハンド部を有する果実収穫ロボットの
視覚装置であって、複数の区画に分割された画面に対象
物を撮像するカメラと、該カメラから対象物までの距離
を測定する距離センサと、該距離センサの検出結果に基
づき前記カメラ画面上から前記ハンド部で収穫可能な範
囲内にあると判定される対象物を抽出し、その対象物が
撮像されているカメラ画面の区画のみを所定の輝度レベ
ルで２値化することにより当該対象物の位置を検出する
画像認識手段とを備えてなることを特徴としている。

【０００６】

【作用】カメラ画像が複数の区画に分割されており、距
離センサの検出結果よりハンド部で収穫可能な範囲内に
あると判定される対象物が撮像されている区画のみを輝
度に基づいて２値化するので、２値化に要する走査時間
が短縮され、全体の画像処理が高速化される。また、カ
メラから一定の距離にあるものについてのみ２値化処理
を行うので、例えば太陽のような遠方にある光源を果実
や葉として誤認識するおそれがない。

【０００７】

【実施例】図１および図２はきゅうり用果実収穫ロボッ
トの使用状態をあらわすもので、この果実収穫ロボット
１は、移動手段として電動式の走行部２を備え、該走行
部の上に果実収穫用のマニピュレータ３、収穫物探索用
の視覚装置５、果実貯蔵部６等を設置してなる。この果
実収穫ロボット１が使用される栽培場では、斜めに設け
た支持体７にきゅうりの樹体８を支持させている。

【０００８】マニピュレータ３は、図３および図４に示
すように、対面する樹体８の傾斜とほぼ平行になるよう
傾斜させた傾斜枠１０と、該傾斜枠のガイドレール１１
に沿って昇降自在に取り付けた基台１２と、該基台の上
に水平面内で回動自在に設けた本体部１３と、該本体部
に設けた関節型アーム１４と、該関節型アームの先端に
設けた摘果用ハンド部１５とからなる。傾斜枠１０は、
ヒンジ１６にて走行部２に枢支され、背面側を支持リン
ク１７で支えられている。支持リンク１７の下端部は長
穴１８の適所に止着するようになっており、その止着位
置を変えることにより傾斜枠１０の傾斜角度を任意に調
節することができる。マニピュレータ３の各部を適当に
作動させることにより、ハンド部１５を対象果実に接近
させる。摘果用ハンド部１５は、果実を把握してその果
柄を切断するように構成されている。

【０００９】関節型アーム１４は、本体部側の上腕部２
０とハンド部側の前腕部２１とからなり、人の腕と同様
に、ショルダ部２２を中心として上腕部２０が上下に回
動、エルボ部２３を支点として全体が屈伸、リスト部２
４を中心としてハンド部１５が上下に回動するようにな
っている。関節型アーム１４を屈曲させたとき、エルボ
部２３が下側にくるように折れ曲がる。上腕部２０およ
び前腕部２１は、所定間隔を開けて２枚の板材２６，２
６，２７，２７を対面させて形成されており、関節型ア
ーム１４を最大に屈曲させたとき、図３において２点鎖
線で示す如く、上腕部２０と前腕部２１が重なり合い、
ショルダ部２２の内側にリスト部２４が位置するように
なる。この状態がマニピュレータの初期姿勢である。

【００１０】ガイドレール１１に沿って基台１２を昇降
させることによりハンド部１５の上下方向（Ｚ軸方向）
の高さを調整し、基台１２上でＺ軸を中心として本体部
１３を水平面内で回動させることによりハンド部１５の
左右方向（Ｙ軸方向）の角度を調整し、また関節型アー
ム１４を伸縮させることによりハンド部１５の前後方向
（Ｘ軸方向）の距離を調整する。すなわち、マニピュレ
ータ３はハンド部１５の位置を３次元方向に調節可能と
なっている。図中符号２５は基台昇降用モータ、２６は
本体部旋回用モータ、２７はショルダ部用モータ、２８
はエルボ部用モータ、２９はリスト部用モータである。

【００１１】ハンド１５部は、図５乃至図１３に示すよ
うに、各々左右一対の把握部３１，（Ｌ，Ｒ）、果柄位
置検出部３２（Ｌ，Ｒ）およびカッタ３３（Ｌ，Ｒ）を
有する。ハンド部１５全体はローリング軸３５を中心と
してローリングできるようになっている。図中符号３６
がそのローリング駆動用モータである。

【００１２】把握部３１（Ｌ，Ｒ）は、きゅうりを両側
から挟み付けて把握するのに適した形状に成形され、そ
の把握面にゴム性のクッション材４４，４４が貼着され
ている。左右の把握部３１（Ｌ，Ｒ）はそれぞれガイド
棒４０（Ｌ，Ｒ）に沿って左右に摺動自在に支持されて
おり、基部に取り付けたラック４１（Ｌ，Ｒ）に噛合す
るピニオン４２をモータ４３で駆動することにより互い
に接近または離反するようになっている。

【００１３】果柄位置検出部３２（Ｌ，Ｒ）は互いに対
向して配置された板状の部材であり、ガイド棒４６
（Ｌ，Ｒ）に沿って左右に摺動自在に支持されており、
スプリング４７（Ｌ，Ｒ）よって互いに接近する方向
（内向き）に付勢されている。果柄位置検出部３２
（Ｌ，Ｒ）の開き動作は後述する如く把握部３１（Ｌ，
Ｒ）の動作に付随して行われ、閉じ動作は前記スプリン
グ４７（Ｌ，Ｒ）の力によって行われる。左右の果柄位
置検出部３２（Ｌ，Ｒ）を果実や果柄の外面部に当てが
い、そのときの開度から果柄を検出する。開度の計測
は、一方の果柄位置検出部３２（Ｌ）のスライド量をポ
テンションメータ４８で検出して行う。

【００１４】カッタ部３３（Ｌ，Ｒ）は、一方（Ｒ）は
内端部が鋭利に形成された刃体、他方（Ｌ）は反対側か
ら果柄を受け止める支持体として形成されている。両カ
ッタ部３３（Ｌ，Ｒ）はそれぞれガイド棒５０（Ｌ，
Ｒ）に沿って左右に摺動自在に支持されており、その基
部がねじ軸５１のねじ部５２（Ｌ，Ｒ）に螺合してい
る。ねじ部５２（Ｌ，Ｒ）は互いに逆向きにねじが切ら
れており、モータ５３でこのねじ軸５１を回転させるこ
とにより、左右のカッタ３３（Ｌ，Ｒ）が左右方向に駆
動される。

【００１５】また、果柄位置検出部３２（Ｌ，Ｒ）およ
びカッタ部３３（Ｌ，Ｒ）は共通の取付枠５５に取り付
けられており、この取付枠５５ごと上下動可能となって
いる。上下動の範囲は最大で３０mm程度である。上下動
機構の構造は、取付枠５５をガイド棒５６に上下に摺動
自在に支持させ、かつ取付枠５５に形成したねじ穴５７
をねじ軸５８を螺合させ、モータ５９でねじ軸５８を回
転させるようになっている。

【００１６】次に、図１４乃至図１６に示すフローチャ
ートに基づいて、果実収穫ロボット１の動作を説明す
る。作業を開始するに際してはマニピュレータ３を初期
姿勢に保持し、栽培植物の並びに沿って走行部２で移動
しながら、後述する視覚装置５の探索手順にしたがって
収穫物を探索する。移動のピッチは後記ＣＣＤ６０の１
画面幅である。収穫可能な果実を見つけ出すと、マニピ
ュレータ３各部を適当に作動させてハンド部１５を対象
果実に接近させる。「中間点」とは、ハンド部１５が対
象果実の方向を向いた状態のことで、この状態から関節
型アーム１４のショルダ部２２、エルボ部２３、リスト
部２４を適宜回動させることによりハンド部１５を目的
位置へ直線的移動させることができる。そして、ハンド
部１５を次の順に作動させて対象果実を摘果する。

【００１７】初期状態では、把握部３１，３１および果
柄位置検出部３２，３２が共に閉じている。まず、把握
部３１，３１が開く。把握部３１，３１の係合片３１
ａ，３１ａが果柄位置検出部３２，３２の係合片３２
ａ，３２ａの内側に係合しているので、係合片果柄位置
検出部３２，３２も開く。把握部３１，３１の内側に果
実が位置するようになると、把握部３１，３１が閉じて
果実を把握する。続いて、果柄位置検出部３２，３２と
カッタ３３，３３が上動する。係合片３１ａ，３１ａと
係合片３２ａ，３２ａの係合が外れるので、スプリング
４７，４７の力によって果柄位置検出部３２，３２は果
実の外周面に押し付けられ、ハンド部１５の上昇にとも
ない果柄位置検出部３２，３２は果実の外周に沿って移
動する。果柄位置検出部３２，３２が果柄を検出する
と、カッタ３３，３３が作動して果柄を切断する。

【００１８】摘果後、マニピュレータ各部を適当に作動
させてハンド部１５を果実貯蔵部６の上方へ移動させ、
ここでハンド部１５の把握部３１，３１が開いて把持し
ていた果実を果実貯蔵部６内に解放する。

【００１９】以下、同様の動作を繰り返し、視覚装置５
の視野内の果実を全て収穫し、さらに視覚装置５の向き
を変えて探索を行い、マニピュレータ３の全作業範囲内
の果実を全て収穫する。

【００２０】視覚装置５は、図１７のブロック図に示す
如く、画面が複数の区画に分割されたイメージセンサカ
メラ（ＣＣＤカメラ）６０と、水平および垂直走査して
カメラ６０から対象物までの距離を測定する距離センサ
（ＰＳＤ）６１と、これらから入力されるデータに基づ
いて画像処理する画像処理装置６２とからなる。画像処
理装置６２によって求められた果実や葉の位置データ信
号と収穫指令信号は動作制御装置６４に送信され、該動
作制御装置からマニピュレータ各作動部に出力信号が出
される。

【００２１】視覚装置５による収穫物の探索は図１８の
フローチャートに示す順序で行う。まず、距離センサ６
１で対象物の３次元位置を測定し、関節型アーム１４の
動作範囲内に対象物が存在する画面区画を抽出し、その
区画のみを画像処理の対象ゾーンとする。例えば、距離
センサ６１による走査結果が図１９であったとすると、
Ａ−２、Ａ−３、Ｂ−２、Ｂ−３、Ｃ−２、Ｃ−３、Ｄ
−２、Ｄ−３が対象ゾーンとなる。次に、この対象ゾー
ン内の輝度を検出し、その平均輝度を２値化レべルとし
て対象ゾーン内を２値化する。そして、得られた処理画
面における対象物のたて長・よこ幅の比を求め、その比
が規定範囲内であれば対象物をきゅうりであると判定す
る。果実の中心座標を求め、その位置データを動作制御
装置６４に送信する。

【００２２】上記位置データに基づき、関節型アーム１
４の各回動部（ショルダ部２２、エルボ部２３、リスト
部２４）を適宜回動させてハンド部１５を対象果実に接
近させる。各回動部には回動角度を検出する角度センサ
が設けられており、各回動部ごとに、動作制御装置６４
で出される回動角度の目標値と角度センサで検出される
実際の回動角度とを比較し、回動動作を修正するように
なっている。これを図式化したのが図２０で、その制御
のフローチャートが図２１である。このように、関節型
アーム１４の各回動部を独立して動作させ、その動作結
果に基づいて各回動部の動作を修正するように構成する
ことにより、制御が簡略化されると共に、円滑な動作を
実現できるようになる。

【００２３】また、ハンド部１５を対象果実に接近中も
カメラ入力と距離測定を継続し、関節型アーム１４の動
作を修正するようにしてもよい。その場合、図２２のフ
ローチャートに示す如く、カメラ６０が果実に接近する
に従いカメラ画像中の処理対象ゾーンを小さくするよう
に制御すると画像処理を高速化できる。図２３はカメラ
と果実の距離が大きいときの処理対象ゾーン、図２４は
カメラと果実の距離が小さいときの処理対象ゾーンであ
る。

【００２４】

【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットの視覚装置は、ハンド部で収穫可能な範
囲内にあると判定される対象物が撮像されているカメラ
画面の区画のみを画像処理するので、処理時間が短縮さ
れ、収穫作業を迅速に行えると共に、太陽等を果実と誤
って検出することを防止できるようになった。

【図面の簡単な説明】

【図１】果実収穫ロボットの使用状態を示す正面図であ
る。

【図２】果実収穫ロボットの側面図である。

【図３】マニピュレータの側面図である。

【図４】マニピュレータの平面図である。

【図５】ハンド部の外形側面図である。

【図６】ハンド部の外形平面図である。

【図７】主として把握部を中心にあらわしたハンド部の
側面図である。

【図８】主として把握部を中心にあらわしたハンド部の
平面図である。

【図９】主として果柄位置検出部を中心にあらわしたハ
ンド部の側面図である。

【図１０】主として果柄位置検出部を中心にあらわした
ハンド部の平面図である。

【図１１】主としてカッタ部を中心にあらわしたハンド
部の側面図である。

【図１２】主としてカッタ部を中心にあらわしたハンド
部の平面図である。

【図１３】主として果柄位置検出部とカッタ部の上下動
機構を中心にあらわしたハンド部の側面図である。

【図１４】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１５】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１６】果実収穫ロボットの動作をあらわすフローチ
ャートの一部である。

【図１７】視覚装置と動作制御装置のブロック図であ
る。

【図１８】視覚装置による収穫物探索のフローチャート
である。

【図１９】距離センサによる走査結果をあらわす図であ
る。

【図２０】動作制御装置と関節型アームの各回動部との
関係を示す図である。

【図２１】関節型アームの動作制御のフローチャートで
ある。

【図２２】処理対象ゾーン制御のフローチャートであ
る。

【図２３】処理対象ゾーンが示す図である。

【図２４】処理対象ゾーンを示す図である。

【符号の説明】

１ 果実収穫ロボット ３ マニピュレータ ５ 視覚装置 １４ 関筋型アーム １５ ハンド部 ６０ イメージセンサカメラ ６１ 距離センサ ６２ 画像処理装置 ６４ 動作制御装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ３次元方向に移動可能な摘果用ハンド部
   を有する果実収穫ロボットの視覚装置であって、複数の
   区画に分割された画面に対象物を撮像するカメラと、該
   カメラから対象物までの距離を測定する距離センサと、
   該距離センサの検出結果に基づき前記カメラ画面上から
   前記ハンド部で収穫可能な範囲内にあると判定される対
   象物を抽出し、その対象物が撮像されているカメラ画面
   の区画のみを所定の輝度レベルで２値化することにより
   当該対象物の位置を検出する画像認識手段とを備えてな
   ることを特徴とする果実収穫ロボットの視覚装置。