JPH0675448B2

JPH0675448B2 - 果菜類用作業機の誘導装置

Info

Publication number: JPH0675448B2
Application number: JP11999186A
Authority: JP
Inventors: ▲吉▼弘上田; 保生藤井; 宜文幸重; 正彦林
Original assignee: Kubota Corp
Current assignee: Kubota Corp
Priority date: 1986-05-24
Filing date: 1986-05-24
Publication date: 1994-09-28
Anticipated expiration: 2009-09-28
Also published as: JPS62275611A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、例えば、ミカンやリンゴ等の果実やトマト等
の果菜類の育成管理や収穫作業等に用いる果菜類用作業
機の作業用ハンドを作業対象に向けて誘導するための果
菜類用作業機の誘導装置に関し、詳しくは、作業対象果
菜類を撮像した画像情報に基づいて、前記作業対象果菜
類の色のみに対応した領域内の最も明るく見えるハイラ
イト領域、及び、前記領域の幾何学的特徴点を検出する
視覚装置を備えると共に、前記作業対象果菜類に対して
設定距離内に接近したことを検出する近接センサを備え
た作業用ハンドを、前記幾何学的特徴点又は前記ハイラ
イト領域の方向に向けて誘導する誘導手段を備えた果菜
類用作業機の誘導装置に関する。

〔従来の技術〕

上記この種の果菜類用作業機の誘導装置は、ミカンやリ
ンゴ等の果実を例に説明すれば、これらの果実は果樹の
枝や葉あるいは空等の背景となる物体に対して色が異な
ることから、作業対象を撮像した画像情報から、作業対
象の色に対応した特定色の領域を抽出することにより、
作業対象とその他の物体とを分離識別できると共に、果
実表面での光の反射が強くなる位置が、各果実の一つ一
つに対応した状態で存在することから、上記特定色の領
域内において最も明るく見えるハイライト領域を抽出す
れば、それが各作業対象の一つ一つに対応した位置情報
として利用できることに基づいて、作業対象までの距離
を計測するとなく作業対象のある位置まで簡単に誘導で
きるようにしたものである。

そして、本出願人は、同一領域内にある複数個の作業対
象夫々に対して効率良く収穫作業等の所定の作業ができ
るようにするために、作業用ハンドが作業対象に対して
所定距離に近接するまでは高速に移動できるように、且
つ、その後は作業用ハンドが作業対象を確実に捕捉でき
るようにすべく、作業対象に対して設定距離内に作業用
ハンドが近接したことを検出する近接センサを作業用ハ
ンドに備えさせ、この近接センサが作動するまでは、作
業用ハンドの前方側にある作業対象が確実に存在する位
置である上記特定色の領域の幾何学的特徴点、例えば、
重心等に向けて高速移動させると共に、近接センサが作
動するに伴って、上記近接センサの作動距離分を低速移
動させながら、ハイライト領域の方向に向かうように誘
導する手段を提案した。

〔発明が解決しようとする問題点〕

しかしながら、上記先に提案した手段においては、以下
に示すように不都合があり、改善の余地があった。

すなわち、上記作業対象の色に対応した特定色の領域
は、複数個の作業対象が重なりあって一つの領域として
見える場合もあるが、例えば、一つの作業対象果菜類
が、その周囲にある枝や葉等の他物の影になって変形し
て見える場合もあり、そのために上記特定色の領域の幾
何学的特徴点の位置が、一つの作業対象果菜類を捕捉可
能な位置である場合もある。又、上記特定色の領域内に
おいて最も明るく見えるハイライト領域は、作業対象の
表面が完全な平滑面ではないことや、周囲にある他の作
業対象や葉等の表面からの反射光の影響で、一つの作業
対象に対して複数個存在したり、上記特定色の領域の縁
に現れることもあり、上記ハイライト領域の位置する方
向にのみ捕捉作動のアプローチをさせたのでは、作業用
ハンドが作業対象の捕捉を失敗することがあって、作業
効率が低下する虞れがあった。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、作業用ハンドを作業対象果菜類の位置する方
向に向けて誘導するに、効率良く誘導できるようにする
ことにある。

〔問題点を解決するための手段〕

本発明にかかる果菜類用作業機の誘導装置は、上記目的
を達成するために、冒記構造のものにおいて、前記誘導
手段を、前記近接センサが作動するまで前記幾何学的特
徴点の方向に向けて移動させ、前記近接センサが作動し
た後においても、前記作業用ハンドを前記幾何学的特徴
点の方向に向けて前記設定距離分移動させ、且つ、その
移動により前記作業対象果菜類を捕捉できない場合にの
み、前記作業用ハンドを、前記ハイライト領域の方向に
向けて誘導するように構成してあることを特徴構成とす
る。

かかる特徴構成による作用及び効果は次の通りである。

〔作用〕

すなわち、近接センサが作動するまで幾何学的特徴点の
方向に向けて移動させ、近接センサが作動した後におい
ても、作業用ハンドを幾何学的特徴点、例えば、上記領
域の重心や等距離点等に向けて作業用ハンドを誘導する
ことで、作業対象を捕捉できるか否かを確認し、捕捉で
きない場合にのみハイライト領域の方向に向けて誘導す
るのである。

〔発明の効果〕

従って、作業用ハンドを上記幾何学的特徴点に向けて誘
導して作業対象を捕捉できた場合は、その後のハイライ
ト領域の方向に向けて誘導するための処理を行う必要が
無いので、作業対象果菜類に対する作業効率の向上を図
ることができるに至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第６図に示すように、左右一対の車輪（１），（１）を
前後に備えた車体（Ｖ）に、側面視がくの字形状のブー
ム（２）を昇降並びに旋回自在に取り付けると共に、そ
の先端部に、水平揺動自在な補助ブーム（３）を取り付
け、更に、この補助ブーム（３）の先端部に、作業用の
マニプレータ（４）を旋回自在に取り付けて、果菜類用
作業機としての果実収穫用の作業機を構成してある。
尚、第６図中、（５）はブーム昇降用の油圧シリンダ、
（６）はブーム旋回用の電動モータ、（７）は補助ブー
ム揺動用の電動モータである。

前記マニプレータ（４）は、多間接型の伸縮アーム
（８）と、その伸縮アーム（８）の先端部に取り付けた
果実収穫用の作業用ハンド（Ｈ）とからなり、前記伸縮
アーム（８）は、電動モータ（9a）にて縦軸芯（Ｘ）周
りで旋回操作され、且つ、電動モータ（9b）にて水平軸
芯（Ｙ）周りで揺動操作されるように構成すると共に、
伸縮用の電動モータ（9c）にて伸縮操作するようにして
ある。

そして、作業対象果実（Ｆ）の位置を検出する視覚装置
（Ａ）を構成するカラービデオカメラ（S₀）を、前記伸
縮アーム（８）の縦軸芯（Ｘ）と水平軸芯（Ｙ）との交
点部分に、その視野方向が前記作業用ハンド（Ｈ）の方
向を向く状態で格納してある。

前記作業用ハンド（Ｈ）について説明すれば、第４図及
び第５図に示すように、平面視がＵの字状の基枠（10）
を、前記伸縮アーム（８）の先端部に取り付けると共
に、その基枠（10）の先端部に、捕捉部ケース（11）を
取り付けてある。

又、軟質ゴム製のバキュームパッド（13）を先端部に外
嵌着した通気管（12）を、前記捕捉部ケース（11）の筒
状部（11a）に対してスライド移動自在に内嵌支持させ
ると共に、前記通気管（12）の基部に、通気用の分岐管
（14）を外嵌着し、その分岐管（14）に、伸縮自在な蛇
腹式ホース（15）を接続してある。そして、第１図に示
すように、前記蛇腹式ホース（15）を、吸気用ポンプ
（16）に配管接続してある。又、前記バキュームパッド
（13）に作業対象果実（Ｆ）が吸着したことを検出する
ための負圧センサ（S₁）を、前記分岐管（14）に付設す
ると共に、前記作業用ハンド（Ｈ）が作業対象果実
（Ｆ）に対して設定距離内に近接したことを非接触に検
出する赤外線投光式の近接センサ（S₂）を、その検出作
用部が前記バキュームパッド（13）の先端部前方を向く
状態で設けてある。尚、第１図中、（29）は前記バキュ
ームパッド（13）の吸引・停止を制御する電磁操作式の
開閉弁である。

前記近接センサ（S₂）の構成について説明すれば、発光
部及び受光部等を収納するセンサ本体（17）を、前記分
岐管（14）内に保持させると共に、前記センサ本体（1
7）に対する投受光用の光を導く光ファイバ（18）を、
前記通気管（12）の内部を通して前記バキュームパッド
（13）の内部に延出し、その延出端を、ホルダ（19）に
て前記バキュームパッド（13）の中心部に支持させてあ
る。

又、前記捕捉部ケース（11）の先端部には、前記バキュ
ームパッド（13）に吸着される状態で捕捉された果実の
果梗を切断するカッタ（20a）と前記果梗を押圧支持す
る果梗押圧部材（20b）とからなる果梗切断装置（20）
を設けてある。

前記果梗切断装置（20）について説明すれば、前記カッ
タ（20a）及び果梗押圧部材（20b）の夫々を、帯板状で
且つ半円弧状に形成すると共に、同軸芯周りで回動操作
自在に、前記捕捉部ケース（11）に枢着してあり、捕捉
した果実の果梗をそれらの間で支持すべく前記捕捉部ケ
ース（11）から前方に突出させる状態と、それらの間に
果実を導入する通路を形成すべく退避させる状態とに切
り換えられるように、差動機構（21）を介して電動モー
タ（22）に連動連結してある。つまり、前記カッタ（20
a）及び果梗押圧部材（20b）の何れか一方が先に果梗に
当接した場合に、その接当した一方の起立作動を停止さ
せた状態で他方の引き続き起立差動させることができる
ようにしてある。又、前記果梗切断装置（20）の起立作
動完了検出用のリミットスイッチ（S₃）、及び、引退作
動完了検出用のリミットスイッチ（S₄）を、前記差動機
構（21）の入力ギヤ（23）に付設の突片（24）にて操作
されるように設けてある。尚、図中、（24）は前記カッ
タ（20a）の切断作動用エアシリンダ、（25）はアプロ
ーチ中に果実を傷つけないようにするための防護用カバ
ー、（26）はその開閉用エアシリンダ、（27）は前記バ
キュームパッド（13）の出退操作用のエアシリンダであ
る。

次に、前記カメラ（S₀）による撮像画像情報に基づい
て、前記作業用ハンド（Ｈ）を作業対象果実（Ｆ）に向
けて誘導する手段の構成について説明する。

第１図に示すように、前記カメラ（S₀）からの撮像情報
を画像処理することにより、詳しくは後述する作業対象
果実（Ｆ）の色のみに対応した領域（F₀）内において最
も明るく見えるハイライト領域（P₀）、及び、作業対象
果実（Ｆ）の色のみに対応した領域（F₀）の幾何学的特
徴点（P₁）を検出する視覚装置（Ａ）として機能すると
共に、それらの画像情報及び前記近接センサ（S₂）、負
圧センサ（S₁）、リミットスイッチ（S₃），（S₄）等の
検出情報や予め記憶設定された各種情報に基づいて、前
記昇降用シリンダ（６）、バキュームパッド（13）、作
業用ハンド（Ｈ）を作動させる各エアシリンダ（24），
（26），（27）、旋回並びに揺動用の各電動モータ
（６），（７），（9b），（9c）等の各アクチュエータ
の作動を制御することにより、前記作業用ハンド（Ｈ）
を作業対象果実（Ｆ）に向けて誘導する誘導手段（Ｂ）
を構成する制御装置（28）を設けてある。

前記視覚装置（Ａ）による画像処理について説明すれ
ば、第３図（イ）〜（ニ）に示すように、前記カメラ
（S₀）にて得られた作業対象果実（Ｆ）のカラー画像情
報（C₀）（第３図（イ）参照）から、作業対象果実
（Ｆ）の色のみに対応した領域（F₀）を抽出した２値化
画像情報（C₁）（第３図（ロ）参照）を得ると共に、前
記カラー画像情報（C₀）のグレイレベルを量子化した濃
淡画像情報（C₂）（第３図（ハ）参照）を抽出し、この
濃淡画像情報（C₂）を、前記２値化画像情報（C₁）にて
マスクして、前記作業対象果実（Ｆ）の色のみに対応し
た領域（F₀）内の最も明るく見えるハイライト領域
（P₀）、及び、前記作業対象果実（Ｆ）の色のみに対応
した領域（F₀）の幾何学的特徴点としての重心（P₁）の
夫々を求めるようにしてある（第３図（ニ）参照）。

つまり、作業対象果実（Ｆ）とその周囲にある枝や葉、
あるいは背景となる空等は、その色が異なることから、
前記カメラ（S₀）によるカラー画像情報（C₀）から作業
対象果実（Ｆ）の色のみに対応した領域（F₀）を抽出し
て２値化すれば、作業対象果実（Ｆ）のみに対応した領
域を抽出できると共に、果実は一般的に球形であり、そ
の表面での反射が強くなる個所が少なくとも各果実一個
に対して一個所は存在することから、前記領域（F₀）内
における濃淡画像情報（C₂）のグレイレベルに基づいて
最も明るく見えるハイライト領域（P₀）を抽出すれば、
その位置の情報を、複数個の果実（Ｆ）が重なりあった
状態の２値化画像情報（C₁）として認識した領域（F₀）
内における果実個々の位置を代表する情報として用いる
ことができることを利用したものである。又、前記作業
対象果実（Ｆ）の色のみに対応した領域（F₀）の重心
（P₁）は、前記ハイライト領域（P₀）が、一個の果実に
対応して一個所のみあるとは限らず、又、果実の中心に
近い中心に個所にあるとは限らないめに、前記作業用ハ
ンド（Ｈ）を、直接前記ハイライト領域（P₀）に方向に
向けて誘導すると、前記近接センサ（S₂）が作動しない
虞れがあるため、先ず、前方側に果実が確実に存在する
状態の前記重心（P₁）の方向に向けて誘導するようにし
てある。

次に、前記ハイライト領域（P₀）及び重心（P₁）の検出
情報に基づいて、前記作業用ハンド（Ｈ）を作業対象果
実（Ｆ）に向けて誘導する誘導手段（Ｂ）の構成を、前
記制御装置（28）の動作を説明しながら詳述する。

第２図に示すように、前記カメラ（S₀）により作業対象
果実（Ｆ）の位置する範囲を撮像して、上述した画像処
理行うことにより、前記作業対象果実（Ｆ）の色のみに
対応した領域（F₀）の重心（P₁）及びハイライト領域
（P₀）を検出して、前記作業用ハンド（Ｈ）の現在位置
に対する作業対象果実（Ｆ）の位置する方向を演算す
る。但し、前記重心（P₁）及びハイライト領域（P₀）が
一つも検出されない場合は、撮像範囲内には作業対象果
実（Ｆ）が存在しないものと判別して、次の撮像範囲内
の画像処理を行うこととなる（ステップ♯1,ステップ♯
２）。

次に、前記画像処理にて抽出された作業対象果実（Ｆ）
の色のみに対応した領域（F₀）の大きさや重心（P₁）及
びハイライト領域（P₀）の個数及びその明るさ等に基づ
いて作業順序を決定し、その順序に基づいて、前記バキ
ュームパッド（13）の吸引口が前記抽出された作業対象
果実（Ｆ）の色のみに対応した一つの領域（F₀）の重心
（P₁）の位置する方向を向く状態を維持しながら前記伸
縮アーム（８）を突出させて、前記作業用ハンド（Ｈ）
を、前記近接センサ（S₂）が作動するまで、前記重心
（P₁）に向けてアプローチさせる。但し、アプローチ距
離が予め設定した距離以上になっても前記近接センサ
（S₂）が作動しない場合は、前記伸縮アーム（８）を短
縮して元のアプローチ開始位置まで戻して、アプローチ
を中止するようにしてある（ステップ♯３〜ステップ♯
６）。

前記近接センサ（S₂）が作動するに伴って、前記バキュ
ームパッド（13）の吸引作動を開始すると共に、前記負
圧センサ（S₁）が作動して作業対象果実（Ｆ）の吸着を
感知するまで、例えば、前記近接センサ（S₂）の作動距
離等に基づいて設定した設定距離分をそのままの移動方
向に向けて前方側に突出させる。但し、作業用ハンド
（Ｈ）が前記設定距離移動しても前記負圧センサ（S₁）
が作動しない場合は、捕捉失敗と判断して、前記設定距
離に相当する距離分を後退させた後、再度前記負圧セン
サ（S₁）が作動するか否かに基づいて作業対象果実
（Ｆ）を吸着したか否かを判別するようにしてある（ス
テップ♯７〜ステップ♯10）。

前記ステップ♯10にて負圧センサ（S₁）が作動せず、果
実の吸着失敗を感知すると、作業用ハンド（Ｈ）を、前
記ハイライト領域（P₀）の方向に向き変更して誘導する
ハイライト補正処理の繰り返し回数がその抽出したハイ
ライト領域（P₀）の個数に達しているか否かに基づい
て、補正数をチェックする。そして、その補正数が設定
数に達していない場合は、前記ステップ♯７以降のバキ
ュームパッド（13）の吸引作動を行いながら、前記負圧
センサ（S₁）が作動するまで、前記ハイライト領域
（P₀）の一つの方向に向けて移動させる処理を繰り返さ
せる。但し、前記ハイライト領域（P₀）の全部に対して
アプローチが終了している場合は、前記伸縮アーム
（８）を短縮して元のアプローチ開始位置まで戻して、
アプローチを中止するようにしてある（ステップ♯11,
ステップ♯12）。

尚。本実施例では、前記ハイライト領域（P₀）の方向に
向き変更して誘導するハイライト補正処理において、抽
出したハイライト領域（P₀）の方向のみならず、前記重
心（P₁）に対して点対象となる位置に向けてもアプロー
チさせるようにしてあり、例えば、前後方向に重なった
複数果実のうちの後方側に位置するもののハイライト領
域（P₀）に向けてアプローチしたために、捕捉失敗した
場合等にも、自動的に前方側に位置するものに向けて再
アプローチできるようにしてある。

そして、前記負圧センサ（S₁）が作動して作業対象果実
（Ｆ）を所望通り吸着したことを検出すると、バキュー
ムパッド（13）を引退作動させ、それと同時に作業用ハ
ンド（Ｈ）を前方側に移動させて、前記果梗切断装置
（20）の作動範囲内に吸着した果実を取り込んで、前記
果梗切断装置（20）を作動させて果梗を切断する。つま
り、前記負圧センサ（S₁）が作動するに伴って、前記カ
ッタ（20a）及び果梗押圧部材（20b）を起立作動させる
と共に、前記起立作動完了検出用のリミットスイッチ
（S₃）検出情報に基づいて、その起立作動が完了したか
否かを判別するのである。

前記カッタ（20a）及び果梗押圧部材（20b）の起立作動
が完了するに伴って、前記バキュームパッド（13）の吸
引作動を一時停止させると共に、その状態で作業用ハン
ド（Ｈ）を後退させて、果梗の基部側にカッタ（20a）
を位置させるようにした後、前記カッタ（20a）を作動
させて果梗を切断する。切断後は直ちにバキュームパッ
ド（13）の吸引作動を再開して果梗切断後の果実を再度
吸着し、その後、前記カッタ（20a）及び果梗押圧部材
（20b）を前記引退作動完了検出用のリミットスイッチ
（S₄）が作動するまで倒伏作動させると共に、前記伸縮
アーム（８）を短縮して、作業用ハンド（Ｈ）をアプロ
ーチ開始位置まで戻し、前記バキュームパッド（13）を
突出させると共に、その吸引作動を停止して、収穫した
果実を放出することにより収穫作動が正常に行われたか
否かを判別する。収穫した果実を放出した後は、前記画
像処理にて認識された一画面内の果実の個数に基づい
て、アプローチ回数をチェックすることにより、全果実
に対するアプローチが終了したか否かを判別して、撮像
範囲に一個の果実も認識できなくなるまで、上述した各
作動を繰り返すこととなる（ステップ♯13〜ステップ♯
18）。

但し、前記起立作動完了検出用のリミットスイッチ
（S₃）が作動せず、起立作動が完了しない場合等には、
枝等の他物が挟み込まれる等の収穫失敗のトラブル発生
であると判断させて、前記カッタ（20a）及び果梗押圧
部材（20b）を前記引退作動完了検出用のリミットスイ
ッチ（S₄）が作動するまで倒伏作動させると共に、前記
伸縮アーム（８）を短縮して、作業用ハンド（Ｈ）をア
プローチ開始位置まで戻して、前記ステップ♯３からの
一つの果実に対するアプローチを再開させるようにして
ある。

〔別実施例〕

上記実施例では、上記実施例では、果実の収穫作業を行
うための構成について例示したが、トマト等の野菜の収
穫等、他の作業にも適用できる。

本発明を実施するに、作業用ハンド（Ｈ）の具体構成、
作業用ハンド（Ｈ）を誘導するための具体構成等、各部
の構成は、作業対象や作業形態に応じて各種変更でき
る。

【図面の簡単な説明】

図面は本発明に係る果菜類用作業機の誘導装置の実施例
を示し、第１図は制御システムの構成を示すブロック
図、第２図は制御装置の動作を示すフローチャート、第
３図（イ）〜（ニ）は視覚装置による画像処理の説明
図、第４図は作業用ハンドの切り欠き平面図、第５図は
その切り欠き側面図、第６図は果実収穫機の全体側面図
である。（Ｆ）……作業対象果菜類、（F₀）……作業対象果菜類
の色のみに対応した領域、（P₀）……ハイライト領域、
（P₁）……幾何学的特徴点、（S₂）……近接センサ、
（Ｈ）……作業用ハンド、（Ａ）……視覚装置、（Ｂ）
……誘導手段。

Claims

【特許請求の範囲】

【請求項１】作業対象果菜類（Ｆ）を撮像した画像情報
に基づいて、前記作業対象果菜類（Ｆ）の色のみに対応
した領域（F₀）内の最も明るく見えるハイライト領域
（P₀）、及び、前記領域（F₀）の幾何学的特徴点（P₁）
を検出する視覚装置（Ａ）を備えると共に、前記作業対
象果菜類（Ｆ）に対して設定距離内に接近したことを検
出する近接センサ（S₂）を備えた作業用ハンド（Ｈ）
を、前記幾何学的特徴点（P₁）又は前記ハイライト領域
（P₀）の方向に向けて誘導する誘導手段（Ｂ）を備えた
果菜類用作業機の誘導装置であって、前記誘導手段
（Ｂ）を、前記近接センサ（S₂）が作動するまで前記幾
何学的特徴点（P₁）の方向に向けて移動させ、前記近接
センサ（S₂）が作動した後においても、前記作業用ハン
ド（Ｈ）を前記幾何学的特徴点（P₁）の方向に向けて前
記設定距離分移動させ、且つ、その移動により前記作業
対象果菜類（Ｆ）を捕捉できない場合にのみ、前記作業
ハンド（Ｈ）を、前記ハイライト領域（P₀）の方向に向
けて誘導するように構成してある果菜類用作業機の誘導
装置。
【請求項２】前記幾何学的特徴点（P₁）が、前記作業対
象果菜類（Ｆ）の色のみに対応した領域（F₀）の重心で
ある特許請求の範囲第１項に記載の果菜類用作業機の誘
導装置。