JPS62275610A - 果菜類用作業機の誘導装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ３、発明の詳細な説明 〔産業上の利用分野〕 本発明は、例えば、ミカンやリンゴ等の果実やトマト等
の果菜類の育成管理や収穫作業等に用いる果菜類用作業
機の作業用ハンドを作業対象に向けて誘導するための果
菜類用作業機の誘導装置に関し、詳しくは、作業対象果
菜類を撮像した画像情報に基づいて、前記作業対象果菜
類の色のみに対応した領域内において最も明るく見える
ハイライト領域を検出する視覚装置を備えると共に、前
記作業対象果菜類に対して設定距離内に接近したことを
検出する近接センサを備えた作業用ハンドを、前記ハイ
ライ）ｊＪ域の方向に向けて移動させるべく誘導する誘
導手段を備えた果菜類用作業機の誘導装置に関する。

〔従来の技術〕

上記この種の果菜類用作業機の誘導装置は、ミカンやリ
ンゴ等の果実を例に説明すれば、これらの果実は果樹の
技や葉あるいは空等の背景となる物体に対して色が異な
ることから、作業対象を撮像した画像情報から、作業対
象の色に対応した特定色に対応した領域を抽出すること
により、作業対象とその他の物体とを分離識別できると
と共に、果実表面での光の反射が強くなる位置が、各果
実の一つ一つに対応した状態で存在することから、上記
特定色の領域内において最も明るく見えるハイライト領
域を抽出すれば、それが各作業対象の一つ一つに対応し
た位置情報として利用できることに基づいて、上記ハイ
ライト領域の方向に向けて作業用ハンドを誘導すること
により、作業対象までの距離を計測することなく作業対
象のある位置まで簡単に誘導できるようにしたものであ
る。そして、作業用ハンドが作業対象に対して接近する
までは高速に移動できるようにするために、作業対象に
対して設定距離内に作業用ハンドが接近したことを検出
する近接センサを、作業用ハンドに備えさせてあり、こ
の近接センサが作動するに伴って、作業用ハンドを、上
記近接センサの作動距離分を低速移動させるようにして
、効率良く収穫作業等の所定の作業を行わせるようにし
てある。

〔発明が解決しようとする問題点〕

しかしながら、上記従来構成においては、以下に示すよ
うな不都合があり、改善の余地があった。

すなわち、上記作業対象の色に対応した特定色の領域内
において最も明るく見えるハイライト領域は、作業対象
の表面が完全な平滑面ではないことや、周囲にある他の
作業対象や葉等の表面からの反射光の影響で、一つの作
業対象に対して複数個存在する場合がある。そして、作
業対象が周囲の葉等によってその一部が欠けて見えるよ
うな場合には、その複数個のハイライト領域のうちのど
の位置が作業対象を捕捉するに最適な位置であるかを判
別することができないために、作業対象の中心からずれ
た位置に向けて作業用ハンドを誘導することとなる。そ
の場合、近接センサが作動しない虞れがあり、高速移動
する作業用ハンドで作業対象あるいはその作業対象の後
方にある他の作業対象や周囲の枝葉を傷つける虞れがあ
る。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、上記ハイライト領域の方向に向けて作業用ハ
ンドを誘導するに、捕捉失敗が少ない状態で誘導できる
ようにすることにある。

〔問題点を解決するための手段〕

本発明による果菜類用作業機の誘導装置の特徴構成は、
前記視覚装置に、前記作業対象果菜類の色のみに対応し
た領域の幾何学的特徴点を検出する手段を備えさせると
共に、前記誘導手段を、前記近接センサが作動するまで
は、前記幾何学的特徴点の方向に向けて前記作業用ハン
ドを移動させ、その後、前記ハイライト領域の方向に向
けて移動させるように構成してある点にあり、その作用
並びに効果は以下の通りである。

〔作　用〕

すなわち、視覚装置に、前記作業対象果菜類の色のみに
対応した領域の幾何学的特徴点、例えば、上記領域の重
心や等距離点等に向けて作業用ハンドを誘導することで
、近接センサを確実に作動させることができる。そして
、近接センサが作動した後に、ハイライト領域の方向に
向けて誘導するのである。

〔発明の効果〕

従って、作業用ハンドを、作業対象果菜類の色に対応し
た特定色の領域の幾何学的特徴点に向けて誘導した後、
作業対象の個々の位置に対応したハイライトＳＲ域の方
向に向けてｍ４することにより、作業用ハンドの近接セ
ンサが作動しないために作業対象の捕捉を失敗する不都
合が生じる虞れを回避できる。

（実施例〕 以下、本発明の実施例を図面に基づいて説明する。

第６図に示すように、左右一対の車輪（１）　、　（１
）を前後に備えた車体（Ｖ）に、側面視がくの字形状の
ブーム（２）を昇降並びに旋回自在に取り付けると共に
、その先端部に、水平揺動自在な補助ブーム（３）を取
り付け、更に、この補助ブーム（３）の先端部に、作業
用のマニプレータ（４）を旋回自在に取り付けて、果菜
類用作業機としての果実収穫用の作業機を構成してある
。尚、第６図中、（５）はブーム昇降用の油圧シリンダ
、（６）はブーム旋回用の電動モータ、（７）は補助ブ
ーム揺動用の電動モータである。

前記マニプレータ（４）は、多間接型の伸縮アーム（８
）と、その伸縮アーム（８）の先端部に取り付けた果実
収穫用の作業用ハンド（Ｈ）　とからなり、前記伸縮ア
ーム（８）は、電動モータ（９ａ）にて縦軸芯（Ｘ）周
りで旋回操作され、且つ、電動モータ（９ｂ）にて水平
軸芯（Ｙ）周りで揺動操作されるように構成すると共に
、伸縮用の電動モータ（９ｃ）にて伸縮操作するように
してある。

そして、作業対象果実（Ｆ）の位置を検出する視覚装置
（Ａ）を構成するカラービデオカメラ（Ｓ０）を、前記
伸縮アーム（８）の縦軸芯（Ｘ）と水平軸芯（Ｙ）との
交点部分に、その視野方向が前記作業用ハンド（Ｈ）の
方向を向く状態で格納してある。

前記作業用ハンド（）１）について説明すれば、第４図
及び第５図に示すように、平面視がＵの字状の基枠（１
０）を、前記伸縮アーム（８）の先端部に取り付けると
共に、その基枠（１０）の先端部に、捕捉部ケース（１
１）を取り付けである。

又、軟質ゴム製のバキュームパッド（１３）を先端部に
外嵌着した通気管（１２）を、前記捕捉部ケース（１１
）の筒状部（ｌｌａ）に対してスライド移動自在に内嵌
支持させると共に、前記通気管（１２）の基部に、通気
用の分岐管（１４）を外嵌着し、その分岐管（１４）に
、伸縮自在な蛇腹式ホース（１５）を接続してある。そ
して、第１図に示すように、前記蛇腹式ホース（１５）
を、吸気用ポンプ（１６）に配管接続してある。又、前
記バキュームパッド（１３）に作業対象果実（Ｆ）が吸
着したことを検出するための負圧センサ（Ｓ１）を、前
記分岐管（１４）に付設すると共に、前記作業用ハンド
（）ｌ）が作業対象果実（Ｆ）に対して設定距離内に接
近したことを非接触に検出する赤外線投光式の近接セン
サ（Ｓ２）を、その検出作用部が前記バキュームパッド
（１３）の先端部前方を向く状態で設けである。尚、第
１図中、（２９）は前記バキュームパッド（１３）の吸
引・停止を制御する電磁操作式の開閉弁である。

前記近接センサ（Ｓ２）の構成について説明すれば、発
光部及び受光部等を収納するセンサ本体（１７）を、前
記分岐管（１４）内に保持させると共に、前記センサ本
体（１７）に対する投受光用の光を導く光ファイバ（１
Ｂ）を、前記通気管（１２）の内部を通して前記バキュ
ームパッド（１３）の内部に延出し、その延出端を、ホ
ルダ（１９）にて前記バキュームパッド（１３）の中心
部に支持させである。

又、前記捕捉部ケース（１１）の先端部には、前記バキ
ュームパッド（１３）に吸着される状態で捕捉された果
実の果梗を切断するカッタ（２０ａ）と前記果梗を押圧
支持する果梗押圧部材（２０ｂ）とからなる果梗切断装
置（２０）を設けである。

前記果梗切断装置（２０）について説明すれば、前記力
フタ（２０ａ）及び果梗押圧部材（２０ｂ）の夫々を、
帯板状で且つ半円弧状に形成すると共に、同軸芯周りで
回動操作自在に、前記捕捉部ケース（１１）に枢着して
あり、捕捉した果実の果梗をそれらの間で支持すべく前
記捕捉部ケース（１１）から前方に突出させる状態と、
それらの間に果実を導入する通路を形成すべく退避させ
る状態とに切り換えられるように、差動機構（２１）を
介して電動モータ（２２）に連動連結してある。つまり
、前記カッタ（２０ａ）及び果梗押圧部材（２０ｂ）の
何れか一方が先に果梗に接当した場合に、その接当した
一方の起立作動を停止させた状態で他方を引き続き起立
差動させることができるようにしてある。又、前記果梗
切断装置（２０）の起立作動完了検出用のリミットスイ
ッチ（Ｓ１）、及び、引退作動完了検出用のリミットス
イッチ（Ｓ１）を、前記差動機構（２１）の入力ギヤ（
２３）に付設の突片（２４）にて操作されるように設け
である。尚、図中、（２４）は前記力フタ（２０ａ）の
切断作動用エアシリンダ、（２５）は前記果梗切断袋Ｗ
（２０）の起立作動及び引退作動に伴って開閉操作され
るカバー、（２６）はその開閉操作用エアシリンダ、（
２７）は前記バキュームパッド（１３）の出退操作用の
エアシリンダである。

次に、前記カメラ（Ｓ０）による撮像画像情報に基づい
て、前記作業用ハンド（Ｈ）を作業対象果実（Ｆ）に向
けて誘導する手段の構成について説明する。

第１図に示すように、前記カメラ（Ｓ０）からの逼像情
報を画像処理することにより、詳しくは後述する作業対
象果実（Ｆ）の色のみに対応した領域（Ｆ０）内におい
て最も明るく見えるハイライト領域（Ｐ０）、及び、作
業対象果実（Ｆ）の色のみに対応した領域（Ｆ０）の幾
何学的特徴点（Ｐｌ）を検出する視覚装置（Ａ）として
機能すると共に、それらの画像情報及び前記近接センサ
（Ｓ２）、負圧センサ（Ｓ＋）、リミットスイッチ（ｓ
ｚ）　、　（Ｓ４）等の検出情報や予め記憶設定された
各種情報に基づいて、前記昇降用シリンダ（５）、バキ
ュームパッド（１３）、作業用ハンド（Ｉ１）を作動さ
せる各エアシリンダ（２４）　、　（２６）　、　（２
７）、旋回並びに揺動用の各電動モータ（６）　、　（
７）　、　（９ａ）　、　（９ｂ）　、　（９ｃ）等の
各アクチュエータの作動を制御することにより、前記作
業用ハンド（）ｌ）を作業対象果実（Ｆ）に向けて誘導
する誘導手段（Ｂ）を構成する制御装置（２８）を設け
である。

前記視覚装置（Ａ）による画像処理について説明すれば
、第３図（イ）〜（ニ）に示すように、前記カメラ（Ｓ
０）にて得られた作業対象果実（Ｆ）のカラー画像情報
（Ｇ０）　（第３図（イ）参照）から、作業対象果実（
Ｆ）の色のみに対応した領域（Ｆ１）を抽出した２値化
画像情報（Ｃｔ）（第３図（［１）参照）を得ると共に
、前記カラー画像情報（Ｃ０）のグレイレベルを量子化
した濃淡画像情報（Ｃ２）　（第３図（ハ）参照）を抽
出し、この濃淡画像情報（Ｃ１）を、前記２値化画像情
報（Ｃｔ）にてマスクして、前記作業対象果実（Ｆ）の
色のみに対応した領域（Ｆ０）内の最も明るく見えるハ
イライト領域（Ｐ０）、及び、前記作業対象果実（Ｆ）
の色のみに対応した領域（Ｆ０）の幾何学的特徴点とし
ての重心（Ｐ１）の夫々を求めるようにしてある（第３
図（＝）参照）。

つまり、作業対象果実（Ｆ）とその周囲にある技や葉、
あるいは背景となる空等は、その色が異なることから、
前記カメラ（Ｓ０）によるカラー画像情報（Ｃ０）から
作業対象果実（Ｆ）の色のみに対応した領域（Ｆ０）を
抽出して２値化すれば、作業対象果実（Ｆ）のみに対応
した領域を抽出できると共に、果実は一般的に球形であ
り、その表面での反射が強くなる個所が少なくとも各果
実−個に対して一個所は存在することから、前記領域（
Ｆ０）内における濃淡画像情報（Ｃ２）のグレイレベル
に基づいて最も明るく見えるハイライト領域（Ｐ０）を
抽出すれば、その位置の情報を、複数個の果実（Ｆ）が
重なりあった状態の２値化画像情報（Ｃυとして認識し
た領域（Ｆ０）内における果実側々の位置を代表する情
報として用いることができることを利用したものである
。又、前記作業対象果実（Ｆ）の色のみに対応した領域
（Ｆ０）の重心（Ｐｏは、前記ハイライト６Ｍ域（Ｐ０
）が、−個の果実に対して一個所のみあるとは限らず、
又、果実の中心に近い個所にあるとは限らないために、
前記作業用ハンド（）ｌ）を、直接前記ハイライト領域
（Ｐ０）に方向に向けて誘導すると、前記近接センサ（
Ｓ２）が作動しない虞れがあるため、先ず、前方側に果
実が確実に存在する状態の前記重心（Ｐｌ）の方向に向
けて誘導するようにしてある。

次に、前記ハイライト領域（Ｐ０）及び重心（Ｐ１）の
検出情報に基づいて、前記作業用ハンド（）ｌ）を作業
対象果実（Ｆ）に向けて誘導する誘導手段（Ｂ）の構成
を、前記制御装置（２８）の動作を説明しながら詳述す
る。

第２図に示すように、前記カメラ（Ｓ０）により作業対
象果実（Ｆ）の位置する範囲を逼像して、上記画像処理
行うことにより、前記作業対象果実（Ｆ）の色のみに対
応した領域（Ｆ０）の重心（ｐ＋）及びハイライト領域
（Ｐ０）を検出して、前記作業用ハンド（Ｈ）の現在位
置に対する作業対象果実（Ｆ）の位置する方向を演算す
る。但し、前記重心（Ｐ１）及びハイライト領域（Ｐ０
）が一つも検出されない場合は、逼像範囲内には作業対
象果実（Ｆ）が存在しないものと判別して、次の盪像範
囲内の画像処理を行うこととなる（ステフブ＃１〜ステ
フブ１４）。

次に、前記画像処理にて抽出された作業対象果実（Ｆ）
の色のみに対応した領域（Ｆ０）の大きさや重心（Ｐｌ
）及びハイライト領域Ｉ域（Ｐ０）の個数及びその明る
さ等に基づいて作業順序を決定し、その順序に基づいて
、前記カバー（２５）を閉じた状態で、前記バキューム
パッド（１３）の吸引口が前記抽出された作業対象果実
（Ｆ）の色のみに対応した領域（Ｆ０）のうちの−っの
重心（Ｐｏの位置する方向を向（状態を維持しながら前
記伸縮アーム（８）を突出させて、前記作業用ハンド（
Ｈ）を、前記近接センサ（Ｓｚ）が作動するまで、前記
重心（ｐ１）に向けてアプローチさせる。但し、アプロ
ーチ距離が予め設定した距離以上になっても前記近接セ
ンサ（Ｓ２）が作動しない場合は、前記伸縮アーム（８
）を短縮して元のアプローチ開始位置まで戻して、アプ
ローチを中止するようにしてある（ステツブ１１５〜ス
テフブ＃８）。

前記近接センサ（Ｓ２）が作動するに伴って、前記伸縮
アーム（８）をその位置で一旦停止させると共に、前記
作業用ハンド（Ｈ）の向きを前記ハイライト領域（Ｐ０
）のうちの一つの位置する方向に向き変更した後、前記
バキュームパッド（１３）の吸引作動を開始して、前記
近接センサ（Ｓ２）の作動距離に相当する距離分前方側
に移動させる。

但し、作業用ハンド（）Ｉンを、前記近接センサ（Ｓ２
）の作動距離に相当する距離分を移動させても前記負圧
センサ（Ｓｌ）が作動しない場合は、前記バキュームパ
ッド（１３）の吸引作動を停止して、前記作業対象果実
（Ｆ）の色にのみ対応した領域（ｐ０）内のハイライト
領域（Ｐ１）全部に対してアプローチが終了したか否か
を判別して、他のハイライト領域（Ｐ０）がある場合は
、前記近接センサ（Ｓ２）の作動距離分を後退させた後
、次のハイライ）　Ｓｆｆ域（Ｐ０）の方向に向きを変
更して、再度アプローチさせる。一方、前記作業対象果
実（Ｆ）の色にのみ対応した領域（Ｆ０）内のハイライ
ト領域（Ｐ０）全部に対してアプローチが終了している
場合は、前記伸縮アーム（８）を短縮して元のアプロー
チ開始位置まで戻して、アプローチを中止するようにし
てある（ステフプ＃９〜ステフブ＃１５）。

前記負圧センサ（Ｓｌ）が作動して作業対象果実（Ｆ）
を所望通り吸着したことを検出すると、前記カバー（２
５）を開くと共に、バキュームパッド（１３）を引退作
動させ、それと同時に作業用ハンド（Ｈ）を前方側に移
動させて、前記果梗切断装置（２０）の作動範囲内に吸
着した果実を取り込む。

そして、前記カッタ（２０ａ）及び果梗押圧部材（２０
ｂ）を起立作動させると共に、前記起立作動完了検出用
のリミットスイッチ（Ｓ１）の検出情報に基づいて、そ
の起立作動が完了したか否かを判別する（ステフブ＃１
６〜ステフブ＃１９）。

前記力フタ（２０ａ）及び果梗押圧部材（２０ｂ）の起
立作動が完了している場合は、前記バキュームパッド（
１３）の吸引作動を停止させると共に、その状態で作業
用ハンド（ｌ（）を後退させて、果梗の基部側にカッタ
（２０ａ）を位置させるようにした後、前記力フタ（２
０ａ）を作動させて果梗を切断する。切断後は直ちにバ
キュームパッド（１３）の吸引作動を再開して果梗切断
後の果実を再度吸着し、その後、前記カッタ（２０ａ）
及び果梗押圧部材（２０ｂ）を前記引退作動完了検出用
のリミ・７トスイソチ（Ｓイ）が作動するまで倒伏作動
させると共に、前記伸縮アーム（８）を短縮して、作業
用ハンド（Ｈ）をアプローチ開始位置まで戻し、前記バ
キュームパッド（１３）を突出させると共に、その吸引
作動を停止して、収穫した果実を放出する。収穫した果
実を放出した後は、前記カハ−（２５）を閉じて、一つ
の果実に対する収穫作動を終了する。但し、前記起立作
動完了検出用のりミツトスイッチ（Ｓ３）が作動せず、
起立作動が完了しない場合は、技等の他物が挟み込まれ
る等のトラブル発生であると判断させて、前記カッタ（
２０ａ）及び果梗押圧部材（２０ｂ）を前記引退作動完
了検出用のリミントスイッチ（Ｓ４）が作動するまで倒
伏作動させると共に、前記伸縮アーム（８）を短縮して
、作業用ハンド（Ｈ）をアプローチ開始位置まで戻して
作業を中止する（ステップ＃２０〜ステフブ＃２８）。

一つの果実に対する収穫作動を終了するに伴って、前記
画像処理にて認識された一画面内の果実に対するアプロ
ーチが終了したか否かを判別して、撮像範囲に一個の果
実も認識できなくなるまで、上述した各作動を操り返す
こととなる（ステツブ＃２９）。

〔別実施例〕

上記実施例では、幾何学的特徴点として、抽出した果菜
類の色のみに対応した領域（Ｆ０）の重心（Ｐｌ）を用
いた場合を例示したが、例えば、前記抽出領域（Ｆ０）
の境界に対する等距離点等、他の幾何学的特徴点を用い
てもよい。

本発明を実施するに、作業用ハンド（Ｈ）の具体構成、
作業用ハンド（１（）をＫｆ、４するための具体構成等
、各部の構成は、作業対象や作業形態に応じて各種変更
できる。

又、上記実施例では、果実の収穫作業を行うための構成
について例示したが、トマト等の野菜の収穫等、他の作
業にも適用できる。

【図面の簡単な説明】

図面は本発明に係る果菜類用作業機の誘導装置の実施例
を示し、第１図は制御システムの構成を示すブロック図
、第２図は制御装置の動作を示すフローチャート、第３
図（イ）〜（ニ）は視覚装置による画像処理の説明図、
第４図は作業用ハンドの切り欠き平面図、第５図はその
切り欠き側面図、第６図は果実収穫機の全体側面図であ
る。 （Ｆ）・・・・・・作業対象果菜類、（Ｆ０）・・・・
・・作業対象果菜類の色のみに対応した領域、（Ｐ０）
・・・・・・ハイライト領域、（Ｐｌ）・・・・・・幾
何学的特徴点、（Ｓ２）・・・・・・近接センサ、（Ｈ
）・・・・・・作業用ハンド、（Ａ）・・・・・・視覚
装置、（Ｂ）・・・・・・誘導手段。

Claims (3)

【特許請求の範囲】
1. （１）作業対象果菜類（Ｆ）を撮像した画像情報に基づ
   いて、前記作業対象果菜類（Ｆ）の色のみに対応した領
   域（Ｆ＿０）内において最も明るく見えるハイライト領
   域（Ｐ＿０）を検出する視覚装置（Ａ）を備えると共に
   、前記作業対象果菜類（Ｆ）に対して設定距離内に接近
   したことを検出する近接センサ（Ｓ＿２）を備えた作業
   用ハンド（Ｈを、前記ハイライト領域（Ｐ＿０）の方向
   に向けて移動させるべく誘導する誘導手段（Ｂ）を備え
   た果菜類用作業機の誘導装置であって、前記視覚装置（
   Ａ）に、前記作業対象果菜類（Ｆ）の色のみに対応した
   領域（Ｆ＿０）の幾何学的特徴点（Ｐ＿１）を検出する
   手段を備えさせると共に、前記誘導手段（Ｂ）を、前記
   近接センサ（Ｓ＿２）が作動するまでは、前記幾何学的
   特徴点（Ｐ＿１）の方向に向けて前記作業用ハンド（Ｈ
   ）を移動させ、その後、前記ハイライト領域（Ｐ＿０）
   の方向に向けて移動させるように構成してある果菜類用
   作業機の誘導装置。
2. （２）前記幾何学的特徴点（Ｐ＿１）が、前記作業対象
   果菜類（Ｆ）の色のみに対応した領域（Ｆ＿０）の重心
   である特許請求の範囲第（１）項に記載の果菜類用作業
   機の誘導装置。
3. （３）前記幾何学的特徴点（Ｐ＿１）が、前記作業対象
   果菜類（Ｆ）の色のみに対応した領域（Ｆ＿０）の等距
   離点である特許請求の範囲第（１）項に記載の果菜類用
   作業機の誘導装置。