JP3873487B2

JP3873487B2 - Harvesting position control device for vegetable harvester

Info

Publication number: JP3873487B2
Application number: JP31617198A
Authority: JP
Inventors: 誠一有馬
Original assignee: Iseki and Co Ltd
Current assignee: Iseki and Co Ltd
Priority date: 1998-11-06
Filing date: 1998-11-06
Publication date: 2007-01-24
Anticipated expiration: 2018-11-06
Also published as: JP2000139163A

Description

【０００１】
【発明の属する技術分野】
この発明は、走行車台上に設けた視覚センサで野菜の画像を撮影し、収穫装置で該野菜を把持して収穫するが、最初の入力画像による位置データで最初の収穫アプローチに失敗した後に、再入力した画像による位置データから該野菜の位置を確認するときに、最初の該位置データと再入力の該位置データとに相違があるときは、再入力の該位置データに変更して再度収穫アプローチし、相違していないときは、該収穫装置の自重による歪みで下方への変化であると判定し、最初の設定位置の上方へ該収穫装置の位置を修正する技術であり、野菜収穫機の収穫位置制御装置として利用できる。
【０００２】
【従来の技術】
野菜が、例えば、キュウリであり、このキュウリを収穫するときは、野菜収穫機の走行車両を圃場の畝間の溝部を走行させて、走行車台上に設けた視覚センサでキュウリの画像を撮影して、収穫適期のキュウリであるか否かを検出すると共に、このキュウリの入力画像からこのキュウリの位置が検出されて、位置データとして入力され、この入力された位置データの位置まで収穫装置は移動制御されて停止し、この収穫装置でキュウリを把持して摘果し、摘果が終了するとこの収穫装置は所定位置へ復元されて、摘果したキュウリは所定位置へ排出されて収穫が終了する。
【０００３】
この収穫作業のときに、最初の入力画像による位置データによって、最初の収穫アプローチを失敗すると、再度最初の位置データによって再度収穫アプローチが行われてキュウリを収穫する。
【０００４】
【発明が解決しようとする課題】
最初の入力された位置データによって、最初の収穫アプローチを失敗しても、再度最初の位置データによって、再度収穫アプローチを行うことにより、再度失敗する確率が高く、又、収穫装置でキュウリを把持したとしても、このキュウリの所定位置が把持されないことがあり、このために、所定位置を切断して摘果することができないことが発生していたが、この発明により、これらの問題点を解決しようとするものである。
【０００５】
【課題を解決するための手段】
このために、この発明は、走行車両８の走行車台２の上側に野菜（イ）の画像を撮影する視覚センサ１１と、該野菜（イ）を把持して収穫する収穫装置１０等とを設けた野菜収穫機において、最初の入力画像による位置データ（Ａ）によって最初の収穫アプローチに失敗した後に再入力した画像による位置データ（Ｂ）から該野菜（イ）の位置を確認するときに、最初の入力の該位置データ（Ａ）と再入力の該位置データ（Ｂ）とに相違があるときは、再入力の該位置データ（Ｂ）に変更して再度アプローチすると共に、相違していないときは、該収穫装置１０の自重による歪みによってアプローチ方向が下方への変化であると判定して最初の設定位置である上方へ該収穫装置１０の位置を修正して再度アプローチすることを特徴とする野菜収穫機の収穫位置制御装置の構成とする。
【０００６】
【発明の作用】
キュウリ（イ）を収穫するときは、野菜収穫機の走行車両８を圃場の畝間の溝部を走行させて、走行車台２上に設けた視覚センサ１１でキュウリ（イ）の画像を撮影して、収穫適期のキュウリ（イ）であるか否かを検出すると共に、このキュウリ（イ）の入力画像からこのキュウリ（イ）の位置が検出されて、位置データ（Ａ）として入力され、この入力された位置データ（Ａ）の位置まで収穫装置１０は移動制御されて停止し、この収穫装置１０でキュウリ（イ）を把持して摘果し、摘果が終了するとこの収穫装置１０は所定位置へ復元されて、摘果したキュウリ（イ）は所定位置へ排出されて収穫が終了する。
【０００７】
この収穫作業のときに、最初の入力画像による位置データ（Ａ）によって、最初の収穫アプローチを失敗すると、失敗した後に再入力した画像からキュウリ（イ）の位置が検出されて、位置データ（Ｂ）として入力され、このキュウリ（イ）の位置を確認するときには、最初の入力の位置データ（Ａ）と再入力の位置データ（Ｂ）とが比較され、相違しているときは、再入力に位置データ（Ｂ）をキュウリ（イ）位置に変更して、この位置データ（Ｂ）により、前記収穫装置１０を再度収穫アプローチをしてキュウリ（イ）を収穫する。
【０００８】
又、相違していないときは、前記収穫装置１０の自重による歪みによってアプローチ方向が下方へ変化であると判定して、最初の設定位置である上方へこの収穫装置１０の位置を修正して、再度収穫アプローチをしてキュウリ（イ）を収穫する。
【０００９】
【発明の効果】
最初の画像入力から収穫アプローチの間に、収穫対象のキュウリ（イ）が移動したか、又は収穫装置１０の自重による歪みでアプローチ方向が変化したかの確認ができることにより、再画像入力の位置データ（Ｂ）によって対応可能となり、正確な収穫作業ができる。又、該収穫装置１０の微調整ができることにより、より確実な収穫作業ができる。
【００１０】
【発明の実施の形態】
以下、本発明の一実施例を図面に基づいて説明する。
図例は、野菜（イ）は、例えば、キュウリ（イ）であり、圃場の畝（ロ）上に傾斜状態に栽培したこのキュウリ（イ）を収穫する農業用ロボットである野菜収穫機１を図示して説明する。
【００１１】
前記野菜収穫機１の走行車両８の走行車台２下側の左右両側の前後両側には、一対の前輪３と後輪４を各々配設し、これら前輪３と後輪４の４輪に対し各別に車輪駆動用モータ５を連動連結すると共に、進行方向に対して操縦旋回自在に軸支し、これら前・後輪３，４を各別に舵取り制御するための操向角度を検出する操向角度センサ６を各別に設けると共に、これら前・後輪３，４の間には、動力電源としてのバッテリ７を収納して前記走行車両８を構成し、これら前・後輪３，４は、畝（ロ），（ロ）間で形成する溝（ハ）内を走行する。
【００１２】
前記走行車台２上の前部には、この野菜収穫機１の操作制御を行うコントローラ等を内装した前カバー９を設け、この前カバー９の後方には、キュウリ（イ）を収穫する収穫装置１０を設け、この収穫装置１０はキュウリ（イ）の画像を撮像するＣＣＤカメラ１１ａによる視覚センサ１１と、この視覚センサ１１の撮像によるキュウリ（イ）を把持して摘果するマニピュレータ１２とを装架した、略円筒形状でその一部を直角状に切り欠いだ作業旋回胴１３を旋回可能に設けた構成であり、該視覚センサ１１、及び該マニピュレータ１２は、該作業旋回胴１３内を上下移動自在に構成している。
【００１３】
前記作業旋回胴１３の後方部で走行車台２の上側に設けた後カバー１７内には、収穫したキュウリ（イ）を収納するためのキャリーの格納と放出とを行うキャリー収納部１８を設け、該後カバー１７の後側面には、野菜収穫機１の走行操作、及び各種制御操作する操作装置１９を設けた構成である。
前記マニピュレータ１２は、多関節による人間の腕と手先の動きに近い作用を行わせるために、基部の回動メタル１４で形成するショルダ関節部（Ａ）、伸縮直動アーム１５で形成するアーム関節部（Ｂ）、先端の把持、及び切断するエンドエフェクタ１６部を連結形成するリスト関節部（Ｃ）、及び水平旋回させるウエスト関節部（Ｄ）等よりなり、これらの各関節部を相互に連結配置した構成であり、傾斜状態に栽培した収穫適期のキュウリ（イ）を視覚センサ１１のＣＣＤカメラ１１ａで検出し、この検出したキュウリ（イ）をマニピュレータ１２で把持して摘果する構成としている。
【００１４】
前記エンドエフェクタ１６の先端部には、図６で示す如く植物、例えば、キュウリ（イ）に強く反応するＯＮ−ＯＦＦスイッチ方式の近接センサ１６ａを設けると共に、キュウリ（イ）に当接して回動するセンサプレート１６ｂ、及びキュウリ（イ）を検出するＯＮ−ＯＦＦスイッチ方式の接触センサ１６ｃを設けた構成である。
【００１５】
前記近接センサ１６ａがキュウリ（イ）を検出しなく、この近接センサ１６ａがＯＦＦ状態で、このＯＦＦ状態が入力されているときは、エンドエフェクタ１６は前進の所定位置までは、高速度でアプローチされる。又、該近接センサ１６ａが、キュウリ（イ）を検出して、この近接センサ１６ａがＯＮ状態となり、このＯＮ状態が入力されると、該エンドエフェクタ１６は前進の所定位置からキュウリ（イ）を把持する位置までは、低速度でアプローチされる構成である。
【００１６】
前記センサプレート１６ｂがキュウリ（イ）に接触して回動し、この回動によって接触センサ１６ｃがＯＮ状態となり、このＯＮ状態が入力されると、該エンドエフェクタ１６を停止制御する構成である。
これにより、接触センサ１６ｃはキュウリ（イ）の自重によってＯＮされ、葉等ではＯＮしない構成である。これによって、キュウリ（イ）がエンドエフェクタ１６で把持されたことも認識できて便利である。又、近接センサ１６ａを設けたことにより、障害物が明らかに無い部分では、高速アプローチして収穫時間の短縮を図り、障害物がある可能性が大きい付近では、低速アプローチすることで葉、及び茎の損傷を防止できる。更にキュウリ（イ）へ高速での衝突を防ぎ、損傷を防止することができる構成である。
【００１７】
前記マニピュレータ１２とキュウリ（イ）を補助的に収納する補助収納ケース２０とは、上下方向にスライド移動させるネジ部を有するスライド軸２１を作業旋回胴１３の直角状の切り欠き部壁面の内側に沿って回動可能に支承すると共に、このスライド軸２１の回動により、上下移動自在にスライドガイド２２を軸支した構成である。このスライドガイド２２にマニピュレータ１２のベース部２３を、該作業旋回胴１３の直角状の切り欠き部壁面に沿って設けた２条の摺動溝１３ｂを貫通して結合すると共に、該スライド軸２１を回動させるスライドモータ２４をこのスライド軸２１の下端部に連動連結し、該作業旋回胴１３と共に、視覚センサ１１のＣＣＤカメラ１１ａ、及び該マニピュレータ１２を略１８０度旋回させる車台モータ２５は、前記走行車台２の該作業旋回胴１３の中心位置に配置すると共に、連動連結した構成である。
【００１８】
前記視覚センサ１１のＣＣＤカメラ１１ａは、上下方向にスライド移動させるネジ部を有するスライド軸２６は、作業旋回胴１３の直角状に切り欠き部壁面の内側に沿って回動可能に支承すると共に、このスライド軸２６の回動により、上下移動自在にスライドガイド２７を軸支した構成である。このスライドガイド２７の上面部には、マニピュレータ１２の摺動溝１３ａを有する壁面に対して略直角位置に変化させる壁面に沿って設けた摺動溝１３ｂを貫通して、該ＣＣＤカメラ１１ａの結合アーム１１ｂを結合させると共に、スライド軸２６を回動させるためのスライドモータ２８をこのスライド軸２６の下端部に連動連結し、該摺動溝１３ｂには、該ＣＣＤカメラ１１ａの姿勢を保持させると共に、摺動可能なガイドレールを設けた構成である。
【００１９】
前記マニピュレータ１２は、図４、及び図５で示す如く多関節による人間の腕と手先の動きに近い作用を行わせるために、その基部から先端側にかけて各々ショルダ関節部Ａ、アーム関節部Ｂ、リスト関節部Ｃ等の各関節部を相互に連結配置した構成である。
前記ショルダ関節部Ａは、マニピュレータ１２を上下回動させるためのショルダ関節として、サーボモータによるショルダモータ２９を組み込み連動連結した構成である。
【００２０】
前記アーム関節部Ｂは、２段階に伸縮させる伸縮直動アーム１５の基部に組み込んだサーボモータによるアームモータ３０から、該伸縮直動アーム１５基部の固定筒１５ａに内装したボールネジ等からなるスライダ３１に連動連結すると共に、このスライダ３１の回動により、該固定筒１５ａ内に、１段目の伸縮筒１５ｂを収納可能にガイドレール３２を該スライダ３１と並行して内装配置する。該アームモータ３０から１段目の該伸縮筒１５ｂ内に張設したタイミングベルト３２ａを介して、ボールネジ等からなるスライダ３３に連動連結すると共に、このスライダ３３の回動により、１段目の該伸縮筒１５ｂ内に、２段目の伸縮筒１５ｃを収納可能にガイドレール３４をスライダ３３と並行して内装配置した構成である。前記リスト関節部Ｃは、２段目の伸縮筒１５ｃの基部側に組み込んだサーボモータによるリストピッチモータ３５から、該伸縮筒１５ｃの先端部まで延長したリスト駆動軸３６の端部にウォームギヤ３７ａを軸止すると共に、このウォームギヤ３７ａと直角交差して、噛み合うウォームホイル３７ｂにリストピッチ関節軸３８を軸止して各々連動連結すると共に、このリストピッチ関節軸３８が該伸縮筒１５ｃの外部に突出した軸端に、角筒状のエンドエフェクタ１６の回動を支持するＬ字状の回動支持アーム３９を軸止した構成である。
【００２１】
前記回動支持アーム３９に、エンドエフェクタ１６の後端部を支承して略１８０度範囲で鉛直平面内をピッチ回動させると共に、このエンドエフェクタ１６を略１８０度範囲でロール回動させるサーボモータによるリストロールモータ４０を、該回動支持アーム３９を介して該エンドエフェクタ１６の後端部に連動連結した構成である。
【００２２】
前記マニピュレータ１２を水平旋回させるウエスト関節部Ｄにおけるサーボモータによるウエストモータ４１の回動軸心を、ショルダ関節部Ａが装着されるベース部２３において、エンドエフェクタ１６の作業中心軸が伸縮直動アーム１５の基部に向けて延長した軸線と交わる位置に組み込み連動連結して設ける。このベース部２３の下面にキュウリ（イ）を数個収納可能で、キュウリ（イ）の摘果時に該エンドエフェクタ１６の位置までスライド延出すると共に、その底面を開閉可能に設けた補助収納ケース２０を、ラックとピニオンにより駆動するケーススライドモータ４２を組み込んで作業旋回胴１３の上面に配置した構成である。
【００２３】
前記エンドエフェクタ１６は、図７〜図１１に示す如く角筒状の箱体４３を有し、この箱体４３内の上部一側にキュウリ（イ）を摘果する摘果モータ４４を配置し、このモータ４４にスライドネジ４５を前方に向け延長して連結すると共に、このスライドネジ４５の回転方向により前進、又は後進するスライドアーム４５ａを、該摘果モータ４４の側部に平行して前後方向に延設したガイドレール４６によって摺動案内される断面Ｕ字状の摘果ベース４７に接合し、この摘果ベース４７のＵ字状の片側後端部の側部突起４７ａを、前後に配置したリミットスイッチ前４６ａ、及びリミットスイッチ後４６ｂとに各々係合可能な構成である。
【００２４】
４点平行リンクによる左右の摘果リンク４８によって、摘果ベース４７の前端部と摘果アーム４９の後部とを連結すると共に、該摘果ベース４７のリンクピン４７ｂに該摘果リンク４８による該摘果アーム４９の上動を一定の荷重で抑える抑えバネ４７ｃを張設し、該摘果アーム４９の前端部に、キュウリ（イ）の果柄の検出と切断を行う平面視Ｕ字形状の摘果プレート５０のＵ字基部を支持した構成である。
【００２５】
前記摘果プレート５０は、摘果アーム４９に支持するＵ字基部から前端の開口端部５０ａに亘り、キュウリ（イ）への押圧力を上方向への分力により逃して適正な圧力を保持できる角度θとなるよう傾斜させると共に、左右の該開口端部５０ａの先端には各々該摘果プレート５０のキュウリ（イ）への押圧上動を円滑にするための摺動ローラ５０ｂを軸支し、キュウリ（イ）の果柄を取り入れるＵ字形状の長孔部５０ｃを平面視斜めに遮断する状態に薄刃状のカッタ刃５０ｄを、果柄の押し切りを容易とするよう傾斜姿勢の該摘果プレート５０に対し水平状態に取り付けた構成である。
【００２６】
前記箱体４３内の中央下部にキュウリ（イ）を把持する把持モータ５１を配置し、この把持モータ５１から前方側にウォームギヤ５１ａを固着し、このウォームギヤ５１ａと噛合する左右のウォームホイル５１ｂを各々左右対称位置に配設すると共に、この左右のウォームホイル５１ｂから各々上方に向けて支承した左右の把持軸５２に、この把持軸５２の回動によりキュウリ（イ）を把持可能な長さ前方へ延出した左右の把持プレート５３を連動可能に設け、この把持プレート５３には、リターン用の戻しバネ５３ａと、キュウリ（イ）を傷つけないための緩衝パット５３ｂを各々取り付けた構成である。図１１で示す如く左右両側の該把持軸５２には、該ウォームホイル５１ｂの上側に、該把持プレート５３の開閉と同時に開閉する把持プレートカム５２ａを固着し、この左右両側の把持プレートカム５２ａの開閉状態を検出する把持プレート閉スイッチ５２ｂを左右両側に設けている。又、左右両側の該把持軸５２には、該戻しバネ５３ａの上側に、該把持プレート５３の開閉と同時に開閉する果実径用カム５２ｃを回動自在に設け、この果実径用カム５２ｃの閉状態位置により、ＯＮする果実径検出用スイッチ５２ｄを左右両側に設け、この果実径検出用スイッチ５２ｄのＯＮにより、検出したキュウリ（イ）は設定径より小径であると検出する構成である。
【００２７】
これにより、一方側の前記果実径検出用スイッチ５２ｄがＯＮすれば、キュウリ（イ）が把持されているか、もしくは収穫対称外（小径）のキュウリ（イ）と判定できる。又、一方側が主茎と共に、キュウリ（イ）を把持したときでも、他方側がキュウリ（イ）に接触するために小径のキュウリ（イ）と判定できる。
前記把持モータ５１の上側で左右の把持軸５２の間に、キュウリ（イ）を把持する際に吸引固定するための吸着パット５４を配置し、この吸着パット５４を前後に移動させるスライドネジ５４ａを後方に向け延長し、このスライドネジ５４ａと連動連結させた吸着モータ５５は、摘果モータ４４と反対側の上部位置側に配設した構成である。なお、エンドエフェクタ１６はオフセットにより交換を可能とする。
【００２８】
前記各把持プレート５３は、１個の把持モータ５１で開閉させる構成であり、開閉何れの場合にも左右独立して回動自在な各把持軸５２の回動により、この回動運動を各戻しバネ５３ａを介して、該各把持プレート５３へ伝達し、この各戻しバネ５３ａを介することにより、該把持プレート５３は回動自在な構成である。
【００２９】
これにより、一方側の前記把持プレート５３のみでも、キュウリ（イ）に接触するために、キュウリ（イ）の固定ができて、収穫作業ができる。更に該把持プレート５３は左右独立で回動自在であることにより、キュウリ（イ）の主茎を把持したままマニピュレータ１２を縮めれば、主茎は該把持プレート５３から外れ、その瞬間にキュウリ（イ）を把持できる。
【００３０】
図１３に示す如く制御機構として前記走行車両８の車輪駆動用モータ５，操向角度センサ６，キャリー制御部１８ａ等を制御する走行部コントローラ５６ａと、ＣＣＤカメラ１１ａを制御する視覚部コントローラ５６ｂと、マニピュレータ１２を制御する摘果部コントローラ５６ｃと、これら各コントローラ５６ａ，５６ｂ，５６ｃと共に、操作装置１９、及び安全装置５７等を統括制御するメインコントローラ５６とを前カバー９に内装して構成する。
【００３１】
該視覚部コントローラ５６ｂは、図１４に示す如く、ＯＣＲ５８から信号を受けた駆動パルス発生回路５９からドライバ６０を介してレシーバ６１へ、このレシーバ６１からＣＣＤカメラ１１ａへ接続する。該ＣＣＤカメラ１１ａの駆動により検出された信号をビデオ信号に交換する信号処理回路６２と該ＣＣＤカメラ１１ａとを接続し、この信号処理回路６２からＡ／Ｄ変換器６３を経て画像メモリ６４へ接続すると共に、この画像メモリ６４と高速画像処理を行う画像処理回路６５とＣＰＵ６６とを相互通信可能に接続する。該ＣＰＵ６６からビデオ信号を基にランプ発光タイミングと該Ａ／Ｄ変換器６３の開始タイミングを設定するタイミング回路６７へ接続し、このタイミング回路６７と該Ａ／Ｄ変換器６３、及びランプ駆動回路６８とを接続すると共に、該タイミング回路６７へ該信号処理回路６２を接続させ、該ランプ駆動回路６８を介してハロゲンランプ６９を駆動させるべく接続し、フォトセンサ７０からＡ／Ｄ変換を経てＣＰＵ６６へ接続して構成する。
【００３２】
前記摘果コントローラ５６ｃは、図１５に示す如く、サーボモータとしての前記ウエストモータ４１，スライドモータ２４，スライドモータ２８，ショルダモータ２９，アームモータ３０，リストピッチモータ３５，リストロールモータ４０、及び把持モータ５１を各々コントロールドライバ７１を介して接続すると共に、摘果モータ４４，吸着モータ５５を各々接続して構成する。なお、該各サーボモータ４１，２４，２８，２９，３０，３５，４０には各々エンコーダ、及び原点検出センサを組み合わせて設ける。
【００３３】
前記野菜収穫機１により作業対象物としてのキュウリ（イ）の収穫を行うときは、図１３で示す如く走行部コントローラ５６ａによる車輪駆動モータ５や操向角度センサ６等の制御により畝（ロ）間に形成した溝（ハ）に沿って走行を行いながら、傾斜棚Ｔに栽培された収穫適期のキュウリ（イ）をＣＣＤカメラ１１ａの上下スライド移動によって撮像し、この撮像により入力した画像を視覚部コントローラ５６ｂによって画像処理を行い、この画像情報による摘果部コントローラ５６ｃの演算によって、マニピュレータ１２の伸縮直動アーム１５を、ウエスト関節部Ｄによる左右旋回とショルダ関節部Ａによる上下移動とを行わせると共に、アーム関節部Ｂを伸縮させ、その先端部に位置するリスト関節部Ｃによりエンドエフェクタ１６を制御して収穫アプローチを行う。
【００３４】
この収穫アプローチ時に、エンドエフェクタ１６のピッチ回動、又はロール回動により、吸着モータ５５を駆動させて吸着パット５４を前方へスライドさせ、真空ポンプ７２から供給されるバキュームによりキュウリ（イ）を吸着した後、把持位置まで後退させると同時に、把持モータ５１を駆動させて把持プレート５３によりキュウリ（イ）を把持する。このキュウリ（イ）の把持により摘果モータ４４を駆動させて、スライドネジ４５によりスライドアーム４５ａを介して摘果ベース４７をリミットスイッチ前４６ａによる規制位置まで前進を可能とし、この摘果ベース４７の前進と共に摘果リンク４８により連結される摘果アーム４９を介して摘果プレート５０を前進させる。
【００３５】
前記吸着パット５４と真空ポンプ７２との間には、図１２で示す如く電磁バルブ７３、及び圧力センサ７４を設け、各把持プレート５３を開状態に操作して、キュウリ（イ）をリリースするときには、該電磁バルブ７３をオープンにする構成である。
これにより、キュウリ（イ）をリリースするときに、キュウリ（イ）の放置姿勢を前記エンドエフェクタ１６の向きに規制することができる。
【００３６】
前記吸着パット５４を真空ポンプ７２で作動させるときに、例えば、該吸着パット５４を前方へ約２０ｍｍスライドさせて、キュウリ（イ）へアプローチする。該真空ポンプ７２をＯＮして、キュウリ（イ）を吸着する。該吸着パット５４を後方へスライドさせて、把持部内へ誘導する構成である。該真空ポンプ７２内の空気圧が上がれば、該吸着パット５４の移動速度と、エンドエフェクタ１６の前進速度とを同速度にした構成である。該吸着パット５４が初期位置にきたときに、各把持プレート５３により、キュウリ（イ）を把持する構成である。
【００３７】
これにより、キュウリ（イ）の果柄の長短に関係なく、このキュウリ（イ）を確実に把持部内へ誘導できて、確実な把持が可能になる。
前記真空ポンプ７２の圧力を検出する圧力センサ７４が所定値以下の検出に伴い、キュウリ（イ）を吸着したと判定する構成である。
これにより、キュウリ（イ）の主茎、及び葉部には、細かなヒゲがあり、前記吸着パット５４は吸着しない。真空ポンプ７２内の圧力が下がれば、キュウリ（イ）の上端部近傍に該吸着パット５４が吸着したと判定できる。又、圧力が下降しないときには、アプローチ方向が違うとして再アプローチ動作へ移行できる。
【００３８】
前記吸着パット５４がキュウリ（イ）へ吸着する位置は、収穫しようとするキュウリ（イ）の上端部から略３０ｍｍ程度下方位置近傍を吸着する構成とし、このキュウリ（イ）のイボのない、又、表面が光沢のある位置とした構成である。
これにより、確実な吸着ができる。又、イボのない位置は他部より外力に強く、高い圧力で吸引できる。
【００３９】
前記吸着パット５４は、エンドエフェクタ１６内に設け、真空ポンプ７２で作動させ、キュウリ（イ）を吸着後に把持部内へ誘導する構成としている。
これにより、キュウリ（イ）のみを把持でき、更に把持スペースを確保できる。
前記吸着パット５４の中心のスライドネジ５４ａの中心位置をリストロールの回転軸７５と一致させ、更に把持部中央に位置させた構成である。
【００４０】
これにより、傾斜したキュウリ（イ）もリストロールを回転することにより、対応できる。又、前記緩衝パット５３ｂでキュウリ（イ）を把持したときに、クッションになる。
前記吸着パット５４を前方へ移動させた状態で、キュウリ（イ）を収穫アプローチし、圧力センサ７４がＯＮした状態で、このキュウリ（イ）の正確位置を把握し、画像データにこの距離情報を加えて、キュウリ（イ）の大きさを再確認しなおす構成とするもよい。
【００４１】
これにより、キュウリ（イ）までの正確な距離情報を元に、キュウリ（イ）の大きさの判定ができて、収穫適期でないキュウリ（イ）を収穫する誤認識をしないし、更にこれらの処理の無駄な時間を少なくして処理できる。
前記吸着パット５４の移動位置をポテンショメータで検出する構成において、この吸着パット５４を把持部方向へ移動させる距離は、キュウリ（イ）の径分、例えば、３０ｍｍとした構成であり、この位置でキュウリ（イ）を把持する構成とするもよい。
【００４２】
これにより、把持位置からキュウリ（イ）の位置がどの位置にあるか把持でき、前記エンドエフェクタ１６内の把持部をマニピュレータ１２で移動しながら、キュウリ（イ）を把持部内へ誘導する際に、移動量が一定であることにより、高速移動が可能となる。
前記吸着パット５４の移動位置をポテンショメータで検出する構成において、このポテンショメータの検出値から移動速度を算出させ、移動速度が低下すると、即座にエンドエフェクタ１６を前進移動させて、キュウリ（イ）を把持部内に捕捉する構成とするもよい。
【００４３】
これにより、前記吸着パット５４の把持部方向への移動速度が遅くなると言うことは、主茎の自由度を最大限まで利用してキュウリ（イ）が移動していることになり、キュウリ（イ）と主茎との間は、最大限まで広くなっていることとなり、把持のみでなく果柄の切断も容易になり、又、カッタ刃５０ｄで主茎の切断を防止できる。
【００４４】
前記摘果プレート５０の前進によりその開口端部５０ａに軸支した摺動ローラ５０ｂをキュウリ（イ）の表面に押圧させるが、この押圧時に該摘果プレート５０を、押圧力を上方向への分力により逃して上動できる角度θだけ傾斜させていることにより、この傾斜による上方向への分力を抑えバネ４７ｃによる一定の荷重で抑えてキュウリ（イ）の表面に適正な圧力を保持して押圧させながら、該開口端部５０ａの摺動ローラ５０ｂの回動と共に摘果リンク４８により平行上昇スライドさせる。
【００４５】
前記摘果プレート５０が上昇スライドによりキュウリ（イ）の表面に沿って果柄部に達したときは、果柄が開口端部５０ａから長孔部５０ｃへ取り込まれ、水平姿勢のカッタ刃５０ｄによる押し切りにより摘果される。この摘果されたキュウリ（イ）をキャリーに収納し満杯になった時点でキャリー制御部１８ａにより地上に放出する。
【００４６】
キュウリ（イ）の収穫時のアプローチ失敗による位置制御は、前記視覚部コントローラ５６ｂへＣＣＤカメラ１１ａで撮像した画像が入力され、画像処理により、この視覚部コントローラ５６ｂでキュウリ（イ）までの位置である位置データ（Ａ）が検出され、この検出された位置データ（Ａ）により、摘果部コントローラ５６ｃで収穫装置１０のマニピュレータ１２が移動制御され、エンドエフェクタ１６により、このキュウリ（イ）を摘果するが、最初の収穫アプローチに失敗すると、再度画像が入力され、画像処理により、キュウリ（イ）までの位置データ（Ｂ）が再度検出される。
【００４７】
前記で入力された最初の（１次）の位置データ（Ａ）と、再入力（２次）の位置データ（Ｂ）とが前記視覚部コントローラ５６ｂで比較され、相違していると判定したときは、再入力（２次）の位置データ（Ｂ）に変更され、この変更された位置データ（Ｂ）により、再度収穫アプローチする構成である。又、相違していないと判定したときは、収穫装置１０のマニピュレータ１２の自重による歪みによってアプローチ方向が下方への変化であると判定して、最初の設定位置である上方へ該マニピュレータ１２の位置を修正して、再度収穫アプローチする構成であり、最初（１次）の画像入力から収穫アプローチの間に、収穫対象物のキュウリ（イ）が移動したか、該マニピュレータ１２の歪みによるアプローチ方向が変化したかの確認ができ、再画像入力のデータにより対応が可能となる。又、該マニピュレータ１２のアプローチ方向を微調整でき、より確実な収穫作業ができる構成である。
【００４８】
キュウリ（イ）の収穫時のアプローチ失敗による位置制御は、図１８で示すフローチャートに沿って作用を説明すると、キュウリ（イ）の収穫作業がスタートされ（Ｓ−１０１）、最初（１次）の画像が入力され（Ｓ−１０２），（Ｓ−１０３）へ進み、（Ｓ−１０３）〜（Ｓ−１２４）は図示の如く制御され、（Ｓ−１１８）でＮＯと判定されるとキュウリ（イ）（果実）が収穫され（Ｓ−１２５）、次ステップへ進む（Ｓ−１２６）。
【００４９】
キュウリ（イ）の収穫時のアプローチ失敗による位置制御は、前記左右両側の把持プレート５３に設けた把持プレート閉スイッチ５２ｂ，５２ｂがＯＮすれば、該各把持プレート５３をオープンにし、エンドエフェクタ１６を移動させる。最初（１次）の入力による位置データ（Ａ）と再入力（２次）の位置データ（Ｂ）が比較され、相違していると判定したときは、再入力（２次）の位置データ（Ｂ）により、再度収穫アプローチする構成である。又、相違していないと判定したときは、果実検出用スイッチ５２ｄのＯＮにより、キュウリ（イ）の径が設定径より小径であると判定して、このキュウリ（イ）に対するアプローチを終了し、次のステップへ移行する構成とするもよい。
【００５０】
これにより、最初（１次）の画像入力から収穫アプローチの間に、収穫対象物のキュウリ（イ）が移動して把持ができなかったのか、このキュウリ（イ）の径が小径で各果実検出用スイッチ５２ｄがＯＮしたか確認でき、再入力（２次）のデータにより、対応が可能となる。又、マニピュレータ１２のアプローチ方向の微調整ができ、より確実な収穫作業ができる。
【００５１】
キュウリ（イ）を収穫作業の時に、このキュウリ（イ）までの設定距離でＯＮ出力する前記近傍スイッチ１６ａにより、キュウリ（イ）へ高速アプローチから低速アプローチへ移行した後に、設定距離以上エンドエフェクタ１６がキュウリ（イ）方向へ移動しても、接触センサ１６ｃがキュウリ（イ）によってＯＮされないときはアプローチを停止する。又、マニピュレータ１２によって、該エンドエフェクタ１６を下方へ微動させ、キュウリ（イ）がこのエンドエフェクタ１６に隠れない様にすると共に、ＣＣＤカメラ１１ａによって再画像入力を行って、キュウリ（イ）の位置を再確認する構成である。
【００５２】
これにより、最初（１次）の画像入力から収穫アプローチの間に、収穫対象物のキュウリ（イ）が移動したか、前記マニピュレータ１２の歪みによるアプローチ方向が変化したかを確認でき、再画像入力のデータにより、対応可能となる。キュウリ（イ）を収穫作業の時に、前記各把持プレート５３の閉位置を検出する各果実検出用スイッチ５２ｄの何れか一方がＯＮされ、所定の閉位置であると検出されたときには、該各把持プレート５３をオープンにした後に、マニピュレータ１２によって、該エンドエフェクタ１６を下方へ微動させ、キュウリ（イ）がこのエンドエフェクタ１６に隠れない様にすると共に、ＣＣＤカメラ１１ａによって再画像入力を行って、キュウリ（イ）の位置を再確認する構成である。
【００５３】
これにより、最初（１次）の画像入力から収穫アプローチの間に、収穫対象物のキュウリ（イ）が移動して把持できなかったのか、キュウリ（イ）の径が小径で前記果実検出用スイッチ５２ｄがＯＮしたか確認でき、再画像入力のデータにより、対応できる。又、アプローチ方向を微調整できて、より確実な収穫作業ができる。
【００５４】
前記吸着パット５４を前後移動させる前後スライドモータ（図示せず）を設け、このスライドモータには、前後移動軸（図示せず）を設け、この前後移動軸にはラック（図示せず）を設け、又、このラックと噛合するピニオン（図示せず）を設け、このピニオンの回転数をポテンショメータで検出し、このポテンショメータの検出値により、該吸着パット５４の前後位置を検出する構成である。
【００５５】
前記吸着パット５４、及びマニピュレータ１２の移動制御の作用は、図１９、及び図２０で示す如く制御する構成である。
これにより、把持位置からキュウリ（イ）の位置がどの位置にあるか把握でき、前記エンドエフェクタ１６をマニピュレータ１２で移動しながら、キュウリ（イ）を挾持部内へ誘導するときに、移動量があらかじめ明らかであるので、高速移動が可能になる。
【００５６】
キュウリ（イ）を栽培する圃場の栽培用の傾斜棚（Ｔ）は、図１６、及び図１７で示す如く圃場には、支持枠７７を設け、この支持枠７７の上軸７７ａと下軸７７ｂとには、上下方向に所定長さの分離プレート７８をキュウリ（イ）の株位置ごとに装着させている。
前記分離プレート７８は左右方向に略１５０〜１８０ｍｍ幅の長孔７８ａ部を設け、又、左右両側の枠部７８ｂは、略３０ｍｍ程度に構成して、キュウリ（イ）のヒゲが巻きつかない幅としている。この分離プレート７８は該長孔７８ａの左右方向の中心部位置からＶ字形に折曲させた構成とし、該分離プレート７８上に茎葉をのせ、該長孔７８ａ部からキュウリ（イ）が垂れ下がる構成であり、キュウリ（イ）の収穫、及びつる降ろし作業を容易に行える構成である。
【００５７】
前記分離プレート７８の長孔７８ａの上端部を支持枠７７の上軸７７ａに引っ掛けて支持させ、下部には、挿入部７８ｃを設け、この挿入部７８ｃを該支持枠７７の下軸７７ｂへ挿入して支持させた構成である。
左右両側の前記分離プレート７８の上端部には、断面形状コ字形状の主茎支持枠７９を支持軸８０で支持させて設け、該分離プレート７８と一体にした構成であり、主茎を屈曲させることなく生育させる構成である。この主茎支持枠７９の左右両側の縦枠部７９ａは略垂直状態に支持させて、支持枠７７から突出させない状態として、作業者の頭近傍のスペースを確保する構成としている。
【００５８】
前記主茎支持枠７９には、所定幅の長孔７９ｂ部を設けると共に、中央部には紐７９ｃを設けた構成とするもよい。
【図面の簡単な説明】
【図１】野菜収穫機の全体側面図
【図２】野菜収穫機の全体背面図
【図３】野菜収穫機の作業状態の全体背面図
【図４】マニピュレータ部の拡大側面図
【図５】マニピュレータ部の拡大平面図
【図６】マニピュレータ先端部の拡大側面図
【図７】エンドエフェクタ部の拡大側面図
【図８】エンドエフェクタ部の拡大正面図
【図９】エンドエフェクタ部の拡大平面図
【図１０】エンドエフェクタの摘果プレート部の上下移動状態を示す拡大側面図
【図１１】エンドエフェクタ部の拡大側面斜視図
【図１２】吸着パット部の拡大側面図
【図１３】野菜収穫機全体の制御関係のブロック図
【図１４】視覚部の制御関係のブロック図
【図１５】摘果部の制御関係のブロック図
【図１６】栽培用棚の拡大正面図
【図１７】栽培用棚の拡大側面図
【図１８】フローチャート図
【図１９】他の実施例を示すフローチャート図
【図２０】他の実施例を示すフローチャート図
【符号の説明】
２走行車台
８走行車両
１０収穫装置
１１視覚センサ
（Ａ）最初の位置データ
（Ｂ）再入力の位置データ[0001]
BACKGROUND OF THE INVENTION
The present invention captures an image of vegetables with a visual sensor provided on a traveling carriage, and grips and harvests the vegetables with a harvesting device, but after failing the first harvesting approach with position data from the first input image, When confirming the position of the vegetable from the position data based on the re-input image, if there is a difference between the initial position data and the re-input position data, change to the re-input position data and harvest again. If the approach is not different, it is a technique for determining that the change is downward due to distortion due to the weight of the harvesting device, and correcting the position of the harvesting device above the first set position. It can be used as a harvesting position control device.
[0002]
[Prior art]
The vegetable is, for example, cucumber, and when harvesting this cucumber, the traveling vehicle of the vegetable harvester is driven in the groove between the fields and the cucumber image is taken with a visual sensor provided on the traveling platform. In addition to detecting whether or not the cucumber is suitable for harvesting, the position of this cucumber is detected from the input image of this cucumber and is input as position data, and the harvesting device controls the movement to the position of this input position data. Then, the cucumber is grasped and picked by the harvesting device, and when the fruiting is finished, the harvesting device is restored to a predetermined position, and the picked cucumber is discharged to the predetermined position and the harvesting is finished.
[0003]
During the harvesting operation, if the first harvesting approach fails due to the position data based on the first input image, the harvesting approach is performed again based on the first position data to harvest the cucumber.
[0004]
[Problems to be solved by the invention]
Even if the first harvesting approach fails due to the first input position data, there is a high probability of failing again by performing the harvesting approach again based on the first position data, and the cucumber was grasped by the harvesting device. However, the predetermined position of the cucumber may not be grasped, and for this reason, it has occurred that the predetermined position cannot be cut and picked, but this invention tries to solve these problems. To do.
[0005]
[Means for Solving the Problems]
For this purpose, the present invention is provided with a visual sensor 11 that captures an image of a vegetable (I) on the upper side of the traveling chassis 2 of the traveling vehicle 8, and a harvesting device 10 that grips and harvests the vegetable (I). When the position of the vegetable (I) is confirmed from the position data (B) based on the re-input image after the failure of the first harvest approach by the position data (A) based on the first input image. When there is a difference between the position data (A) of the input and the position data (B) of the re-input, the position data (B) of the re-input is changed and approached again, and when there is no difference Is characterized in that it is determined that the approach direction is a downward change due to distortion due to the weight of the harvesting device 10, the position of the harvesting device 10 is corrected upward, which is the first set position, and approached again. Vegetables The structure of the mosquito machine harvesting position controller.
[0006]
[Effects of the Invention]
When harvesting cucumber (I), the traveling vehicle 8 of the vegetable harvester is caused to travel through the groove between the fields, and an image of the cucumber (I) is captured by the visual sensor 11 provided on the traveling chassis 2. It is detected whether or not the cucumber (a) is suitable for harvesting, and the position of the cucumber (a) is detected from the input image of the cucumber (a) and input as position data (A). The harvesting device 10 is controlled to move to the position of the position data (A) and stopped. The harvesting device 10 grips and picks up the cucumber (I). When the harvesting is completed, the harvesting device 10 is restored to a predetermined position. Thus, the picked cucumber (I) is discharged to a predetermined position and the harvesting is completed.
[0007]
If the first harvesting approach fails due to the position data (A) based on the first input image during this harvesting operation, the position of the cucumber (I) is detected from the image re-input after the failure, and the position data (B When the position of this cucumber (A) is confirmed, the position data (A) of the first input and the position data (B) of the re-input are compared. The position data (B) is changed to the cucumber (I) position, and the harvesting apparatus 10 is again harvested by this position data (B) to harvest the cucumber (I).
[0008]
Further, when not different, it is determined that the approach direction is changed downward due to distortion due to the weight of the harvesting device 10, and the position of the harvesting device 10 is corrected upward, which is the first set position, Harvest again and harvest cucumber (I).
[0009]
【The invention's effect】
Since it is possible to confirm whether the cucumber (a) to be harvested has moved between the initial image input and the harvest approach, or whether the approach direction has changed due to distortion due to the weight of the harvesting device 10, position data for re-image input (B) makes it possible to cope with it, and an accurate harvesting operation can be performed. Moreover, since the harvesting device 10 can be finely adjusted, a more reliable harvesting operation can be performed.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
In the illustrated example, the vegetable (I) is, for example, a cucumber (I), and the vegetable harvester 1 that is an agricultural robot that harvests the cucumber (I) cultivated in an inclined state on the straw (b) of the field is used. This is illustrated and described.
[0011]
A pair of front wheels 3 and rear wheels 4 are arranged on the front and rear sides of the left and right sides below the traveling chassis 2 of the traveling vehicle 8 of the vegetable harvesting machine 1, and the front wheels 3 and the rear wheels 4 have four wheels. Steering for detecting the steering angle for individually controlling the steering of the front and rear wheels 3 and 4 while linking the wheel driving motors 5 separately to each other and supporting the front and rear wheels 3 and 4 separately. Each of the angle sensors 6 is provided separately, and a battery 7 as a power source is housed between the front and rear wheels 3 and 4 to constitute the traveling vehicle 8, and the front and rear wheels 3 and 4 It runs in the groove (c) formed between 畝 (b) and (b).
[0012]
A front cover 9 having a controller or the like for controlling the operation of the vegetable harvester 1 is provided at the front of the traveling chassis 2, and a harvesting device for harvesting cucumber (I) is provided behind the front cover 9. 10, the harvesting device 10 is equipped with a visual sensor 11 by a CCD camera 11 a that captures an image of the cucumber (a) and a manipulator 12 that grips and picks up the cucumber (a) captured by the visual sensor 11. The work swivel cylinder 13 having a substantially cylindrical shape and a part of which is cut out at a right angle is provided so as to be capable of swiveling. The visual sensor 11 and the manipulator 12 move up and down in the work swivel cylinder 13. It is configured freely.
[0013]
In the rear cover 17 provided on the upper side of the traveling chassis 2 at the rear portion of the working swivel barrel 13, a carry storage portion 18 for storing and discharging the carry for storing the harvested cucumber (I) is provided. On the rear side surface of the rear cover 17, an operation device 19 for operating the vegetable harvester 1 and performing various control operations is provided.
The manipulator 12 has a shoulder joint (A) formed by the rotating metal 14 of the base and an arm joint formed by the expansion / contraction linear motion arm 15 in order to perform an action close to the movement of the human arm and the hand by a multi-joint. And a wrist joint (C) for connecting and forming an end effector 16 for cutting and gripping the tip, a waist joint (D) for horizontally turning, and the like. The cucumber (i) in the proper harvesting period cultivated in an inclined state is detected by the CCD camera 11a of the visual sensor 11, and the detected cucumber (i) is grasped by the manipulator 12 and picked.
[0014]
As shown in FIG. 6, an ON-OFF switch type proximity sensor 16 a that reacts strongly with cucumber (I) is provided at the distal end of the end effector 16, and rotates in contact with the cucumber (I). The sensor plate 16b is configured to provide an ON-OFF switch type contact sensor 16c that detects cucumber (I).
[0015]
When the proximity sensor 16a does not detect cucumber (I), the proximity sensor 16a is in an OFF state, and this OFF state is input, the end effector 16 is approached at a high speed until a predetermined forward position. The Further, the proximity sensor 16a detects cucumber (I), and the proximity sensor 16a is turned on. When this ON state is inputted, the end effector 16 starts cucumber (I) from a predetermined forward position. The structure is approached at a low speed up to the gripping position.
[0016]
The sensor plate 16b rotates in contact with the cucumber (A), and the contact sensor 16c is turned on by this rotation. When this ON state is input, the end effector 16 is controlled to stop.
Accordingly, the contact sensor 16c is turned on by its own weight of cucumber (I) and is not turned on in the leaf or the like. This is convenient because it can be recognized that the cucumber (I) is gripped by the end effector 16. Further, by providing the proximity sensor 16a, a high-speed approach is used to shorten the harvest time in a portion where there is no obstacle, and in the vicinity where there is a high possibility that there is an obstacle, a low-speed approach is used to Can prevent stem damage. Furthermore, the cucumber (a) can be prevented from colliding at a high speed and preventing damage.
[0017]
The manipulator 12 and the auxiliary storage case 20 for storing the cucumber (a) as an auxiliary means have a slide shaft 21 having a screw portion that slides in the vertical direction inside the wall surface of the cut-out portion of the work revolving cylinder 13 at a right angle. The slide guide 22 is pivotally supported by the slide shaft 21 so as to be movable up and down. The base portion 23 of the manipulator 12 is coupled to the slide guide 22 through two sliding grooves 13b provided along the right-angled cutout wall surface of the working swivel cylinder 13, and the slide shaft 21 is coupled. A chassis motor 25 that pivots the slide motor 24 that pivots the CCD camera 11a of the visual sensor 11 and the manipulator 12 together with the work swing barrel 13 together with the lower end of the slide shaft 21. This is a configuration in which the traveling chassis 2 is arranged at the center position of the work turning cylinder 13 and is interlocked.
[0018]
The CCD camera 11a of the visual sensor 11 has a slide shaft 26 having a screw portion that is slid in the vertical direction. The slide shaft 26 is rotatably supported along the inner side of the cut-out portion wall surface at a right angle of the work swivel cylinder 13. The slide guide 27 is pivotally supported by the slide shaft 26 so as to be movable up and down. The upper surface of the slide guide 27 passes through a sliding groove 13b provided along a wall surface that is changed to a position substantially perpendicular to the wall surface having the sliding groove 13a of the manipulator 12, and is coupled to the CCD camera 11a. The arm 11b is coupled and a slide motor 28 for rotating the slide shaft 26 is linked to the lower end of the slide shaft 26, and the posture of the CCD camera 11a is held in the slide groove 13b. The slidable guide rail is provided.
[0019]
As shown in FIGS. 4 and 5, the manipulator 12 has a shoulder joint A, an arm joint B, Each joint part such as the wrist joint part C is connected and arranged.
The shoulder joint A has a configuration in which a shoulder motor 29 by a servo motor is incorporated and interlocked as a shoulder joint for rotating the manipulator 12 up and down.
[0020]
The arm joint B is a slider 31 comprising a ball screw or the like housed in a fixed cylinder 15a of the base of the telescopic linear motion arm 15 from an arm motor 30 by a servo motor incorporated in the base of the telescopic linear arm 15 that is expanded and contracted in two stages. The guide rail 32 is arranged in parallel with the slider 31 so that the first-stage telescopic cylinder 15b can be accommodated in the fixed cylinder 15a by the rotation of the slider 31. The arm motor 30 is linked to a slider 33 made of a ball screw or the like via a timing belt 32a stretched in the first-stage telescopic cylinder 15b from the arm motor 30. The guide rail 34 is arranged in parallel with the slider 33 so that the second-stage telescopic cylinder 15c can be accommodated in the telescopic cylinder 15b. The wrist joint C has a worm gear 37a at the end of a wrist drive shaft 36 extending from a wrist pitch motor 35 by a servo motor incorporated on the base side of the second-stage telescopic cylinder 15c to the tip of the telescopic cylinder 15c. The wrist pitch joint shaft 38 is fixed to the worm wheel 37b that intersects with the worm gear 37a at right angles and is interlocked with each other, and the wrist pitch joint shaft 38 protrudes outside the telescopic cylinder 15c. An L-shaped rotation support arm 39 that supports the rotation of the square tube-shaped end effector 16 is fixed to the shaft end.
[0021]
A servo motor that supports the rear end portion of the end effector 16 on the rotation support arm 39 and rotates the pitch within the vertical plane within a range of about 180 degrees, and rotates the end effector 16 with a roll within a range of about 180 degrees. Is connected to the rear end portion of the end effector 16 via the rotation support arm 39.
[0022]
The axis of rotation of the waist motor 41 by the servo motor at the waist joint D that horizontally turns the manipulator 12 is the base 23 where the shoulder joint A is mounted, and the work center axis of the end effector 16 is the telescopic linear motion arm. It is installed in an interlocking connection with a position that intersects the axis extending toward the base of 15. Several cucumbers (I) can be stored on the lower surface of the base 23, and when the cucumber (I) is picked up, it slides to the position of the end effector 16, and the auxiliary storage case 20 is provided so that the bottom surface can be opened and closed. Is arranged on the upper surface of the work swivel cylinder 13 by incorporating a case slide motor 42 driven by a rack and a pinion.
[0023]
The end effector 16 has a rectangular tube-shaped box 43 as shown in FIGS. 7 to 11, and a fruit picking motor 44 for picking cucumber (I) is arranged on the upper side of the box 43. A slide screw 45 is extended and connected to the motor 44 in the forward direction, and a slide arm 45a that moves forward or backward depending on the rotation direction of the slide screw 45 extends in the front-rear direction in parallel with the side portion of the fruiting motor 44. It is joined to a fruit base 47 having a U-shaped cross section that is slid and guided by a guide rail 46 provided, and a side projection 47a at the rear end of the U-shaped one side of the fruit base 47 is arranged in front of the limit switch. 46a and the rear limit switch 46b can be engaged with each other.
[0024]
The front end part of the fruiting base 47 and the rear part of the fruiting arm 49 are connected by the right and left fruiting links 48 by a four-point parallel link, and the upper part of the fruiting arm 49 by the fruiting link 48 is connected to the link pin 47b of the fruiting base 47. A U-shaped base part of a U-shaped fruit-picking plate 50 in a plan view U-shaped that detects and cuts the cucumber (I) fruit pattern at the front end of the fruiting arm 49 by tensioning a restraining spring 47c that suppresses the movement with a constant load. It is the structure which supported.
[0025]
The fruiting plate 50 extends from the U-shaped base part supported by the fruiting arm 49 to the opening end part 50a at the front end, so that the pressing force to the cucumber (a) is released by the upward component force and can hold an appropriate pressure. In addition to inclining so as to be θ, a sliding roller 50b for smoothing the upward movement of the fruit plate 50 to the cucumber (a) is pivotally supported at the distal ends of the left and right opening end portions 50a. The thin cutter blade 50d is placed on the fruit plate 50 in an inclined posture so that the fruit handle can be easily cut off in a state in which the U-shaped long hole portion 50c into which the fruit pattern of (A) is incorporated is cut off obliquely in plan view. It is the structure attached to the horizontal state.
[0026]
A gripping motor 51 for gripping cucumber (I) is disposed at the lower center of the box body 43, a worm gear 51a is fixed to the front side from the gripping motor 51, and left and right worm wheels 51b meshing with the worm gear 51a are respectively provided. The right and left gripping shafts 52 are disposed upwardly and symmetrically from the left and right worm wheels 51b, and are moved forward by a length that allows the cucumber (I) to be gripped by the rotation of the gripping shaft 52. The extended left and right grip plates 53 are provided so as to be interlocked, and a return spring 53a for return and a buffer pad 53b for preventing the cucumber (I) from being damaged are attached to the grip plates 53, respectively. As shown in FIG. 11, a grip plate cam 52a that opens and closes simultaneously with the opening and closing of the grip plate 53 is fixed to the grip shafts 52 on both the left and right sides of the worm wheel 51b. A grip plate closing switch 52b for detecting the open / close state is provided on both the left and right sides. Further, on the grip shafts 52 on both the left and right sides, a fruit diameter cam 52c that opens and closes simultaneously with the opening and closing of the grip plate 53 is provided on the upper side of the return spring 53a, and the fruit diameter cam 52c is closed. Depending on the state position, a fruit diameter detection switch 52d that is turned on is provided on both the left and right sides, and when the fruit diameter detection switch 52d is turned on, the detected cucumber (I) is detected to be smaller than the set diameter.
[0027]
As a result, if the fruit diameter detection switch 52d on one side is turned on, it can be determined that the cucumber (I) is gripped or cucumber (I) outside the harvest symmetry (small diameter). Further, even when one side holds the cucumber (I) together with the main stem, the other side comes into contact with the cucumber (I), so that it can be determined that the cucumber (I) has a small diameter.
A suction pad 54 for sucking and fixing the cucumber (A) when gripping the cucumber (b) is disposed between the left and right grip shafts 52 above the gripping motor 51, and a slide screw 54a for moving the suction pad 54 back and forth is provided. The suction motor 55 extending rearward and interlockingly connected to the slide screw 54 a is arranged on the upper position side opposite to the fruit picking motor 44. The end effector 16 can be replaced by an offset.
[0028]
Each gripping plate 53 is configured to be opened and closed by a single gripping motor 51, and in either case of opening or closing, each rotational movement is returned by rotating each gripping shaft 52 that can be rotated independently on the left and right. The grip plate 53 is configured to be rotatable by transmitting to the grip plates 53 via the springs 53a and via the return springs 53a.
[0029]
Accordingly, since only the grip plate 53 on one side contacts the cucumber (I), the cucumber (I) can be fixed and the harvesting operation can be performed. Further, since the grip plate 53 is rotatable independently on the left and right sides, if the manipulator 12 is contracted while gripping the main stem of the cucumber (I), the main stem is detached from the grip plate 53, and the cucumber ( B) can be gripped.
[0030]
As shown in FIG. 13, as a control mechanism, a wheel drive motor 5, a steering angle sensor 6, a carry controller 18a and the like of the traveling vehicle 8 are controlled, and a visual controller 56b that controls the CCD camera 11a. The fruit cover controller 56c for controlling the manipulator 12 and the controller 56a, 56b, 56c and the main controller 56 for comprehensively controlling the operation device 19, the safety device 57, and the like are built in the front cover 9.
[0031]
As shown in FIG. 14, the visual part controller 56b is connected to the receiver 61 through the driver 60 from the drive pulse generation circuit 59 that receives the signal from the OCR 58, and from the receiver 61 to the CCD camera 11a. A signal processing circuit 62 for exchanging a signal detected by driving the CCD camera 11a with a video signal is connected to the CCD camera 11a. The signal processing circuit 62 is connected to an image memory 64 through an A / D converter 63. At the same time, the image memory 64, the image processing circuit 65 that performs high-speed image processing, and the CPU 66 are connected to be communicable with each other. The CPU 66 is connected to a timing circuit 67 for setting the lamp emission timing and the start timing of the A / D converter 63 based on the video signal, and this timing circuit 67, the A / D converter 63, and the lamp driving circuit 68 are connected. Are connected to the timing circuit 67 to drive the halogen lamp 69 via the lamp driving circuit 68, and from the photo sensor 70 to the CPU 66 through A / D conversion. Connect and configure.
[0032]
As shown in FIG. 15, the fruit controller 56c includes the waist motor 41, the slide motor 24, the slide motor 28, the shoulder motor 29, the arm motor 30, the wrist pitch motor 35, the wrist roll motor 40, and the gripping motor as servo motors. 51 is connected through a control driver 71, and a fruit picking motor 44 and a suction motor 55 are connected to each other. Each servo motor 41, 24, 28, 29, 30, 35, 40 is provided with a combination of an encoder and an origin detection sensor.
[0033]
When harvesting cucumber (I) as a work object by the vegetable harvesting machine 1, as shown in FIG. 13, the traveling unit controller 56a controls the wheel drive motor 5, the steering angle sensor 6, and the like. While traveling along the groove (c) formed in the middle, the cucumber (i) in the appropriate harvest period cultivated on the inclined shelf T is imaged by moving the CCD camera 11a up and down, and the image input by this imaging is viewed visually. The image processing is performed by the section controller 56b, and the telescopic arm 15 of the manipulator 12 is turned left and right by the waist joint section D and moved up and down by the shoulder joint section A by calculation of the fruit section controller 56c based on this image information. At the same time, the arm joint B is expanded and contracted, and the end effector 16 is moved by the wrist joint C located at the tip. Carry out the harvest approach to control.
[0034]
During this harvesting approach, the suction motor 55 is driven by the pitch rotation or roll rotation of the end effector 16 to slide the suction pad 54 forward, and the cucumber (I) is sucked by the vacuum supplied from the vacuum pump 72. After that, the gripping motor 51 is driven and the cucumber (I) is gripped by the gripping plate 53 at the same time as it is retracted to the gripping position. The fruit picking motor 44 is driven by the gripping of the cucumber (a), and the fruit picking base 47 can be advanced by the slide screw 45 through the slide arm 45a to the restriction position by the front limit switch 46a. The fruit picking plate 50 is advanced through the fruit picking arm 49 connected by the fruit picking link 48.
[0035]
As shown in FIG. 12, an electromagnetic valve 73 and a pressure sensor 74 are provided between the suction pad 54 and the vacuum pump 72, and each gripping plate 53 is operated to release the cucumber (I). The electromagnetic valve 73 is open.
Thereby, when releasing cucumber (I), the leaving posture of cucumber (I) can be regulated to the direction of the end effector 16.
[0036]
When the suction pad 54 is operated by the vacuum pump 72, for example, the suction pad 54 is slid forward by about 20 mm to approach the cucumber (I). The vacuum pump 72 is turned on to adsorb cucumber (I). The suction pad 54 is slid rearward and guided into the gripping portion. When the air pressure in the vacuum pump 72 increases, the moving speed of the suction pad 54 and the forward speed of the end effector 16 are the same. When the suction pad 54 comes to the initial position, each gripping plate 53 grips the cucumber (I).
[0037]
Thus, regardless of the length of the cucumber (I) fruit pattern, the cucumber (I) can be surely guided into the gripping portion, and reliable gripping becomes possible.
The pressure sensor 74 that detects the pressure of the vacuum pump 72 is configured to determine that cucumber (I) has been adsorbed upon detection of a predetermined value or less.
Thereby, there are fine beards on the main stem and leaves of cucumber (I), and the adsorption pad 54 does not adsorb. If the pressure in the vacuum pump 72 decreases, it can be determined that the suction pad 54 is adsorbed near the upper end of the cucumber (ii). When the pressure does not decrease, it is possible to shift to the re-approach operation because the approach direction is different.
[0038]
The adsorbing pad 54 is adsorbed to the cucumber (a) at a position where it adsorbs about 30 mm below the upper end of the cucumber (i) to be harvested. The surface is glossy.
Thereby, reliable adsorption can be performed. Also, the position where there is no wart is stronger against external force than the other part and can be sucked with high pressure.
[0039]
The suction pad 54 is provided in the end effector 16 and is operated by a vacuum pump 72 to guide the cucumber (I) into the gripper after suction.
Thereby, only a cucumber (I) can be grasped and a grasping space can be secured.
The center position of the slide screw 54a at the center of the suction pad 54 is made to coincide with the rotation shaft 75 of the wrist roll, and is further positioned at the center of the gripping portion.
[0040]
Thereby, the inclined cucumber (I) can also be dealt with by rotating the wrist roll. Further, when the cucumber (I) is gripped by the buffer pad 53b, it becomes a cushion.
With the suction pad 54 moved forward, the cucumber (I) is harvested and approached, the pressure sensor 74 is turned on, the exact position of the cucumber (I) is grasped, and this distance information is added to the image data. In addition, the size of the cucumber (I) may be reconfirmed.
[0041]
As a result, the size of the cucumber (I) can be determined based on the accurate distance information to the cucumber (I), and the misrecognition of harvesting the cucumber (I) that is not in the proper harvesting period is prevented. Can be processed with less wasted time.
In the configuration in which the moving position of the suction pad 54 is detected by a potentiometer, the distance that the suction pad 54 is moved in the direction of the gripping portion is set to be equal to the diameter of the cucumber (A), for example, 30 mm. It is good also as a structure which grips (A).
[0042]
Thereby, it is possible to grasp the position of the cucumber (I) from the grasping position, and when guiding the cucumber (I) into the grasping portion while moving the grasping portion in the end effector 16 with the manipulator 12, Since the movement amount is constant, high-speed movement is possible.
In a configuration in which the movement position of the suction pad 54 is detected by a potentiometer, the movement speed is calculated from the detection value of the potentiometer, and when the movement speed decreases, the end effector 16 is immediately moved forward to grip cucumber (I). It is good also as a structure caught in a part.
[0043]
As a result, the movement speed of the suction pad 54 in the direction of the gripping portion becomes slow, which means that the cucumber (I) is moving using the maximum degree of freedom of the main stem, and the cucumber (I) ) And the main stem are widened as much as possible, and not only the grip but also the cutting of the fruit handle is facilitated, and the cutting of the main stem can be prevented by the cutter blade 50d.
[0044]
The sliding roller 50b pivotally supported by the opening end 50a is pressed against the surface of the cucumber (a) by the advancement of the fruiting plate 50. At the time of this pressing, the fruiting plate 50 is subjected to a pressing force component force upward. By tilting by an angle θ that can be moved upward by this, the component force in the upward direction due to this tilt is suppressed, and a constant load is applied by the spring 47c to maintain an appropriate pressure on the surface of the cucumber (I). While being pressed, the slide roller 50b of the opening end 50a is rotated in parallel by the fruiting link 48 along with the rotation of the sliding roller 50b.
[0045]
When the fruit picking plate 50 reaches the fruit handle along the surface of the cucumber (a) by the ascending slide, the fruit handle is taken into the elongated hole 50c from the opening end 50a and pushed by the horizontal cutter blade 50d. It is plucked by. When the picked cucumber (I) is stored in a carry and becomes full, it is discharged to the ground by the carry control unit 18a.
[0046]
Position control by approach failure at the time of harvesting of cucumber (I) is performed by inputting an image captured by the CCD camera 11a to the visual section controller 56b, and by visual processing at the position up to cucumber (I) by the visual section controller 56b. A certain position data (A) is detected, the movement of the manipulator 12 of the harvesting device 10 is controlled by the fruit picking controller 56c based on the detected position data (A), and the end effector 16 picks up the cucumber (I). However, if the first harvesting approach fails, the image is input again, and the position data (B) up to cucumber (I) is detected again by image processing.
[0047]
When the visual unit controller 56b compares the first (primary) position data (A) input in the above and the re-input (secondary) position data (B) and determines that they are different. Is changed to re-input (secondary) position data (B), and the harvesting approach is made again by the changed position data (B). When it is determined that there is no difference, it is determined that the approach direction is a downward change due to distortion due to the weight of the manipulator 12 of the harvesting device 10, and the position of the manipulator 12 is the first set position upward. Is corrected, and the harvesting approach is performed again, and the cucumber (a) of the harvesting object has moved between the first (primary) image input and the harvesting approach, or the approach direction due to distortion of the manipulator 12 is It is possible to confirm whether or not the change has occurred, and it is possible to cope with the re-image input data. Further, the approach direction of the manipulator 12 can be finely adjusted, and a more reliable harvesting operation can be performed.
[0048]
The position control due to the approach failure at the time of harvesting of cucumber (I) will be described with reference to the flowchart shown in FIG. 18. The harvesting operation of cucumber (I) is started (S-101), and the first (primary) When an image is input, the process proceeds to (S-102) and (S-103), and (S-103) to (S-124) are controlled as shown in the figure. If it is determined NO in (S-118), a cucumber ( A) (Fruit) is harvested (S-125), and the process proceeds to the next step (S-126).
[0049]
Position control by approach failure at the time of harvesting of cucumber (I) is performed when the grip plate closing switches 52b and 52b provided on the grip plates 53 on both the left and right sides are turned on, the grip plates 53 are opened, and the end effector 16 is turned on. Move. The position data (A) by the first (primary) input and the position data (B) of the re-input (secondary) are compared, and when it is determined that they are different, the position data of the re-input (secondary) ( According to B), the harvesting approach is performed again. When it is determined that there is no difference, it is determined that the diameter of the cucumber (I) is smaller than the set diameter by turning on the fruit detection switch 52d, and the approach to the cucumber (I) is terminated. It is good also as a structure which transfers to the next step.
[0050]
As a result, whether the cucumber (I) of the harvested object moved and could not be gripped between the first (primary) image input and the harvesting approach, each berry was detected with a small diameter. It can be confirmed whether or not the switch 52d is turned on, and a response can be made by re-input (secondary) data. Further, the approach direction of the manipulator 12 can be finely adjusted, and a more reliable harvesting operation can be performed.
[0051]
When the cucumber (a) is turned on at a set distance to the cucumber (a) during the harvesting operation, the proximity switch 16a makes the cucumber (a) move from the high speed approach to the low speed approach, and then the end effector 16 exceeds the set distance. If the contact sensor 16c is not turned ON by the cucumber (I) even if the cucumber moves in the cucumber (I) direction, the approach is stopped. Further, the end effector 16 is finely moved downward by the manipulator 12 so that the cucumber (A) is not hidden by the end effector 16, and a re-image is input by the CCD camera 11a. It is the structure which reconfirms.
[0052]
As a result, it is possible to confirm whether the cucumber (I) of the harvested object has moved between the initial (primary) image input and the harvesting approach, or whether the approach direction due to the distortion of the manipulator 12 has changed. It becomes possible to cope with this data. At the time of harvesting cucumber (i), when any one of the fruit detection switches 52d for detecting the closed position of each gripping plate 53 is turned on and is detected to be a predetermined closed position, After opening the plate 53, the end effector 16 is finely moved downward by the manipulator 12 so that the cucumber (I) is not hidden by the end effector 16, and re-image input is performed by the CCD camera 11a. This is a configuration for reconfirming the position of the cucumber (I).
[0053]
Accordingly, whether the cucumber (I) of the harvested object has moved and could not be gripped during the harvesting approach from the first (primary) image input, the cucumber (I) has a small diameter and the fruit detection switch. It can be confirmed whether 52d is turned on, and can be dealt with by the data of re-image input. Moreover, the approach direction can be finely adjusted, and a more reliable harvesting operation can be performed.
[0054]
A front / rear slide motor (not shown) for moving the suction pad 54 back and forth is provided. The slide motor is provided with a front / rear movement shaft (not shown), and a rack (not shown) is provided on the front / rear movement shaft. Also, a pinion (not shown) that meshes with the rack is provided, the rotational speed of the pinion is detected by a potentiometer, and the front and rear positions of the suction pad 54 are detected by the detected value of the potentiometer.
[0055]
The movement control operation of the suction pad 54 and the manipulator 12 is controlled as shown in FIGS. 19 and 20.
Thereby, it is possible to grasp the position of the cucumber (I) from the gripping position, and when the cucumber (I) is guided into the holding portion while moving the end effector 16 with the manipulator 12, the amount of movement is determined in advance. Obviously, high speed movement is possible.
[0056]
As shown in FIGS. 16 and 17, the inclined shelf (T) for cultivating the cucumber (I) cultivated field is provided with a support frame 77 in the field, and an upper shaft 77a and a lower shaft 77b of the support frame 77 are provided. In addition, a separation plate 78 having a predetermined length in the vertical direction is attached to each stock position of cucumber (I).
The separation plate 78 is provided with a long hole 78a having a width of approximately 150 to 180 mm in the left-right direction, and the frame portions 78b on both the left and right sides are configured to have a width of approximately 30 mm so that the cucumber (I) mustache does not wrap around. It is said. The separation plate 78 is configured to be bent in a V shape from the center position in the left-right direction of the long hole 78a, and a stem and leaf are placed on the separation plate 78, and cucumber (I) hangs down from the long hole 78a. The cucumber (I) can be easily harvested and suspended.
[0057]
The upper end portion of the long hole 78a of the separation plate 78 is hooked and supported by the upper shaft 77a of the support frame 77, and an insertion portion 78c is provided at the lower portion, and this insertion portion 78c is inserted into the lower shaft 77b of the support frame 77. It is the structure supported.
A main stem support frame 79 having a U-shaped cross section is provided at the upper end of the separation plate 78 on both the left and right sides, and is configured to be integrated with the separation plate 78. The main stem is bent. It is the structure grown without making it. The vertical frame portions 79a on both the left and right sides of the main stem support frame 79 are supported in a substantially vertical state so as not to protrude from the support frame 77, so that a space near the operator's head is secured.
[0058]
The main stem support frame 79 may be provided with a long hole 79b portion having a predetermined width and a string 79c provided at the center portion.
[Brief description of the drawings]
[Fig.1] Whole side view of a vegetable harvester
[Figure 2] Rear view of the whole vegetable harvester
[Figure 3] Rear view of the whole state of the vegetable harvesting machine
FIG. 4 is an enlarged side view of a manipulator unit.
FIG. 5 is an enlarged plan view of a manipulator unit
FIG. 6 is an enlarged side view of the manipulator tip.
FIG. 7 is an enlarged side view of the end effector section.
FIG. 8 is an enlarged front view of the end effector section.
FIG. 9 is an enlarged plan view of an end effector section.
FIG. 10 is an enlarged side view showing the vertically moving state of the fruit plate portion of the end effector.
FIG. 11 is an enlarged side perspective view of an end effector section.
FIG. 12 is an enlarged side view of the suction pad part.
FIG. 13 is a block diagram of the control relationship of the whole vegetable harvester
FIG. 14 is a block diagram of the control relationship of the visual part.
FIG. 15 is a block diagram of the control relationship of the fruit picking unit
FIG. 16 is an enlarged front view of a shelf for cultivation.
FIG. 17 is an enlarged side view of a shelf for cultivation.
FIG. 18 is a flowchart diagram.
FIG. 19 is a flowchart showing another embodiment.
FIG. 20 is a flowchart showing another embodiment.
[Explanation of symbols]
2 Vehicle chassis
8 Traveling vehicles
10 Harvesting equipment
11 Visual sensor
(A) First position data
(B) Re-input position data

Claims

In a vegetable harvesting machine provided with a visual sensor 11 that captures an image of a vegetable (I) on the upper side of the traveling chassis 2 of the traveling vehicle 8 and a harvesting device 10 that grips and harvests the vegetable (I). When the position of the vegetable (I) is confirmed from the position data (B) based on the re-input image after the failure of the first harvest approach by the position data (A) based on the input image, the position data (A ) And the re-input position data (B), change to the re-input position data (B) and approach again. If not, the self-weight of the harvesting device 10 The harvesting position control device for a vegetable harvester characterized in that it is determined that the approach direction is a downward change due to distortion caused by the above, and the position of the harvesting device 10 is corrected upwards, which is the first set position, and approached again.