JP3612718B2

JP3612718B2 - 収穫ロボット

Info

Publication number: JP3612718B2
Application number: JP23949293A
Authority: JP
Inventors: 誠一有馬
Original assignee: Iseki and Co Ltd
Current assignee: Iseki and Co Ltd
Priority date: 1993-09-27
Filing date: 1993-09-27
Publication date: 2005-01-19
Anticipated expiration: 2020-01-19
Also published as: JPH0787827A

Description

【０００１】
【産業上の利用分野】
この発明は、キュウリなどの果実等を収穫する収穫ロボットに関するものである。
【０００２】
【従来の技術】
従来、特開平５−１７４１３０号公報に示されるような、車台の下側に、電動式の走行部を設け、車台の上側に、収穫対象物を撮像するカメラを備えた視覚部と、該視覚部で撮像した収穫対象物を把持摘果するマニピュレータを備えた収穫部とを設けた収穫ロボットがあった。
【０００３】
【発明が解決しようとする課題】
上記従来の収穫ロボットは、マニピュレータが車台の左右一方側から左右他方側に左右旋回できない構成となっているため、車台の左右一方側からしか収穫できず、収穫作業の能率が良くない。
【０００４】
そこで、この発明は、収穫ロボットにおける収穫作業の能率向上を図ることを課題とするものである。
【０００５】
【課題を解決するための手段】
この発明は、上記課題を解決するために、車台２の下側に、電動式の車輪３を備えた走行部４を設け、車台２の上側に、収穫対象物を撮像するカメラ１を備えた視覚部２０と、該視覚部２０で撮像した収穫対象物を把持摘果するマニピュレータ７を備えた収穫部１１とを設け、車台２の後部側に収穫ロボットの操作制御を行う操作装置１２を設け、前記マニピュレータ７を、車台２の前部側を旋回中心とし車台２の後側回りのみで車台２の左右一方側から左右他方側に左右旋回し且つ前記操作装置１２より前側の車台２上を左右旋回する構成としたことを特徴とする収穫ロボットとしたものである。
【０００６】
【作用】
上記構成とした収穫ロボットは、走行部４の電動式の車輪３によって車台２が走行移動し、視覚部２０のカメラ１によって収穫対象物を撮像し、該視覚部２０で撮像した収穫対象物を収穫部１１のマニピュレータ７が把持摘果する。マニピュレータ７は、図２にマニピュレータ７の可動範囲が示されているように、車台２の左右一方側から左右他方側に左右旋回でき、このとき、車台２の前部側を旋回中心とし必ず車台２の後側回りで左右旋回し且つ車台２の後部側に設けた操作装置１２より前側の車台２上を左右旋回する。
【０００７】
【発明の効果】
よって、この発明の収穫ロボットは、マニピュレータ７を車台２の左右一方側から左右他方側に左右旋回させられるので、収穫作業の能率が向上する。また、マニピュレータ７が左右旋回するとき、車台２の前部側を旋回中心とし必ず車台２の後側回りで左右旋回し且つ車台２の後部側に設けた操作装置１２より前側の車台２上を左右旋回するので、マニピュレータ７が車台２から大きくはみ出ることがなく、車台２の近くにある障害物にマニピュレータ７が衝突することが生じにくいものとなり、また、操作装置１２を設けた車台２の後部近くに操縦者が立っていても、左右旋回するマニピュレータ７と接触することが生じ難く、従って、良好に作業を継続できて、収穫作業の能率が一層向上する。
【０００８】
【実施例】
以下に、この発明を果実のうちキュウリを対象とした収穫ロボットについて説明する。
収穫ロボットは、車台２の下側前後位置に各々左右一対の電動式の車輪３を有した走行部４を配設し、該車台２の前端側から前カバー５と、この前カバー５の後方にキュウリ６を把持摘果するマニピュレータ７を搭載した円錐形状の旋回カバー８を旋回可能に設けると共に、該旋回カバー８の後方つまり該車台２の後端側に、収穫したキュウリ６を運搬するための多数個のキャリア９を格納してタイムリーに供給するキャリア供給装置１０を配設して収穫部１１を構成し、このキャリア供給装置１０の後側面に収穫ロボットを操作制御する操作装置１２を設けて構成する。
【０００９】
該マニピュレータ７は多関節によって人間の腕と手先の動きに近い作用を行わせるため、その基部側から先端側にかけて各関節ごとに各々ショルダモータ７ａ、エルボモータ７ｂ、リストモータ７ｃ、ハンド部１３とを相互に連動連結させて構成すると共に、該マニピュレータ７を昇降させるボールネジ等からなるスライダ１４を該旋回カバー８の傾斜に沿ってその内部に固定して設け、該マニピュレータ７と旋回カバー８を共に旋回させるウエストモータ１５を該旋回カバー８の中心位置となる該車台２上に固着し、このウエストモータ１５と該スライダ１４及び旋回カバー８とを旋回可能に接続すると共に、該マニピュレータ７の基部を、該スライダ１４に該旋回カバー８の防塵ゴム８ａの摺動溝を貫通させて昇降可能に支承するスライドガイド１６を設け、該スライダ１４部分に該マニピュレータ７を昇降させる上下スライドモータ１７を連動連結して構成する。また、このマニピュレータ７は、図２にマニピュレータ７の可動範囲が示されているように、車台２の左右一方側から左右他方側に左右旋回でき、このとき、機体前部側を旋回中心とし必ず機体後側回りで左右旋回する。
【００１０】
該マニピュレータ７のハンド部１３には、キュウリ６を検出する果実検出センサ１３ａと、検出したキュウリ６を把持する把持モータ１３ｂと、把持したキュウリ６の果柄を検出する果柄検出センサ１３ｃと、この検出のための果柄検出スライドモータ１３ｄと、検出した果柄を切断する切断モータ１３ｅとを設けると共に、図１２に示す如く、該マニピュレータ７の基部近傍上側位置にスライドレール１８を横方向に固定し、このスライドレール１８上を左右方向へ一定距離だけ均等にスライド可能に、キュウリ６の画像を撮像してキュウリ６の存在する方向と距離を検出するＣＣＤカメラ１（以後単にカメラという）を装架し、このカメラ１を左右方向へスライドさせる左右スライドモータ１９を該スライドレール１８の一端部に連動連結して視覚部２０を構成する。
【００１１】
この収穫ロボットには、図４に示す如く、走行部４を制御する走行部コントローラ２１と、収穫部１１を制御する収穫部コントローラ２２と、該視覚部２０を制御する視覚部コントローラ２３と、これらの各コントローラ２１、２２、２３を接続して統括制御するメインコントローラ２４とを前記前カバー５に内装して構成する。該収穫部コントローラ２２には、図５に示す如く、サーボモータとしての前記ウエストモータ１５、上下スライドモータ１７、ショルダモータ７ａ、エルボモータ７ｂ、リストモータ７ｃを各々コントロールドライバ２５を介して接続すると共に、前記果実検出センサ１３ａと、把持モータ１３ｂと、果柄検出センサ１３ｃと、果柄検出スライドモータ１３ｄと、切断モータ１３ｅを各々接続して構成する。なお、該各サーボモータ１５、１７、７ａ、７ｂ、７ｃには各々エンコーダ及び原点検出センサを組み合わせて設ける。
【００１２】
該視覚部コントローラ２３は、図６に示す如く、ＯＣＲ２６からの信号を受け、カメラ１を作動させるに必要な信号を発生する駆動パルス発生回路２７からドライバ２８を介してレシーバ２９へ、このレシーバ２９からカメラ１へ接続する。また、カメラ１の駆動により撮像された信号をビデオ信号に変換する信号処理回路３０とカメラ１を接続し、この信号処理回路３０からビデオ信号をデジタル変換するＡ／Ｄ変換器３１を経て、画像を記憶させる画像メモリ３２へ接続すると共に、この画像メモリ３２と高速画像処理を行う画像処理回路３３と中央演算処理を行うＣＰＵ３４とを接続する。該ＣＰＵ３４からビデオ信号を基にストロボ発光タイミング、及び該Ａ／Ｄ変換器３１の開始タイミングを設定するタイミング回路３５へ接続し、このタイミング回路３５から該Ａ／Ｄ変換器３１、及びストロボ駆動回路３６へ接続すると共に、該タイミング回路３５へ該信号処理回路３０を接続させ、該ストロボ駆動回路３６を介してストロボ３７を駆動させるべく接続して構成する。
【００１３】
次に、以上の構成による作用について説明する。
収穫ロボットにより収穫対象物としてのキュウリ６の収穫を行うには、操作装置１２を手動又は自動による走行操作によって、走行部コントローラ２１を介して制御を行い走行部４を走行させる。この走行によって、図７に示す如く、畝溝Ａの走行を行いながらキュウリ栽培棚Ｂに栽培されたキュウリ６を、収穫部コントローラ２２の演算によりマニピュレータ７自体の左右旋回、上下昇降の制御とハンド部１３の自在運動とを制御して収穫適期のキュウリ６を選択して摘果を行い、この摘果されたキュウリ６をキャリア９に集荷し、該キャリア９が満杯になった時点で地上に放出すると共に、次の該キャリア９をキャリア供給装置１０によってセットする。
【００１４】
これら一連の収穫作業時に、該マニピュレータ７の目となるカメラ１を視覚部コントローラ２３によって制御を行い、図８のフローチャートに示す如く、波長８５０ｎｍと５５０ｎｍでの画像入力を行い、この入力画像の演算によって演算画像が検出され、しきい値の算出により演算画像が２値化され、この２値画像から輪郭線が抽出され、輪郭線の検索により下方へ方向性があるか検出を行い、下方へ方向性がある場合は重ね合わせエリアが設定され、波長８５０ｎｍの画像が２値化されて演算画像へ重ね合わせられ、全て検索が済んだ時点で輪郭線として認識される。
【００１５】
この輪郭線の収縮処理（細目処理）を行うには、図９（Ａ）のフローチャートに示す如く、その開始点が探索走査されて各画素群の横方向の中央部画素位置が検出され、図１０に示す如く、反時計回りで各画素が探索され、画素ｆが１（ｆ＝１）でなければ再び反時計回りの探索を繰り返し、ｆ＝１であれば着目点（ｆｏ）位置に追跡済マーク（ｆｅ）を付し、求める点（ｆｉ）を追跡済みかどうかを探索し、追跡済みでない場合は求める点（ｆｉ）に着目点マーク（ｆｏ）を付し、再び反時計回りで探索を繰り返して各画素群の輪郭線の追跡を行う。
【００１６】
求める点（ｆｉ）が追跡済みの場合は、各輪郭点としての追跡済点（ｆｅ）を探索し、追跡済点（ｆｅ）の４近傍の画素１を削除し、更に中央の追跡済点（ｆｅ）を削除し、全追跡済点（ｆｅ）を削除して各輪郭点とその４近傍の収縮処理を終了する。この収縮処理により、各画素群に多数繋がっている不必要な画素（有害な雑音成分）を、４近傍による少なめの削除により輪郭線の形状をあまり損なうことなく分離させることができる。
【００１７】
各輪郭点とその４近傍を収縮処理した後の一皮取り除いた輪郭線に対する拡散処理（太目処理）を行うには、図９（Ｂ）のフローチャートに示す如く、追跡済点（ｆｅ）の隣の画素から探索走査を開始し、図１０に示す如く、反時計回りで各画素が探索され、画素ｆが０（ｆ＝０）であれば、ｆ画素を一皮増殖画素（Ｎｉ）に変換すると共に、再び反時計回りで探索を繰り返し、ｆ＝０でなければｆ＝１かどうかを探索し、ｆ＝１でなければ再び反時計回りで探索を繰り返す。ｆ＝１であれば着目点（ｆｏ）位置に追跡済マーク（ｆｅ）を付し、求める点（ｆｉ）を追跡済みかどうかを探索し、追跡済みでない場合は求める点（ｆｉ）に着目点マーク（ｆｏ）を付し、再び反時計回りで探索を繰り返して、各画素群の輪郭線の追跡と、この輪郭線の外側に一皮増殖を行う。
【００１８】
求める点（ｆｉ）が追跡済みの場合は、増殖画素（Ｎｉ）を探索し、増殖画素（Ｎｉ）の８近傍の画素０をＮｉ＋１に変換すると共に、ラべリングを行い、全（Ｎｉ）を処理したかどうかを探索し、処理できていない場合は再び（Ｎｉ）の探索を繰り返し、全（Ｎｉ）が処理できた場合は、一皮増殖した各輪郭点の８近傍の拡散処理と同時にラベリングを終了する。このように、４近傍での収縮処理後に８近傍の拡散処理により緻密な増殖を行うことにより、輪郭線の凹凸を平滑化することができると共に、８近傍の探索を図形成分の全画素を対象とせず、輪郭部のみの探索処理を行うため探索時間を大幅に短縮することができる。
【００１９】
また、ラベリング処理について、従来の如く２値化された画素の図形成分との繋がりを探索しながら全画素について処理するものではなく、輪郭のみの画素について最後の拡散処理を行うときに同時にラベルを付けることにより、ラベリング処理時間を別に必要とせず格段に効率の向上を図ることができる。
これらのラベリング処理によって、図１１のフローチャートに示す如く、キュウリ６の周囲長を算出し、定数長以下を削除してフェレ長比を算出する。このフェレ長比の算出値が定数値以下であればＦＬＡＧの算出を行ってからＦＬＡＧのチェックを行い、ＦＬＡＧ＝１でないときはキュウリ６ではないと判定削除し、ＦＬＡＧ＝１であれば、フェレ長比の算出値が定数値以上の場合と共に、中心線の抽出を行い、雑音成分を削除した後、中心線の結合を行い、その長さが定数値以上であればキュウリ６と判定して収穫のためのアプロ−チを行い、定数値以下であればキュウリ６ではないと判定し削除する。
【図面の簡単な説明】
【図１】収穫ロボットの全体を示す正面図。
【図２】収穫ロボットの全体を示す平面図。
【図３】収穫ロボットの全体を示す側面図。
【図４】収穫ロボット全体の制御関係を示すブロック図。
【図５】収穫部の制御関係を示すブロック図。
【図６】視覚部の制御関係を示すブロック図。
【図７】収穫ロボットの作業状態を示す正面図。
【図８】視覚部の処理手順を示すフローチャート。
【図９】（Ａ）視覚部の処理手順（収縮処理）を示すフローチャート。（Ｂ）視覚部の処理手順（拡散処理）を示すフロ−チャ−ト。
【図１０】視覚部の処理要領を示す作用図。
【図１１】視覚部の処理手順を示すフローチャート。
【図１２】視覚部の作用状態を示す斜面図。
【符号の説明】
１カメラ
２車台
３車輪
４走行部
７マニピュレータ
１１収穫部
２０視覚部

Claims

車台２の下側に、電動式の車輪３を備えた走行部４を設け、車台２の上側に、収穫対象物を撮像するカメラ１を備えた視覚部２０と、該視覚部２０で撮像した収穫対象物を把持摘果するマニピュレータ７を備えた収穫部１１とを設け、車台２の後側に収穫ロボットの操作制御を行う操作装置１２を設け、前記マニピュレータ７を、車台２の前部側を旋回中心とし車台２の後側回りのみで車台２の左右一方側から左右他方側に左右旋回し且つ前記操作装置１２より前側の車台２上を左右旋回する構成としたことを特徴とする収穫ロボット。