JP2802638B2 - 果菜物収穫機 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、自動操向すると共に果菜物を撮像し画像
処理によりその位置を検出して収穫する果菜物収穫機に
関する。

〔従来の技術〕

果菜物収穫機である果実の収穫ロボットにおいては、
通常２台のビデオカメラを用い、これらにより果実を撮
像し、例えば２つの画面の対応点を視野の中心となるよ
うにビデオカメラを動かし、そのときの２台のビデオカ
メラの方向により三角測量の原理を用いて収穫対象の果
実の位置を認識している。

〔発明が解決しようとする課題〕

このような収穫ロボットを自動操向させる場合、果樹
園内にワイヤーロープ等のガイドラインを設け、それに
做って自動操向させる、又はカラービデオカメラ等の撮
像手段により撮像情報を画像処理することにより風景，
樹木等の特徴を抽出してそれをもとに自動操向させる等
が考えられる。

ガイドラインを設ける方法は、それを設けるのに長時
間を要し、その作業が煩わしくあまり実用的ではない。
また画像処理による方法は、カラービデオカメラは高価
であり、収穫用に２台使用したうえ、さらに自動操向用
に１台使用した場合、収穫ロボットが高価となるという
問題があった。

この発明は斯かる事情に鑑みてなされたものであり、
果実位置検出用のカラービデオカメラと自動操向用カラ
ービデオカメラとを兼用化し、その設置台数を減らすこ
とにより、全体コストを低減させた果菜物収穫機を提供
することである。

〔課題を解決するための手段〕

この発明に係る果菜物収穫機は、収穫対象の果菜物が
植えられた作業場内を自動操向する車体を備えており、
該車体に設けられた撮像手段により前記果菜物を撮像し
て該果菜物の位置を検出し、該検出した果菜物を収穫す
る果菜物収穫機において、自動操向時、前記撮像手段を
車体前方の作業場内の風景を撮像すべく制御する撮像制
御手段と、該撮像制御手段により制御された撮像手段に
て撮像された前記作業場内の風景の画像を２値化して画
像処理する手段と、画像処理された風景の特徴に基づき
操向制御の継続／収穫制御への移行を判別する判別手段
とを備えることを特徴とする。

〔作用〕

この発明によれば、果菜物の位置を検出するための撮
像手段を自動操向に用いて、車体前方の作業場内の風景
を撮像すべく制御し、この制御された撮像手段にて撮像
された前記作業場内の風景の画像を２値化して画像処理
し、画像処理された風景の特徴に基づき操向制御の継続
／収穫制御への移行が判別される。

〔実施例〕

以下、この発明をその一実施例を示す図面に基づいて
説明する。第１図はこの発明に係る果菜物収穫機である
果実収穫ロボットの外観を示す斜視図である。

図において１は後述する収穫用マニピュレータ６を搭
載した車体であり、該車体１は２つの駆動輪２及び１つ
の操向輪３により自動操向されている。操向輪３にはそ
の操舵角を検出する舵角センサ19が取付けられており、
自動操向時の目標操舵角とのずれ量の検出に用いられ
る。また操舵用の操向モータ18が設けられており、それ
により左右に操舵される。

車体１の中央上部にはマニピュレータ６が載置されて
いる。マニピュレータ６は５軸の多間接型ロボットを用
いてなり、そのアーム先端部には果実10を捕捉するため
のハンド７が取付けられている。ハンド７はサーボモー
タを用いたハンドアクチュエータ17により開閉自在な収
穫部８を有しており、その把握力はその内側に設けた圧
力センサ15にて検出され、それが所定値となるように制
御される。また同じく内側の接触部には対向した一対の
ゲル状導電物質からなる熟度センサ20が設けられてい
る。そして果実10を捕捉した後導電物質の一方に通電
し、他方への通電量を測定することにより果実10の糖度
を検出し、収穫部８にて収穫する果実の熟度を知ること
ができる。

またハンド７の位置及び方向はマニピュレータ６の各
軸を動かすロボットアクチュエータ16を構成する５台の
サーボモータに取付けられた各ロータリエンコーダの検
出値に基づきハンド姿勢検出部12により検出される。即
ちマニピュレータ６の旋回部、肩部及び肘部の３台のモ
ータのロータリエンコーダの検出値によりハンド７の位
置を求め、さらに手首部の旋回及び傾動の２台のモータ
のロータリエンコーダによりハンド７の方向を求める。

車体１のマニピュレータ６を挟んだ前後部には撮像手
段である２台のカラービデオカメラ（以下カメラとい
う）11f,11rが夫々傾動及び旋回自在に取付けられてい
る。この傾動及び旋回はロータリエンコーダ付の２台の
モータからなる夫々のカメラアクチュエータ13f,13rに
より行われている。そして夫々のカメラ11f,11rの撮像
方向は前述の２ヶのロータリアクチュエータにより検出
される。

また作業地である果樹園内にはリンゴの木が碁盤目状
に所定間隔で規則正しく植えられており、その周囲には
走行案内用のマークが前記間隔で設けられている。マー
クは周囲の環境との識別が可能となるように、例えは黒
地には白丸等を描いたものを作業場内に向けて植設され
てなり、操向制御はそれを撮像し画像処理することによ
り行われる。

従って、果樹園内を自動操向する場合は、前部のカメ
ラ11fにてマークを撮像し、それに基づき目標操舵角を
定め、舵角センサ31で検出された操舵角とを比較して必
要操舵量が求められ、それにより操向制御される。なお
このとき後部のカメラ11rは車体１の進行方向と交差す
る方向を撮像しており、それにより目標となるリンゴの
木を検出する。

第２図は果実収穫ロボットの制御部の構成を示すブロ
ック図、第３図は画像処理部の構成を示すブロック図で
ある。

制御部は夫々マイクロプロセッサを用いてなる操向制
御を行う操向制御部４とマニピュレータの制御を行う収
穫制御部５とからなり、操向制御部４の入力端子には舵
角センサ19からの操舵角信号及び後述する画像処理部60
からの目標操舵角が入力される。そしてそれらにより操
向モータ18への操向指示量が送出される。

画像処理部60は16ビットのマイクロプロセッサを用い
てなり、第３図に示す如く前後部のカメラ11f,11rから
のNTSC方式のビデオ信号が与えられる。与えられた夫々
のビデオ信号はNTSCデコーダからなる各別のカメラ信号
変換部601f,601rに与えられ、NTSC方式のビデオ信号が
赤，緑，青の各色信号R,G,Bに分離される。分離された
各色信号R,G,Bは２地化演算部602に与えられ、自動操向
制御と収穫制御との各制御モードに応じて所定の２値化
がなされる。前記制御モードは撮像制御部50からの制御
モード信号により選択され、その切換は手動又は自動に
より切換えられる。

２値化演算部602では例えば自動操向のときは、前記
カメラ11fからの撮像画像は、マークの白を検出できる
ように各色信号R,G,Bが共に所定の閾値より高いところ
で２値化し、後部のカメラ11rからの撮像画像はリンゴ
の木の葉の緑を検出できるように緑色信号Ｇが所定の閾
値より高く、残りの２色の色信号R,Bが低いところを２
値化する。

また収穫制御のときは、共にリンゴの赤を検出できる
ように、赤色信号Ｒが所定の閾値より高いところを２値
化する。２値化された画素は次の画素抽出部603に与え
られ、そこで所定のマスク処理が施され、その後自動操
向時は目標操舵角演算部604に与えられる。目標操舵角
演算部604ではカラービデオカメラ11fからの抽出された
マークを示す画素の数及びその重心の画面の中心からの
偏差によりマークまでの距離及び方向を算出し、それに
基づき目標操舵角を操向制御部４に出力する。

また収穫制御時に抽出された画素は面積算出部605及
び形状比較部607に与えられる。そして面積算出部605で
は画素数により果実10の面積を算出し、それに基づき次
の重心検出部606でその重心が検出され、その重心位置
が収穫制御部５に与えられる。一方形状比較部607では
予め定められた所定のパターンとのパターン照合が行わ
れ、収穫する果実10の形状比較を行い、比較結果と面積
算出部605からの面積信号とが等級判定部608に与えら
れ、その果実の等級が判別され、その等級信号が収穫制
御部５に与えられる。

撮像制御部50は前述した制御モード信号を画像処理部
60に出力すると共に、カメラ11f,11rに撮像動作の制御
信号を出力し、撮像のオンオフ等の制御を行っている。
また制御モード信号は収穫制御部５にも与えられ、カメ
ラアクチュエータ13f,13rの制御に用いられている。

収穫制御部５の入力端子には、その他カメラ方向検出
部14f,14rからの方向、ハンド姿勢検出部12からのハン
ド７の位置及び方向、熟度センサ20からの果実10の熟度
及び圧力センサ15からの把握力が入力されている。

また出力端子からは、カメラアクチュエータ13f,13
r、ロボットアクチュエータ16及びハンドアクチュエー
タ17への夫々の制御信号が出力されている。

次にこのように構成された果実収穫ロボットの動作に
ついて説明する。

第４図（ａ），（ｂ），（ｃ）は制御部の動作を示す
フローチャートである。

作業開始時、果実収穫ロボットは果樹園内の所定のス
タート位置に手動操作にて誘導される。そこで作業者に
より図示しない自動制御ボタンが押されると（ステップ
１）、自動操向制御が開始する（ステップ２）。撮像制
御部50ではそれを検出すると、２値化演算部602及び収
穫制御部５に自動操向を示す制御モード信号を出力する
（ステップ３）。収穫制御部５では制御モード信号が入
力されると前部のカメラ11fを車体１の水平方向前方の
マークを撮像できるようにカメラアクチュエータ13fを
動作させて固定すると共に、後部のカメラ11rを右側上
方に向けてリンゴの葉を撮像できるようにカメラアクチ
ュエータ13rを動作させて固定する（ステップ４）。

そして前後部のカメラ11f,11rにて車体１前方及び側
方を撮像し（ステップ５）、カメラ信号変換部601f,601
rからの変換された各色信号R,G,Bを撮像制御部により制
御し時分割で２値化演算部602に入力する（ステップ
６）。

次に前部カメラ11fからの色信号R,G,Bか否かを判定さ
れ（ステップ７）、前部カメラ11fからの場合、白を押
出するように各色信号共が夫々所定の閾値より大きい画
素を抽出し２値化する（ステップ８）。次に所定のマス
ク処理により雑音成分を除去し（ステップ９）、抽出さ
れた画素数及びその中心位置を演算し（ステップ10）、
それに基づきマークとの距離及び方向を求め、目標操舵
角を算出する（ステップ11）。

また後部のカメラ11rからの場合、緑を抽出するよう
に緑色信号Ｇが所定閾値より高く、他が低い画素を抽出
し、２値化し（ステップ12）、同様にマスク処理が施さ
れ（ステップ13）、雑音が除去され、緑の画素数が算出
される（ステップ14）。

次にステップ15で緑の画素数が所定値N_gより多いか否
かを判定され、多い場合は木の前を通過中であると判定
し、車体１は停止する（ステップ16）。また少ない場合
はステップ５に戻る。

次に制御モードが操向モードから収穫モードに移る
（ステップ17）。そしてカメラ11f,11rをカメラアクチ
ュエータ13f,13rにより収穫時の初期位置に動かず（ス
テップ18）。そして撮像し（ステップ19）、赤を抽出す
る２値化を行う（ステップ20）。即ち赤色信号Ｒが所定
の閾値より高く、緑色及び青色信号G,Bが低い画素を抽
出して２値化する。そしてマスク処理により雑音成分を
除去し（ステップ21）、抽出された画素数を計数する
（ステップ22）。そして画素数が所定値N_rより多いか否
かが判定され（ステップ23）、大きい場合はその画素に
基づき面積が算出され（ステップ24）、それに基づき画
面内の重心位置が算出され（ステップ25）、重心位置と
視野中心とのずれ量が算出される（ステップ26）。

一方ステップ23で画素数が少ない場合、画素数が略０
か否かが判定され（ステップ27）、略０のときはその木
の果実10を全て収穫したと判定し、収穫を終了し（ステ
ップ28）、次に果樹園内の収穫対象の最終の木か否かが
判定され（ステップ29）、最終の木の場合は制御を終了
し、そうでない場合はステップ２に戻る。またステップ
27で略０でないと判定された場合はカメラアクチュエー
タ13f,13rを所定量移動し（ステップ30）、カメラ11f,1
1rを移動させてステップ19から繰り返す。

ステップ26でずれ量が算出されると、ずれ量に基づき
カメラアクチュエータ13f,13rが夫々駆動され（ステッ
プ31）、重心位置が視野中心に一致したか否かが判定さ
れ（ステップ32）、視野中心に一致しないときは、ステ
ップ19に戻り、一致したときは、果実10の位置を、カメ
ラアクチュエータ13f,13rの夫々２個のロータリアクチ
ュエータからの傾動角及び旋回角に基づき算出されたカ
メラ方向検出部14f,14rからのカメラ方向により算出す
る（ステップ33）。そして画像処理部60で形状比較（ス
テップ34）及び等級判定（ステップ35）がなされ、検出
された果実10の位置によりハンド７から果実10への距離
及び方向が求められ、それにより、マニピュレータ６の
ロボットアクチュエータ16が駆動され（ステップ36）、
ハンド７が果実10に接近する。そしてステップ37でハン
ド７の収穫部８に設けた図示しないセンサによりハンド
７が果実10を捕捉できる位置まで接近したことを検出す
るとハンド７の収穫部８が閉じ（ステップ38）、果実10
を捕捉する。接近していない場合はステップ36に戻る。

そして熟度センサ20により熟度が判定され（ステップ
39）、熟度及び等級が所定以上の水準の場合（ステップ
40）、ハンド７の収穫部８による収穫が行われ（ステッ
プ41）、マニピュレータ６を原点に復帰させ、さらに等
級に応じた収穫箱に果実10を入れ（ステップ43）、ステ
ップ19に戻る。また水準以下の場合ハンド７の収穫部８
は開き、マニピュレータ６は原点に復帰すると共にカメ
ラアクチュエータ13f,13rは所定量駆動され、次の果実1
0を撮像すべくステップ19に戻る。

このようにしてこの発明ではカメラを操向制御と収穫
制御との双方に兼用化して用いているのでカメラ台数を
増加せずにすみ、コストダウンに寄与する。

また形状比較により果実を選別できると共に熟度セン
サにより熟度を判定でき、効率的な収穫作業が行える。

なおこの実施例ではカメラを２台設けたが、これは１
台でもよく、この場合ステップ光投光手段をハンド部に
取付け、ステップ光を果実の重心に照射してそれを視野
中心で撮像するように制御して果実の位置を求め、それ
により収穫し、そのカメラを操向制御に用いてもよいこ
とは言うまでもない。

〔効果〕

以上説明したとおり、この発明によれば、果菜物を撮
像して該果菜物の位置を検出する撮像手段により車体前
方の作業場内の風景を撮像して自動操向を良好に行うこ
とができて、しかも、この自動操向時の車体が、作業場
内の果菜物がある位置に到達したとき、画像処理手段に
より画像処理された風景の特徴に基づき操向制御から収
穫制御へ自動的に移行させて操向を停止し、自動的に収
穫することができるから、作業者が搭乗することなく作
業場に植えられた果菜物の果菜を効率よく良好に収穫す
ることができる。

【図面の簡単な説明】

第１図はこの発明に係る果菜物収穫機の外観斜視図、第
２図は制御部の構成を示すブロック図、第３図は画像処
理部の構成を示すブロック図、第４図（ａ），（ｂ），
（ｃ）は制御動作を示すフローチャートである。 １……車体、２……操向輪、10……果実、11f,11r……
カラービデオカメラ、４……操向制御部、５……収穫制
御部、50……撮像制御部、60……画像処理部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】収穫対象の果菜物が植えられた作業場内を
   自動操向する車体を備えており、該車体に設けられた撮
   像手段により前記果菜物を撮像して該果菜物の位置を検
   出し、該検出した果菜物を収穫する果菜物収穫機におい
   て、 自動操向時、前記撮像手段を車体前方の作業場内の風景
   を撮像すべく制御する撮像制御手段と、 該撮像制御手段により制御された撮像手段にて撮像され
   た前記作業場内の風景の画像を２値化して画像処理する
   手段と、 画像処理された風景の特徴に基づき操向制御の継続／収
   穫制御への移行を判別する判別手段とを備えることを特
   徴とする果菜物収穫機。