JP5494183B2 - 自動収穫装置 - Google Patents

Description

本発明は、野菜や果物等の果実の収穫を自動的に行う自動収穫装置に関する。

近年、画像処理技術やロボット技術等の進展に伴って、果実の収穫を自動的に行う自動収穫装置の開発が盛んに行われている。現在、農業従事者の高齢化が深刻な問題となっており、今後も就農人口が減少傾向にあることから、少ない人手で効率的に果実を収穫することができる自動収穫装置の期待が高まっている。また、近年では、果実の安定供給のために、閉鎖的又は半閉鎖的な空間内で植物を計画的に生産する植物工場の稼働が始まっている。このような植物工場においても、省力化等のために自動収穫装置が用いられている。

以下の特許文献１には、ＣＣＤ（Charge Coupled Device：電荷結合素子）カメラによる２位置ステレオ撮像を行って果実（キュウリ）までの距離を的確に検出し、果実の収穫量を向上させる自動収穫装置が開示されている。具体的には、ＣＣＤカメラをスライドさせる前に撮像した第１画像における果実の位置が、画像面の中心線から左右側に偏位した位置にあれば、ＣＣＤカメラをその偏位している側へスライドして第２画像を撮影し、これら第１，第２画像に基づいて果実までの距離を検出している。

特許第３３９６９２０号公報

ところで、自動収穫装置は、基本的にはＣＣＤカメラ等を用いて得られた画像に基づいて収穫すべき果実を検出し、その検出結果に基づいて果実の収穫を行うものである。このため、従来の自動収穫装置は、一定方向に集中して生っている果実や葉等に隠れていない果実であれば自動的に収穫が可能であるものの、生っている方向がバラバラな果実や葉等に隠れた果実の収穫は困難であった。

従って、従来は、自動収穫装置にて収穫すべき果実が葉等に隠れず、且つ一定方向に集中するように、果実の栽培方法を工夫する必要があった。例えば、上記の特許文献１では、ツタが絡まる支柱を自動収穫装置の走行路に向けて傾けた状態でキュウリを栽培することにより、収穫すべき果実であるキュウリの実が葉に隠れず、且つ上下方向を向くようにしている。

しかしながら、自動収穫装置で収穫すべき果実は、キュウリのような棒状の形状であって空中にぶら下がった状態で生るものばかりではない。例えば、リンゴや柿のような球体形状であって枝になるものもあれば、イチゴのような略円錐形状であって地表に生るものもある。このため、果実の栽培方法を工夫しても自動収穫装置の目線からは果実が葉等に隠れてしまうことが考えられる。従来自動収穫装置では、このような果実の収穫を効率的に行うことができないという問題があった。

本発明は、上記事情に鑑みてなされたものであり、葉等に隠れた状態の果実であっても自動的に収穫することができる自動収穫装置を提供することを目的とする。

上記課題を解決するために、本発明の自動収穫装置は、収穫すべき果実が生る農作物を撮影する撮影装置（１５）と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置（１４）とを備える自動収穫装置（１〜３）において、前記撮影装置によって撮影が行われている状態で、前記農作物の葉を揺動させる揺動装置（１２、１４）と、前記揺動装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置（Ｃ１１、Ｃ２１）とを備えることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物に向けた送風を行うことにより、前記農作物の葉を揺動させる送風装置（１２）であることを特徴としている。
また、本発明の自動収穫装置は、前記送風装置の位置又は姿勢の少なくとも一方を制御して、前記農作物に向けた送風を異なる方向から行わせる駆動制御装置（Ｃ１２）を備えることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物の一部を把持して振動させることにより、前記農作物の葉を揺動させることを特徴としている。
また、本発明の自動収穫装置は、前記収穫装置が、収穫すべき果実を把持するとともに、前記揺動装置を兼ねることを特徴としている。
また、本発明の自動収穫装置は、前記揺動装置が、前記農作物に取り付けられて前記農作物を振動させる振動装置（３２）に対して振動の開始及び停止を指示することにより、前記農作物の葉を揺動させることを特徴としている。
また、本発明の自動収穫装置は、前記画像処理装置が、前記撮影装置で撮影される複数の画像を積算する処理を行い、積算値の大きな部分を前記果実と特定することを特徴としている。
また、本発明の自動収穫装置は、前記画像処理装置が、前記撮影装置で撮影される複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分を前記果実と特定することを特徴としている。

本発明によれば、振動装置によって農作物の葉を揺動させつつ撮影装置で農作物を撮影し、撮影装置で撮影される複数の画像に対して所定の画像処理を行って葉に隠れた果実を特定しているため、葉等に隠れた状態の果実であっても自動的に収穫することができるという効果がある。

本発明の第１実施形態による自動収穫装置の外観を模式的に示す斜視図である。 本発明の第１実施形態による自動収穫装置の制御系の構成を示すブロック図である。 本発明の第１実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。 本発明の第２実施形態による自動収穫装置の外観を模式的に示す斜視図である。 本発明の第２実施形態による自動収穫装置の制御系の構成を示すブロック図である。 本発明の第２実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。 本発明の第２実施形態による自動収穫装置の変形例を模式的に示す斜視図である。 本発明の第３実施形態による自動収穫装置の外観を模式的に示す斜視図である。 本発明の第３実施形態による自動収穫装置の制御系の構成を示すブロック図である。 本発明の第３実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。

以下、図面を参照して本発明の実施形態による自動収穫装置について詳細に説明する。尚、以下では、理解を容易にするために、農作物がリンゴの木であって収穫すべき果実がリンゴの実である場合を例に挙げて説明するが、本発明は他の野菜や果物の果実を収穫する自動収穫装置にも適用可能である。

また、以下では、図中に設定したＸＹＺ直交座標系を参照しつつ自動収穫装置が備える各部材の位置関係について説明する。このＸＹＺ直交座標系は、ＸＹ平面が水平面に平行な面に設定されており、Ｚ軸が鉛直上方向に設定されている。尚、自動収穫装置の進行方向はＹ方向であるものとし、農作物であるリンゴの木は自動収穫装置の走行経路の＋Ｘ側に自動収穫装置の進行方向であるＹ方向に沿って植林されているとする。

〔第１実施形態〕
図１は、本発明の第１実施形態による自動収穫装置の外観を模式的に示す斜視図である。図１に示す通り、本実施形態の自動収穫装置１は、平面視形状が略矩形形状の車台１０に支持される４つの車輪１１と、車台１０上に設けられる送風機１２（揺動装置、送風装置）、送風機駆動機構１３、マニピュレータ１４（収穫装置）、画像センサ１５（撮影装置）、収穫籠１６、バッテリ１７、及びコントローラ１８とを備えており、車輪１１によって走行しつつ、収穫すべき果実であるリンゴの実を自動的に収穫する。

４つの車輪１１は、車台１１の左右方向（±Ｘ方向）の前側（＋Ｙ側）及び後側（−Ｙ側）にそれぞれ配設されており、モータ（図示省略）の動力によって駆動され、車台１０の左右方向に沿う回転軸の周りで回転可能に車台１０に支持されている。尚、車台１１の左側に配設された車輪１１と右側に配設された車輪１１との駆動量を変えることにより自動収穫装置１の進行方向を変更することができる。

送風機１２は、車台１１の右端側（＋Ｘ側）に配設されており、例えば多翼ファンを回転させてリンゴの木に向けて送風を行う。この送風機１２は、リンゴの木に向けた送風によってリンゴの木の葉を揺動させるために設けられる。送風機駆動機構１３は、送風機１２を下部から支持しており、コントローラ１８の制御の下で送風機１２の位置及び姿勢を変える機構である。

具体的に、送風機駆動機構１３は、車台１１の右端側に設けられたＹ方向に延びるレール１３ａに沿って移動可能に、且つＺ方向に伸縮自在に構成されており、支持する送風機１２の車台１０上におけるＹ方向の位置及びＺ方向の位置を変えることができる。また、送風機駆動機構１３は、その上端部付近が図中のθ方向及びφ方向に回動可能に構成されており、Ｚ軸及びＹ軸の周りで送風機１２を首振りさせて送風機１２の姿勢を変えることができる。

マニピュレータ１４は、複数の関節を有するアーム部１４ａと、アーム部１４ａの先端部に取り付けられたハンド部１４ｂとを備える所謂ロボットアームであり、車台１０の中央部に設けられた棚板１９の上部に取り付けられている。このマニピュレータ１４は、コントローラ１８の制御の下で、画像センサ１５で撮影された画像から特定されるリンゴの実をハンド部１４ｂで把持して収穫する。尚、マニピュレータ１４のアーム部１４ａの長さや関節数、及びハンド部１４ｂの大きさや形状は、収穫すべき果実に応じて適宜変更が可能である。

画像センサ１５は、例えばＣＣＤカメラ等のカメラを備えており、収穫すべき果実であるリンゴの実が生るリンゴの木を撮影する。この画像センサ１５は、マニピュレータ１４のアーム部１４ａの先端にハンド部１４ｂとともに取り付けられており、マニピュレータ１４を操作することにより、画像センサ１５によって撮影される位置及び角度を変えることが可能である。尚、詳細は後述するが、画像センサ１５で撮影された画像は、コントローラ１８で所定の画像処理が施されて収穫すべき果実であるリンゴの実が特定される。

収穫籠１７は、マニピュレータ１４によって収穫されたリンゴの実を収容する籠であり、棚板１９の上部に設けられている。バッテリ１７は、車台の後側に取り付けられたニッケル水素電池、リチウムイオン電池等の二次電池であり、車輪１１、送風機１２、送風機駆動機構１３、マニピュレータ１４、画像センサ１５、及びコントローラ１８を動作させるための電力を供給する。

コントローラ１８は、自動収穫装置１の動作を統括して制御する。例えば、車輪１１を駆動する不図示のモータの駆動量を制御して自動収穫装置１の走行制御を行う。また、マニピュレータ１４を制御して画像センサ１５によるリンゴの木の撮影位置を設定するとともに、画像センサ１５で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。また、画像センサ１５でリンゴの木を撮影するときに、送風機１２及び送風機駆動機構１３を制御してリンゴの木の葉を揺動させる。更に、マニピュレータ１４を制御して、上記の画像処理によって特定されたリンゴの実を収穫させる。

図２は、本発明の第１実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図２においては、図１に示した構成に相当するブロックについては、図１に示した符号と同じ符号を付している。また、図２中の走行機構Ｄは、自動収穫装置１を走行させる機構であって、図１に示した４つの車輪１１とこれらを個別に駆動する付図視のモータからなる機構である。

図２に示す通り、コントローラ１８は、画像処理部Ｃ１１（画像処理装置）、送風機駆動制御部Ｃ１２（駆動制御装置）、アーム駆動制御部Ｃ１３、及び走行制御部１４を備えている。画像処理部Ｃ１１は、画像センサ１５で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。具体的には、画像センサ１５で撮影された複数の画像を積算する処理（或いは、重ね合わせ処理）及びエッジ検出処理を行い、積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分をリンゴの実であると特定する。

本実施形態では、リンゴの木を画像センサ１５で撮影するときに、送風機１２によってリンゴの木の葉を揺動させながら撮影してる。風が吹き付けられるとリンゴの木の葉は軽量であるため容易に揺動するのに対し、リンゴの実はその重みのために揺動しにくい。このため、画像センサ１５で撮影される画像内におけるリンゴの実の位置は殆ど変わらないのに対し、リンゴの木の葉の位置は頻繁に変わる。このような性質を利用し、画像処理部Ｃ１１は、画像の積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分をリンゴの実であると特定している。

送風機駆動制御部Ｃ１２は、送風機駆動機構１３を制御して、車台１０上における送風機１２のＹ方向の位置及びＺ方向の位置、並びに送風機１２のＺ軸及びＹ軸の周りでの送風機１２の首振り量を変える。送風機駆動制御部Ｃ１２が送風機駆動機構１３を制御して送風機１２の位置及び首振り量を変えるのは、リンゴの木に向けた送風を異なる方向から行ってリンゴの木の葉の揺れ方を変えることにより、リンゴの木の実の検出精度を高めるためである。尚、送風機駆動制御部Ｃ１２は、送風機１２による送風の開始及び停止も制御する。

アーム駆動制御部Ｃ１３は、マニピュレータ１４の動作を制御する。具体的に、アーム駆動制御部Ｃ１３は、マニピュレータ１４のアーム部１４ａに設けられている複数の間接の角度、及びアーム部１４ａのＺ軸周りの回転量を制御することにより、ハンド部１４ｂ及び画像センサ１５の位置及び姿勢を設定する。また、マニピュレータ１４のハンド部１４ｂを制御して、収穫すべきリンゴの実等を把持するか否かを制御する。

走行制御部Ｃ１４は、走行機構Ｄをなす不図示のモータ（車輪１１を駆動するモータ）の駆動量を制御することにより、動収穫装置１の走行制御を行う。具体的に、４つの車輪１１の回転速度及び回転方向を同じにして自動収穫装置１を＋Ｙ方向又は−Ｙ方向に沿って移動させる。また、車台１１の左側に配設された車輪１１と右側に配設された車輪１１との駆動量を変えて自動収穫装置１の進行方向を変更する。更には、車台１１の左側に配設された車輪１１と右側に配設された車輪１１との回転方向を変えて自動収穫装置１を回転させる。

次に、上記構成における自動収穫装置１の収穫時の動作について説明する。図３は、本発明の第１実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、コントローラ１８の走行制御部Ｃ１４が走行機構Ｄを制御して自動収穫装置１を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置１を移動させる。

自動収穫装置１の移動が完了すると、コントローラ１８のアーム駆動制御部Ｃ１３がマニピュレータ１４を制御し、マニピュレータ１４のハンド部１４ｂ及び画像センサ１５を対象物（リンゴの木）の近傍に移動させる（ステップＳ１１）。ハンド部１４ｂ及び画像センサ１５の移動が完了し、画像センサ１５によって撮影すべき位置及び方向が設定されると、画像センサ１５によってリンゴの木の撮影（計測）が開始され、画像センサ１５からコントローラ１８に対して撮影された画像の画像データが出力される（ステップＳ１２）。尚、コントローラ１８に出力された画像データは、画像処理部Ｃ１１に記憶される。

画像センサ１５による撮影が開始されると、コントローラ１８の送風機駆動制御部Ｃ１２が送風機１２を制御して、リンゴの木に対する送風を開始させる（ステップＳ１３）。送風機１２による送風が開始されると、送風機駆動制御部Ｃ１２は送風機駆動機構１３を制御して送風機１２を駆動させる（ステップＳ１４）。具体的には、送風機１２をレール１３ａに沿ってＹ方向に移動させたり、送風機１２をＺ方向に移動させることによって送風機１２の位置を変える。また、送風機駆動機構１３の上端部付近をθ方向に回動させたり、φ方向に回動させることにより、送風機１２を首振りさせて送風機１２の姿勢を変える。

次に、コントローラ１８は、送風機駆動機構１３による送風機１２の駆動が完了したか否かを判断する（ステップＳ１５）。例えば、送風機１２がレール１３ａの一端から他端への移動の途中であって、送風機１２の移動がが完了していない場合には、ステップＳ１５の判断は「ＮＯ」になり、ステップＳ１５の判断を繰り返す。これに対し、例えばレール１３ａの他端への移動が完了した場合には、ステップＳ１５の判断は「ＹＥＳ」になり、送風機１２による送風を停止して送風機１２を初期位置（例えば、レール１３ａの一端）に移動させる制御が送風機駆動制御部Ｃ１２によって行われ（ステップＳ１６）、画像センサ１５によるリンゴの木の撮影（計測）が終了する（ステップＳ１７）。

以上の処理が完了すると、画像処理部Ｃ１１は、記憶した画像データに対して所定の画像処理を行って実と葉とを区分けする（ステップＳ１８）。具体的には、画像データを積算するとともにエッジを検出し、積算値の大きな部分であってリンゴの実の輪郭の形状に近似する部分を抽出してリンゴの実を特定する。画像処理部Ｃ１１によってリンゴの実が特定されると、アーム駆動制御部Ｃ１３によってマニピュレータ１４が制御され、特定されたリンゴの実がマニピュレータ１４のハンド部１４ｂに把持されて収穫籠１７に収穫される（ステップＳ１９）。

尚、複数のリンゴの実が特定された場合には、マニピュレータ１４によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ１８の走行制御部Ｃ１４によって走行機構Ｄが制御され、次のリンゴの木の近傍への自動収穫装置１の移動が行われる。そして、図３に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。

また、以上の説明では、画像センサ１５によって撮影される位置及び方向が固定された状態でリンゴの木が撮影される例について説明したが、画像センサ１５によって撮影される位置は固定しつつ、撮影される方向を変えても良い。また、以上では、画像センサ１５による撮影が行われている間に、送風機駆動機構１３によって送風機１２が駆動（位置の移動及び首振り）される例について説明したが、必要がなければ送風機１２の駆動は省略してもい。

〔第２実施形態〕
図４は、本発明の第２実施形態による自動収穫装置の外観を模式的に示す斜視図である。尚、図４においては、図１に示した構成と同じものについては同一の符号を付してある。図４に示す通り、本実施形態の自動収穫装置２は、図１に示す自動収穫装置１が備える送風機１２、送風機駆動機構１３、及びレール１３ａを省略し、ハンド部１４ｂとは別個に画像センサ１５を移動させることができるサブアーム２１をマニピュレータ１４に取り付けた構成である。

以上の構成の自動収穫装置２は、リンゴの木の一部（例えば、リンゴの木の枝や幹）をマニピュレータ１４のハンド部１４ｂで把持して震動させることにより、リンゴの木の葉を揺動させるものである。このように、本実施形態では、マニピュレータ１４を、リンゴの実を収穫する収穫装置として用いるだけではなく、リンゴの木の葉を揺動させる揺動装置として用いている。

ここで、前述した第１実施形態の自動収穫装置１のように、画像センサ１５がハンド部１４ｂとともにマニピュレータ１４のアーム部１４ａの先端に取り付けられていたのでは、ハンド部１４ｂを震動させる度に画像センサ１５も震動してしまい、撮影位置及び撮影方向が定まらない。このため、本実施形態では、先端に画像センサ１５が取り付けられたサブアーム２１をマニピュレータ１４に取り付け、ハンド部１４ｂと画像センサ１５とを別個に移動可能にしている。これにより、ハンド部１４ｂを震動させた場合であっても、画像センサ１５によって撮影される位置及び方向を固定することができる。

図５は、本発明の第２実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図５においては、図２に示したブロックと同じブロックについては同一の符号を付している。図５に示す通り、本実施形態において、コントローラ１８は、画像処理部Ｃ２１（画像処理装置）、アーム駆動制御部Ｃ２２、及び走行制御部１４を備える構成である。つまり、図５に示すコントローラ１８は、図２に示すコントローラの送風機駆動制御部Ｃ１２を省略し、画像処理部Ｃ１１及びアーム駆動制御部Ｃ１２に代えて画像処理部Ｃ２１及びアーム駆動制御部Ｃ２２を設けた構成である。

画像処理部Ｃ２１は、画像センサ１５で撮影された画像に対して所定の画像処理を行って収穫すべきリンゴの実を特定する。具体的には、画像センサ１５で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。ここで、リンゴの木の枝等をマニピュレータ１４のハンド部１４ｂで把持して震動させたときに、リンゴの木の葉は容易に揺動するのに対し、リンゴの実はその重みのために揺動しにくい。従って、リンゴの実が揺動する周波数はリンゴの木の葉が揺動する周波数よりも低い傾向がある。このような性質を利用し、画像処理部Ｃ２１は、画像センサ１５で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定している。

アーム駆動制御部Ｃ２２は、サブアーム２１が取り付けられたマニピュレータ１４の動作を制御する。具体的に、アーム駆動制御部Ｃ２２は、図２に示すアーム駆動制御部Ｃ１３と同様に、マニピュレータ１４のアーム部１４ａに設けられている複数の間接の角度、及びアーム部１４ａのＺ軸周りの回転量を制御することにより、ハンド部１４ｂの位置及び姿勢を設定する。また、マニピュレータ１４のハンド部１４ｂを制御して、収穫すべきリンゴの実等を把持するか否かを制御する。これらの制御に加えて、アーム駆動制御部Ｃ２２は、アブアーム２１の関節の角度等を制御することにより、サブアーム２１の先端に取り付けられている画像センサ１５の位置及び姿勢を設定する。

次に、上記構成における自動収穫装置２の収穫時の動作について説明する。図６は、本発明の第２実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、第１実施形態と同様に、コントローラ１８の走行制御部Ｃ１４が走行機構Ｄを制御して自動収穫装置２を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置２を移動させる。

自動収穫装置２の移動が完了すると、コントローラ１８のアーム駆動制御部Ｃ２２がマニピュレータ１４を制御し、サブアーム２１の先端に取り付けられている画像センサ１５を対象物（リンゴの木）の近傍に移動させる（ステップＳ２１）。具体的には、リンゴの木から１〜５ｍ程度離間した位置に画像センサ１５を移動させる。画像センサ１５の移動が完了し、画像センサ１５によって撮影すべき位置及び方向が設定されると、画像センサ１５によってリンゴの木の撮影（計測）が開始され、画像センサ１５からコントローラ１８に対して撮影された画像の画像データが出力される（ステップＳ２２）。尚、コントローラ１８に出力された画像データは、画像処理部Ｃ２１に記憶される。

画像センサ１５による撮影が開始されると、コントローラ１８のアーム駆動制御部Ｃ２２は、マニピュレータ１４を制御してハンド部１４ｂによってリンゴの木の一部（例えば、リンゴの木の茎）を把持させ（ステップＳ２３）、ハンド部１４ｂを一定周期で振動させる（ステップＳ２４）。これにより、リンゴの木のハンド部１４ｂに把持された部分が振動してリンゴの木の葉が揺動する。尚、ハンド部１４ｂが振動している間は、サブアーム２１の先端に取り付けられている画像センサ１５の位置及び姿勢は固定されたままである。

以上の動作が継続されると、リンゴの木の一部が振動している状態で画像センサ１５で撮影された複数の画像データが画像処理部Ｃ２１に記憶される。画像処理部Ｃ２１は、記憶された画像データを用いて周波数分析を行う（ステップＳ２５）。具体的には、画像センサ１５で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。

次に、コントローラ１８は、画像処理部Ｃ２１によってリンゴの実の位置が検出された否かを判断する（ステップＳ２６）。画像処理部Ｃ２１でリンゴの実の位置が検出されなかった場合にはステップＳ２６の判断結果は「ＮＯ」になり、コントローラ１８は、アーム駆動制御部Ｃ２２に対してマニピュレータ１４の振動周期（ハンド部１４ｂの振動周期）を変更させる（ステップＳ２７）。そして、新たに設定された振動周期でハンド部１４ｂを振動させてリンゴの木の撮影を行い（ステップＳ２４）、新たに得られた画像データを用いた周波数分析が行われる（ステップＳ２５）。

これに対し、画像処理部Ｃ２１でリンゴの実の位置が検出された場合にはステップＳ２６の判断結果は「ＹＥＳ」になる。すると、コントローラ１８はアーム駆動制御部Ｃ２２に対して検出されたリンゴの実を収穫させる指示を行う。かかる指示がなされると、アーム駆動制御部Ｃ２２によってマニピュレータ１４が制御され、特定されたリンゴの実がマニピュレータ１４のハンド部１４ｂに把持されて収穫籠１７に収穫される（ステップＳ２８）。

尚、第１実施形態と同様に、複数のリンゴの実が特定された場合には、マニピュレータ１４によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ１８の走行制御部Ｃ１４によって走行機構Ｄが制御され、次のリンゴの木の近傍への自動収穫装置２の移動が行われる。そして、図６に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。

ここで、前述したサブアーム２１は、ハンド部１４ｂと画像センサ１５とが別個に移動可能であれば、マニピュレータ１４の任意の位置に取り付けられていて良い。また、画像センサ１５を移動させる機構（サブアーム２１）は、必ずしもマニピュレータ１４に取り付けられている必要はなく、図７に示す通り、マニピュレータ１４とは別個に設けられていても良い。

図７は、本発明の第２実施形態による自動収穫装置の変形例を模式的に示す斜視図である。図７に示す自動収穫装置２は、２つのマニピュレータ１４，２１を備えている。マニピュレータ１４は、複数の関節を有するアーム部１４ａと、アーム部１４ａの先端部に取り付けられたハンド部１４ｂとを備えている。これに対し、マニピュレータ２１は、アーム部１４ａと同様の複数の関節を有するアーム部からなり、その先端部に画像センサ１５が取り付けられている。図７に示す構成にしても、ハンド部１４ｂと画像センサ１５とを別個に移動させることができるため、ハンド部１４ｂによってリンゴの木の一部を振動させながら画像センサ１５による撮影を行うことができる。

〔第３実施形態〕
図８は、本発明の第３実施形態による自動収穫装置の外観を模式的に示す斜視図である。尚、図８においては、図１に示した構成と同じものについては同一の符号を付してある。図８に示す通り、本実施形態の自動収穫装置３は、図１に示す自動収穫装置１が備える送風機１２、送風機駆動機構１３、及びレール１３ａを省略し、車台１０の右端に振動コマンド送信機３１を設けた構成である。

本実施形態の自動収穫装置３は、予めリンゴの木Ｔｒに取り付けられた振動装置３２に対して振動コマンドを送信して振動装置３２の振動の開始及び停止を指示することにより、リンゴの木の葉を揺動させるものである。つまり、本実施形態の自動収穫装置３は、リンゴの木Ｔｒの一部を振動させるための振動機構は備えておらず、外部に設けられた振動機構（振動装置３２）を振動させるものである。

振動コマンド送信機３１は、コントローラ１８の制御の下で振動装置３２を振動させるための振動コマンドを送信する機器であり、例えば電波や赤外線等を用いて振動コマンドを送信する。振動装置３２は、例えばリンゴの木Ｔｒの幹に取り付けられており、振動コマンド送信機３１から振動コマンドが送信された場合に、リンゴの木Ｔｒの幹を振動させることによって、リンゴの木の葉を揺動させるものである。

図９は、本発明の第３実施形態による自動収穫装置の制御系の構成を示すブロック図である。尚、図９においては、図２又は図５に示したブロックと同じブロックについては同一の符号を付している。図９に示す通り、本実施形態において、コントローラ１８は、画像処理部Ｃ２１、振動制御部Ｃ３１、アーム駆動制御部Ｃ１３、及び走行制御部１４を備える構成である。つまり、図９に示すコントローラ１８は、図２に示すコントローラの画像処理部Ｃ１１に代えて図５に示す画像処理部Ｃ２１を設け、図２に示す送風機駆動制御部Ｃ１２に代えて振動制御部Ｃ３１を設けた構成である。

振動制御部Ｃ３１は、振動コマンド送信機３１を制御して振動装置３２に向けて振動コマンドを送信させることにより振動装置３２を振動させる。尚、図９に示す通り、振動装置３２は、振動コマンド送信機３１から送信される振動コマンドを受信する振動コマンドを受信する振動コマンド受信機３３を備えている。

次に、上記構成における自動収穫装置３の収穫時の動作について説明する。図１０は、本発明の第３実施形態による自動収穫装置の収穫時の動作を示すフローチャートである。まず、第１，第２実施形態と同様に、コントローラ１８の走行制御部Ｃ１４が走行機構Ｄを制御して自動収穫装置３を走行させ、収穫すべきリンゴの実が生っているリンゴの木の近傍に自動収穫装置３を移動させる。

自動収穫装置３の移動が完了すると、コントローラ１８のアーム駆動制御部Ｃ１３がマニピュレータ１４を制御し、マニピュレータ１４のハンド部１４ｂ及び画像センサ１５を対象物（リンゴの木）の近傍に移動させる（ステップＳ３１）。ハンド部１４ｂ及び画像センサ１５の移動が完了し、画像センサ１５によって撮影すべき位置及び方向が設定されると、画像センサ１５によってリンゴの木の撮影（計測）が開始され、画像センサ１５からコントローラ１８に対して撮影された画像の画像データが出力される（ステップＳ３２）。尚、コントローラ１８に出力された画像データは、画像処理部Ｃ２１に記憶される。

画像センサ１５による撮影が開始されると、コントローラ１８の振動制御部Ｃ３１は、振動コマンド送信機３１を制御して振動装置３２に向けて送信コマンドを送信させる。これにより、リンゴの木Ｔｒに取り付けられた振動装置３２が一定周期で振動してリンゴの木の葉が揺動する（ステップＳ３３）。

以上の動作が継続されると、リンゴの木の一部が振動している状態で画像センサ１５で撮影された複数の画像データが画像処理部Ｃ２１に記憶される。画像処理部Ｃ２１は、記憶された画像データを用いて周波数分析を行う（ステップＳ３４）。具体的には、画像センサ１５で撮影された複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分をリンゴの実であると特定する。

次に、コントローラ１８は、画像処理部Ｃ２１によってリンゴの実の位置が検出された否かを判断する（ステップＳ３５）。画像処理部Ｃ２１でリンゴの実の位置が検出されなかった場合にはステップＳ３５の判断結果は「ＮＯ」になり、コントローラ１８は、振動制御部Ｃ３１に対して振動装置３２の振動周期を変更させる（ステップＳ３６）。そして、新たに設定された振動周期で振動装置３２を振動させてリンゴの木の撮影を行い（ステップＳ３３）、新たに得られた画像データを用いた周波数分析が行われる（ステップＳ３４）。

これに対し、画像処理部Ｃ２１でリンゴの実の位置が検出された場合にはステップＳ３５の判断結果は「ＹＥＳ」になる。すると、コントローラ１８は、アーム駆動制御部Ｃ１３に対して検出されたリンゴの実を収穫させる指示を行う。かかる指示がなされると、アーム駆動制御部Ｃ１３によってマニピュレータ１４が制御され、特定されたリンゴの実がマニピュレータ１４のハンド部１４ｂに把持されて収穫籠１７に収穫される（ステップＳ３７）。

尚、本実施形態においても、第１，第２実施形態と同様に、複数のリンゴの実が特定された場合には、マニピュレータ１４によって順次収穫される。また、収穫すべきリンゴの実が生っているリンゴの木が他にもある場合には、コントローラ１８の走行制御部Ｃ１４によって走行機構Ｄが制御され、次のリンゴの木の近傍への自動収穫装置３の移動が行われる。そして、図１０に示す処理が行われて、そのリンゴの木に生っているリンゴの実の収穫が同様に行われる。

以上の通り、前述した第１〜第３実施形態の自動収穫装置１〜３は、リンゴの木の葉を揺動させつつリンゴの木を撮影し、撮影された画像から収穫すべき果実であるリンゴのみを特定している。具体的に、第１実施形態では送風機１２によってリンゴの木に対する送風を行って葉を揺動させ、第２実施形態ではマニピュレータ１４によってリンゴの木の枝等を振動させて葉を動揺させ、第３実施形態ではリンゴの木に取り付けられた振動装置を振動させて葉を揺動させている。このため、葉等に隠れた状態のリンゴの実であっても自動的に収穫することが可能である。

以上、本発明の実施形態による自動収穫装置について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、上記実施形態では、車輪１１を駆動することによって移動する自動収穫装置を例に挙げて説明した。しかしながら、予め敷設されたレール上を移動する自動収穫装置にも本発明を適用することができる。また、前述した各実施形態における車台１０の形状、並びに、車台１０上における送風機１２、送風機駆動機構１３、マニピュレータ１４、画像センサ１５、収穫籠１６、バッテリ１７、及びコントローラ１８の配置はあくまでも一例であって、これらは収穫すべき果実の種類等に応じて適宜変更可能である。

１〜３ 自動収穫装置
１２ 送風機
１４ マニピュレータ
１５ 画像センサ
３２ 振動装置
Ｃ１１ 画像処理部
Ｃ１２ 送風機駆動制御部
Ｃ２１ 画像処理部

Claims (6)

1. 収穫すべき果実が生る農作物を撮影する撮影装置と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置とを備える自動収穫装置において、
   前記撮影装置によって撮影が行われている状態で、前記農作物に向けた送風を行うことにより、前記農作物の葉を揺動させる送風装置と、
   前記送風装置の位置又は姿勢の少なくとも一方を制御して、前記農作物に向けた送風を異なる方向から行わせる駆動制御装置と、
   前記送風装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置と
   を備えることを特徴とする自動収穫装置。
2. 収穫すべき果実が生る農作物を撮影する撮影装置と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置とを備える自動収穫装置において、
   前記撮影装置によって撮影が行われている状態で、前記農作物の一部を把持して振動させることにより、前記農作物の葉を揺動させる揺動装置と、
   前記揺動装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置と
   を備えることを特徴とする自動収穫装置。
3. 収穫すべき果実が生る農作物を撮影する撮影装置と、前記撮影装置で撮影された画像から特定される前記果実を収穫する収穫装置とを備える自動収穫装置において、
   前記撮影装置によって撮影が行われている状態で、前記農作物に取り付けられて前記農作物を振動させる振動装置に対して振動の開始及び停止を指示することにより、前記農作物の葉を揺動させる揺動装置と、
   前記揺動装置が前記農作物の葉を揺動させているときに前記撮影装置で撮影される複数の画像に対して所定の画像処理を行い、前記葉に隠れた前記果実を特定する画像処理装置と
   を備えることを特徴とする自動収穫装置。
4. 前記画像処理装置は、前記撮影装置で撮影される複数の画像を積算する処理を行い、積算値の大きな部分を前記果実と特定することを特徴とする請求項１記載の自動収穫装置。
5. 前記収穫装置は、収穫すべき果実を把持するとともに、前記揺動装置を兼ねることを特徴とする請求項２記載の自動収穫装置。
6. 前記画像処理装置は、前記撮影装置で撮影される複数の画像の変化部分毎の周波数分析を行い、周波数が低い部分を前記果実と特定することを特徴とする請求項２、請求項３、又は請求項５記載の自動収穫装置。

Images