JP7049814B2 - 収穫ロボットシステム - Google Patents

Description

本発明は、収穫ロボットシステムに関する。

従来、収穫ロボットがパプリカやトマトなどの作物を自動的に収穫するための技術研究が進められている（例えば、非特許文献１参照）。この非特許文献１によれば、パプリカの果柄（peduncle）をきれいに切断するため、撮像された画像の色とジオメトリ情報とを利用すると共に教師あり学習を用いて３次元空間にて果柄を検出している。

特に、非特許文献１記載の技術では、果柄をカットする収穫ツールが取り付けられたロボットアーム、および、このロボットアーム先端のパプリカの近くに取付けられたＲＧＢ－Ｄハンドカメラ、を用いて果柄を検出するようにしている。非特許文献１のFIG.1、FIG.5などを参照。

しかし、非特許文献１記載の技術を適用した場合には、ハンドカメラがロボットアームの先端に取付けられているため位置的に画角が狭くなり、ロボットを備え付けるための台車やロボットアームを動かしながら作物を探索することになれば、収穫対象の作物を探索するために多大な時間を要してしまう。

Inkyu Sa、他６名、"Peduncle Detection of Sweet Pepper for Autonomous Crop Harvesting？Combined Color and 3-D Information"、IEEE ROBOTICS AND AUTOMATION LETTERS、2017年1月11日、VOL.2、NO.2、P.765-772

本発明は上記事情に鑑みてなされたもので、その目的は、収穫対象の目標作物を短時間で収穫できるようにした収穫ロボットシステムを提供することにある。

請求項１記載の発明は、進行方向に沿って収穫対象となる目標作物を収穫する収穫ロボットシステムを対象としている。画像取得部は、台車の所定位置に設置され当該所定位置から収穫対象となる目標作物を含む画像を取得する。収穫位置取得部は、画像取得部による取得された画像を用いて目標作物を探索して当該目標作物の位置情報を取得する。収穫ロボットは、所定位置から進行方向の後部において、収穫位置取得部により取得された目標作物の位置情報を用いて目標作物を収穫する。そして、収穫位置取得部による目標作物の探索処理と収穫ロボットによる目標作物の収穫処理とを並行して行うようにしているため、収穫対象の目標作物を短時間で収穫できるようになる。また、三次元画像生成部は、画像取得部により取得される画像を用いて三次元画像を生成し、基本クラスタリング部は、三次元画像生成部による三次元画像のあるボクセルから同類色の領域を拡張し当該領域と他の領域とを分離する。また、熟度判定領域クラスタリング部は、同類色の領域を拡張した端部から下側にて同類色とは異なる色領域のボクセルを拡張する。そして、収穫位置取得部が目標作物の位置情報を取得するときに、熟度判定領域クラスタリング部により拡張された領域を用いて目標作物の熟度を判定し当該熟度が所定より高い作物を目標作物としてその位置情報を特定する。

第１実施形態における収穫ロボットシステムの構成図 目標作物の収穫方法の説明図のその１ 目標作物の収穫方法の説明図のその２ 目標作物の外観図 土壌と台車の走行通路の関係を示す平面図 収穫ロボットの正面図 収穫ロボットの側面図 収穫部の構造の詳細を示す斜視図 収穫ロボットシステムの電気的構成図 収穫処理を示すフローチャート 収穫処理及び探索処理の流れの説明図 探索処理を示すフローチャート 探索処理の処理内容の説明図 機械学習に用いられる作物の画像データの一例を示す図 機械学習に用いられる背景の画像データの一例を示す図 領域拡張法の説明図のその１ 領域拡張法の説明図のその２ 作物と背景とをクラスタリング処理した超平面を示す図 基本クラスタリング処理後のボクセルを表す図 熟度判定クラスタリング処理後のボクセルを表す図 第２実施形態における収穫ロボットシステムの構成図 画像検出軸と収穫軸との関係の説明図のその１ 画像検出軸と収穫軸との関係の説明図のその２ ロボットアーム部に取付けられたハンドカメラの構造を示す斜視図 収穫処理を示すフローチャート ハンドカメラを目標作物から遠い距離にして撮像するときの構成図 収穫部を近くにして収穫するときの構成を示す図 第３実施形態における果柄決定処理を示すフローチャート 作物と果柄の画像を低解像度のボクセルで示した図 作物と果柄の画像を高解像度のボクセルで示した図 処理の流れの説明図 切断ポイントの決定方法の説明図 ボクセルをレイヤ毎に分割したイメージ図

以下、収穫ロボットシステムの幾つかの実施形態を説明する。以下の実施形態中では、各実施形態間で同一機能または類似機能を備えた部分に同一符号又は類似符号（例えば、十の位及び一の位を同一値）を付して説明を行い、第２実施形態以降においては同一機能または類似機能を備えた部分の説明を必要に応じて省略する。

（第１実施形態）
図１から図１８は第１実施形態の説明図を示す。まず図２及び図３を参照して収穫対象の作物となるミニトマトの育て方を説明する。図２は、収穫システム１の一部構成を示しており、例えば房なりの作物としてのミニトマトの栽培領域を示している。以下では、ミニトマトを作物として説明するが、その他の作物も収穫対象として適用できる。この収穫システム１は、ビニールハウスの中でハイワイヤー方式を採用してミニトマトを房ごと自動的に収穫するシステムである。

図２に示すように、一般に、ビニールハウス栽培では、ビニールハウスの中に培養土を配合した土壌２を例えば直線状の所定領域に配設すると共に、当該所定領域に設けられた土壌２にミニトマトの苗３を離間して並べて苗を育てる。近年では土壌に代えて養液が用いられることもある。ハイワイヤー方式では、ビニールハウスの中で一列の苗３の上方に沿って直線上に延伸ワイヤ４を固定すると共に、当該延伸ワイヤ４に吊り下げられた誘引ワイヤ５により苗３の茎６を引き上げながら苗３を育てる。

このとき、一列に離間して並べられた苗３の茎６にそれぞれ誘引ワイヤ５のロック５ａを固定し、茎６を土壌２の上方に直線状に引き上げ、誘引ワイヤ５に茎６を吊り下げた状態で苗３を育てる。そして苗３が育ち、茎６が伸びると、この苗３の成長に合わせて誘引ワイヤ５のロック５ａを上に移動させる。

図３に示すように、苗３の成長に伴い、ミニトマト７が熟すことで収穫可能になる。またさらにミニトマト７を収穫しながら茎６の先端が延伸ワイヤ４まで達すると、誘引ワイヤ５をスライドさせることで茎６の成長に合わせてミニトマト７の高さを調整できる。この収穫システム１においては、成長したミニトマト７が例えば９００～１２００ｍｍの所定の高さ範囲Ｈに位置するように調整される。これにより、茎６を引き上げて収穫可能なミニトマト７の高さを調整できる。図４はミニトマト７が茎６になる様子を詳細に示している。この目標作物となるミニトマト７は数個～十数個程度の個々の実７ａの集合体で房なりになっており、茎６の根元の果柄６ａ側から順に実７ａをつける。このとき、茎６から養分が供給されるため根元の成長が速く先端の成長は遅い。

さて図１はこの収穫システム１を構成する収穫ロボットシステム１０の外観構成を示している。図１に示すように、収穫ロボットシステム１０は、主に、自律走行可能な電動台車（以下、台車と略す）１１、第１の画像取得部としての固定カメラ１２、及び、収穫ロボット１３を備える。また図５は、土壌２と台車１１が走行する通路１４との関係を平面図により示している。図１に示すように、台車１１は、収穫用に舗装された通路１４を走行可能な車輪１５を備えると共に自動走行可能にする電動動力源（図示せず）を備えた電動作業車により構成され、図５に示すように一直線方向に走行可能に構成される。この台車１１の上には固定カメラ１２が搭載されている。

この固定カメラ１２は、台車１１の所定位置に設けられた支柱１６に備え付けられたステレオカメラにより構成され、進行方向に離間して複数のカメラ１２ａ，１２ｂを備える。この固定カメラ１２の各カメラ１２ａ，１２ｂは、例えば進行方向に交差する交差方向（例えば、垂直方向）で、且つ、例えば通路１４に平行な水平面方向を含む方向が撮像の検出軸となるように設置されている。この固定カメラ１２は、前述したように成長したミニトマト７の実７ａを含む少なくとも前述の所定の高さ範囲Ｈを撮像可能に設置されている。

また、例えば固定カメラ１２の進行方向の後部には収穫ロボット１３が設置されている。この収穫ロボット１３は、例えば６軸の垂直多関節型の産業用ロボットである。図６Ａ～図６Ｂはそれぞれ、この収穫ロボット１３を正面図、右側面図により示している。以下の収穫ロボット１３は、第１～第６アーム部（ロボットアーム部相当）２３～２９を図示形態に連結した構造を示しているが、これに限定されるものではなく、高さ範囲Ｈのミニトマト７を収穫可能な構成であればこのロボット１３の構造に限られるものではない。

図６Ａ及び図６Ｂは収穫ロボット１３及びハンドカメラ１７の標準位置を示している。図６Ｃは収穫ロボット１３の先端に取り付けられるハンド２１の先端部分の切断挟持機構２１ａの構造を斜視図により示している。

図６Ａに示すように、収穫ロボット１３は、例えば、台車１１の上面に固定される円柱状のベース部２２と、ベース部２２に支持された第１アーム部２３と、この第１アーム部２３の他端に下端が支持され水平方向の第２軸を中心として垂直面内に旋回可能な第２アーム部２４と、当該第２アーム部２４のアーム軸方向を中心として旋回可能に当該第２アーム部の上端に一端が支持されると共に一端から他端に向けて直曲方向に延びる第３アーム部２５と、第３アーム部２５の他端に支持され当該第３アーム部２５の他端側の軸を中心に旋回可能に一端が支持された第４アーム部２６と、この第４アーム部２７の軸を中心に旋回可能に当該第４アーム部２７の他端に一端が支持された第５アーム部２８と、この第５アーム部２８の軸を中心に旋回可能に当該第５アーム部２８の他端に一端が支持された第６アーム部２９と、この第６アーム部２９の他端に支持され一端が支持された取付用部材３０と、を備える。

各アーム部２３～２９の各軸にはモータ（図示せず）が配設されており、それぞれのアーム部２３～２９がロボットコントローラ３２（後述図７参照）により制御されることで対応する各アーム部２３～２９を旋回制御できる。

取付用部材３０は、第６アーム部２９の軸を中心として標準状態では鉛直方向に旋回可能に構成されており、取付用部材３０にはミニトマト７の収穫用のハンド２１がエンドエフェクタとして取付けられている。このハンド２１の先端部には、図６Ｃに示すように、ミニトマト７の果柄６ａを切断すると共に切断後の果柄６ａを挟持する切断挟持機構２１ａをエンドエフェクタ、切断部として備える。切断挟持機構２１ａは、切断刃組１０１及び挟持刃組１０２を一対で備える。これらの切断刃組１０１と挟持刃組１０２とは連結部１０３を挟んで係合されており、茎６の果柄６ａを切断して挟持する領域には隙間が設けられている。切断刃組１０１は把持刃組１０２の上側に位置して配置されている。

切断刃組１０１は、連結部１０３により連結された１組の切断刃を備えており、連結部１０３を中心として切断刃を回動することで当該１組の切断刃が噛合うように設けられており、後述のロボットコントローラ３２が切断刃を噛合制御することで茎６の果柄６ａを切断可能になっている。

また挟持刃組１０２もまた、連結部１０３により連結された１組の挟持刃を備えており、連結部１０３を中心として挟持刃を回動することで当該１組の挟持刃がわずかな隙間を有して対向するように設けられる。このとき、後述のロボットコントローラ３２が挟持刃を回動制御することで挟持刃は果柄６ａの外皮の一部を切断しながら果柄６ａの中心部側を挟持可能になっている。例えばミニトマト７の果柄６ａは繊維質構造であるため、特に挟持刃が果柄６ａの外皮を切断し中心部側を挟持するだけで安定して挟持できる。
＜ハンドカメラ１７の配置及びその機能説明＞

図１及び図６Ａに示すように、ハンド２１の上には画像取得部としてハンドカメラ１７が取付けられている。本実施形態では、このハンドカメラ１７は、撮像軸となる画像の検出軸方向とハンド２１の切断挟持機構２１ａの軸方向とが同一方向になるように設置されている。

このハンドカメラ１７は、第１～第６アーム部２３～２９が旋回制御されることにより所定の高さ範囲Ｈを撮像可能になっており、これにより成長したミニトマト７を含む画像を検出できる。このハンドカメラ１７は、カラー画像に加えて奥行き画像を含むＲＧＢ－Ｄの点群による画像を取得可能なカメラであり、撮像画像に応じて三次元位置にＲＧＢカラー情報を付して出力する所謂ＲＧＢ－Ｄカメラにより構成される。

＜収穫ロボットシステム１０の電気的構成説明＞
図７は収穫ロボットシステム１０の電気的構成図を示している。
図７に示すように、収穫ロボットシステム１０は、イメージプロセッサ３１、ロボットコントローラ３２を制御主体として備える。イメージプロセッサ３１は、固定カメラ１２及びハンドカメラ１７に接続されており、固定カメラ１２及びハンドカメラ１７により撮像された画像の各種処理を行い、ロボットコントローラ３２は、収穫ロボット１３の第１～第６アームの旋回制御、ハンドによる切断挟持制御、及び台車１１の車輪１５の駆動用モータを制御する。イメージプロセッサ３１は不遷移的実体的記録媒体としてメモリ３３を備える。詳細には後述するが、このメモリ３３には機械学習に基づく学習パターンが記憶されており、イメージプロセッサ３１はこの学習パターンに応じて画像処理することでミニトマト７の三次元的な位置情報を取得する収穫位置取得部として機能する。

これらのイメージプロセッサ３１及びロボットコントローラ３２は、画像処理に係るタスクと収穫作業制御に係るタスクとを並行処理することで処理負荷を分散するように構成されている。イメージプロセッサ３１とロボットコントローラ３２とはルータ３４を介して接続されている。

上記構成の作用、動作について説明する。
＜収穫処理の説明その１＞
図８は収穫処理の動作をフローチャートにより示し、図９は収穫方法の一連の流れを概略的に示している。これらの図８及び図９の記載では、説明を理解しやすくするため、ｎ－１、Ｎ、Ｎ＋１、Ｎ＋２…番目と順にエリアに番号を付し、その収穫方法を順次示している。

図９の時点ｔ１において、イメージプロセッサ３１は、図８のＳ１においてエリア変数Ｎ＝１に設定し、Ｓ２において固定カメラ１２によりＮ番目エリアの画像を取得する。次に、イメージプロセッサ３１は画像の取得が終了するとロボットコントローラ３２に移動指令し、ロボットコントローラ３２は、台車１１を移動制御し固定カメラ１２の撮像エリアをＮ＋１番目のエリアに移動させる（図９の時点ｔ２）。そして時点ｔ２において、イメージプロセッサ３１は、図８のＳ３において固定カメラ１２によりＮ＋１番目エリアの画像を取得し、Ｓ４においてＮ番目エリアの中にミニトマト７を探索する。図１０にはこの探索処理をフローチャートで示している。

＜探索処理の説明＞
この図１０に示すように、イメージプロセッサ３１は、Ｓ１１において二次元画像を複数用いて三次元画像を生成する（三次元画像生成部としての機能）。このとき、図１１にＳ１１の処理前の複数の二次元画像データ、及び、処理後の三次元画像のデータの概要を示すように、二次元画像が合成された三次元画像の個々のピクセル（所謂ボクセル）に分割された状態で各ボクセルに色情報等の各種情報が設定されるようになる。この処理は、ＳｆＭ(Structure from Motion)と称される処理により行われるが、このＳ１０の処理時間は後述のＳ１１以降の処理に比較して大幅に時間を要する。

その後、イメージプロセッサ３１は、図１０のＳ１２においてミニトマト７の領域を背景と分離する基本クラスタリング処理を行う。この基本クラスタリング処理は、いわゆるＳＶＭ（Support Vector Machine）により実行される処理である（基本クラスタリング部としての機能）。

ミニトマト７の実７ａは熟すことで基本色が赤となり、固定カメラ１２により撮像された画像内ではこの赤に類する同類色が連続することになる。イメージプロセッサ３１は、例えば、図１２に示されるように、大量のミニトマト７の画像群Ｇ１を反復的に予め機械学習すると共に、図１３に示されるように大量のビニールハウス内のミニトマト７以外の例えば茎６や花、各種内装設備などの背景画像群Ｇ２を反復的に機械学習してメモリ３３に記憶している。

イメージプロセッサ３１は、このＳ１２においてこれらのメモリ３３に記憶された機械学習のパターンに応じて、成長したミニトマト７の赤に類する同類色となる所定条件を満たすボクセルＢの領域を拡張し、ミニトマト７の存在領域を三次元領域として取得する。図１４及び図１５はこの領域拡張処理を概略的に示している。これらの図１４及び図１５において、白区画はミニトマト７の赤に類する色であり、黒区画は茎６などの緑や青やその合成色などによる背景色を示している。

図１４に示すように、イメージプロセッサ３１は、初めにランダムに三次元位置のボクセルＢ１を決定した後、図１５に示すように、このボクセルＢ１から同類色の領域のボクセルＢ２を拡張して探索する領域拡張法（Region Growing）を用いて各ミニトマト７の存在領域を分離する基本クラスタリング処理を行う。図１６にＲＧＢ色空間上における基本クラスタリング処理後の超平面分離領域を示している。イメージプロセッサ３１は、赤に類する同類色の領域を拡張する基本クラスタリング処理を行うことで個々のミニトマト７の存在領域を決定できる。これにより、図１１のＳ１２の処理後のデータに示すように、ミニトマト７と背景とを分離できる。

その後、イメージプロセッサ３１は、図１０のＳ１３においてミニトマト７の熟度判定領域クラスタリング処理を行う（熟度判定領域クラスタリング部としての機能）。前述したように、ミニトマト７の実７ａは熟すことにより基本色は赤となるが熟していないと緑に類する色となる。ミニトマト７の実７ａは茎６から養分が供給されることから根元の成長が速く先端の成長は遅いため、根元の実７ａは赤いものの先端の実７ａは緑のままとなっていることもある。そこで、この熟度判定領域クラスタリング処理では、房なりの先端のミニトマト７の実７ａが全体の何割程度熟しているか否かを判定するために設けられる。

このＳ１３の処理の概要を図１７及び図１８に示している。図１７は、基本クラスタリング処理を行った結果、すなわち房なりのミニトマト７の実７ａの三次元画像を緑及び青関連色の背景と分離した結果を示している。この図１７に示すように、赤関連色によるミニトマト７の領域が緑及び青関連の背景色領域と分離されているため、房なりのミニトマト７の先端領域Ｒ１に実が存在しているか、またその実７ａが緑色であるか否かを判定できていない。

そこで図１０のＳ１３においては、イメージプロセッサ３１は、赤関連色を備える三次元位置の下端位置から、さらに下側領域に向けて緑関連色を含めて領域拡張法により拡張する。このときの拡張処理には当初のミニトマト７の赤に類する同類色の領域と共に背景分離前の三次元領域を用いると良い。これにより図１８の先端領域Ｒ１に示すように、房なりのミニトマト７の先端の実７ａの緑色部分を識別できる。なお、図１８は黒塗色の丸が赤関連色のボクセルＢを示し、白抜き丸が緑関連色のボクセルＢを示している。

例えば仮に、一般的な二次元カメラによりこの先端領域Ｒ１を観察すると、ミニトマト７の奥の背景領域には例えば茎６による緑関連色や建屋などの他色が現れる場合もあるが、図１０のＳ１１にて予め三次元画像に加工してボクセル化しているため、当該ボクセルＢの位置情報を参照することで背景の茎６などの緑の影響を受けることなく、ミニトマト７の実７ａの中で緑関連色の領域を判別できる。

そして、イメージプロセッサ３１は、Ｓ１４においてミニトマト７の熟度判定処理を行う。このとき、イメージプロセッサ３１は、房なりのミニトマト７の先端の実７ａが所定割合以上熟していなければ「熟度低」と判定して収穫対象の目標作物から外して探索処理を終了するが、所定割合以上、熟していれば「熟度高」と判定して収穫対象の目標作物とする。収穫対象から外された作物は、後日の再収穫対象の目標作物としてメモリ３３に記録を残しておいても良い。そして、イメージプロセッサ３１は、Ｓ１５において熟した房なりのミニトマト７の実７ａの三次元の位置情報を取得、特定する。

＜収穫処理の説明その２＞
イメージプロセッサ３１は、図９のｔ２、図８のＳ４においてＮ番目エリアのミニトマト７の探索処理を終了すると、ルータ３４を介してロボットコントローラ３２に指令を行い次の処理に移行させる。次に、ロボットコントローラ３２は、図８のＳ５ａにおいてＮ番目エリアのミニトマト７を収穫すると同時に、イメージプロセッサ３１はＳ５ｂにおいてＮ＋１番目エリアのミニトマト探索処理を行う。これらのＳ５ａ及びＳ５ｂの処理は、それぞれ収穫ロボット１３、イメージプロセッサ３１により並行して実行される。

Ｓ５ｂにおけるＮ＋１番目エリアのミニトマト７の探索処理は、探索対象エリアが異なるだけでありＮ番目エリアのミニトマト７の探索処理と同様であるが長時間を要する。このため、この時間を利用してＳ５ａにおいてＮ番目エリアのミニトマト７の収穫処理を行う（図９の時点ｔ３）。これにより、Ｎ番目エリアのミニトマト７を収穫しながらＮ＋１番目エリアのミニトマト７の探索処理を実行でき、効率的に時間を利用できる。そして、収穫ロボット１３がロボットコントローラ３２によりＳ５ａの処理を終了すると共に、イメージプロセッサ３１がＳ５ｂの処理を終了すると、ロボットコントローラ３２は、図８のＳ６において台車１１を移動させて固定カメラ１２によりＮ＋２番目エリアの画像を取得する（図９の時点ｔ４）。

そして次に、ロボットコントローラ３２が図８のＳ７ａにおいてＮ＋１番目エリアのミニトマト７を収穫すると同時に、イメージプロセッサ３１はＳ７ｂにおいてＮ＋２番目エリアのミニトマト７の探索処理を実行する（図９の時点ｔ５）。これらのＳ７ａ及びＳ７ｂの処理も前述同様に同時に行われる。そして、通路１４に面した全てのエリアの収穫を完了するまで、Ｓ９においてＮを順次インクリメントして収穫エリアを更新しＳ６から処理を繰り返す。これらの一連の処理が繰り返されることにより、全てのエリアのミニトマト７を収穫できる。

＜本実施形態のまとめ、効果＞
以上説明したように、本実施形態によれば、ミニトマト７の探索処理と収穫ロボット１３によるミニトマト７の収穫処理とを並行して行うようにした。これにより収穫作業に伴う時間効率を良好にでき、ミニトマト７を短時間で収穫できるようになる。

特にこの実施形態では、ハンドカメラ１７の他に固定カメラ１２を用いており、この固定カメラ１２を用いた画像処理により、収穫ロボット１３の進行方向に存在するミニトマト７の位置を収穫ロボット１３による収穫前に検出できるようになる。これにより極力無駄なく収穫動作を行うことができる。

特に、ミニトマト７の探索処理の一部として、たとえ二次元画像データから三次元画像データを生成するＳｆＭ処理に長時間を要したとしても、この処理と並行してミニトマト７の収穫処理を行うようにしているため、収穫作業に伴う時間効率を良好にでき、ミニトマト７を短時間で収穫できる。

また、イメージプロセッサ３１は二次元画像を複数用いて三次元画像を生成し、三次元画像のあるボクセルＢから同類色の領域を拡張して背景と分離する基本クラスタリング処理を行い（Ｓ１２）、当該同類色の領域を拡張した端部から下側領域をさらに領域を拡張することで同類色とは異なる色領域を拡張して熟度判定領域クラスタリング処理を行い（Ｓ１３）、この処理により拡張された領域に応じてミニトマト７の実７ａの熟度を判定し当該熟度が所定割合より高い作物を目標作物としてその位置情報を取得するようにしている（Ｓ１５）ため、熟度が所定割合以上高い作物を目標作物として収穫できるようになる。

（第２実施形態）
図１９から図２４は第２実施形態の追加説明図を示す。第２実施形態が第１実施形態と異なるところは、１台のカメラ１７を用いて目標作物を撮像しその位置情報の取得処理とその収穫処理とを行うところにある。また本実施形態では、収穫ロボット１３に対するハンドカメラ１７の取付位置及びその使用方法が異なる。

図１９及び図２０Ａは、ハンドカメラ１７及びハンド２１の標準位置をそれぞれ正面図及び側面図により示しており、図２０Ｂは、第６アーム部２９によりハンド２１が回動されたときのハンドカメラ１７とハンド２１との位置関係を示している。また図２１は、ハンドカメラ１７の設置形態を示している。

本実施形態の収穫ロボットシステム１１０は、図１９に示すように、台車１１上に収穫ロボット１３が設置されており、第１実施形態で説明した固定カメラ１２を設けていない。

図２０Ａに示す標準位置では、ハンドカメラ１７の撮像軸となる画像の検出軸Ｊ１と切断挟持機構２１ａの切断挟持軸Ｊ２とが概ね同一方向にされている。ここでいう切断挟持軸Ｊ２とは、図２０Ａ及び図２０Ｂに示すように、切断挟持機構２１ａによる切断面に含まれる方向で且つハンド２１が切断挟持機構２１ａを直線状に固定する軸方向を表している。図２１に示すように、第６アーム部２９の上には冶具２９ａを介してハンドカメラ１７が固定されている。このためハンドカメラ１７は、ロボットコントローラ３２が各アーム部２３～２９を旋回制御することで第６アーム部２９に連動して動くことになる。

収穫時には、図２０Ｂに示すように、ロボットコントローラ３２が第６アーム部２９を旋回制御することで取付用部材３０が回動し、この回動軸を中心としてハンド２１の全体が鉛直面内方向に沿って回動する。このため、ハンド２１の先端に取付けられた切断挟持機構２１ａの切断挟持軸Ｊ２が、ハンドカメラ１７による画像の検出軸Ｊ１とは異なる方向になり、特に画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２をなすことになる。

このときロボットコントローラ３２が切断挟持機構２１ａを制御することでミニトマト７の果柄６ａを切断及び挟持できるが、切断挟持機構２１ａは、ハンドカメラ１７による画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えることになり、ミニトマト７の果柄６ａを容易に切断及び挟持できるようになる。

図１９に示したように、正面側から見たときには、ハンドカメラ１７がハンド２１の横方向に併設されているため、当該ハンド２１が、ハンドカメラ１７による画像検出処理の邪魔になることなく目標作物となるミニトマト７を含む画像を検出できる。特に図２０Ｂに示すように、側面側から見ても、ハンドカメラ１７の画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えているため、ハンド２１が邪魔になることなくハンドカメラ１７によりミニトマト７を含む画像を検出できる。これにより、ハンドカメラ１７の撮像領域に収穫ツールを映り込ませることなく適切な切断位置を把握できるようになる。その他の構成は、第１実施形態と同様であるためその説明を省略する。

＜制御方法の説明＞
以下では、前述の基本的構造を利用した制御方法の一例を挙げる。図２２は収穫処理をフローチャートにより概略的に示している。本実施形態では、イメージプロセッサ３１が主体制御し、ロボットコントローラ３２が補助的に制御する形態を示すが、何れが主体になって制御を実行しても良いし、当該プロセッサ及びコントローラ３１，３２を一体にまとめても良い。

まず、イメージプロセッサ３１は、Ｓ２１において変数Ｎ＝０に初期設定し、Ｓ２２においてロボットコントローラ３２に第１～第６アーム部２３～２９の制御指令を行う。このとき、ロボットコントローラ３２は、ハンドカメラ１７とミニトマト７との間を極力遠距離となる第１距離になるように第１～第６アーム部２３～２９を制御する。このとき第１距離は、図２３に示すように、特に第２～第６アーム部２４～２９をミニトマト７から極力離すことで当該ミニトマト７とハンドカメラ１７との間の間隔を十分に大きくできる距離としている。そしてイメージプロセッサ３１は、ハンドカメラ１７により画像を取得する（第１検出処理部としての機能）。

これにより、ハンドカメラ１７がミニトマト７を撮像する距離を極力遠くできるようになり、多くのミニトマト７を撮像範囲に含ませることができる。このため、イメージプロセッサ３１が、Ｓ２３においてミニトマト７の位置情報を取得することで、より多くのミニトマト７の位置情報を取得できる。この位置情報の取得処理は、前述実施形態にて図１０のフローチャートを用いて説明した処理を用いることが望ましい。

その後、イメージプロセッサ３１は、Ｓ２４において多数のミニトマト７の位置情報に応じてミニトマト７を進行方向に向けてナンバリングする。例えば、ナンバーＮ＝０、１、２、３…とする。このナンバリング処理は、進行方向に移動しながら収穫しやすくなるような順序を示すようにナンバーを付与するものである。このとき、概ね進行方向に向けて昇順にナンバーを付与すれば良く、厳密に進行方向に向けて昇順にナンバリングしなくても良い。

その後、イメージプロセッサ３１はロボットコントローラ３２に指令すると、ロボットコントローラ３２は、Ｓ２５においてＮ＝０から順にＮ番目のミニトマト７の果柄６ａを検出する。このとき、ロボットコントローラ３２が、第１～第６アーム部２３～２９を制御することでハンド２１の切断挟持機構２１ａを、Ｓ２２で算出されたＮ番目のミニトマト７の位置に近接させるように移動制御する。

この場合、図２４に示すように、ハンドカメラ１７が当該ハンドカメラ１７とミニトマト７との間を第１距離より短い第２距離にして画像を検出できる。このときの第２距離は、特に第６アーム部２９が目標作物となるＮ番目のミニトマト７に接近することで、ミニトマト７とハンドカメラ１７との間の間隔が極力短くなる距離となっている。

この動作に応じて、ハンドカメラ１７による画像検出範囲を狭くすることができ、イメージプロセッサ３１は、この検出画像中に当該Ｎ番目のミニトマト７の果柄６ａを検出できる（第２検出処理部としての機能）。果柄６ａの検出方法は第３実施形態で説明するため本実施形態では説明を省略する。

そしてイメージプロセッサ３１が、Ｓ２５においてハンドカメラ１７による検出画像に応じてＮ番目のミニトマト７の果柄６ａを検出できれば、Ｓ２６でＹＥＳと判断して果柄６ａが有ると判断し、ロボットコントローラ３２に指令を行うことで当該コントローラ３２が収穫ロボット１３の各アーム部２３～２９を制御することで、Ｓ２７においてＮ番目のミニトマト７を収穫する（収穫部の機能）。ロボットコントローラ３２が収穫作業を終了すれば、イメージプロセッサ３１に終了情報を出力する。また、イメージプロセッサ３１は、Ｓ２５においてＮ番目のミニトマト７の果柄６ａを検出できないときにはＳ２６でＮＯと判断し、収穫不能であると判定する。

イメージプロセッサ３１が、終了情報を入力したり収穫不能であったりしたときには、果柄６ａの有無に拘わらずＳ２８においてＮをインクリメントする。そして、イメージプロセッサ３１は、Ｓ２９においてロボットコントローラ３２に台車１１を進行方向に移動開始させる。このときの台車１１の進行方向への移動速度は一定であっても良いし移動速度を変更しても良いが、台車１１の位置情報を詳細に特定することが望ましい。これは、Ｓ２３で特定されたミニトマト７の位置情報に合わせて台車１１の進行方向の位置を調整したり、また逆に台車１１の進行方向位置に合わせて、Ｓ２３で取得されたミニトマト７の位置情報を相対的に補正したりすることができるためである。

そして、イメージプロセッサはＳ３０において所定条件を満たしたか否かを判定する。この所定条件は、ハンドカメラをミニトマトに順に近づけて移動制御している状態から、ハンドカメラをミニトマトから再度遠ざけて画像検出する必要があるか否かの判断条件を示すものであり、例えばＳ２２にて検出した画像の中のミニトマト７を全て収穫終了又は収穫不能と判定することを条件とすることが望ましい。また、Ｓ２３で取得された位置情報のミニトマト７が全て収穫終了していなくても、例えば全数でミニトマト７がＫ個以上検出されていたとすれば、Ｋ個のうち適宜設定された所定割合個数（例えばＫ／２）以上だけ収穫処理を終了していれば、Ｓ３０において所定条件を満たすと判定しても良い。

Ｓ３０において所定条件を満たさないうちは、イメージプロセッサ３１は、Ｓ２５に処理を戻しＳ２５～Ｓ２７において第１～第６アーム部２３～２９を制御して次のＮ番目のミニトマト７の果柄６ａを検出して収穫処理を行う。

Ｓ３０において所定条件を満たすと、イメージプロセッサ３１はＳ２２に処理を戻し、ハンドカメラ１７により再度遠い位置から多数のミニトマト７を含む画像を検出してＳ２３以降の処理を実行する。これにより、台車１１により進行方向に移動しながら通路１４に沿って熟したミニトマト７を全て収穫できる。

＜本実施形態のまとめ、効果＞
要するに、本実施形態では、ミニトマト７の位置特定及び果柄６ａの検出処理に同一のハンドカメラ１７を用いるため視野角、すなわち画角は一定であるが、まずロボットコントローラ３２は、ミニトマト７からの距離を比較的遠くに制御し、ハンドカメラ１７によりミニトマト７の位置情報を多数特定し、そしてミニトマト７からの距離を比較的近くに制御し、ハンドカメラ１７によりミニトマト７の果柄６ａを検出し、当該ミニトマト７を収穫している。そして、これらの処理を繰り返している。このため、一台のハンドカメラ１７で多数のミニトマト７を検出しつつ、一つのミニトマト７の果柄６ａを検出できる。これにより、多数のミニトマト７を素早く収穫できる。

また、ハンドカメラ１７が房なりのミニトマト７及び果柄６ａを含む画像を取得し、切断挟持機構２１ａが画像検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えミニトマト７の果柄６ａを切断挟持して房なりのミニトマト７を収穫するようにしている。このため、果柄６ａを画像処理により検出するときには、ハンド２１が邪魔になることなく、ミニトマト７の果柄６ａを容易に検出でき、しかもミニトマト７を容易に収穫できる。

（第３実施形態）
図２５から図３０は第３実施形態の追加説明図を示す。例えば、第１実施形態にて説明した図８のＳ５ａ、Ｓ７ａにおけるミニトマト７の収穫処理は、収穫ロボット１３により行われる処理である。また第２実施形態では、図２２のＳ２５においてミニトマト７の果柄６ａを検出し、Ｓ２７にて果柄６ａの切断ポイントにて切断することでミニトマト７を収穫するが、これらの処理も収穫ロボット１３によって行われる処理である。

これらにおいて、収穫ロボット１３のロボットコントローラ３２は、図１０のＳ１４又は図２２のＳ２３において取得された実の熟したミニトマト７の位置情報を入力し、第１～第６アーム部２３～２９を制御し、ハンド２１の上部又は第６アーム部２９に取り付けられたハンドカメラ１７によりミニトマト７の果柄６ａを含む画像を検出し、イメージプロセッサ３１がこの画像から果柄６ａを詳細に検出し、そしてハンド２１により果柄６ａを切断及び挟持して収穫する。

イメージプロセッサ３１が果柄６ａを詳細に検出するときには図２５のＳ４１～Ｓ４５に示すように果柄６ａの切断ポイントＣＰを決定することが望ましい（第１切断ポイント決定部、第２切断ポイント決定部としての機能）。まずイメージプロセッサ３１は、Ｓ４１においてハンドカメラ１７によりカラー画像に加えて奥行き画像を含むＲＧＢ－Ｄの点群を取得し、Ｓ４２において点群のうち同色の終点を結合することでボクセル化する。

このとき、各ボクセルＢは、主に３つの情報を備えており、それぞれのボクセルＢの座標、各ボクセルＢにどのカラーのセルが含まれているか、どのボクセルＢのカラーセルが互いに隣接しているか、を示す情報を備えている。ボクセルＢの隣接情報を用いることで、隣接セルを探索するために必要な計算時間を削減できる。

このボクセル化処理では複数の解像度に分けてボクセル化することが望ましい。図２６及び図２７にミニトマト７及びその果柄６ａの周辺画像を複数の解像度でボクセル化した例を示す。図２６は例えば低解像度のボクセルＢ１１の例を示し、図２７は高解像度のボクセルＢ１２の例を示している。

その後、イメージプロセッサ３１は、図２５のＳ４２においてミニトマト７の領域とその他の背景領域とをＳＶＭ処理により分離する。第１実施形態でも説明したように、イメージプロセッサ３１は、メモリ３３に記憶された機械学習パターンに応じて、ミニトマト７の赤に類する同類色となる条件を満たすボクセルＢの領域を拡張し、ミニトマト７の領域とその他の背景領域を分離する。図２８には、このＳ４３の処理前後の三次元画像例を模式的に示している。この場合には、低解像度のボクセルＢ１を用いることで素早く処理を完了できる。

次に、イメージプロセッサ３１は、図２５のＳ４４においてミニトマト７の存在領域のクラスタリング処理を行う。このとき第１実施形態でも説明したように、イメージプロセッサ３１は、初めにランダムに三次元位置のボクセルＢを決定した後、このボクセルＢから同類色の領域を拡張して探索する領域拡張法を用いて、各ミニトマト７の存在領域Ｒ２を分離する。図２８にはこのＳ４４の処理前後の三次元画像例を模式的に示している。

そしてイメージプロセッサ３１は、図２５のＳ４５において、個々のミニトマトの果柄の切断ポイントＣＰを決定する。図２９には切断ポイントＣＰの決定方法を概略的に示している。このとき、例えばミニトマト７の領域とＳ４２で別に取得され図２７で示される高解像度のボクセルＢ２を用いて、果柄６ａの切断ポイントＣＰを決定することが望ましい。

イメージプロセッサ３１は、図３０に示すように、垂直にレイヤＬ１～Ｌ３を分離した状態で当該レイヤＬ１～Ｌ３毎に複数のボクセルＢ２を分離し、各レイヤＬ１～Ｌ３の直径Ａを導出し、極力細い直径Ａのレイヤ（例えばＬ２）を切断ポイントＣＰの第１条件にすることが望ましい。これは、ミニトマト７は果柄６ａよりも太くなり、果柄６ａとミニトマト７の直径を合計すると果柄６ａの直径に比較して大きくなるためであり、果柄６ａの切断ポイントＣＰを、より細い直径のレイヤ（例えばＬ２）に位置させることが望ましいためである。

ミニトマト７の茎６は、根から上方に延びるに従い、下部にて太くなり上部に向かうに従って細くなる。また図２９に示すように、切断ポイントＣＰにて細くなりミニトマト７が成熟している部分で直径Ａが太くなる。このため、三次元的に検出すると直径Ａが切断すべき果柄６ａにて概ね最小の径となる。

また、切断挟持機構２１ａが接近可能で距離Ｄが短いレイヤＬ１～Ｌ３を切断ポイントＣＰの第２条件とすると良い。これは、切断ポイントＣＰが切断挟持機構２１ａから遠くなってしまうと、途中の障害物に阻まれてしまい、切断挟持機構２１ａが切断ポイントＣＰにて果柄６ａをカットできないためである。したがって、果柄６ａ又は／及びミニトマト７との距離Ｄが極力近くなる条件を採用すると良い。また、レイヤＬ１～Ｌ３のボクセルＢ２が垂直方向に延びており、果柄６ａが垂直方向から所定角度範囲内になっていることを切断ポイントＣＰの第３条件とすると良い。これは、可能な限り果柄６ａに対し直線的にアプローチすべきだからである。

このため、果柄６ａの切断ポイントＣＰは、この種の条件を満たすように、直径Ａと距離Ｄをパラメータとした評価関数ｆを用いて導出することが望ましい。図２９に概略を示しているように、評価関数ｆ（Ａ，Ｄ）を以下の（１）式とした場合には、この評価関数ｆが閾値ｆｔ以下となる条件を満たす領域を導出して切断範囲を決定すると良い。

このとき、評価関数ｆが閾値ｆｔ以下となる条件を満たす領域の切断範囲のうち評価関数が最低値となる領域を選択することがなお望ましい。このような概念を考慮した上で、以下のように詳細に評価関数Ｅ（ｌ）を導出するようにしても良い。このときの評価関数Ｅ（ｌ）を（２）式のように定義する。

この（２）式の第１項は、レイヤＬ１～Ｌ３の直径Ａに係る第１条件を示しており、ｎ（）は要素の数を示している。直径Ａが細いほど評価関数Ｅ（ｌ）は小さくなる。第２項は、前述したレイヤＬ１～Ｌ３と切断挟持機構２１ａとの間の距離Ｄに係る第２条件を示している。ここでｖは集合Ｖ（ｌ）に属するボクセルＢを示しており、Ｌ１ノルムを用いることで距離Ｄを素早く計算できるようにしている。第３項は、前述したレイヤＬ１～Ｌ３の方向に関する第３条件を示しており、ｙ＾は垂直方向の単位ベクトルを示し、ｗは集合Ｖ（ｌ＋１）に属するボクセルＢを示している。この第３条件では鉛直方向に近い方向に延びる方向を選択するように表されている。これらの評価関数Ｅ（ｌ）を最小化するレイヤを求めることで適切な切断ポイントＣＰを求めることができる。

＜本実施形態に係る概念的なまとめ、効果＞
要するに、イメージプロセッサ３１は、ハンドカメラ１７により取得された画像を高さ方向のレイヤＬ１～Ｌ３毎にボクセルＢ２化したレイヤの直径Ｄ、切断挟持機構２１ａからの距離Ｄ、レイヤＬ１～Ｌ３のボクセルＢ２の垂直方向度、に依存した所定の評価関数ｆ，Ｅ（ｌ）を用いて果柄６ａの切断ポイントＣＰを決定するようにしている。このため、果柄６ａの切断ポイントＣＰを素早く適切に求めることができ、切断ポイントＣＰを切断することでミニトマト７を素早く的確に収穫できる。

また、ミニトマト７と背景領域とをクラスタリング処理するときには比較的低解像度の第１解像度でクラスタリング処理し、その後、第１解像度より高い第２解像度のボクセルを用いて果柄６ａの切断ポイントＣＰを決定している。このため、果柄６ａの切断ポイントＣＰを素早く適切に求めることができ、切断ポイントＣＰを切断することでミニトマト７を素早く的確に収穫できる。

（他の実施形態）
前述実施形態に限定されるものではなく、例えば、以下に示す変形又は拡張が可能である。前述した第１から第３実施形態の構成を必要に応じて組み合わせることができる。

第１実施形態において、固定カメラ１２はステレオカメラを用いた形態を示したが、単眼カメラであっても移動しながら二次元画像を複数枚撮像することで三次元画像を生成できる。このため、固定カメラ１２としては単眼カメラを用いても良い。また、第１実施形態においても、固定カメラ１２として、カラー情報と共に奥行き情報が得られるＲＧＢ－Ｄカメラなどの３Ｄカメラを用いても良い。

切断、挟持する切断挟持機構２１ａを備える形態を示したが、これに限定されるものではなく、例えば、挟持する機能を備えることなく切断機能だけを備えたはさみによる切断部を備え、切断した目標作物を下からネットなどで支える形態に適用しても良い。

収穫対象の目標作物としてミニトマト７を適用した形態を示したが、作物は特に限定されるものではなく、例えばブドウ、白ゴーヤ、大玉トマト、赤パプリカ、黄パプリカなどの作物であり、背景と作物との間の色による識別が可能であれば適用可能となる。また特に第１実施形態では、ブドウは先端の成長が遅い作物であるため、第１実施形態に適用できる期待が大きい。

第３実施形態における評価関数ｆの係数α、β、Ｃ及び閾値ｆｔ、評価関数Ｅ（ｌ）の各項は、目標作物の生育状態や種類に合わせて変更可能とすることが望ましい。また、切断可能な範囲で、実際に切断する切断ポイントＣＰを指定する方法も、目標作物の種類や大きさに応じて調整可能とすると良い。

前述した実施形態の各要素を組み合わせて構成しても良い。前述実施形態に記述した各機能をハードウェアにより実現してもハードウェア及びソフトウェアの組合せにより実現しても良い。また、特許請求の範囲に記載した括弧内の符号は、本発明の一つの態様として前述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。前述実施形態の一部を、課題を解決できる限りにおいて省略した態様も実施形態と見做すことが可能である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において、考え得るあらゆる態様も実施形態と見做すことが可能である。

本開示は、前述した実施形態に準拠して記述したが、当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

図面中、７は房なりのミニトマト（目標作物）、１０，１１０は収穫ロボットシステム、１２は固定カメラ（第１画像取得部）、１３は収穫ロボット、３１はイメージコントローラ（収穫位置取得部）、を示す。

Claims (2)

1. 進行方向に沿って収穫対象となる目標作物（７）を収穫する収穫ロボットシステムであって、
   台車の所定位置に設置され当該所定位置から収穫対象となる目標作物を含む画像を取得する画像取得部（１２）と、
   前記画像取得部により取得された画像を用いて前記目標作物を探索して当該目標作物の位置情報を取得する収穫位置取得部（３１）と、
   前記所定位置から前記進行方向の後部において、前記収穫位置取得部により取得された前記目標作物の位置情報を用いて前記目標作物を収穫する収穫ロボット（１３）と、を備え、
   前記収穫位置取得部による目標作物の探索処理と前記収穫ロボットによる前記目標作物の収穫処理とを並行して行うように構成され、
   前記収穫位置取得部が前記目標作物の位置情報を取得するときに、
   前記画像取得部により取得される画像を用いて三次元画像を生成する三次元画像生成部（Ｓ１１）と、
   前記三次元画像生成部による三次元画像のあるボクセルから同類色の領域を拡張し当該領域と他の領域とを分離する基本クラスタリング部（Ｓ１２）と、
   前記同類色の領域を拡張した端部から下側にて前記同類色とは異なる色領域のボクセルを拡張する熟度判定領域クラスタリング部（Ｓ１３）と、を備え、
   前記熟度判定領域クラスタリング部により拡張された領域を用いて前記目標作物の熟度を判定し当該熟度が所定より高い作物を前記目標作物としてその位置情報を特定する（Ｓ１４、Ｓ１５）収穫ロボットシステム。
2. 所定の位置に設置され前記画像取得部が取り付けられたロボットアーム部（２３～２９）と、
   前記ロボットアーム部が移動制御されることで前記画像取得部を前記目標作物から遠ざかる第１距離にして収穫対象となる目標作物を含む画像を検出する第１検出処理部（Ｓ２２）と、
   前記ロボットアーム部が移動制御されることで前記画像取得部を前記第１距離よりも前記目標作物に近づく第２距離にして前記目標作物を含む画像を検出する第２検出処理部（Ｓ２５）と、を備え、
   前記第２検出処理部による検出画像を用いて前記目標作物を収穫する収穫部（Ｓ２７）と、を備える請求項１記載の収穫ロボットシステム。

Images