JP7229840B2 - 収穫装置およびその制御方法、並びにプログラム - Google Patents

Description

本発明は、収穫装置およびその制御方法、並びにプログラムに関する。特に、収穫対象の果実の画像認識に関する。

農業において果菜を収穫する際に、人手の代わりにロボット等を利用して自動的に収穫を行う技術が広がっている。この場合、ロボットが収穫対象となる果菜を認識し、収穫に適したタイミングや収穫動作にて収穫を行う必要がある。

果菜によっては、小果梗という部位を有し、さらにその部位において、果実のもぎ取り位置として適した離層という部位がある。ロボットにより果実のもぎ取り動作を行わせる場合に、この小果梗および離層の位置を認識させることで、より適切な収穫が可能となる。例えば、特許文献１では、収穫対象となる果実の画像に基づいて、ロボットによる収穫動作にて利用される果実の果梗部を推定することが記載されている。

特開２０１８－１４３２１４号公報

従来の方法では、果実のもぎ取り方向の識別に関し、小果梗に対する３Ｄ形状の計測など、高精度な計測を要し、その結果、高精度のセンサを設置することによる装置の大型化や、長い計測時間を要していた。

そこで、本発明は、果菜の収穫において、果菜の状態の認識を可能な簡易な構成の収穫装置を提供することを目的とする。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、
小果梗の先端に形成された果菜を収穫する収穫装置であって、
収穫対象となる果菜の第１の画像を撮像部により取得する取得手段と、
前記第１の画像から果菜および小果梗の領域を抽出する抽出手段と、
前記抽出手段にて抽出した果菜および小果梗の領域に基づいて、前記果菜の領域の中心座標と、前記果菜の領域と前記小果梗の領域との接続位置の座標とから前記果菜に対する座標軸を特定する特定手段と、
前記特定手段にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御手段と、
前記制御手段により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別手段と
を有する。

本発明によれば、果菜の収穫を行う収穫装置において、簡易な構成により果菜の状態を認識可能となる。

本発明の一実施形態に係る収穫装置の概略を示す図。 本発明の一実施形態に係る収穫装置の機器構成の例を示す図。 本発明の一実施形態に係る撮影動作を説明するための図。 本発明の一実施形態に係る収穫対象の果実に対して設定される座標系の例を示す図。 本発明の一実施形態に係る果実のもぎ取り方向の識別を説明するための図。 本発明の一実施形態に係る果実の姿勢を検出する際の流れを説明するための図。 本発明の一実施形態に係る収穫装置における収穫動作のフローチャート。 本発明の一実施形態に係る座標系決定処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
本実施形態において、収穫対象の果菜として、トマトを例に挙げて説明する。上述したように、トマトには、果実を支える部分に小果梗および離層が存在し、本実施形態では、その位置を認識することを一つの目的とする。なお、収穫対象の果菜としてトマトに限定するものではなく、収穫などにおいて認識すべき構造を有するものであれば、他の果菜であってもよい。

［装置構成］
図１は、本実施形態に係る収穫装置１００の概略を示す図である。収穫装置１００は、本体部１０１、収納部１０２、走行機構１０４、および、ロボットアーム１０５を備える。収納部１０２には、収穫した果実を保持するための格納庫１０３が設けられる。ロボットアーム１０５の先端部分には、画像を取得するための撮像装置１０６、および、果実を収穫するための収穫部１０７を備える。収穫部１０７の形状は特に限定するものでは無いが、本実施形態では、果実に当接した上でもぎ取り動作を行うことが可能な形状であるとする。また、ロボットアーム１０５は、複数の関節部１０８の動作により、先端部の位置や向きを変更可能であるとする。

図２は、本実施形態に係る収穫装置１００の機器構成の例を示す図である。収穫装置１００は、制御部２０１、記憶部２０２、駆動モータ２０３、ロボットアーム１０５、撮像モータ２０４、撮像装置１０６、走行モータ２０５、および走行機構１０４を含んで構成される。制御部２０１は、収穫装置１００全体の動作を制御し、例えば、図１の本体部１０１に備えられる。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、もしくは専用回路などから構成されてよい。記憶部２０２は、本実施形態に係る各種プログラムや撮像装置１０６にて取得された画像データを記憶し、例えば、本体部１０１に備えられる。記憶部２０２は、ＨＤＤやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記憶領域や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのワークメモリとして動作可能な揮発性の記憶領域を含んで構成されてよい。

駆動モータ２０３は、果実を収穫するためのロボットアーム１０５を駆動させるためのモータである。駆動モータ２０３は、制御部２０１からの指示として、ロボットアーム１０５に対する駆動量の制御信号を受け付け、ロボットアーム１０５を駆動させる。ロボットアーム１０５は、果実を把持し、収穫（もぎ取り）を行う。収穫された果実は、格納庫１０３に適時格納される。

撮像モータ２０４は、撮像装置１０６の撮像の向きや位置を調整するためのモータである。撮像モータ２０４は、制御部２０１からの指示として撮像装置１０６に対する制御量の制御信号を受け付け、撮像装置１０６の撮像対象に対する位置や向きを制御する。撮像装置１０６は、１または複数のカメラにより構成される撮像部であり、撮像モータ２０４による制御により、その向きや位置を変更可能であるとする。なお、撮像装置１０６が複数のカメラから構成される場合には、それぞれ同じ機能にて異なる位置を撮影可能に構成されてもよいし、異なる機能（画角や解像度）にて構成されてもよい。撮像装置１０６にて取得された画像データは、制御部２０１へ送信され、適時、記憶部２０２に記憶される。なお、撮像装置１０６の位置は、ロボットアーム１０５の動作と連動して調整されてよい。

走行モータ２０５は、収穫装置１００を移動させるための走行機構１０４を駆動するためのモータである。走行モータ２０５は、制御部２０１からの指示として、走行機構１０４に対する移動量や移動方向の制御信号を受け付け、収穫装置１００を移動させる。走行機構１０４は、収穫装置１００を移動させるための部位であり、例えば、タイヤやキャタピラ（無限軌道）などから構成される。または、走行機構１０４は、果実が栽培されている畝に沿って設置されたレール上を移動可能なように構成されていてもよい。

［撮影動作］
図３は、本実施形態に係る果実の画像データを撮影する際の動作の概要を説明するための図である。上述したように、本実施形態では、収穫対象の果菜をトマトとして説明する。

図３（ａ）は、撮像装置１０６におけるカメラの視点を変更した場合の小果梗の見え方の変化を説明するための図である。ここでは、撮像装置１０６にてトマトを撮影した際に取得される画像データの一部を示している。図３では、破線にてトマトの小果梗を示している。小果梗は、果実部分に隣接したヘタ部から延びるように形成される。図３の左側の画像においては、小果梗が左方向に延びている例を示している。この状態からカメラの視点を右方向に９０度移動させた場合、図３の真ん中の画像のようになる。この画像においては、小果梗は正面方向（奥方向）に延びた状態となる。更にこの状態からカメラの視点を右方向に９０度移動させた場合、図３の右の画像のようになる。この画像においては、小果梗は右方向に延びた状態となる。

図３（ｂ）は、撮像装置１０６にて撮影した複数の視点の画像に基づいて、所定の方向からの視点へ撮像装置１０６の位置や向きを変化させる例を説明するための図である。ここでは、所定の方向からの視点として、トマトの側方からの視点へ撮像装置１０６の位置および向きを変化させる例を説明する。図３（ｂ）の左の図では、３つの異なる視点から、同一のトマトを撮影した画像が示されている。なお、これらの画像は、複数のカメラにより同時に撮影されてもよいし、１のカメラにより視点を変えながら撮影されてもよい。そして、これらの画像に基づいて対象となるトマトの側方からの視点へと撮像装置１０６の位置および向きを変化させる。なお、本実施形態において、所定の方向からの視点として側方からの視点を用いる利点として、果実の形状において見え方のバリエーションが減少し、細かな立体形状を認識することなく果実の形状を識別できる点が挙げられる。なお、所定の方向からの視点としては、上記に限定するものではなく、果実の種類やその形状特性などに応じて他の視点が用いられてもよい。

図４は、本実施形態に係る果実に対する座標系を説明するための図である。トマトなどの果実は自然物であるため、その形状には一定の規則性と不規則性が現れる。そこで、本実施形態では、トマトを扱うための座標系（以下、「トマト座標系」とも称する）および所定の視点を定義する。トマト座標系において、小果梗と果実部分との接続部分（接続位置）を原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする。更に、そのトマト座標系のＸＹ平面上において、小果梗を中心として撮像装置１０６にて撮影した視点を側方からの視点（以下、「側方視点」と称する）と定義して扱う。図４に示すように、側方視点においては、トマト座標系におけるＺ軸の方向が上下方向となる。

［姿勢決定］
図５を用いて、本実施形態に係る果実の姿勢を決定する流れについて説明する。本実施形態では、着目する果実（トマト）ごとにその姿勢を決定し、姿勢に対応した座標系（トマト座標系）が特定される。

まず、撮像装置１０６にて取得された画像の中からトマトを検知した場合、そのトマトを着目トマトとする。このとき、例えば、色や形状などの判定基準に基づき、熟していない場合などといった収穫対象とならないトマトについては処理をキャンセルし、他のトマトを探索する。なお、トマトの検知自体は、撮像装置１０６とは異なる検出手段にて検出するような構成であってもよい。ここでの収穫対象とする手法は公知の方法を適用できるものとし、ここでの詳細な説明は省略する。収穫対象であると判定された着目トマトに対し、任意の位置・視点にてトマトの画像を取得する。ここでの画像の取得では、ズームアップ・ズームアウトなどの動作を行ってもよい。

図５は、本実施形態に係るトマトの姿勢を決定する処理の流れを説明するための図である。まず、着目するトマト（以下、「着目トマト」）の画像を撮像装置１０６により取得する。上述したように撮像装置１０６は、ロボットアーム１０５や撮像モータ２０４の制御により、任意の撮影位置に移動可能である。

続いて、取得した画像から、小果梗および離層の画像領域を検出する。検出方法として、本実施形態では、機械学習による画像分割手法を用いる。具体的には、公知の画像分割手法であるＳｅｇＮｅｔを利用することが可能であるが、画像分割処理はこれに限定するものではない。更に、検出された小果梗および離層の画像領域において、離層の画像領域から果実側の小果梗の画像領域を第１小果梗とし、離層の画像領域から茎側を第２小果梗として判別する。

そして、第１小果梗の画像領域と、離層の画像領域それぞれの３Ｄ（三次元）点群を抽出する。このとき、撮像装置１０６にて取得される画像（２Ｄ（二次元）画像）から、３Ｄ点群を抽出する。２Ｄ画像から３Ｄ点群を抽出する方法としては、例えば、同じ対象物を複数の視点から撮影した２Ｄ画像を用いて、各画像から取得される特徴点により抽出する方法がある。なお、２Ｄ画像から３Ｄ点群を抽出する方法は特に限定するものではなく、公知の方法を用いてよい。

更に、果実部分の画像領域の３Ｄ点群を抽出する。そして、この３Ｄ点群を球面フィッティングすることにより、果実の中心座標を特定する。また、果実領域に隣接したヘタ部の画像領域の３Ｄ点群を抽出し、ヘタ部の３Ｄ座標を特定する。そして、果実領域の中心座標と、ヘタ部の座標とに基づいて、着目トマトに対するトマト座標系の座標軸であるＺ軸を決定する。更に、決定したＺ軸に基づいて、ＸＹ平面を特定した上でトマト座標系を決定する。Ｚ軸が決定することにより、着目トマトの姿勢が決定されることとなる。

［もぎ取り方向識別］
図６は、本実施形態に係るトマトのもぎ取り方向の識別の流れを説明するための図である。視点の変更および側方視点については、上述した通りである。

まず、図５を用いて説明したように、着目トマトに対するトマト座標系を決定した後、側方視点となるように、撮像装置１０６の視点および位置を移動させる。

撮像装置１０６を側方視点に移動させた後、撮像装置１０６により、着目トマトの画像を取得する。そして、取得した画像に基づいて、着目トマトの小果梗の状態を特定する。ここでは、小果梗が右向きに延びている（ｒｉｇｈｔ）、小果梗が左向きに延びている（ｌｅｆｔ）、小果梗が垂直方向に延びかつ長い（ｌｏｎｇ）、および、小果梗が奥行方向に延びかつ短い（ｓｈｏｒｔ）の４つに分類して特定する。ここでの分類における小果梗の長短は特に限定するものではない。本例において、“ｌｏｎｇ”は、小果梗が垂直方向に延びていることにより、側方視点からの画像において十分な長さの小果梗の領域が認識される状態に相当する。一方、“ｓｈｏｒｔ”は、小果梗が奥行方向に延びていることにより、その側方視点からの画像において十分な長さの小果梗の領域が認識できない状態に相当する。ここでの分類手法については、後述する。

小果梗の方向によって、トマトはもぎ取りやすい方向が異なる。したがって、分類した小果梗の状態に応じて、ロボットアーム１０５によるもぎ取り動作を切り替える。“ｒｉｇｈｔ”として特定された場合には、撮像装置１０６が撮影した側方視点において、トマトのもぎ取り方向を右回り（時計回り）とする。”ｌｅｆｔ”として特定された場合は、撮像装置１０６が撮影した側方視点において、トマトのもぎ取り方向を左回り（反時計回り）とする。”ｌｏｎｇ”として特定された場合は、着目トマトの周辺の状態を判定し、その着目トマトの周囲において障害物となる物体が無い回転方向（右回り、もしくは、左回り）とする。なお、このとき、ロボットアーム１０５の構造上、奥方向もしくは手前方向に回転させることができる場合には、４つの方向の中から選択してもよい。

“ｓｈｏｒｔ”として特定された場合には、その位置での収穫が不可であるとして、視点の変更を行う。着目トマトに対して、視点を左もしくは右に９０度移動させる。ここでの移動方向は、左右のいずれであってもよく、トマトのなり方に応じて切り替えてもよい。もしくは、一方を試したのち、適切な画像が取得できない場合に、もう一方の方向へ移動するような構成であってもよい。視点を移動した後、着目トマトの画像を取得して、再度分類を行う。このとき、”ｒｉｇｈｔ”、”ｌｅｆｔ”として分類された場合には、その分類に応じて収穫動作を決定する。切り替え可能な視点全てにおいて “ｓｈｏｒｔ”として分類された場合には、その着目トマトを収穫実行不可と判定してもよい。

本実施形態では、上述したように小果梗の分類において、４つのカテゴリに分類している。ここでの分類の手法としては、例えば、機械学習による分類手法を適用することができる。なお、機械学習の詳細な説明はここでは省略する。本実施形態では、ディープラーニングを用いて、入力データと正解データとの対からなる学習データを複数用意する。ここでは、入力データは小果梗の領域を含む画像データであり、正解データは上記４つのカテゴリのうちの入力データが分類されるべきカテゴリとなる。そして、この学習データを用いて学習を行うことで、学習済みモデルを生成する。学習済みモデルの生成は予め行っておき、学習済みモデルは記憶部２０２等に格納しておく。小果梗の方向を判定する際に、この学習済みモデルに画像データを入力することで、小果梗の方向の分類を行わせる。

なお、分類の方法は上記のような機械学習による手法に限定するものではなく、他の手法を用いてもよい。また、上記の例では、４つのカテゴリを例に挙げたが、これに限定するものではなく、更に多くのカテゴリに分けるような構成であってもよい。また、果菜の種類に応じて、分類数を変化させてもよい。

［処理フロー］
（収穫動作）
図７は、本実施形態に係る果菜（ここでは、トマト）の収穫動作の流れを示すフローチャートである。本処理は、収穫装置１００の制御部２０１が記憶部２０２等に格納された各種プログラムを読み出して実行し、図２に示した各部を制御することで実現される。本動作は、収穫装置１００が収穫対象のトマトを検知し、そのトマトを着目トマトとして開始される。

Ｓ７０１にて、制御部２０１は、撮像装置１０６を着目トマトの周辺位置へ移動させ、着目トマトに対する撮影動作を行う。ここでの移動動作は、上述したように、各モータを駆動させることで行われる。

Ｓ７０２にて、制御部２０１は、Ｓ７０１にて撮影した画像に基づき、着目トマトに対するトマト座標系の決定処理を行う。ここでの処理は、図５を用いて説明した処理に対応し、そのフローについては、図８を用いて後述する。

Ｓ７０３にて、制御部２０１は、Ｓ７０２にて決定したトマト座標系に基づき、撮像装置１０６の視点を変更させる。ここでの視点変更動作は、各モータを駆動させることで行われる。

Ｓ７０４にて、制御部２０１は、視点変更後の状態にて、撮像装置１０６により着目トマトに対する撮影動作を行う。

Ｓ７０５にて、制御部２０１は、Ｓ７０４にて撮影された画像に対して分類処理を行う。本実施形態において、分類処理は、図６を用いて説明したように、機械学習により得られた学習済みモデルを用いて、４つのカテゴリのいずれかに分類する処理を行う。

Ｓ７０６にて、制御部２０１は、画像が分類されたカテゴリが“ｓｈｏｒｔ”であるか否かを判定する。”ｓｈｏｒｔ”であると判定された場合は（Ｓ７０６にてＹＥＳ）、Ｓ７０３へ戻り、視点を変更した上で処理を繰り返す。上述したように、視点を変更する際には側方視点であることに変更は無い。本実施形態では、視点を９０度ずつ変化させるものとする。また、全ての視点にて分類を行った結果、いずれも”ｓｈｏｒｔ”として分類された場合には、収穫不可として本処理フローを終了してもよい。”ｓｈｏｒｔ”でないと判定された場合は（Ｓ７０６にてＮＯ）、Ｓ７０７へ進む。

Ｓ７０７にて、制御部２０１は、分類結果に基づき、着目トマトのもぎ取り方向を決定する。ここで決定されるもぎ取り方向は、図６を用いて述べたとおりである。

Ｓ７０８にて、制御部２０１は、Ｓ７０７にて決定したもぎ取り方向に従って、着目トマトの収穫動作を行う。ここでの収穫動作は、ロボットアーム１０５の先端部に設けられた収穫部１０７の構造に応じて実行される。また、収穫された着目トマトは格納庫１０３に格納される。そして、本処理フローを終了する。この後は、更なる収穫対象となるトマトが検知された場合に、そのトマトを着目トマトとして、図７の処理フローが繰り返されることとなる。

（座標系決定処理）
図８は、本実施形態に係るトマト座標系の決定処理のフローチャートである。本処理は、収穫装置１００の制御部２０１が記憶部２０２等に格納された各種プログラムを読み出して実行することにより実現される。本処理は、図７のＳ７０２に対応し、また、図５を用いて説明した流れに対応する。

Ｓ８０１にて、制御部２０１は、着目トマトの画像を撮像装置１０６により取得する。この時点での着目トマトの画像を取得する際の視点や距離は特に限定するものではなく、着目トマトと収穫装置１００（もしくは、撮像装置１０６）の位置関係などに基づいて、任意に決定されてよい。

Ｓ８０２にて、制御部２０１は、Ｓ７０１にて取得した画像において、所定の領域を検出する。ここでの所定の領域とは、果実、小果梗、およびその離層の領域とする。領域検出の方法としては、様々な方法が挙げられるが、本実施形態では、機械学習（ディープラーニング）を用いた画像分割手法であるＳｅｇＮｅｔを利用する。ＳｅｇＮｅｔは公知の方法であるため、詳細な説明は省略するが、ここでは、果実、小果梗、および離層の領域を検出するように学習されたＳｅｇＮｅｔのモデルを用いる。このモデルは予め生成され、記憶部２０２に保持されているものとする。

Ｓ８０３にて、制御部２０１は、Ｓ８０２にて検出された複数の領域に対し、トマトの構造に応じたラベル付けを行う。具体的には、Ｓ８０２にて検出された複数の領域において、果実の画像領域に隣接した小果梗の領域を「第１小果梗」とする。また、「第１小果梗」に隣接した領域を「離層」とする。更に「離層」に隣接した小果梗の領域を「第２小果梗」とする。つまり、「離層」領域を境として、「第１小果梗」領域と「第２小果梗」領域を特定する。

Ｓ８０４にて、制御部２０１は、Ｓ８０３にて抽出した領域のうち、「第１小果梗」領域と「離層」領域を画像から抽出する。

Ｓ８０５にて、制御部２０１は、Ｓ８０４にて抽出した各領域における形状および位置を示す３Ｄ点群を抽出する。上述したように、２Ｄ画像の情報から３Ｄ点群を抽出する方法は特に限定するものではなく、公知の方法を用いてよい。また、ここでの３Ｄ点群のデータ形式は特に限定するものでは無い。

Ｓ８０６にて、制御部２０１は、Ｓ８０２にて取得した果実の領域における形状および位置を示す３Ｄ点群を抽出する。更に、抽出した３Ｄ点群に対して、球面フィッティングを実施し、その果実（トマト）の中心座標を特定する。なお、球面フィッティングを行う際の算出式や条件は特に限定するものでは無いが、対象とする果実（ここではトマト）に最適化されたものを用いるものとする。

Ｓ８０７にて、制御部２０１は、Ｓ８０６にて決定した中心座標（果実側）と、Ｓ８０５にて抽出した点群（ヘタ側）とに基づいて、図４にて説明したトマト座標系のＺ軸の方向を決定する。

Ｓ８０８にて、制御部２０１は、Ｓ８０７にて決定したＺ軸方向および、Ｓ８０５にて抽出した３Ｄ点群のデータに基づいて、ヘタ部に直交する平面をＸＹ平面として特定し、着目トマトに対するトマト座標系を決定する。そして、本処理フローを終了する。

以上、本実施形態では、高精度な三次元センサを用いた３Ｄ計測を行う必要が無く、果菜の状態を認識し、もぎ取り方向を識別することができる。そのため、収穫装置において、計測時間の長期化や高精度の３Ｄセンサによる装置の大型化などを抑止し、コスト削減や測定時間の削減などを実現することができる。結果として、本実施形態では、収穫装置は、簡易な構成により、果菜の収穫において果菜の状態を認識可能となる。

＜実施形態のまとめ＞
上記実施形態の収穫装置は、小果梗の先端に形成された果菜を収穫する収穫装置（例えば、１００）であって、
収穫対象となる果菜の第１の画像を撮像部（例えば、１０６）により取得する取得手段（例えば、２０１）と、
前記第１の画像から果菜および小果梗の領域を抽出する抽出手段（例えば、２０１）と、
前記抽出手段にて抽出した果菜および小果梗の領域に基づいて、前記果菜に対する座標軸を特定する特定手段（例えば、２０１）と、
前記特定手段にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御手段（例えば、２０１、１０５、２０３、２０４）と、
前記制御手段により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別手段（例えば、２０１）と
を有する。

この実施形態によれば、収穫装置は、簡易な構成により、果菜の収穫において果菜の状態を認識可能となる。

２．上記実施形態では、前記識別手段にて識別された小果梗が延びている方向に基づいて、前記果菜のもぎ取り方向を決定する決定手段（例えば、２０１）を更に有する。

この実施形態によれば、小果梗が延びている方向に適した、果菜のもぎ取り方向を決定することができる。

３．上記実施形態では、前記特定手段は、前記果菜の領域の中心座標と、前記果菜の領域と前記小果梗の領域との接続位置の座標とから前記座標軸を特定する。

この実施形態によれば、果菜の果実部分および小果梗部分の位置関係に応じて、当該果実に応じた姿勢（なり方）を認識することができる。

４．上記実施形態では、前記抽出手段は、機械学習に基づく画像分割処理を用いて前記第１の画像から果菜および小果梗の領域を抽出する。

この実施形態によれば、機械学習による精度の高い、果菜を構成する各領域を認識することができる。

５．上記実施形態では、前記識別手段は、機械学習に基づく分類処理を用いて前記第２の画像を分類することにより、前記小果梗が延びている方向を識別する。

この実施形態によれば、機械学習による精度の高い、画像の分類処理を行うことが可能となる。

６．上記実施形態によれば、前記機械学習に基づく分類処理により前記第２の画像が所定のカテゴリに分類された場合、
前記制御手段は、前記座標軸の方向を上下方向として、前記果菜の側方からの異なる視点となるように前記撮像部の視点を制御し、
前記識別手段は、前記制御手段により前記側方からの異なる視点となった前記撮像部により取得される第３の画像に基づいて、前記小果梗が延びている方向を更に識別する。

この実施形態によれば、果菜のなり方に応じた適切な視点にて、果菜の状態の認識を行うことが可能となる。

７．上記実施形態によれば、前記所定のカテゴリは、前記小果梗が延びている方向が奥行方向であり、かつ、当該第２の画像において前記小果梗が延びている方向において当該小果梗が短いと判定されたカテゴリである。

この実施形態によれば、果菜のなり方に応じた適切な視点にて、果菜の状態の認識を行うことが可能となる。

８．上記実施形態の収穫装置の制御方法は、小果梗の先端に形成された果菜を収穫する収穫装置（例えば、１００）の制御方法であって、
収穫対象となる果菜の第１の画像を撮像部（例えば、１０６）により取得する取得工程と、
前記第１の画像から果菜および小果梗の領域を抽出する抽出工程と、
前記抽出工程にて抽出した果菜および小果梗の領域に基づいて、前記果菜に対する座標軸を特定する特定工程と、
前記特定工程にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御工程と、
前記制御工程により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別工程と
を有する。

この実施形態によれば、収穫装置において、簡易な構成により、果菜の収穫において果菜の状態を認識可能となる。

９．上記実施形態のプログラムは、
小果梗の先端に形成された果菜を収穫する収穫装置（例えば、１００）に搭載されたコンピュータ（例えば、２０１）を、
収穫対象となる果菜の第１の画像を撮像部（例えば、１０６）により取得する取得手段、
前記第１の画像から果菜および小果梗の領域を抽出する抽出手段、
前記抽出手段にて抽出した果菜および小果梗の領域に基づいて、前記果菜に対する座標軸を特定する特定手段、
前記特定手段にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御手段、
前記制御手段により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別手段
として機能させる。

この実施形態によれば、収穫装置は、簡易な構成により、果菜の収穫において果菜の状態を認識可能となる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１００…収穫装置
１０１…本体部
１０２…収納部
１０４…走行機構
１０５…ロボットアーム
１０６…撮像装置
１０７…収穫部
２０１…制御部

Claims (8)

1. 小果梗の先端に形成された果菜を収穫する収穫装置であって、
   収穫対象となる果菜の第１の画像を撮像部により取得する取得手段と、
   前記第１の画像から果菜および小果梗の領域を抽出する抽出手段と、
   前記抽出手段にて抽出した果菜および小果梗の領域に基づいて、前記果菜の領域の中心座標と、前記果菜の領域と前記小果梗の領域との接続位置の座標とから前記果菜に対する座標軸を特定する特定手段と、
   前記特定手段にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御手段と、
   前記制御手段により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別手段と
   を有することを特徴とする収穫装置。
2. 前記識別手段にて識別された小果梗が延びている方向に基づいて、前記果菜のもぎ取り方向を決定する決定手段を更に有することを特徴とする請求項１に記載の収穫装置。
3. 前記抽出手段は、機械学習に基づく画像分割処理を用いて前記第１の画像から果菜および小果梗の領域を抽出することを特徴とする請求項１または２に記載の収穫装置。
4. 前記識別手段は、機械学習に基づく分類処理を用いて前記第２の画像を分類することにより、前記小果梗が延びている方向を識別することを特徴とする請求項１乃至３のいずれか一項に記載の収穫装置。
5. 前記機械学習に基づく分類処理により前記第２の画像が所定のカテゴリに分類された場合、
   前記制御手段は、前記座標軸の方向を上下方向として、前記果菜の側方からの異なる視点となるように前記撮像部の視点を制御し、
   前記識別手段は、前記制御手段により前記側方からの異なる視点となった前記撮像部により取得される第３の画像に基づいて、前記小果梗が延びている方向を更に識別する
   ことを特徴とする請求項４に記載の収穫装置。
6. 前記所定のカテゴリは、前記小果梗が延びている方向が奥行方向であり、かつ、当該第２の画像において前記小果梗が延びている方向において当該小果梗が短いと判定されたカテゴリであることを特徴とする請求項５に記載の収穫装置。
7. 小果梗の先端に形成された果菜を収穫する収穫装置の制御方法であって、
   収穫対象となる果菜の第１の画像を撮像部により取得する取得工程と、
   前記第１の画像から果菜および小果梗の領域を抽出する抽出工程と、
   前記抽出工程にて抽出した果菜および小果梗の領域に基づいて、前記果菜の領域の中心座標と、前記果菜の領域と前記小果梗の領域との接続位置の座標とから前記果菜に対する座標軸を特定する特定工程と、
   前記特定工程にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御工程と、
   前記制御工程により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別工程と
   を有することを特徴とする収穫装置の制御方法。
8. 小果梗の先端に形成された果菜を収穫する収穫装置に搭載されたコンピュータを、
   収穫対象となる果菜の第１の画像を撮像部により取得する取得手段、
   前記第１の画像から果菜および小果梗の領域を抽出する抽出手段、
   前記抽出手段にて抽出した果菜および小果梗の領域に基づいて、前記果菜の領域の中心座標と、前記果菜の領域と前記小果梗の領域との接続位置の座標とから前記果菜に対する座標軸を特定する特定手段、
   前記特定手段にて特定された座標軸の方向を上下方向として、前記果菜の側方からの視点となるように前記撮像部の視点を制御する制御手段、
   前記制御手段により前記側方からの視点となった前記撮像部により取得される第２の画像に基づいて、前記小果梗が延びている方向を識別する識別手段
   として機能させるためのプログラム。

Images