JP7259888B2 - 収穫装置、収穫システム、収穫方法及びコンピュータプログラム - Google Patents

Description

本発明は、果物又は野菜を自動的に収穫する収穫装置、収穫システム、収穫方法及びコンピュータプログラムに関する。

農業人口の減少及び高齢化への対応策として、栽培された果物又は野菜を、より効率的に収穫するために、特許文献１に開示されているような自動収穫装置が利用されている。特許文献１に開示されている収穫装置は、ビデオカメラのコストを低減しつつ、画像処理によって背景画像の画素値が閾値以上であるか否かを判断し、木の前を走行中であるのか否かを判断して走行を制御する。

特開平０２－２３４６０８号公報

果物又は野菜が栽培されている環境では、均質化された植物工場等でない限り、撮像条件が外の天候や季節によって異なる。日中でも朝、昼、夕刻と、明るさも異なり、日照角度が異なる。撮像条件は天候や雲の動きに大きく左右される。異なる撮像条件の撮像画像に対し、画素値と一定の閾値とを比較する方法では、誤った判断がされる可能性がある。

本発明は、撮像条件に左右されることなく昼夜問わず収穫することを可能とし、果物又は野菜の適期収穫量の増大を援助する収穫装置、収穫システム、収穫方法及びコンピュータプログラムを提供することを目的とする。

本開示の一実施形態の収穫装置は、マニピュレータ及びエンドエフェクタ、並びにカメラを備え、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定し、前記果物又は野菜を収穫する収穫装置において、前記マニピュレータ及びエンドエフェクタ、並びにカメラを制御する制御部を備え、該制御部は、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、前記画像処理後の撮像情報を用い、前記撮像情報の前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、熟度が所定の度数以上であると判定された果物又は野菜に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記果物又は野菜に対する認識結果に基づいて決定する。

本開示の一実施形態の収穫システムは、マニピュレータ及びエンドエフェクタ、並びにカメラを備え、果物又は野菜を前記カメラで撮像して得られる撮像情報に基づいて前記マニピュレータ及びエンドエフェクタを制御して果物又は野菜を収穫する収穫装置と、該収穫装置と通信接続し、前記撮像情報に対する処理を実行する情報処理装置とを含み、前記収穫装置は、前記カメラで撮像して得られる撮像情報を前記情報処理装置へ送信し、前記情報処理装置は、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、前記画像処理後の撮像情報を用い、前記撮像情報の前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、熟度が所定の度数以上であると判定された果物又は野菜に対する前記収穫装置のマニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記果物又は野菜に対する認識結果に基づいて決定し、決定した移動ルート及び収穫姿勢を含む指示データを前記収穫装置へ送信し、前記収穫装置は、前記指示データに基づいて前記果物又は野菜の収穫動作を実行する。

本開示の一実施形態の収穫方法は、マニピュレータ及びエンドエフェクタ、並びにカメラを備える収穫装置によって、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定し、前記果物又は野菜を収穫する収穫方法において、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、前記画像処理後の撮像情報を用い、写っている前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、熟度が所定の度数以上であると判定された果物又は野菜の実に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記実に対する認識結果に基づいて決定する処理を含む。

本開示の一実施形態のコンピュータプログラムは、マニピュレータ及びエンドエフェクタ、並びにカメラと接続されるコンピュータに、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定させるコンピュータプログラムにおいて、前記コンピュータに、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、前記画像処理後の撮像情報を用い、写っている前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、熟度が所定の度数以上であると判定された果物又は野菜の実に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記実に対する認識結果に基づいて決定する処理を実行させる。

本開示の収穫装置、収穫方法及びコンピュータプログラムでは、撮像によって得られる撮像情報に対し、制御外の光源からの光の影響を除く画像処理が実行される。照射される光が完全にほぼ全ての株に対して一定にコントロールされた環境でない限り、収穫対象の果物又は野菜に対する光の照射具合は、時刻、光の角度、収穫対象の成長具合によって多様である。例えば屋外又はビニールハウス内で得られる撮像情報は、日中、時刻、天候、雲の動きといった時々刻々と変化する日照の影響を大きく受ける。屋内であっても、収穫対象の果物又は野菜に対する照明が収穫装置にとってコントロール外である場合、その光の点灯／消灯の影響を大きく受け、また照射の具合は収穫対象の株、実によって異なり得る。

適切に画像処理された撮像情報における画素値に基づいて熟度が判定されるので、できる限り精度よく適期収穫量の増大が見込まれる。

ここで撮像情報は、カメラによる撮像で得られる静止画像、又はカメラから出力される映像信号をキャプチャして得られるフレーム画像であってよく、その他のメタデータ等を含んでもよい。

本開示の一実施形態の収穫装置では、前記カメラによる撮像に光量を補う必要があるか否かを判断し、光量を補う必要がないと判断される場合に、前記変動吸収処理を含む画像処理を実行してもよい。

本開示の一実施形態の収穫装置では、光量を補う必要があると判断される場合、光量を補う処理を行ない、前記画像処理を省略してもよい。

夜間等、光の変動の影響を受けないか、あるいは、光をコントロールできる場合など、光量を補う必要があるのか否かに応じて画像処理が適切に実行される。

本開示の一実施形態の収穫装置では、前記カメラには照明が設けられており、前記制御部は、光量を補う必要があると判断される場合、前記照明を点灯させて前記カメラから得られる撮像情報に基づき前記果物又は野菜を認識し、熟度を判定する。

本開示の収穫装置では、夜間は照明で対象を照らして撮像し、この場合には日照の変動を吸収する処理は実行されない。照明の制御によって、制御外の光源からの光の影響によらない撮像条件で果物又は果物を認識するための撮像情報が得られる。照明を点灯させるという光量を補う処理を実行した場合でも、画像処理を実行してもよいし、省略してもよい。昼夜を問わずに、適期となった果物又は野菜を収穫することが可能になる。

本開示の一実施形態の収穫装置は、日中運転及び夜間運転の選択を受け付ける操作部を設け、前記制御部は、前記操作部によって受け付けた内容に基づいて日中運転及び夜間運転のいずれかを設定し、日中運転を設定した場合、前記変動吸収処理を含む画像処理を実行する。

本開示の収穫装置では、手動で設定される日中運転であるか夜間運転であるかの設定に応じて、変動吸収処理を実行してもよい。収穫装置に複雑な処理を実行させることなく、変動吸収処理をするか否かをユーザによって容易に設定することが可能である。

本開示の一実施形態の収穫装置は、日中運転及び夜間運転の選択を受け付ける操作部を設け、前記制御部は、前記操作部によって受け付けた内容に基づいて日中運転及び夜間運転のいずれかを設定し、夜間運転を設定した場合、光量を補う必要があると判断する。

本開示の収穫装置では、光量を補うか否かの判断は、手動で設定される日中運転であるか夜間運転であるかの設定によって判断されてよい。収穫装置に複雑な処理を実行させることなく、ユーザによって容易に設定が可能である。

本開示の一実施形態の収穫装置は、タイマーを備え、前記制御部は、日中運転又は夜間運転の開始及び終了時刻を記憶しておき、運転中の時刻に応じて日中運転及び夜間運転のいずれかを設定する。

本開示の収穫装置では、日中運転であるか夜間運転であるかの設定は、時刻に基づく設定でよい。収穫の途中で、日中から夜間へ、夜間から日中へ変化したとしても適切に日照等の制御外の光の変化に応じた処理が実現される。

本開示の一実施形態の収穫装置は、照度センサを備え、前記制御部は、前記照度センサで測定した照度に応じて、日中運転及び夜間運転のいずれかを設定する。

本開示の収穫装置では、日中運転であるか夜間運転であるかの設定は、照度センサを用いた自動設定でよい。収穫の途中で、日中から夜間へ、夜間から日中へ変化したとしても適切に日照等の制御外の光の変化に応じた処理が実現される。

本開示の一実施形態の収穫装置は、前記カメラで撮像した画像内に、特定の対象物を認識できるか否かによって光量を補う必要があるか否かを判断し、光量を補う必要があると判断される場合、設けられる照明を点灯させるか、前記カメラの露光時間を延長するか、又は、前記カメラの絞りを調整する処理を実行する。

本開示の収穫装置では、画像から自動的に光量を補う必要があるか否かが判断される。光量の補う方法は、照明を点灯させることに限らず、露光時間の延長、絞りの調整であってもよい。

本開示の一実施形態の収穫装置は、前記制御部は、前記カメラによる１回の撮像によって得られた１つの撮像情報から、写っている複数の果物又は野菜の、実又は株を続けて収穫するための移動ルート及び収穫姿勢を決定する。

本開示の収穫装置では、カメラから得られる１つの撮像情報に基づく収穫動作を複数回として、収穫効率を向上することができる。

本開示の一実施形態の収穫装置は、前記制御部は、房状に実がなる果物又は野菜に対し、同一の房内の実を連続して収穫するように移動ルート及び収穫姿勢を決定する。

本開示の収穫装置では、１つの撮像情報に対し、同一の房内で複数続けて収穫動作を実行することによって動きを最小化させ、収穫効率を向上させることが期待できる。

本開示の一実施形態の収穫装置は、前記制御部は、房状に実がなる果物又は野菜に対し、異なる房又は株から１つずつ連続して収穫するように移動ルート及び収穫姿勢を決定する。

本開示の収穫装置では、異なる房又は株であれば、収穫動作によって房又は株が揺動してしまうことがないので、続けて収穫動作を実行する際に、空動作が回避でき、収穫効率の向上が期待できる。

本開示の一実施形態の収穫装置は、前記制御部は、前記マニピュレータ及びエンドエフェクタの移動範囲の設定を受け付ける。

本開示の収穫装置では、収穫装置のマニピュレータ及びエンドエフェクタの移動範囲、即ち収穫範囲に対して設定が可能である。ユーザが収穫できる範囲は、収穫装置の範囲から除外することができる。ユーザと自動収穫装置との作業範囲を適切に仕分けることによって、収穫効率の向上が期待できる。設定は、予め記憶させておくか、又は、ユーザが使用する端末装置を通じて可能であるとよい。

本開示の一実施形態の収穫装置は、前記制御部は、収穫可否の判定の基準となる熟度の設定を受け付ける。

本開示の収穫装置では、収穫対象の熟度は、可変に設定できるようにしてある。ユーザによって、季節によって、品種によって異なる判定基準を設定することができる。収穫装置を、多様な品種の果物又は野菜に適用させることができる。収穫装置はユーザの作業を補助する装置であるから、ユーザが収穫して欲しいと考える果物又は野菜に合わせることで、適切に収穫量を増大させることができる。

本開示の一実施形態の収穫装置は、前記カメラは、２つのカメラで構成されており、１台のカメラは、マニピュレータに固定されて前記マニピュレータと共に上下に移動し、１台のカメラは、エンドエフェクタに固定されて収穫対象に向けられている。

本開示の収穫装置では、一方はマニピュレータ、他方はエンドエフェクタに設けたカメラが２つ用いられる。全体を観察できるマニピュレータのカメラからの撮像情報で収穫可否を決定することと、エンドエフェクタのカメラからの撮像情報を用いて障害物を回避できるか否かを判断するといった２つを使い分け、収穫精度と効率を向上させることができる。

本開示の一実施形態の収穫装置では、前記制御部は、前記マニピュレータに固定されたカメラから得られる撮像情報に基づき対象の果物又は野菜に対して前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を決定した後、前記対象の果物又は野菜に対する異なるデータの要否を判断し、異なるデータが必要であると判断された場合、前記エンドエフェクタに固定されたカメラから得られる撮像情報に基づいて前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を再決定する。

本開示の収穫装置では、基本的にマニピュレータに設けられたカメラから得られる撮像情報に基づいて移動ルート及び収穫姿勢を決定し、障害物があるなど、詳細なデータが必要な場合にはエンドエフェクタのカメラを用いた詳細な移動ルート及び収穫姿勢を決定するという２段階で収穫が実行される。２段階で移動ルート及び収穫姿勢を決定することにより、詳細データが必要な場合のみに近接させることが可能なカメラを用いた認識処理を実行して確実に収穫を実行し、収穫効率を向上させることができる。

本開示の収穫装置、収穫方法及びコンピュータプログラムによれば、撮像条件に左右されずに、昼夜を問わずに果物又は野菜の適期収穫量を増大させることを援助することができる。

実施の形態１の収穫装置の概要図である。 収穫装置の導線を示す概要図である。 収穫装置の制御部の構成を示すブロック図である。 処理部による制御処理手順の一例を示すフローチャートである。 処理部による制御処理手順の一例を示すフローチャートである。 処理部による移動処理手順の一例を示すフローチャートである。 処理部による画像データ取得の処理手順の一例を示すフローチャートである。 処理部による画像データに対する画像処理手順の一例を示すフローチャートである。 処理部による画素値及び距離データ取得の処理手順の一例を示すフローチャートである。 処理部による収穫可否及び収穫動作決定処理手順の一例を示すフローチャートである。 収穫処理手順の一例を示すフローチャートである。 エラー処理手順の一例を示すフローチャートである。 アーム機構の高さ変更処理手順の一例を示すフローチャートである。 カメラで撮像された画像例を示す。 収穫装置の処理部による処理の結果を示す図である。 実施の形態２における収穫可否及び収穫動作決定処理手順の一例を示すフローチャートである。 実施の形態２における収穫処理手順の一例を示すフローチャートである。 収穫順序の一例を示す図である。 収穫順序の他の一例を示す図である。 実施の形態３の収穫装置の構成を示すブロック図である。 情報端末装置に表示される画面例を示す。 設定情報の更新処理手順の一例を示すフローチャートである。 実施の形態４における収穫装置の処理部による制御処理手順の一例を示すフローチャートである。 実施の形態４における収穫装置の処理部による制御処理手順の一例を示すフローチャートである。 実施の形態４における画像データ取得の処理手順の一例を示すフローチャートである。 特定の人工物の設置例を示す図である。 実施の形態４の変形例１における画像データ取得の処理手順の一例を示すフローチャートである。 実施の形態４の変形例２における画像データ取得の処理手順の一例を示すフローチャートである。 実施の形態５の収穫装置の構成を示すブロック図である。 実施の形態５における収穫装置による制御処理手順の一例を示すフローチャートである。 情報処理装置における処理手順の一例を示すフローチャートである。 情報処理装置における処理手順の一例を示すフローチャートである。 情報処理装置における成長度合いのマップの表示例を示す図である。

本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態の説明では、収穫装置の対象の果物又は野菜の具体例として、ミニトマトを挙げる。しかしながら収穫装置の収穫対象は、対象の特性に合わせた処理を除いてはミニトマトに限られないことは勿論であり、他の果物又は野菜に代替される場合、以下の説明においてミニトマトは、対象の果物又は野菜に読み替えて解釈されるべきである。

（実施の形態１）
図１は、実施の形態１の収穫装置１の概要図である。収穫装置１は、走行台１１と走行台１１に取り付けられたアーム機構（マニピュレータ）１２、２つのカメラ１３，１４、及びＴＯＦ（Time Of Flight）カメラを制御する制御部を備える。図１の概要図では、走行台１１は栽培環境の地面又は床面に、株が植えられた畝に沿って敷設されたレール上を走行する。走行台１１はレールを挟む駆動輪１１１を備え、走行台１１内部に設けられている制御部の制御によって走行する。走行台１１の走行形態は多様な形態が適用できる。例えば走行台１１は、レールを介さず地面又は床面を走行してもよいし、栽培環境に配備された温湯管をレールとして走行してもよい。

走行台１１には、アーム機構１２が水平方向に回転可能に軸支されている。アーム機構１２は、高さ方向が可動である。アーム機構１２の先端にはエンドエフェクタ（実施の形態１ではミニトマト用のハンド、以下、ハンドという）１２１が取り付けられている。走行台１１には、ハンド１２１で収穫されたミニトマトが収容されるカゴ１１２が取り付けられている。アーム機構１２は、制御部１０からの制御によって駆動し、ハンド１２１による摘果を実行する。ハンド１２１は、鋏状であってもよい。

２つのカメラ１３，１４の内、１つのカメラ１３はアーム機構１２の基部に、横向き、即ち走行台１１の走行方向に直交する向きにミニトマトの株を撮像できるように設けられている。カメラ１３は、アーム機構１２が高さ方向に移動する際に、一体に高さが変動するようにしてある。カメラ１４は、ハンド１２１の軸を軸支する関節部に、ハンド１２１の捕捉対象に常に向かうように設けられている。カメラ１３，１４はいずれもカラーの映像素子を用いる。カメラ１３，１４には夫々、照明１３１，１４１が備えられている。照明１３１，１４１は、処理部１００の指示に従って点灯／消灯する。本実施の形態ではカメラ１３，１４はＴＯＦカメラ１５を含めて３台用いる例を挙げるが、カメラ１４の１台を異なる角度で用いる例であってもよい。

ＴＯＦカメラ１５は、対象物との距離を測定するデバイスである。ＴＯＦカメラ１５は赤外線、レーザ、及び光電素子等を用いた変位センサ、測距センサ等を用いる。ＴＯＦカメラ１５は例えばカメラ１４と同様にハンド１２１の関節部に備えられている。ＴＯＦカメラ１５は他の箇所に固定されていてもよい。

収穫装置１の構造は、図１に示した例に限られないことは勿論である。走行台１１自体が上下に移動するように構成されていてもよい。走行台１１に、アーム機構１２の台座を上下させるスタッカクレーン状の稼働部を設けてもよい。

図２は、収穫装置１の導線を示す概要図である。図２は、ミニトマトが植えられた畑を上方から見た図である。実施の形態１の収穫装置１は、ミニトマトの株が並ぶ畝２つの間を１往復するように走行することを１つの作業単位とし、図中の符号Ｓで示した箇所をスタート地点として処理を開始し、符号Ｇで示した箇所をゴール地点とする。収穫装置１は、走行台１１の移動を開始してカメラ１３でミニトマトの株を鉛直方向又は水平方向に沿って撮像し、カメラ１３で撮像した撮像データからミニトマトの実部分を房単位で検出する。実部分が検出される都度、制御部１０は適期であると判断される実毎に、ハンド１２１のカメラ１４で撮像される画像を基に、アーム機構１２及びハンド１２１を制御する。収穫装置１は、株を撮像しつつ収穫を実行していく。

本実施の形態１では、収穫装置１は、撮像範囲をミニトマトの株の高さの内の上部半分と限るなどの設定が予め可能である。これにより例えば、作業者が手作業で収穫しつつ、収穫装置１は手が届きづらい高さにある実に絞って収穫することも可能である。

このような収穫装置１による自動収穫処理を実現するための構成及び詳細処理について説明する。図３は、収穫装置１の制御部１０の構成を示すブロック図である。制御部１０は、処理部１００、記憶部１０１、入出力部１０３及び操作部１０４を備える。

処理部１００は、ＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）、タイマー、ＲＡＭ（Random Access Memory）を含む。処理部１００は、ＰＬＣ（Programmable Logic Controller ）を用いてもよい。処理部１００は、記憶部１０１に記憶されている制御プログラム１Ｐ及び設定情報１０２に基づき、後述の処理を実行する。

記憶部１０１は、フラッシュメモリ等の不揮発性メモリを用いる。記憶部１０１には、制御プログラム１Ｐ及び設定情報１０２が記憶されている。制御プログラム１Ｐは、コンピュータから読み取り可能な記憶媒体９に記憶されていた制御プログラム９ＰをＣＰＵが読み出してメモリに記憶したものであってもよい。

処理部１００の記憶部１０１に記憶されている設定情報１０２は、収穫範囲、操作部１０４のスイッチ情報と切替内容との対応付けを含む。収穫範囲は、例えば「日中運転」が操作部１０４で選択されている場合は高さとして記憶されており、「夜間運転」が選択されている場合は、範囲なし（全て）として記憶されている。設定情報１０２には、後述する処理のオプションが含まれる。オプションは例えばカメラ１３，１４，１５の設定（数及び種類）である。オプションは他の例では、ミニトマトの収穫方法の設定（房優先か、又は走査方向順）である。

設定情報１０２は、カメラ１３の画角に対応する走行台１１の移動ピッチを含む。移動ピッチは、カメラ１３の画角に対応する長さよりも短く設定されている。すなわち、走行台１１が移動ピッチ分進む毎にカメラ１３で撮像される範囲が一部重複するようにしてある。

設定情報１０２は、熟度を判定するための画素値の範囲を含む。例えば、熟度０～１０％の画素値範囲、１０％から２０％の画素値範囲、…、７０％～８０％の画素値範囲、８０％～９０％の画素値範囲、９０％～１００％の画素値範囲として記憶される。１０％毎ではなく、５％毎、また０％～７０％は１０％毎、８０％以上は５％毎と異なる区切り方で記憶されていてもよい。色成分ごとの画素値から熟度を求める関数が記憶されていてもよい。画素値の範囲は、対象となるミニトマトの品種別であってもよい。処理部１００は、対象のミニトマト別に異なる画素値範囲を読み出して後述の熟度の判定に使用してもよい。これらの画素値範囲は、予め、制御プログラム１Ｐと共に記憶される。画素値範囲は、書き換え可能であってよい。設定情報１０２には、熟度の判定用に、対象となるミニトマトの見本画像が含まれてもよい。処理部１００は、見本画像の色成分ごとの画素値を決定し、決定した画素値よりも濃い（画素値が低い）画素値を持つ実部分を熟していると判定してもよい。

設定情報１０２は、「日中運転」であるか、又は「夜間運転」であるかを判断するための情報を含んでもよい。「日中運転」又は「夜間運転」の開始時刻及び終了時刻を記憶しておき、処理部１００が処理開始時の時刻によって「日中運転」であるか、「夜間運転」であるかを判断してもよい。月日によって時刻は異なるから、収穫装置１が使用される地域及びカレンダーに対応付けて設定された時刻が記憶されていてもよい。

入出力部１０３は、制御部１０の制御対象との接続インタフェースである。入出力部１０３は、ＰＬＣのマイクロプロセッサのＩ／Ｏであってよい。入出力部１０３は、走行台１１の駆動輪１１１のモータの駆動部１１０、アーム機構１２に含まれる各モータ、シリンダ等に対応する複数の駆動部１２０、カメラ１３，１４，１５と接続されている。処理部１００は、入出力部１０３を介して駆動部１１０へ制御信号を出力し、駆動部１１０からモータ出力パルスカウント、等のフィードバックを受ける。処理部１００は、入出力部１０３を介して駆動部１２０へ制御信号を出力する。処理部１００は、入出力部１０３を介してカメラ１３，１４，１５から各画像信号を取得することができる。処理部１００は、カメラ１３，１４，１５から静止画像の画像信号を取得してもよいし、映像からキャプチャしたフレーム画像の画像信号を取得してもよい。

操作部１０４は、切替スイッチであって例えばトグルスイッチ及び押しボタン式スイッチを含む。操作部１０４は制御部１０が収容される走行台１１の筐体から露出しており、ユーザからの操作を受け付ける。操作部１０４では例えば押しボタン式スイッチで運転開始及び運転停止の操作を受け付ける。操作部１０４では、例えば「日中運転」及び「夜間運転」の切り替えが可能である。処理部１００は、操作部１０４のスイッチ状態に応じて処理を実行する。

このように構成される収穫装置１による収穫動作を説明する。図４－図１３は、処理部１００による制御処理手順の一例を示すフローチャートである。処理部１００は、運転開始を操作部１０４で受け付けた後、作業単位毎に以下の処理を実行する。

処理部１００は、操作部１０４にて「日中運転」及び「夜間運転」のいずれかに対応するスイッチ状態を取得する（ステップＳ１０１）。

処理部１００は、アーム機構１２及びハンド１２１を原点ポジションにリセットし（ステップＳ１０２）、走行台１１を移動させる処理を実行する（ステップＳ１０３）。処理部１００は、走行台１１を停止させ（ステップＳ１０４）、カメラ１３から画像データを取得する処理を実行する（ステップＳ１０５）。

処理部１００は、ステップＳ１０５で取得した画像データに対して画像処理を実行し（ステップＳ１０６）、画像処理後の画像データに基づいてアーム機構１２によって収穫すべき対象が存在するか否かを判断する（ステップＳ１０７）。

ステップＳ１０７にて存在すると判断された場合（Ｓ１０７：ＹＥＳ）、処理部１００は、画像処理後の画像データに対し、画素値及び距離データを取得する処理を実行する（ステップＳ１０８）。処理部１００は、取得した画素値及び距離データに基づき、存在する収穫対象に対して収穫可否、並びに、収穫可の場合のアーム機構１２及びハンド１２１の収穫動作の決定処理を実行する（ステップＳ１０９）。

ステップＳ１０９にて収穫可と決定されたか否かを判断し（ステップＳ１１０）、収穫可と決定されたと判断された場合（Ｓ１１０：ＹＥＳ）、処理部１００は、ステップＳ１０９で決定された収穫動作で収穫対象に対する収穫処理を実行し（ステップＳ１１１）、ステップＳ１０５へ処理を戻す。

ステップＳ１０７にて存在しないと判断された場合（Ｓ１０７：ＮＯ）、又はステップＳ１１０で収穫不可と判断された場合（Ｓ１１１：ＮＯ）、処理部１００は、処理をステップＳ１１２へ進める。

ステップＳ１１２において処理部１００は、アーム機構１２の高さを変更する処理を実行する（ステップＳ１１２）。ステップＳ１１２においてアーム機構１２及びハンド１２１はステップＳ１０２によって原点にリセットされているので、所定の高さ間隔で少しずつ高さを変更していく。

処理部１００は、ステップＳ１１２の高さの変更処理で、高さ上限を超過したか否かを判断する（ステップＳ１１３）。高さが上限を超過していないと判断された場合（Ｓ１１３：ＮＯ）、処理部１００は、処理をステップＳ１０５へ戻す。

ステップＳ１１３で上限を超過したと判断された場合（Ｓ１１３：ＹＥＳ）、処理部１００は、１畝目の収穫中であるか否かを判断する（ステップＳ１１４）。１畝目の収穫中であると判断された場合（Ｓ１１４：ＹＥＳ）、１畝目の収穫を完了したか否かを判断する（ステップＳ１１５）。

ステップＳ１１５にて１畝目の収穫を完了していないと判断した場合（Ｓ１１５：ＮＯ）、処理部１００は、位置データをフィードバックする処理を実行してから（ステップＳ１１６）、処理をステップＳ１０２へ戻す。ステップＳ１１６の位置データのフィードバックは、走行台１１のレール上の位置を決定するためのデータの送信であり、例えばモータのパルスカウントの出力である。収穫動作の反動で走行台１１が若干動いた場合であっても、収穫動作後にステップＳ１１６で位置をフィードバックするため、次の移動処理の精度が向上する。

ステップＳ１１５にて、１畝目の収穫を完了したと判断された場合（Ｓ１１５：ＹＥＳ）、処理部１００は、走行台１１を反転（又はＵターン）させる処理を実行し（ステップＳ１１７）、２畝目の収穫を開始して（ステップＳ１１８）、処理をステップＳ１０２へ戻す。

ステップＳ１１４で１畝目の収穫中でないと判断された場合（Ｓ１１４：ＮＯ）、２畝目の収穫中であるから、２畝目の収穫を終了したか否かを判断する（ステップＳ１１９）。２畝目の収穫を完了していないと判断した場合（Ｓ１１９：ＮＯ）、位置データをフィードバックする処理を実行してから（Ｓ１１６）、処理をステップＳ１０２へ戻す。

ステップＳ１２１で２畝目の収穫を完了したと判断された場合（Ｓ１１９：ＹＥＳ）、処理部１００は、一作業単位の処理を終了する。

なおステップＳ１１２の高さの変更処理、及びステップＳ１１３の上限を超過したか否かの判断は必須ではなく、設定された高さを収穫していき、手作業で機械的に高さを変更してから図４及び図５のフローチャートに示した処理手順を実行するようにしてもよい。

図４及び図５のフローチャートに示した処理手順の内のステップＳ１１２－Ｓ１１９の終了判断に関する処理は、作業単位の設定に応じて変更可能である。

図６は、処理部１００による移動処理手順の一例を示すフローチャートである。図５のフローチャートは、図４及び図５のフローチャートに示した処理手順の内、ステップＳ１０３の走行台１１の移動処理の詳細に対応する。

処理部１００は、走行台１１の駆動輪１１１を駆動させる信号を入出力部から出力する（ステップＳ３０１）。このとき処理部１００は、設定情報１０２に記憶されているカメラ１３の画角以下に対応する所定の移動ピッチ分進むように駆動部１１０へ制御信号を出力する。

処理部１００は、移動完了の確認が必要か否かを判断する（ステップＳ３０２）。必要でないと判断された場合（Ｓ３０２：ＮＯ）、処理部１００は移動処理を終了し、処理をステップＳ１０４へ戻す。

移動完了の確認が必要であると判断された場合（Ｓ３０２：ＹＥＳ）、処理部１００は、走行台１１の位置情報を取得し（ステップＳ３０３）、指定位置に到達しているか否かを判断する（ステップＳ３０４）。

指定位置に到達していると判断された場合（Ｓ３０４：ＹＥＳ）、処理部１００は、後述のエラーカウントをリセットして（ステップＳ３０５）、移動処理を終了し、処理をステップＳ１０４へ戻す。

指定位置に到達していないと判断された場合（Ｓ３０４：ＮＯ）、処理部１００は、エラーカウントを所定単位で加算し（ステップＳ３０６）、エラーカウントの値が所定値以上であるか否かを判断する（ステップＳ３０７）。

エラーカウントの値が所定値以上であると判断された場合（Ｓ３０７：ＹＥＳ）、エラー処理を実行して（ステップＳ３０８）、収穫装置１の処理を終了する。ステップＳ３０８のエラー処理は、後述のステップＳ１０１２及び図１２のフローチャートで説明する。

エラーカウントの値が所定値未満であると判断された場合（Ｓ３０７：ＮＯ）、処理部１００は、目標の位置へ移動するように制御信号を駆動部へ出力し（ステップＳ３０９）、ステップＳ３０３へ戻す。ステップＳ３０９において処理部１００は、ステップＳ３０３で取得した位置情報に基づく現在位置と、指定位置との差分に対応する向き及び距離に基づいて制御信号を出力する。

図７は、処理部１００による画像データ取得の処理手順の一例を示すフローチャートである。図７のフローチャートは、図４及び図５のフローチャートに示した処理手順の内、ステップＳ１０５の画像データの取得処理の詳細に対応する。

処理部１００は、撮像のタイミングが夜間であるかを判断する（ステップＳ５０１）。ステップＳ５０１において処理部１００は、操作部１０４のスイッチ状態が「夜間運転」であるか否かによって判断する。ステップＳ５０１の処理は、照度センサを用いた自動的な判断処理に代替可能である。ステップＳ５０１の処理は、処理部１００内蔵のタイマーを用い、時刻に基づいて夜間であるか否かを判断する処理に代替可能である。

夜間でない、すなわち日中であると判断された場合（Ｓ５０１：ＮＯ）、処理部１００は、カメラ１３にて撮像を実行して撮像画像の画像データを取得し（ステップＳ５０２）、画像データ取得処理を終了し、処理をステップＳ１０６へ戻す。

ステップＳ５０２における画像データの取得は、ステップＳ５０２でカメラ１３を起動して静止画像を取得することで実現されてもよいし、カメラ１３から常に出力されている映像信号からフレーム画像をキャプチャすることで実現されてもよい。

夜間であると判断された場合（Ｓ５０１：ＹＥＳ）、処理部１００は、照明１３１を点灯させ（ステップＳ５０３）、カメラ１３にて撮像を実行して撮像画像の画像データを取得する（ステップＳ５０４）。処理部１００は、照明１３１を消灯させ（ステップＳ５０５）、画像データ取得処理を終了し、処理をステップＳ１０６へ戻す。

図７のフローチャートで示した通り、収穫装置１では、「日中運転」であるか「夜間運転」であるかの切り替えに応じた異なる処理が実行される。これにより、収穫装置１は、後述する画像処理と合わせて、昼夜を問わない運転が可能である。

図８は、処理部１００による画像データに対する画像処理手順の一例を示すフローチャートである。図８のフローチャートは、図４及び図５のフローチャートに示した処理手順の内、ステップＳ１０６の画像処理の詳細に対応する。

処理部１００は、対象の画像データの撮像のタイミングが日中であるか否かを判断する（ステップＳ６０１）。処理部１００は、ステップＳ６０１において処理部１００は、操作部１０４のスイッチ状態が「夜間運転」であるか否かによって判断する。処理部１００は、ステップＳ１０５の画像データの取得処理におけるステップＳ５０１の判断結果を記憶しておき、その判断結果を参照してもよい。処理部１００は、ステップＳ６０１において時刻、又は照度センサを用いて判断してもよい。

日中であると判断された場合（Ｓ６０１：ＹＥＳ）、処理部１００は、画像データの画像に対し、日中の環境光の変動を吸収して一律に画素値に基づく判断を行なうための処理を実行する（ステップＳ６０２）。ステップＳ６０２の処理は、環境光によらない恒常的な値とするための色恒常性処理ともいう。なおここでいう環境光は、処理部１００にとって制御外の光源からの光を意味し、日光のみならず、人工的に照射されている光も含む。人工的に照射されている光の場合、日中であるか否かは、当該人工の光が照射されているか否かに代替される。

ステップＳ６０２において処理部１００は例えば、色成分又は輝度別に、具体的にはＲＧＢ別に、画素値の平均値が所定値となるように全画素の画素値を補正する。処理部１００は、画素値の特徴を求め、色相を変換する処理を実行してもよい。この場合、天候によって緑色が強調されやすい、赤色が強調されやすいといった場合があるので、これらを相殺するような値へ変換するとよい。ステップＳ６０２の処理はそのほか、環境光に左右されない画素値とするための公知の画像処理方法に代替されてよい。他の例において収穫装置１は、カメラ１３又はカメラ１４によってカラーチャートと共に対象を撮像し、ステップＳ６０２において、カラーチャートが写っている部分の画素値を用いて補正してもよい。

ステップＳ６０１において日中でない（夜間である）と判断された場合（Ｓ６０１：ＮＯ）、処理部１００は、照明１３１を点灯させて撮像された画像であるため、ステップＳ６０２の処理をスキップして処理をステップＳ６０３へ進める。

処理部１００は、実部分の検出処理を実行する（ステップＳ６０３）。ステップＳ６０３において処理部１００は、第１の方法として、ディープラーニングによる方法で検出する。第１の方法では、記憶部１０１には、画像が入力された場合にその画像に写っているミニトマトの実の画像内における位置及び範囲、並びに実である確度のデータを出力するようにＳＳＤ（Single Shot MultiBox Detector）等の手法で学習済みの学習モデルの定義データが記憶されている。第１の方法では処理部１００は、Ｓ６０３において、画像データの画像を学習モデルに入力し、学習モデルから出力される確度が所定値以上である位置及び範囲を、実が写っている範囲として検出する。学習モデルは、形状のみについて学習されてあるものを用いてもよい。この場合、検出された実部分の範囲における色（ＲＧＢ）成分ごと画素値によって熟しているかいるかを判定してもよい。

ステップＳ６０３において処理部１００は、第２の方法として、カラーマッチングによってミニトマトを検出する。第２の方法では、処理部１００は、記憶部１０１の設定情報０２に記憶してある実部分と判断するための画素値（ＲＧＢ成分）の範囲、及び形状のパターンとのマッチングによって、ミニトマトが写っている位置及び範囲を検出する。

処理部１００は、画像内で検出された実部分の画像内における位置及び範囲のデータを、各実部分を識別するデータに対応付けて一時的に記憶する（ステップＳ６０４）。ステップＳ６０４において処理部１００は、房として実部分を検出できた場合、いずれの房に属する実であるかを判別できるように、識別データを対応付けて記憶するとよい。

処理部１００は、実部分それぞれについて、対応する範囲の画素値（ＲＧＢ成分）に基づいて熟度を判定する（ステップＳ６０５）。処理部１００は、判定した熟度を各範囲の識別データに対応付けて記憶し（ステップＳ６０６）、画像処理を終了し、処理をステップＳ１０７へ戻す。

処理部１００は、ステップＳ６０３にて、画素値に基づくマッチングを行なう第３の方法に基づく検出処理を実行している場合には、ステップＳ６０５の熟度の判断は行なわなくてもよい。また、それ以外であっても、処理部１００が、ステップＳ６０５の熟度の判断をスキップするように設定されていてもよい。

処理部１００は、ステップＳ６０５の熟度判定において、赤外線を照射する光源及び反射光を受光するユニットを用い、反射光のスペクトル分布によって熟度を判定してもよい。処理部１００は、ステップＳ６０５の処理を画像に対する処理で行なわず、ハンド１２１に設けられた測距センサを用い、三次元的に形状を認識し、形状が所定の形状（例えば球、楕円体、長球等）であるか否かによって熟度を判定してもよい。ミニトマトの品種によって、熟度の判定は異なり、所定の形状も異なる。

処理部１００は、ステップＳ６０５の熟度判定において、学習モデルを用いて判定してもよい。学習モデルは、実部分の撮像画像を入力した場合に熟度を出力するように、熟度が既知の実を撮像した撮像画像を用いて学習される。学習モデルを用いた判定方法では、日中の日照の相違によって差異が生まれる画像であっても、画素値に対するマッチングよりも検出精度の向上が見込まれる。

図８のフローチャートに示した処理手順によって、処理部１００は、実部分が検出された場合には、実部分の画像内における位置及び範囲のデータが、各実部分を識別するデータに対応付けて記憶される。したがって、次のステップＳ１０７において処理部１００は、実部分の位置及び範囲のデータが記憶されているか否かで判断することができる。

なお図８のフローチャートに示した処理手順では、ステップＳ６０１において、日中であると判断された場合のみ、ステップＳ６０２の処理を実行することとした。しかしながら、ステップＳ６０１の処理に関わらず、照明を点灯させて撮像した画像データに対しても、ステップＳ６０２の画像処理を実行してもよい。

図９は、処理部１００による画素値及び距離データ取得の処理手順の一例を示すフローチャートである。図９のフローチャートは、図４及び図５のフローチャートに示した処理手順の内、ステップＳ１０８の処理の詳細に対応する。

処理部１００は、カメラ１３，１４，１５の設定に基づいてステレオビジョンを使用するか否かを判断する（ステップＳ８０１）。ステップＳ８０１において処理部１００は、カメラ１４の有無、ＴＯＦカメラ１５の有無によってステレオビジョンを用いるか否かを判断する。処理部１００は、ＴＯＦカメラ１５がある場合にはステレオビジョンを使用しないと判断し、１台のカメラ１３のみ備えられている場合にもステレオビジョンを使用しないと判断する。処理部１００は、カメラ１４のみを用いる場合には、ハンド１２１を動かしてステレオビジョンを使用すると判断する。その他カメラ１３，１４の構成に応じて判断するとよい。

ステップＳ８０１にてステレオビジョンを使用すると判断された場合（Ｓ８０１：ＹＥＳ）、カメラ１３，１４の２台を用いるか否かを判断する（ステップＳ８０２）。２台を用いると判断された場合（Ｓ８０２：ＹＥＳ）、処理部１００は２台のカメラ１３，１４で撮像を実行し（ステップＳ８０３）、２台のカメラから得られる画像に写る同一対象物との角度によって距離を算出する（ステップＳ８０４）。処理部１００は、算出した距離に基づいてアーム機構１２及びハンド１２１の原点に基づく座標を、画像における座標に合わせる（ステップＳ８０５）。処理部１００は、画像における色又は輝度の成分ごとの画素値を取得する（ステップＳ８０６）。処理部１００は、画素値及び距離データ取得の処理を終了し、処理をステップＳ１０９へ戻す。

カメラ１３，１４の２台を用いないと判断された場合（Ｓ８０２：ＮＯ）、処理部１００は、カメラ１４が設けられたハンド１２１を原点と所定位置まで動かしたところとで２回撮像を実行し（ステップＳ８０７）、２回の撮像で得られる画像に写る同一対象物との角度によって距離を算出する（ステップＳ８０８）。処理部１００は、ステップＳ８０８で算出した距離を用いてステップＳ８０５及びステップＳ８０６の処理を実行する。

ステップＳ８０１においてステレオビジョンを使用しないと判断された場合（Ｓ８０１：ＮＯ）、設定情報１０２に基づいてＴＯＦカメラ１５の有無を判断する（ステップＳ８０９）。ＴＯＦカメラ１５があると判断された場合（Ｓ８０９：ＹＥＳ）、処理部１００は、ＴＯＦカメラ１５によって距離を決定し（ステップＳ８１０）、ステップＳ８１０で算出した距離を用いてステップＳ８０５及びステップＳ８０６の処理を実行する。

ステップＳ８０９にてＴＯＦカメラ１５が無いと判断された場合（Ｓ８０９：ＮＯ）、処理部１００は、ＴＯＦカメラ１５に代替して他の距離センサを用いて距離を取得し（ステップＳ８１１）、得られた距離を用いてステップＳ８０５及びステップＳ８０６の処理を実行するとよい。

ＴＯＦカメラ１５がないと判断された場合（Ｓ８０９：ＮＯ）、処理部１００は、ステップＳ８１１における距離の取得に代替して以下の処理を実行し、画素値及び距離データ取得の処理を終了し、処理をステップＳ１０９へ戻してもよい。距離の取得に代替して処理部１００は、予め設定情報１０２として記憶されている画像内における対象物の位置と、アーム機構１２の原点からの距離との対応付け又は関係式に基づき、画像内における対象物の位置から、アーム機構１２の原点を基準とした対象物の座標を特定する。

図９のフローチャートに示した処理手順により、画像に写っている１又は複数のミニトマトの実部分について、画像における位置と、アーム機構１２の原点に基づく座標との対応付けがされる。実部分には、ステップＳ１０７によって各実部分を識別するデータが付与されているから、処理部１００は、識別するデータによって識別される実部分それぞれの、アーム機構１２の原点に基づく座標を特定できる。

図１０は、処理部１００による収穫可否及び収穫動作決定処理手順の一例を示すフローチャートである。図１０のフローチャートは、図４及び図５のフローチャートに示した処理手順の内、ステップＳ１０９の判断処理の詳細に対応する。

処理部１００は、画像から検出された１又は複数の実部分の内、未収穫で残されており、最も手前にある実部分を、収穫対象に仮決定する（ステップＳ９０１）。処理部１００は、仮決定した実部分以外に、画像から検出された実部分が存在するか否かを判断する（ステップＳ９０２）。

ほかに実部分が存在すると判断された場合（Ｓ９０２：ＹＥＳ）、処理部１００は、ステップＳ９０１で仮決定した実部分と、他の実部分とでステップＳ１０８の処理によって特定されている座標の内、絶対値が小さいすなわち距離が短い方の実部分を、収穫対象に決定する（ステップＳ９０３）。処理部１００は、処理を次のステップＳ９０５へ進める。

ほかに実部分が存在しないと判断された場合（Ｓ９０２：ＮＯ）、処理部１００は、ステップＳ９０１で仮決定した実部分を収穫対象に決定し（ステップＳ９０４）、処理を次のステップＳ９０５へ進める。

処理部１００は、収穫対象に決定した実部分の手前に障害物があるか否かを、画像に基づき判断する（ステップＳ９０５）。障害物があると判断された場合（Ｓ９０５：ＹＥＳ）、障害物を回避できるか否かを、画像に基づき判断する（ステップＳ９０６）。

障害物を回避できると判断された場合（Ｓ９０６：ＹＥＳ）、処理部１００は、収穫対象の実部分を収穫可と決定する（ステップＳ９０７）。処理部１００は、障害物を回避したアーム機構１２及びハンド１２１の移動ルートを決定し（ステップＳ９０８）、収穫姿勢を決定し（ステップＳ９０９）、決定処理を終了し、処理をステップＳ１０５へ進める。

ステップＳ９０５にて障害物がないと判断された場合（Ｓ９０５：ＮＯ）、処理部１００は、処理をステップＳ９０７へ進める。

ステップＳ９０６で障害物を回避できないと判断された場合（Ｓ９０６：ＮＯ）、処理部１００は、収穫不可と決定し（ステップＳ９１０）、判断対象の実部分を識別するデータに対応付けて収穫対象外として記憶する（ステップＳ９１１）。収穫対象外として記憶した実部分の周囲に、対応する実よりも収穫装置１から遠い側の実の実部分が検出されているか否かを判断する（ステップＳ９１２）。検出されていると判断された場合（Ｓ９１２：ＹＥＳ）、処理部１００は、検出されている実部分を、同様に収穫対象外として記憶し（ステップＳ９１３）、処理をステップＳ９０１へ戻す。なおステップＳ９１１－Ｓ９１３の処理によって、画像内で検出された実部分がすべて収穫対象外となり、収穫対象が残っていない場合、処理部１００は、収穫不可と決定し（ステップＳ９１０）、決定処理を終了し、処理をステップＳ１１１へ進める。

ステップＳ９１２で奥に実がないと判断された場合（Ｓ９１２：ＮＯ）、処理部１００は処理をステップＳ９０１へ戻す。

図１０のフローチャートに示した処理手順にしたがって、収穫装置１は、撮像されている範囲で、より近いものから収穫していく。ミニトマトの場合、房で実るので、障害物がある場合にはまとめて収穫対象から外すことになる。採り逃しがあることを許容し、短時間でより多く収穫して単位時間あたりの収穫数をできる限り多くすることが可能となる。

なお図１０のフローチャートに示した処理手順において、ステップＳ９０２の他の実部分が存在するか否かの判断では、所定距離以上離れている遠くの実については「他の実」から除外する。所定距離は、栽培されている場所に応じて設定情報１０２に記憶されている距離である。所定距離は、畝のピッチを２で除算した長さよりも長い。所定距離は、アーム機構１２の稼働範囲であってもよい。

図１１は、収穫処理手順の一例を示すフローチャートである。図１１のフローチャートは、図４及び図５のフローチャートに示した処理手順のステップＳ１１０の収穫処理の詳細に対応する。

処理部１００は、収穫可とされた実部分に対応する実に対し、決定された移動ルート及び収穫姿勢に基づきアーム機構１２の動作を指示する制御信号を駆動部１２０へ出力する（ステップＳ１００１）。

処理部１００は、動作が完了したか否かを判断する（ステップＳ１００２）。動作が完了したと判断された場合（Ｓ１００２：ＹＥＳ）、処理部１００は、詳細データ（同一の対象について異なるデータ）が必要であるか否かを判断する（ステップＳ１００３）。ステップＳ１００３において処理部１００は、詳細データが必要であるか否かについて例えば、収穫可否及び収穫動作決定処理にて、障害物ありと判断されている場合に、詳細データが必要であると判断する。その他、処理部１００は、実同士が重なっている場合、実に葉が重なっている場合、軸が手前である場合など、画素値範囲に基づいて、詳細データが必要であると判断する。処理部１００は、対象の実の位置データの取得に不足があり位置を確定できない場合も詳細データが必要であると判断するとよい。

詳細データが必要であると判断された場合（Ｓ１００３：ＹＥＳ）、処理部１００は、ＴＯＦカメラ１５又はカメラ１４を用いてハンド１２１からの距離を測定する（ステップＳ１００４）。処理部１００は、ミニトマトの房、軸、ヘタ、及び実のいずれかを認識、つまり、ハンド１２１の形態に応じて、ハンド１２１の収穫動作を決める部分の認識処理を実行する（ステップＳ１００５）。

詳細データが必要でないと判断された場合（Ｓ１００３：ＮＯ）、処理部１００は、処理をステップＳ１０１０のハンドの動作に進める。

ステップＳ１００５において処理部１００は、ハンド１２１に設けられているカメラ１４で撮像を実行し、撮像によって得られた画像データに対し、ステップＳ６０２の光量の変動を吸収するための画像処理、処理後の画像から色又は輝度の画素値に基づいて、画像における房、軸、ヘタ及び実の範囲夫々を抽出する処理を実行する。ステップＳ１００５において処理部１００は、撮像を実行し、画像データに対してミニトマトの画像によって各部を認識するように学習された学習モデルを使用して認識してもよい。

処理部１００は、認識処理の結果得られた房、軸、ヘタ及び実の範囲の画像内における位置に基づき、ハンド１２１のポジションを基準としたアーム機構１２及びハンド１２１を動かすための房、軸、ヘタ及び実の位置（座標）を決定する（ステップＳ１００６）。ステップＳ１００６において処理部１００は、ステップＳ８０５の座標合わせと同様の処理を実行する。

処理部１００は、認識結果に基づいてアーム機構１２及びハンド１２１の収穫姿勢を再決定する（ステップＳ１００７）。処理部１００は、詳細な認識処理に基づいて再決定した収穫姿勢に基づいてアーム機構１２の動作を指示する信号を出力し（ステップＳ１００８）、動作が完了したか否かを判断する（ステップＳ１００９）。

動作が完了したと判断された場合（Ｓ１００９：ＹＥＳ）、処理部１００は、ハンド１２１による収穫動作を実行する（ステップＳ１０１０）。処理部１００は、動作が完了したか否かを再度判断し（ステップＳ１０１１）、完了したと判断された場合（Ｓ１０１１：ＹＥＳ）、収穫対象の実部分の識別データに対応付けて収穫完了を記憶し（ステップＳ１０１３）、収穫処理を終了し、処理をステップＳ１１１へ進める。

ステップＳ１００２、ステップＳ１００９、及びステップＳ１０１１にて動作が完了していない判断された場合（Ｓ１００２：ＮＯ、Ｓ１００９：ＮＯ、Ｓ１０１１：ＮＯ）、処理部１００は、エラー処理を実行し（ステップＳ１０１２）、収穫装置１を停止させるか、又は、処理をステップＳ１００１へ戻す。

ステップＳ１００３で詳細データが必要でないと判断された場合（Ｓ１００３：ＮＯ）、処理部１００は、処理をそのままステップＳ１０１０へ進める。

図１１のフローチャートに示した処理手順によって、実際の収穫処理が実行される。ハンド１２１に設けられたカメラ１４を用いるなどして房単位でミニトマトを確実に収穫することができる。図１１のフローチャートに示した処理手順では、詳細データが必要な場合のみにハンド１２１のカメラ１４で撮像を実行した。つまり、ステップＳ１０５でカメラ１３を用いて撮像処理を実行して熟度を判定しているにも拘わらず、処理部１００は、必要な場合は重ねてカメラ１４を用いて近接して撮像し、詳細に判定及び決定を実行する。アーム機構１２に対して固定されたカメラ１３にて撮像された画像による簡易な判定であっても十分な場合、例えば障害物がない場合には、詳細なデータなしに収穫が実行される。すべての実に対して、ハンド１２１に設けられたカメラ１４で近接して撮像し、詳細に実、軸、房、ヘタを認識するのでは、効率的な収穫が期待できない。本開示の収穫装置１では、敢えて２段階で詳細データが必要な場合のみに近接させることが可能なカメラ１４を用いた認識処理を実行する。

図１１のフローチャートに示した処理手順によって収穫処理が実行されると（Ｓ１０１１：ＹＥＳ）、処理部１００は、図４のフローチャートに示したステップＳ１０５へ処理を戻し、画像データを取得する処理を実行する（Ｓ１０５）。処理部１００はここで、収穫対象としていた実を写した実部分が、実の収穫によって消失しているか否かを確認し、消失している場合には収穫成功、消失していない場合には収穫失敗と認識する。処理部１００は、収穫失敗であった実部分に対しては、再度収穫対象と決定しないようにする。

図１２は、エラー処理手順の一例を示すフローチャートである。図１２のフローチャートは、図１１のフローチャートに示したステップＳ１０１２の処理手順の詳細に対応する。

処理部１００は、図１２のフローチャートの処理を開始した起因がモータへの過負荷であるか否かを判断する（ステップＳ１２０１）。過負荷でないと判断された場合（Ｓ１２０１：ＮＯ）、処理部１００は、エラーカウントが所定値以上であるか否かを判断する（ステップＳ１２０２）。

エラーカウントが所定値未満であると判断された場合（Ｓ１２０２：ＮＯ）、処理部１００は、エラーカウントをリセットし（ステップＳ１２０３）、アーム機構１２を原点復帰させ（ステップＳ１２０４）、復帰が完了したか否かを判断する（ステップＳ１２０５）。復帰が完了したと判断された場合（Ｓ１２０５：ＹＥＳ）、処理部１００は、ハンド１２１を原点復帰させ（ステップＳ１２０６）、復帰が完了したか否かを判断する（ステップＳ１２０７）。復帰が完了したと判断された場合（Ｓ１２０７：ＹＥＳ）、処理部１００はエラー処理を完了し、処理を図１１のフローチャートのステップＳ１００１へ戻す。

ステップＳ１２０５及びステップＳ１２０７にて復帰が完了しないと判断された場合（Ｓ１２０５：ＮＯ、Ｓ１２０７：ＮＯ）、処理部１００は、処理をステップＳ１２０１へ戻す。

ステップＳ１２０２においてエラーカウントが所定値以上であると判断された場合（Ｓ１２０２：ＹＥＳ）、処理部１００は、収穫装置１を停止させ（ステップＳ１２０８）、処理を終了する。

ステップＳ１２０１において過負荷であると判断された場合（Ｓ１２０１：ＹＥＳ）、処理部１００は、収穫装置１を停止させ（Ｓ１２０８）、処理を終了する。

図１３は、アーム機構１２の高さ変更処理手順の一例を示すフローチャートである。図１３のフローチャートは、図４及び図５のフローチャートに示したステップＳ１１２の処理の詳細に対応する。

処理部１００は、カメラ１３と共にアーム機構１２の高さを仮決定する（ステップＳ１３０１）。処理部１００は、カメラ１３の撮像範囲における高さに対応する小さいピッチで少しずつ高くしていくように仮決定する。

処理部１００は、仮決定した高さが収穫範囲内であるか否かを判断する（ステップＳ１３０２）。収穫範囲内であると判断された場合（Ｓ１３０２：ＹＥＳ）、処理部１００は、仮決定した高さへ、カメラ１３と共にアーム機構１２の高さを変更し（ステップＳ１３０３）、処理を図４及び図５のフローチャートにおけるステップＳ１１３へ戻す。

ステップＳ１３０２において収穫範囲は、設定情報１０２に記憶されている高さの情報である。設定情報１０２は、アーム機構１２の高さの上限の設定も含められる。

処理部１００は、ステップＳ１３０２で収穫範囲外であると判断された場合（Ｓ１３０２：ＮＯ）、仮決定した高さは上限を超過するか否かを判断する（ステップＳ１３０４）。上限を超過しないと判断された場合（Ｓ１３０４：ＮＯ）、処理部１００は処理をステップＳ１３０１へ戻す。

上限を超過すると判断された場合（ステップＳ１３０４：ＹＥＳ）、処理部１００は、処理を次のステップＳ１１３へ戻し、高さ上限を超過したと判断され（Ｓ１１３：ＹＥＳ）、次の処理へ処理を進める。

ステップＳ１３０２の判断処理で基準とする収穫範囲は、上述したように予め作成されて記憶部１０１に設定情報１０２として記憶されている。これに限らず収穫範囲は、処理部１００によって自動的に作成されてもよい。この場合、処理部１００は、作業単位毎、走行台１１に移動の都度に、高さを変更させたカメラ１３で撮像した撮像画像に、収穫対象の実部分が存在するか否かを走行台１１の位置及び高さに対応付けて記憶しておく。処理部１００は、記憶しておいた情報に基づいて収穫対象の実が存在しない高さを学習し、その高さ以上を除外した収穫範囲を作成して記憶する。処理部１００は、走行台１１の移動の処理（図６）においても、収穫範囲内にあるか否かの判断を加えてもよい。

図４のフローチャートに示した処理手順で処理部１００は、ステップＳ１０５で取得した画像データから、ステップＳ１０６－Ｓ１０９で決定した収穫対象に対してステップＳ１１１で収穫処理を実行する都度、再度ステップＳ１０５に処理を戻すこととした。これにより、収穫動作の都度、ミニトマトの房、軸等が動いたとしても再度撮像することでその時点でのミニトマトの株の状態に応じた適切な動作が可能である。

図４－図１３のフローチャートに示した処理手順に基づく収穫装置１によるミニトマトの収穫について具体例を挙げて説明する。

図１４は、カメラ１３で撮像された画像例を示す。図１４において画像は線図によって簡略化して示されている。図４のフローチャートのステップＳ１０３及びステップＳ１０５の処理によって撮像された画像には、図１４に示すように、ミニトマトの房が２つ、写っている。

図１５は、収穫装置１の処理部１００による処理の結果を示す図である。図１５の図は、図１４の画像の線図に重畳して、処理の結果を線図で示している。図１５中、太線の矩形で囲まれた実部分に対応する実は収穫可と決定され、ハッチングの矩形で囲まれた実部分に対応する実は収穫不可と決定されている。

図１５で示すように、画像に写っている２つのミニトマトの房の内、一方の房については、実部分は熟していると判定されて収穫処理が実行される。他方の房の実の一部については手前に太い茎が存在しているため、障害物があると判断され、周辺の実がまとめて収穫不可と決定されている。

上述のように、収穫装置１は、撮像タイミングが日中であるのか、夜間であるのかに応じた撮像を実行しつつ、また、収穫の都度にアーム機構及びハンドを原点にリセットすることなく収穫を実行していく。これにより、日照の変動による影響を低減して収穫の可否を決定しながら、効率的に多くの実を収穫していくことが可能になる。

房ごとにまとめて収穫するのか、距離の近さで収穫するのかは、設定情報１０２にて設定することが可能である。房ごとの収穫にするためには、最初に最も手前の実を収穫対象として決定した後、最初の手前の実から所定の距離以内に存在する実に対応する実部分を優先的に次の収穫対象として決定するとよい。最も手前の実から収穫することにより、アーム機構１２及びハンド１２１が動く際に障害になる物が最も少なく、対象物が意図せず移動する可能性が低いからである。

実施の形態１において収穫装置１は、ミニトマトの実が複数写っている場合、カメラ１３によって撮像されている範囲で、最も手前の実部分を収穫対象として決定した（Ｓ９０１）。しかしながら、収穫順序はこれに限られない。図１０のフローチャートに示した処理手順の内、ステップＳ９０１及びＳ９０３において距離が短い方の実部分を収穫対象に決定することに代替して、処理部１００は、撮像されている範囲内で上の方の実部分を収穫対象に決定してもよい。処理部１００は、撮像されている範囲内で、画像における右又は左の方（走行台１１の進行方向における手前）から、走行台１１の進行方向に沿って順に収穫するように収穫対象に決定してもよい。進行方向に沿って順に収穫することによって、１回の収穫処理で収穫に失敗したとしても、走行台１１を逆方向に戻すことなく、次の機会で収穫できる可能性が高く、効率的に多くの実を収穫することが期待できる。

処理部１００は、ミニトマトの実が複数写っている場合、カメラ１３によって撮像されている範囲における各房の中心を算出し、中心から最も外側に位置する実部分を優先して収穫してもよい。密集している場合に、端から収穫することによって中央の果実を採集し易くなる可能性がある。距離の近いもの、画像における上下、左右、端等、いずれの実部分を優先して収穫するかは設定情報１０２にて、収穫装置１毎にその構造に応じて設定してあるとよい。状況に応じて設定内容が変更可能であってもよい。処理部１００は、熟度の高い方を優先して収穫対象に決定してもよい。これにより、商品価値が高いものから収穫することができる。熟度の判定基準を複数段階に設定し、異なる最も熟度が高い範囲の実部分と、次の段階の範囲の実部分とをカゴ１１２内で仕分けしてもよい。

図１０のフローチャートに示した処理手順の内、ステップＳ９０５において障害物ありと判断された場合、以後同じ房内においては最も手前の実部分を収穫対象とするのではなく、処理部１００は、上から、下から、左から又は右から、と優先順位の基準を変更してもよい。つまり障害物がある場合には他のアプローチを試すことにより、効率的に収穫することが期待される。

（実施の形態２）
実施の形態１で収穫装置１は、収穫動作の都度に画像データを再度取得してミニトマトの株、軸、実の状態を確認してから次の収穫動作のためのルート及び収穫姿勢を決定して収穫処理を実行した。実施の形態２で収穫装置１は、１回の撮像に対して複数の実に対して続けて収穫動作を実行する。実施の形態２では、ステップＳ１０８の画素値及び距離データの取得処理において、画像に写っている複数の実それぞれに対して距離を算出し、画像内での実の識別データに対応付けて距離を算出する。

実施の形態２における収穫装置１の構成は、詳細な処理手順以外は、実施の形態１と同様である。実施の形態２の収穫装置１は、実施の形態１にて説明した図４及び図５のフローチャートの処理手順を実行する。ただし、実施の形態２では例えば、図４及び図５のフローチャートにおけるステップＳ１０９及びステップＳ１１０の処理手順を以下に示す処理手順に代替することで、１回の撮像に対して複数の実の収穫を実現する。以下の処理はあくまで例示であって、手順の入れ替え、組み合わせの変更によって他の手順によって複数の実の収穫を実行してよい。

図１６は、実施の形態２における収穫可否及び収穫動作決定処理手順の一例を示すフローチャートである。図１６のフローチャートは、図４及び図５のフローチャートに示した処理手順のステップＳ１０９の詳細に対応する。図１６のフローチャートに示した処理手順の内、実施の形態１の図１０のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

処理部１００は、撮像画像に写っていて距離を算出できた実の内、画像内における横方向又は縦方向に順に、収穫対象に仮決定する（ステップ９２１）。

処理部１００は、仮決定した収穫対象に対して障害物があるか否かを判断し（Ｓ９０５）、障害物があると判断された場合（Ｓ９０５：ＹＥＳ）、回避可能か否かを判断する（Ｓ９０６）。回避不可と判断された場合（Ｓ９０６：ＮＯ）、処理部１００はステップＳ９１０へ処理を進め、ステップＳ９１１－Ｓ９１３の処理を実行する。

障害物がないと判断された場合（Ｓ９０５：ＮＯ）、又は障害物があると判断されても（Ｓ９０５：ＹＥＳ）、回避可能であると判断された場合（Ｓ９０６：ＹＥＳ）、処理部１００は、ミニトマトにおいては、異なる房の実部分、又は異なる株の実部分が、画像内で他に存在するか否かを判断する（ステップＳ９２２）。異なる房の実部分、又は異なる株の実部分が他に存在すると判断された場合（Ｓ９２２：ＹＥＳ）、異なる房若しくは株をまたいで収穫する設定であるか、又は同一の房若しくは株内を優先して収穫するかの設定に応じて、複数の実部分を収穫対象として決定する（ステップＳ９２３）。ステップＳ９２３の設定は、設定情報１０２として決定されている。

処理部１００は、複数の実を収穫するための移動ルートを決定し（ステップＳ９２４）、それぞれの実に対する収穫姿勢を決定し（ステップＳ９２５）、処理を図４及び図５のフローチャートに示したステップＳ１１０へ進める。

異なる房の実部分又は異なる株の実部分が他に存在しないと判断された場合（Ｓ９２２：ＮＯ）、処理部１００は、同一房内の複数の実を収穫する設定として、移動ルートを決定し（Ｓ９２４）、収穫姿勢を決定し（Ｓ９２５）、処理を図４及び図５のフローチャートに示しステップＳ１１０へ進める。ステップＳ９２３において処理部１００は、同一房内を連続して収穫しない設定としている場合には、１つの実を収穫対象として決定してもよい。

図１７は、実施の形態２における収穫処理手順の一例を示すフローチャートである。図１７のフローチャートは、図４及び図５のフローチャートに示した処理手順のステップＳ１１０の収穫処理の詳細に対応する。図１７のフローチャートに示した処理手順の内、実施の形態１の図１１のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

処理部１００は、複数の実に対して決定されたアーム機構１２の移動ルートに従って動作を実行し（Ｓ１００１）、必要に応じて詳細データを取得して（Ｓ１００４～Ｓ１００９）、ハンド１２１による収穫動作を実行し（Ｓ１０１０）、動作を完了したと判断された場合（Ｓ１０１１：ＹＥＳ）、決定した複数の実全てに対して動作完了した否かを判断する（ステップＳ１１０１）。

複数の実全てに対して動作を完了していないと判断された場合（Ｓ１１０１：ＮＯ）、処理部１００は、処理をステップＳ１００１へ戻して次の実への移動ルートに従ってアーム機構１２の動作を実行する（Ｓ１００１）。

実施の形態２では、ステップＳ１１０１にて複数の実全てに対して動作を完了したと判断された場合（Ｓ１１０１：ＹＥＳ）、初めて、収穫動作を終了し、処理を図４及び図５のフローチャートに示したステップＳ１０５へ処理を戻す。

図１８は、収穫順序の一例を示す図である。図１８は、図１４に示した認識された実部分に、収穫順序を数字で示している。図１８では、異なる房の実、又は異なる株の実を連続して収穫する設定の場合の収穫順序を示している。図１８の例の場合、処理部１００は、画像の上部から順に、回避不可能な障害物が存在するものを除外しながら、実部分を収穫対象として決定している。番号１，２，…は異なる房をまたぐように付されている。房が異なれば、１回の収穫動作（軸の切断等）によってその房が揺れて動いても、他の房は動かないはずであるから、１回の撮像に基づいて収穫動作を複数回とし、収穫の効率を向上させることが期待できる。株が異なる場合も同様である。

図１９は、収穫順序の他の一例を示す図である。図１９は、図１８同様に、図１５に示した認識された実部分に、収穫順序を数字で示している。図１９では、同一の房の実を連続して収穫する設定の場合の収穫順序を示している。図１９の例の場合、処理部１００は、画像の上部から順に、回避不可能な実部分を収穫対象として決定している。図１９の例の場合、番号１，２，…は同一の房内で互いに近接した実に連続して付されている。図１９の例では、番号１～９が付されているが、処理部１００は、１回の収穫動作では３～４つを収穫対象とし、番号４からは再度画像データを取得して（Ｓ１０５）、収穫動作を実行するとよい。１回の収穫動作によって房の動く範囲は次の収穫動作に影響を与えない程度である場合には、このように同一の房内で連続して収穫することによって、収穫のためのアーム機構１２及びハンド１２１の移動量は最小化され、収穫効率の向上が期待できる。

実施の形態２では、収穫装置１は、１回の撮像に対し、複数の実部分を収穫するように移動ルート及び収穫姿勢を決定した。この際、図１８に示したように上から順に収穫するように収穫順序を決定したが、これに限らない。収穫装置１は、複数の実部分の内、最も近い実部分から収穫するように決定してもよいし、房の中心からより離れた端の実部分から収穫するように決定してもよいし、右から、左から収穫するように決定してもよい。図１８及び図１９の左側の房のように障害物があると判断された場合とないと判断された場合とで、決定する移動ルートの基準が変わってもよい。例えば図１８及び図１９に示したように、障害物があると判断された場合に、その房内の実部分については、障害物がある位置から最も離れた実部分から順に収穫するように収穫順序を決定してもよい。図１８の例であれば、処理部１００は、左側の房については番号１２が付されている実部分から順に、次に番号１０が付されている実部分を収穫するように順に収穫ルートを決定する。

（実施の形態３）
実施の形態３では、ユーザが所持する情報端末装置２にて、設定情報１０２の内容を変更することが可能である。図２０は、実施の形態３の収穫装置１の構成を示すブロック図である。実施の形態３の収穫装置１は、通信部１０５を備える。通信部１０５は、近距離無線通信を実現する通信デバイスであり、情報端末装置２との通信接続を実現する。

情報端末装置２は、タブレット端末又は所謂スマートフォン等のコンピュータ装置である。情報端末装置２は、処理部２００、記憶部２０１、通信部２０２、表示部２０３及び操作部２０４を備える。

処理部２００は、ＣＰＵ及び／又はＧＰＵを用いて各構成部を制御する。処理部２００は、記憶部２０１に記憶されている端末プログラム２Ｐに基づいて、後述する収穫装置１への設定を受け付けるための画面を表示し、収穫装置１へ設定内容を送信する処理を実行する。記憶部２０１はＳＳＤ又はフラッシュメモリ等の不揮発性メモリである。記憶部２０１には、端末プログラム２Ｐ及び画面データを記憶する。

通信部２０２は、近距離無線通信を実現する通信デバイスである。表示部２０３は、タッチパネルを内蔵するディスプレイである。操作部２０４は表示部２０３のディスプレイに内蔵されるタッチパネル及び情報端末装置２に備えられている物理ボタンを含む。

情報端末装置２の処理部２００は、記憶部２０１に記憶されている端末プログラム２Ｐが選択されてこれを実行すると、画面データを読み出して表示部２０３に画面を表示させ、操作を受け付ける処理を実行する。

図２１は、情報端末装置２に表示される画面例を示す。画面３００は、「日中運転」及び「夜間運転」のいずれかの設定、収穫対象のミニトマトの範囲（高さ）の設定、収穫対象のミニトマトの熟度（０～１００％）の設定を夫々実行するコントロールを含む。

画面３００は、各コントロールで設定された内容を収穫装置１へ向けて送信するための設定ボタン３０１を含む。設定ボタン３０１が選択された場合、情報端末装置２の処理部２００は通信部２０２によって収穫装置１との通信接続を試みる。収穫装置１の通信アドレスは、予め設定されている。情報端末装置２の処理部２００は、収穫装置１と通信接続された場合に、設定内容を収穫装置１へ送信する。

収穫装置１は、情報端末装置２からの通信接続のリクエストをうけて以下の処理を実行する。図２２は、設定情報１０２の更新処理手順の一例を示すフローチャートである。

収穫装置１の処理部１００は、情報端末装置２と通信部１０５を介して通信接続を確立する（ステップＳ１７０１）。処理部１００は、情報端末装置２から送信される設定内容のデータを受信し（ステップＳ１７０２）、「日中運転」及び「夜間運転」の設定を更新する（ステップＳ１７０３）。ステップＳ１７０３にて、夜間運転の時刻設定がされている場合、時刻を更新する。

処理部１００は、受信した設定内容の内、収穫対象の範囲について設定を更新し（ステップＳ１７０４）、受信した熟度の設定で設定情報１０２を更新し（ステップＳ１７０５）、更新処理を終了する。

操作部１０４にて運転が開始されると、収穫装置１の処理部１００は、更新後の設定情報１０２に基づいて収穫処理を実行する。収穫処理の内容は、実施の形態１の図４のフローチャートに示した処理手順と同様であるから詳細な説明を省略する。

情報端末装置２にて画面３００を介して設定情報１０２の内容を変更できることにより、季節や需要、作業者の作業内容に応じて収穫装置１の動作を柔軟に変更し、全体としてミニトマトの収穫効率を最大限とすることが期待できる。

（実施の形態４）
実施の形態４では、操作部１０４におけるスイッチ状態に関わらず、カメラ１３又はカメラ１４で実際に撮像される画像データに対する処理によって、光量を補う処理（照明１３１の点灯を含む）を実行すべきか否かを決定する。実施の形態４における収穫装置１の構成は、以下に示す処理手順以外については基本的に実施の形態１に示した構成と同様である。共通する構成については同一の符号を付して詳細な説明を省略する。

図２３及び図２４は、実施の形態４における収穫装置１の処理部１００による制御処理手順の一例を示すフローチャートである。図２３及び図２４のフローチャートに示す処理手順の内、実施の形態１における図４及び図５のフローチャートに示した処理手順と共通する手順については、同一のステップ番号を付して詳細な説明を省略する。

処理部１００は、運転開始後、アーム機構１２及びハンド１２１のリセットを実行し（Ｓ１０２）、以後の処理を実行する。実施の形態４において処理部１００は、操作部１０４における「日中運転」及び「夜間運転」のスイッチ状態を取得しない。あるいは、実施の形態４において処理部１００は、操作状態が、操作部１０４にて設定される「日中運転」、「夜間運転」、及び「オート運転」の内のいずれであるかを判別し、「オート運転」である場合に以下に示す処理手順を実行してもよい。

実施の形態４において処理部１００は、走行台の移動処理（Ｓ１０３）を、実施の形態１の図６のフローチャートに示した処理手順に従って同様に実行する。

実施の形態４において処理部１００は、画像データ取得処理（Ｓ１０５）における光量の補助を、以下の図２５のフローチャートに示すいずれかの処理手順によって、画像データから自動的に判断して実行する。図２５は、実施の形態４における画像データ取得の処理手順の一例を示すフローチャートである。

処理部１００は、カメラ１３にて、アーム機構１２の基部から横向きに撮像を実行し、撮像画像の画像データを取得する（ステップＳ５１１）。処理部１００は、取得した画像データの画像内に、畑に存在する特定の人工物を認識できるか否かを判断する（ステップＳ５１２）。特定の人工物は、一例では、畑で使用する農器具である。農器具は例えば収穫対象のミニトマトを支える支柱等の棒である。農器具は例えば収穫用のカゴ、シート、等であってもよい。特定の人工物は、他の例では、本処理のために設けられる特別な色、模様、又は形状を有するマークであって、立て看板のように設置されてもよい。図２６は、特定の人工物の設置例を示す図である。図２６は、図２と同様に、ミニトマトが植えられた畑を上方から見た図である。図２６中、符号Ａ，Ｂに示す箇所に、互いに向かい合うようにしてマークが描かれた立て看板を設置する。少なくとも作業単位の開始時に、スタート地点Ｓで畝の方向に直交する向きにカメラ１３で撮像した場合に、立て看板は撮像範囲に入る。その他、各畝の間に立て看板を設置し、任意のタイミングでカメラ１３を用いて撮像したとしても必ず撮像できるようにしてもよい。

ステップＳ５１２において処理部１００は、記憶部１０１に予め記憶しておいた特定の人工物の画像の画像データを参照し、取得した画像データとのパターンマッチングによって特定の実行物を認識できるか否か判断してもよい。処理部１００は、特定の人工物の特別な色、模様又は形状を示すデータを予め記憶部１０１に記憶しておき、取得した画像データの画像内に、特別な色の画素を所定の範囲で抽出できたか否かを判断してもよいし、特別の形状が抽出できたか否かを判断してもよい。

ステップＳ５１２において認識できたと判断された場合（Ｓ５１２：ＹＥＳ）、処理部１００は、そのまま画像データの取得処理を終了し、処理をステップＳ１０６へ進める。特定の人工物を認識可能に光量が十分であるから、収穫装置１は、昼間運転の処理と同様にして収穫が可能である。

ステップＳ５１２において認識できなかったと判断された場合（Ｓ５１２：ＮＯ）、処理部１００は、光量が足りないので、照明１３１を点灯させるなど光量を補う処理を行ない（ステップＳ５１３）、カメラ１３にて撮像を実行して画像データを取得する（ステップＳ５１４）。処理部１００は、照明１３１を消灯させるなど光量を補う処理を解除し（ステップＳ５１５）、画像データ取得処理を終了し、処理をステップＳ１０６へ戻す。

ステップＳ５１３では、照明１３１を点灯させるとした。しかしながらこれに限らず、収穫装置１に別途備えられる赤外光を照射する照明を点灯させてもよい。照明から照射される光が可視光であるか赤外光であるかは、カメラ１３の仕様に対応するように決定されるとよい。

ステップＳ５１３で照明１３１を点灯させることに代替し、ステップＳ５１２における撮像時のカメラ１３の露光時間を延ばすこととしてもよい。露光時間の延長のみならず、カメラ１３の感度又は絞りの調整でもよい。照明、露光時間、感度及び絞り等による調整を組み合わせてもよい。カメラ１３の代わりにカメラ１４を用いて撮像角度、撮像距離を変えられるようにしてもよい。カメラ１４の位置を変更することによって、ハレーションを起こしている場合などに、これを回避することが期待できる。

実際に撮像した画像から判断することにより、スイッチ操作が無い場合であっても正確に光量を補うか否かを決定することができる。

（変形例１）
画像データに基づく光量を補うか否かの判断は、他の方法であってもよい。畑の中に特定の人工物が存在するとしても、その特定の人工物を任意のタイミングで撮像できるとは限らない場合、又は、立て看板の設置ができない場合がある。この場合、収穫装置１のアーム機構１２の基部で支持されるようにして、カメラ１３の撮像範囲に入る位置に、特定のカラーチャートが収穫装置１自身に設けられる。カラーチャートは、カメラ１３を覆う透明カバーの内側に設置されてもよい。又は、収穫装置１において、アーム機構１２及びハンド１２１が原点にリセットされた状態でカメラ１４の撮像範囲に入る位置に、特定のカラーチャートが設けられてもよい。図２７は、実施の形態４の変形例１における画像データ取得の処理手順の一例を示すフローチャートである。図２７のフローチャートに示す処理手順は、カラーチャートを用いる場合の処理手順である。

処理部１００は、カメラ１３にて、カラーチャートに対する撮像を実行し、撮像画像の画像データを取得する（ステップＳ５２１）。処理部１００は、取得した画像データの画像内に、カラーチャートに含まれる特定の色を認識できるか否かを判断する（ステップＳ５２２）。

ステップＳ５２１において認識できたと判断された場合（Ｓ５２２：ＹＥＳ）、処理部１００は、撮像条件を維持したままアーム機構１２の基部から横向きに撮像を実行し、撮像画像の画像データを取得し（ステップＳ５２３）、画像データ取得の処理を終了する。処理部１００は、処理をステップＳ１０６へ戻す。ステップＳ５２３において処理部１００は、カラーチャートをそのまま撮像範囲に含めたまま焦点をミニトマトに合わせるようにして撮像を実行してもよいし、カラーチャートを撮像範囲から外すように制御して撮像を実行してもよい。

ステップＳ５２１において認識できなかったと判断された場合（Ｓ５２２：ＮＯ）、処理部１００は、照明１３１を点灯させるなど光量を補う処理を行ない（ステップＳ５２４）、カメラ１３にて撮像を実行して画像データを取得する（ステップＳ５２５）。ステップＳ５２４において処理部１００は、照明１３１の点灯以外に、露光時間、感度及び絞り等の一部又は全部を組み合わせてもよい。

処理部１００は、照明１３１を点灯させた場合にはこれを消灯させるなど光量を補う処理を解除し（ステップＳ５２６）、画像データ取得の処理手順を終了し、処理をステップＳ１０６へ戻す。

このように、収穫装置１自身で、光量の不足の判断のために用いられるカラーチャートを撮影できるようにしてあることにより、任意のタイミングで判断が可能である。

（変形例２）
収穫装置１が収穫対象のミニトマトを認識できることが重要であるので、実が撮影できていなくとも、葉、茎、又は枝を認識できるか否かによって、光量を補う必要があるのかどうかを判断することもできる。図２８は、実施の形態４の変形例２における画像データ取得の処理手順の一例を示すフローチャートである。

処理部１００は、カメラ１３にて、アーム機構１２の基部から横向きに撮像を実行し、収穫対象のミニトマトに向けて撮像した画像の画像データを取得する（ステップＳ５３１）。処理部１００は、取得した画像データの画像内に、収穫対象を認識できるか否かを判断する（ステップＳ５３２）。

ステップＳ５３２において処理部１００は、取得した撮像データの画像内に、記憶部１０１に設定情報１０２として記憶してある、収穫対象であるミニトマトの葉、茎、又は枝の色範囲が抽出できるか否かで判断してもよい。処理部１００は、ミニトマトの実の形状及び色を抽出できるか否かで判断してもよい。

ステップＳ５３２において認識できると判断された場合（Ｓ５３２：ＹＥＳ）、処理部１００は、そのまま画像データの取得処理を終了し、処理をステップＳ１０６へ戻す。収穫対象のミニトマトを認識可能に光量が十分であるから、収穫装置１は、昼間運転の処理と同様にして収穫が可能である。

ステップＳ５３２において認識できないと判断された場合（Ｓ５３２：ＮＯ）、処理部１００は、照明１３１を点灯させるなど光量を補う処理を行い（ステップＳ５３３）、カメラ１３にて撮像を実行して画像データを取得する（ステップＳ５３４）。

処理部１００は、照明１３１を点灯させた場合にはこれを消灯させるなど光量を補う処理を解除し（ステップＳ５３５）、画像データ取得の処理手順を終了し、処理をステップＳ１０６へ戻す。

実際に撮像する収穫対象を認識できるか否かにより、正確に光量を補うか否かを決定することができる。

（変形例３）
その他、処理部１００は、画像データの取得処理において、照明１３１を点灯しない状態でカメラ１３にて撮像を実行した場合と、照明１３１を点灯させた状態でカメラ１３にて撮像を実行した場合との両方の画像データを取得し、画像の明度の差が所定値以上であるか否かによって、光量を補うか否かを決定してもよい。

（変形例４）
処理部１００は、画像データの取得処理において、一旦カメラ１３にて撮像を実行して得られる画像データの画像に対し、ステップＳ６０２の日中の環境光の変動を吸収して一律に画素値に基づく判断を行なうための処理を実行してもよい。この処理の前後で、画像の画素値に所定値以上の差があるか否かによって、光量を補うか否かを決定してもよい。

実施の形態４では、ステップＳ１０５の画像データの取得処理を実行する都度に、処理部１００は、光量が足りていて認識できるか否かを判断した。しかしながら処理部１００は、画像データの取得処理において毎回、光量が足りているか否かを毎回判断しなくてもよい。処理部１００は、ステップＳ１０２のアーム機構１２及びハンド１２１の原点へのリセットの前後で、一度上述の図２５のフローチャートに示した処理手順、変形例１－４のいずれかを実行し、以後の画像データの取得処理にて、光量を補う処理（照明１３１を点灯する等）を実行するか否かを切り替えてもよい。処理部１００は、例えば１時間等の一定期間の経過の都度に、一度上述の図２５のフローチャートに示した処理手順、変形例１－４のいずれかを実行し、光量を補う処理（照明１３１を点灯する等）を実行するか否かを切り替えてもよい。

（実施の形態５）
実施の形態５では、収穫装置１と通信する情報処理装置４にて収穫処理を制御する。図２９は、実施の形態５の収穫装置１の構成を示すブロック図である。実施の形態５における収穫装置１は、通信部１０５を備える。通信部１０５は、キャリアネットワークを介した高速通信、又は、近距離無線通信を実現する無線通信デバイスである。実施の形態５における収穫装置１は、記憶部１０１に制御プログラム１２０Ｐを記憶している。収穫装置１は、制御プログラム１２０Ｐに基づき、情報処理装置４との間でデータを送受信しながら走行台１１及びアーム機構１２を制御する。

なお、実施の形態５では、１つの収穫装置１と１つの情報処理装置４とで協働して収穫処理を制御するが、複数の収穫装置１によって撮像された画像に対する画像処理を１台の情報処理装置４で実行してもよい。

情報処理装置４は、収穫装置１を管理するユーザ又は管理業者が管理するコンピュータである。情報処理装置４は、サーバコンピュータであってもよいし、パーソナルコンピュータであってもよい。情報処理装置４は、ラップトップ型又はデスクトップ型のパーソナルコンピュータであってもよい。情報処理装置４は、ユーザが使用するタブレット端末、スマートフォンであってもよい。

情報処理装置４は、処理部４００、記憶部４０１、通信部４０２、表示部４０３及び操作部４０４を備える。表示部４０３及び操作部４０４は必須ではない。

処理部４００は、ＣＰＵ及び／又はＧＰＵを用いて各構成部を制御する。処理部４００は、記憶部４０１に記憶されている制御プログラム４Ｐに基づき、画像処理及び収穫ルートの決定を実行し、収穫装置１と協働して収穫処理を実行する。

記憶部４０１はＳＳＤ、又はハードディスク等の不揮発性記憶媒体である。記憶部４０１は、制御プログラム４Ｐと、制御プログラム４Ｐに基づいて処理を実行する処理部４００が参照する設定情報４０５と、収穫装置１から取得する画像データとを記憶する。

記憶部４０１に記憶される設定情報４０５は、画像データの画像から実部分を特定する処理、収穫ルートの決定等を実行するために必要な情報を含む。設定情報４０５は、ミニトマトの熟度を判定する画素値の範囲を含む。設定情報４０５は、協働する収穫装置１の仕様即ちカメラの設定（数及び種類）、ミニトマトの収穫方法の設定（房優先か、走査方向順か等）を含む。これに応じて、収穫装置１の記憶部１０１の設定情報１０２は、熟度を判定するための画素値の範囲を含まず、収穫範囲、スイッチ情報、オプション、走行台１１の移動ピッチを含む。

通信部４０２は、キャリアネットワークを介した無線通信、又は、近距離無線通信を実現する通信デバイスである。処理部４００は、通信部４０２を介して収穫装置１と通信接続が可能である。収穫装置１とリアルタイムで連携するため、通信部４０２は安定した高速通信を実現することが望ましい。

表示部４０３は、液晶パネル又は有機ＥＬ等を用いたディスプレイである。操作部４０４はマウス及びキーボード等のユーザインタフェースであってもよいし、表示部４０３のディスプレイに内蔵されるタッチパネルであってもよい。

実施の形態５において収穫装置１は、カメラ１３（又はカメラ１４）にて撮像した画像の画像データを情報処理装置４へ送信し、情報処理装置４における画像処理の結果に基づいて走行台１１及びアーム機構１２を制御する。

図３０は、実施の形態５における収穫装置１による制御処理手順の一例を示すフローチャートである。収穫装置１の運転開始を操作部１０４で受け付け、収穫装置１が情報処理装置４との間で通信接続を確立させると、作業単位毎に以下の処理を実行する。図３０のフローチャートの処理手順の内、実施の形態１における収穫装置１による処理手順（図４－図１３）と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

収穫装置１の処理部１００は、操作部１０４にて「日中運転」及び「夜間運転」のいずれかに対応するスイッチ状態を取得する（Ｓ１０１）。ステップＳ１０１の処理はスキップされて、後述の画像処理によって処理部１００が自動的に、光量を補う（夜間運転）か否かを判断してもよい。

処理部１００は、アーム機構１２及びハンド１２１を原点ポジションにリセットし（Ｓ１０２）、走行台１１を移動させ（Ｓ１０３）、停止させる（Ｓ１０４）。ステップＳ１０３において処理部１００は、図６のフローチャートに示した走行台１１の移動処理を実行する。

処理部１００は、カメラ１３にて撮像されるモニタ出力画像データの取得を開始する（ステップＳ１５０１）。処理部１００は以後、取得したモニタ出力画像データ（動画データ）を通信部１０５から逐次情報処理装置４へ向けて送信する（ステップＳ１５０２）。

処理部１００は、情報処理装置４から指示データを受信し（ステップＳ１５０３）、受信した指示データが高さ変更を指示しているか否かを判断する（ステップＳ１５０４）。高さ変更を指示していると判断された場合（Ｓ１５０４：ＹＥＳ）、処理部１００は、アーム機構１２の高さを変更する処理を実行する（Ｓ１１２）。ステップＳ１１２において処理部１００は、図１３のフローチャートに示した高さ変更処理を実行する。

処理部１００は、ステップＳ１１２の高さの変更処理で、高さ上限を超過したか否かを判断し（Ｓ１１３）、高さが上限を超過していないと判断された場合（Ｓ１１３：ＮＯ）、処理をステップＳ１５０２へ戻す。

ステップＳ１１３で上限を超過したと判断された場合（Ｓ１１３：ＹＥＳ）、処理部１００は、モニタ出力画像データの取得を一旦終了し（ステップＳ１５０５）、位置データをフィードバックする処理を実行してから（Ｓ１５０６）、処理をステップＳ１０２へ戻す。

指示データが、高さ変更を指示していないと判断された場合（Ｓ１５０４：ＮＯ）、処理部１００は、作業単位終了を指示しているか否かを判断する（ステップＳ１５０７）。作業単位終了を指示していないと判断された場合（Ｓ１５０７：ＮＯ）、指示データは、収穫装置１における収穫、撮影動作の指示であるから、処理部１００は指示にしたがって走行台１１、アーム機構１２、カメラ１３等の各構成部の動作を制御し（ステップＳ１５０８）、処理をステップＳ１５０２へ戻す。ステップＳ１５０８の制御処理については後述する。

ステップＳ１５０７で作業単位終了を指示していると判断された場合（Ｓ１５０７：ＹＥＳ）、処理部１００は、モニタ出力画像データの取得を終了し（ステップＳ１５０９）、処理を終了する。

図３１及び図３２は、情報処理装置４における処理手順の一例を示すフローチャートである。情報処理装置４は、収穫装置１と通信接続を確立させると、以下の処理を繰り返し実行する。図３１及び図３２のフローチャートの処理手順の内、実施の形態１における収穫装置１による処理手順（図７－図１３）と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

情報処理装置４の処理部４００は、収穫装置１から逐次送信される画像データを受信し（ステップＳ３００１）、撮像に光量を補う処理が必要か否かを判断する（ステップＳ３００２）。光量を補う処理が必要でないと判断された場合（Ｓ３００２：ＮＯ）、処理部４００は、光量を補わずに撮像を指示する指示データを収穫装置１へ送信する（ステップＳ３００３）。処理部４００は、指示データに応じて撮像された画像データを受信し（ステップＳ３００４）、受信した画像データの画像に対し、日中の環境光の変動を吸収して一律に画素値に基づく判断を行なうための処理を実行する（ステップＳ３００５）。処理部４００は、処理をステップＳ３００８へ進める。

光量を補う処理が必要と判断された場合（Ｓ３００２：ＹＥＳ）、処理部４００は、光量を補う処理と共に撮像を指示する指示データを収穫装置１へ送信する（ステップＳ３００６）。処理部４００は、指示データに応じて撮像された画像データを受信し（ステップＳ３００７）、処理をステップＳ３００８へ進める。

処理部４００は、実部分の検出処理を実行する（ステップＳ３００８）。ステップＳ３００８における実部分の検出処理は、図８のフローチャートに示したステップＳ６０３の処理と同様であり、ここでは詳細な説明を省略する。

処理部４００は、画像内で検出された実部分の画像内における位置及び範囲のデータを、各実部分を識別するデータに対応付けて一時的に記憶する（ステップＳ３００９）。ステップＳ３００９において処理部４００は、房として実部分を検出できた場合、いずれの房に属する実であるかを判別できるように、識別データを対応付けて記憶するとよい。

処理部４００は、実部分それぞれについて、対応する範囲の画素値（ＲＧＢ成分）に基づいて熟度を判定する（ステップＳ３０１０）。処理部４００は、判定した熟度のデータを各実部分の識別データに対応付けて記憶する（ステップＳ３０１１）。処理部４００は、実部分の熟度のデータ及び画像データを、画像データが撮影された際の収穫装置１の走行位置及び高さを示す位置データと対応付けて記憶する（ステップ３０１２）。処理部４００は、撮影された日時のデータも対応付けて記憶するとよい。

処理部４００は、実部分それぞれについての熟度の判定結果に基づいて、カメラ１３の撮像範囲内に収穫すべき対象が存在するか否かを判断する（ステップＳ３０１３）。

収穫すべき対象が存在しないと判断された場合（Ｓ３０１３：ＮＯ）、処理部４００は、高さ変更を指示する指示データを収穫装置１へ送信し（ステップＳ３０１９）、処理を後述のステップＳ３０２０へ進める。

収穫すべき対象が存在すると判断された場合（Ｓ３０１３：ＹＥＳ）、処理部４００は、認識された実部分それぞれについて画像における位置と、アーム機構１２の原点に基づく座標との対応付け処理を実行する（ステップ３０１４）。

ステップＳ３０１４において処理部４００は、図９のフローチャートに示した処理手順と同様の処理を実行する。処理部４００は、ステレオビジョンを使用する場合、収穫装置１へ２台のカメラ１３，１４又はカメラ１４を動かして撮像させる指示データを送信し、撮像された画像データを受信し、画像から距離を算出する。処理部４００は、ステレオビジョンを使用しないと判断される場合、収穫装置１にＴＯＦカメラ１５があるケースではＴＯＦカメラ１５による距離の測定を指示して距離データを受信する。ＴＯＦカメラ１５がないケースでは、他の距離センサを用いた距離の測定を指示して距離データを受信する。

ステップＳ３０１４において処理部４００は、算出又は取得した距離に基づいてアーム機構１２及びハンド１２１の原点に基づく座標を、画像における座標に対応付け、画像における色又は輝度の成分ごとの画素値を取得する。

処理部４００は、ステップＳ３０１４で対応付けた実部分の画像内での位置とアーム機構１２の座標とに基づいて、収穫可否及び収穫動作を決定する処理を実行する（ステップＳ３０１５）。ステップＳ３０１５において処理部４００は、図１０、又は図１６のフローチャートに示した収穫装置１にて実行されていた処理手順を実行する。

処理部４００は、ステップＳ３０１５にて収穫可と決定されたか否かを判断する（ステップＳ３０１６）。収穫可と決定されたと判断された場合（Ｓ３０１６：ＹＥＳ）、処理部４００は、ステップＳ３０１５で決定された収穫動作で収穫対象に対する収穫を指示する指示データを収穫装置１へ送信する（ステップＳ３０１７）。

収穫を指示する指示データには、アーム機構１２及びハンド１２１の移動ルート、収穫姿勢を示すデータが含まれる。収穫を指示する指示データを受信した収穫装置１は、処理部１００が、図１１又は図１７のフローチャートに示した処理手順を実行する。詳細データが必要であると判断された場合に収穫装置１の処理部１００は、測定した距離等を情報処理装置４へ送信し、アーム機構１２の位置及び姿勢を再決定した指示を受信して、動作を実行する。

処理部４００は、収穫装置１から動作完了のフィードバックを受信し（ステップＳ３０１８）、高さ変更の指示データを収穫装置１へ送信する（ステップＳ３０１９）。高さ変更の指示に応じたフィードバックによって処理部４００は、作業単位終了であるか否かを判断する（ステップ３０２０）。ステップＳ３０２０において処理部４００は、作業単位において１畝目及び２畝目への収穫が完了したか否かを判断する。処理部４００は、収穫装置１が動作する畑のマップと、フィードバックされる位置データとに基づき、１畝目が完了したか否か、２畝目が完了したか否かを判断できる。

ステップＳ３０２０において作業単位終了でないと判断された場合（Ｓ３０２０：ＮＯ）、処理部４００は処理をステップＳ３００１へ戻し、高さ変更後の画像を取得して処理を続行する。

ステップＳ３０２０において作業単位終了であると判断された場合（Ｓ３０２０：ＹＥＳ）、処理部４００は、作業単位終了の指示データを収穫装置１へ送信し（ステップＳ３０２１）、１つの作業単位における処理を終了する。

ステップＳ３０１６で収穫可と決定されていないと判断された場合（Ｓ３０１６：ＮＯ）、処理をステップＳ３０１９へ進める。

このようにして、通信接続した収穫装置１と情報処理装置４とで協働して収穫を実行できる。主に演算負荷が重い画像処理については情報処理装置４にて実行することにより、収穫装置１の演算資源をコンパクト化して軽量化を図ることも可能である。通信が速く安定した環境で実施ができる場合には、収穫装置１と情報処理装置４との協働によって収穫を実行することで効率化が期待できる。情報処理装置４にて画像処理を実行することにより、画像処理のアルゴリズムを更新した場合に、収穫装置１それぞれにて更新せずとも、情報処理装置４で更新することで各収穫装置１における動作を最適化することができる。

収穫装置１と情報処理装置４とで協働して収穫を実行する場合、情報処理装置４の処理部４００は、表示部４０３に、収穫装置１の位置、高さを示す画面と、最新に撮像された画像とを表示してもよい。これにより、情報処理装置４の管理者は、収穫装置１による収穫処理をモニタリングすることができる。

また、画像データを収穫装置１から受信する都度、情報処理装置４は記憶部４０１に記憶する（Ｓ３０１３）。画像データには、画像が撮像された位置の位置データ、高さのデータが対応付けて記憶され、各実部分の熟度の判定結果も記憶される。撮影された日時のデータも対応付けて記憶されてもよい。情報処理装置４は、ミニトマトの画像データと、画像に写っている実部分の熟度、撮影された畑内での位置、高さ、を対応付けて蓄積することができる。これにより情報処理装置４は、ミニトマトの畑における成長度合いの二次元又は三次元マップを作成することができる。

図３３は、情報処理装置４における成長度合いのマップの表示例を示す図である。図３３では、ミニトマトが植えられた畑を上方から見たマップに、各位置のミニトマトの熟度を示す濃淡が付されたマーク（矩形）４０３１が示されている。情報処理装置４は表示部４０３に、操作に応じて図３３に示すようなマップを表示させることが可能である。マーク４０３１は夫々、表示部４０３上で操作部４０４によって選択が可能であってもよい。選択が可能である場合、マーク４０３１が操作部４０４によって選択された場合、マーク４０３１に対応するミニトマトの実部分を撮影した画像データが表示部４０３に表示されてもよい。

このようなマップを情報処理装置４にて作成できるので、情報処理装置４を管理する管理者は、現在、未だ小さく青く、熟度が収穫するという判断に至らない実部分も含め、１週間先、２週間先、…１ヶ月先の収穫量の目途を立てることも可能になる。画像データをそのまま蓄積しておくことにより、花が咲いている状態の株、房についても把握が可能である。画像データを、位置データと対応付けて記憶することにより、遠隔からも、株や畑内の範囲毎に、病気、害虫の存在を把握することも可能である。また、熟度の履歴を収穫期間に亘って集積することにより、畑の環境の改良点などの抽出に役立てることも可能である。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１ 収穫装置
１０ 制御部
１００ 処理部
１２ アーム機構
１２１ ハンド
１３，１４ カメラ
１５ ＴＯＦカメラ
２ 情報端末装置
２０３ 表示部
４ 情報処理装置
４００ 処理部
４０１ 記憶部
４０３ 表示部

Claims (18)

1. マニピュレータ及びエンドエフェクタ、並びにカメラを備え、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定し、前記果物又は野菜を収穫する収穫装置において、
   前記マニピュレータ及びエンドエフェクタ、並びにカメラを制御する制御部を備え、
   該制御部は、
   前記カメラによる撮像に光量を補う必要があるか否かを判断し、
   光量を補う必要がないと判断される場合に、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、
   前記画像処理後の撮像情報を用い、前記撮像情報の前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、
   熟度が所定の度数以上であると判定された果物又は野菜に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記果物又は野菜に対する認識結果に基づいて決定する
   収穫装置。
2. 前記制御部は、
   光量を補う必要があると判断される場合、光量を補う処理を行ない、前記画像処理を省略する
   請求項１に記載の収穫装置。
3. 前記カメラには照明が設けられており、
   前記制御部は、光量を補う必要があると判断される場合、前記照明を点灯させて前記カメラから得られる撮像情報に基づき前記果物又は野菜を認識し、熟度を判定する
   請求項１又は２に記載の収穫装置。
4. 日中運転及び夜間運転の選択を受け付ける操作部を設け、
   前記制御部は、前記操作部によって受け付けた内容に基づいて日中運転及び夜間運転のいずれかを設定し、
   日中運転を設定した場合、前記変動吸収処理を含む画像処理を実行し、
   夜間運転を設定した場合、前記画像処理を実行しない
   請求項１に記載の収穫装置。
5. 日中運転及び夜間運転の選択を受け付ける操作部を設け、
   前記制御部は、前記操作部によって受け付けた内容に基づいて日中運転及び夜間運転のいずれかを設定し、
   夜間運転を設定した場合、光量を補う必要があると判断する
   請求項１から請求項３のいずれか１項に記載の収穫装置。
6. タイマーを備え、
   前記制御部は、
   日中運転又は夜間運転の開始及び終了時刻を記憶しておき、
   運転中の時刻に応じて日中運転及び夜間運転のいずれかを設定する
   請求項４又は５に記載の収穫装置。
7. 照度センサを備え、
   前記制御部は、
   前記照度センサで測定した照度に応じて、日中運転及び夜間運転のいずれかを設定する
   請求項４又は５に記載の収穫装置。
8. 前記カメラで撮像した画像内に、特定の対象物を認識できるか否かによって光量を補う必要があるか否かを判断し、
   光量を補う必要があると判断される場合、設けられる照明を点灯させるか、前記カメラの露光時間を延長するか、又は、前記カメラの絞りを調整する処理を実行する
   請求項１又は２に記載の収穫装置。
9. 前記制御部は、
   前記カメラによる１回の撮像によって得られた１つの撮像情報から、写っている複数の果物又は野菜の、実又は株を続けて収穫するための移動ルート及び収穫姿勢を決定する
   請求項１から請求項８のいずれか１項に記載の収穫装置。
10. 前記制御部は、
    房状に実がなる果物又は野菜に対し、同一の房内の実を連続して収穫するように移動ルート及び収穫姿勢を決定する
    請求項９に記載の収穫装置。
11. 前記制御部は、
    房状に実がなる果物又は野菜に対し、異なる房又は株から１つずつ連続して収穫するように移動ルート及び収穫姿勢を決定する
    請求項９に記載の収穫装置。
12. 前記制御部は、前記マニピュレータ及びエンドエフェクタの移動範囲の設定を受け付ける
    請求項１から請求項１１のいずれか１項に記載の収穫装置。
13. 前記制御部は、
    収穫可否の判定の基準となる熟度の設定を受け付ける
    請求項１から請求項１２のいずれか１項に記載の収穫装置。
14. 前記カメラは、２つのカメラで構成されており、
    １台のカメラは、マニピュレータに固定されて前記マニピュレータと共に上下に移動し、１台のカメラは、エンドエフェクタに固定されて収穫対象に向けられている
    請求項１から請求項１３のいずれか１項に記載の収穫装置。
15. 前記制御部は、
    前記マニピュレータに固定されたカメラから得られる撮像情報に基づき対象の果物又は野菜に対して前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を決定した後、前記撮像情報に基づき、前記対象の果物又は野菜に対する異なるデータの要否を判断し、
    異なるデータが必要であると判断された場合、前記エンドエフェクタに固定されたカメラから得られる撮像情報に基づいて前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を再決定する
    請求項１４に記載の収穫装置。
16. マニピュレータ及びエンドエフェクタ、並びにカメラを備え、果物又は野菜を前記カメラで撮像して得られる撮像情報に基づいて前記マニピュレータ及びエンドエフェクタを制御して果物又は野菜を収穫する収穫装置と、該収穫装置と通信接続し、前記撮像情報に対する処理を実行する情報処理装置とを含み、
    前記収穫装置は、前記カメラで撮像して得られる撮像情報を前記情報処理装置へ送信し、
    前記情報処理装置は、
    前記カメラによる撮像に光量を補う必要があるか否かを判断し、
    光量を補う必要がないと判断される場合に、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、
    前記画像処理後の撮像情報を用い、前記撮像情報の前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、
    熟度が所定の度数以上であると判定された果物又は野菜に対する前記収穫装置のマニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記果物又は野菜に対する認識結果に基づいて決定し、
    決定した移動ルート及び収穫姿勢を含む指示データを前記収穫装置へ送信し、
    前記収穫装置は、前記指示データに基づいて前記果物又は野菜の収穫動作を実行する
    収穫システム。
17. マニピュレータ及びエンドエフェクタ、並びにカメラを備える収穫装置によって、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定し、前記果物又は野菜を収穫する収穫方法において、
    前記カメラによる撮像に光量を補う必要があるか否かを判断し、
    光量を補う必要がないと判断される場合に、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、
    前記画像処理後の撮像情報を用い、写っている前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、
    熟度が所定の度数以上であると判定された果物又は野菜の実に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記実に対する認識結果に基づいて決定する
    処理を含む収穫方法。
18. マニピュレータ及びエンドエフェクタ、並びにカメラと接続されるコンピュータに、果物又は野菜を前記カメラで撮像して得られる撮像情報から前記果物又は野菜を認識し、認識結果に基づいて前記マニピュレータ及びエンドエフェクタの動作を決定させるコンピュータプログラムにおいて、
    前記コンピュータに、
    前記カメラによる撮像に光量を補う必要があるか否かを判断し、
    光量を補う必要がないと判断される場合に、前記カメラから得られる撮像情報に対して制御外の光源からの光の変動を吸収する変動吸収処理を含む画像処理を実行し、
    前記画像処理後の撮像情報を用い、写っている前記果物又は野菜の範囲の画素値に基づいて前記果物又は野菜の熟度を判定し、
    熟度が所定の度数以上であると判定された果物又は野菜の実に対する前記マニピュレータ及びエンドエフェクタの移動ルート及び収穫姿勢を、前記実に対する認識結果に基づいて決定する
    処理を実行させるコンピュータプログラム。

Images