JP5119392B2

JP5119392B2 - 果実収穫ロボットとイチゴ栽培施設

Info

Publication number: JP5119392B2
Application number: JP2007045730A
Authority: JP
Inventors: 螢一郎木下; 実松岡; 義典土居; 淳山下; 誠一有馬
Original assignee: Iseki and Co Ltd; Ehime University NUC
Current assignee: Iseki and Co Ltd; Ehime University NUC
Priority date: 2007-02-26
Filing date: 2007-02-26
Publication date: 2013-01-16
Anticipated expiration: 2027-02-26
Also published as: JP2008206438A

Description

この発明は、高設栽培用果実収穫ロボットに関し、作業者の作業容易な高さ位置に栽培ベッドを配置した高設栽培施設において、果実類の管理及び収穫作業を行う果実収穫ロボットの分野に属する。

従来では、果実類を作業者の作業容易な高さ位置の土耕又は水耕栽培による栽培ベッドにより栽培を行い、これらの果実類の管理及び収穫作業は全て人手により処理を行っているものが一般的であった。
しかし、これら工場生産的な手法により栽培を行うものにおいては、近年、農村における人手不足や人件費の高騰等のため管理及び収穫作業の自動化が要望されるようになってきた。

そこで、特許文献１記載の発明のように果実類の管理と収穫作業を行うロボットの研究開発が行われている。
特開２００１−１４５４１２号公報

上記特許文献１記載の発明は高設栽培施設における栽培ベッドに備えたロボットであり、栽培ベッド架台の下方の内部空間に設けられたレールに沿って作業ロボットを移動させる構成であり、栽培ベッドの移動の自由度が小さく、しかも高設栽培設備の縦方向に設けられた支柱があるので、該支柱を避けて栽培ベッドの間を移動させる必要がある。

本発明の課題は画像処理技術を利用して、傷つけることなく高設栽培施設においても目標の果実を収穫できる果実収穫ロボットを提供することである。

請求項１記載の発明は、果実群に向かって左右に並列配置された、果実を収穫する一対のマニピュレータ（Ｒ、Ｒ）と、果実群の下方から果実の画像を撮影する第一撮像装置（１３）と、果実の正面から果実の画像を撮影する第二撮像装置（１４）と、第一撮像装置（１３）が得た果実の第一画像と第二撮像装置（１４）が得た果実の第二画像から画像を合成する画像合成装置を有する制御装置（３０）とを備え、制御装置（３０）は、さらに、第一撮像装置（１３）で得た第一画像から果実の下面の着色状態を判別する第一判別装置と、第二撮像装置（１４）で得た第二画像から果実の正面の着色状態を判別する第二判別装置と、前記第一、第二判別装置が得た着色状態から果実全体の着色率を推定し、得られた果実の着色率に基づき収穫する果実か否かを判断する果実収穫判断装置と、果実収穫判断装置で収穫すべき果実であると判断された果実の三次元座標位置を算出する収穫果実の三次元座標位置算出装置と、収穫果実の三次元座標位置算出装置により算出した三次元座標位置近傍にマニピュレータ（Ｒ）を作動させるマニピュレータ作動制御装置と、前記画像合成装置で作成された合成画像を中央の分割位置で左右二分割する合成画像二分割装置と、
該合成画像二分割装置で得られた左右の各分割画像内の収穫する果実の数を、それぞれ対応する左右一対のマニピュレータ（Ｒ、Ｒ）の各々の収穫数とし、合成画像内の全体の果実の数が偶数で、かつ左右一対のマニピュレータ（Ｒ、Ｒ）にそれぞれ割り当てた各々の収穫数が異なる場合には、左右一対のマニピュレータ（Ｒ、Ｒ）の収穫数の差が０になるよう合成画像の分割位置を修正し、合成画像内の全体の果実の数が奇数の場合には、左右一対のマニピュレータ（Ｒ、Ｒ）の収穫数の差が１になるよう合成画像の分割位置を修正する二分割位置修正装置と、該二分割位置修正装置の修正結果に従ってマニピュレータ（Ｒ）を作動させるマニピュレータ作動制御装置とを備えたことを特徴とする果実収穫ロボットである。

請求項２記載の発明は、果実を収穫する左右一対のマニピュレータ（Ｒ、Ｒ）は、各々独立して移動自在な構成からなることを特徴とする請求項１記載の果実収穫ロボットである。

請求項１記載の発明によれば、果実群の下方からの画像と果実群の正面からの画像を合成して果実の三次元位置を割り出すことによって、複数の果実が正面視で重なっている場合でも奥側の果実の位置を認識することができるので、目標の果実を収穫する際にマニピュレータ（Ｒ）がロボットから見て奥側の果実にぶつかったり、奥側の果実を切断する等して傷つけてしまうことが防止され、適切な果実の収穫を行うことができる。また、奥側の果実の位置を認識しているので、ロボットから見て手前側の果実を収穫した後、再検出を行うことなく奥側の果実の収穫作業を行うことができる。
また、請求項１記載の発明によれば、果実の着色率を検出し、収穫に適した果実か否かを判断することによって、未熟な果実を収穫してしまうことが防止されるので、適切な果実の収穫を行うことができる。

さらに、請求項１記載の発明によれば、左右の各分割画像内の収穫する果実の数の差を０もしくは１とすることによって、左右マニピュレータ（Ｒ、Ｒ）が略同一の能率で作業を行うことができるので、果実の収穫作業能率が向上する。

請求項２記載の発明によれば、請求項１記載の発明の効果に加えて、果実群に向かって左右マニピュレータ（Ｒ、Ｒ）を各々独立して移動自在に設けることによって、収穫する果実の高さや左右位置等が異なる場合でも左右独立して収穫作業を行うことができるので、収穫作業能率が向上する。

以下に、本発明の実施例の果実類の収穫を行う果実収穫ロボットとしてイチゴ収穫ロボットについて図面と共に説明する。
本実施例の収穫ロボットは図１の斜視図に示す構成からなり、該収穫ロボットは、土耕栽培又は水耕栽培によるイチゴ等果実類の結実時にその両端側から垂れ下がるよう栽培する一定の厚みと幅を有するイチゴ栽培設備の、横長の栽培ベッド１の下部空間に進出と後退が自在な台車２を含む構成である。

本収穫ロボットは、台車２の上に設けた一対の支柱３、３の頂部にそれぞれ平行リンク５、５を回動自在に設け、各平行リンク５の先端部に作業アーム６を回動自在に連結し、さらに該作業アーム６の先端部に作業ハンド７を回動自在に連結している。鉛直方向を向いた支柱３の基部は台車２に設けられた第１電動モータＭ１により支柱全体を鉛直軸回りに水平方向に回動可能し、また平行リンク５の基部側は支柱３の頂部に設けられた第２電動モータＭ２により鉛直方向に揺動可能であり、さらに作業アーム６の基部は平行リンク５の先端に設けられた第３電動モータＭ３により水平方向に回動可能である。

本実施例の収穫ロボットは上記支柱３、平行リンク５、作業アーム６、作業ハンド７及び第１電動モータＭ１〜第３電動モータＭ３からなる作業マニピュレータＲ、Ｒを左右一対に設けた構成であり、同時に２つのイチゴ果実を収穫できる構成である。
なお、本発明の収穫ロボットは、支柱３、平行リンク５、作業アーム６、作業ハンド７及び第１電動モータＭ１〜第３電動モータＭ３の各一組だけからなる単一の作業マニピュレータＲを用いる構成でも良い。

また、本実施例の収穫ロボットには前記作業マニピュレータＲで摘み取ったイチゴを載せる収納棚９を、栽培ベッド１の下方に移動可能な一対の収納棚移送ハンド１０が台車２に設けられている。該収納棚移送ハンド１０は台車２に支持された鉛直方向を向いた支持部１２の先端に基部が連結され、該支持部１２の頂部に設けられた第４電動モータＭ４により鉛直方向に揺動可能な第１ハンド１０ａと該第１ハンド１０ａの先端に基部が連結され、該第１ハンド１０ａに設けられた第５電動モータＭ５により鉛直方向に揺動可能な第２ハンド１０ｂからなる。収納棚９は一対の第２ハンド１０ｂの先端で挟持されており、収納棚９のイチゴ載置面は常時水平方向を向くように第２ハンド１０ｂで支持されている（図１４参照）。
さらに、上記収穫ロボットの台車２上には下方からイチゴの果実を撮影できる第１カメラ１３と側方（イチゴ栽培設備正面）からイチゴの果実を撮影できる第２カメラ１４を備えている。

なお、図２（ａ）のロボットの一部側面図と図２（ｂ）、図２（ｃ）のロボットの一部平面図に示すように、作業ハンド７は果柄切断用の一対のカッター７ａと果柄把持用の一対のフィンガー７ｂが上下段に配置され、電磁弁７ｃ（７ｃ１、７ｃ２）で作動される構成からなる。図２（ｂ）は果柄把持時のカッター７ａとフィンガー７ｂの作動状態を示すカッター７ａとフィンガー７ｂの各平面図であり、図２（ｃ）は果柄切断時のカッター７ａとフィンガー７ｂの作動状態を示すカッター７ａとフィンガー７ｂの各平面図である。

作業ハンド７の一対のカッター７ａと一対のフィンガー７ｂはそれぞれ共通する支持ピン７ｄで支持された回動支点を中心に開閉され、また支持ピン７ｄは作業アーム６の先端部に取り付けられている。カッター７ａとフィンガー７ｂにはそれぞれフック７ｅ、７ｆが取り付けられており、それらのフック７ｅ、７ｆは作業アーム６に設けられたフック６ａ、６ｂとの間で引っ張りスプリング７ｇ、７ｈにより各一対のカッター７ａとフィンガー７ｂの先端部が開く方向に付勢されている。また一対のカッター７ａと一対のフィンガー７ｂの基部にはそれぞれ電磁弁７ｃ１、７ｃ２が設けられおり、前記電磁弁７ｃ１、７ｃ２が作動すると一対のカッター７ａ又は一対のフィンガー７ｂがそれぞれ閉じる方向に作動する。

また、図３の概念図に示すように、本実施例のロボットの作業マニピュレータＲの作業ハンド７を除く支柱３、リンク５、アーム６及びハンド１０ａ、１０ｂの基部に設けた電動モータＭ１〜Ｍ５にはポテンショメータ１６がそれぞれ取り付けられ、電動モータＭ１〜Ｍ５の回転軸１７には減速ギア１８と軸受１９を介して前記支柱３、リンク５、アーム６又はハンド１０ａ、１０ｂが取り付けられている。

次に、本実施例のロボットの作業手順についてフローチャートなどを用いながら説明する。
（単一の作業マニピュレータＲを使用する場合）
図７（ａ）には単一の作業マニピュレータＲを用いてイチゴの収穫をする場合のフローチャートを示す。図７（ａ）のフローで、先ずイチゴ栽培ベッド１の作業棚の終端にロボットがいないことを近接センサ又は接触センサ１５等で確認すると、単一の作業マニピュレータＲを用いて収穫対象であるイチゴの収穫対象認識ルーチンの各行程での動作を行い、次いで認識したイチゴに作業マニピュレータＲを移動する収穫マニピュレータ移動ルーチン及び収穫ルーチンの各行程の作業を行って、果実の収穫を行う。

前記「イチゴ作業棚の終端」はイチゴ栽培ベッド１の作業棚の始端から終端までの距離（Ｌ）を図４（ａ）に示す制御装置（ＣＰＵ）３０に入力しておき、ロボットの台車２の機体前側及び後側の左右両端部に設ける近接センサ又は接触センサ１５で、マニピュレータＲがイチゴ作業棚の終端に達したことを検知したら（ＣＰＵ３０に入力された距離（Ｌ）から検知することもできる）、作業マニピュレータＲの収穫対象認識作業を停止する。

まず、収穫対象認識ルーチンについて図８に示す連結処理（第１カメラ１３と第２カメラ１４で撮影した画像を合成し、収穫対象のイチゴの走査を行いやすくするための処理）の画像説明図と図９、図１０に示すフローチャートにより説明する。
図８（ａ）に示すイチゴの下方から第１カメラ１３で撮影したＸＺ平面のカラー画像を得るために、３つのイチゴからなる各収穫対象のＸＺ座標面の位置データ（ｘ１，ｚ１）〜（ｘ３，ｚ３）を得る。

また、前記イチゴを下方から第１カメラ１３で撮影したカラー画像をＸＺ平面上で１８１８０°反転して、図８（ｂ）に示すイチゴの下方から第１カメラ１３で撮影したカラー画像のＸＺ座標面の位置データ（ｘ１，ｚ１）〜（ｘ３，ｚ３）を得て、次いで図８（ｃ）に示すイチゴの側方から撮影する第２カメラ１４から前記３つのイチゴのＸＹ座標面の位置データ（ｘ１，ｙ１）〜（ｘ３，ｙ３）を得る。
これらのデータを基に図８（ｄ）に示す、上記３つのイチゴの三次元座標位置データ（ｘ１，ｙ１，ｚ１）〜（ｘ３，ｙ３，ｚ３）を得る。

前記した１８０°反転した画像を使用する理由は、イチゴ果実前方からのみのカラー画像では果実同士が部分的にでも重なっている場合があり、１個のイチゴの境界がわからないからである。そこで、イチゴの下方からのＸＺ平面の画像を１８０°反転したＸＺ平面の画像と前方からのＸＹ平面の画像を組み合わせ、果実が前方視で重なった場合でも果実の三次元位置（色・形）を知ることができ、その情報に従ってマニピュレータの位置制御を行うことができる。

上記カメラ１３，１４で得られたイチゴの画像のＸＺ平面上又はＸＹ平面上の投影面積からイチゴの体積と重量などのデータも得ることができる。
上記連結処理の次ぎに収穫対象のイチゴの番号付け（ナンバリング、ラベリングとも言う）を行う。その後、「同一画像内の全収穫対象」を走査する。

次いで収穫対象Ｉ（Ｉ：ラベリング処理された収穫対象の番号）の色分析を行い、収穫対象Ｉの色がＲ（赤）とＷ（白）部分の画素数を表１に示すＸＺテーブルにそれぞれ記録し、次いで果実の外側端の検出のために前記収穫対象の周囲を余分に走査する。収穫対象Ｉの周囲にＲ（赤）とＷ（白）部分があれば、再度その領域のＲ（赤）とＷ（白）部分の画素数をＸＺテーブルにそれぞれ記録する。また前記収穫対象の周囲を走査して、そこにＲ（赤）とＷ（白）部分がなければ、収穫対象のＸＺ座標の平均値から収穫対象のＸ中心座標、Ｚ中心座標を算出し、得られた中心座標をＸＺテーブルに記録して、収穫対象Ｉの記録付けを終了する。
なお、表１及びそれに続く各表はイメージであり、実際の値は載せていない。

次いで収穫対象Ｉ＋１の走査を前記収穫対象Ｉと同様に行う。こうしてＸＺテーブルに記録された収穫対象の総数Ｎに達するまで色分析を繰り返す。以上の各行程を図９に示すフローチャートに示す。
次いで、ＸＹ平面についても図１０のフローチャートに示すように、図９に示すフローチャートと同様に第１カメラ１３と第２カメラ１４で収穫対象Ｉのイチゴの画像を撮影して画像処理を行う。ただし図１０のフローチャートで図９のフローチャートとの相違点は収穫対象Ｉのイチゴについて水平面（ＸＺ座標面）方向にある中心座標はＸ軸の中心座標のみでよく、以下に説明する果柄（果実の付いた枝）の位置を特定するために画像のＹ軸方向のＹ値の最高値Ｙｍａｘを記憶して、収穫対象のＲ（赤）とＷ（白）部分の画素数と収穫対象のＸ軸座標の平均値から収穫対象のＸ軸上の中心座標を算出し、該Ｘ中心座標と前記Ｙ値の最高値Ｙｍａｘを表２に示すＸＹテーブルに記録する。

次いで図８（ｄ）に示すように撮影した収穫対象の各イチゴのＸＺテーブルとＸＹテーブルを合成してデータ（ｘ１，ｙ１，ｚ１）〜（ｘ３，ｙ３，ｚ３）などを得て表３に示すＸＹＺテーブルを作成し、次のように各イチゴの三次元位置（色・形）を知り、マニピュレータの位置制御用データとする。

その後、収穫対象Ｉについて鉛直方向にあるＹ軸座標軸上の最高値Ｙｍａｘより鉛直上方に所定値ｋｍｍだけ加算した高さ（Ｙ＝Ｙｍａｘ＋ｋ）を果柄切断位置とする。なお、定数ｋはイチゴの場合は約２〜３ｍｍの値である。これを収穫対象の総数Ｎ個分繰り返して行う。

次に各収穫対象Ｉの着色率を計算する。ＸＹＺテーブルに記録された各収穫対象Ｉの赤（Ｒ）画素数と白（Ｗ）画素数から次式により着色率を算出する。
着色率（Ｒｖ）＝（赤（Ｒ）／白（Ｗ））×１００

表４に示すように着色率（Ｒｖ）が８０％以上であればとＸＹＺテーブルに「収穫（○）」と記録し、着色率（Ｒｖ）が８０％未満であればＸＹＺテーブルに「収穫（×）」と記録する。なお、着色率計算行程に、果実のサイズ分け行程（図２０）を加えてもよい。この行程を収穫対象の総数Ｎについて行う。
なお、上記例では着色率を赤色と白色の対比で検討したが、その他蜜柑、枇杷、桃、葡萄などの果実に応じて、橙色と緑色の対比、黄色と緑色の対比、桃色と緑色などの対比で着色率をみてもよい。

図１０のフローチャートに示す行程は図９に示すフローチャートに示す行程と同時並列処理で行うこともできる。

以上の単一のマニピュレータＲを用いてのイチゴの認識ルーチンが終了すると、次の収穫ルーチンの作業をマニピュレータＲの作業アーム６とその先端に設けられた作業ハンド７を用いて収穫を実行する。
まず、単一のマニピュレータＲを用いての移動では、まず水平方向（ＸＺ軸座標平面）の回転角度調整を次のように行う。図１１に示す同一のＸＺ軸座標平面上にある第１モータＭ１と第３モータＭ３（図１参照）を作動させるために、平行リンク５をＸＺ軸座標平面上で回転させるための第１モータＭ１と、作業アーム６をＸＺ軸座標平面上で回転させるための第３モータＭ３を用いて、作業ハンド７を有する作業アーム６の操作及び、図１２に示す同一ＸＹ軸座標平面上にある第２モータＭ２を基部に備えた平行リンク５の操作を図１３に示すフローチャートの制御フローにより実行する。なお、ここで計算処理の簡略化のために作業アーム６は常にＸ座標軸に平行な向きに長手方向があるとしてＸ座標位置はゼロとして扱う。

図１１に示す同一のＸＺ軸座標平面上にある第１モータＭ１によりＸＺ軸座標平面上で回転させる平行リンク５のＸ軸となす回転角度θ１が目標回転角度θ１ｄより大きければモータＭ１を矢印Ａ方向に回転（右回転）させて平行リンク５を矢印Ａ方向に回動させる。また、前記回転角度θ１が目標回転角度θ１ｄより小さければモータＭ１を矢印Ａ方向の反対方向に回転（左回転）させて平行リンク５を矢印Ａ方向の反対方向に回動させる。こうして平行リンク５のＸ軸となす回転角度θ１を目標回転角度θ１ｄと一致させて第１モータＭ１の作動を停止させる。なお、前記目標回転角度θ１ｄは平行リンク５の基部と収穫対象ＩのＸ座標の予め決められた設定回転角度（基準となる回転角度が無いと図１３のフローでの計算処理が行えないため）から算出する。

平行リンク５に対する作業アーム６の回転角度θ２はその目標回転角度θ２ｄよりも大きければ、第３モータＭ３を矢印Ｂ方向に回転させて作業アーム６を矢印Ｂ方向（図の右方向）に回動させる。また、前記回転角度θ２が目標回転角度θ２ｄより小さければモータＭ３を矢印Ｂ方向の反対方向に回転させて作業アーム６を矢印Ｂ方向の反対方向（図の左方向）に回動させる。こうして平行リンク５に対する作業アーム６の回転角度θ２を目標回転角度θ２ｄと一致させて第３モータＭ３の作動を停止させる。

なお、前記目標回転角度θ２ｄは作業アーム６と収穫対象ＩとのＸ軸に対する予め決められた設定回転角度から算出する。
なお、前記目標回転角度θ２は、作業終了後の回転角度＋δ（例えばδ＝３０°）として、その初期値は次式の通りの数値を用いる。これは基準となる数値が無いと図１３のフローでの計算処理が行えないためである。

θ２＝０°＋δ（例えばδ＝３０°）
ここで、図１１から作業アーム６の先端部（作業ハンド７：作業ハンド７の長さを無視する）のＸＺ座標上の位置（Ｘ１，Ｚ１）と回転角度θ１と回転角度θ２は次の通りである。

Ｘ１＝Ｌ１ｃｏｓθ１＋Ｌ３ｃｏｓδ
Ｚ１＝Ｌ１ｓｉｎθ１＋Ｌ３ｓｉｎδ
θ１＝ｃｏｓ^-1｛（Ｘ１−Ｌ３ｃｏｓδ）／Ｌ１｝
θ２＝１８０°−（θ１＋δ）
ここで、
Ｌｘ＝Ｌ１ｓｉｎθ１
であり、Ｌ１は平行リンク５の長さ、Ｌ３は作業アーム６の長さである。

なお、図７（ｂ）のフローチャートに従って作動する左右一対のマニピュレータＲ、Ｒを用いる場合には、上記第１モータＭ１と第３モータＭ３の動作は左マニピュレータＲのものであり、右マニピュレータＲの第１モータＭ１、第３モータＭ３は左マニピュレータＲとは逆方向に回転する。また、作業終了後の右マニピュレータＲの回転角度θ２’と初期位置での回転角度θ２”はそれぞれ次の通りとする。

θ２’＝作業終了後の回転角度＋δ’（例えばδ’＝３３０°）
θ２”＝０°＋δ’（例えばδ’＝３３０°）
また、左右一対のマニピュレータＲ、Ｒを用いる場合には、上記第３モータＭ３の動作は左右２つのマニピュレータＲ、Ｒ共に同一方向に回転する。

次に鉛直方向の平面（ＸＹ座標軸平面）内での平行リンク５の鉛直方向の回転用の第２モータＭ２の鉛直方向の平面内での単一のマニピュレータＲを用いての移動では、まず鉛直方向の回転角度調整を次のように行う。
図１２に示す同一のＸＹ軸座標平面上にある第２モータＭ２を基部に備えた長さＬ１の平行リンク５のＹ軸となす回転角度θ３が目標回転角度θ３ｄより大きければモータＭ２を矢印Ａ方向（図の右方向）に回転させて平行リンク５を下方向に回動させる。また、前記回転角度θ３が目標回転角度θ３ｄより小さければモータＭ２を矢印Ａ方向の反対方向（図の左方向）に回転させて平行リンク５を上方向に回動させる。こうして平行リンク５のＹ軸となす回転角度θ３を目標回転角度θ３ｄと一致させて第２モータＭ２の作動を停止させる。

ここで、図１２から作業アーム６の先端部（作業ハンド７：作業ハンド７の長さを無視する）のＸＹ座標上の位置（Ｘ１，Ｙ１）と回転角度θ３は次の通りである。
Ｘ１＝Ｌ１ｃｏｓ（９０°−θ３）＋Ｌ３
Ｙ１＝−Ｌ１ｃｏｓθ３
θ３＝ｃｏｓ^-1（−Ｌ１）

次に、作業ハンド７で果柄を把持した後にロボットは、図１４に示す構成のリンク機構１０を備えた収納棚９を、退避していた位置から果柄の把持と切断をする作業ハンド７の直下まで迎えに行くように図１５に示すフローチャートに従って移動させて、イチゴを収納棚９に落とすときにイチゴを傷めないよう落下させる。

このとき、切断した果実をそのまま収納棚９にある多数のパックの内の一つに詰めることができるように、収納棚９の工夫をしても良い。果実を持ち帰る後でパック詰めをすると、何度も果実に触れるので痛みやすいが、果実を収納棚９に落とすときにパック詰めすることで、果実の痛みを無くし、また二度手間の作業が無くなる。

図１４に示すように、収納棚９のリンク機構は、ロボット台車２の上に設けられた基台１２に取り付けた一対の第４モータＭ４と該第４モータＭ４により鉛直方向（Ｙ軸方向）に回動する基台アーム１０ａ（回動長さＬ４）と該基台アーム１０ａの先端部にそれぞれ設けられ、収納棚９の対向する側壁に回動自在に設けた一対のリンク（又は一対の平行リンク）１０ｂ（リンク１０ｂの回動長さＬ５）と、該リンク１０ｂを鉛直方向に回動させるために基台アーム１０ａの先端部にそれぞれ設けられた第５モータＭ５から構成されている。

まず、収納棚９の複数のパックへのイチゴの詰め位置の算出を次のような手順で行う。作業ハンド７が果柄を把持した後に図１６に示す収納棚９の互いに直交するｓ方向とｔ方向に配列される複数のパックにイチゴを詰め込む空きがあるかどうかを見る。

作業を開始した直後とパックの交換時には、ｓ＝０、t＝０に設定されるためｓ＝０であればという理由でパックが空であると判断できるので、ｓ＝１、ｔ＝１としてイチゴを収容できる第１番目のパック空間とする。このｓ＝１、ｔ＝１の第１番目のパック空間の三次元座標位置を次のようにして算出する。

Ｘ＝Ｘ＋（ｓ−１）Ｐ＋α
Ｙ＝Ｙ＋β
Ｚ＝Ｚ＋（ｔ−１）Ｐ＋γ
ただし、ここでＸ、Ｙ、Ｚはイチゴの中心位置、Ｐは各パックのピッチ、α、β、γは基台アーム１０ａの基準位置（機台アーム１０ａの支持部１２）からパックの基準位置（ｓ＝０、ｔ＝０）までのずれを表す。

次に基台アーム１０ａのイチゴに向けてのアプローチの手順を図１７のサブルーチンのフローで説明する。
図１４に示す同一のＸＹ軸座標平面上にある第４モータＭ４を基部に備えた長さＬ４の基台アーム１０ａのＸ軸に沿った方向となす回転角度θ４が目標回転角度θ４ｄより大きければモータＭ４を左方向に回転させて基台アーム１０ａを下方向（矢印Ｃ方向）へ回動させる。また、前記回転角度θ４が目標回転角度θ４ｄより小さければモータＭ４を右方向に回転させて基台アーム１０ａを上方向（矢印Ｃ方向の反対方向）に回動させる。こうして基台アーム１０ａのＸ軸となす回転角度θ４を目標回転角度θ４ｄと一致させて第４モータＭ４の作動を停止させる。

次いで同一のＸＹ軸座標平面上にある長さＬ５のリンク１０ｂを回動させるために該リンク１０ｂの基部に取り付けた第５モータＭ５をリンク１０ｂのＸ軸に沿った方向となす回転角度θ５が目標回転角度θ５ｄより大きければモータＭ５を左方向（矢印Ｄ方向）へ回転させてリンク１０ｂを下方向に回動させる。また、前記回転角度θ５が目標回転角度θ５ｄより小さければモータＭ５を右方向（矢印Ｄ方向の反対方向）へ回転させてリンク１０ｂを上方向に回動させる。こうしてリンク１０ｂのＸ軸となす回転角度θ５を目標回転角度θ５ｄと一致させて第５モータＭ５の作動を停止させる。

このときＹ軸座標上の作業ハンド７（作業ハンド７の長さを無視する）の位置は次の通りである。
Ｙ１＝Ｌ４ｓｉｎθ４＋Ｌ５ｓｉｎθ５
なお、計算処理が可能となるようにするためにリンク１０ｂのＸ軸となす回転角度θ５は次のように設定しておく。

回転角度θ５＝作業終了後の回転角度＋γ（例えばγ＝２１０°）、
初期位置はθ５＝０°＋γ（例えばγ＝２１０°）
上記図１７のサブルーチンのフローが終了すると収納棚９がカットされる果実の真下に移動しているので、該果実の約３ｍｍ上の果柄の把持とカッティングを行い、収納棚９の所定のパック領域にイチゴを詰めた後、基台アーム１０ａを退避させて所定の初期位置に戻す。

次いで図１５のフローに戻り、次の収納棚９のｓ方向（図１６参照）に移動させて（ｓ＝ｓ＋１）させ、（ｓ＋１）列の空きパック領域内に順次イチゴを詰めて、収納場所のｓ方向の列の端部まで到達しているかどうかを判定（ｓ＞Ｎ）する。収納棚９のｓ方向端部まで到達していたら（ｓ＞Ｎである場合）、（ｓ＝１）に戻し、一列上のｔ方向に移動させて（ｔ＝ｔ＋１）、さらに収納棚９のｔ方向端部まで到達しているかどうかを判定（ｔ＞Ｍ）する。ｔ＞Ｍになると収納棚９の全パック領域がイチゴで満杯になっているためロボットを停止させ、人手により収納棚９を交換して、再び初期空き領域（ｓ＝０、ｔ＝０）からイチゴを詰める作業を繰り返す。
なお、前記Ｎは収納棚ｓ方向のパック領域総数であり、Ｍは収納棚ｔ方向のパック領域総数である。

上述のように本実施例のロボットは収納棚９で収穫する果実を迎えに行く方式のロボットであるので、収穫すると判断した果実の高さが低い順から収穫していく。このように果実の高さが低い順から収穫するので、収納棚９は果実の下方から果実に近接するため、収納棚９が果実を傷つけることが防止されるので、果実の品質が向上する。

このためには、ＸＹＺテーブルに記録された各果実のＹｍａｘ座標のうち、Ｙｍａｘ座標値が小さいものから収穫するように順番を並べ替えて（ソーティング）収納棚９を果実にアプローチさせる。このフローを図１８に示す。

次にイチゴの画像入力の際にイチゴの面積情報よりサイズの大きさ別（Ｌ、Ｍ、Ｓサイズ）を判別しておき、Ｌ、Ｍ、Ｓのサイズ別にパック詰めする方法を採用する場合のフローチャートを説明する。
図１９に示すイチゴのサイズ別に収納可能な収納棚９を備えたロボットを使用し、その収納手順は図９、図１０、図１３、図１５、図１７及び図１８とほぼ同一の手順で行うが、着色率の計算のステップにおいて、図１０の着色率フローに図２０に示すようなサイズ分け行程のフローチャートを加えて着色率と共にイチゴのサイズを順次決め、さらに図１５の果柄のカッティング行程（Ｓｔｅｐα）以降のフローに修正を加えて図２１、図２２に示すフローチャートに従って、イチゴの果柄のカッティングのステップにおいて時に果柄を把持したまま、図１６に示す収納棚９にサイズ別に詰める。

図２０に示すフローチャートにおける着色率の決め方は図１０のフローチャートと表４で既に説明したと同じ手順で行い、サイズはＬ，Ｍ，Ｓの３種類に分けて、Ｍサイズの最大値（Ｍ２）とＭサイズの最小値（Ｍ１）とを基準として、ＸＹＺテーブルにイチゴのサイズＡがＭ２より大きい（Ａ＞Ｍ２）とＬサイズとして記録し、Ｍ１より小さい（Ａ＜Ｍ１）とＳサイズとして記録し、Ｍ２とＭ１の間にある（Ｍ２≧Ａ≧Ｍ１）と、Ｍサイズとして表５に記録する。

また、図２１のフローチャートに示すように、サイズの分かった着色率とサイズの分かったイチゴの果柄を作業ハンド７のフィンガー７ｂで把持したまま、Ｌ，Ｍ，Ｓサイズ毎に収納棚９に区分けして収納するための準備をする。
イチゴがＳサイズであると収納棚９のパックがサイズＳである座標位置（Ｘ，Ｚ）を算出し、パックが空（Ｓ＝０）であると、サイズＳのｓ＝１、ｔ＝１に収納するように指示し、順次ｓがＮになるまでと、ｔがＭになるまでの座標位置を計算する。

Ｘ＝Ｘ＋（ｓ−１）Ｐ＋α、
Ｚ＝Ｚ＋（ｔ−１）Ｐ＋２ＭＰ＋γ
Ｘ，Ｚ：イチゴの中心位置、
ＭＰ：収穫棚のパックの前後方向のピッチ
α、γ：基台アーム１０ａの基準位置（機台アーム１０ａの支持部１２の位置）からパックの基準位置（ｓ＝０、ｔ＝０）までのずれ

イチゴがＭサイズ及びＬサイズである場合の、前記Ｓサイズの場合と同様に収納棚９のパックがサイズＭ及びＬサイズである座標位置（Ｘ，Ｚ）を算出し、パックが空（ｓ＝０）であると、サイズＳのｓ＝１、ｔ＝１に収納するように指示し、順次ｓがＮになるまでと、ｔがＭになるまでの座標位置を計算する。

また前記図２１に示すフローチャートでＳ、Ｍ及びＬサイズ毎のイチゴの収納棚９のパックの座標位置（Ｘ，Ｙ，Ｚ）が得られた後には、図２２に示すフローチャートに示す手順で各イチゴの果柄の把持を解除して、図２３に示すＬ，Ｍ及びＳサイズに区分けされた収納棚９に収納する。

すなわち、まず、最初のイチゴの収納場所の番号（ｓ）にイチゴの果柄の把持を解除して収納させた後、パックアームを初期設定位置に退避させ、次の収納場所の番号（ｓ＝ｓ＋１）に移動し、収納場所が左右方向の端部まで到達してるかどうかを判定（ｓ＞Ｎか、Ｎはｓの総数）、端でなければ前進し、端に到達すれば（ｓ＞Ｎ）、次の列（ｓ＝１、ｔ＝ｔ＋１）に移動し、収納場所が前後方向の端部まで到達してるかどうかを判定（ｔ＞Ｍか、Ｍはｔの総数）、端でなければ前進し、端に到達すれば（ｔ＞Ｍ）、収納棚９のパックが満杯になるためロボットを停止させて、人手により収納棚９を交換し、新しい収納棚９の端（ｓ＝０，ｔ＝０）から再度収納を行う。

（左右一対の作業マニピュレータＲ、Ｒを使用する場合）
また、図７（ｂ）のフローチャートに示すように、左右一対の作業マニピュレータＲ、Ｒを使用する場合は、収穫対象認識ルーチンの各行程での動作を行い、次いで左右の各作業マニピュレータＲ、Ｒの分担に応じて左作業マニピュレータＲの移動ルーチンと右作業マニピュレータＲの移動ルーチンのそれぞれでの各行程の作業を行って、収納棚９のパック詰めルーチンにより果実（イチゴ）の収穫を行う。

収穫対象認識ルーチンの各行程での動作は図９、図１０のフローチャートに従って行われ、次いで図２４及び図２５に示すフローチャートに従って果実（イチゴ）群を左右から挟むような形で左右一対のマニピュレータＲ、Ｒで次のように作業分担をさせる。

図２４に示すフローチャートおいて：ＸＹＺテーブルの各Ｘ座標からＸ座標平均（Ｘｍ）を算出する。次に収穫対象ＩのＸ軸上の値がＸ中心座標の平均値（Ｘｍ）より小さければ左マニピュレータＲの作動制御用に収穫対象Ｉの情報を収穫対象Ｋとして順次左ハンドのＸＹＺテーブルに記録する。
収穫対象ＩのＸ軸上のＸ中心座標がＸ中心座標の平均値より大きければ、右マニピュレータＲの作動制御用に収穫対象Ｉの情報を収穫対象Ｍとして順次右ハンドのＸＹＺテーブルに記録する。

こうして左右のマニピュレータＲ、Ｒで収穫対象Ｉから順次総数Ｎ分のイチゴの情報を半分毎のＸＹＺテーブルにそれぞれ分担して記録して、イチゴの収穫時に左右のマニピュレータＲ、Ｒでそれぞれ収穫作業を分担するためのデータとする。

上記収穫対象ＩのＸ軸上のＸ中心座標（Ｘ）がその平均値（Ｘｍ）によりＸＹＺテーブルを分けて記録する理由は次の通りである。
果実（イチゴ）群を左右から挟むような形で２つの作業ハンド７，７を設けた左右マニピュレータＲ、Ｒを用いる場合には、一方のハンド７が収穫すべきイチゴが多いのに、もう一方のハンド７は収穫するイチゴがない場合は、無駄な時間が生じるので２ハンド方式であっても能率は２倍になることはない。例えば図２７（ａ）に示すように、右ハンド７での分担数が左ハンド７の分担数より２個以上少ない場合は、図２７（ｂ）に示すように、右ハンド領域に近い左ハンド領域の果実を右ハンド分担数として加える。

左右ハンド７、７の各分担領域の果実数差が２個以上の場合は、分担数が少ない作業ハンド７の方に分担数を増やす。この際左右の境界線に近い方のイチゴを分担変更対象とする。また前記図２７に示す全体の領域のイチゴの全数が偶数の場合はその差がゼロになるように、また全数が奇数の場合はその差が１になるように分担数の変更を行うので、一方のハンド７が１個も収穫しないということがなくなり、結果的に果実収穫時間が短縮される。

また、ＸＹＺテーブルに記録された各果実のＹ座標のうち、Ｙ座標値が小さいものから順に収穫されるように順番を並べ替え（ソーティング）ることによって、収納棚９は果実の下方から果実に近接するため、収納棚９が果実を傷つけることが防止されるので、果実の品質が向上する。このフローを図２６に示す。

こうして、果実をパック詰めするために収納棚９を果実へとアプローチさせる作業は、果実の三次元座標位置と収納棚９の各パックの三次元座標位置又はパックのサイズ別の三次元座標位置に基づき容易に行うことができる。
上記全作業が終了した場合には、収納棚９の終端に達したがどうかを判断し、終端であればロボットによる果実の収穫作業を終了する。また、収納棚９の終端に達していない場合は、再び果実の収穫作業を行う。

上記果実収穫ロボットを用いてイチゴを収穫する際には、次のようなイチゴ栽培施設を設けることが望ましい。
イチゴ栽培施設は図２８（ａ）の斜視図に示すように格子状棚１ａを備えた栽培ベッド１を設けた。該格子状棚１ａを使用しない場合は図２８（ｂ）に示すように折り畳んでおき、葉かき、摘花の作業時に格子状棚１ａが邪魔にならないようにし、イチゴ収穫時に展開して図２８（ｃ）の格子棚１ａの部分拡大図に示すように、イチゴ果実を格子棚１ａに並列状に設けた紐の間から下方に垂れ下がり、葉、茎は格子棚１ａに載ったままとなるので、収穫ロボット台車２でのイチゴ収穫時に葉や茎が邪魔にならず果実部分のみを収穫し易く、また、ロボット台車２側に葉や茎の除去機能を設ける必要がなくなる。

また、図２９にイチゴ栽培施設の部分斜視図を示すように、前記格子状棚１ａに連結部材１ｂを介して電動モータ１ｃと連結することで電動モータ１ｃを微振動させる構成にしてもよい。
収穫ロボットによるイチゴの収穫直前に格子状棚１ａを展開状態にするためのスイッチを「オン」にすると収穫棚１ａに微振動が与えられ、果実のみが容易に棚下に垂れる。

図３０に示すように、上記イチゴの高設栽培設備の下部にレール１ｄを設けて、該レール１ｄを走行するイチゴ収穫台車２０を配置し、該台車２０の上にオペレータ座る座席２０ａを設け、座席２０ａに隣接した位置の台車２０上に収穫ロボット２１と協調して作業を行う構成とすると作業性が良くなる。また、作業ハンド７で掴んだイチゴを納める水槽２２を台車２０上に配置しておくと、作業ハンド７で掴んだでちぎり取ったイチゴを下方に落としても水槽２２内に落ちるので、イチゴに傷がつかない。

また、図３１に示す構成例はスイッチ２０ｂの操作により収穫ロボット２１を載せたイチゴ収穫台車２０の脚部の長さをモータシリンダ２０ｃで変更して台車２０の全高が栽培ベッド１の底面より低くなるようにしているものである。これは、イチゴ栽培施設では一つの列の収穫が終わって隣の列に収穫ロボットが移動する際に回行できるほどのスペースがないのが普通である。そこでスイッチ操作により収穫ロボット２１を載せたイチゴ収穫台車２０の全高が栽培施設の栽培ベッド１の底面より低くなり、該栽培ベッド１の下をくぐり抜けることができるような構成にすることで、イチゴ収穫ロボット２１のために特別のスペース（枕地）を設ける必要がなくなる。

本発明はイチゴに限らず、傷付き易い果実の収穫を自動化できるので将来性の高い収穫ロボットとなる。

本発明の一実施例の果実収穫ロボットの斜視図である。図１の果実収穫ロボットの作業ハンドの側面図（図２（ａ））と平面図（図２（ｂ）、図２（ｃ））である。図１の果実収穫ロボットの作業マニピュレータの作業ハンドを除くアーム又はハンドの概念図である。図１の果実収穫ロボットの制御ブロック図である。図１の果実収穫ロボットの制御装置のブロック図である。図１の果実収穫ロボットの制御装置のブロック図である。図１の果実収穫ロボットの単一の作業マニピュレータを用いてイチゴの収穫をする場合のフローチャート（図７（ａ））と、左右一対の作業マニピュレータを用いてイチゴの収穫をする場合のフローチャート（図７（ｂ））である。図１の果実収穫ロボットの連結処理（収穫対象と空間部の認識）の画像説明図である。図１の果実収穫ロボットの果実認識ルーチンのフローチャートである。図１の果実収穫ロボットの果実認識ルーチンのフローチャートである。図１の果実収穫ロボットの平行リンクと作業ハンドのＸＺ平面上の動きの説明図である。図１の果実収穫ロボットの平行リンクと作業アームのＸＹ平面上の動きの説明図である。図１の果実収穫ロボットの果実収穫ルーチンのフローチャートである。図１の果実収穫ロボットの収納棚とそのリンク機構の斜視図である。図１の果実収穫ロボットの果実パック詰めルーチンのフローチャートである。図１の果実収穫ロボットで用いる収納棚のパック配置図である。図１の果実収穫ロボットの果実パック詰めルーチンの収納棚の果実に向けてのアプローチのサブルーチンのフローチャートである。図１の果実収穫ロボットの果実の高さが低い順から収穫していくためのフローチャートである。図１の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。図１の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。図１の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。図１の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。図１の果実収穫ロボットで用いる果実のサイズ別に区分けされた収納棚のパック配置図である。図１の果実収穫ロボットの左右一対のマニピュレータを用いた場合の果実データを分割するためのフローチャートである。図１の果実収穫ロボットの左右一対のマニピュレータを用いた場合のフローチャートである。図１の果実収穫ロボットの果実の高さが低い順から収穫していくためのフローチャートである。図１の果実収穫ロボットの左右一対のマニピュレータで収穫する果実の分担の決め方を説明する図である。イチゴ栽培施設の一例の斜視図（図２８（ａ））、その施設の格子状棚を使用しない場合の斜視図（図２８（ｂ））と格子棚を展開して使用する場合（図２８（ｃ））の斜視図である。図２８のイチゴ栽培施設の一例の部分斜視図である。図１の変形例の果実収穫ロボットを用いてイチゴを収穫する場合の構成図である。図１の変形例の果実収穫ロボットを用いてイチゴを収穫する場合の構成図である。

符号の説明

１栽培ベッド１ａ格子状棚
１ｂ連結部材１ｃ電動モータ
１ｄレール２台車
３支柱５平行リンク
６作業アーム６ａ、６ｂフック
７作業ハンド７ａカッター
７ｂフィンガー７ｃ電磁弁
７ｄ支持ピン７ｅ、７ｆフック
７ｇ、７ｈ引っ張りスプリング９収納棚
１０収納棚移送ハンド１０ａ第１ハンド
１０ｂ第２ハンド１２支持部
１３第１カメラ１４第２カメラ
１５近接センサ又は接触センサ１６ポテンショメータ
１７電動モータＭ１〜Ｍ５の回転軸１８減速ギア
１９軸受２０イチゴ収穫台車
２０ａ座席２０ｂスイッチ
２０ｃモータシリンダ２１収穫ロボット
２２水槽３０制御装置（ＣＰＵ）
Ｍ１第１電動モータＭ２第２電動モータ
Ｍ３第３電動モータＭ４第４電動モータ
Ｍ５第５電動モータＲ作業マニピュレータ

Claims

果実群に向かって左右に並列配置された、果実を収穫する一対のマニピュレータ（Ｒ、Ｒ）と、
果実群の下方から果実の画像を撮影する第一撮像装置（１３）と、
果実の正面から果実の画像を撮影する第二撮像装置（１４）と、
第一撮像装置（１３）が得た果実の第一画像と第二撮像装置（１４）が得た果実の第二画像から画像を合成する画像合成装置を有する制御装置（３０）と
を備え、
制御装置（３０）は、さらに、
第一撮像装置（１３）で得た第一画像から果実の下面の着色状態を判別する第一判別装置と、
第二撮像装置（１４）で得た第二画像から果実の正面の着色状態を判別する第二判別装置と、
前記第一、第二判別装置が得た着色状態から果実全体の着色率を推定し、得られた果実の着色率に基づき収穫する果実か否かを判断する果実収穫判断装置と、
果実収穫判断装置で収穫すべき果実であると判断された果実の三次元座標位置を算出する収穫果実の三次元座標位置算出装置と、
収穫果実の三次元座標位置算出装置により算出した三次元座標位置近傍にマニピュレータ（Ｒ）を作動させるマニピュレータ作動制御装置と、
前記画像合成装置で作成された合成画像を中央の分割位置で左右二分割する合成画像二分割装置と、
該合成画像二分割装置で得られた左右の各分割画像内の収穫する果実の数を、それぞれ対応する左右一対のマニピュレータ（Ｒ、Ｒ）の各々の収穫数とし、合成画像内の全体の果実の数が偶数で、かつ左右一対のマニピュレータ（Ｒ、Ｒ）にそれぞれ割り当てた各々の収穫数が異なる場合には、左右一対のマニピュレータ（Ｒ、Ｒ）の収穫数の差が０になるよう合成画像の分割位置を修正し、合成画像内の全体の果実の数が奇数の場合には、左右一対のマニピュレータ（Ｒ、Ｒ）の収穫数の差が１になるよう合成画像の分割位置を修正する二分割位置修正装置と、
該二分割位置修正装置の修正結果に従ってマニピュレータ（Ｒ）を作動させるマニピュレータ作動制御装置とを備えたことを特徴とする果実収穫ロボット。
果実を収穫する左右一対のマニピュレータ（Ｒ、Ｒ）は、各々独立して移動自在な構成からなることを特徴とする請求項１記載の果実収穫ロボット。