JP6856411B2

JP6856411B2 - 果梗位置推定装置および果梗位置推定方法

Info

Publication number: JP6856411B2
Application number: JP2017044708A
Authority: JP
Inventors: 亮戸島; 秀和荒木; 川野　肇; 肇川野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2021-04-07
Anticipated expiration: 2037-03-09
Also published as: CN108566822B; EP3373203A1; JP2018143214A; CN108566822A; EP3373203B1

Description

本発明は、トマトなどの果実と連結している果梗の位置を推定する果梗位置推定装置および果梗位置推定方法に関する。

日本の農業を取り巻く環境は、高齢化が進んでいることによる労働不足の影響で、非常に厳しい状況にある。農林水産省の基本データによると、２０１４年の基幹的農業従事者は１６８万人であり、５年間で約２３万人の減少となっている。

また、平均年齢が６６．５歳となり、新規就農者も減少傾向にあるなど、高齢化による労働不足が浮き彫りになっている。また、耕作放棄地も４０万ｈａに達する状況であり、地域の営農環境や生活環境にも悪影響を及ぼしている。

そのような中、農業の自動化による労働力不足への対応は重要な課題となっている。経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボット国内市場は大きく伸びるとされ、約２２００億円の規模になると予想されている。

このようなロボットとして、特許文献１には、果実を対象にした収穫ロボットが開示されている。この収穫ロボットは、イメージセンサカメラにより果実が生っている房を撮像し、房に生っている果実と果梗の位置を検出し、果実の中心と果梗の両方にエンドエフェクタが力を加えて果実をもぎ取る（例えば、特許文献１参照。）。

特開２０１０−２０７１１８号公報

特許文献１の収穫ロボットでは、エンドエフェクタの適切な挿入方向を決定するため、果実と果梗の位置を検出することが必要である。

そのため、イメージセンサカメラによる撮像により果梗を認識できている場合には果梗の位置を検出することができ、エンドエフェクタの適切な挿入方向を決定することも可能になるが、果梗が果実などに隠れてしまって果梗を認識できない場合には果梗の位置を検出することができず、エンドエフェクタの適切な挿入方向を決定することができなかった。その結果、安定的な収穫をすることができなくなるという課題があった。

本発明は、上記課題を解決するものであり、イメージセンサ側からみて果実などに隠れて果梗を認識できない場合でも果梗の位置を推定することができ、安定的な収穫動作を可能とする果梗位置推定装置および果梗位置推定方法を提供することを目的とする。

上記目的を達成するために、本発明の果梗位置推定装置は、果実の画像を取得する画像取得部と、画像取得部で取得された画像における果実の位置と果実間の距離に基づいて、果実と連結している果梗の位置を推定する推定部と、を備える。

また、本発明の果梗位置推定方法は、果実の画像を取得する画像取得ステップと、画像取得ステップで取得された画像における果実の位置と果実間の距離に基づいて、果実と連結している果梗の位置を推定する推定ステップと、を含む。

本発明によれば、イメージセンサ側からみて果実などに隠れて果梗を認識できない場合でも果梗の位置を推定することができ、安定的な収穫動作を可能とする。すなわち、収穫対象の果実と果梗との位置関係によらずエンドエフェクタの挿入方向を決定することができるので、安定的な収穫動作を行うことができる。

果梗の位置を推定する果梗位置推定装置の一例を示す図ミニトマトの収穫装置に設けられるエンドエフェクタの一例を示す図本発明で使用するエンドエフェクタによる収穫動作について説明する図本発明で使用するエンドエフェクタによる収穫動作について説明する図本発明で使用するエンドエフェクタによる収穫動作について説明する図果梗の位置を推定する果梗位置推定処理の一例を示すフローチャートＩＲ光を照射してミニトマトおよび果梗を撮影した画像の一例を示す図輝点の検出処理の一例を示すフローチャート果梗検出処理における２値化画像の一例を示す図果梗検出処理における細線化処理後の画像の一例を示す図果梗検出後の画像の一例を示す図果梗推定の対象となる果実の房の一例を示す図果梗推定の対象となる果実の房の一例を示す図推定された果梗と果実との間の距離について説明する図推定された果梗と果実との間の距離について説明する図ミニトマトの房の構成について示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同じ構成要素には同じ符号を付してある。なお、以下では、果実の一例としてミニトマトを挙げて説明を行うが、果実はミニトマトに限らず、他の果実であってもよい。

まず、本発明の実施に形態における果梗の位置推定方法の理解を助けるため、（１）収穫対象であるミニトマトの形態、（２）収穫装置を使用したミニトマトの収穫方法について、説明する。

（１）収穫対象であるミニトマトの形態
収穫対象であるミニトマトは、ぶどうなどのように果実が房状になっている。ミニトマトについては、果実が複数個密集して付いている房を房ごと収穫するのではなく、赤く熟した果実を一つ一つもぎ取ることで収穫している。これは、房に付いている果実の成熟度合いが異なるためである。一般に、ミニトマトは生食用であり、果実表面に傷を付けずにガクごと収穫することが必要である。

図１２は、ミニトマトの房の構成について示す図である。図１２に示すように、一つの房は、果梗４０５といわれる茎を中心に構成されている。この果梗４０５から、小果梗４０１、ガク４０３が生り、その先に果実４０４が生っている。

小果梗４０１の途中には離層４０２とよばれる箇所があり、小果梗４０１に力を加えたときに、離層４０２で小果梗４０１が分断される。本発明では、このように離層を有する果実を対象にしている。

（２）収穫装置を使用したミニトマトの収穫方法
ここで、このような離層４０２における小果梗４０１の分断を、エンドエフェクタを用いて行う場合の動作について説明する。図１は、果梗の位置を推定する果梗位置推定装置の一例を示す図である。図２は、ミニトマトの収穫装置に設けられるエンドエフェクタの一例を示す図である。例えば、図１に示す果梗位置推定装置は、図２に示す収穫装置に搭載される。

また、図３Ａ〜図３Ｃは、エンドエフェクタによる収穫動作について説明する図である。具体的には、図３Ａは、ミニトマト４０４の引き込み動作を示しており、図３Ｂは、収穫リング２０２の挿入動作を示しており、図３Ｃは、ミニトマト４０４の分離、および、収穫動作を示している。

図２に示すように、エンドエフェクタは、引き込みガイド２０１、収穫リング２０２、収穫果ガイド２０３、収穫果シート２０４、ロボットアーム２０５を備える。収穫リング２０２は、上下２つに分離し、上部を下部に対して相対的に移動させることができる。

引き込みガイド２０１は、図３Ａに示されるように、収穫するミニトマト４０４を引き込み、他のミニトマト（図示せず）との間に隙間を作る。つぎに、図３Ｂに示されるように、収穫リング２０２が、上記隙間に挿入されるとともに、引き込みガイド２０１の前部に設けられた切れ目を小果梗４０１がすり抜けて、ミニトマト４０４が引き込みガイド２０１から離脱する。

その後、図３Ｃに示されるように、収穫リング２０２の上部を下部に対して相対的に移動させることにより、ミニトマト４０４を引き寄せ、果梗４０５を押し出す。これにより、小果梗４０１を引き伸ばし、離層４０２でミニトマト４０４を分離する。

以上の動作においては、エンドエフェクタをできるだけミニトマト４０４の中心位置と果梗４０５の位置を結ぶ方向から挿入させる必要があり、そのためにはミニトマト４０４と果梗４０５の位置を検出する必要がある。

以下では、房の中からミニトマト４０４を見つけ出して収穫する際に必要な果梗４０５の検出において、果梗４０５がイメージセンサにより撮像された画像から認識できない場合であっても、その果梗４０５の位置を推定することを可能とする方法について詳細に説明する。

まず、果梗４０５の位置を推定する果梗位置推定装置の構成の一例について、図１を用いて説明する。位置推定装置は、光源１０１、画像取得部１０２、画像処理部１０３、および、推定部１０４を備える。

光源１０１は、収穫対象であるミニトマト４０４の房方向に光を照射する。これは、照射した光の反射光をイメージセンサである画像取得部１０２が撮像することでミニトマト４０４を検出するためであり、光源１０１としては、たとえばＩＲ（ＩｎｆｒａＲｅｄ）光源が用いられる。

また、画像取得部１０２としては、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）カラー画像、ＩＲ画像に加えて、被写体との距離画像を測定することができるＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラが用いられる。

画像取得部１０２により取得されたＲＧＢカラー画像、ＩＲ画像、距離画像の３種類が画像処理部１０３に入力されると、画像処理部１０３は、以下に説明する画像処理を実行し、ミニトマト４０４や果梗４０５の位置を認識する。さらに、果梗４０５が画像処理部１０３により認識できない場合には、画像処理部１０３の画像処理の結果に基づいて、推定部１０４が、果梗４０５の位置を推定する。

次に、果梗４０５の位置を推定する果梗位置推定方法の一例について説明する。図４は、果梗４０５の位置を推定する果梗位置推定処理の一例を示すフローチャートである。

この推定処理では、まず、光源１０１がＩＲ光を照射する（ステップＳ１）。そして、画像取得部１０２がミニトマト４０４を撮像し、ＲＧＢカラー画像、ＩＲ画像、距離画像を取得する（ステップＳ２）。

光源１０１から照射したＩＲ光がミニトマト４０４の表面で反射される場合、その反射光は輝点として検出される。そのため、画像処理部１０３は、ＩＲ画像から輝点を検出することによりミニトマト４０４の中心位置を検出する。また、画像処理部１０３は、ＩＲ画像に画像処理を施し、果梗４０５の位置を検出する（ステップＳ３）。これらの検出処理については、図５、図６を用いてさらに詳しく説明する。

その後、推定部１０４は、画像処理部１０３が果梗４０５を検出できたか否かを判定する（ステップＳ４）。果梗４０５を検出できた場合（ステップＳ４においてＹＥＳの場合）、検出した果梗４０５の情報を用いて収穫動作が実行される（ステップＳ１０）。

果梗４０５を検出できなかった場合（ステップＳ４においてＮＯの場合）、ステップＳ５以降の果梗４０５の位置の推定処理を行う。

具体的には、推定部１０４は、ステップＳ３で検出したミニトマト４０４の房ごとのグルーピングを実施する（ステップＳ５）。そして、推定部１０４は、グループ化されたミニトマト４０４の集団ごとに、主成分分析を用いて果梗４０５の位置の推定を行う（ステップＳ６）。

さらに、推定部１０４は、位置が推定された果梗４０５と、同一房内のミニトマト４０４の中心座標との間の距離を算出する（ステップＳ７）。さらに、推定部１０４は、その距離の平均値が所定の閾値以上であるか否かを判定する（ステップＳ８）。

上記平均値が所定の閾値以上である場合（ステップＳ８においてＹＥＳの場合）、推定部１０４は、ミニトマト４０４が画像上において２列に並んでいると推定し、ステップＳ６で推定した果梗４０５の位置の情報を用いて収穫動作が実行される（ステップＳ１０）。

上記平均値が所定の閾値未満である場合（ステップＳ８においてＮＯの場合）、ステップＳ６で推定した果梗４０５の位置を近似する直線の傾きから果梗４０５の位置の補正を行う（ステップＳ９）。その後、補正された果梗４０５の位置の情報を用いて収穫動作が実施される（ステップＳ１０）。

以下では、上述した各ステップの処理内容についてさらに詳細に説明する。

図５に、ＩＲ光を照射してミニトマト４０４および果梗４０５を撮影した画像の一例を示す。以降の説明において画像座標について述べる場合、画像の左下を原点とし、右方向をｘ軸の正方向、上方向をｙ軸の正方向とする。

図５に示すように、ミニトマト４０４の中心付近に、ミニトマト４０４の表面で反射されたＩＲ光である輝点３０１があることが確認できる。そのため、ミニトマト４０４の中心位置は、輝点３０１の位置として推定され得る。

図６は、輝点３０１の検出処理の一例を示すフローチャートである。本実施形態においては、画像取得部１０２と撮像対象のミニトマト４０４との間の距離は、２５００〜４５００ｍｍを想定しているが、これよりも画像取得部１０２に近い位置にミニトマト４０４がある場合には、ＩＲ光の反射光が飽和してしまう。

そのため、図６においては、上記距離が２５００ｍｍから４５００ｍｍの場合と２５００ｍｍ未満の場合とで輝点３０１の検出方法を変更している。

具体的には、上記距離が２５００ｍｍから４５００ｍｍの場合、画像処理部１０３は、距離画像の入力を受け付け（ステップＳ２１）、距離画像から２５００ｍｍ以上の領域を抽出する（ステップＳ２２）。

一方、画像処理部１０３は、ＩＲ画像の入力を受け付け（ステップＳ２３）、そのＩＲ画像にＭＡＸフィルタ処理を行い（ステップＳ２４）、さらにラプラシアン処理を行う（ステップＳ２５）。

その後、画像処理部１０３は、２５００ｍｍ以上の領域が抽出された距離画像と、ＭＡＸフィルタ処理、および、ラプラシアン処理が適用されたＩＲ画像との論理積演算を行う（ステップＳ２６）。さらに、画像処理部１０３は、その結果得られた画像に対し、粒子解析を行う（ステップＳ２７）。

上記距離が２５００ｍｍ未満の場合、画像処理部１０３は、距離画像の入力を受け付け（ステップＳ２８）、距離画像から２５００ｍｍ未満の領域を抽出する（ステップＳ２９）。

また、画像処理部１０３は、ＩＲ画像の入力を受け付け（ステップＳ３０）、そのＩＲ画像において画像の階調が飽和している領域（階調の値が高い部分）を抽出する（ステップＳ３１）。

その後、画像処理部１０３は、２５００ｍｍ未満の領域が抽出された距離画像と、画像の階調が飽和している領域が抽出されたＩＲ画像との論理積演算を行う（ステップＳ３２）。さらに、画像処理部１０３は、その結果得られた画像に対し、粒子解析を行う（ステップＳ３３）。

最後に、画像処理部１０３は、ステップＳ２７で粒子解析が行われた画像と、ステップＳ３３で粒子解析が行われた画像との論理和を算出する（ステップＳ３４）。そして、画像処理部１０３は、その結果得られた画像に対して粒子解析を行うことにより輝点を検出する（ステップＳ３５）。

つぎに、図４のステップＳ３に示した果梗４０５の検出処理について詳しく説明する。この果梗４０５の検出についても、ＩＲ画像を利用する。具体的には、画像処理部１０３は、図５に示した画像において、輝度が所定の閾値よりも高い部分を抽出し、２値化処理を行う。その結果得られた画像の一例を図７に示す。

そして、画像処理部１０３は、一定面積以下の領域を除去し、細線化処理を行う。これにより、果梗４０５の候補が抽出される。その結果得られた画像を図８に示す。

さらに、画像処理部１０３は、再度、一定面積以下の領域を除去することにより、果梗４０５の候補の中から果梗４０５を検出する。図９は、このような処理により得られた果梗４０５を示す図である。

果梗４０５はこのようにして検出されるが、図１０Ａに示すように、ミニトマト４０４のガク４０３がミニトマト４０４の房の向こう側にあってミニトマト４０４のガク４０３が見えない場合、あるいは、図１０Ｂに示すように、イメージセンサに対してガク４０３が横に向いている場合は、イメージセンサで取得した画像において果梗４０５を確認することができず、図４のステップＳ３の処理により果梗４０５を検出することができない。

このような場合、図４のステップＳ５以降の処理が実行され、果梗４０５の位置が推定される。以下、ステップＳ５以降の処理について、詳しく説明する。

まず、ステップＳ５において、推定部１０４は、図４のステップＳ３において検出したミニトマト４０４の中心位置の座標を用いてミニトマト４０４間の距離を測定する。そして、推定部１０４は、その距離が互いに所定の閾値以下となるミニトマト４０４を同一房に属するミニトマト４０４としてグルーピングする。推定部１０４は、上記処理をすべてのミニトマト４０４について行う。

例えば、ミニトマト４０４間の距離は、二つのミニトマト４０４の中心位置の座標をＡ（ｘ_ａ，ｙ_ａ）、Ｂ（ｘ_ｂ，ｙ_ｂ）とすると、以下のようにして算出される。

さらに、推定部１０４は、図４のステップＳ６に示した果梗４０５の推定処理を行う。具体的には、推定部１０４は、同一房内のミニトマト４０４の中心位置の座標の情報をもとに、補完法を用いて果梗４０５を直線で近似する。

例えば、推定部１０４は、同一房内のミニトマト４０４のグループの中心位置（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２），・・・，（ｘ_ｉ，ｙ_ｉ）の重心（平均値）を通り、主成分分析に基づき、以下の式により算出される傾きθ（直線とＹ軸とがなす角度）を有する直線を果梗４０５の近似直線とする。

その後、推定部１０４は、図４のステップＳ７に示した距離の算出処理を行う。具体的には、推定部１０４は、推定された果梗４０５の近似直線と、同一房内の各ミニトマト４０４との距離の平均値を算出する。

図１１Ａおよび図１１Ｂは、輝点３０１と果梗４０５の近似直線３０２との間の距離ｄの算出について説明する図である。図１１Ａおよび図１１Ｂにはそれぞれ、図１０Ａおよび図１０Ｂの画像において検出された輝点３０１と近似直線３０２とが示されている。

推定部１０４は、図１１Ａおよび図１１Ｂに示すように、各輝点３０１と近似直線３０２との間の距離ｄの平均値を算出する。

図１１Ａに示されるように、ミニトマト４０４のガク４０３がミニトマト４０４の房の向こう側にある場合には、イメージセンサ側からみてミニトマト４０４が２列に並び、それらの列の中間付近に近似直線３０２が現れる。

一方、図１１Ｂに示されるように、イメージセンサに対してガク４０３が横に向いている場合には、イメージセンサ側からみてミニトマト４０４は１列に並び、ミニトマト４０４上に近似直線３０２が現れる。そのため、上述した距離ｄの平均値は、図１１Ｂの場合よりも図１１Ａの場合の方が大きくなる。

このようなことから、推定部１０４は、図４のステップＳ８に示すように、距離ｄの平均値が所定の閾値以上か否かを判定し、距離ｄの平均値が所定の閾値以上である場合に、ミニトマト４０４のガク４０３がミニトマト４０４の房の向こう側にあると推定する。

ここで、図１１Ａのように、ミニトマト４０４が２列に並び、ミニトマト４０４が密着している場合、上述した距離ｄの平均値はミニトマト４０４の半径程度になることから、上記閾値については、ミニトマト４０４の半径を基準にして決定することが望ましい。

なお、実際の果梗４０５の位置と近似直線３０２の位置との誤差は、エンドエフェクタの挿入方向を決めるに際して許容できる範囲であると考えられる。

よって、推定部１０４は、奥行き方向の距離として、距離画像で得られたミニトマト４０４の表面の距離に所定の値を加えた位置をミニトマト４０４の奥行き方向の位置とし、果梗４０５の位置の推定を終了する。所定の値とは、たとえば、ミニトマト４０４の半径程度の値である。

一方、距離ｄの平均値が所定の閾値以上ではない場合、推定部１０４は、図４のステップＳ９に示すように、果梗４０５の傾きから果梗４０５の位置を補正する。

例えば、図１０Ｂに示すように、イメージセンサに対してガク４０３が横に向いている場合は、ミニトマト４０４はイメージセンサ側から見て１列に見えている。このような状況において、例えば図１１Ｂに示すように、近似直線３０２の傾き（ｘ方向の増加量に対するｙ方向の増加量の比率）が正の場合、実際の果梗は近似直線３０２よりも左側にあると考えられる。

そのため、推定部１０４は、果梗４０５の位置を近似直線３０２からｘ軸の負方向に所定の値だけ移動した位置に移動させ、果梗４０５の位置を補正する。所定の値とは、例えば、ミニトマト４０４の半径程度の値である。

一方、近似直線３０２の傾きが負の場合、実際の果梗４０５は近似直線３０２よりも右側にあると考えられるため、推定部１０４は、果梗４０５の位置を近似直線３０２からｘ軸の正方向に所定の値だけ移動した位置に移動させ、果梗４０５の位置を補正する。所定の値とは、例えば、ミニトマト４０４の半径程度の値である。

このようにして、イメージセンサに対してガク４０３が横に向いている場合には、推定部１０４が、果梗４０５の位置を補正する。

以上の説明において、ステップＳ５におけるミニトマト４０４のグルーピング処理、おおよび、ステップＳ７における距離の算出処理においては、画像の座標上における距離、すなわち２次元座標で計算を行った。これは、ミニトマト４０４の房がイメージセンサ側から見て重ならない位置にあることを想定している。

しかし、ミニトマト４０４が生育している畝の状態によっては、房が密集しているような場合も想定される。このような場合、２次元座標で距離を算出する代わりに、３次元座標で距離を算出してもよい。

この場合、式（１）は、二つのミニトマト４０４の座標をＡ（ｘ_ａ，ｙ_ａ，ｚ_ａ）、Ｂ（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）とすると、以下のようになる。

以上の処理の後、図４のステップＳ１０に示すように、推定された果梗４０５の位置とミニトマト４０４の位置の情報をもとに、エンドエフェクタによる収穫作業が実行される。

本発明の果梗位置推定装置および果梗位置推定方法は、房になっているミニトマトをはじめ、果梗に果実が集まり、房を構成している果実に対して適用できる。

１０１光源
１０２画像取得部（イメージセンサ）
１０３画像処理部
１０４推定部
２０１引き込みガイド
２０２収穫リング
２０３収穫果ガイド
２０４収穫果シート
２０５ロボットアーム
３０１輝点
３０２近似直線
４０１小果梗
４０２離層
４０３ガク
４０４果実
４０５果梗

Claims

果実の画像を取得する画像取得部と、推定部と、を備え、
前記推定部は、
前記画像取得部で取得された画像における果実間の距離に基づいて、複数の果実を含むグループを生成し、
前記グループに含まれる前記複数の果実の位置に基づき、補完法を用いて、前記グループに含まれる前記複数の果実と連結している果梗の位置を推定する、
果梗位置推定装置。
前記推定部は、前記果実と前記果梗との間の距離、及び、前記果梗の傾きに基づいて、前記果梗の位置を補正する請求項１に記載の果梗位置推定装置。
前記画像取得部は、前記果実までの距離の情報を含む距離画像を取得し、前記推定部は、前記距離画像に基づいて前記果梗の位置を補正する請求項１または２に記載の果梗位置推定装置。
光源から照射された光が前記果実の表面で反射されることより前記画像に生じる輝点を前記果実の位置として検出する画像処理部をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の果梗位置推定装置。
果実の画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像における果実間の距離に基づいて、複数の果実を含むグループを生成するグルーピングステップと、
前記グループに含まれる前記複数の果実の位置に基づき、補完法を用いて、前記グループに含まれる前記複数の果実と連結している果梗の位置を推定する推定ステップと、
を含む果梗位置推定方法。