JP6895905B2

JP6895905B2 - 植物長尺部検出システム

Info

Publication number: JP6895905B2
Application number: JP2018006793A
Authority: JP
Inventors: 直裕原; 洋平友保
Original assignee: Yanmar Co Ltd
Current assignee: Yanmar Co Ltd
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2021-06-30
Anticipated expiration: 2038-01-18
Also published as: JP2019122340A

Description

本発明は、主として、画像解析により植物の長尺部を検出する植物長尺部検出システムに関する。

特許文献１は、農作物を監視するためのシステムを開示する。特許文献１では、農作物の画像、サーモグラフィ、及び３次元計測結果等を用いて、農作物の情報を取得する。このシステムでは、これらの情報に基づいて、農作物の品質及び農作物が生育されている環境等が検出される。

特許文献２は、苗等の植物体を節単位で分割して切断する切断装置を開示する。切断装置は、撮像装置と、節位置検出部と、切断装置と、を備える。撮像装置は、植物体の画像を撮像する。節位置検出部は、植物体の画像に基づいて、当該植物体の節位置を検出する。切断装置は、節位置検出部が検出した節位置を切断する。

国際公開第２０１３／１８１５５８号特開平３−２５１１０４号公報

しかし、特許文献１では、農作物の様々な値を検出する処理を行うが、農作物の茎等の具体的な位置を求める方法は記載されていない。また、特許文献２では、植物体の節位置を検出する処理は記載されているが、植物体の形状又は構成についてそれ以上の情報を検出する処理は記載されていない。

本発明は以上の事情に鑑みてされたものであり、その主要な目的は、植物の茎等の長尺部の方向を含む情報を検出可能な植物長尺部検出システムを提供することにある。

課題を解決するための手段及び効果

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の観点によれば、以下の構成の植物長尺部検出システムが提供される。即ち、この植物長尺部検出システムは、撮影装置と、局所部位検出部と、長尺部検出部と、を備える。前記撮影装置は、前記植物から植物画像を取得する。前記局所部位検出部は、前記植物画像と、前記植物の長尺部を長手方向に分割して得られる局所部位の存在を判定する前記判定画像とを比較することで、当該植物画像に含まれている複数の前記局所部位を検出する。前記長尺部検出部は、前記局所部位検出部によって検出された複数の前記局所部位を連結して、前記植物画像に含まれる前記長尺部を検出する。

これにより、植物の長尺部（茎、枝、及び果柄等）を複数の局所部位と捉えて検出することで、長手方向が大きく変化する長尺部であっても、適切に検出することができる。また、植物の長尺部の位置だけでなく方向についても検出することができる。

前記の植物長尺部検出システムにおいては、以下の構成とすることが好ましい。即ち、前記植物画像は距離画像である。前記判定画像は、局所部位領域と、背景領域と、を含む。前記局所部位領域は、前記植物画像との比較時において、前記植物画像が示す距離が近いほど前記局所部位の存在確率が高いと判定する領域である。前記背景領域は、前記植物画像との比較時において、前記植物画像が示す距離が遠いほど前記局所部位の存在確率が低いと判定する領域である。

これにより、距離画像が示す距離に応じて局所部位の存在確率を判定することで、長尺部を精度良く検出できる。更に、距離画像を用いることで、長尺部の背景に同色の雑草等が存在する場合であっても、長尺部を精度良く検出できる。

前記の植物長尺部検出システムにおいては、以下の構成とすることが好ましい。即ち、前記局所部位領域は直線状であり、当該局所部位領域の長手方向が、前記長尺部の長手方向と同じである。前記局所部位領域の短手方向の両側に直線状の前記背景領域が配置されている。

これにより、実際の植物の長尺部の様子と判定画像とを近づけることができるので、長尺部を精度良く検出できる。

前記の植物長尺部検出システムにおいては、以下の構成とすることが好ましい。即ち、この植物長尺部検出システムは、前記長尺部検出部が検出した前記長尺部から、当該長尺部の端部及び分岐構造を検出する構造検出部を更に備える。前記構造検出部は、前記長尺部の端部及び分岐点を特定する処理を当該長尺部の長手方向に沿って行う。

これにより、長尺部の端部及び分岐点等を簡単な処理で漏れなく検出できる。

本発明の一実施形態に係る植物長尺部検出システムのブロック図。植物長尺部検出システムが行う処理の概要を示すフローチャート。長尺部と局所部位を概念的に示す図。局所部位を検出する処理を示すフローチャート。角度が０°と４５°の判定画像を示す概念図。局所部位同士の連結箇所を特定して長尺部を検出する処理を示すフローチャート。局所部位同士が連結するか否かを検出する処理の概念図。長尺部の分岐構造を解析する処理を示すフローチャート。長尺部の分岐構造を解析する処理の概念図。本実施形態の処理を行うことで得られる画像を示す図。

次に、図面を参照して本発明の実施形態を説明する。初めに、図１を参照して、植物長尺部検出システム１の全体的な構成について簡単に説明する。図１は、植物長尺部検出システム１のブロック図である。

植物長尺部検出システム１は、例えば果物等の植物が栽培されている圃場で利用される。植物長尺部検出システム１は、例えば収穫時に植物の長尺部を適切な位置で切断するために、植物の長尺部の位置及び向きを検出可能である。ここで、長尺部とは、植物の外観において細長い形状をしている部分である（例えば、果柄、枝、茎等）。図１に示すように、植物長尺部検出システム１は、撮影装置１１と、制御装置１２と、収穫装置１３と、を備える。

撮影装置１１は、植物を撮影して植物画像を取得する。本実施形態の撮影装置１１は、ステレオカメラである。ステレオカメラは、互いに適宜の距離だけ離して配置された１対の撮像素子（例えばＣＣＤ）を備える。それぞれの撮像素子で取得された画像を比較することで、植物画像としての距離画像を作成可能である。距離画像とは、撮影装置１１から対象物までの距離に応じて、各画素の輝度又は濃度を変化させた画像である。なお、撮影装置１１は、電磁波等を照射してその反射波を観測することで対象物までの距離等を取得する方式（例えば、ＴＯＦ方式、空間コード方式、位相シフト方式、及び光切断方式）であってもよい。あるいは、撮像素子が１つのカメラを用いて、２つの地点から撮影を行うことで、距離画像を作成することもできる。

制御装置１２は、コンピュータとして構成されており、ＣＰＵ（演算部）、ＲＯＭ、ＲＡＭ等を備える。また、前記ＲＯＭ等の記憶装置には、植物長尺部検出システム１の各部を制御データに基づいて動作させるための適宜の動作プログラムが記憶されている。このソフトウェアとハードウェアとの協働により、制御装置１２を、図１に示す判定画像読出部２１、局所部位検出部２２、長尺部検出部２３、構造検出部２４、及び切断位置特定部２５として機能させることができる。これにより、制御装置１２は、植物の形状等を認識し、収穫するときに切断すべき位置を特定する。

収穫装置１３は、果柄を切断して果実を収穫するための切断部を備える。収穫装置１３は、制御装置１２が特定した位置を切断して果実の収穫を行う。

なお、本実施形態では、果実の収穫のために植物の形状を特定するが、植物の生育状況の把握、又は選定すべき果実の特定等にも本技術を利用できる。

次に、図２を参照して、植物長尺部検出システム１が行う処理の概要について説明する。図２は、植物長尺部検出システム１が行う処理の概要を示すフローチャートである。

植物長尺部検出システム１は、初めに撮影装置１１により植物画像を取得する（Ｓ１０１）。撮影装置１１が取得する植物画像は、上述したとおり距離画像である。

次に、植物長尺部検出システム１は、この植物画像を補正する（Ｓ１０２）。植物画像の補正とは、植物の長尺部と、背景の地表及び雑草等と、の差異を強調する処理を行って、長尺部の検出精度を向上させる処理である。例えば、検出対象の長尺部の色（例えば緑色）が閾値より低い画素について、植物画像の距離値を無効にする。これにより、検出対象でない地表や幹等を植物画像から除外することができるので、検出対象の長尺部の検出精度を向上させることができる。なお、照射した電磁波の反射波を観測する方式では、色情報を取得することができない。この場合は、画像の輝度が閾値よりも低い画素（即ち、距離値が閾値よりも遠い画素）を除外することで、検出対象でない地表等を植物画像から除外することができる。

次に、植物長尺部検出システム１は、判定画像読出部２１及び局所部位検出部２２により、植物の局所部位を検出する（Ｓ１０３）。局所部位とは、図３に示すように、植物の長尺部を長手方向に分割した１要素である。言い換えれば、長尺部は、複数の局所部位から構成されている。また、局所部位は方向の概念を有しており、局所部位の方向のうち長尺部の長手方向に相当する方向（以下、局所部位の長手方向と称する）も合わせて検出される。

次に、植物長尺部検出システム１は、長尺部検出部２３により、ステップＳ１０３で検出した複数の局所部位のうち長手方向に連結されている箇所を検出して連結することで、一続きの長尺部を検出する（Ｓ１０４）。その後、植物長尺部検出システム１は、構造検出部２４により、長尺部の端部及び分岐構造を特定して、長尺部の全体構造を検出する（Ｓ１０５）。以上により、植物の構造が特定されるので、植物長尺部検出システム１は、切断位置特定部２５により、植物に応じた切断すべき位置を特定して収穫装置へ出力する（Ｓ１０６）。これにより、自動的に収穫を行うことができる。

以下では、上記のステップＳ１０３、Ｓ１０４、及びＳ１０５の処理について詳細に説明する。

初めに、ステップＳ１０３の局所部位の検出方法について詳細に説明する。図４は、局所部位を検出する処理を示すフローチャートである。図５は、角度が０°と４５°の判定画像を示す概念図である。

初めに、局所部位検出部２２は、長尺部の太さを取得する（Ｓ２０１）。長尺部の太さとは、撮影装置１１が取得した植物画像における、長尺部の短手方向の長さである。長尺部の太さは、植物長尺部検出システム１の管理者等によって入力される。入力された値（例えばｍｍ）は、撮影装置１１の植物画像の画素数に変換される。なお、収穫対象の植物と、それに応じた長尺部の太さと、の対応関係が制御装置１２が備える記憶装置に予め記憶されていてもよい。この場合、管理者等が収穫対象の植物を選択するだけで、長尺部の太さが設定されることとなる。

次に、判定画像読出部２１は、長尺部の太さに応じたサイズの判定画像を記憶装置から読み出す（Ｓ２０２）。判定画像とは、撮影装置１１が取得した植物画像の注目画素に対してマッチング処理を行うための画像である。判定画像は視覚的に表示可能なデータではないが、画素毎にデータが登録されているため、一種の画像であるとして取り扱う。判定画像は、局所部位を検出する処理を行う前に作成されており、制御装置１２が備える記憶装置に記憶されている。また、判定画像は長尺物の太さに応じて異なるため、長尺物の太さに応じた複数の判定画像が記憶装置に記憶されている。なお、所定の太さに対応した１種類の判定画像のみが記憶装置に記憶されていてもよい。この場合、ステップＳ２０１の処理を省略することができる。また、ステップＳ２０１及びＳ２０２の処理は、植物画像の取得後ではなく、植物画像の取得前に行われていてもよい。

判定画像は、図５に示すように、局所部位を検出するための局所部位領域と、背景を検出するための背景領域と、を含む。判定画像は長尺部が存在する領域とそうでない領域を区別する画像であるため、判定画像の一辺のサイズ（更に詳細には長尺部の短手方向に相当する一辺のサイズ）は、長尺部の太さよりも大きくする必要がある。具体的には、判定画像の一辺のサイズは、長尺部の太さの２倍以上４倍以下であることが好ましく、３倍であることが更に好ましい。また、判定画像は一方向及び他方向にそれぞれ３分割されることで、合計９分割されている。そのうち、中央に３つ並べて配置される細長い領域が局所部位領域である。この局所部位領域の長手方向と、局所部位の長手方向と、が同じとなるように局所部位が検出される（詳細は後述）。また、本実施形態では、局所部位領域と背景領域とは同じ幅（同じ画素数）であるが、異なっていてもよい。

次に、局所部位検出部２２は、植物画像の距離の正規化を行う（Ｓ２０３）。本実施形態では、植物画像のうち、判定画像とマッチングを行う部分において、距離値を３段階に分類する。具体的には、注目画素の距離値よりも距離値が閾値以上大きい画素は当該距離値を＋１とし、注目画素の距離値よりも距離値が閾値以上小さい場合は当該距離値を−１とし、それ以外（即ち注目画素との距離値の差が閾値以内）である場合は距離値を０とする。これにより、後に行うマッチング処理において、スコアが極端に高くなり過ぎることを防止できる。

次に、局所部位検出部２２は、各注目画素について、植物画像と判定画像の多層マッチング処理を行ってマッチング結果（以下、スコア）を算出する（Ｓ２０４）。ここで、判定画像のうち、局所部位領域は、距離値が小さい場合に正の反応をする（即ちスコアが高くなる）ように設定されている。これに対し、背景領域は、距離値が大きい場合に正の反応をするように設定されている。そのため、局所部位領域に長尺部が存在し、背景領域に地表等が存在する場合に最もスコアが高くなるようにマッチング処理が行われる。

具体的には、３層のマッチングが行われる。１層目では、９つの領域のそれぞれについて、以下の式（１）の演算によりスコアが算出される。ここで、ｆは活性化関数であり、ｗは重みであり、ｄは距離値であり、Ｔは比較の基準値である。ｗ及びＴは、上述したような反応を示すように、かつ、スコアの最大値が同じになるように設定することが好ましい。例えば、局所部位領域についてはｗ＝０．５、Ｔ＝−１とし、背景領域についてはｗ＝−１、Ｔ＝０とする。これにより、９つの領域毎にスコアが算出されることとなる。

２層目では、式（２−１）に示すように、局所部位領域を構成する３つの領域（図５のＡ１，Ａ２，Ａ３）について、それぞれのスコアを線形結合する。同様に、式（２−２）に示すように、一方側の背景領域を構成する３つの領域（図５のＢ１，Ｂ２，Ｂ３）について、それぞれのスコアを線形結合する。他方側の背景領域を構成する３つの領域（図５のＢ１′，Ｂ２′，Ｂ３′）についても、それぞれのスコアを線形結合する。

３層目では、式（３）に示すように、２層目で求めた複数（本実施形態では３つ）のスコアを線形結合する。以上により、判定画像を用いたマッチング処理によるスコアが算出される。

このマッチング処理は、判定画像の角度を変えて合計複数回行われる。判定画像の角度を変更した場合であっても、各領域のサイズは実質的に同じである（厳密には領域のサイズに合わせて画素が設定されるので、画素数が僅かに異なることがある）。局所部位検出部２２は、全ての角度についてマッチングが終了したか否かを判定し（Ｓ２０５）、終了していない場合は、判定画像を回転させることで、次に判定を行う角度に応じた判定画像を作成する（Ｓ２０６）。そして、局所部位検出部２２は、次に判定を行う角度に応じた判定画像を用いてマッチング処理を行う。なお、判定を行う角度に応じた判定画像を予め記憶しておいて必要なタイミングで読み出すことで、判定画像を回転させる処理を省略することもできる。また、判定画像に代えて植物画像を回転させてマッチングを行ってもよい。

局所部位検出部２２は、全ての角度についてマッチングが終了した後に、判定画像の角度毎のスコアを比較して、最も高かったスコア（局所部位スコア）を記憶するとともに、そのときの判定画像の角度を記憶する（Ｓ２０７）。この局所部位スコアは注目画素の局所部位の存在確率を示しており、この角度は局所部位の長手方向を示す値である。なお、全ての角度のスコアが閾値以下である場合は、局所部位スコアを最小値とする処理を行ってもよい。また、本実施形態では、本実施形態では何れの方向が長手方向の先端側か基端側という判定までは行わないため、この角度は１８０°の範囲（０°から１８０°、又は、−９０°から＋９０°等）が設定されている。以上の処理を植物画像の画素毎に行うことで、各画素における、局所部位の存在及びその長手方向を得ることができる。

次に、局所部位のうち長手方向で連結されている箇所を検出して連結することで、一続きの長尺部を検出する、ステップＳ１０４の処理について詳細に説明する。図６は、局所部位同士の連結箇所を特定して長尺部を検出する処理を示すフローチャートである。図７は、局所部位同士が連結するか否かを検出する処理の概念図である。

初めに、長尺部検出部２３は、上述の局所部位の検出結果（具体的には画素毎の局所部位スコア）を取得する（Ｓ３０１）。長尺部検出部２３は、この検出結果に含まれる局所部位の方向（長手方向）に基づいて、注目画素から当該方向に所定距離離れた位置に、候補点を設定する（Ｓ３０２）。図７では、局所部位の長手方向が異なる２つについて、候補点を設定する様子が示されている。図７に示す例では、注目画素の延長線上の画素だけでなく、それに局所部位の短手方向において隣接する複数の画素を含めて候補点としている。また、候補点の画素を候補画素と称する。なお、注目画素の延長線上の画素のみを候補画素としてもよい。

次に、長尺部検出部２３は、注目画素と候補点の長手方向の方位差を算出する（Ｓ３０３）。局所部位の画素毎の長手方向は既に算出されているため、その値を用いて方位差を算出できる。なお、候補点を複数設定する場合は、複数の候補点のそれぞれにおける方位差の平均値又は最大値等を算出して、方位差とする。方位差とは、２つの方向が屈曲なく繋がる状況を基準とした角度の差異である。従って、局所部位の長手方向が−９０°から＋９０°で設定されている場合において、注目画素が８０°で候補点が−８０°であった場合、方位差は１６０°ではなく、それを１８０°から減算した２０°となる。

次に、長尺部検出部２３は、方位差とスコアが対応付けられたテーブルに基づいて、注目画素の連結スコアを取得して記憶する（Ｓ３０４）。連結スコアとは、局所部位が周囲（候補点）と連結しているか否かを数値化したものであり、数値が高い方が連結している確率が高いことを示す。このテーブルは、２つの画素における局所部位が長手方向で連結しているか否かを判定するためのものである。従って、全体的な傾向としては、方位差が小さいと連結スコアが高くなり、方位差が大きいと連結スコアが低くなる。具体的には、第１閾値（例えば３０°）以下であれば連結スコアは最大であり、第２閾値（例えば６０°）以上は連結スコアが最小である。第１閾値と第２閾値の間は連結スコアが徐々に変化する。以上の処理を注目画素毎に行うことで、連結の有無も考慮したより正確な局所部位の存在確率を数値化できる。この処理は、局所部位スコアが所定以上の画素についてのみ行う構成であってもよい。

なお、図６の処理に加えて、以下の処理を行って連結スコアを補正することもできる。例えば、連結されている局所部位同士は距離値がある程度近くなることが想定されるので、注目画素と候補画素の距離値が大きくなるほど連結スコアが小さくなるような補正を行ってもよい。また、注目画素と候補画素のうち高い方の局所部位スコアを最大値で除した値を補正係数として、当該補正係数をテーブルに記載のスコアに乗じて連結スコアを算出してもよい。これにより、局所部位の存在確率を考慮した連結スコアを算出できる。また、注目画素と候補画素とを結ぶ直線上の画素における連結スコアを最大値で除した補正係数として、当該補正係数をテーブルに記載のスコアに乗じて連結スコアを算出してもよい。また、ステップＳ３０１で取得する、画素毎の局所部位スコアに対して、メディアンフィルタ処理を行ってもよい。

次に、長尺部の端部及び分岐構造を特定して、長尺部の全体構造を検出する、ステップＳ１０５の処理について詳細に説明する。図８は、長尺部の分岐構造を解析する処理を示すフローチャートである。図９は、長尺部の分岐構造を解析する処理の概念図である。

初めに、構造検出部２４は、画素毎の連結スコアを取得し、所定の閾値以上か否かで２つに分類して二値化を行う（Ｓ４０１）。以下では、連結スコアが所定の閾値以上の画素で構成される画像に対して処理を行う。

構造検出部２４は、図９Ａに示すように、二値化した画像に対して任意の直線を引き、この直線と長尺部とが重なっている部分の中点を構造探索の最初の起点と設定する（Ｓ４０２）。次に、図９Ｂに示すように、設定した起点を中心に一定サイズの円を描画する（Ｓ４０３）。この円のサイズが小さいほど、長尺部の詳細な構造を分析することができるが、長尺部の太さ（短手方向の長さ）よりは円の直径を大きくする必要がある。

構造検出部２４は、円の輪郭の全てが長尺部と重なっているか否かの判断（Ｓ４０４）、円の輪郭の全てが長尺部以外と重なっているか否かの判断（Ｓ４０５）を行う。これらの判断において何れもＮＯに該当する場合、構造検出部２４は、円の輪郭と長尺部とが重なる部分を抽出し、この重なっている部分の中点を次の起点と設定する（Ｓ４０６）。図９ＢからＤに示すように、この処理を継続することで、長尺部の探索が行われる。なお、図９Ｄに示すように、長尺部が分岐していて２つの起点が設定される場合は、それぞれの起点に対して処理が行われる。

また、円の輪郭の全てが長尺部と重なっている場合は長尺部の誤検出である可能性が高い。そのため、構造検出部２４は、この円に基づく探索を中止するとともに、別の未処理の起点があれば、当該起点について同様の処理を行う。

また、図９Ｅに示すように、円の輪郭の全てが長尺部以外（具体的には、既に描画した他の円、連結スコアが閾値以下の画素）と重なっている場合、長尺部の端部に到達した可能性が高い。なお、図９Ｅの左下部分では、端部の位置の推定処理を分かり易くするために、描画した円の下に表示されていた長尺部を鎖線で記載している。構造検出部２４は、直前に描画した円と長尺部の中点と、今回描画した円と長尺部の中点と、を結ぶ線分を延長し、当該延長した線と、描画した円の下に表示されていた長尺部の輪郭と、が交わった点を端部と認定する（Ｓ４０７）。

以上の処理を継続し、長尺部の構造の探索を行っていない別の未処理の起点がなくなったと判断した時点（Ｓ４０８）で、長尺部の構造の探索を完了する。このように、本実施形態では、無作為に決定した部分から長尺部の長手方向に沿って探索を行い、分岐があった場合はその旨を登録し、長尺部の端部に到達した時点で探索を終了する。これにより、簡単な処理で長尺部の分岐構造を詳細に探索できる。

次に、図１０を参照して、本実施形態の処理を行うことで作成される画像について説明する。図１０（ａ）は、画素毎に色情報が示されている画像（撮影装置１１の一方の撮像素子が取得した画像）である。図１０（ｂ）は、植物の同じ箇所の距離画像である。図１０（ｃ）は、植物の同じ箇所の局所部位スコア画像（画素毎の局所部位スコアを輝度で示した画像）である。図１０（ｄ）は、植物の同じ箇所の連結スコア画像（画素毎の連結スコアを輝度で示した画像）である。このように、本実施形態の処理を行うことで、植物の長尺部（この例では果柄等の茎）を正確に検出できる。

以上に説明したように、植物長尺部検出システム１は、撮影装置１１と、局所部位検出部２２と、長尺部検出部２３と、を備える。撮影装置１１は、植物から植物画像を取得する。局所部位検出部２２は、植物画像と、植物の長尺部を長手方向に分割して得られる局所部位の存在を判定する判定画像とを比較することで、当該植物画像に含まれている複数の局所部位を検出する。長尺部検出部２３は、局所部位検出部２２によって検出された複数の局所部位を連結して、植物画像に含まれる長尺部を検出する。

また、上記実施形態の植物長尺部検出システム１において、植物画像は距離画像である。判定画像は、局所部位領域と、背景領域と、を含む。局所部位領域は、植物画像との比較時において、植物画像が示す距離が近いほど局所部位の存在確率が高いと判定する領域である。背景領域は、植物画像との比較時において、植物画像が示す距離が遠いほど局所部位の存在確率が高いと判定する領域である。

また、上記実施形態の植物長尺部検出システム１において、局所部位領域は直線状であり、当該局所部位領域の長手方向が、長尺部の長手方向と同じである。局所部位領域の短手方向の両側に直線状の背景領域が配置されている。

また、上記実施形態の植物長尺部検出システム１において、長尺部検出部２３が検出した長尺部から当該長尺部の分岐構造を検出する構造検出部２４を更に備える。構造検出部２４は、長尺部の端部及び分岐点を特定する処理を当該長尺部の長手方向に沿って行うことで、長尺部の連結構造を検出する。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

上記実施形態で説明した処理は一例であり、一部の処理を省略又は順序変更したり、他の処理を追加することもできる。例えば、ステップＳ１０２の植物画像の補正及びステップＳ２０３の正規化処理は省略することができる。

上記実施形態では、判定画像は、長尺部の短手方向に３分割されているが、４分割以上であってもよいし、１分割又は２分割であってもよい。分割数を増やすことで、局所部位の検出精度を向上させることができる。一方で、分割数を減らすことで、演算量を低減できる。

上記実施形態では、植物画像を取得する前に判定画像を作成して記憶しておく構成であるが、植物画像の取得後に判定画像を作成する構成であってもよい。

上記実施形態では、撮影装置１１が距離画像を取得する構成である。これに代えて、撮影装置１１は撮像素子が１つのカメラであり、対象物の色に応じて各画素の色（例えばＲＧＢ値）を変化させた画像を取得する構成であってもよい。この場合、長尺物と背景の境界において色又は輝度が大きく変化する。従って、これを判定する判定画像を用いて局所部位を検出可能である。

１植物長尺部検出システム
１１撮影装置
１２制御装置
２１判定画像読出部
２２局所部位検出部
２３長尺部検出部
２４構造検出部

Claims

植物から植物画像を取得する撮影装置と、
前記植物画像と、前記植物の長尺部を長手方向に分割して得られる局所部位の存在を判定する判定画像とを比較することで、当該植物画像に含まれている複数の前記局所部位を検出する局所部位検出部と、
前記局所部位検出部によって検出された複数の前記局所部位を連結して、前記植物画像に含まれる前記長尺部を検出する長尺部検出部と、
を備えることを特徴とする植物長尺部検出システム。
請求項１に記載の植物長尺部検出システムであって、
前記植物画像は距離画像であり、
前記判定画像は、
前記植物画像との比較時において、前記植物画像が示す距離が近いほど前記局所部位の存在確率が高いと判定する領域である局所部位領域と、
前記植物画像との比較時において、前記植物画像が示す距離が遠いほど前記局所部位の存在確率が低いと判定する領域である背景領域と、
を含むことを特徴とする植物長尺部検出システム。
請求項２に記載の植物長尺部検出システムであって、
前記局所部位領域は直線状であり、当該局所部位領域の長手方向が、前記長尺部の長手方向と同じであり、
前記局所部位領域の短手方向の両側に直線状の前記背景領域が配置されていることを特徴とする植物長尺部検出システム。
請求項１から３までの何れか一項に記載の植物長尺部検出システムであって、
前記長尺部検出部が検出した前記長尺部から当該長尺部の端部及び分岐構造を検出する構造検出部を更に備え、
前記構造検出部は、前記長尺部の端部及び分岐点を特定する処理を当該長尺部の長手方向に沿って行うことを特徴とする植物長尺部検出システム。