JP7574802B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP7574802B2 JP7574802B2 JP2021558252A JP2021558252A JP7574802B2 JP 7574802 B2 JP7574802 B2 JP 7574802B2 JP 2021558252 A JP2021558252 A JP 2021558252A JP 2021558252 A JP2021558252 A JP 2021558252A JP 7574802 B2 JP7574802 B2 JP 7574802B2
- Authority
- JP
- Japan
- Prior art keywords
- crop
- image data
- crops
- row
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Mining & Mineral Resources (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Agronomy & Crop Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
特許文献1には、圃場を撮像し、植生状態のリモートセンシングを行う技術に関して開示されている。
また画像処理によって作物のカウントを行う場合、画像においてロウ(畝や作付けのライン)を指定することで、カウント精度を上げることができるが、そのためには畑の領域やロウの方向、ロウの位置などを手入力する必要があり、多くの画像を処理する場合に非常に手間がかかる。
圃場に関する画像データにおいて作物の部分を検出する。これに基づいて画像データにおけるロウを決定する。
作物検出として作物らしい領域の検出を行うことで、作物の並びとしてのロウが推定できるので、それをロウ候補とする。各ロウ候補については、作物間隔に基づいて確からしさを判定する。
作物検出として作物らしい領域から生育サイズを推定することで、画像データ上の作物間隔を適切に判定できる。そのような作物間隔からロウ候補の確からしさを判定する。
即ちロウを直線に限定せず、曲線、或いは一部曲線のロウも検出し、画像データ上でのロウとして決定する。
即ち直線、曲線、或いは一部曲線のロウを、分割画像の短い直線を用いて検出できるようにする。
作物の生育に関する出力情報とは、例えば単位面積あたりの作物数、予測収穫量、作物割合など、圃場の管理に用いることができる情報である。
ロウ決定がされた場合に、そのロウの上にある植物部分として、作物の個数をカウントする。
作物間隔が求められることで、本来あるべき作物が無い箇所としての欠落箇所が推定できることになる。
理想的な作付け数とは、種を蒔いた箇所の全てで作物が生育したとした場合に集計される作物数となる。そして欠落箇所が求められることで、理想的な作付け数が求められ、それによって実際の作付けのとの比を求めることができる。
作物割合は発芽した作物の割合であり、例えば発芽割合、発芽率などと言い換えることもできる。
作付けの有効面積とは、実際に作付けが行われる範囲の面積であり、例えば圃場の内で、作付けが行われない範囲を除いた面積である。
代表出力情報とは、例えば作物数、収穫量、作物割合などの出力情報について、複数の各画像データから求められたものの平均値、中央値、重心値などである。
配置間隔とは作物が生えている場所の間隔である。配置間隔が近い作物どうしを検出し、例えば表示上で識別できるような出力情報を生成する。
配置間隔が近い作物は生育が劣化するため、通常にカウントして予測収穫量を求めることは適切ではない。そこで配置間隔が近い作物の数を予測収穫量の算出に反映させる。
例えば或る圃場について、一連の撮像動作により撮像した複数の画像データが存在する場合や、或いはほぼ同じ時期に撮像した複数の画像データが存在する場合などで、そのうちの一つの画像データについて算出した作物間隔、育成サイズ、ロウ間隔などの算出データが存在する場合、その算出データは他の画像データについてのロウ決定処理や出力情報演算処理においても使用できる。
例えば或る圃場について、一連の撮像動作により撮像した複数の画像データが存在する場合や、或いはほぼ同じ時期に撮像した複数の画像データが存在する場合などでは、一つの画像データについて算出した作物間隔、育成サイズ、ロウ間隔などが、他の画像データから求めた値とかけ離れている場合は、平均値や中央値などとされる代表算出データの値を使用するようにする。
例えば農場主が所有している圃場のマップデータを用いて、画像データにおける有効範囲を判定する。
例えば画像データ上で、決定したロウを明示するなどの表示を行い、ユーザが確認できるようにする。
これにより情報処理装置において作物の情報を算出精度に貢献するロウの特定を人手を介さずに容易に実現できる。
本技術に係るプログラムは、上記方法の処理を情報処理装置に実行させるプログラムである。これによりユーザの手間をかけずに精度の良い出力情報を生成するコンピュータ装置の実現が容易となる。
<1.センシングシステムの構成>
<2.情報処理装置の構成>
<3.情報処理装置の処理>
<4.第1の実施の形態>
<5.第2の実施の形態>
<6.第3の実施の形態>
<7.第4の実施の形態>
<8.第5の実施の形態>
<9.第6の実施の形態>
<10.第7の実施の形態>
<11.第8の実施の形態>
<12.第9の実施の形態>
<13.第10の実施の形態>
<14.まとめ及び変形例>
まず実施の形態のセンシングシステムについて説明する。
図1はセンシングシステムを構成する情報処理装置1と、例えばドローンのような小型の飛行体200に搭載された撮像装置220を示している。
飛行体200には撮像装置220が例えば下方を撮像するようにセットされている。飛行体200が、所定の経路で圃場300の上空を移動する際に、撮像装置220は例えば定期的に静止画撮像を行う。
短時間間隔で静止画撮像を行うことで、撮像した各画像のスティッチ処理を行って、圃場全体を映し出した合成画像を得ることもできる。しかし本実施の形態のセンシングの場合は、必ずしもそのようなことは必要なく、例えば圃場300において離散的な領域が、センシングのサンプルとして撮像されて複数の画像データが得られればよい。
マルチスペクトラムカメラとしては、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられることも想定される。NDVIとは植物らしさを表す植生指数であり、植生の分布状況や活性度を示す指標とすることができる。
NDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
NDVI=(NIR-R)/(NIR+R)
として求められる。
例えば撮像装置220と情報処理装置1の無線通信やネットワーク通信などにより画像データやタグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、LAN(Local Area Network)等、衛星通信網、その他の各種のネットワークが想定される。
或いは撮像装置220に装着されていた記録媒体(例えばメモリカードなど)が情報処理装置1側で読み取られるなどの態様で画像データやタグ情報が情報処理装置1に受け渡される。
具体的には、画像データに写された作物のカウント等を行い、それに基づいて、例えば作物数、単位面積あたりの作物数、予測収穫量、作物割合など、圃場の管理に用いることができる情報を生成し、ユーザに提示することができる。
なお、図1では情報処理装置1は撮像装置220とは別体のものとしているが、例えば撮像装置220を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
ロウとは、作物が作付けされたラインのことであり、例えば圃場300において種植えのために形成される畝もロウの一種である。また特に畝のように土を盛り上げた状態としたものに限らず、平地に種を蒔いていったときに形成されるラインもロウである。例えばトラクター(播種機)で種まきをしたときに形成される、植え付けのラインがロウと呼ばれる。
本実施の形態の場合、飛行体200が移動しながら撮像装置220によって圃場300が撮像されていくが、適宜タイミングで例えば図中の撮像範囲SP1、SP2のように、各所が撮像されることになる。例えば1フレームの静止画撮像画像として撮像範囲SP1の画像データや、撮像範囲SP2の画像データが撮像装置220によって得られていき、これらが情報処理装置1に取り込まれる。
図2Bでは、このようにロウ301がカーブする状態を示している。
以上のセンシングシステムにおいて撮像装置220からの画像データを取得して処理を行う情報処理装置1について説明する。
CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU51、ROM52、およびRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
表示部56では、CPU51の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
この通信部60は例えば撮像装置220との通信を行う通信デバイスとされる場合もある。
例えばストレージデバイス62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス62の一態様である。
またこの図3の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
これらの処理機能はCPU51で起動されるソフトウエアにより実現される。
そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス62(例えばリムーバブル記憶媒体)から読み出されたりして図3の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
また各機能の演算経過や結果の記憶は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
例えば出力情報生成部5は、画像データに写されている作物のカウントや、作物のカウント数に基づいて単位面積(例えば1エーカーなど)あたりの作物数、予測収穫量、作物割合などの計算を行う。
情報処理装置1の基本的な処理例を、図5を参照して説明する。
図5は、CPU51が処理対象とした画像データに対して必要な演算処理を行い、出力情報を生成して出力するまでの一連の処理を示している。この処理はCPU51が図4に示した機能を備えることで実現される。即ちステップS50は画像取得部2、ステップS100からステップS130はロウ決定部4、ステップS140は出力情報生成部5、ステップS150はUI制御部6(又は記録制御部7、又は不図示の通信制御部)の機能による処理となる。
ステップS100でCPU51は、処理対象とした画像データについて、画像内で作物らしい領域の検出を行う。
ステップS110でCPU51は、画像内でロウと推定される箇所をロウ候補として検出する。このロウ候補の検出は、ステップS100で検出した作物らしい領域の検出結果を用いて行うことになる。
ステップS130でCPU51は、画像内におけるロウを決定する。
ステップS150でCPU51は、算出した出力情報を出力する処理を行う。例えば出力情報を表示部56で表示させたり、記憶部59やストレージデバイス62に記録させたり、通信部60により外部機器に送信させたりする処理である。
なお各実施の形態の処理の説明では、記述の処理と同様の処理は同一のステップ番号を付し、重複した説明を避ける。
図5の処理の具体的な例として図6の処理例を説明する。これは、図5のステップS120、S140の処理の詳細な例を示すものである。また各ステップS50、S100、S110、S130、S150の各処理についても詳述する。
例えばRGBカメラで撮像した画像を用いる場合の検出手法としてG画素検出を説明する。
作物は主に葉で構成され、葉は一般的に、緑色をしているので、RGBのカラー画像から緑色の領域を検出する。緑色の領域の検出については、例えば、画像中のある画素におけるRGBの各成分を比較して、G(緑)が一番高い画素のみを検出すればよい。
あるいは、RGBをHSVなどの明度、彩度、色相の空間に変換する。そして、色相値の緑色にある幅を持った領域を設けることによって、領域内の色相を持つ画素を検出してもよい。
作物(植物)の分布を示す指数であるNDVIは近赤外と赤から計算され、±1の値域をとり、作物はNDVI値が高く、土壌などはNDVIが低い。そのためIRデータとRデータからNDVI画像を作成し、閾値処理によって作物らしい画素を検出する。
なお既にNDVI画像が存在する場合は、上述のようにステップS50でNDVI画像を取得し、ステップS100では、閾値処理によって作物らしい画素を検出すればよい。
図7Aの画像は、作物310がロウ上に並んで植えられている画像であるが、いくつか欠落(作物310があるべきなのに存在しない箇所)があり、また、雑草315のような、作物以外の植物がロウ以外の箇所に存在する画像である。
例えば、NDVI値についての閾値を2つ設定し、「作物らしい」もしくは「作物らしくない」の2種類に加えて、「作物かそれ以外かは不明」の3値にしてもよい。
CPU51は、以降、画像内でロウを探索する処理を行うことになる。
ロウは一般的には直線であるので、画像内の作物310の並びの直線を検出する。直線の検出には、ハフ変換やRANSAC(Random Sample Consensus)などを用いる。
上記した作物らしい画素(図7Bの白画素部分)を通る直線をロウ候補として検出する。ロウの本数や方向は未知であるので、ここでは、図8の破線K1から破線K7のように画像内でロウらしい直線をすべてロウ候補として検出しておく。
まず、あるロウ候補の直線について、直線付近にある作物らしい画素を直線に沿ってプロジェクションを行う。具体的には、ロウ候補の直線に平行な任意の直線を仮定し、その直線上にある作物らしい画素の数をカウントする。これによって、ロウ候補の直線に垂直な方向に対する作物らしい画素の分布を得ることができる。
図9に、図8の左端の破線K1で示すロウ候補の直線のプロジェクションを計算した例を示す。ロウ候補の直線は作物らしい画素を通るように検出されているので、この分布は、中央付近で最も高くなり、中央から離れていくにつれて下がっていく。そして、この分布に対して、ある閾値thSを設定し、閾値以上となる幅WSを作物サイズとして推定する。閾値thSとしては、例えば中央値の半分とすることが考えられる。
同じ時期に作付けされた作物は、ほぼ同じ大きさであると考えられるので、算出したすべてのロウ候補の作物サイズの平均値、中央値などの値を作物サイズSSとして決定する。
あるいは、任意のロウ候補の直線付近にある作物らしい画素のプロジェクションをすべて合計して、閾値処理によって、一意に作物サイズSSを決定してもよい。
この場合、まず算出した作物サイズに応じて、ロウ上に参照領域RAを設定する。図10Aに参照領域RAの例を示している。参照領域RAは、例えば、作物サイズSSを直径とした円領域でもよいし、作物サイズSSを1辺とした正方形領域でもよい。もちろん他の形状でもよい。
この参照領域RAをロウ候補の直線(図10Cの破線K1から破線K7)に沿って動かしながら順次、作物箇所を決定していく。例えば図10Bのように参照領域RAを破線K1に沿って動かしながら、それぞれの参照領域RAの箇所が作物箇所であるか否かを判定する。例えば参照領域RA内の作物らしい画素数をカウントして、カウント数が或る閾値thC以上の場合には、参照領域RAの位置を作物箇所CSとして決定する。この場合の閾値thCは、例えば、参照領域RAの面積の半分や2/3などに設定すればよい。
図10Cにロウ候補上の作物箇所CSを検出した例を示している。
まず、任意のロウ候補の直線において、上記した処理で検出された作物箇所CSについて、隣にある作物箇所までの距離を計算する。すべての作物箇所CSにおいて、隣の作物箇所CSまでの距離を計算し、その平均値あるいは中央値などを、処理対象の画像における作物間隔として決定する。
正しいロウ上には、作物が均等に植えられているので、算出した作物間隔を用いて、正しい作物間隔で作付けされた作物の組の数をカウントする。
「作物の組」とは、隣り合う2つの作物のことであり、この場合の処理上では、隣り合う2つの作物箇所CSのことに相当する。つまり正しい作物間隔となっている、2つの作物箇所CSの組の数をカウントする。
作物間隔が正しいかどうかの判定は、作物間の距離が上記した作物間隔に対して誤差範囲内であるとする。ここでの誤差範囲とは例えば20%などを予め設定しておく。
このようにCPU51は、正しい作物間隔で作付けされた作物の組みの数を、各ロウ候補について算出し、その値をロウ候補の確からしさの値として設定する。そしてその値が大きい方がロウらしいと定義する。
これを交差するロウ候補が無くなるまで繰り返す。
CPU51はこれらの残ったロウ候補を、画像上におけるロウであると決定する。
ロウを検出しているため、雑草などのロウ外もランダムに生えている植物と、ロウ上に生えている作物と区別することができため、作物数のカウントを精度よく実行できることになる。
またCPU51は、ロウの数や位置、作物箇所CSなど、作物数を計算するまでに求められている情報を補助情報として出力してもよい。
そこでカウントした作物数を、単位面積あたりの作物数に換算することも有効である。例えば画像データとともに取得したタグ情報から、撮像時の飛行高度や画角の値を取得し、処理対象の画像データの撮像範囲の面積を算出する。そして算出した撮像範囲の面積と、単位面積(例えば1エーカーなど)との比を求め、比に相当する係数をカウント数に乗算することで、単位面積あたりの作物数を求めることができる。ステップS150でCPU51は、この単位面積あたりの作物数の情報を出力するようにしてもよい。
上記の第1の実施の形態では画像内の作物数を出力情報とすることを述べたが、作物数は撮像範囲の面積に依存するので扱いにくい場合がある。
そこで、撮像範囲の面積に依存しない、作物割合を算出する。ここでいう作物割合とは、作付けが一定のルールで行われる場合(例えば、ロウ間の幅は等間隔、ロウ上の作物間隔は等間隔など)、理想的な作付け数と実際の作付け数の比で表される。例えば、
作物割合=(実際の作付け数)/(理想的な作付け数)
とすることができる。従って発芽率と言い換えることもできる。
第1の実施の形態で検出した作物数は、実際の作付け数(発芽した数)であるので、作物割合を求めるためには、理想的な作付け数を求める必要がある。
図5のステップS120で図6のステップS121からステップS123の処理を行うとすると、作物間隔を計算しているので、例えば図5のステップS140として作物割合を計算する場合、理想的な作付け数の計算のために、既に求めた作物間隔の値を利用できる。
理想的な作付け数とは、ロウ上の作物間隔毎の箇所の全てに作物が観測される状態であるため、画像上で、作物間隔毎の箇所の数をカウントすれば、それが理想的な作付け数となる。この理想的な作付け数に対して実際にカウントした作物の数が作物割合となり、例えば「何%の出来」などとしての作物割合を求めることができる。
図12の処理は例えばステップS140においてCPU51が出力情報算出の一つとして実行する処理である。
理想的な作付け数は、検出された実際の作物数に、本来は作物があるはずの位置に作物がない欠落箇所の数を加えればよい。欠落箇所の数を次のようにして求める。
n=(d-(d%D))/D-1 (1)
また、ロウのラインの画像上の端部では、隣り合う作物の間隔が定義できないので、ロウと画像端の交点に仮の作物を配置し、仮の作物と隣り合う作物の間隔を求め、式(1)を用いて欠落箇所の総数を算出する。
図13に処理対象の画像上で検出される欠落箇所FPを示している。
欠落箇所FPの数(N)と作物数(P)が分かったことにより理想的な作付け数はP+Nとして求められる。
そしてCPU51は、ステップS144で作物割合Rを次式で求めることができる。
R=P/(P+N)×100[%] (2)
第3の実施の形態として、作付けの有効面積を求める手法について述べる。
ロウ間が等間隔で配置されている場合、任意のロウに対して、ロウ間の半分の距離を基準にしてロウの有効範囲を示すことができる。例えば、図14では処理対象の画像データにおける画像上で、破線K1,K2,K3,K4で示すロウの中心ラインから、ロウ間の半分の距離内に含まれる範囲に斜線を付し、斜線部とならない部分を黒塗りとしている。この黒塗りの部分は、作付けが行われない領域と考えることができる。
ステップS145でCPU51は、ロウ間の距離を算出する。先に図6のステップS130で処理(P3)として説明したようにロウ間隔を算出していれば、それを用いればよい。
ステップS147でCPU51は作付けの有効面積を算出する。これは、黒塗り部分を除いた有効範囲の面積を求めることになる。
この作付けの有効面積は、ロウの間で作付けが行われない部分を除いた面積となり、例えば作物数などの情報とともに出力することで、圃場管理に有用な情報となる。
以上の手法は、画像内に畑以外の領域、例えば、あぜ道、用水路などが写っているときに正しい作物面積を求めるために用いることが好適である。
第4の実施の形態は、非直線のロウにも対応可能とする例である。
第1の実施の形態では、ロウ候補を直線で算出する例を述べたが、ロウは必ずしも直線であるとは限らない。特に農地の端では、ロウは農地の周囲の形状に沿って曲げられることがある。例えば図2Bのようなロウ301も存在する。そこで曲線部分を有する曲がったロウも検出できるようにすることが望ましい。
図16に処理手順を示す。CPU51は図5、図6のステップS110において図16の処理を行うようにする。
ステップS111でCPU51は意匠の画像データについて複数の領域に分割する。分割数は任意であるが、例えば方形の画像を方形に4分割、9分割、16分割、32分割、64分割などが考えられる。
なお、以上の手法の場合、カーブが多い場合やカーブの曲率が大きい場合などは、画像の分割数が多いほうが、正確なロウのプロットに有利となる。従って、センシングする圃場300のロウの状態に応じて適切な処理を行うために、画像の分割数を変更できるようにすることも考えられる。
また、検出した複数の直線で構成されているロウを、ロウ上の作物位置から、最小二乗近似で近似曲線を算出してもよい。
第5の実施の形態は圃場300のマップ情報を利用する例である。
第1の実施の形態では画像全体の作物を検出していたが、画像を撮像した際の撮像装置220の位置(飛行体200の位置)と、農家が持っている圃場300の有効区域のマップを重ね合わせて、畑の有効領域を求めて置き、その有能領域のみでロウや作物の検出を行うようにする。
図17の処理では、CPU51はステップS301でマップ情報を取得する。
ステップS302でCPU51は、取得していた複数の画像データのそれぞれについて、位置情報や画角、撮像角度などの情報から撮像範囲を求め、マップ上にプロットする。ここでいう複数の画像データとは、例えば1回のフライトで飛行体200を移動させながら定期的に撮像することで得られた各画像データのことである。即ちセンシングのためのサンプルとした画像である。
例えばCPU51は1枚の処理対象の画像について、図5のステップS130までの処理を行い、ステップS140で出力情報を算出する処理を行っているとする。この際に、図18の処理も行って、作付けの有効面積を求める。
ステップS1402でCPU51は、マップ情報に現在処理対象としている画像データを重ね合わせる。即ち画像データの撮像範囲をマップ上に投影するような処理である。
このように求めた有効範囲は、第3の実施の形態で述べた有効面積として用いることができる。
第1の実施の形態では、1枚の画像データ上の作物数を求めていた。これを複数の画像データでの処理結果の平均値あるいは中央値などを用いて、作物数などの値の信頼度を上げてもよい。
ここでいう複数枚とは、飛行体200に搭載された撮像装置220で、移動しながら撮像した、同じ場所付近ではあるが異なる場所を撮像した画像データでもよいし、同じ場所で日時を変えて撮像した画像データでもよい。
ステップS1410でCPU51は、複数の画像データの出力情報を取得する。例えば複数の画像データから算出された作物数、単位面積あたりの作物数、作物割合、などである。
ステップS1411でCPU51は、代表値を算出する。例えば作物数の場合、複数の画像データから算出された作物数の平均値、中央値、或いは重心値などを求め、それを代表値とする。
ステップS1412でCPU51は、求めた代表値を代表出力情報として設定する。
第7の実施の形態は他の画像データから求めた情報を利用する例である。
例えば図6の第1の実施の形態の処理では、作物サイズ、作物間隔、ロウ間隔などを画像データ毎に別々に画像処理によって求めることになる。
一方で、飛行体200で同じ圃場300、あるいは同じ時期、あるいは同じ機材で、複数枚の画像を撮像した場合、作物サイズ、作物間隔、ロウ間隔などはほぼ同じ場合であると考えられる。
そこで、複数枚撮像された画像データの内1枚、あるいは一部の複数枚の画像データから検出した作物サイズやロウ間隔(一部の複数枚の画像を用いた場合は、作物サイズ、作物間隔、ロウ間隔などのそれぞれの平均値、中央値、重心値など)を、その他の画像に適用するとよい。
CPU51はステップS50で処理対象とする1枚の画像データを特定したら、ステップS51で、既に他の画像データにおいて作物間隔が算出済みであるか否かを確認する。
ここでいう他の画像データとは、例えば同じフライトで撮像された他の画像データなど、同時期の同一圃場300を撮像した画像データである。
作物間隔が算出済みでなければ、CPU51はステップS100からステップS123の処理で作物間隔を求めてからステップS124以降に進むようにする。
このような処理により、処理演算の効率化を図ることができる。
第8の実施の形態は、画像データから算出された作物サイズ、作物間隔、ロウ間隔などの値が、何らかの原因で不適切な値となった際に代表値で置き換える例である。
この第8の実施の形態では、第1の実施の形態と同じように、画像データ毎にそれぞれ、図6の全ての処理を行う。
そして、画像データ毎に検出された作物サイズ、作物間隔、ロウ間隔などの代表値(平均値、中央値、或いは重心値など)を計算し、その値から大きく外れている算出結果が得ている画像データについては、作物サイズ、作物間隔、ロウ間隔の代表値を用いて再処理を行う。
そして全ての画像データについて図6のステップS50からステップS141までの処理を終えたら、図21の検証処理を行う。
この場合、CPU51は各画像データについて得られた作物サイズSSや作物間隔の値を取得し、それらの代表値を算出する。ここで言う全ての画像データとは、処理対象として採用した全ての画像データという意味である。例えば1回のフライトで得られた複数の画像データの全て或いは一部として、一旦図6の処理で処理対象として採用した画像データの全てという意味である。
ステップS402でCPU51は、特定した1枚の画像データについて検証処理を行う。具体的には、その画像データにおいて算出された作物サイズSSの値が、作物サイズSSの代表値を基準にして設定した許容範囲内にあるか否かを判定する。またその画像データにおいて算出された作物間隔の値が、作物間隔の代表値を基準にして設定した許容範囲内にあるか否かを判定する。
もちろんロウ間隔が求められている場合は、ロウ間隔についても同様に判定を行ってもよい。
ステップS405では、全ての画像データについて、以上の処理を終えたかを確認し、終えていなければステップS401に戻って、次の画像データの検証を行う。
CPU51は全ての画像データについて以上の検証を終えたら図21の処理を終了する。
このようにすることで、本来、大きな変化がないと考えられる作物サイズや作物間隔、ロウ間隔などが、何らかの原因で大きく変動し、結果として作物数、単位面積あたりの作物数、作物割合などの出力情報に不正確な値が生じてしまうことを防止できる。
第9の実施の形態は、「ダブル」と呼ばれる、非常に近接して植え付けられた作物に対応する例である。
第1の実施の形態では、ロウ上にある作物位置を検出して、作物数を集計した。しかしながら、図22のように、一部の作物の位置がお互いに非常に近い場合がある。例えばダブル320として示す一対の作物箇所CSで示される作物である。
ステップS1421でCPU51は、配置間隔が所定閾値以下の作物の組を検出する。即ちダブルの状態にある作物の組を検出する。ここで言う所定閾値とは、算出された作物間隔を基準にして、その1/3以下の値など、ダブル320であると判定する適切な値とする。所定閾値はユーザが入力してもよいし、予め設定してもよい。
例えば作物の位置を示す画像として図24のような画像を生成するが、ダブル320の部分は通常の作物と色を変えたり、マーキングの形を変えたりした画像を生成する。
このような画像が出力情報とされることで、圃場300の管理者は、ダブル320の状態にある作物を容易に認識でき、対処できるようになる。
そこで例えば図5のステップS140において図25の処理を行うようにする。
CPU51はステップS1431で、カウントした作物数Pを取得する。
ステップS1432でCPU51は、配置間隔が所定閾値以下の作物の組を検出する。即ちダブルの状態にある作物の組を検出する。所定閾値は上記図23の場合と同様である。
そしてステップS1433でCPU51は近接した作物、即ちダブル320とされる作物の数Mを取得する。これは配置間隔が所定閾値以下の作物の組の数の2倍となる(1つの組で2つの作物のため)。
一般的に、収穫量の予測は(作物数)×(作物一本あたりの平均収穫量)で計算できる。しかしながら、お互いに近い位置の作物については、1より小さい定数(例えば0.7など)を補正計数として掛けて、計算すればよい。具体的には、作物数をP、お互いが近い位置にある作物数をM、作物一本あたりの平均収穫量をK、お互いに近い位置の作物の平均収穫量の補正計数をμとすると、収穫量Hの予測は次の式で行える。
H=K(P-M)+μKM (3)
第10の実施の形態は、例えば図6の処理過程で決定したロウを、UI制御部6の機能により、ユーザが確認でき、また操作できるようにするものである。
図26に処理例を示す。これは図6の処理にステップS500からステップS503を加えたものである。
例えば図27Aのように、画像データ上に決定したロウを示すロウ提示線350を重ねたような提示画像データを生成し、これを表示部56或いは外部装置で表示させる。
そしてステップS501でユーザ操作を待機する。
即ちCPU51は、ユーザが画像上でロウ提示線350を指定したり、その削除やラインの修正等の編集操作を行ったりすることができるようにUI処理を行う。
例えば図27Aの画像に対してユーザが右端のカーブしたロウ提示線350を指定して削除する操作を行った場合、CPU51は当該ロウ提示線350に相当する部分をロウではないものとする。また図27Bのように当該ロウ提示線350を消去した画像を表示部56等によりユーザに提示させる。
ユーザがOK操作を行った場合は、CPU51は、その時点のロウ提示線350で示されるラインのロウとしての決定状態を維持し、ステップS503からステップS141に進む。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の情報処理装置1は、圃場300を撮像した画像データ内で作物検出を行い、画像データ内で、作物の植え付けが行われたラインであるロウを、作物検出の結果に基づいて決定するロウ決定部4を備えている。
これによりロウを、圃場300を撮像した画像データから自動的に判定できることになる。従って、ロウを特定するためにユーザ入力や、データ転送などの手間が不要となり、例えば圃場の状態をチェックするためのシステムとして、極めて使用性がよいシステムを実現できる。
ロウの決定に関し、まずは、作物(植物)が存在する部分は、ロウの候補となり得る。作物の存在を基準とすることで、ロウ(作物の並び)の候補を多数求めることで、或るロウの検出を逃すことを排除できる。そしてロウ候補の中から確からしさを計算することで精度のよいロウ検出が実現できる。特に作物間隔を基準とすることで、確からしさを求めやすい。もちろん、ロウが平行に並ぶことなども考慮すれば、より精度を高めることができる。
そして画像上でロウを精度よく検出することで、雑草などのランダムに生えている植物と作物と区別することもできるようになる。
作物間隔によってロウ候補について確からしさを判定する場合、その作物間隔の精度が高いことも重要となる。実施の形態の処理では、推定された作物サイズからロウ候補上の作物候補を検出している。つまり育成サイズも加味して作物間隔を検出し、それによりロウ候補の確からしさを決定することで、より精度の高いロウの決定が可能になる。
即ちロウを直線に限定せず、曲線、或いは一部曲線のロウも検出し、画像データ上でのロウとして決定する。
圃場300でのロウは、必ずしも常に直線とは限らない。直線状のロウが圃場300の端などで曲がる場合がある。また圃場300の形状や種まきの際の経路、障害物などにより、ロウは一部がカーブする場合もあるし、例えばスパイラル状、同心円状にロウが形成される場合もある。
曲線状態も含むものとしてロウ決定を行うことで、実情に合致したロウ決定を行うことが可能となる。
画像分割することで、ロウの部分を短い直線で近似することができる。この短い近似直線を接続すれば、カーブを含むロウを簡易な処理で検出でき、システムの処理負担を軽減できる。例えば二次曲線や三次曲線の近似を行う場合、ハフ変換やRANSACでは探索するパラメータの次元が増えることで処理時間が膨大になってしまうが、そのような処理負担を軽減して曲線のロウを検出できる。
作物の生育に関する出力情報とは、例えば作物数、単位面積あたりの作物数、予測収穫量、作物割合など、圃場300の管理に用いることができる情報である。
画像上のロウの情報を用いることで、画像上の植物を、ロウ上の作物か、ロウ以外の雑草かを区別することができる。従って例えば作物数、単位面積あたりの作物数、予測収穫量、作物割合などの計算を、精度よく行うことができるようになる。
そして出力情報生成部5が圃場300の状態、例えば単位面積の作物数、予測収穫量、作物割合などの計算を行うことで、圃場のスタッフにとって有用な圃場の状態を示す情報を提供するシステムを構築できる。
ロウを決定した上で作物をカウントすることで、ロウから外れている植物、つまり雑草などを誤ってカウントに含めることがなくなり、作物カウントの精度を向上させることができる。
そして画像データ内の作物の総数がわかれば、画像に写されている範囲の面積と単位面積(例えば1エーカー)の比を係数とすれば、単位面積あたりの作物数が算出できる。ロウを精度良く決定し、その上で作物カウントを行うことで、算出した単位面積あたりの作物数も精度の良い数字となる。
作物間隔が求められることで、本来あるべき作物がない箇所としての欠落箇所が推定できることになる。
そして欠落箇所のカウントを行うことにより、本来作物が発芽すべきであるのに発芽していない箇所の検出、集計ができ、圃場管理に用いる情報とすることができる。
理想的な作付け数とは、種を蒔いた箇所の全てで作物が生育したとした場合に集計される作物数となる。そして欠落箇所が求められることで、理想的な作付け数が求められ、それによって実際の作付けのとの比を求めることができる。
作物割合は発芽した作物の割合であり、例えば発芽割合、発芽率などと言い換えることもできる。
ロウ上の作物数をカウントした作物数は、画像データに写されている圃場の面積(撮影面積)に依存するので、農場管理のための情報として扱いにくい場合がありえる。飛行体200の高度や撮像装置220のレンズ状態(画角)により撮影面積が変動することで、集計される作物数も変動するためである。
そこで撮影面積に依存しない、作物割合を算出することが望ましい場合がある。
作物割合を求めることで、撮影面積に依存しない状態で、圃場の作物状態の評価を行う指標を提供できることになる。例えば作物数の情報が扱いにくい場合に好適な情報となる。
作付けの有効面積とは、実際に作付けが行われる範囲の面積であり、換言すれば圃場の内で、作付けが行われない範囲を除いた面積である。
ロウを決定することで、ロウ間隔から作付けの有効面積を求めることが可能になる。
また、作付けの有効面積を求めることによれば、実際のロウの範囲に応じた収穫率や作物割合を求めることや、あぜ道、用水路などが画像に写っているときにそれらを除外した有効面積を用いて圃場管理により有用な情報を提供することができるようになる。例えば単位面積あたりの作物数、作物割合、収穫予想量などを、より実際の圃場300の状態に即して求めることができる。
複数の画像データのそれぞれから得られた出力情報の平均値、中央値、重心値などとして代表出力情報を生成することで、より情報の信頼度を上げることができる。
圃場管理において「ダブル」と呼称される、ロウ上で極めて近接して生えている作物は、生育が劣化し、収穫量が減ってしまう場合がある。そこで圃場管理に用いる情報として、配置間隔が近い作物を提示する。これにより管理者は容易に「ダブル」に対処できるようになる。
これにより「ダブル」の状態の作物数を考慮して予測収穫量の算出ができ、情報精度を高めることができる。
例えば或る圃場300について、一連の撮像動作により、或いはほぼ同じ時期に撮像した複数の画像データが存在する場合、一の画像データについて算出した作物間隔、育成サイズ、ロウ間隔などの算出データが存在する場合、その算出データは他の画像データについてのロウ決定処理や出力情報演算処理においても使用できる。
図20のように、一の画像データについて算出した作物間隔を用いれば、ロウ決定部4は、他の画像データについて例えば図6のステップS100からステップS123の処理を省略できるため、ロウ決定の処理を効率化できる。
また別の例としては、一の画像データについて算出した作物サイズSSを用いても、ロウ決定部4は、他の画像データについて例えば図6のステップS100からステップS121の処理を省略できるためロウ決定の処理を効率化できる。
またさらに別の例として、一の画像データについて算出したロウ間距離の算出データを用いれば、出力情報生成部5は、他の画像データについて例えば図15のステップS145の処理を省略できるため、有効面積算出の処理を効率化できる。
一の画像データについて算出した作物サイズや作物間隔が通常想定される範囲を外れた値である場合、算出値は何らかのエラーと考え、代表算出データを用いることで、ロウ決定処理や有効面積算出処理を適正化できる。
例えば農場主が所有している圃場のマップデータを用いて、画像データにおける有効範囲を判定する。
圃場300の形状やあぜ道などは固定であることが通常であるため、マップデータが存在する場合、それを有効利用できる。マップデータを入力することで、画像データが圃場300の作付けの範囲を写しているか否かということや、画像データ内でのあぜ道などを判定することができ、ロウ決定部4によるロウ決定処理や、出力情報生成部5による作付けの有効面積の算出に利用できる。
画像データ上でロウ301を提示することなどにより、ユーザは情報処理装置1が画像から自動検出したロウの状態を確認できる。もし何らかの誤検出があった場合は、必要な操作を行うことでロウを修正できる。これにより、正確なロウが特定され、作物数などの出力情報の精度を向上させることができる。
無線操縦又は自動操縦が可能な飛行体200としてはいわゆるドローン、小型無線操縦固定翼飛行機、小型無線操縦ヘリコプタなどがある。
即ち図5、図6等で説明した処理を情報処理装置に実行させるプログラムである。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備えた
情報処理装置。
(2)
前記ロウ決定部は、
前記作物検出の結果に基づいてロウ候補を検出し、
各ロウ候補における作物間隔に基づいてロウとしての確からしさを計算し、
確からしさの計算結果に基づいてロウを決定する
上記(1)に記載の情報処理装置。
(3)
前記ロウ決定部は、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像データ上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
上記(1)又は(2)に記載の情報処理装置。
(4)
前記ロウ決定部は、前記画像データ内で、曲線を含むロウの決定を行う
上記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記ロウ決定部は、前記画像データを分割し、分割画像毎にロウ検出を行い、分割画像のロウ検出のラインを結合することで、曲線を含むロウ候補を設定する
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部を備えた
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記出力情報生成部は、
前記ロウ決定部が決定したロウにある作物数をカウントし、画像データ内に存在している作物の総数をカウントする
上記(6)に記載の情報処理装置。
(8)
前記出力情報生成部は、
前記ロウ決定部が求めた作物間隔を用いて作物の欠落箇所のカウントを行う
上記(6)又は(7)に記載の情報処理装置。
(9)
前記出力情報生成部は、
前記ロウ決定部が求めた作物間隔を用いて作物の欠落箇所のカウントを行い、
作物の欠落箇所のカウント結果を用いて、理想的な作付け数と実際の作付けの比である作物割合の算出を行う
上記(6)から(8)のいずれかに記載の情報処理装置。
(10)
前記出力情報生成部は、
前記ロウ決定部が決定したロウの位置に基づいて、作付けの有効面積の算出を行う
上記(6)から(9)のいずれかに記載の情報処理装置。
(11)
前記出力情報生成部は、
複数の画像データのそれぞれから求められる出力情報を用いて、代表出力情報の算出を行う
上記(6)から(10)のいずれかに記載の情報処理装置。
(12)
前記出力情報生成部は、
配置間隔の値が所定値以下の作物の組を検出し、該当する作物の組を提示する出力情報を生成する
上記(6)から(11)のいずれかに記載の情報処理装置。
(13)
前記出力情報生成部は、
配置間隔の値が所定値以下の作物の数を検出し、当該数を反映させた予測収穫量の算出を行う
上記(6)から(12)のいずれかに記載の情報処理装置。
(14)
同一圃場の画像データについての算出データの存在を確認し、算出データが存在する場合は、当該算出データを用いて処理を行う
上記(1)から(13)のいずれかに記載の情報処理装置。
(15)
画像データから算出した算出データが、同一圃場の他の画像データについて得られた代表算出データに基づく許容範囲から外れた値であった場合、代表算出データの値を適用する
上記(1)から(14)のいずれかに記載の情報処理装置。
(16)
圃場のマップデータを用いて、前記画像データにおける作付けの有効範囲を判定する
上記(1)から(15)のいずれかに記載の情報処理装置。
(17)
前記ロウ決定部が決定したロウを提示する制御を行うとともに、ユーザ操作を検知するユーザインタフェース制御部を備え、
前記ロウ決定部は、検知されたユーザ操作に応じてロウ決定の変更を行う
上記(1)から(16)のいずれかに記載の情報処理装置。
(18)
圃場を撮像した画像データ内で作物検出を行い、
前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定する
情報処理方法。
(19)
圃場を撮像した画像データ内で作物検出を行う処理と、
前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定する処理と、
を情報処理装置に実行させるプログラム。
2 画像取得部
4 ロウ決定部
5 出力情報生成部
6 UI制御部
7 記録制御部
51 CPU
56 表示部
57 入力部
59 記憶部
60 通信部
200 飛行体
220 撮像装置
300 圃場
301 ロウ
310 作物
315 雑草
350 ロウ提示線
Claims (18)
- 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備え、
前記ロウ決定部は、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像データ上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
情報処理装置。 - 前記ロウ決定部は、
前記作物検出の結果に基づいてロウ候補を検出する
請求項1に記載の情報処理装置。 - 前記ロウ決定部は、前記画像データ内で、曲線を含むロウの決定を行う
請求項1又は請求項2に記載の情報処理装置。 - 前記ロウ決定部は、前記画像データを分割し、分割画像毎にロウ検出を行い、分割画像のロウ検出のラインを結合することで、曲線を含むロウ候補を設定する
請求項1から請求項3のいずれかに記載の情報処理装置。 - 前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部を備えた
請求項1から請求項4のいずれかに記載の情報処理装置。 - 前記出力情報生成部は、
前記ロウ決定部が決定したロウにある作物数をカウントし、画像データ内に存在している作物の総数をカウントする
請求項5に記載の情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部と、
前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部と、を備え、
前記出力情報生成部は、
前記ロウ決定部が求めた作物間隔を用いて作物の欠落箇所のカウントを行う
情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部と、
前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部と、を備え、
前記出力情報生成部は、
前記ロウ決定部が求めた作物間隔を用いて作物の欠落箇所のカウントを行い、
作物の欠落箇所のカウント結果を用いて、理想的な作付け数と実際の作付けの比である作物割合の算出を行う
情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部と、
前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部と、を備え、
前記出力情報生成部は、
配置間隔の値が所定値以下の作物の組を検出し、該当する作物の組を提示する出力情報を生成する
情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部と、
前記ロウ決定部で決定されたロウの情報を用いて、作物の生育に関する出力情報を生成する出力情報生成部と、を備え、
前記出力情報生成部は、
配置間隔の値が所定値以下の作物の数を検出し、当該数を反映させた予測収穫量の算出を行う
情報処理装置。 - 前記出力情報生成部は、
前記ロウ決定部が決定したロウの位置に基づいて、作付けの有効面積の算出を行う
請求項5から請求項10のいずれかに記載の情報処理装置。 - 前記出力情報生成部は、
複数の画像データのそれぞれから求められる出力情報を用いて、代表出力情報の算出を行う
請求項5から請求項10のいずれかに記載の情報処理装置。 - 同一圃場の画像データについての算出データの存在を確認し、算出データが存在する場合は、当該算出データを用いて処理を行う
請求項1から請求項12のいずれかに記載の情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定部を備え、
画像データから算出した算出データが、同一圃場の他の画像データについて得られた代表算出データに基づく許容範囲から外れた値であった場合、代表算出データの値を適用する
情報処理装置。 - 圃場のマップデータを用いて、前記画像データにおける作付けの有効範囲を判定する
請求項1から請求項14のいずれかに記載の情報処理装置。 - 前記ロウ決定部が決定したロウを提示する制御を行うとともに、ユーザ操作を検知するユーザインタフェース制御部を備え、
前記ロウ決定部は、検知されたユーザ操作に応じてロウ決定の変更を行う
請求項1から請求項15のいずれかに記載の情報処理装置。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定処理として、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像データ上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を行う
情報処理方法。 - 圃場を撮像した画像データ内で作物検出を行い、前記画像データ内で、作物の植え付けが行われたラインであるロウを、前記作物検出の結果に基づいて決定するロウ決定処理として、
ロウ候補の上付近にある作物らしい領域の大きさから作物サイズを算出し、
算出された作物サイズからロウ候補上の作物候補を検出し、
検出した作物候補の間隔から前記画像データ上の作物間隔を算出し、
決定した作物間隔からロウ候補の確からしさを決定し、
決定した確からしさを用いて誤検出と判定したロウ候補を除外したうえでロウを決定する処理を
を情報処理装置に実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019208266 | 2019-11-18 | ||
| JP2019208266 | 2019-11-18 | ||
| PCT/JP2020/040521 WO2021100429A1 (ja) | 2019-11-18 | 2020-10-28 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021100429A1 JPWO2021100429A1 (ja) | 2021-05-27 |
| JP7574802B2 true JP7574802B2 (ja) | 2024-10-29 |
Family
ID=75980658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021558252A Active JP7574802B2 (ja) | 2019-11-18 | 2020-10-28 | 情報処理装置、情報処理方法、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12236679B2 (ja) |
| JP (1) | JP7574802B2 (ja) |
| WO (1) | WO2021100429A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7619219B2 (ja) | 2021-09-14 | 2025-01-22 | 株式会社島津製作所 | 対象物検出装置 |
| US12344374B2 (en) * | 2022-10-13 | 2025-07-01 | Wing Aviation Llc | Obstacle avoidance for aircraft from shadow analysis |
| CN116453003B (zh) * | 2023-06-14 | 2023-09-01 | 之江实验室 | 一种基于无人机监测智能识别水稻生长势的方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043919A (ja) | 2005-08-08 | 2007-02-22 | Kubota Corp | 作業車の画像処理装置 |
| JP2012198688A (ja) | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置 |
| US9489576B2 (en) | 2014-03-26 | 2016-11-08 | F12 Solutions, LLC. | Crop stand analysis |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8830465D0 (en) | 1988-12-31 | 1989-03-01 | Olympus Optical Co | Methods of detecting endoscope insertion direction |
| JPH03272607A (ja) | 1990-03-20 | 1991-12-04 | Yanmar Agricult Equip Co Ltd | 農作業機における作物列検出装置 |
| JP2815760B2 (ja) | 1992-06-30 | 1998-10-27 | 株式会社クボタ | 作物列検出装置 |
| JP2006101816A (ja) | 2004-10-08 | 2006-04-20 | Univ Of Tokyo | 操向制御方法及び装置 |
| JP5162890B2 (ja) | 2006-12-01 | 2013-03-13 | 株式会社サタケ | リモートセンシングにおける補正方法 |
| US20150245565A1 (en) * | 2014-02-20 | 2015-09-03 | Bob Pilgrim | Device and Method for Applying Chemicals to Specific Locations on Plants |
| JP2016049102A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社リコー | 圃場管理システム、圃場管理方法、プログラム |
| US11062223B2 (en) * | 2015-12-02 | 2021-07-13 | The Climate Corporation | Forecasting field level crop yield during a growing season |
| WO2017181127A1 (en) * | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Robotic plant care systems and methods |
| US11087132B2 (en) * | 2016-09-07 | 2021-08-10 | Precision Hawk Usa, Inc. | Systems and methods for mapping emerged plants |
| US10664702B2 (en) * | 2016-12-30 | 2020-05-26 | International Business Machines Corporation | Method and system for crop recognition and boundary delineation |
| US10713768B2 (en) * | 2017-07-14 | 2020-07-14 | Pioneer Hi-Bred International, Inc. | Methods of yield assessment with crop photometry |
| JP7292850B2 (ja) * | 2018-10-17 | 2023-06-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN112146646B (zh) * | 2020-09-04 | 2022-07-15 | 浙江大学 | 一种作物封垄后田间导航线的检测方法 |
-
2020
- 2020-10-28 WO PCT/JP2020/040521 patent/WO2021100429A1/ja not_active Ceased
- 2020-10-28 US US17/775,686 patent/US12236679B2/en active Active
- 2020-10-28 JP JP2021558252A patent/JP7574802B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043919A (ja) | 2005-08-08 | 2007-02-22 | Kubota Corp | 作業車の画像処理装置 |
| JP2012198688A (ja) | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 農作物画像処理プログラム、農作物画像処理方法及び農作物画像処理装置 |
| US9489576B2 (en) | 2014-03-26 | 2016-11-08 | F12 Solutions, LLC. | Crop stand analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021100429A1 (ja) | 2021-05-27 |
| JPWO2021100429A1 (ja) | 2021-05-27 |
| US12236679B2 (en) | 2025-02-25 |
| US20220398841A1 (en) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20260017771A1 (en) | Mapping Field Anomalies Using Digital Images and Machine Learning Models | |
| US11657597B2 (en) | Cloud detection on remote sensing imagery | |
| Xu et al. | Multispectral imaging and unmanned aerial systems for cotton plant phenotyping | |
| US10803313B2 (en) | Systems and methods determining plant population and weed growth statistics from airborne measurements in row crops | |
| CN113038823B (zh) | 自动化样本采集和跟踪系统 | |
| US20230292647A1 (en) | System and Method for Crop Monitoring | |
| Jiménez-Brenes et al. | Automatic UAV-based detection of Cynodon dactylon for site-specific vineyard management | |
| CA3150421C (en) | Estimating intra-field properties within a field using hyperspectral remote sensing | |
| US11087132B2 (en) | Systems and methods for mapping emerged plants | |
| BR112020006760A2 (pt) | reconhecimento de doenças partindo de imagens que têm grande campo de visão | |
| CN111542849A (zh) | 捕获植物性状的地面真实化标签的方法和系统 | |
| JP7574802B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP7643341B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP7586100B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| Neeser et al. | Performance and cost of field scouting for weeds and diseases using imagery obtained with an Unmanned Aerial Vehicle | |
| Tresch et al. | Full title:[max 100 characters: now 102 without spaces] |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230901 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240930 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7574802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |