JPWO2019208537A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JPWO2019208537A1
JPWO2019208537A1 JP2020515468A JP2020515468A JPWO2019208537A1 JP WO2019208537 A1 JPWO2019208537 A1 JP WO2019208537A1 JP 2020515468 A JP2020515468 A JP 2020515468A JP 2020515468 A JP2020515468 A JP 2020515468A JP WO2019208537 A1 JPWO2019208537 A1 JP WO2019208537A1
Authority
JP
Japan
Prior art keywords
index
flight
image
unit
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020515468A
Other languages
English (en)
Other versions
JP7299213B2 (ja
Inventor
中川 宏
宏 中川
山田 和宏
和宏 山田
陽平 大野
陽平 大野
雄一朗 瀬川
雄一朗 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2019208537A1 publication Critical patent/JPWO2019208537A1/ja
Application granted granted Critical
Publication of JP7299213B2 publication Critical patent/JP7299213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/40UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Forests & Forestry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Navigation (AREA)

Abstract

作物を撮影する飛行体の飛行時間を短くしつつ、撮影された画像から得られる作物の生育状況を示す指標の精度を高めること。作物画像取得部(101)は、ドローン(20)が撮影した作物領域の画像を取得する。指標算出部(102)は、取得された作物領域の画像に基づいてその画像に写る作物の生育状況を表す指標を算出する。飛行指示部(105)は、算出された指標が所定の閾値未満となる部分(低指標領域)が作物領域に存在する場合、作物の画像の解像度を高くしてその低指標領域を撮影するようドローン(20)に指示する。具体的には、飛行指示部(105)は、低指標領域の指標が算出された画像の撮影がされたときよりも低空飛行をしながらその部分を撮影するよう指示する。

Description

本発明は、作物の生育状況を検出する技術に関する。
作物の生育状況を検出する技術が知られている。特許文献1には、無人飛行体に設けられた状態検出センサを用いて広範囲の作物の生育状況を検出する技術が開示されている。
特開2017−15527号公報
ドローン等の飛行体で上空から撮影した画像を元に作物の生育状況を示す指標(例えばNDVI)を得る場合に、撮影範囲を広くするほど飛行時間が短くなるが、得られた指標の精度は低いものになりやすい。
そこで、本発明は、作物を撮影する飛行体の飛行時間を短くしつつ、撮影された画像から得られる作物の生育状況を示す指標の精度を高めることを目的とする。
上記目的を達成するために、本発明は、撮影機能を有する飛行体が撮影した作物領域の画像を取得する画像取得部と、取得された前記画像に基づいて当該画像に写る作物の生育状況を表す指標を算出する算出部と、算出される前記指標が指標閾値未満となる部分が前記作物領域に存在する場合、解像度を高くし又は撮影範囲を狭くして当該部分を撮影するよう前記飛行体に指示する指示部とを備える情報処理装置を提供する。
本発明によれば、作物を撮影する飛行体の飛行時間を短くしつつ、撮影された画像から得られる作物の生育状況を示す指標の精度を高めることができる。
実施例に係る農業支援システムの全体構成を表す図 サーバ装置のハードウェア構成を表す図 ドローンのハードウェア構成を表す図 農業支援システムが実現する機能構成を表す図 圃場の撮影方法の一例を表す図 画素単位のNDVIマップの一例を表す図 領域単位のNDVIマップの一例を表す図 2回目の撮影飛行における飛行経路の一例を表す図 2回目の領域単位のNDVIマップの一例を表す図 記録処理における各装置の動作手順の一例を表す図 変形例で実現される機能構成を表す図 精度テーブルの一例を表す図 閾値テーブルの一例を表す図 精度テーブルの別の一例を表す図 撮影領域が共通する区分領域の一例を表す図 変形例で実現される機能構成を表す図 閾値テーブルの一例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 閾値テーブルの一例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 変形例の領域単位のNDVIマップの例を表す図 閾値テーブルの一例を表す図 高度テーブルの一例を表す図 補正の一例を表す図
(1)実施例
図1は実施例に係る農業支援システム1の全体構成を表す。農業支援システム1は、作物の生育状況を表す指標を活用して、圃場(稲、野菜及び果物等の作物を生育する場所)での作業を行う者を支援するシステムである。生育状況を表す指標とは、作物の生育段階の進み具合(例えば収穫に適した時期か否か)と、サイズ及び病気の有無等の状況(活性度ともいう)との一方又は両方を表す指標である。
本実施例では、後述するNDVI(Normalized Difference Vegetation Index:正規化差植生指数)が用いられ、飛行体によって上空から撮影された圃場の画像を用いてその圃場の作物の生育状況を表す指標が算出される。飛行体は圃場を撮影可能であれば何でもよく、本実施例ではドローンが用いられる。農業支援システム1は、ネットワーク2と、サーバ装置10と、ドローン20とを備える。
ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、サーバ装置10が有線通信で(無線通信でもよい)アクセスしており、ドローン20が無線通信でアクセスしている。
ドローン20は、本実施例では、1以上の回転翼を備え、それらの回転翼を回転させて飛行する回転翼機型の飛行体である。ドローン20は、飛行しながら上空から圃場を撮影する撮影機能を備えている。ドローン20は、例えば農業支援システム1のユーザである農作業者によって圃場まで持ち運ばれ、撮影飛行開始の操作が行われることで飛行及び撮影を行う。サーバ装置10は、作業者の支援に関する処理を行う情報処理装置である。
サーバ装置10は、例えば、ドローン20により撮影された圃場の映像から前述したNDVIを算出する処理を行う。NDVIは、植物の緑葉が赤色の可視光を多く吸収して近赤外領域の波長(0.7μm〜2.5μm)の光を多く反射するという性質を利用して作物の生育状況を数値で表す。作業者は、NDVIが表す生育状況を参考にして、自分が作業を行う圃場の作物への散水、肥料散布及び農薬散布等のタイミングを判断することができる。
図2はサーバ装置10のハードウェア構成を表す。サーバ装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、バス17という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカなど)である。なお、入力装置15及び出力装置16は、一体となった構成(例えば、タッチスクリーン)であってもよい。また、プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス17を介して互いにアクセス可能となっている。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
図3はドローン20のハードウェア構成を表す。ドローン20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、飛行装置25と、センサ装置26と、撮影装置27と、バス28という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ21、メモリ22、ストレージ23、通信装置24及びバス28は、図2に表す同名の装置と同種のハードウェア(性能及び仕様等は同じとは限らない)である。通信装置24は、ネットワーク2との無線通信に加え、ドローン同士の無線通信を行うこともできる。飛行装置25は、モータ及びローター等を備え、自機を飛行させる装置である。飛行装置25は、空中において、あらゆる方向に自機を移動させたり、自機を静止(ホバリング)させたりすることができる。
センサ装置26は、飛行制御に必要な情報を取得するセンサ群を有する装置である。センサ装置26は、自機の位置(緯度及び経度)を測定する位置センサと、自機が向いている方向(ドローンには自機の正面方向が定められており、その正面方向が向いている方向)を測定する方向センサと、自機の高度を測定する高度センサと、自機の速度を測定する速度センサと、3軸の角速度及び3方向の加速度を測定する慣性計測センサ(IMU(Inertial Measurement Unit))とを備える。
撮影装置27は、レンズ及びイメージセンサ等を有し、イメージセンサで撮影した画像をデジタルデータで記録するいわゆるデジタルカメラである。このイメージセンサは、可視光に加えて、NDVIの算出に必要な近赤外領域の波長の光にも感度を有する。撮影装置27は、自機(ドローン20)の筐体の下部に取り付けられ、撮影方向が固定されており、自機の飛行中に鉛直下方を撮影する。また、撮影装置27は、本実施例では、オートフォーカス機能を有しているが、ズーム機能は有していない(つまり画角が一定である)。
なお、サーバ装置10及びドローン20は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
農業支援システム1が備えるサーバ装置10及びドローン20には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図4は農業支援システム1が実現する機能構成を表す。サーバ装置10は、作物画像取得部101と、指標算出部102と、指標マップ生成部103と、生育情報記録部104と、飛行指示部105とを備える。
ドローン20は、飛行制御部201と、飛行部202と、センサ測定部203と、撮影部204とを備える。飛行制御部201は、圃場を撮影する際に自機の飛行を制御する。飛行制御部201は、例えば、ユーザである農作業者が予め登録した圃場の地理的な範囲を示す圃場範囲情報(例えば圃場の外縁を示す緯度及び経度の情報)を記憶しておき、その圃場範囲情報に基づいて、圃場全体の上空を一定の高度で万遍なく飛行する飛行経路で自機を飛行させる制御を行う。
この場合の飛行経路は、例えば長方形の圃場であれば、圃場の一方の辺からその辺に対向する他方の辺まで波状の軌跡を描いて飛行する経路である。他にも、圃場の外縁に沿って飛行して、1週したら内側に経路をずらして渦巻き状の軌跡を描いて飛行する経路であってもよく、要するに圃場の全体を万遍なく飛行する飛行経路であればよい。飛行部202は、自機を飛行させる機能であり、本実施例では、飛行装置25が備えるモータ及びローター等を動作させることで自機を飛行させる。
センサ測定部203は、センサ装置26が備える各センサ(位置センサ、方向センサ、高度センサ、速度センサ、慣性計測センサ)による測定を行い、自機の位置、方向、高度、速度、角速度、加速度を所定の時間間隔で繰り返し測定する。センサ測定部203は、測定した位置、方向、高度、速度、角速度、加速度を示すセンサ情報を飛行制御部201に供給する。飛行制御部201は、供給されたセンサ情報に基づいて飛行部202を制御し、前述した飛行経路に沿って自機を飛行させる。
センサ測定部203は、測定した位置、方向、高度及び速度を示すセンサ情報を撮影部204に供給する。撮影部204は、撮影装置27を用いて被写体を撮影する機能であり、本発明の「撮影機能」の一例である。撮影部204は、飛行制御部201が上記のとおり圃場の上空を飛行する制御を行っているときには、その圃場を被写体として撮影する。撮影部204は、圃場を撮影することで、その圃場において作物が生育している領域(作物領域)も撮影することになる。撮影部204が撮影する画像は本発明の「作物領域の画像」の一例である。
撮影装置27のイメージセンサは上記のとおり近赤外領域の波長の光にも感度を有するので、撮影部204が撮影した静止画像を形成する各画素は、可視光の赤色を示すピクセル値(R)と共に、近赤外領域の波長の光を示すピクセル値(IR)によって表される。撮影部204は、供給されたセンサ情報に基づいて、圃場内の全ての領域が含まれるように、複数の静止画像を撮影する。
図5は圃場の撮影方法の一例を表す。図5では、ドローン20が圃場A1の上空を波状の軌跡を描いて飛行する際の経路B1が表されている。撮影部204は、センサ情報が示す高度及び撮影装置27の画角から圃場(地上0m地点)の撮影範囲(画角に含まれる圃場の範囲)を算出する。そして、撮影部204は、センサ情報が示す速度及び方向から現時点の撮影範囲と前回の撮影範囲とが重複する面積の割合(例えば撮影範囲の面積を100%とした場合の重複面積のパーセンテージで表す)が閾値未満になったときに次の撮影を行う。
撮影部204は、図5の例であれば、最初に撮影領域C1を撮影し、次に撮影領域C1と少し重なった撮影領域C2を撮影する。また、撮影部204は、自機(ドローン20)の折り返しの際に、算出した撮影範囲の大きさを飛行制御部201に通知する。飛行制御部201は、通知された大きさの撮影範囲が例えば図5の撮影領域C4及びC5のように重複する距離だけ経路をずらして折り返す。
撮影部204は、この方法での撮影を繰り返すことで、図5に表す撮影領域C1からC32までを撮影した静止画像、すなわち、撮影範囲が少しずつ重複した複数の静止画像を撮影する。なお、図5の例では圃場A1が複数の撮影範囲を丁度収められる大きさ及び形になっていたが、そうなっていなくてもよい。その場合は、撮影範囲同士の重複部分を広くしたり、圃場の外部を含めて撮影したりすることで、圃場内の全ての領域がいずれかの静止画像に含まれるようになる。
なお、撮影部204による撮影方法はこれに限らない。例えば撮影の際の飛行速度及び飛行高度が決まっていれば、撮影範囲が図5に表すように重複する時間の間隔が予め算出されるので、その時間の間隔で撮影が行われてもよい。また、圃場の地図と撮影位置とが予め決められていれば、撮影部204は、その決められた位置を飛行しているときに撮影すればよい。
これら以外にも、ドローンを用いて地上を撮影するための周知の方法が用いられてもよい。ドローン20が備える各部の動作は、上述した農作業者による飛行開始の操作が行われることで開始される。各部の動作が開始されると、ドローン20は圃場の上空を設定された飛行経路で飛行し、撮影部204は、前述のとおり繰り返し撮影を行う。撮影部204は、撮影を行うと、撮影した静止画像と、撮影に関する撮影情報(撮影したときの位置、方位、高度及び時刻を示す情報)とを示す画像データを生成してサーバ装置10に送信する。
サーバ装置10の作物画像取得部101は、送信されてきた画像データを受け取ることで、その画像データが示す静止画像を、ドローン20が撮影した作物領域の画像として取得する。作物画像取得部101は本発明の「画像取得部」の一例である。また、作物画像取得部101は、受け取った画像データが示す撮影情報も取得し、取得した静止画像と共に指標算出部102に供給する。
指標算出部102は、作物画像取得部101により取得された作物領域の画像に基づいてその画像に写る作物の生育状況を表す指標を算出する。指標算出部102は本発明の「算出部」の一例である。指標算出部102は、上述したNDVIを、生育状況を表す指標として算出する。指標算出部102は、例えば、静止画像の画素毎に、上述した赤色のピクセル値(R)及び近赤外領域の波長の光のピクセル値(IR)をNDVI=(IR−R)/(IR+R)という式に代入してNDVIを算出する。
指標算出部102は、算出したNDVIを対応する画素を示す画素IDに対応付けて示す指標情報を生成し、撮影情報と共に指標マップ生成部103に供給する。指標情報及び撮影情報は、作物領域の画像が取得される度に、すなわちドローン20が圃場の画像を撮影する度に供給される。指標マップ生成部103は、指標算出部102により算出された指標(NDVI)に基づいて圃場の作物の生育状況を示す指標マップを生成する。
指標マップとは、圃場内の各位置又は各領域における指標(NDVI)を地図上で表す情報である。まず、指標マップ生成部103は、各画素に対応する圃場上の位置におけるNDVIを表す画素単位のNDVIマップを生成する。
図6は画素単位のNDVIマップの一例を表す。図6の例では、図5に表す圃場A1の画素単位のNDVIマップM1が表されている。
NDVIマップM1は、左上角の画素D1と、左下角の画素D2と、右上角の画素D3と、右下角の画素D4とを角に持つ長方形のマップである。画素D1に表された「0.3」は、図5に表す左上角の撮影領域C1の画像の左上角の画素におけるNDVIであり、画素D2に表された「−0.5」は、図5に表す左下角の撮影領域C4の画像の左下角の画素におけるNDVIである。
画素D4に表された「0.2」は、図5に表す右下角の撮影領域C29の画像の右下角の画素におけるNDVIであり、画素D3に表された「0.3」は、図5に表す右上角の撮影領域C32の画像の右上角の画素におけるNDVIである。NDVIマップM1には、隣接する撮影領域の重複部分を示す画素が含まれている。指標マップ生成部103は、これらの画素については、各撮影領域を撮影した静止画像からそれぞれ算出されたその画素(圃場A1の同一地点を示す画素)のNDVIの平均値を用いている。
NDVIマップM1は、ドローン20が撮影領域C32を撮影して各部が上記動作を行うことで完成する。指標マップ生成部103は、本実施例では、こうして生成した画素単位のNDVIマップM1から、圃場A1を区分する複数の領域毎の作物の生育状況を表す領域単位のNDVIマップを生成する。
図7は領域単位のNDVIマップの一例を表す。図7の例では、図5に表す撮影領域C1〜C32に対応する区分領域E1〜E32が表されている。
各区分領域は、NDVIの平均値の大きさに応じて模様が付けられている。例えば区分領域E1、E2及びE8等はNDVIの平均値が0.6以上であることを示す模様が付けられている。同様に、区分領域E7及びE9等はNDVIの平均値が0.2以上0.6未満であることを示す模様が付けられ、区分領域E3及びE4等はNDVIの平均値が−0.2以上0.2未満であることを示す模様が付けられている。
指標マップ生成部103は、生成した画素単位のNDVIマップ及び領域単位のNDVIマップを、これらのマップの元になった画像の撮影情報及び撮影日時に対応付けて生育情報記録部104に供給する。生育情報記録部104は、指標マップ生成部103により生成されたこれらの指標マップを上述した生育情報(作物の生育状況を表す情報)として記録する。
生育情報記録部104は、記録した生育情報をユーザ(農作業者)が閲覧可能な状態で(例えばユーザに伝えられているURL(Uniform Resource Locator)でアクセス可能なウェブページに掲載されるように)保持する。記録された生育情報はユーザが利用する端末にダウンロードすることも可能である。ユーザは、生育情報をダウンロードして、圃場A1の生育状況の変化を確認したり、散水、肥料散布、農薬散布及び収穫等の農作業を行うべき時期の判断に用いたりする。
指標マップ生成部103は、生成した領域単位のNDVIマップを飛行指示部105に供給する。このNDVIマップの供給は、全ての撮影領域の撮影が終わった後、すなわち1回目の撮影が終わった後に行われる。飛行指示部105は、1回目の撮影が終わったドローン20に対して、2回目の撮影飛行に関する指示を行う。飛行指示部105は本発明の「指示部」の一例である。
詳細には、飛行指示部105は、指標算出部102により算出される指標が所定の閾値(指標閾値)未満となる部分(この部分を以下では「低指標領域」ともいう)が作物領域に存在する場合、作物の画像の解像度を高くしてその低指標領域を撮影するようドローン20に指示する。低指標領域について算出されたNDVIは、作物の生育が遅れていることを示している。
しかし、撮影される画像によってはNDVIにも誤差が生じ得るので、本当に作物の生育が遅れているとは限らない。そこで、飛行指示部105は、より高い精度でNDVIが算出される画像が撮影されるように、作物の画像の解像度を高くして2回目の撮影を指示する。作物の画像の解像度とは、例えば、作物が生育されている作物領域の画像において、作物領域の単位面積(例えば1平方メートル)を表す画素数によって表される。
作物の画像の解像度が低いほど、作物と作物以外のもの(土及び水面等)とを混合して表す画素が増えるため、作物が反射する光から算出されるNDVIの値の精度が低くなる。反対に、作物の画像の解像度が高いほど、作物だけを表す画素が増えるため、NDVIの値の精度が高くなる。飛行指示部105は、本実施例では、供給されたNDVIマップが示す区分領域にNDVIの平均値が0.2(上述した指標閾値)未満の領域がある場合に、その区分領域を低指標領域と判断する。
図7の例では、区分領域E3、E4、E5、E6、E12、E13、E27のNDVIの平均値が0.2未満なので、飛行指示部105は、低指標領域が作物領域に存在すると判断する。飛行指示部105は、本実施例では、低指標領域の指標が算出された画像の撮影がされたときよりも低空飛行をしながらその低指標領域を撮影するよう指示する。飛行高度を低くすると、撮影範囲が狭くなり、作物領域の単位面積を表す画素数が増えるので、上述した作物の画像の解像度が高くなる。従って、低空飛行を指示するということは、解像度を高くして低指標領域を撮影することを指示することにもなる。
より詳細には、飛行指示部105は、供給された領域単位のNDVIマップにおいて低指標領域として表されている区分領域の上空を全て通過し且つ最初の撮影時よりも高度を低くして撮影開始地点に戻る飛行経路を生成する。そして、飛行指示部105は、生成した飛行経路での飛行及びそれらの低指標領域である区分領域の撮影、すなわち2回目の撮影飛行を指示する指示データをドローン20に送信する。
なお、飛行指示部105は、は、低指標領域が作物領域に存在しないと判断した場合は、2回目の撮影飛行ではなく、真っ直ぐ撮影開始地点に戻る帰投用の飛行経路での飛行(帰投飛行)を指示する指示データをドローン20に送信する。ドローン20の飛行制御部201は、最初の撮影飛行が終了すると、終了位置(図5の例であれば撮影領域C32の上空)で待機(ホバリング)して、サーバ装置10からの指示データを待つ。
なお、飛行制御部201は、待機時間が所定時間を超えた場合は指示を催促する催促データをサーバ装置10に送信してもよい。その場合、飛行指示部105は、低指標領域の判断が完了していれば指示データを送信し、完了していなければ例えば帰投飛行を指示する指示データをドローン20に送信する。飛行制御部201は、指示データを受け取ると、その指示データが示す飛行経路で飛行して、撮影開始地点まで自機を飛行させる。
図8は2回目の撮影飛行における飛行経路の一例を表す。図8の例では、ドローン20は、図7に表す区分領域E32から低指標領域である区分領域E27に向かい、区分領域E27を飛行する。ここで、2回目の撮影飛行では飛行高度が下がっているため、例えば撮影範囲が4分の1に狭くなっているものとする。
そこで、飛行指示部105は、区分領域E27を4分割した分割領域の上空をそれぞれ飛行して各分割領域を撮影する撮影飛行を指示する。飛行指示部105は、低指標領域である他の区分領域についても同様に通過する飛行経路B2での撮影飛行を指示している。飛行制御部201がこの飛行経路B2で自機を飛行させ、撮影部204がそれらの区分領域の撮影を行うことで、低指標領域である各区分領域を撮影した画像が作物画像取得部101により取得される。
この後は、指標算出部102による指標(NDVI)の算出と、指標マップ生成部103による指標マップの生成が行われる。この際、指標マップ生成部103は、撮影が行われた分割領域毎に生育状況を表す指標マップを生成してもよいが、最初の撮影だけで生成された指標マップと比較しやすくするため、最初の撮影時と同様に、区分領域毎に生育状況を表す指標マップを生成する。
以上で述べた2回目の撮影が行われると、作物の画像の解像度が高くなるため、最初の撮影では低指標領域であると判断された区分領域でも、より実態を表すNDVIが算出されて低指標領域ではないと判断されることが起こり得る。
図9は2回目の領域単位のNDVIマップの一例を表す。図9の例では、図7において低指標領域であると判断された区分領域E3、E6、E27が低指標領域ではないと判断される区分領域に変化したNDVIマップM3が表されている。
生育情報記録部104は、こうして2回目に生成された画素単位のNDVIマップ及び領域単位のNDVIマップを生育情報として記録する。その際、生育情報記録部104は、最初の撮影で生成された生育情報(例えば図7に表す領域単位のNDVIマップM2)を、2回目の撮影で生成された生育情報(例えば図9に表す領域単位のNDVIマップM3)で上書きする(上書きせずに両方記録してもよい)。これにより、より精度の高い生育情報だけが記録されることになる。
農業支援システム1が備える各装置は、上記の構成に基づいて、作物の生育情報を記録する記録処理を行う。
図10は記録処理における各装置の動作手順の一例を表す。この動作手順は、ユーザによりドローン20の撮影飛行開始の操作が行われることを契機に開始される。まず、ドローン20(飛行制御部201、飛行部202及びセンサ測定部203)は、記憶している圃場範囲情報に基づき圃場上空での飛行を開始する(ステップS11)。
次に、ドローン20(撮影部204)は、圃場上空からの各撮影領域の撮影を開始し(ステップS12)、撮影を行う度に、撮影した静止画像と、撮影情報(撮影したときの位置、方位及び高度を示す情報)とを示す画像データを生成してサーバ装置10に送信する(ステップS13)。サーバ装置10(作物画像取得部101)は、送信されてきた画像データが示す静止画像を作物領域の画像として取得する(ステップS14)。
次に、サーバ装置10(指標算出部102)は、取得された作物領域の画像に基づいてその画像に写る作物の生育状況を表す指標(NDVI)を算出する(ステップS15)。続いて、サーバ装置10(指標マップ生成部103)は、算出された指標に基づいて圃場の作物の生育状況を示す指標マップを生成する(ステップS16)。次に、サーバ装置10(生育情報記録部104)は、生成された指標マップを生育情報として記録する(ステップS17)。
続いて、サーバ装置10(飛行指示部105)は、ステップS16で生成された指標マップに基づいて、低指標領域が作物領域に存在するか否かを判断する(ステップS21)。サーバ装置10は、ステップS21で低指標領域が存在しない(NO)と判断した場合にはこの動作手順を終了する。ステップS21で低指標領域が存在する(YES)と判断した場合には、サーバ装置10(飛行指示部105)は、解像度を高くして低指標領域を撮影するよう指示する指示データをドローン20に送信する(ステップS22)。
ドローン20(飛行制御部201、飛行部202及びセンサ測定部203)は、送信されてきた指示データが示す指示に従い2回目の飛行を開始する(ステップS23)。次に、ドローン20(撮影部204)は、2回目の撮影を開始し(ステップS24)、撮影を行う度に画像データを生成してサーバ装置10に送信する(ステップS25)。サーバ装置10(作物画像取得部101)は、2回目に送信されてきた画像データが示す静止画像を作物領域の画像として取得する(ステップS26)。
次に、サーバ装置10(指標算出部102)は、取得された作物領域の画像に基づいて2回目の指標(NDVI)を算出する(ステップS27)。続いて、サーバ装置10(指標マップ生成部103)は、算出された指標に基づいて2回目の指標マップを生成する(ステップS28)。そして、サーバ装置10(生育情報記録部104)は、生成された2回目の指標マップを生育情報として記録し(ステップS29)、この動作手順を終了する。
圃場撮影の際の飛行高度を高くするほど撮影範囲が広くなり飛行時間を短くすることができる。一方、撮影範囲を広くすると作物の画像の解像度が低くなり、NDVIの精度が低くなる。本実施例では、最初の撮影では飛行高度を高くして作物を撮影するドローン20の飛行時間を短くしつつ、2回目の撮影では作物の画像の解像度を高くすることで、撮影された画像から得られるNDVIの精度を高めることができる。
圃場に水たまりがあったり圃場が水田であったりすると、水面で反射した太陽光がデジタルカメラのレンズに入射して、撮影した画像中に極端に明るい画素が含まれてNDVIを算出する際の誤差を生む要因になる場合がある。この反射光は、ドローン20から見て太陽がある方向だけではなく、水面が波打っていれば様々な方向から入射してくる。本実施例では、2回目の撮影では1回目よりも飛行高度を下げて撮影範囲を狭くしているので、レンズに入射する反射光が少なくなり、その点でもNDVIの精度を高めることができる。
(2)変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は必要に応じてそれぞれ組み合わせてもよい。その際は、各変形例について優先順位を付けて(各変形例を実施すると競合する事象が生じる場合にどちらを優先するかを決める順位付けをして)実施してもよい。
また、具体的な組み合わせ方法として、例えば共通する値等(値、変化量又は指標等のこと。例えば指標閾値、その変化量又はNDVIの精度等)を求めるために異なるパラメータを用いる変形例を組み合わせて、それらのパラメータを共に用いて共通する値等を求めてもよい。また、個別に求めた値等を何らかの規則に従い合算して1つの値等を求めてもよい。また、それらの際に、用いられるパラメータ毎に異なる重み付けをしてもよい。
(2−1)区分領域
指標マップ生成部103は、実施例では撮影範囲に対応する領域を区分領域として領域単位のNDVIマップを生成したが、区分領域はこれに限らない。例えば複数の撮影範囲を1つの区分領域としてもよいし、1つの撮影領域を複数に分割した分割領域に対応する領域を区分領域としてもよい。また、各区分領域の形及び大きさが統一されていてもよいし揃っていなくてもよい。
(2−2)指標の精度
実施例では指標閾値が固定されていたが、指標閾値を動的に変化させてもよい。
図11は本変形例で実現される機能構成を表す。図11では、図4に表す各部に加えて指標精度判断部106を備えるサーバ装置10aが表されている。
指標精度判断部106は、指標算出部102により算出された指標の精度を判断する。指標精度判断部106は本発明の「判断部」の一例である。指標精度判断部106には、例えば、指標算出部102からNDVIの算出の際に用いられたピクセル値(IR、R)が供給される。指標精度判断部106は、供給されたピクセル値の大きさに基づいて指標の精度を判断する。
例えばIR=20、R=10の場合もIR=200、R=100の場合も、NDVIは10÷30又は100÷300で0.333・・・である。これらのピクセル値に10ずつ誤差が生じた場合、IR=30、IR=20だとNDVI=10÷50=0.2となり、IR=210、R=110だとNDVI=100÷320=0.312・・・となる。このように、NDVIは、IR、Rのピクセル値が小さいほど、これらのピクセル値のわずかな誤差がNDVIの大きな誤差となって現れる。
指標精度判断部106は、例えばIR、Rのピクセル値の平均値とNDVIの精度とを対応付けた精度テーブルを用いて精度を判断する。
図12は精度テーブルの一例を表す。図12の例では、「Ave1未満」、「Ave1以上Ave2未満」、「Ave2以上」というピクセル値の平均値に「低」、「中」、「高」というNDVIの精度が対応付けられている。
指標精度判断部106は、供給されたピクセル値の平均値に精度テーブルで対応付けられている精度を指標算出部102により算出された指標の精度として判断する。この場合、指標精度判断部106は、供給されたピクセル値の平均値が大きいほどNDVIの精度が高いと判断する。指標精度判断部106は、こうして判断した精度を飛行指示部105に通知する。
飛行指示部105は、指標精度判断部106により判断された精度が低いほど大きな値を指標閾値として用いる。飛行指示部105は、指標の精度と指標閾値とを対応付けた閾値テーブルを用いて指標閾値を決定する。
図13は閾値テーブルの一例を表す。図13の例では、「高」、「中」、「低」というNDVIの精度に、「Th1」、「Th2」、「Th3」(Th1<Th2<Th3)という指標閾値が対応付けられている。
飛行指示部105は、指標精度判断部106から通知された精度に閾値テーブルで対応付けられている指標閾値を、低指標領域の有無を判断する際に用いる指標閾値として決定する。飛行指示部105は、決定した指標閾値を指標マップ生成部103に通知する。指標マップ生成部103は、通知された指標閾値未満の区分領域を表す領域単位のNDVIマップを生成して飛行指示部105に供給する。
飛行指示部105は、こうして供給された領域単位のNDVIマップを用いて低指標領域の有無を判断し、それ以降は実施例と同様に指示を行う。このように、本変形例では、算出されるNDVIの精度が低いことが見込まれる場合には、指標閾値を大きくして2回目の撮影が行われやすいようにしている。これにより、指標閾値を固定させる場合に比べて、より正確な生育状況を示す生育情報を記録することができる。
一方、本変形例では、算出されるNDVIの精度が高いことが見込まれる場合には、指標閾値を小さくして2回目の撮影が行われにくいようにしている。これにより、指標閾値を固定させる場合に比べて、生育情報の正確性の低下を抑えつつ、作物領域の撮影に要する時間を短くすることができる。なお、指標の精度の判断方法は上記方法に限らず、例えば過去に算出された指標との差分に基づき判断する方法が用いられてもよい。
その場合、指標精度判断部106には、指標マップ生成部103から領域単位のNDVIマップが供給される。指標精度判断部106は、供給されたNDVIマップと同じ圃場について記録された領域単位のNDVIマップを生育情報記録部104から読み出す。指標精度判断部106は、例えば、前回の撮影時に記録されたNDVIマップが示す区分領域の指標の平均値と、今回の撮影で生成されたNDVIマップが示す区分領域の指標の平均値との差分を、各区分領域について算出し、その差分の平均値を算出する。
指標精度判断部106は、例えばこの差分の平均値とNDVIの精度とを対応付けた精度テーブルを用いて精度を判断する。
図14は精度テーブルの別の一例を表す。図14の例では、「Dif1未満」、「Dif1以上Dif2未満」、「Dif2以上」という差分の平均値に「高」、「中」、「低」というNDVIの精度が対応付けられている。指標精度判断部106は、この精度テーブルを用いることで、算出した差分の平均値が大きいほどNDVIの精度が低いと判断する。
後は、上記方法と同様に、飛行指示部105が、指標精度判断部106により判断された精度が低いほど大きな値を指標閾値として用いて低指標領域の有無を判断する。この場合も、指標閾値を固定させる場合に比べて、より正確な生育状況を示す生育情報を記録することができるし、生育情報の正確性の低下を抑えつつ、作物領域の撮影に要する時間を短くすることができる。
また、上記変形例で述べたように撮影領域よりも小さな区分領域を用いる場合に、撮影された画像の中央からの離れ具合に基づき指標の精度を判断する方法が用いられてもよい。その場合、指標マップ生成部103は、領域単位のNDVIマップと、NDVIの算出に用いられた画像が共通する区分領域を示す情報とを指標精度判断部106に供給する。指標精度判断部106は、供給されたNDVIマップに含まれる各区分領域におけるNDVIの精度を、撮影された画像の中央からの距離が長いほど低いと判断する。
図15は撮影領域が共通する区分領域の一例を表す。図15では、縦3列、横3列に並んだ区分領域E111〜E119が表されている。この場合、指標精度判断部106は、中央の区分領域E115におけるNDVIの精度を「高」と判断し、区分領域E115の上下左右に隣接する区分領域E112、E114、E116、E118のNDVIの精度を「中」と判断し、角に位置する区分領域E111、E113、E117、E119のNDVIの精度を「低」と判断する。
撮影装置27のようなデジタルカメラで撮影した画像は、画面の周辺部が膨らむ樽型収差、画面周辺が糸巻状に引っ込む糸巻収差及び画面の周辺部が暗くなるビネット等の現象により画面の中央から離れるほど本来の画像との差異が大きくなる。そのため、図15の例のようにNDVIの精度が判断されることで、精度が低い区分領域については2回目の撮影がされやすくして、より正確な生育状況を示す生育情報を記録することができる。
(2−3)飛行可能な距離
指標閾値を動的に変化させる方法として上記変形例とは異なる方法が用いられてもよい。
図16は本変形例で実現される機能構成を表す。図16では、図4に表す各部に加えて距離情報取得部107を備えるサーバ装置10bが表されている。距離情報取得部107は、ドローン20の残りの飛行可能距離を示す情報を取得する。距離情報取得部107は本発明の「距離取得部」の一例である。
残りの飛行可能距離とは、例えばバッテリーが100%充電されている場合の飛行可能距離が3000mである場合に、バッテリーの残量が50%であれば1500mが残りの飛行可能距離となる。本変形例では、ドローン20が1回目の撮影を終えて指示データの待機状態になったときに、センサ測定部203がバッテリーの残量を測定し、撮影部204が、画像データを送信する際に合わせてバッテリーの残量を示す残量データを送信する。
距離情報取得部107は、ドローン20のバッテリーが100%充電されている場合の飛行可能距離を予め記憶しておき、送信されてきた残量データが示す残量の割合をその飛行可能距離に乗じた距離を残りの飛行可能距離を示す情報として取得する。距離情報取得部107は、取得した残りの飛行可能距離を示す距離情報を飛行指示部105に供給する。飛行指示部105は、距離情報取得部107により取得された距離情報が示す飛行可能距離が長いほど大きな値を指標閾値として用いる。
飛行指示部105は、飛行可能距離と指標閾値とを対応付けた閾値テーブルを用いて指標閾値を決定する。
図17は閾値テーブルの一例を表す。図17の例では、「Dis1未満」、「Dis1以上Dis2未満」、「Dis2以上」という飛行可能距離に、「Th1」、「Th2」、「Th3」(Th1<Th2<Th3)という指標閾値が対応付けられている。
飛行指示部105は、距離情報取得部107から供給された距離情報が示す飛行可能距離に閾値テーブルで対応付けられている指標閾値を用いて2回目に撮影する低指標領域を決定し、決定した低指標領域を撮影する指示を行う。これにより、1回目の撮影が終了したときの残りの飛行可能距離が長いときほど2回目の撮影がされる領域が多くなるので、2回目の撮影飛行の飛行距離も長くなりやすい。その結果、2回目の撮影飛行の終了時のバッテリーの残量は少なくなるが、その分精度の高い画像が多く撮影されるので、より正確な生育状況を示す生育情報を記録することができる。
なお、距離情報の取得方法は上記の方法に限らない。例えばドローン20が自機のバッテリーの残量から残りの飛行可能距離を算出し、算出した飛行可能距離を距離情報取得部107が取得してもよい。また、飛行可能距離を算出しなくても、バッテリーの残量を示す残量情報が距離情報として用いられてもよい。その場合、飛行指示部105は、残量情報と指標閾値とを対応付けた閾値テーブルを用いて指標閾値を決定すればよい。また、他にも、圃場を含む地域の風速及び風向きを示す情報が距離情報として用いられてもよい。
その場合、飛行指示部105は、例えば2回目の撮影飛行の際の飛行経路を飛行する方向毎に分解し、それらの方向に飛行する際の風の影響から飛行可能距離を補正する(逆風なら短く補正し、追い風なら長く補正する)。飛行指示部105は、そうして補正した飛行可能距離に閾値テーブルで対応付けられている指標閾値を用いて2回目に撮影する低指標領域を決定する。これにより、風に関する情報を考慮しない場合に比べて、2回目の撮影飛行においてバッテリーの残量が足りないという事態を起こりにくくすることができる。
(2−4)低指標領域の密度
指標閾値を動的に変化させる方法として上記の各変形例とは異なる方法が用いられてもよい。本変形例では、指標マップ生成部103が、まず、指標閾値として仮の閾値を用いて領域単位のNDVIマップを生成する。
図18A〜18Dは本変形例の領域単位のNDVIマップの例を表す。図18A〜18Dでは、NDVIが指標閾値未満の区分領域(低指標領域)に模様を付けて表している。図18Aの例では区分領域E5、E15、E27が低指標領域となり、図18Bの例では区分領域E6、E12、E14が低指標領域となっている。指標マップ生成部103は、この仮の閾値を用いて生成した領域単位のNDVIマップを飛行指示部105に供給する。
飛行指示部105は、指標閾値として仮の閾値を定めた場合に指標がその仮の閾値未満となる部分(低指標領域)の位置の偏りが大きいほど大きな値を仮の閾値に代えて指標閾値として用いる。飛行指示部105は、例えば次のように位置の偏りの大きさを判断する。飛行指示部105は、全て及び低指標領域に外接する長方形に囲まれた領域(図18Aでは領域F1、図18Bでは領域F2)を定め、その領域における低指標領域の密度を算出する。
領域F1の場合は密度が3÷18=6分の1となり、領域F2の場合は密度が3÷6=2分の1となる。飛行指示部105は、この密度の値が大きいほど、低指標領域が特定の領域に集中していることを表す、すなわち、低指標領域の位置の偏りが大きいと判断する。飛行指示部105は、低指標領域の位置の偏りを示す値(偏り値)と指標閾値とを対応付けた閾値テーブルを用いて指標閾値を決定する。
図19は閾値テーブルの一例を表す。図19の例では、「0.25未満」、「0.25以上0.5未満」、「0.5以上」という偏り値に、「Th1」、「Th2」、「Th3」(Th1<Th2<Th3)という指標閾値が対応付けられている。飛行指示部105は、算出した密度の値(偏り値)に閾値テーブルで対応付けられている指標閾値を仮の閾値に代えて用いて2回目に撮影する低指標領域を決定し、決定した低指標領域を撮影する指示を行う。
仮の閾値よりも指標閾値を大きくすると、低指標領域が周囲に広がることになりやすい。例えば、仮の閾値を用いた場合の低指標領域に隣接する区分領域が低指標領域になったとする。図18Cは、図18Aに表す低指標領域が隣接する区分領域に広がった場合のNDVIマップを表し、図18Dは、図18Bに表す低指標領域が隣接する区分領域に広がった場合のNDVIマップを表す。
図18Aの例だと低指標領域の位置の偏りが小さいので、図18Cに表すように新たな低指標領域が増えても低指標領域同士の間に隙間が残っている。一方、図18Bの例だと低指標領域の位置の偏りが大きいので、図18Dに表すように新たな低指標領域が隙間を埋めるように増えていて、低指標領域が連続するようになっている。その結果、図18Dの例の方が図18Cの例に比べて2回目の撮影飛行の飛行距離が少なくて済むようになっている。
このように、低指標領域の位置の偏りが大きいほど、指標閾値を大きくしたときの飛行距離の増加が抑えられる。本変形例では、低指標領域の位置の偏りを考慮せずに指標閾値を変動させる場合に比べて、2回目の撮影飛行においてバッテリーが過度に消費されることを抑えつつ、バッテリーの残量を有効に利用してより正確な生育状況を示す生育情報を記録することができる。
なお、偏り値は上述した値に限らない。例えば、低指標領域と他の低指標領域との距離の平均値(これが小さいほど低指標領域同士の距離が近く位置が集中している、すなわち位置の偏りが大きいことを表す)を偏り値として用いてもよい。これ以外にも、低指標領域の位置の偏りを示す値であれば、どのような値が用いられてもよい。
(2−5)寄り道の大きさ
指標閾値を動的に変化させる方法として上記の各変形例とは異なる方法が用いられてもよい。本変形例では、上記変形例と同様に、指標マップ生成部103が、まず、指標閾値として仮の閾値を用いて領域単位のNDVIマップを生成する。
図20A〜20Dは本変形例の領域単位のNDVIマップの例を表す。図20A〜20Dでは、NDVIが指標閾値未満の区分領域(低指標領域)に模様を付けて表している。図20Aの例では区分領域E12、E21が低指標領域となり、図20Bの例では区分領域E9、E24が低指標領域となっている。指標マップ生成部103は、この仮の閾値を用いて生成した領域単位のNDVIマップを飛行指示部105に供給する。
飛行指示部105は、指標閾値として仮の閾値を定めた場合にドローン20が着陸予定地点に向かう経路とNDVIが仮の閾値未満となる部分との距離が短いほど大きな値を仮の閾値に代えて指標閾値として用いる。飛行指示部105は、図20A〜20Dの例では、区分領域E32の上空から区分領域E1に真っ直ぐ向かう経路B3を着陸予定地点に向かう経路として仮決めする。飛行指示部105は、仮決めした経路B3と低指標領域との距離を算出する。
飛行指示部105は、図20Aの例であれば、経路B3と低指標領域であるE12、E21との距離L1、L2の合計を算出し、図20Bの例であれば、経路B3と低指標領域であるE9、E24との距離の合計を0(経路B3が両低指標領域を通過するため)と算出する。飛行指示部105は、仮決め経路及び低指標領域の距離と指標閾値とを対応付けた閾値テーブルを用いて指標閾値を決定する。
図21は閾値テーブルの一例を表す。図21の例では、「L21以上」、「L11以上L21未満」、「L11未満」という距離に、「Th1」、「Th2」、「Th3」(Th1<Th2<Th3)という指標閾値が対応付けられている。飛行指示部105は、算出した密度の値に閾値テーブルで対応付けられている指標閾値を仮の閾値に代えて用いて2回目に撮影する低指標領域を決定し、決定した低指標領域を撮影する指示を行う。
上記のずれ距離が大きいほど、2回目の撮影飛行において仮決めした経路B3を外れて寄り道する距離が大きくなる。図20Cは、指標閾値を大きくして図20Aに表す低指標領域が広がった場合の2回目の撮影飛行の飛行経路B4を表し、図20Dは、指標閾値を大きくして図20Bに表す低指標領域が広がった場合の飛行経路B5を表す。
寄り道の大きさを考慮しないで図20A、20Bのどちらの場合も指標閾値を大きくすると、飛行経路B5を飛行する場合に比べて、飛行経路B4を飛行する場合は距離が長いのでバッテリー切れの可能性が高くなる。本変形例では、上記のとおりずれ距離が大きいほど指標閾値を小さくすることで、ずれ距離の大きさを考慮しない場合に比べて、ずれ距離が大きい場合に低指標領域が広がらないようにして2回目の撮影飛行においてバッテリーの残量が足りないという事態を起こりにくくすることができる。
(2−6)低空での飛行高度
飛行指示部105は、実施例では、2回目の撮影飛行において1回目よりも飛行高度を下げるよう指示したが、その際の飛行高度についてより詳細に指示を行ってもよい。具体的には、飛行指示部105は、低空飛行の際に作物の種類に応じた高さ以上の高度を維持するよう指示してもよい。
飛行指示部105は、作物の種類及び飛行高度を対応付けた高度テーブルを用いて2回目の飛行撮影における飛行高度を決定する。
図22は高度テーブルの一例を表す。図22の例では、「キャベツ、大根、・・」、「稲、小麦、・・」、「トウモロコシ、さとうきび、・・」という作物の種類に、「H1」、「H2」、「H3」(H1<H2<H3)という飛行高度が対応付けられている。この高度テーブルでは、丈の低い作物ほど低い飛行高度が対応付けられている。
本変形例では、ユーザが各圃場において生育されている作物の種類を予め登録しており、飛行指示部105は、登録された作物の種類を、圃場を識別する圃場IDに対応付けて記憶しておく。ドローン20の撮影部204は、画像データを送信する際に圃場IDを付加して送信する。指標マップ生成部103は、この圃場IDに対応付けてNDVIマップを生成して飛行指示部105に供給する。
飛行指示部105は、供給されたNDVIマップに基づき2回目の撮影飛行の指示を行う際に、そのNDVIマップに対応付けられている圃場IDに対応付けて記憶している作物の種類を読み出し、その作物の種類に高度テーブルで対応付けられている飛行高度での飛行を指示する。高度テーブルでは、各種類の作物がドローン20のローターが起こす風(ダウンウィンド)によって倒れることがない飛行高度のうち、できるだけ低い飛行高度が定められているものとする。
例えばどの種類の作物でも倒さないようにするだけなら、高度テーブルにおける最も高い飛行高度H3で常に飛行させる方法も考えられる。それに比べて、本変形例の方法を用いれば、作物をダウンウィンドで倒さないようにしつつ、できるだけ飛行高度を低くすることで、作物の画像の解像度を向上させて、より正確な生育状況を示す生育情報を記録することができる。
なお、図22の例では、丈の低い作物ほど低い飛行高度が対応付けられていたが、これに限らず、丈が高くても風に強い種類の作物については低い飛行高度が対応付けられていてもよい。要するに、飛行指示部105が指示した高度で飛行しても作物がダウンウィンドにより倒れることがないような飛行高度が対応付けられていればよい。
(2−7)指標の補正
2回目の撮影で得られた精度の高い指標を用いて、1回目の撮影で得られた指標が補正されてもよい。本変形例では、指標算出部102は、まず、実施例と同様に、飛行指示部105による指示に従いドローン20が2回目の撮影飛行で撮影した画像に基づいて、1回目の撮影で低指標領域であった部分のNDVIを算出する。
指標算出部102は、そうして算出したNDVIと、その低指標領域について先に算出したNDVIとの差分に応じて先に撮影された画像全体についてのNDVIを補正する。指標算出部102は、例えば、低指標領域毎に1回目の撮影で算出したNDVIと2回目の撮影で算出したNDVIとの差分を算出し、全低指標領域の差分の平均値を算出する。この差分の平均値は、1回目のNDVIとそれよりも精度が高い2回目のNDVIとの差分の傾向を表している。
指標算出部102は、この差分の平均値を補正値として用いて、2回目の撮影を行わなかった区分領域のNDVI(指標閾値以上だったNDVI)に補正値を加える補正を行う。
図23は補正の一例を表す。図23では、1回目、2回目の撮影で算出された8つの低指標領域(太線で囲まれた領域)のNDVIがそれぞれ表されている。
この例では、1回目と2回目で0.0が−0.1(差分:−0.1)、−0.3が−0.3(差分:0.0)、0.1が0.2(差分:+0.1)、−0.4が−0.3(差分:+0.1)、−0.3が−0.2(差分:+0.1)、0.1が0.2(差分:+0.1)、−0.2が−0.1(差分:+0.1)、−0.1が0.1(差分:+0.2)へ変化している。
この場合の差分の平均値は+0.6÷8=+0.075となる。指標算出部102は、低指標領域以外の区分領域のNDVIに0.075を加えた値を、補正後のNDVIとして算出する。本変形例によれば、上記の補正を行わない場合に比べて、1回目よりも作物の画像の解像度を高くした2回目の撮影が行われない区分領域におけるNDVIの値を、より正確な値に近づけることができる。
(2−8)反射光の除外
指標算出部102は、実施例では全ての画素についてNDVIを算出したが、これに限らない。例えば、撮影された画像の中には上述したように太陽光の反射光を表す画素が含まれている場合があるので、指標算出部102は、そのような画像についてはNDVIを算出しないようにしてもよい。
本変形例では、指標算出部102は、作物画像取得部101により取得された作物領域の画像の画素のうち明るさが所定の基準以上の画素を除いてNDVIを算出する。各画素は、近赤外領域の波長の光を示すピクセル値(IR)の他に、可視光の3原色である赤色、緑色、青色をそれぞれ示すピクセル値(R、G、B)で表される。指標算出部102は、例えば、3原色のピクセル値がいずれも閾値以上である場合に、明るさが所定の基準以上の画素であると判断する。
指標算出部102がこうして判断した画素を除いた画素についてNDVIを算出することで、反射光を表す画素を除外しない場合に比べて、算出されるNDVIの精度を高くすることができる。なお、NDVIの算出にはG、Bのピクセル値は不要であるが、これらの色の光も撮影しておくことで、RGBのピクセル値がいずれも高い画素、すなわち色が白色に近い反射光の画素をより適切に除外することができる。
(2−9)ズーム
飛行指示部105は、実施例では、1回目の撮影よりも低空飛行をすることで作物の画像の解像度を高くするよう指示したが、解像度を高くする方法はこれに限らない。ドローン20の撮影装置27が焦点距離を変化させることができるズームレンズを有している場合には、飛行指示部105は、低指標領域の指標が算出された画像の撮影がされたときよりも焦点距離を長くしてその低指標領域を撮影するよう指示する。
焦点距離を長くすると、撮影領域が狭くなる代わりに、作物領域の単位面積を表す画素数が増えるので、上述した作物の画像の解像度が高くなる。従って、焦点距離を長くする指示を行うということは、解像度を高くして低指標領域を撮影することを指示することにもなる。本変形例でも、実施例と同様に、2回目の撮影では作物の画像の解像度を高くすることで、撮影された画像から得られるNDVIの精度を高めることができる。
なお、実施例のように低空飛行を指示するだけの場合、撮影装置27が単焦点のレンズを有していればよいので、ズームレンズを用いる場合に比べて、ドローン20を軽量にすることができる。また、単焦点レンズの方が明るい画像が撮れる傾向にあるので、ズームレンズを用いる場合に比べて、ピクセル値が大きくなり、図11の説明で述べたようにNDVIの精度を高くすることができる。
(2−10)撮影範囲
飛行指示部105は、実施例では作物の画像の解像度を高くするよう指示したが、これに限らず、作物の画像の解像度は変えなくても、撮影範囲を狭くして低指標領域を撮影するよう指示してもよい。
この場合、ドローン20の撮影装置27は、レンズの外側に開閉可能なシャッターを有し、このシャッターの開き具合を変化させることで焦点距離を変えずに画角を変化させることができるものとする(シャッターで隠された部分が黒くなった画像が撮影される)。このように撮影範囲を狭くするだけでも、上述した反射光(水面で反射した太陽光)を表す画素が少なくなるので、算出されるNDVIの精度を高めることができる。
(2−11)生育状況を表す指標
実施例では、生育状況を表す指標としてNDVIが用いられたが、これに限らない。例えば、葉色値(葉の色を示す値)、植被率(植被領域の単位面積あたりの占有率)、SPAD(葉緑素含量)、草丈又は茎数等が用いられてもよい。要するに、作物の生育状況を表しており、且つ、撮影された作物領域の画像から算出可能な値であれば、どのような値が生育状況を表す指標として用いられてもよい。
(2−12)飛行体
実施例では、自律飛行を行う飛行体として回転翼機型の飛行体が用いられたが、これに限らない。例えば飛行機型の飛行体であってもよいし、ヘリコプター型の飛行体であってもよい。また、自律飛行の機能も必須ではなく、割り当てられた飛行空域を割り当てられた飛行許可期間に飛行することができるのであれば、例えば遠隔から操縦者によって操作されるラジオコントロール型(無線操縦型)の飛行体が用いられてもよい。
(2−13)各部を実現する装置
図4等に表す各機能を実現する装置がそれらの図とは異なっていてもよい。例えばサーバ装置が備える全ての機能又は一部の機能をドローンが備えていてもよく、例えばドローンが自ら指標の算出、生育情報の記録及び2回目の撮影飛行の指示を行ってもよい。
その場合はドローンのプロセッサが本発明の「情報処理装置」の一例となる。また、サーバ装置の機能をユーザが利用するユーザ端末(ノートパソコン又はスマートフォン等)が実現してもよい。その場合はユーザ端末が本発明の「情報処理装置」の一例となる。また、各機能が行う動作を他の機能が行ってもよいし、新たな機能に行わせてもよい。例えば指標算出部102が行う動作(指標の算出動作)を指標マップ生成部103が行ってもよい。
また、例えば指標マップ生成部103が行う動作を分離して1回目のNDVIマップを生成する機能と2回目のNDVIマップを生成する機能を新たに設けてもよい。また、サーバ装置が備える各機能を2以上の装置がそれぞれ実現してもよい。要するに、農業支援システム全体としてこれらの機能が実現されていれば、農業支援システムが何台の装置を備えていてもよい。
(2−14)発明のカテゴリ
本発明は、上述したサーバ装置のような情報処理装置と、ドローンのような飛行体(ドローンは情報処理装置を兼ねる場合もある)の他、それらの装置及び飛行体を備える農業支援システムのような情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
(2−15)処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
(2−16)入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
(2−17)ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
(2−18)情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
(2−19)システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
(2−20)「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
(2−21)「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
(2−22)態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…農業支援システム、10…サーバ装置、20…ドローン、101…作物画像取得部、102…指標算出部、103…指標マップ生成部、104…生育情報記録部、105…飛行指示部、106…指標精度判断部、107…距離情報取得部、201…飛行制御部、202…飛行部、203…センサ測定部、204…撮影部。

Claims (9)

  1. 撮影機能を有する飛行体が撮影した作物領域の画像を取得する画像取得部と、
    取得された前記画像に基づいて当該画像に写る作物の生育状況を表す指標を算出する算出部と、
    算出される前記指標が指標閾値未満となる部分が前記作物領域に存在する場合、解像度を高くし又は撮影範囲を狭くして当該部分を撮影するよう前記飛行体に指示する指示部と
    を備える情報処理装置。
  2. 算出された前記指標の精度を判断する判断部を備え、
    前記指示部は、判断された前記精度が低いほど大きな値を前記指標閾値として用いる
    請求項1に記載の情報処理装置。
  3. 前記飛行体の残りの飛行可能距離を示す情報を取得する距離取得部を備え、
    前記指示部は、取得された前記情報が示す飛行可能距離が長いほど大きな値を前記指標閾値として用いる
    請求項1又は2に記載の情報処理装置。
  4. 前記指示部は、前記指標閾値として仮の閾値を定めた場合に前記指標が当該仮の閾値未満となる部分の位置の偏りが大きいほど大きな値を当該仮の閾値に代えて前記指標閾値として用いる
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記指示部は、前記指標閾値として仮の閾値を定めた場合に前記飛行体が着陸予定地点に向かう経路と前記指標が当該仮の閾値未満となる部分との距離が短いほど大きな値を当該仮の閾値に代えて前記指標閾値として用いる
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記指示部は、前記指標が算出された画像の撮影がされたときよりも低空飛行をしながら当該指標が算出された部分を撮影するよう指示する
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記指示部は、前記低空飛行の際に前記作物の種類に応じた高さ以上の高度を維持するよう指示する
    請求項6に記載の情報処理装置。
  8. 前記算出部は、前記指示に従い前記飛行体が撮影した前記部分の画像に基づいて当該部分の画像に写る前記作物の前記生育状況を表す他の指標を算出し、算出した当該他の指標と、当該部分について先に算出した前記指標との差分に応じて先に撮影された前記画像の領域全体についての前記指標を補正する
    請求項1から7のいずれか1項に記載の情報処理装置。
  9. 前記算出部は、取得された前記画像の画素のうち明るさが所定の基準以上の画素を除いて前記指標を算出する
    請求項1から8のいずれか1項に記載の情報処理装置。
JP2020515468A 2018-04-25 2019-04-23 情報処理装置 Active JP7299213B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018083892 2018-04-25
JP2018083892 2018-04-25
PCT/JP2019/017131 WO2019208537A1 (ja) 2018-04-25 2019-04-23 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2019208537A1 true JPWO2019208537A1 (ja) 2021-06-10
JP7299213B2 JP7299213B2 (ja) 2023-06-27

Family

ID=68295326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515468A Active JP7299213B2 (ja) 2018-04-25 2019-04-23 情報処理装置

Country Status (3)

Country Link
US (1) US11763441B2 (ja)
JP (1) JP7299213B2 (ja)
WO (1) WO2019208537A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114828619A (zh) * 2019-12-19 2022-07-29 佳能株式会社 信息处理设备、计算机程序和信息处理方法
CN111144295A (zh) * 2019-12-26 2020-05-12 贵州华图科技有限公司 农作物分类方法、装置及设备
US11620821B2 (en) 2020-06-25 2023-04-04 GEOSAT Aerospace & Technology Apparatus and method for image-guided agriculture
US11580730B2 (en) * 2020-06-25 2023-02-14 GEOSAT Aerospace & Technology Apparatus and method for image-guided agriculture
JP7420047B2 (ja) 2020-10-21 2024-01-23 トヨタ自動車株式会社 ロボットシステム
DE102021200400A1 (de) 2021-01-18 2022-07-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erfassung von Pflanzen oder Pflanzenbestandteilen, Computerprogrammprodukt, Erfassungseinrichtung und landwirtschaftliches Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062789A (ja) * 2012-09-20 2014-04-10 Topcon Corp 写真計測用カメラ及び航空写真装置
WO2017061589A1 (ja) * 2015-10-07 2017-04-13 ブルーイノベーション株式会社 飛行体の飛行管理システム
WO2017169516A1 (ja) * 2016-03-28 2017-10-05 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および検査装置
WO2017208354A1 (ja) * 2016-05-31 2017-12-07 株式会社オプティム ドローン飛行制御システム、方法及びプログラム
WO2017221641A1 (ja) * 2016-06-22 2017-12-28 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム
WO2018061176A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826096B2 (en) * 2005-09-16 2010-11-02 Fujifilm Corporation Image processing method and image recording apparatus
KR100860964B1 (ko) * 2006-07-05 2008-09-30 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
TWI416501B (zh) * 2009-02-06 2013-11-21 Primax Electronics Ltd 決定影像區域之亮度臨界值的方法及相關裝置
JP2017015527A (ja) 2015-06-30 2017-01-19 株式会社トプコン 広域センサシステム、飛行検出方法およびプログラム
KR20170006210A (ko) * 2015-07-07 2017-01-17 한화테크윈 주식회사 감시 방법
WO2017201698A1 (zh) * 2016-05-25 2017-11-30 深圳市大疆创新科技有限公司 一种追踪目标的方法及装置
JP6787157B2 (ja) * 2017-01-31 2020-11-18 株式会社デンソー 車両制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062789A (ja) * 2012-09-20 2014-04-10 Topcon Corp 写真計測用カメラ及び航空写真装置
WO2017061589A1 (ja) * 2015-10-07 2017-04-13 ブルーイノベーション株式会社 飛行体の飛行管理システム
WO2017169516A1 (ja) * 2016-03-28 2017-10-05 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および検査装置
WO2017208354A1 (ja) * 2016-05-31 2017-12-07 株式会社オプティム ドローン飛行制御システム、方法及びプログラム
WO2017221641A1 (ja) * 2016-06-22 2017-12-28 コニカミノルタ株式会社 植物生育指標測定装置、該方法および該プログラム
WO2018061176A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム

Also Published As

Publication number Publication date
US20210174080A1 (en) 2021-06-10
JP7299213B2 (ja) 2023-06-27
WO2019208537A1 (ja) 2019-10-31
US11763441B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
JP7299213B2 (ja) 情報処理装置
US10902566B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
US11542035B2 (en) Spectral camera control device, spectral camera control system, storage medium storing spectral camera control program, and network system for distributing spectral camera control program
WO2020103110A1 (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
JP2018046787A (ja) 農業管理予測システム、農業管理予測方法、及びサーバ装置
US11741571B2 (en) Voronoi cropping of images for post field generation
Andritoiu et al. Agriculture autonomous monitoring and decisional mechatronic system
JP7218365B2 (ja) 情報処理装置
JP7366887B2 (ja) 情報処理装置
US20230408889A1 (en) Imaging apparatus and lens apparatus
US11573124B2 (en) Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
WO2021149355A1 (ja) 情報処理装置、情報処理方法、プログラム
Sorenson Evaluation of unmanned aerial vehicles and analytical software for creation of a crop consulting business
WO2021255941A1 (ja) 作物の生育管理装置及び生育管理方法
WO2020044628A1 (ja) 圃場撮影システムおよび圃場撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R150 Certificate of patent or registration of utility model

Ref document number: 7299213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150