JP6914874B2 - 飛行経路生成装置及び飛行経路生成方法 - Google Patents

飛行経路生成装置及び飛行経路生成方法 Download PDF

Info

Publication number
JP6914874B2
JP6914874B2 JP2018046527A JP2018046527A JP6914874B2 JP 6914874 B2 JP6914874 B2 JP 6914874B2 JP 2018046527 A JP2018046527 A JP 2018046527A JP 2018046527 A JP2018046527 A JP 2018046527A JP 6914874 B2 JP6914874 B2 JP 6914874B2
Authority
JP
Japan
Prior art keywords
field
flight path
target
information
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018046527A
Other languages
English (en)
Other versions
JP2019158635A (ja
Inventor
藤原 昇
昇 藤原
光昭 小関
光昭 小関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenrin Datacom Co Ltd
Original Assignee
Zenrin Datacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Datacom Co Ltd filed Critical Zenrin Datacom Co Ltd
Priority to JP2018046527A priority Critical patent/JP6914874B2/ja
Publication of JP2019158635A publication Critical patent/JP2019158635A/ja
Application granted granted Critical
Publication of JP6914874B2 publication Critical patent/JP6914874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、例えば、圃場上空を飛行して情報を収集する、農業用自律型UAV(Unmanned Aerial Vehicle)の飛行経路を生成する装置及び方法に関する。
農業の分野では、UAVやドローンなどと呼ばれる無人航空機(以下、UAVと記載する。)が活用されている。通常、UAVは、現場において、操作者が目視で確認しながら遠隔操作により運行されるが、目的に応じて、圃場上空を適切に飛行させる必要がある。このため、後に記す特許文献1には、正確なエリアデータを作成して無人ヘリコプターの飛行ルートを設定できるようにする無人ヘリコプター用飛行計画装置に関する発明が開示されている。
特許文献1に開示された発明は、対象圃場の外周をGPS(Global Positioning System)機能を搭載した飛行計画装置を使用者が持って移動し、当該対象圃場の端点の位置及び高度を測位して、当該対象圃場についての正確なエリアデータを作成する。この正確なエリアデータに基づいた圃場のイメージ図をタッチパネルに表示し、タッチペンを用いて飛行ルートの指示入力を行い、目的とする飛行ルートを設定する。
この特許文献1に開示された発明により、無人ヘリコプターを自律飛行させる場合の制御に用いる飛行ルートや無線操縦飛行の目安となる飛行エリアや飛行ルートを、適切に設定できる。
特開2002−211494号公報
多くの農家においては、自己が所有する圃場が1箇所にまとまってある場合は少なく、比較的に広いエリアに飛び飛びに複数の圃場を所有している場合が多い。また、多くの圃場を借りて大規模農業を営むいわゆる農業法人の場合にも、耕作対象は、複数の所有者から借りた飛び飛びに存在する複数の圃場となることがある。
このような場合に、上述した特許文献1に開示された発明を適用すると、分散して存在する圃場の1つ1つの外周に沿って飛行計画装置を持って使用者が移動することにより、その1つ1つの圃場について正確なエリアデータを作成する処理を行う必要がある。また、飛行ルート設定のための入力作業も必要になる。このため、圃場ごとに適した飛行ルートを設定するためには、多くの労力と時間を必要とする。
また、近年においては、作物の生育状況や圃場の状況を適切に把握し、適時に適切な対応を行うことにより、高品質の作物を安定して生育できるようにするいわゆる精密農業の実現に、UAVを活用したいとする要求も高くなってきている。すなわち、UAVを活用し、圃場の状況を適切に把握できるようにすることが求められている。
以上のことに鑑み、この発明は、圃場の状況を適切に把握できるようにする農業用自律型UAVの飛行経路を、適切かつ迅速に生成できるようにすることを目的とする。
上記課題を解決するため、この発明の飛行経路生成装置は、
1以上の圃場についての所在位置、形状、面積を特定することが可能な情報を含む圃場情報を記憶する圃場情報記憶手段と、
UAV(Unmanned aerial vehicle)に搭載されたカメラ機能の性能と、撮影高度とに基づいて、当該UAVを用いて圃場を上空から撮影する場合の撮影範囲を特定する撮影範囲特定手段と、
使用者からの指示情報と、前記圃場情報記憶手段に記憶されている前記圃場情報とに基づいて、撮影対象となる1以上の対象圃場を特定する対象圃場特定手段と、
前記対象圃場特定手段で複数の対象圃場が特定された場合に、前記圃場情報記憶手段の前記圃場情報に基づいて、特定された前記複数の対象圃場を巡回する巡回飛行経路を生成する巡回飛行経路生成手段と、
前記巡回飛行経路生成手段により生成された前記巡回飛行経路と、前記圃場情報記憶手段の前記圃場情報に基づいて、前記複数の対象圃場ごとに、スタート位置とゴール位置とを特定する圃場別位置特定手段と、
前記複数の対象圃場ごとに、前記圃場情報記憶手段の前記圃場情報と、前記圃場別位置特定手段で特定された前記スタート位置及び前記ゴール位置と、前記撮影範囲特定手段で特定された前記撮影範囲とに基づいて、前記対象圃場上空においての前記UAVの対象圃場飛行経路を生成する対象圃場飛行経路生成手段と、
前記巡回飛行経路生成手段で生成された前記巡回飛行経路と、前記対象圃場飛行経路生成手段で生成された前記複数の対象圃場ごとの前記対象圃場飛行経路とに基づいて、全体の飛行経路を生成する全体飛行経路生成手段と
を備えることを特徴とする。
この発明によれば、使用者が大きな負荷を負うことなく、農業用自律型UAVの飛行経路を、適切かつ迅速に生成できる。
実施の形態のUAV飛行経路生成装置1の構成例と、その周辺環境を説明するための図である。 実施の形態の生成装置が行う処理の概要を説明するための図である。 UAVを飛行させて情報を収集する圃場について説明するための図である。 UAVを飛行させて情報を収集する圃場について説明するための図である。 UAVを飛行させて情報を収集する圃場について説明するための図である。 圃場DBの格納データの例を説明するための図である。 UAVDBの格納データの例を説明するための図である。 UAVが備えるカメラ機能に応じて撮影範囲を特定する場合の例を説明するための図である。 UAVが備えるカメラ機能に応じて撮影範囲を特定する場合の例を説明するための図である。 UAVにより対象圃場の動画を撮影する場合の飛行経路の生成処理について説明するための図である。 UAVにより対象圃場の静止画を撮影する場合の飛行経路の生成処理について説明するための図である。 1の農業用エリアに存在する複数の対象圃場の全てについて情報収取を行う場合の飛行経路の生成処理について説明するための図である。 情報取得レベルと飛行高度等の関係について説明するための図である。 生成装置で行われるUAVの飛行経路情報の生成処理について説明するためのフローチャートである。 管理装置で用いられる条件情報の入力画面を説明するための図である。
以下、図を参照しながら、この発明の装置、方法の一実施の形態について説明する。
[UAV飛行経路生成装置1の構成例と周辺環境]
図1は、この実施の形態のUAV飛行経路生成装置(以下、単に生成装置と記載する。)1の構成例と、その周辺環境を説明するための図である。図1に示すように、生成装置1と、複数のUAV2(1)、2(2)、2(3)、…と、UAV運用管理装置(以下、単に管理装置と記載する。)3とが、IoT(Internet of Things)プラットホーム4を通じて接続され、相互に通信が可能になっている。すなわち、生成装置1、UAV2(1)、2(2)、2(3)、…、管理装置3のそれぞれは、通信機能を備えたものである。
生成装置1は、管理装置3を通じて入力された使用者からの指示情報(条件情報)を、IoTプラットホーム4を通じて受け付け、当該指示情報に応じて、指示された圃場上空をUAVが飛行する場合の飛行経路を示す情報(飛行経路情報)を生成する。そして、生成装置1は、生成した飛行経路情報を、IoTプラットホーム4を通じて、UAV2(1)、2(2)、2(3)、…の内の当該圃場上空を飛行させる目的とするUAVに提供する。
UAV2(1)、2(2)、2(3)、…は、無人航空機であり、マルチコプター、固定翼機、小型ヘリコプターなどの種々のものが存在する。この実施の形態のUAV2(1)、2(2)、2(3)、…は、マルチコプターのうち、例えば、クワッドローター式のもの(クワッドコプター)である。なお、クワッドコプターにも種々のものがあるが、その基本的な機能は同様であるため、以下においては、特に区別して示す必要がある場合を除き、UAV2(1)、2(2)、2(3)、…を総称して、UAV2と記載する。
そして、UAV2は、GPS機能や、6軸センサ、方位センサ、高度センサなどの種々のセンサなどを備え、自律飛行が可能なものである。また、UAV2は、カメラ機能や近距離無線通信機能を備え、上空から圃場を撮影したり、近距離無線通信機能を通じて情報を収集したりすることができるものである。当該飛行経路情報の提供を受けたUAV2は、当該飛行経路情報に基づいて、使用者が指示した圃場上空を自律飛行して、撮影を行うなどして情報収集を行う。
管理装置3は、使用者からの情報の入力を受け付けて、これを目的とする相手先に送信したり、相手先からの情報を受信して、これを表示出力したりする。この実施の形態の管理装置3は、UAV2の使用者(運用者)によって用いられ、UAV2に関する必要な情報や上空を飛行して情報収取を行う圃場を特定するための情報などを指示情報(条件情報)として受け付けて、生成装置1に提供する。管理装置3は、例えば、タブレットPC(Personal Computer)やノート型PCによって実現されるが、この実施の形態においては、タブレットPCである。
IoTプラットホーム4は、インターネット、携帯電話網、一般公衆電話網、無線LAN(Local Area Network)などを含み、これに接続された機器が、相互に通信を行うことができる環境を提供する。この実施の形態において、無線LANとしては、例えば、Wi−Fi(登録商標)規格のものが利用可能になっている。
図2は、この実施の形態の生成装置1が行う処理の概要を説明するための図である。この実施の形態の生成装置1は、上述したように、管理装置3を通じて提供される指示情報に基づいて、UAV2の飛行経路情報を生成する。そして、図2(A)に示すように、目的とする対象圃場HJの隅々まで観察可能なように当該圃場の上空から当該圃場を隈なく撮影して必要な精度の画像データを取得できるようにするUAVの飛行経路情報を生成する(第1の目的)。また、図2(B)に示すように、観察対象の圃場にデータセンサSSが設置されている場合には、近距離無線通信を通じて当該データセンサから検出結果を収集できるようにするUAV2の飛行経路情報を生成する(第2の目的)。
ここで、データセンサSSは、栽培作物や圃場環境に応じて、種々の情報を検出するセンサ機能と近距離無線通信機能とを備え、検出した情報を近距離無線通信によって送信できるものである。このように、近距離無線通信によって検出結果を送信するのは、大規模な圃場である場合や山間部の圃場である場合など、そもそもIoTプラットホーム4に接続できない場合があるためである。また、IoTプラットホーム4に接続可能であっても、接続には比較的に大きな送信出力が必要になり、消費電力が大きくなるため、容量の大きなバッテリが必要になるなど、必要なだけのデータセンサSSを安価に設置することを阻害する場合があるためである。
なお、データセンサSSには、例えば、「温度、湿度、照度、降雨量、風向、風速」の検出センサ、「水位、水温」の検出センサ、「土壌温度、含水率、電気伝導率」の検出センサ、「葉面水分量」の検出センサ、「二酸化炭素濃度」の検出センサなどがある。
<生成装置1の具体的な構成>
生成装置1は、図1の上側のブロック図に示した構成を有する。通信I/F101は通信機能を実現する。制御部102は、図示しないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリなどを備えたコンピュータ装置部であり、生成装置1の各部を制御する。記憶装置103は、例えばハードディスクなどの大容量記録媒体を備え、当該記録媒体へのデータの書き込み/読み出し/記憶保持/削除などを行う。
圃場DB104、UABDB105、リサーチデータDB107のそれぞれは、蓄積・検索・更新などに便利なように有機的に整理された情報の集まりであり、例えばハードディスクなどの大容量記録媒体に作成されている。なお、圃場DB104等における文字「DB」は「database」の略称である。また、飛行経路情報ファイル106は、当該生成装置1で生成されたUAV2ごとの飛行経路情報を記憶保持するものであり、例えばハードディスクなどの大容量記録媒体に作成されている。これらデータベースやファイルについて説明する。
圃場DB104は、UAV2を飛行させて情報を収集する圃場に関する情報を記憶保持する。図3〜図5は、UAV2を飛行させて情報を収集する圃場の管理について説明するための図である。図3に示すように、各圃場は地番によって所在位置を特定できる。しかし、登記されていない圃場が存在する可能性があるし、また、いわゆる一筆の土地が、畔等で区切られた1枚の圃場であるとは限らない。一筆の土地が複数の圃場に分割されて耕作されている場合もあるためである。なお、この明細書において、1枚の圃場とは、畔等で区切られた個々の耕作単位となる圃場を意味する。
そこで、図3に示すように、道路や建物などの圃場以外の地物を一切含まず、1枚以上の圃場からなる農業用エリアにエリア番号を付して管理する。換言すれば、農業用エリアは、その外周部の内側が圃場のみであり、その外周部の外側は農業用の地物以外で構成されているエリアとなる。なお、この場合、圃場を区切る畔等は圃場の一部と見做す。図3に示した例の場合には、エリア番号が「0001」〜「0006」の6つの農業用エリアが存在し、各エリアの外周の外側には道路が設けられている場合を示している。
そして、各農業用エリア「0001」〜「0006」のそれぞれの外周の内側には、例えば、図3の農業用エリア「0001」において点線で示したように、複数の圃場が存在する。すなわち、図3の農業用エリア「0001」において点線で区切られた1つ1つが、畔等で区切られた圃場の1枚1枚になる。そして、1枚1枚の圃場にも、図3に示したように、圃場番号を付して管理する。これにより、農業用エリア「0001」の圃場「0001」というように、耕作単位となる1枚1枚の圃場を農業用エリア番号と圃場番号とにより特定できる。
しかし、圃場1枚1枚が特定可能なだけでは、まだ十分な管理はできない。例えば、図4に示すように、農業用エリア「0001」、「0002」に着目すると、農業用エリア「0001」、「0002」に含まれる圃場は、農家A、B、C、Dのいずれかによって耕作されている。このように、1つの農業用エリア内にある複数の圃場が、1つの農家によって耕作されているという場合は少なく、1つの農業用エリア内にある複数の圃場は異なる農家により耕作されている場合も多い。もちろん、縦方向、あるいは、横方向に連続する圃場を1件の農家が耕作している場合もあるが、各農家が耕作する圃場が、農業用エリア「0001」、「0002」内に飛び飛びに存在している。
そして、図5は、農業用エリア「0001」、「0002」において、農家Aが耕作している圃場だけに着目している。このように、農業用エリア「0001」、「0002」において、飛び飛びに存在する農家Aの耕作する圃場のそれぞれの状態を人の目によって隈なく観察し、その状態を適切に把握することは難しい。そこで、この実施の形態では、各農業用エリアの各圃場の管理者が誰であるのかも把握し、管理者ごとの圃場の管理を可能にしている。また、圃場の中には、データセンサSSが設置されているものもあるので、圃場ごとにデータセンサSSの設置の有無と、設置されている場合にはそのデータセンサSSの設置位置も管理している。
図3〜図5を用いて説明したようにして、その1つ1つ(1枚1枚)が特定される圃場のそれぞれについての圃場に関する情報が、圃場DB104で管理される。図6は、圃場DB104の格納データの例を説明するための図である。図6に示すように、圃場に関する情報は、場所ごと、エリアごと、圃場ごとに管理される。場所は、地番によって特定される圃場が存在するおおよその所在範囲を示す情報であり、例えば、「○○県△△市×××町」といった態様で圃場の所在範囲を示す。エリアIDは、当該場所が示す所在範囲に位置し、1以上の圃場からなる農業用エリアを特定する情報である。エリアポリゴンは、エリアIDによって特定される農業用エリアの形状及び面積を特定可能にする位置情報の集合データである。
具体的に、平地に存在する農業用エリアのエリアポリゴンは、当該農業用エリアの形状及び面積を特定可能にする複数の緯度経度情報からなる2D(2-Dimensions)データである。また、傾斜地にある農業用エリアのエリアポリゴンは、当該農業用エリアの形状及び面積を特定可能にする複数の緯度経度情報と標高などの基準位置からの高さの集合からなる3D(3-Dimensions)データである。なお、傾斜地にある農業用エリアは、例えば、山の斜面に設けられた複数の圃場からなるエリアや1枚以上の棚田や段々畑からなる農業用エリアなどである。
そして、圃場IDは、図3、図4に示したように、耕作単位である1枚1枚の圃場を特定するための情報である。圃場ポリゴンは、圃場IDによって特定される圃場の形状及び面積を特定可能にする位置情報の集合データである。基本的には、エリアポリゴンの場合と同様に、平地に存在する圃場の圃場ポリゴンは、当該圃場の形状及び面積を特定可能にする複数の緯度経度情報からなる2D(2-Dimensions)データである。また、傾斜地にある圃場の圃場ポリゴンは、当該圃場の形状及び面積を特定することができる複数の緯度経度情報と標高などの基準位置からの高さの集合からなる3D(3-Dimensions)データである。
センサフラグは、当該圃場IDによって特定される圃場にデータセンサSSが設置されているか否かを示す情報である。図6に示した例の場合には、圃場「0001」、「0003」、「0004」にはデータセンサSSが設置されているが、圃場「0002」にはデータセンサSSは設置されていないことが示されている。センサ位置は、データセンサSSが設置されている圃場の場合に、その設置位置を示す緯度経度情報である。上述したように、圃場「0002」にはデータセンサSSは設置されていないので、該当なし(N/A(not applicable))であることが示されている。
作付作物は、当該圃場IDによって特定される圃場において栽培されている作物を示す情報である。この実施の形態においては、圃場「0001」、「0002」、「0003」、「0004」のそれぞれでは、水稲が栽培されていることが示されている。すなわち、圃場「0001」、「0002」、「0003」、「0004」のそれぞれは、水田であることが把握できる。
管理者は、当該圃場IDによって特定される圃場を耕作して管理している管理者を示す情報であり、例えば、管理者の氏名、予め各管理者に割り当てられた管理者コードなどの情報である。なお、管理者は、1件の農家などの私人の場合もあれば、いわゆる農業法人の場合もある。この管理者を示す情報により、同じ管理者が耕作している圃場の全てについて、UAV2により、順番に連続して情報収集することも可能となる。
代表点は、当該圃場IDによって特定される圃場の代表点の位置を示す緯度経度情報である。当該代表点は、圃場の例えば中心位置や所定の端点が選ばれる。この代表点は、例えば同じ管理者が耕作している圃場を重複なく、しかも効率よく巡回する経路を作成する場合に用いられる。簡単には、同じ管理者が耕作している圃場の代表点を通るようにして巡回経路が作成される。このように、図6を用いて説明した格納データが、圃場DB104に格納されて管理されている。
UAVDB105は、目的とする圃場上空を飛行して当該圃場についての情報を収取するUAV2に関する情報を記憶保持する。図7は、UAVDB105の格納データの例を説明するための図である。機体IDは、UAV2を一意に特定する識別情報であり、IPアドレスは、機体IDにより特定されるUAV2との間でIoTプラットホーム4を通じて通信を行う場合に、当該UAV2を特定するIoTプラットホーム上の識別情報である。機体種別は、機体IDにより特定されるUAV2が、例えば、クワッドコプターなのか、固定翼機なのか、小型ヘリコプターなのかといった、機体の種別を示す情報である。
カメラ性能は、機体IDにより特定されるUAV2が備えるカメラ機能の性能を示す情報であり、用いられているカメラ部のイメージセンサ(撮像素子)の形式、撮影時に通常使用する焦点距離、その他の情報からなる。このカメラ性能を示す情報は、当該UAV2が飛行して圃場を撮影する場合の撮影範囲を特定する場合に用いられる。その他性能は、機体IDにより特定されるUAV2の性能に関する種々の情報からなる。例えば、飛行時間、飛行速度などといった、UAV2の性能に関する種々の情報が格納される。
このような情報が、例えば、管理装置3を通じて入力され、IoTプラットホーム4を介して生成装置1に送信される。生成装置1では、送信されてきたUAVに関する情報を、通信I/F101を通じて受信し、これをUAV2ごとにUAVDB105に格納して管理する。
飛行経路情報ファイル106は、後述する飛行経路生成部115において、UAV2ごとに生成される飛行経路情報を記憶保持する。この飛行経路情報ファイル106に記憶保持されている飛行経路情報が、通信I/F101及びIoTプラットホーム4を通じて目的とするUAV2に提供される。
リサーチデータDB107は、後述する飛行経路生成部115において生成された飛行経路情報に従って飛行したUAV2が収集したリサーチデータを記憶保持する。当該リサーチデータは、UAV2からIoTプラットホーム4を介して生成装置1に送信されてきたものである。生成装置1では、送信されてきたリサーチデータを、通信I/F101を通じて受信して、これをUAVごとにリサーチデータDB107に格納して管理する。
そして、条件設定部111、撮影範囲特定部112、対象圃場特定部113、センサ位置特定部114、飛行経路生成部115が、生成装置1において目的とするUAV2に対する飛行経路を生成するための種々の処理を行う処理部である。各部について説明する。まず、条件設定部111は、制御部102の制御の下、IoTプラットホーム4を通じて管理装置3からの情報収集の対象とする圃場を特定するための情報や用いるUAVを特定する機体IDなどの情報を受け付けて、各部に対して必要な情報を提供して設定する処理を行う。
具体的に、条件設定部111は、管理装置3から受け付けた指示情報(条件情報)の内、用いるUAVの機体IDを撮影範囲特定部112に設定し、撮影範囲を特定するように指示する。また、条件設定部111は、管理装置3から受け付けた情報の内、圃場を特定するための情報、すなわち、場所、農業用エリアID、圃場IDあるいは圃場の管理者を示す情報を、対象圃場特定部113に設定し、UAV2を飛行させる圃場を特定するように指示を出す。
撮影範囲特定部112は、条件設定部111により設定された使用するUAV2の機体IDに基づいて、UAVDB105を参照し、用いるUAV2のカメラ機能に基づいて、撮影範囲を特定する処理を行う。図8、図9は、用いるUAV2が備えるカメラ機能に応じて撮影範囲を特定する場合の例を説明するための図である。カメラで被写体を撮影する場合の撮影範囲については、図8の(A)式、(B)式、(C)式により求められる。
すなわち、水平撮影範囲(m)は、図8の(A)式に示すように、被写体までの距離KR(m)に対して、イメージセンサの水平サイズHS(mm)を掛け算したものを、焦点距離FL(mm)で割り算すれば求められる。なお、(m)、(mm)は、長さの単位である。同様に、垂直撮影範囲(m)は、図8の(B)式に示すように、被写体までの距離KR(m)に対して、イメージセンサの垂直サイズVS(mm)を掛け算したものを、焦点距離FL(mm)で割り算すれば求められる。また、対角撮影範囲(m)は、図8の(C)式に示すように、被写体までの距離KR(m)に対して、イメージセンサの対角サイズDS(mm)を掛け算したものを、焦点距離FL(mm)で割り算すれば求められる。
したがって、UAV2が備えるカメラ機能のイメージセンサの形式が分かれば、そのイメージセンサの水平サイズ、垂直サイズ、対角サイズが分かり、撮影時の焦点距離と、被写体までの距離(撮影時の飛行高度)とが分かれば、撮影範囲は特定できる。そして、ここでは、焦点距離は、イメージセンサごとに予め特定されており、また、被写体までの距離(撮影高度)も目的とする解像度で画像を撮影するために予め決められているものとする。この例では、被写体までの距離(飛行高度)は5mであるものとする。
そして、用いるUAV2のカメラ機能において、図9に示すように、イメージセンサの形式が「APS−C」であるとする。「APS−C」のイメージセンサの水平サイズは23.4mmで、垂直サイズは16.7mmである。そして、目的とする解像度で圃場を撮影する場合に適した焦点距離が「24(mm)」であるとする。この場合、図8の(A)式により水平撮影範囲は「4.875(m)」と算出でき、図8の(B)式により、垂直撮影範囲は「3.479(m)」と算出できる。
このように、この例の場合、撮影範囲特定部112においては、使用されるUAV2のカメラ機能により撮影できる範囲(撮影範囲)Rngは、図9において長方形で示した範囲となると特定される。そして、撮影範囲特定部112は、特定した撮影範囲Rngを示す情報(水平撮影範囲(m)×垂直撮影範囲(m))を、例えば、記憶装置103の所定のエリアに記録する。これにより、記録された撮影範囲Rngを示す情報は、必要に応じて読み出して利用でき、各圃場ごとの飛行経路を生成する際に用いられる。
対象圃場特定部113は、条件設定部111からの場所、農業用エリアID、圃場IDあるいは圃場の管理者を示す情報に基づいて、必要に応じて圃場DB104を参照し、UAV2を飛行させる対象圃場を特定する。この例においては、場所(地域)ごと、農業用エリアごとの、圃場IDが対象圃場を示す情報となる。条件設定部111から、場所、農業用エリアID、圃場IDが提供されている場合には、その情報がUAV2を飛行させる対象圃場を示す情報となる。そして、対象圃場特定部113は、特定した対象圃場を示す情報を、例えば、記憶装置103の所定のエリアに記録する。これにより、特定した対象圃場を示す情報は、必要に応じて読み出して利用でき、センサ位置特定部114や飛行経路生成部115により利用される。
センサ位置特定部114は、対象圃場特定部113で特定された対象圃場を示す情報に基づいて、圃場DB104を参照し、対象圃場にデータセンサSSが設置されているか否かを確認する。そして、センサ位置特定部114は、対象圃場にデータセンサSSが設置されている場合には、そのセンサの設置位置(センサ位置)を特定し、記憶装置103の所定のエリアに記録して利用可能にする。
飛行経路生成部115は、対象圃場特定部113において特定された1以上の対象圃場の情報収取に用いられるUAV2の飛行経路情報を生成する。具体的に、飛行経路生成部115は、1つの農業用エリアに複数の対象圃場が特定された場合には、その複数の対象圃場をもれなく巡回すると共に、用いられるUAV2のカメラ機能により、各対象圃場の全面を隈なく撮影するUAV2の飛行経路情報を生成する。また、データセンサSSが設置されている対象圃場については、当該データセンサSSと近距離通信により通信が可能な位置まで近づいて検出結果を収集する飛行経路情報も含めて生成する。
以下に、飛行経路生成部115の処理について具体的に説明する。まず、1つの対象圃場の上空を飛行する場合の飛行経路情報を生成する場合について説明する。なお、UAV2のカメラ機能を用いて対象圃場を撮影する場合には、動画を撮影する場合と、静止画を撮影する場合とがある。以下においてはそのそれぞれの場合について説明する。
<動画を撮影する場合の飛行経路の生成処理>
図10は、UAV2により対象圃場の動画を撮影する場合の飛行経路の生成処理について説明するための図である。まず、飛行経路生成部115は、図10(A)に示すように、対象圃場特定部113において特定した対象圃場HJについて、圃場DB104の圃場ポリゴンによってその形状及び面積を特定する。そして、飛行経路生成部115は、対象圃場について、UAV2のスタート位置Sとゴール位置Gとを定める。この場合のスタート位置Sとゴール位置Gとは、使用者が例えば管理装置3を通じて入力して設定できる。また、各圃場ごとに、基本となるスタート位置Sとゴール位置Gとを予め設定しておき、これを圃場DB104において管理し、必要に応じて用いるようにしてもよい。
更に、飛行経路生成部115は、形状及び面積を特定した対象圃場HJの全面を覆うように、撮影範囲特定部112で特定した撮影範囲Rngを並べることにより、対象圃場の全面を隈なく撮影できるように撮影範囲Rngの位置を定める。なお、特定された撮影範囲は、通常、図9を用いて説明したように、mm(ミリメートル)単位まで求められるが、例えば、50cm(センチメートル)単位の範囲とし、隣接する撮影範囲同士が若干重なり合うようにしておくことが望ましい。例えば、図9に示した撮影範囲(4.875m×3.479m)の場合、用いる撮影範囲を例えば(4.5m×3m)とすることにより、余裕をもって撮影を行うことができる。
そして、図10(A)に示した例の場合には、図の横方向に7つの撮影範囲Rngが並べられ、図の縦方向に3つの撮影範囲Rngが並べられることにより、7×3=21個の撮影範囲Rngによって対象圃場HJの全面を隈なく覆うことができると確認できる。そして、飛行経路生成部115は、スタート位置Sから当該スタート位置Sを含む撮影範囲の中心位置P1までを飛行経路RT1として設定する。更に、飛行経路生成部115は、並べた各撮影範囲Rngの中心を一筆書きで通るように飛行経路を設定する。
したがって、図10(A)に示した例の場合、上段の左右両端の撮影範囲の中心位置P1と中心位置P2とを結ぶ経路を飛行経路RT2として設定し、上段と中段の右端の撮影範囲の中心位置P2と中心位置P3とを結ぶ経路を飛行経路RT3として設定する。また、中段の左右両端の撮影範囲の中心位置P3と中心位置P4とを結ぶ経路を飛行経路RT4として設定し、中段と下段の左端側の撮影範囲の中心位置P4と中心位置P5とを結ぶ経路を飛行経路RT5として設定する。また、下段の左右両端の撮影範囲の中心位置P5と中心位置P6とを結ぶ経路を飛行経路RT6として設定する。
更に、飛行経路生成部115は、下段の右端側の撮影範囲の中心位置P6とデータセンサSSのセンサ位置SPとを結ぶ経路を飛行経路RT7として設定し、センサ位置SPとゴール位置Gとを結ぶ経路を飛行経路RT8として設定する。そして、飛行経路生成部115は、設定した各飛行経路について、方向と距離と高さとからなる飛行経路を示す情報を生成する。なお、スタート位置Sとゴール位置Gとは、位置であるので緯度経度により特定する。
そして、飛行経路生成部115は、図10(A)を用いて説明したように設定されたスタート位置S及びゴール位置G、各飛行経路R1〜R8に基づいて、図10(B)に示す飛行経路情報を生成し、これを飛行経路情報ファイル106に格納する。図10(B)に示すように、飛行経路情報は、ヘッダ情報として、ファイル名、機体ID、IPアドレスを備える。ファイル名により当該一連の飛行経路情報が格納されたファイルが特定できる。また、機体IDによって管理装置3を通じて指示されたUAV2(情報収集に用いるUAV2)を特定できる。IPアドレスによってIoTプラットホーム4上の当該UAV2を特定し、通信を行うことができる。
そして、「No.」、「区分」、「移動指示」、「動作指示」からなる1つ1つの飛行経路を示す情報(データ)が複数集まって、飛行経路情報が生成される。「No.」はシーケンス番号である。「区分」は、飛行経路情報を構成する個々のデータの種別を示すものであり、図10(B)に示すように、「スタート位置」なら「0」、「飛行経路」なら「1」、「ゴール位置」なら「9」などのように決められている。「移動指示」は、飛行経路の実体であり、飛行の方向、距離、高さ(高度)からなる情報である。「動作指示」は、UAV2が行うべき動作(処理)を指示するものであり、図10(B)に示すように、「動画撮影開始」、「動画撮影終了」、「センサデータ収集」などを指示することができる。なお、図10(B)の「動作指示」欄に記載した(S)はスタート位置を、(P1)、(P2)、…、(P6)の記載は、各撮影範囲の中心位置を、(SP)の記載はセンサ位置を、(G)の記載はゴール位置を示している。
したがって、図10(B)に示した飛行経路情報は、図10(A)を用いて説明したように、飛行高度5mで、スタート位置Sから各撮像範囲の中心位置P1→P2→P3→P4→P5→P6→P7→P8を辿って、ゴール位置Gに到達する飛行経路情報になっている。そして、中心位置P1では動画撮影を開始し、撮影範囲の中心位置P6では動画撮影を終了し、センサ位置SPではデータセンサSSから検出結果を収集(受信)する処理を行うように指示するものとなっている。このようにして、対象圃場HJについて、隈なく動画を撮影し、かつ、データセンサSSから検出結果を取集するように、UAV2の飛行経路を指示する飛行経路情報を生成できる。
なお、UAV2の飛行速度は、高精度の動画を撮影することができる適切な速度となるように予め決められている。もちろん、UAV2の使用者が、飛行速度を設定することもできる。
<静止画を撮影する場合の飛行経路の生成処理>
図11は、UAV2により対象圃場の静止画を撮影する場合の飛行経路の生成処理について説明するための図である。図10(A)を用いて説明した動画を撮影する場合の飛行経路の生成処理の場合と同様に、対象圃場の形状及び面積の特定し、当該対象圃場におけるスタート位置及びゴール位置の特定処理を行う。更に、図10(A)を用いて説明した動画を撮影する場合の飛行経路の生成処理の場合と同様に、飛行経路生成部115は、形状及び面積を特定した対象圃場HJの全面を覆うように、撮影範囲特定部112で特定した撮影範囲Rngを並べることにより、対象圃場の全面を隈なく撮影できるように撮影範囲Rngの位置を定める。
これにより、図11(A)に示すように、図の横方向に7つの撮影範囲が並べられ、図の縦方向に3つの撮影範囲が並べられることにより、7×3=21個の撮影範囲によって対象圃場HJの全面を隈なく覆うことができると確認できる。そして、飛行経路生成部115は、21個の撮影範囲のそれぞれの中心位置S1、S2、S3、…、S19、S20、S21を、静止画を撮影する撮影位置として特定する。そして、動画を撮影する場合と同様に、飛行経路生成部115は、並べた各撮影範囲Rngの中心を一筆書きで通るように飛行経路を設定する。
したがって、図11(A)に示した例の場合には、スタート位置Sと上段の左から1番目の撮影範囲の中心位置S1までを結ぶ経路を飛行経路Raとして設定する。また、上段の左端から1番目の撮影範囲の中心位置S1と同2番目の撮影範囲の中心位置S2とを結ぶ経路を飛行経路Rbとして設定し、同2番目の撮影範囲の中心位置S2と同3番目の撮影範囲の中心位置S3とを結ぶ経路を飛行経路Rcとして設定する。同様にし、並べた各撮影範囲Rngの中心を一筆書きで通るようにした場合の隣り合う撮影範囲の中心位置を順番に接続する経路が、飛行経路となる。そして、各撮影範囲の中心位置S1、S2、S3、…、S19、S20、S21が、静止画を撮影する撮影位置となる。
そして、図11(A)に示す例の場合にも、飛行経路生成部115は、下段の右端側の撮影範囲の中心位置S21とデータセンサSSのセンサ位置SPとを結ぶ経路を飛行経路Rvとし、センサ位置SPとゴール位置Gとを結ぶ経路を飛行経路Rwとして設定する。そして、飛行経路生成部115は、設定した各飛行経路について、方向と距離と高さと飛行経路を示す情報を生成する。なお、スタート位置とゴール位置とは、位置であるので緯度経度により特定する。
そして、飛行経路生成部115は、図11(A)を用いて説明したように設定されたスタート位置S及びゴール位置G、各飛行経路Ra〜Rvに基づいて、図11(B)に示す飛行経路情報を生成し、これを飛行経路情報ファイル106に格納する。図11(B)に示すように、ヘッダ情報として、ファイル名、機体ID、IPアドレスを備える点は、図10(B)を用いて説明した飛行経路情報の場合と同様である。また、「No.」、「区分」、「移動指示」、「動作指示」からなる1つ1つの飛行経路を示すデータが複数集まって、一連の飛行経路情報が生成される点も、図10(B)を用いて説明した飛行経路情報の場合と同様である。
また、「No.」、「区分」、「移動指示」、「動作指示」の各情報が意味する内容も、図10(B)を用いて説明した飛行経路情報の場合と同様である。ただし、図11(B)に示す飛行経路情報の場合には、「動作指示」において、各撮影範囲の中心位置S1、S2、S3、…において、静止画を撮影するように指示が出される。なお、図11(B)の「動作指示」欄に記載した(S)はスタート位置を、(S1)、(S2)、…、(S21)の記載は、撮影範囲の中心位置を、(SP)の記載はセンサ位置を、(G)の記載はゴール位置を示している。
したがって、図11(B)に示した飛行経路情報は、図11(A)を用いて説明したように、所定の高度で、スタート位置Sから撮像範囲の中心位置S1→S2→S3→…→S21→SPを辿って、ゴール位置Gに到達する飛行経路情報になっている。そして、各中心位置P1、P2、P3,…、P21のそれぞれでは静止画像を撮影し、センサ位置SPではデータセンサSSから検出結果を収集(受信)する処理を行うように指示するものとなっている。このようにして、対象圃場HJについて、隈なく静止画を撮影し、かつ、データセンサSSから検出結果を取集するように、UAV2の飛行経路を指示する飛行経路情報を生成できる。
なお、UAV2の飛行速度は、各撮影範囲の中心の5m上空から圃場の静止画を撮影した場合に、高精度の静止画を撮影することができる適切な速度となるように予め決められている。このため、各撮影範囲の中心の5m上空において、一度静止して圃場の静止画を撮影し、次の撮影範囲に向かうというようにすることもできる。この場合には、飛行経路情報の動作指示の欄に、静止画撮影の際に静止することを指示する情報を入れるようにすればよい。これら飛行速度や撮影時の静止指示などは、UAV2の使用者が設定することもできる。
このように、対象圃場HJごとに、動画を撮影するのか、静止画を撮影するのかに応じて、図10(B)、図11(B)に示した態様で、飛行経路情報(ルートパス情報)を生成して、飛行経路情報ファイル106に記録し、UAV2に提供する準備を整えられる。
なお、UAV2の飛行を開始させる位置(飛ばし初めの位置)は、対象圃場の圃場ポリゴンとスタート位置Sとに基づいて演算により求められる。例えば、スタート位置Sを飛ばし初めの位置とすることも可能である。しかし、対象圃場の圃場ポリゴンとスタート位置Sに基づき、飛ばし初めの位置を当該スタート位置Sから当該対象圃場から離れるように5m北側の位置というように、安全に飛行を開始させることができる位置(場所)として特定することができる。
また、上述もしたように撮影範囲(撮影可能範囲)は、UAV2のカメラ機能のスペックと飛行高度から演算により求められる。また、撮影開始位置や撮影終了位置は、圃場ポリゴンと撮影範囲とから演算により求められる。また、各飛行経路(ルートパス)は、上述もしたように、圃場ポリゴンと撮影範囲及び撮影範囲の中心位置とに基づいて設定できる。また、静止画を撮影する場合の撮影位置(撮影ポイント)は、圃場ポリゴンと撮影範囲及び撮影範囲の中心位置とに基づいて設定できる。そして、隣り合う撮影位置を繋ぐようにすると飛行経路(ルートパス)が設定できる。
なお、データセンサ(センサユニット)SSへの飛行経路は、圃場の撮影と、データセンサからの検出結果の取得との順序により異なる。図10、図11を説明した例の場合には、まず圃場の撮影を行って、撮影が終了したらデータセンサからの検出結果の取得を行うようにした。この場合、撮影の終了位置と、センサ位置SPと、データセンサとの通信が可能な距離に基づいて、データセンサSSへの飛行経路を特定できる。また、データセンサからの検出結果を先に取得する場合には、スタート位置Sと、センサ位置SPと、データセンサとの通信が可能な距離に基づいて、データセンサSSへの飛行経路を特定できる。
<1つの農業用エリアに複数の対象圃場がある場合の飛行経路>
情報収取の対象が、1つの圃場だけである場合には、図10、図11を用いて説明したように、対象圃場だけについて飛行経路を生成すればよい。しかし、図5を用いて説明したように、農業用エリア「0001」にある、農家Aが管理する13枚の圃場の全てを対象圃場として、一括的に情報収取を行いたい場合もある。このような場合には、1つの農業用エリア内の複数の対象圃場を巡回する飛行経路と、対象圃場ごとの飛行経路とを結合して、一連の飛行経路を生成する。
図12は、図5に示した場合と同様に、農業用エリア「0001」の農家Aが管理する13枚の圃場を対象圃場とし、この13枚の対象圃場の全てについて情報収取を行う場合の飛行経路の生成処理について説明するための図である。図12に示すように、農業用エリア「0001」には、48枚の圃場(水田)が存在し、その内の網掛けをして示した13枚の圃場が農家Aの管理する圃場であるとする。
まず、飛行経路生成部115は、圃場DB104を参照し、農業用エリア「0001」の農家Aが管理する13枚の対象圃場の代表点を特定する。そして、図12において直線矢印で示したように、例えば、農業用エリア「0001」の最上段左端の圃場をスタート圃場Aとし、最上段右端の圃場をゴール圃場Bとして、各対象圃場の代表点の全て一筆書きで通るようにする飛行経路を特定する。これにより、農業用エリア「0001」上空についての大まかな飛行経路が特定でき、かつ、各対象圃場ごとにスタート位置S、ゴール位置Gを特定できる。
この場合、各対象圃場において、大まかな飛行経路を示す実線矢印が入ってくる方向にスタート位置Sを設定し、実線矢印が出ていく方向にゴール位置Gを設定する。また、スタート圃場Aのスタート位置Sは、使用者によって設定したり、大まかな飛行経路から特定される当該スタート圃場Aのゴール位置Gから逆算して設定したりできる。また、ゴール圃場Bのゴール位置Gは、使用者によって設定したり、大まかな飛行経路から特定されるゴール圃場Bのスタート位置Sから設定したりできる。
そして、各対象圃場について、定められたスタート位置Sとゴール位置Gとを考慮し、図10を用いて説明した方法により、又は、図11を用いて説明した方法により各対象圃場ごとに飛行経路を生成する。これにより、農業用エリア「0001」において、農家Aが管理する13枚の圃場の全ての上空を飛行し、13枚の圃場の全てについて情報収集をすることができる。ここで情報収集は、動画又は静止画の撮影と、設置されたデータセンサから検出結果の収集である。
そして、この例の場合、UAV2は、図12に示すように、トラックTKによりまず農業用エリア「0001」の最上段左端の圃場(スタート圃場A)に運んで飛行を開始させる。そして、トラックTKは、農業用エリア「0001」の最上段右端の圃場(ゴール圃場B)近傍に移動させ、生成された飛行経路情報に従って飛行し、情報収集を終了したUAV2を回収することになる。この後、次の対象農業用エリア「0002」に移動して、UAV2による情報収集を行える。このように、農業用エリアごとであって圃場ごとにUAV2による情報収集を行うことができるので、農業用以外の地物に対して、UAV2が影響を及ぼすこともない。
なお、ここでは、飛行経路生成部115が自動的に各対象圃場を巡回する巡回経路(大まかな飛行経路)を生成するものとして説明したが、これに限るものではない。目的とする複数の対象圃場を巡回する順番を、例えば、管理装置3を通じて使用者入力し、生成装置1に指示を提供することもできる。すなわち、巡回経路を使用者の指示に応じて形成することもできる。
[情報取得レベルと飛行高度等]
上述した実施の形態では、UAV2の飛行高度は5mであるものとし、また、UAV2に搭載されたカメラ機能のイメージセンサに応じて、焦点距離も決まっているものとして説明した。しかし、これに限るものではない。実際には、情報取得レベルとイメージセンサとに応じて、飛行高度や焦点距離が定められる。図13は、情報取得レベルと飛行高度等の関係について説明するための図である。
UAV2のカメラ機能を用いて対象圃場を撮影する場合、撮影の目的によりUAV2の飛行高度は異なり、焦点距離も変わってくる。例えば、対象圃場が水田である場合、水稲に病気が発生していないか、害虫が生息していないかを観察したい場合には、水稲の葉の表面の状態や稲穂の状態が明瞭に分かるように、高精度な画像を撮影する必要がある。これに対して、水稲の大まかな生育状態が観察できるだけでよいのであれば、病害虫観察に場合に比べ、高精度な画像の撮影は必要ない。また、圃場で栽培されている作物によっても、情報取得レベルは異なってくる。例えば、水稲を観察する場合と、果樹を観察する場合とでは、作物全体や収穫物の大きさが異なるため、情報取得レベルは異なる。このように、情報取得レベルは、画像情報から目的とする情報を適切に得ることができる必要とされるレベルとなる。
このため、撮影する画像の情報取得レベル、すなわち、撮影する画像の精細度のレベルに応じて、飛行高度や焦点距離を事前に決めておくようにする。図13(A)は、情報取得レベルと、撮影時の飛行高度の関係について説明するための図である。例えば、病害虫についての観察を行うために高精度の画像の撮影が必要な場合をレベル1とし、大まかな生育状態の観察のためにある程度大まかな精度の画像の撮影でよい場合をレベル2とする。図13(A)においては、レベル1の画像の撮影が必要な場合には、撮影時の飛行高度は5mであり、レベル2の画像の撮影でよい場合には、撮影時の飛行高度は10mであると予め特定できる。なお、レベル1の画像の撮影時の飛行高度は5mであり、レベル2の画像の撮影時の飛行高度は10mであるといった事前の設定は、例えば、実際にUAV2を用いてテスト撮影を行うことによって適切に設定できる。
これにより、図13(B)に示すように、例えば、実際にUAV2を用いて撮影した画像に基づいて、UAV2に搭載されたカメラ機能のイメージセンサの形式と、情報取得レベルとに応じて、撮影の飛行高度と焦点距離を決めてテーブルを作成できる。当該テーブルは、記憶装置103の所定のエリアに記録しておき、必要に応じて読み出し利用することができる。
そして、図13(B)の例の場合には、病害虫観察を行うレベル1の場合、UAV2に搭載されたイメージセンサが「APS−C」であれば、飛行高度は5m、焦点距離は24mmとされる。同様に、UAV2に搭載されたイメージセンサが「フォーサーズ」であれば、飛行高度は5m、焦点距離は20mmとされる。また、生育観察を行うレベル2の場合、UAV2に搭載されたイメージセンサが「APS−C」であれば、飛行高度は10m、焦点距離は30mmとされる。同様に、UAV2に搭載されたイメージセンサが「フォーサーズ」であれば、飛行高度は10m、焦点距離は25mmとされる。
このように、情報取得レベルとイメージセンサとに応じて、飛行高度や焦点距離とを定めておき、これをテーブル化して記憶装置103に登録しておく。これにより、必要とされる情報取得レベルと使用するUAV2に応じて、撮影時の飛行高度とカメラ機能の焦点距離とを適切に定められる。
[生成装置1の処理のまとめ]
図14は、生成装置1で行われるUAV2の飛行経路情報の生成処理について説明するためのフローチャートである。図14のフローチャートに示す処理は、管理装置3からIoTプラットホーム4を通じてアクセスがあった場合に、生成装置1の制御部102により実行される処理である。
まず、制御部102は、管理装置3を通じて使用者から必要情報の提供を受けるために、入力画面などを提供して、管理装置3から条件情報(指示情報)を受け付ける処理を行う(ステップS101)。図15は、管理装置で用いられる条件情報の入力画面を説明するための図である。この実施の形態において、当該入力画面は、例えば、生成装置1から管理装置3に提供される。ステップS101において、制御部102は、図15(A)に示す条件情報の第1の入力画面を提供し、管理装置3を通じて場所および農業用エリアの指示入力を受け付ける。次に、制御部102は、図15(B)に示す条件情報の第2の入力画面を提供し、管理装置3を通じて圃場ID、管理者、高度設定、機体ID、画像種別を受け付ける。
なお、農業用エリアIDは、場所の入力欄に地番に応じた情報を入力することにより、第1の入力画面の下側に表示される農業用エリアに関する地図を通じて入力することもできる。同様に、圃場IDは、入力された農業用エリアIDに応じて、第2の入力画面の下側に表示される圃場に関する地図を通じて入力することもできる。これらの場合の地図は、圃場DB104の圃場に関する情報や必要に応じて、図1には図示しなかったが、生成装置1が備える地図DBやIoTプラットホーム4に接続された地図DBの地図データを用いて形成される。
また、圃場IDは、管理者を入力することにより、指示された農業用エリアにおいて、当該管理者が管理している複数の圃場を一括して指示することもできる。高度設定は、例えば、病害虫観察(レベル1)か、生育観察(レベル2)かの選択入力に応じて設定でき、機体IDは、飛行させるUAV2に割り当てられているものが入力される。また、画像種別は、動画を撮影するのか、静止画を撮影するのかを示す情報である。
そして、制御部102は、対象圃場特定部113を制御して、管理装置3からの条件情報に基づいて、UAV2の飛行対象となる圃場を特定する(ステップS102)。すなわち、どの場所の、どの農業用エリアの、どの圃場が対象圃場となるのかを特定する。また、ステップS102においては、特定された対象圃場にデータセンサSSが設置されている場合には、そのセンサ位置SPも特定される。
この後、制御部102は、撮影範囲特定部112を制御して、用いるUAV2により対象圃場を撮影する場合の撮影範囲を算出して特定する(ステップS103)。このステップS103において、撮影範囲特定部112は、入力された高度設定と機体IDとに基づいて、用いられるUAV2に搭載されたイメージセンサと、飛行高度と、焦点距離とに基づいて、図8、図9を用いて説明した計算により撮影範囲を特定する。
そして、制御部102は、ステップS102において特定した対象圃場は、1つか否かを判別する(ステップS104)。ステップS104の判別処理において、対象圃場は1つであると判別したとする。この場合、制御部102の制御の下、飛行経路生成部115が当該1つの対象圃場の上空をUAV2が飛行する場合の飛行経路情報を生成し、飛行経路情報ファイル106に格納する(ステップS105)。ステップS105では、ステップS102で特定した対象圃場の形状と面積と、ステップS103で特定した撮影範囲と、動画と静止画のいずれを撮影するのかを考慮して、飛行経路情報を生成する。また、データセンサSSが設置されている場合にはそのセンサ位置SPも考慮して、データ収集を行うように飛行経路情報を生成する。すなわち、このステップS105の処理は、図10又は図11を用いて説明した処理である。
また、ステップS104の判別処理において、対象圃場は1つではないと判別したときには、制御部102の制御の下、飛行経路生成部115が、以下のステップS106〜ステップS109の処理を行う。まず、飛行経路生成部115は、圃場DB104を参照し、特定された複数の対象圃場の各代表点を取得し、図12を用いて説明したように、各対象圃場を巡回する飛行経路(大まかな飛行経路)を生成する(ステップS106)。
次に、飛行経路生成部115は、複数の対象圃場のそれぞれのスタート位置とゴール位置とを特定する(ステップS107)。この後、飛行経路生成部115は、各対象圃場上空の飛行経路情報を生成する(ステップS108)。ステップS108では、ステップS107で特定したスタート位置とゴール位置と、ステップS102で特定した各対象圃場の形状と面積と、ステップS103で特定した撮影範囲と、動画と静止画のいずれを撮影するのかを考慮して、飛行経路情報を生成する。また、データセンサSSが設置されている場合にはそのセンサ位置SPも考慮して、データ収集を行うように飛行経路情報を生成する。すなわち、このステップS108の処理は、複数の対象圃場のそれぞれについて、図10又は図11を用いて説明した処理を行うものである。
そして、飛行経路生成部115は、1つの農業用エリアの複数の対象圃場の全体を隈なく撮影することが可能な飛行経路情報を生成し、飛行経路情報ファイルに格納する(ステップS109)。具体的に、ステップS109では、ステップS106で特定した各対象圃場を巡回する巡回経路(巡回飛行経路)と、ステップS108で形成した各対象圃場の上空を飛行するための飛行経路とから、一連の飛行経路情報を生成することになる。
そして、ステップS105の処理と、ステップS109の処理の後においては、制御部102は、飛行対象のUAV2に対して、飛行経路情報ファイル106に格納した飛行経路情報を提供し(ステップS110)、この図14に示す処理を終了する。このようにして、UAV2を使用して目的とする圃場から情報を収集しようとする使用者は、用いるUAV2を適切に飛行させるための飛行経路情報を、所定の条件情報を入力するだけで、簡単かつ迅速に生成して、UAV2にセットできる。
[UAV2の動作]
UAV2は、上述もしたように、GPS機能や、6軸センサ、方位センサ、高度センサなどの種々のセンサなどを備え、自律飛行が可能なものである。また、USV2は、カメラ機能や近距離無線通信機能を備えたものである。また、撮影画像やデータセンサの検出出力を記憶保持する比較的に記憶容量の大きなメモリも備える。このため、生成装置1からIoTプラットホーム4を通じて飛行経路情報の提供を受けたUAV2は、当該飛行経路情報に基づいて、使用者が指示した圃場の上空を自律飛行する。そして、圃場を撮影して圃場の画像情報を得ると共に、圃場に設置されているデータセンサSSから検出結果を収集して、自機のメモリに蓄積する。
UAV2が撮影した圃場の画像情報や収集したデータセンサSSからの検出結果は、IoTプラットホーム4を通じて生成装置1に送信され、リサーチデータDB107に格納される。データリサーチDB107に格納されたデータは、例えば、農家等の圃場の管理者が、管理装置3やパーソナルコンピュータなどの通信装置を用いて、IoTプラットホーム4を通じて生成装置1にアクセスし、参照したり、ダウンロードして保存したりできる。
[圃場が棚田や段々畑と、傾斜である場合]
<圃場が棚田や段々畑である場合>
圃場が棚田や段々畑である場合、各圃場内での標高はほぼ均一である。このため、各圃場内における飛行高度は、当該圃場の地面、水面から例えば5mとなるようにすればよい。但し、圃場間を移動する場合には、現在飛行中の圃場から高い圃場に移動する場合には、現在の圃場から次の圃場に移動する飛行経路(ルートパス)において、上昇する飛行経路を形成する。逆に、現在飛行中の圃場から低い圃場に移動する場合には、現在の圃場から次の圃場に移動する飛行経路(ルートパス)において、下降する飛行経路を形成する。
このため、圃場が棚田や段々畑である場合には、各圃場の標高などの基準位置からの高さ情報をも圃場DB104に格納しておくことにより、上昇や下降の程度、どの位の距離で、どの位上昇したり、下降したりすればよいかが特定できる。
<圃場が傾斜である場合>
圃場が、例えば山の斜面に設けられた傾斜地である場合には、圃場内で標高などの基準位置からの高さが異なることになる。このため、傾斜地である圃場内を例えば数メートル四方に分割することにより、メッシュ構造とし、メッシュごとの標高などの基準位置からの高さ情報を把握して、圃場DB104に格納しておく。そして、飛行経路を生成した場合に、各メッシュの標高などの高さ情報に応じて、飛行高度を調整するようにすればよい。
[実施の形態の効果]
上述した実施の形態の生成装置1は、UAV2を使用する使用者からの指示と、圃場DB104に格納された圃場に関するデータと、使用するUAV2のカメラ性能とに基づいて、圃場から適切に情報を収集するための飛行経路情報を適切かつ迅速に生成できる。これにより、管理すべき圃場の1枚1枚について、その細部まで観察可能な画像情報を得ることができる。従って、病害虫に対する迅速な対応、生育状態のより適切な把握が可能となり、しかも従来よりも短い時間でそれらの情報を把握することができる。
また、圃場に設置されたデータセンサSSの検出結果についても、UAV2が収集できるので、データセンサSSは、直接にIoTプラットホーム4に接続可能なような高出力の通信機能を備える必要がない。従って、データセンサSSは、近距離無線通信機能を備えた安価なものとすることができ、必要な箇所に漏れなく設置することが可能になる。これにより、従来よりも多くのデータセンサSSを圃場に設置することができるので、きめ細かな管理が可能になる。
[変形例]
なお、上述した実施の形態においては、飛行高度は、情報取得レベルに応じて、例えば、5m、10mのように決まるものとして説明したが、これに限るものではない。上述もしたように、圃場DB104には、栽培されている作付作物を示す情報も管理されているので、作物に応じて飛行高度を調整することもできる。例えば、水稲などの1年草の場合には、飛行高度の調整は必要ないが、ミカンやリンゴといった樹木(果樹)の場合には、設定された飛行高度に樹木分の高さ、例えば、2mを加算するといった飛行高度の補正処理を行うようにする。
また、UAV2のカメラ機能を用いて、圃場を上空から撮影するため、撮影画像に歪が発生する場合がある。このため、例えばオルソ(ortho)などの歪修正技術を用いて、撮影画像について補正を行うようにしてもよい。
また、圃場DB104には、圃場ごとに管理者を示す情報も格納されている。このため、飛行経路情報に管理者を付加すると共に、飛行実施日時を示す情報についても付加する。これにより、生成装置1から飛行経路情報の提供を受けるUAV2の飛行計画を、生成装置1で管理することができる。このため、生成装置1は、同一農業エリアにおいて、複数のUAV2が飛行することがないように、飛行経路情報を生成できる。すなわち、飛行計画を生成装置1で管理できる。
また、データセンサSSが備える近距離通信機能は、例えば、Bluetooth(登録商標)規格のものを用いることができる。もちろん、その他の規格のものであってもよい。
また、上述したように、1つの農業用エリアに管理者の異なる複数の圃場が存在する場合であって、同じ管理者の管理する圃場を巡回する場合には、一度に全ての圃場を巡回する必要はない。すなわち、1つの農業エリアを更にいくつかの分割エリアに分けて、その分割エリアについて飛行経路情報を生成するようにしてもよい。分け方としては、K−Means法などを用いることができる。
また、UAV2の飛行が可能な時間が長い場合、また、将来的に長くなった場合には、複数の農業用エリアに渡って、飛行経路情報を生成することも可能である。
また、上述した実施の形態では、UAV2が収集した画像情報やデータセンサの検出出力は、生成装置1に送信して記憶保持するようにしたが、これに限るものではない。UAV2が収集した画像情報やデータセンサの検出出力を、UAV2から管理装置3に有線や無線により提供して、収集後すぐに管理装置3を通じて利用可能にすることもできる。
また、飛行経路情報についても、管理装置3からUAV2に提供するように構成することも可能である。
また、上述した実施の形態では、UAV2の飛行高度として、5mと10mの場合がある点を説明したが、これに限るものではない。高精度の画像を撮影するためには、3m〜5mが好ましく、必要であれば、更に低い高度とすることも可能である。また、圃場全体の様子を見る必要がある場合には、圃場の形状や面積に応じて、10m以上の高さとすることも可能である。要は、図13(A)を用いて説明したように、目的に応じて適切な飛行高度を選定できる。
また、上述した実施の形態では、圃場の画像を撮影する場合を例にして説明したが、これに限るものではない。すなわち、農薬散布や種子散布の場合にも、この発明を適用できる。この場合には、UAV2に搭載される農薬や種子の散布機能に基づいて、散布範囲を特定し、この散布範囲を上述した撮影範囲として用いて、飛行経路情報を生成すればよい。農薬や種子散布の場合には、その散布範囲を厳密に求め、他の圃場に影響を及ぼすことがないようにする必要がある。この場合にも、飛行高度が散布範囲を定める場合に需要なファクターとなる。
また、上述した実施の形態では、生成装置1は、図1に示した構成を有していたが、これに限るものではない。例えば、圃場DB104、UAVDB105、飛行経路情報ファイル106、リサーチデータDB107は、インターネット上に設けられたものであってもよい。また、条件設定部111、撮影範囲特定部112、対象圃場特定部113、センサ位置特定部114、飛行経路生成部115の各機能が、インターネット上の異なるサーバー装置が実現するものであってもよい。すなわち、生成装置1は、いわゆるクラウドシステムとして構成することももちろんできる。
上述した実施の形態の説明からも明らかであるように、請求項における圃場情報記憶手段の機能は、実施の形態のUAV飛行経路生成装置(以下、単に生成装置と記載する。)1の圃場DB104が実現している。また、請求項の撮影範囲特定手段の機能は、生成装置1の撮影範囲特定部112が実現している。また、請求項の対象圃場特定手段の機能は、生成装置1の対象圃場特定部113が実現している。また、請求項の巡回飛行経路生成手段、対象圃場飛行経路生成手段、圃場別位置特定手段、全体飛行経路生成手段、位置特定手段の機能は、生成装置1の飛行経路生成部115が実現している。
また、図14のフローチャートに示した処理を行う方法が、この発明による飛行経路生成方法の一実施の形態が適用されたものである。また、図14のフローチャートに示した処理を行うプログラムを作成し、これを情報処理装置に搭載することにより、この発明の飛行経路生成装置を実現することもできる。すなわち、図1に示した生成装置の条件設定部111、撮影範囲特定部112、対象圃場特定部113、センサ位置特定部114、飛行経路生成部115の各機能は、制御部102において実行されるプログラムにより、制御部102の機能として実現することもできる。
1…UAV飛行経路生成装置、101…通信I/F、102…制御部、103…記憶装置、104…圃場DB、105…UAVDB、106…飛行経路情報ファイル、107…リサーチデータDB、111…条件設定部、112…撮影範囲特定部、113…対象圃場特定部、114…センサ位置特定部、115…飛行経路生成部、2…UAV、3…UAV運用管理装置、4…IoTプラットホーム

Claims (6)

  1. 1以上の圃場についての所在位置、形状、面積を特定することが可能な情報を含む圃場情報を記憶する圃場情報記憶手段と、
    UAV(Unmanned aerial vehicle)に搭載されたカメラ機能の性能と、撮影高度とに基づいて、当該UAVを用いて圃場を上空から撮影する場合の撮影範囲を特定する撮影範囲特定手段と、
    使用者からの指示情報と、前記圃場情報記憶手段に記憶されている前記圃場情報とに基づいて、撮影対象となる1以上の対象圃場を特定する対象圃場特定手段と、
    前記対象圃場特定手段で複数の対象圃場が特定された場合に、前記圃場情報記憶手段の前記圃場情報に基づいて、特定された前記複数の対象圃場を巡回する巡回飛行経路を生成する巡回飛行経路生成手段と、
    前記巡回飛行経路生成手段により生成された前記巡回飛行経路と、前記圃場情報記憶手段の前記圃場情報に基づいて、前記複数の対象圃場ごとに、スタート位置とゴール位置とを特定する圃場別位置特定手段と、
    前記複数の対象圃場ごとに、前記圃場情報記憶手段の前記圃場情報と、前記圃場別位置特定手段で特定された前記スタート位置及び前記ゴール位置と、前記撮影範囲特定手段で特定された前記撮影範囲とに基づいて、前記対象圃場上空においての前記UAVの対象圃場飛行経路を生成する対象圃場飛行経路生成手段と、
    前記巡回飛行経路生成手段で生成された前記巡回飛行経路と、前記対象圃場飛行経路生成手段で生成された前記複数の対象圃場ごとの前記対象圃場飛行経路とに基づいて、全体の飛行経路を生成する全体飛行経路生成手段と
    を備えることを特徴とする飛行経路生成装置。
  2. 請求項1に記載の飛行経路生成装置であって
    前記対象圃場特定手段で1の対象圃場が特定された場合に、前記対象圃場について、スタート位置とゴール位置とを特定する位置特定手段を備え、
    対象圃場飛行経路生成手段は、前記対象圃場特定手段で1の対象圃場が特定された場合には、前記圃場情報記憶手段の前記圃場情報と、前記位置特定手段で特定された前記スタート位置及び前記ゴール位置と、前記撮影範囲特定手段で特定された前記撮影範囲とに基づいて、前記対象圃場上空においての前記UAVの対象圃場飛行経路を全体の飛行経路として生成する
    ことを特徴とする飛行経路生成装置。
  3. 請求項1または請求項2に記載の飛行経路生成装置であって、
    前記撮影範囲特定手段は、必要とされる情報取得レベルに応じて、前記撮影高度を特定し、特定した当該撮影高度を用いて前記撮影範囲を特定する
    ことを特徴とする飛行経路生成装置。
  4. 請求項1〜請求項3のいずれかに記載の飛行経路生成装置であって、
    前記圃場情報記憶手段には、圃場についての高さ情報が含まれており、
    前記対象圃場飛行経路生成手段と、全体飛行経路生成手段とは、前記圃場情報記憶手段の前記圃場についての高さ情報を考慮して前記UAVの飛行経路を生成する
    ことを特徴とする飛行経路生成装置。
  5. 請求項1〜請求項4のいずれかに記載の飛行経路生成装置であって、
    前記圃場情報記憶手段には、圃場の状態を検出すると共に、検出結果を近距離無線通信により送信する機能を備えたセンサ手段が設けられた圃場については、当該センサ手段の設置位置を示す情報が記憶されており、
    前記対象圃場飛行経路生成手段は、前記UAVが近距離無線通信機能を備え、前記センサ手段からの検出結果を収集できるものである場合には、前記圃場情報記憶手段の前記センサ手段の設置位置を考慮して、前記対象圃場飛行経路を生成し、前記UAVにより、前記対象圃場の撮影と、前記センサ手段からの情報の収集とを行えるようにする
    ことを特徴とする飛行経路生成装置。
  6. 飛行経路生成装置で行う飛行経路生成方法であって、
    UAV(Unmanned aerial vehicle)に搭載されたカメラ機能の性能と、撮影高度とに基づいて、当該UAVを用いて圃場を上空から撮影する場合の撮影範囲を特定する撮影範囲特定工程と、
    入力された使用者からの指示情報と、1以上の圃場についての所在位置、形状、面積を特定することが可能な情報を含む圃場情報を記憶する圃場情報記憶手段に記憶されている情報とに基づいて、撮影対象となる1以上の対象圃場を特定する対象圃場特定工程と、
    前記対象圃場特定工程で複数の対象圃場を特定した場合に、前記圃場情報記憶手段の前記圃場情報に基づいて、特定した前記複数の対象圃場を巡回する巡回飛行経路を生成する巡回飛行経路生成工程と、
    前記巡回飛行経路生成工程において生成した前記巡回飛行経路と、前記圃場情報記憶手段の前記圃場情報に基づいて、前記複数の対象圃場ごとに、スタート位置とゴール位置とを特定する圃場別位置特定工程と、
    前記複数の対象圃場ごとに、前記圃場情報記憶手段の前記圃場情報と、前記圃場別位置特定工程で特定した前記スタート位置及び前記ゴール位置と、前記撮影範囲特定工程で特定した前記撮影範囲とに基づいて、前記対象圃場上空においての前記UAVの対象圃場飛行経路を生成する対象圃場飛行経路生成工程と、
    前記巡回飛行経路生成工程で生成した前記巡回飛行経路と、前記対象圃場飛行経路生成工程で生成した前記複数の対象圃場ごとの前記対象圃場飛行経路とに基づいて、全体の飛行経路を生成する全体飛行経路生成工程と
    を有することを特徴とする飛行経路生成方法。
JP2018046527A 2018-03-14 2018-03-14 飛行経路生成装置及び飛行経路生成方法 Active JP6914874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018046527A JP6914874B2 (ja) 2018-03-14 2018-03-14 飛行経路生成装置及び飛行経路生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018046527A JP6914874B2 (ja) 2018-03-14 2018-03-14 飛行経路生成装置及び飛行経路生成方法

Publications (2)

Publication Number Publication Date
JP2019158635A JP2019158635A (ja) 2019-09-19
JP6914874B2 true JP6914874B2 (ja) 2021-08-04

Family

ID=67994168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018046527A Active JP6914874B2 (ja) 2018-03-14 2018-03-14 飛行経路生成装置及び飛行経路生成方法

Country Status (1)

Country Link
JP (1) JP6914874B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021001429T5 (de) * 2020-03-05 2023-02-23 Sony Group Corporation Pfaderzeugungsverfahren, pfaderzeugungseinrichtung und programm
WO2021205559A1 (ja) * 2020-04-08 2021-10-14 株式会社ナイルワークス 表示装置、ドローンの飛行可否判定装置、ドローン、ドローンの飛行可否判定方法、およびコンピュータプログラム
JP7000505B1 (ja) 2020-06-30 2022-01-24 楽天グループ株式会社 センシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機
JP7486805B2 (ja) 2020-09-16 2024-05-20 国立研究開発法人農業・食品産業技術総合研究機構 情報処理装置、システム、情報処理方法、及びプログラム
JP7165703B2 (ja) * 2020-09-24 2022-11-04 楽天グループ株式会社 飛行システム、飛行経路決定方法、及び飛行経路決定装置
JP7442467B2 (ja) * 2021-01-21 2024-03-04 株式会社三井E&S 撮影画像分類装置及び撮影画像分類方法
KR102454943B1 (ko) * 2021-01-29 2022-10-17 (주)자이언트드론 드론의 임무비행계획서 생성시스템
KR102454153B1 (ko) * 2022-07-08 2022-10-17 주식회사 긴트 드론을 이용하여 자율주행식 농사용 차량의 작업을 보조하는 방법 및 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020444B2 (ja) * 2001-06-29 2012-09-05 独立行政法人農業・食品産業技術総合研究機構 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP6151902B2 (ja) * 2012-09-20 2017-06-21 株式会社トプコン 写真計測用カメラ及び航空写真装置
EP3183697B1 (en) * 2014-08-22 2022-01-12 The Climate Corporation Method for agronomic and agricultural monitoring using unmanned aerial system
JPWO2017033761A1 (ja) * 2015-08-25 2018-07-12 ソニー株式会社 圃場管理システム、圃場管理方法、および農作業機システム
JP6685856B2 (ja) * 2016-06-30 2020-04-22 株式会社日立製作所 農作業計画支援装置及び農作業計画支援方法
EP3479691B1 (en) * 2016-06-30 2024-04-24 Optim Corporation Mobile body control application and mobile body control method
JP2018030407A (ja) * 2016-08-23 2018-03-01 株式会社日立製作所 搬送システム及び搬送方法
JP6811483B2 (ja) * 2017-03-30 2021-01-13 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法

Also Published As

Publication number Publication date
JP2019158635A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6914874B2 (ja) 飛行経路生成装置及び飛行経路生成方法
US11651478B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
Shi et al. Unmanned aerial vehicles for high-throughput phenotyping and agronomic research
KR101793509B1 (ko) 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
Rasmussen et al. Potential uses of small unmanned aircraft systems (UAS) in weed research
EP3894851A1 (en) Mapping field anomalies using digital images and machine learning models
JP7152836B2 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
EP3959978A1 (de) Detektion von gliederfüssern
DE102010046479A1 (de) Verfahren zur Erfassung von Daten für eine teilflächenspezifische Behandlung oder Bearbeitung von Agrarflächen
JP7081536B2 (ja) 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置
CN108366526A (zh) 通过自动生物特征数据的优先级简化林业信息管理的系统及方法
Hill et al. Mapping with aerial photographs: recording the past, the present, and the invisible at Marj Rabba, Israel
Lorah et al. Using drones to generate new data for conservation insights
Faraji et al. Toys or tools? Utilization of unmanned aerial systems in mosquito and vector control programs
CN113269050A (zh) 基于无人机遥感影像的农田画像及药肥大数据分析方法
KR20200033787A (ko) 농업용 무인 비행체 서비스 시스템 및 그 서비스 방법
WO2023233832A1 (ja) 方法、プログラム及び情報処理装置
Madsen et al. RoboWeedSupport-Semi-Automated Unmanned Aerial System for Cost Efficient High Resolution in Sub-Millimeter Scale Acquisition of Weed Images
Beans The Internet of Things Comes to the Farm: Growers connecting to a range of data at their fingertips.
JP7474031B2 (ja) 圃場情報管理装置、圃場情報管理システム、圃場情報管理装置の制御方法及び圃場情報管理プログラム
Izere Plant Height Estimation Using RTK-GNSS Enabled Unmanned Aerial Vehicle (UAV) Photogrammetry
JP7376198B1 (ja) 蚊繁殖抑制プログラム、蚊繁殖抑制プログラムが記録されたコンピュータ読取可能な記録媒体、蚊繁殖抑制システム及び蚊繁殖抑制方法
Phillips The sky’s no limit: using drones for precision farming
Quilter Vegetation monitoring using low-altitude, large-scale imagery from radio-controlled drones
Ruwanpathirana et al. Assessment of the Optimal Flight Time of RGB Image Based Unmanned Aerial Vehicles for Crop Monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210714

R150 Certificate of patent or registration of utility model

Ref document number: 6914874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250