JP7470061B2 - 農業支援システム - Google Patents

農業支援システム Download PDF

Info

Publication number
JP7470061B2
JP7470061B2 JP2021001623A JP2021001623A JP7470061B2 JP 7470061 B2 JP7470061 B2 JP 7470061B2 JP 2021001623 A JP2021001623 A JP 2021001623A JP 2021001623 A JP2021001623 A JP 2021001623A JP 7470061 B2 JP7470061 B2 JP 7470061B2
Authority
JP
Japan
Prior art keywords
field
partition
polygons
image
polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021001623A
Other languages
English (en)
Other versions
JP2022106542A (ja
Inventor
悠 竹内
圭司 横田
文宏 佐藤
博和 佐々本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2021001623A priority Critical patent/JP7470061B2/ja
Publication of JP2022106542A publication Critical patent/JP2022106542A/ja
Application granted granted Critical
Publication of JP7470061B2 publication Critical patent/JP7470061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Description

本開示は、農業支援システムに関する。
次世代農業として、ICT(Information and Communication Technology)およびIoT(Internet of Things)を活用したスマート農業の研究開発が進められている。圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する農業支援システムの研究開発も進められている。農業支援システムを利用することによって、例えば、圃場管理、作業計画、作業記録、作業進捗の管理、作業車両の作業経路を決定することなど農作業に必要な作業全般を効率的に行うことが可能となる。
クラウド上のデータを用いて圃場マップが生成され得る。圃場マップは、圃場ごとに農作業を行うために必要な様々な情報、および、圃場の地理情報を有する。例えば、航空写真または衛星画像などのリモートセンシング画像が背景の地図として利用され、圃場はその地図に重ねて表示することができる。特許文献1から3は、画像と地図とを重ね合わせるための方法を開示している。
特許4088386号 特開2007-187934号公報 特開2019-207375号公報
圃場を被写体として含む画像を地図に重ねて表示するために、画像内の圃場領域と、当該圃場領域に対応する、地図における圃場を規定する区画ポリゴンとの位置合わせが必要になる。圃場領域の地理情報と、区画ポリゴンを規定する地理情報との間にずれがない状態でデータ管理を行うことが望ましい。
従来、画像内の圃場領域と区画ポリゴンとを正確に重ねるために、作業者が位置ずれを手動で補正する必要があった。位置合わせの対象となる圃場の数が増えるほど、位置ずれ補正の作業が煩雑になり、作業者に負担を強いている。
本開示の実施形態は、地理情報に基づいて画像内の圃場領域と区画ポリゴンとの対応関係を決定し、対応関係にある圃場領域と区画ポリゴンとの位置合わせを行うことが可能なアルゴリズムを提供する。
本開示の例示的な実施形態による農業支援システムは、記憶装置と、処理装置とを備える。前記記憶装置は、それぞれが圃場を表す複数の区画ポリゴンと前記複数の区画ポリゴンのそれぞれを規定する地理座標を含む区画ポリゴンデータ、および、圃場画像データを記憶する。前記圃場画像データは、地理情報を有する空撮画像または衛星画像を含む。前記処理装置は、前記圃場画像データから選択された複数の圃場を被写体として含む領域画像と、前記複数の圃場のそれぞれに対応するように前記複数の区画ポリゴンから選択された区画ポリゴンとを重ねるためのデータセットを生成する。前記処理装置は、前記領域画像から複数の圃場領域を抽出し、前記複数の圃場領域のそれぞれの形状、および、前記複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出し、前記少なくとも1つの幾何学的特徴量に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定し、前記複数の区画ポリゴンをそれぞれ規定する前記地理座標と、前記複数の区画ポリゴンのそれぞれに対応する圃場領域の、前記地理情報に基づいて算出される座標との間のずれ量を算出し、前記ずれ量に基づいて、前記対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正する。前記データセットは、補正した前記座標の情報を含む。
本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な記録媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記録媒体は、揮発性の記録媒体を含んでいてもよいし、不揮発性の記録媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよいし、分離した2つ以上の機器内に分かれて配置されていてもよい。
本開示の実施形態によれば、地理情報に基づいて画像内の圃場領域と区画ポリゴンとの対応関係を決定し、対応関係にある圃場領域と区画ポリゴンとの位置合わせを行うことが可能となる。
本開示の実施形態に係る農業支援システムの構成例を示す模式図である。 本開示の実施形態に係る農業支援システムのハードウェア構成例を示すブロック図である。 圃場領域と区画ポリゴンとの位置合わせを行う処理装置の機能・動作を機能単位で示す機能ブロック図である。 圃場領域と区画ポリゴンとの位置合わせを行うためのアリゴリズムの実装例による処理手順を示すフローチャートである。 複数の圃場を含む圃場画像の例を示す図である。 領域画像から複数の圃場領域を抽出した後の領域画像を例示する図である。 前処理後の領域画像を例示する図である。 ラベリング処理を適用した後の領域画像を例示する図である。 圃場領域テーブルの例を示す表である。 区画ポリゴンの形状を規定する地理座標を含む頂点リストのテーブルを例示する表である。 区画ポリゴンを描画した画像を例示する模式図である。 航空写真に区画ポリゴンを重ねた合成画像を例示す図である。 ラベルが付された区画ポリゴンを例示する模式図である。 区画ポリゴンテーブルの例を示す表である。 ペア候補のテーブルを例示する表である。 ペア候補のテーブルに基づいて決定される圃場領域と区画ポリゴンとの対応関係のペア候補を説明するための図である。 ステップS300におけるより詳細な処理手順を例示するフローチャートである。 プレ組み合わせ候補のテーブルを例示する表である。 深さ優先探索のアルゴリズムの実装例を示すフローチャートである。 深さ優先探索のアルゴリズムの実装例を説明するための図である。 深さ優先探索のアルゴリズムの実装例を説明するためのさらなる図である。 プレ組み合わせ候補のテーブルから偽のプレ組み合わせ候補を除外した最終的な組み合わせ候補のテーブルを例示する表である。 区画ポリゴンと圃場領域とを重ねたときに、区画ポリゴンに対し、当該区画ポリゴンと対応関係にある圃場領域がずれている様子を例示する模式図である。 座標のずれを補正し、対応関係にある区画ポリゴンと圃場領域とを重ねた様子を例示する模式図である。 表示装置に表示される位置合わせのためのGUIの表示例を示す模式図である。 圃場領域と区画ポリゴンとの位置合わせを行うための方法の例による処理手順を示すフローチャートである。
本開示の実施形態を説明する前に、本開示の基礎となった知見および背景技術を説明する。
農業支援システムで管理されるデータには、例えば、区画ポリゴンデータ、食味のデータ、収量のデータ、作業車両の作業経路のデータ、施肥のデータ、生育のデータ、土壌肥沃度のデータ、および、土質のデータなど種々のデータが含まれ得る。当該データ群は地理情報を有し、地図データに関連付けて管理され得る。圃場マップは、当該データ群が示す情報を可視化して得られる種々の情報マップを含み得る。
ユーザが農業支援システムの利用を開始するとき、初期設定として、圃場の区画を登録することが求められ得る。例えば、ユーザは、タブレットコンピュータのディスプレイに表示される航空写真に含まれる圃場の中から所有する圃場を特定する。ユーザは、特定した圃場の形状を規定する3以上の頂点を順番にクリックし、頂点にピンを作成していくことにより、圃場の区画を確定していく。確定された区画の情報は、区画ポリゴンとしてGISデータに登録される。ユーザは、所有する1以上の圃場の区画を登録することができる。
圃場マップは、例えばドローンなどを用いて取得された空撮画像に基づいて生成することが可能である。例えば、撮像装置およびGNSS(Global Navigation Satellite System)ユニットを搭載したドローンから空撮された空撮画像のデータが、GNSSユニットが取得した地理情報に関連付けされ、圃場マップの生成に利用され得る。しかしながら、ドローンに搭載されるGNSSユニットによる測位精度に誤差が生じ、その結果、リモートセンシング画像である空撮画像の地理情報が例えばメートル単位でずれてしまうことが起こり得る。
リモートセンシング画像内の圃場領域と区画ポリゴンとの位置合わせを行うために、先ず、複数の圃場領域と複数の区画ポリゴンとの間で、対応関係にある圃場領域と区画ポリゴンとの組を正確に決定する必要がある。この対応関係の決定に、例えば最小二乗法などの最適化手法を用い、圃場領域または区画ポリゴンの頂点の座標に基づいて、圃場領域の各頂点に対応する区画ポリゴンの各頂点を見つけ出すことが考えられる。しかしながら、上述したように、リモートセンシング画像の地理情報がずれてしまうことが起こり得るために、最小二乗法などの最適化手法を利用しても対応関係を正確に決定することは困難である。さらに、例えば、区画ポリゴンの領域と、作物が実際に栽培されている圃場領域とが完全に一致しないこと、および、区画ポリゴンをGISデータに登録する仕方に個人差があることなど区画ポリゴンの登録が不正確であることが対応関係の決定を一層困難にしている。例えば、圃場の外形が曲線を含む場合におけるその曲線を規定する頂点の数の決定、または、作業車両が圃場に進入するための入口として圃場の外形が欠けているか否かの判断は、圃場を登録するユーザごとに異なり得る。圃場領域と区画ポリゴンとを1対1で対応付ける方法は未だ確立されていない。
本発明者は上記の課題に鑑み、リモートセンシング画像内の圃場領域と区画ポリゴンとの対応関係を高い精度で決定することが可能な新規なアルゴリズムを見出し本発明に至った。本開示の実施形態によれば、圃場領域の地理情報と、区画ポリゴンを規定する地理情報との間にずれが生じている場合であっても、対応関係にある圃場領域と区画ポリゴンとの位置合わせが可能になる。
[1.用語の定義]
本明細書において用いられる主な用語の定義を以下に記載する。
「リモートセンシング画像」は、人工衛星、有人航空機または無人航空機などに搭載されたセンサによって遠隔から地上をセンシングすることによって取得されたデジタルデータである。リモートセンシング画像は、航空写真などの空撮画像または衛星画像である。リモートセンシング画像は、例えばRGB画像、グレースケール画像、マルチスペクトル画像または植生指数画像を含む。無人航空機の例は、マルチコプタまたはドローンである。センサの例は、RGBイメージセンサ、マルチスペクトルセンサなどである。マルチスペクトルセンサは、例えば、赤色、緑色、青色、レッドエッジおよび近赤外線の5つの波長帯域の画像を同時に取得することが可能である。5つの波長帯域の画像は、RGB画像、レッドエッジ画像および近赤外画像を含む。リモートセンシング画像は、地図または圃場マップを作成するための航空測量画像であってもよい。
「地理座標」は、地球上の位置を緯度と経度とで表現する地理座標系、または、地球上の3次元座標を2次元平面に投影し、地球上の位置をXY座標で表現する投影座標系における位置を意味する。また、日本において地理座標は、測量法によって規定された平面直角座標系における座標で表され得る。
「圃場画像」は、1または複数の圃場を被写体として含むリモートセンシング画像である。圃場画像のデータ形式は、例えば、格子状に並んだピクセルの集合体によって表されるラスターデータである。各ピクセルは、画素値、および、属性として画像座標系における座標情報を有する。圃場画像のデータのファイルフォーマットは、例えば、RAW、DNG、TIFF、GeoTIFFまたはJPEGである。
「ベクターデータ」は、地理情報システム(本明細書において「GIS」と表記する。)のデータモデルの1つであり、GISデータフォーマットの1つであるシェープファイルに格納され得る。シェープファイルは、図形の情報を格納するメインファイル(.shpファイル)、図形のインデックス情報を格納するファイル(.shxファイル)、図形の属性情報を格納するテーブル(.dbfファイル)を含む複数のファイルから構成される。
「地図データ」は、ベクターデータまたはラスターデータであり得る。地図データの例は、電子地図、航空写真または衛星画像のデータである。
「区画ポリゴン」は、航空写真または衛星画像などに基づいて筆ごとに圃場の形状に沿って作成された圃場の区画情報である。区画ポリゴンを「筆ポリゴン」と称することもある。ポリゴンは、ベクターデータであり、地球上での位置(つまり、地理座標)および形状を表す空間的な情報および属性情報を有する。ベクターデータは、ポイント、ラインおよびポリゴンの3つの要素を含む。GISにおいて、ポイントデータは、地物の図形情報を地図上に点として表現するための1つの地理座標を含む。ラインデータは、線の両端を規定する2点の地理座標を含み、地物の図形情報を地図上に線として表現する。ラインは、2つの座標点を結んだ線分として描画される。ポリゴンデータは、面の頂点を規定する3以上の地理座標を含み、地物の図形情報を地図上に面として表現する。ポリゴンは、3以上の地理座標で規定される頂点を結んで得られる閉領域として描画される。
「区画ポリゴンデータ」は、それぞれが圃場を表す複数の区画ポリゴンと複数の区画ポリゴンのそれぞれを規定する地理座標を含むGISデータである。
「セグメンテーション(領域分割)」は、画像に含まれる物体または個体(インスタンス)をクラスまたはカテゴリに画素単位で分類するアルゴリズムの総称であり、深層学習に用いられる。セグメンテーションは、セマンティックセグメンテーション、インスタンスセグメンテーション、および、これらの2つのアルゴリズムを統合したパノプティックセグメンテーションを含む。セマンティックセグメンテーションは、画像に含まれる物体をクラスごとに分類するアルゴリズムである。インスタンスセグメンテーションは、画像に含まれる個体を分類するアルゴリズムである。例えば、セマンティックセグメンテーションを、圃場領域を含む画像に適用することにより、画像に含まれる圃場領域および圃場領域以外の領域の2つのクラスに分類することが可能となる。
「幾何学的特徴量」は、圃場領域または区画ポリゴンの図形の形状の特徴を数値化した特徴量である。幾何学的特徴量は、例えば、図形の重心座標、面積、外接矩形(bounding box)の幅および高さを含む。幾何学的特徴量は、形状特徴パラメータとも称され得る。
「テーブル」は、行(レコード)および列(カラム)方向に配列された要素の集合体から構成される。カラムごとに文字列または数値列などの属性(プロパティ)が定められる。属性を示す最初の行は、「ヘッダ行」と呼ばれる。レコードまたはカラムを構成する1つ1つの要素は「フィールド」と呼ばれる。
「2値化画像」は、閾値を基準に画素値を白と黒の2階調に変換する処理を濃淡がある画像に適用して得られる画像である。2値化画像において1画素は1ビットで表現される。圃場領域と圃場領域以外の領域とを含む2値化画像において、例えば、圃場領域内の画素に1ビットの“1”が割り当てられ、圃場領域以外の領域内の画素は1ビットの“0”が割り当てられる。この場合、圃場領域は白で表示され、圃場領域以外の領域は黒で表示される。
「統計量」は、ある集合に含まれる複数の要素のそれぞれが規定する数値のばらつきまたはデータ分布の特徴を、統計的方法を用いて数値化した量を意味する。統計量の例は、平均値、分散、標準偏差または変動係数(標準偏差/平均値)である。例えば、集合が{aa、bb、cc、dd、ee}の要素を含む場合を考える。これらの要素は数値である。この例において統計量は、aaからeeの平均値、分散、標準偏差または変動係数である。
「位置合わせ」は、対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正することにより、両者のずれを縮小させることを意味する。
「システムのユーザ」は、サービス・プロバイダが提供する農業支援システムのサービスを利用して、例えば、圃場管理、作業計画、作業記録、作業進捗の管理など作業全般を行う作業者を含む。本明細書において、「システムのユーザ」は単に「ユーザ」と称される。
以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。
以下の実施形態は例示であり、本開示による圃場と区画ポリゴンとの位置合わせを行うためのアルゴリズム、および当該アルゴリズムを実装した農業支援システムは、以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、そのステップの順序などは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
[2.実施形態]
[2.1.システム構成]
図1および図2を参照して、本実施形態に係る農業支援システム1000、および、農業支援システム1000に接続される各種の装置のハードウェア構成例を説明する。以下、農業支援システム1000を単に「システム1000」と表記することとする。
図1は、本実施形態に係るシステム1000の構成例を示す模式図である。図2は、本実施形態に係るシステム1000のハードウェア構成例を示すブロック図である。図2には、システム1000にネットワーク60を介して通信可能に接続されるドローン400のハードウェア構成も例示されている。
システム1000は、農作業を支援するための種々の機能を有する。システム1000は、例えば、圃場を管理するための機能、圃場内の作物の生育状況を確認するための機能、作業日誌を作成するための機能、圃場ごとに食味・収量のデータを分析して施肥設計を行うための機能、刈取計画を作成するための機能、および、圃場ごとに農薬、肥料などの資材費のシミュレーションを行うための機能を有し得る。トラクタなどの作業車両300がシステム1000と連動することによって、作物の収量および品質を向上させることが可能となる。
システム1000は、実質的に、コンピュータシステムとして実現される。システム1000は、サーバコンピュータ100(以下、「サーバ100」と表記する)と、1台以上の端末200とを備える。例えば、1台以上の作業車両300および/または1台以上のドローン400が、有線または無線のネットワーク60を介してシステム1000に互いに通信可能に接続され得る。図1に、2台の端末200A、200B、1台の作業車両300および1台のドローン400がネットワーク60を介して相互に通信可能に接続される接続例が示されている。ただし、ネットワーク60に接続される端末200、作業車両300およびドローン400のそれぞれの台数は任意である。以下、各構成要素を説明する。
(サーバ100)
サーバ100は、例えばクラウドサーバまたはエッジサーバなどの、作業車両300およびドローン400から離れた場所に設置されたコンピュータであり得る。サーバ100は、通信インターフェース(IF)110と、処理装置120と、記憶装置130とを備える。本実施形態において、サーバ100は、圃場に関する情報を一元管理し、管理するデータを活用して農業を支援するクラウドサーバとして機能する。
通信IF110は、ネットワーク60を介して端末200、作業車両300およびドローン400と通信するための通信モジュールである。例えば、通信IF110は、USB、IEEE1394(登録商標)、またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信IF110は、Bluetooth(登録商標)規格および/またはWi-Fi規格に準拠した無線通信を行うことができる。いずれの規格も、2.4GHz帯または5.0GHz帯の周波数を利用した無線通信規格を含む。
処理装置120は、例えば、プロセッサ121、ROM(Read Only Memory)122およびRAM(Random Access Memory)123などを備える。プロセッサ121が少なくとも1つの処理を実行するためのソフトウェア(またはファームウェア)が、ROM122に実装され得る。そのようなソフトウェアは、例えば光ディスクなど、コンピュータが読み取り可能な記録媒体に記録され、パッケージソフトウェアとして販売され、または、ネットワーク60を介してユーザに提供され得る。
プロセッサ121は、半導体集積回路であり、中央演算処理装置(CPU)を含む。プロセッサ121は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。プロセッサ121は、少なくとも1つの処理を実行するための命令群を記述した、ROM122に格納されるコンピュータプログラムを逐次実行し、所望の処理を実現する。
処理装置120は、プロセッサ121に加えてまたは代えて、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される2つ以上の回路の組み合わせを備え得る。
ROM122は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM122は、プロセッサ121の動作を制御するプログラムを記憶している。ROM122は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。複数の集合体の一部は取り外し可能なメモリであってもよい。
RAM123は、ROM122に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。RAM123は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。
記憶装置130は、主としてデータベースのストレージとして機能する。記憶装置130の例はクラウドストレージである。記憶装置130は、例えば磁気記憶装置、光学記憶装置、半導体記憶装置またはそれらの組み合わせである。光学記憶装置の例は、光ディスクドライブまたは光磁気ディスク(MD)ドライブなどである。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。ただし、記憶装置130は、サーバ100にネットワーク60を介して接続された外部の記憶装置であってもよい。
記憶装置130は、区画ポリゴンデータおよび圃場画像データを記憶する。区画ポリゴンデータは、システム1000を利用する複数のユーザによって登録された区画ポリゴンのデータ群である。区画ポリゴンデータは、例えば、国土全体、地方、特定の地域、または、区域の土地の区画に関する情報を含み得る。例えば、区画ポリゴンデータ、食味のデータ、収量のデータ、作業車両の作業経路のデータ、施肥のデータ、生育のデータ、土壌肥沃度のデータ、および、土質のデータなどの種々のデータが、地図データに関連付けられ、GISデータとして記憶装置130に記憶され得る。GISデータは、1つの圃場が、地理情報に関連付けられ、かつ、これらのデータ群に多階層的に関連付けられたデータ構造を有し得る。データ群は、ビックデータとして管理されて広く活用され得る。
圃場画像データの例は、1以上の圃場を被写体として含む、ドローンによって上空から取得された空撮画像のデータである。圃場画像データは、ベクターデータの背景となる地図を提供し、さらには、後述する生育マップも提供し得る。
(端末200)
端末200の例は、パーソナルコンピュータ(PC)、ラップトップコンピュータ(以下、単に「ラップトップ」と表記する。)、タブレットコンピュータ(以下、単に「タブレット」と表記する。)、スマートフォン、またはPDA(Personal digital assistant)である。図1において、端末200の例として、ラップトップ200Aおよびタブレット200Bが例示されている。
端末200は、入力装置210、表示装置220、プロセッサ230、ROM240、RAM250、記憶装置260および通信IF270を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。
入力装置210は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置210の例は、キーボード、マウスまたはタッチパネルである。
表示装置220の例は、液晶ディスプレイまたは有機ELディスプレイである。表示装置220は、例えば、圃場領域と区画ポリゴンとを重ねた合成画像を表示することが可能である。
プロセッサ230、ROM240、RAM250および記憶装置260のそれぞれに関する説明は、サーバ100のハードウェア構成例において記載したとおりであり、省略する。
通信IF270は、ネットワーク60を介してサーバ100、作業車両300およびドローン400と通信するための通信モジュールである。例えば、通信IF270は、通信IF110と同様に、USB、IEEE1394(登録商標)、またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信IF270は、通信IF110と同様に、Bluetooth(登録商標)規格および/またはWi-Fi規格に準拠した無線通信を行うことができる。さらに、通信IF270は、BLE(Bluetooth Low Energy)またはLPWA(Low Power Wide Area)の通信方式に準拠した無線通信を行うことが可能な通信モジュールであり得る。BLEまたはLPWAなどの通信方式を利用することにより、低消費電力で長距離かつ広範囲の通信を実現することができる。
(作業車両300)
作業車両300の例は、圃場で使用されるトラクタである。トラクタは、典型的に、キャビンが設けられた車両本体と、車輪(タイヤ)と、原動機(エンジン)と、変速装置(トランスミッション)と、電子制御装置(ECU)と、GNSSユニットと、通信IFとを備える。
GNSSユニットは、GNSS衛星からの信号を受信するアンテナと、処理回路とを備えるGNSS受信機である。GNSSユニットは、例えばGPS(Global Positioning System)、GLONASS、Galileo、BeiDou、または準天頂衛星(Quasi-Zenith Satellite System:QZSS、例えばみちびき)などのGNSS衛星から送信されるGNSS信号を受信し、当該信号に基づいて測位を行う。トラクタが備える通信IFは、例えば、BLEまたはLPWAの通信方式に準拠した無線通信を行うことが可能な通信モジュールであり得る。
(ドローン400)
ドローン400は、例えば、撮像装置410、RTK(Real Time Kinematic GPS)測位ユニット420、慣性計測装置(IMU)430、駆動装置440、制御装置450、データ生成装置460および通信IF470を備える。ドローン400の飛行は、例えばユーザの端末200を用いて操作することが可能である。
撮像装置410は、RGBイメージセンサ、マルチスペクトルセンサなどのイメージセンサと、レンズ光学系と、データ処理回路とを有する。イメージセンサは、例えば数Mpxから数十Mpxの画素を有するCMOSセンサであり得る。撮像装置410は、例えば、圃場領域を含むRGB画像、グレースケール画像、RGB画像、レッドエッジ画像および近赤外画像を含み得るマルチスペクトル画像または植生指数画像を取得することが可能である。撮像装置410は、例えば1秒間に1フレームの画像を取得することができる。
RTK測位ユニット420は、例えば、GNSS受信機、Wi-Fi通信モジュールおよびマイクロコントローラを有する。RTK測位ユニットは、地球に対して固定された地理座標系などのワールド座標系におけるドローン400の位置を示す信号を出力する。RTK測位ユニットは数cmの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、高精度の測位によって取得される。
IMU430は、加速度センサおよび角加速度センサを備え、ドローン400(または撮像装置410)の移動量および姿勢を示す信号を出力する。
駆動装置440は、例えば駆動用の電気モータ、および複数のプロペラなどの、ドローン400の飛行に必要な種々の装置を含む。
制御装置450の例は、マイクロコントローラである。制御装置450は、RTK測位ユニット420およびIMU430からの出力信号に基づいて駆動装置440の動作を制御する。
データ生成装置460は、例えばExif(Exchangeable image file format)規格に準拠した、撮影情報を含むメタデータを生成する。メタデータは、例えば、撮影日時、位置情報(ジオタグ)、姿勢情報、画像の解像度、シャッタースピード、絞り(F値)およびISO感度などの情報を含み得る。データ生成装置460は、撮像装置410から出力されるデータを処理し、処理したデータにメタデータを付加して、RAW、DNG、TIFF、GeoTIFFまたはJPEGなどのファイルフォーマットの画像データを生成することができる。
通信IF470は、トラクタの通信IFと同様に、BLEまたはLPWAの通信方式に準拠した無線通信を行うことが可能な通信モジュールであり得る。
[2.2.位置合わせのアリゴリズムの実装例]
図3は、リモートセンシング画像内の圃場領域と区画ポリゴンとの位置合わせを行う処理装置120の機能・動作を機能単位で示す機能ブロック図である。図4は、圃場領域と区画ポリゴンとの位置合わせを行うためのアリゴリズムの実装例による処理手順を示すフローチャートである。
本実施形態において、圃場マップの例は、圃場内の作物の生育状況を示す生育マップである。以下、リモートセンシング画像に基づいて生成される生育マップを、背景の地図である航空写真に重ねる例を説明する。より具体的には、生育マップに含まれる圃場領域と、当該圃場領域に対応する、地図に含まれる圃場を規定する区画ポリゴンとの位置合わせを行う例を説明する。ただし、本実施形態による位置合わせのアルゴリズムは、生育マップ以外の圃場マップと背景の地図との重ね合わせにも適用することが可能である。
ユーザは、システム1000を利用して、例えば、航空写真に重ねて表示された生育マップを確認し、農作物の生育状況を容易に把握することができる。生育マップは、例えば、リモートセンシング画像に基づいて算出される植生指数を含み得る。植生指数の例は、NDVI(Normalized Difference Vegetation Index)、RVI(Ratio Vegetation Index)、DVI(Difference Vegetation Index)、NDRE(Normalized Difference Red Edge)、GNDVI(Green Normalized Difference Vegetation Index)またはMSAVI(Modified Soil-Adjusted Vegetation Index)などである。植生指数によって、農作物の生育状況を定量化することができる。
生育マップのデータは、例えばラスターデータであり得る。生育マップの生成には、例えばリモートセンシング画像を利用することができる。
図3に示される機能単位の処理(またはタスク)を実行する主体は、1または複数のプロセッサであり得る。1つのプロセッサが図3に示される全ての機能ブロックの処理を実行してもよいし、複数のプロセッサが協働してそれらの処理を実行してもよい。各処理は、ソフトウェアのモジュール単位でコンピュータプログラムに記述され得る。ただし、FPGAまたはGPUなどの処理回路を用いる場合、これらの処理の全部または一部は、ハードウェア・アクセラレータとして実装され得る。
図1に示される例において、サーバ100の処理装置120が1図3に示される全ての機能ブロックの処理を実行してもよいし、端末200のプロセッサ230がそれらの処理を実行してもよい。または、複数台の端末200に搭載された複数のプロセッサ230が協働してそれらの処理を実行してもよいし、例えば、サーバ100の処理装置120と端末200のプロセッサ230とが協働してそれらの処理を実行してもよい。本実施形態において、圃場領域と区画ポリゴンとの位置合わせを行うための一連の処理を実行する主体はサーバ100の処理装置120であるもとする。
処理装置120は、サーバ100の記憶装置130にアクセスし、圃場画像データおよび区画ポリゴンデータを読み出す。処理装置120は、圃場画像データから選択された複数の圃場を被写体として含む領域画像と、複数の圃場のそれぞれに対応するように複数の区画ポリゴンから選択された区画ポリゴンとを重ねるためのデータセットを生成する。当該データセットに基づいて圃場領域と区画ポリゴンとを重ねた合成画像を、例えば端末200の表示装置220に描画することが可能になる。処理装置120は、具体的には図4に示されるステップS100からS600の処理を逐次実行する。
処理装置120は、セグメンテーションによって領域画像から複数の圃場領域を抽出するステップ(S100)と、複数の圃場領域のそれぞれの形状、および、複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出するステップ(S200)と、少なくとも1つの幾何学的特徴量に基づいて、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定するステップ(S300)と、複数の区画ポリゴンをそれぞれ規定する地理座標と、複数の区画ポリゴンのそれぞれに対応する圃場領域の、地理情報に基づいて算出される座標との間のずれ量を算出するステップ(S400)と、ずれ量に基づいて、対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正するステップ(S500)と、補正した座標の情報を含むデータセットを生成するステップ(S600)と、を実行するように構成されている。
図3に例示されるように、処理装置120は、データ取得部700、圃場領域抽出部711、前処理部712、ラベリング処理部713、特徴量算出部714、圃場領域テーブル生成部715、区画ポリゴン生成部721、ラベリング部722、特徴量算出部723、区画ポリゴンテーブル生成部724、対応関係決定部730、ずれ量算出部740および座標補正部750を含む複数の機能ブロックを有する。
ユーザは、初期設定として、圃場の区画の登録を行うことにより、区画ポリゴンをGISデータに記録する。例えば、ユーザは、表示装置220に表示される画像を見ながら、登録すべき圃場の形状を規定する3以上の頂点を順番にクリックし、頂点にピンを作成していくことにより、圃場の区画を確定していく。ユーザは、所有する1以上の圃場の区画の登録を行う。
日本において、区画ポリゴンは農林水産省から「筆ポリゴン」として提供されている。本実施形態において、上述した方法でユーザが区画ポリゴンを登録する代わりに、筆ポリゴンのデータを区画ポリゴンデータとして活用し得る。ただし、筆ポリゴンには誤差が含まれ得るために、空撮画像などに位置合わせを行うときに位置ずれが生じ易くなる。特に、空撮画像の地理情報の正確度が高い場合、空撮画像と筆ポリゴンとの地理情報の間で相対的に大きな誤差が生じ、結果として、両者の間で位置ずれが発生し易くなる。本実施形態によれば、後述するようにこの問題を解決することができる。
ユーザは、先ず、圃場画像データを準備する。ユーザは、例えば、ドローン400を利用して、クラウド上で管理したい1または複数の圃場を被写体として含む空撮画像を取得することができる。ユーザは、例えばタブレット200Bを操作してドローン400の飛行経路および空撮画像の撮影条件を設定し、ドローン400の飛行および撮影を制御することができる。ドローン400は、それらの設定に従って上空を飛行し、複数枚の空撮画像を取得することが可能である。ドローン400によって取得された空撮画像のデータは、例えば、通信IF470およびネットワーク60を介してサーバ100の記憶装置130に送信されて圃場画像データとして保存される。
データ取得部700は、サーバ100の記憶装置130にアクセスし、区画ポリゴンデータおよび圃場画像データを取得する。データ取得部700は、圃場画像データに含まれるメタデータから、圃場を撮影したときのドローン400の位置および姿勢の情報を抽出する。
データ取得部700は、カメラの外部パラメータおよび内部パラメータを用いて、画像座標系における画素の位置からワールド座標系(すなわち、地理座標系)における地理座標に座標変換を行う。データ取得部700は、地理座標と圃場画像データとを関連付け、地理座標を有する圃場画像データを生成することが可能である。座標変換を適用した後の圃場画像データは、画素ごとに地理座標を有し得る。
データ取得部700は、外部パラメータとして、地理座標系におけるドローン400の位置情報に基づいて3次元の平行移動ベクトルTを算出し、姿勢情報に基づいて3×3の回転行列Rを算出する。データ取得部700は、撮像装置410のカメラの焦点距離、画素ピッチおよび画像中心に基づいて3×3の変換行列で表される内部パラメータを算出する。
データ取得部700は、例えばパノラマ合成の技術を用いて、ドローン400が取得した複数枚の空撮画像を合成することによって、生育マップのデータを生成し得る。または、データ取得部700は、例えばSfM(Structure from Motion)の技術を用いて、ドローン400が取得した複数枚の空撮画像を合成することによって、生育マップのデータを生成し得る。SfMの技術によれば、複数の空撮画像からカメラの撮影位置を推定し、圃場の3次元形状を含むオルソ画像を生成することが可能となる。
本実施形態における圃場画像データはドローン400によって取得される空撮画像のデータであるが、圃場画像データは衛星から取得されるマルチスペクトル画像のデータであってもよい。圃場画像データが衛星から取得されたマルチスペクトル画像のデータである場合、データ取得部700は、マルチスペクトル画像に基づいて植生指数を算出し得る。データ取得部700は、SfMの技術を用いて、オルソ画像における各画素について植生指数を算出して生育マップを生成してもよい。
図5は、複数の圃場を含む圃場画像の例を示す図である。図示される画像はパノラマ画像であり、生育マップの例を表している。データ取得部700が記憶装置130から読み出した圃場画像データは例えば端末200に送信され得る。表示装置220は、圃場画像データを受信し、圃場画像を表示することが可能である。ユーザは、表示された圃場画像に含まれる複数の圃場の中から、所有する1以上の圃場を、入力装置210を介して選択することができる。本実施形態において、データ取得部700は、圃場画像データから選択された複数の圃場を被写体として含む領域画像を生成する。
データ取得部700は、生成した領域画像に含まれる複数の圃場のそれぞれが有する地理情報に基づいて、例えばある地方の土地の区画を表す区画ポリゴン群の中から、選択された複数の圃場領域と対応関係にある可能性がある複数の区画ポリゴンを候補として選択する。候補として選択された複数の区画ポリゴンは、選択された複数の圃場領域の周辺に位置する1以上の圃場領域に対応する区画ポリゴンも含み得る。
図6は、領域画像から複数の圃場領域を抽出した後の領域画像を例示する図である。図6に、図5に例示される領域画像にセグメンテーションを適用した後の領域画像が例示されている。
圃場領域抽出部711は、セグメンテーションによって領域画像から複数の圃場領域を抽出し得る。本実施形態において、圃場領域抽出部711は、セマンティックセグメンテーションによって領域画像から複数の圃場領域を抽出する。
圃場領域抽出部711は、圃場領域にラベルが付された圃場画像のデータを含む訓練データを用いてセグメンテーションモデルを訓練して得られた学習済みモデルを用いて領域画像から複数の圃場領域を抽出する。例えば、ユーザが訓練データを準備し、サーバ100がその訓練データを利用してセグメンテーションモデルを訓練することによって、学習済みモデルを生成することができる。または、学習済みモデルとして、ベンダーが提供するオープンソースのライブラリを利用し得る。
セマンティックセグメンテーションは、画像内の全画素にラベルまたはカテゴリを関連付けし、物体のカテゴリごとに領域分割する深層学習のアルゴリズムである。セマンティックセグメンテーションによれば、特徴的なカテゴリを形成する画素の集合を認識することが可能となる。本実施形態におけるカテゴリは、圃場領域である。セマンティックセグメンテーションによって複数の圃場領域を抽出した後の領域画像は、圃場領域と圃場領域以外の領域とが区別された2値化画像である。図6において、圃場領域が白で表示され、圃場領域以外の領域が黒で表示されている。ただし、白黒の表示は逆であってもよい。
セマンティックセグメンテーションの方法として、例えば、FCN(Fully Convolutional Network)、U-Net、SegNet、PSPNet(Pyramid Scene Parsing Network)などを採用することができる。本実施形態において、U-Netのセマンティックセグメンテーションモデルが用いられる。
ここで、U-Netのネットワーク構造を簡単に説明する。U-Netは、畳み込みエンコーダ-デコーダ構造を有し、全結合層の代わりに畳み込み層によって構成される。U-Netのエンコーダは、畳み込み層およびダウンサンプリングするためのプーリング層を含む。デコーダは、畳み込み層およびアップサンプリングするためのアンプーリング層を含む。U-Netにおいてスキップ接続と呼ばれるコネクションが存在する。スキップ接続によって、エンコーダの各層から出力される特徴マップがデコーダの対応する各層に提供されて参照される。
領域画像が、圃場以外の領域に植生が存在しない植生指数画像などのグレースケール画像である場合、圃場領域の抽出はセグメンテーションの方法を必ずしも必要としない。この場合、圃場領域抽出部711は、植生指数画像を単純に2値化して2値化画像を取得し、2値化画像から圃場領域を抽出し得る。
図7は、前処理後の領域画像を例示する図である。図8は、ラベリング処理を適用した後の領域画像を例示する図である。参考として、図8に、画像の左上を原点とした画像座標系(xy平面)が示されている。
前処理部712は、後述するラベリング処理を適用する前の領域画像にノイズ除去処理を適用する。ノイズ除去処理の例は、オープニングおよびクロージングの処理である。オープニングは、ある回数だけ収縮してから同じ回数だけ膨張する処理であり、クロージングは、ある回数だけ膨張してから同じ回数だけ収縮する処理である。
ラベリング処理部713は、セマンティックセグメンテーションによって領域画像から複数の圃場領域を抽出した後、領域画像にラベリング処理を適用することによって、抽出した複数の圃場領域のそれぞれにラベルを付す処理を実行する。これにより、ラベリング処理部713は、区画ポリゴンに関連付ける圃場領域の候補を決定する。例えば、ラベリング処理部713は、隣接するラベルの関係を記述するルックアップテーブルLUTを参照しながら領域画像に対しラスタスキャンを行い、同じ連結成分を構成する画素に同じラベルを付し、異なる連結成分を構成する画素に異なるラベルを付す処理を実行する。
本実施形態において、ラベリング処理部713は、圃場領域にアルファベットの文字をラベルとして付す処理を実行する。図8に、それぞれに異なるラベルが付された複数の圃場領域のうちの5つの圃場領域に付されたラベルAからFが例示されている。図示される例において、領域画像は40以上の圃場領域を含んでいる。
特徴量算出部714は、異なるラベルが付された複数の圃場領域のそれぞれについて、少なくとも1つの幾何学的特徴量を算出する。少なくとも1つの幾何学的特徴量は、例えば圃場領域の形状の重心座標を含む。少なくとも1つの幾何学的特徴量は、さらに、圃場領域の形状の面積、外接矩形の幅および高さを含んでいてもよい。ここで、外接矩形は、圃場領域に接し、かつ、最小の面積を有する長方形を意味する。外接矩形の幅は、図8の画像座標系におけるx軸方向のサイズであり、外接矩形の高さは、画像座標系におけるy軸方向のサイズである。
本実施形態において、特徴量算出部714は、幾何学的特徴量として、圃場領域の形状の重心座標、面積、外接矩形の幅および高さを算出する。例えば、特徴量算出部714は、圃場領域の形状を規定する各頂点の画像座標系における座標を決定し、決定した座標に基づいて、圃場領域の形状の重心座標、面積、外接矩形の幅および高さを算出することができる。
図9は、圃場領域テーブルの例を示す表である。図示される例おいて、圃場領域テーブルは、属性を示すヘッダ行を最初の行に含み、4つのカラムを含む。属性は、圃場領域のラベル番号、圃場領域の形状の重心座標、外接矩形サイズ(幅×高さ)および面積を含む。重心座標は、画像座標系における座標である。
圃場領域テーブル生成部715は、複数の圃場領域のそれぞれに付されたラベルと、複数の圃場領域のそれぞれについて算出した少なくとも1つの幾何学的特徴量とを関連付ける圃場領域テーブルを生成する。より詳しく説明すると、圃場領域テーブル生成部715は、圃場領域に付されたラベルごとに、算出した圃場領域の形状の重心座標、外接矩形サイズ(幅×高さ)および面積の値を、それぞれ、フィールドに記録し、ラベル番号と、算出した幾何学的特徴量とを関連付けるレコードを作成する。図示される圃場領域テーブルの例において、複数のレコードのうちのラベルAからFに対応した6つのレコードが示されている。
図10は、区画ポリゴンの形状を規定する地理座標を含む頂点リストのテーブルを例示する表である。図11は、区画ポリゴンを描画した画像を例示する模式図である。図12は、航空写真に区画ポリゴンを重ねた合成画像を例示す図である。
複数の区画ポリゴンのそれぞれの頂点を規定する地理座標は、経度および緯度情報を含み、図10に例示されるように頂点リストのテーブルとして記録される。頂点リストのテーブルは、例えば、シェープファイルに格納された状態でサーバ100の記憶装置130に記憶され得る。その場合、データ取得部700は、記憶装置130から頂点リストのテーブルを読み出すことができる。区画ポリゴン生成部721は、頂点リストのテーブルを参照し、複数の区画ポリゴンの頂点を規定する地理座標に基づいて区画ポリゴンの形状を決定する。
図13は、ラベルが付された区画ポリゴンを例示する模式図である。
ラベリング部722は、複数の区画ポリゴンのそれぞれにラベルを付す。本実施形態において、ラベリング部722は、区画ポリゴンに数字をラベルとして付す処理を実行する。図13に、それぞれに異なるラベルが付された複数の区画ポリゴンのうちの6つの区画ポリゴンに付されたラベル0から5が例示されている。
特徴量算出部723は、異なるラベルが付された複数の区画ポリゴンについて、それぞれ、少なくとも1つの幾何学的特徴量を算出する。本実施形態において、特徴量算出部723は、特徴量算出部714と同様に、幾何学的特徴量として、区画ポリゴンの形状の重心座標、面積、外接矩形の幅および高さを算出する。特徴量算出部723は、頂点リストのテーブルに含まれる頂点の座標に基づいて区画ポリゴンの形状の重心座標、面積、外接矩形の幅および高さを算出することができる。
本実施形態において、特徴量算出部723は、区画ポリゴンの頂点を規定する座標を地理座標系から画像座標系に座標変換する処理を実行する。この変換処理に、上述したカメラの外部パラメータおよび内部パラメータを用いることができる。
図14は、区画ポリゴンテーブルの例を示す表である。図示される例において、区画ポリゴンテーブルは、圃場領域テーブルと同様に、属性を示すヘッダ行を最初の行に含み、4つのカラムを含む。属性は、区画ポリゴンのラベル番号、区画ポリゴンの形状の重心座標、外接矩形サイズ(幅×高さ)および面積を含む。区画ポリゴンの形状の重心座標は、圃場領域と同様に、画像座標系における座標で表される。
区画ポリゴンテーブル生成部724は、複数の区画ポリゴンのそれぞれに付されたラベルと、複数の区画ポリゴンのそれぞれについて算出した少なくとも1つの幾何学的特徴量とを関連付ける区画ポリゴンテーブルを生成する。より詳しく説明すると、区画ポリゴンテーブル生成部724は、区画ポリゴンに付されたラベルごとに、算出した区画ポリゴンの形状の重心座標、外接矩形サイズ(幅×高さ)および面積の値を、それぞれ、フィールドに記録し、ラベル番号と、算出した幾何学的特徴量とを関連付けるレコードを作成する。図示される区画ポリゴンテーブルの例において、複数のレコードのうちのラベル0から5に対応した6つのレコードが示されている。
本実施形態において、対応関係にある可能性がある圃場領域と区画ポリゴンとの組を「ペア候補」と記載する。
図15は、ペア候補のテーブルを例示する表である。図示される例において、ペア候補のテーブルは、属性を示すヘッダ行を最初の行に含み、3つのカラムを含む。属性は、圃場領域のラベル番号、区画ポリゴンのラベル番号および、対応関係にある可能性がある圃場領域と区画ポリゴンとの間の重心座標の差を含む。図16は、ペア候補のテーブルに基づいて決定される圃場領域と区画ポリゴンとの対応関係のペア候補を説明するための図である。図16に、対応関係にある可能性がある、図15に示されるペア候補のうちの一部についての1対1の対応が破線の矢印で示されている。
対応関係決定部730は、少なくとも1つの幾何学的特徴量に基づいて、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定する。より詳細には、対応関係決定部730は、圃場領域テーブルと区画ポリゴンテーブルとを参照して、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定する。
図17は、ステップS300におけるより詳細な処理手順を例示するフローチャートである。ステップS300は、ステップS310からS360までの処理を含み得る。
(ステップS310)
対応関係決定部730は、圃場領域テーブルと区画ポリゴンテーブルとを参照して、複数の圃場領域のそれぞれと複数の区画ポリゴンのそれぞれとの少なくとも1つの幾何学的特徴量を比較する。対応関係決定部730は、幾何学的特徴量を比較するために用いる、以下の(1)から(4)の少なくとも1つの判定値を算出し得る。本実施形態において、対応関係決定部730は、(1)から(4)の判定値を算出する。複数の圃場領域のうちの1つと、複数の区画ポリゴンとの1つとの任意の組み合わせの数だけ、対応関係決定部730はそれぞれの判定値を算出する。例えば、圃場領域テーブルに含まれる圃場領域の数がM個であり、区画ポリゴンテーブルに含まれる区画ポリゴンの数がN個である場合、組み合わせの数はM×N個である。
(1)複数の圃場領域のうちの1つと、複数の区画ポリゴンとの1つとの間の重心座標の差。
(2)複数の圃場領域のうちの1つの面積に対する複数の区画ポリゴンのうちの1つの面積の比(面積比)。
(3)複数の圃場領域のうちの1つの外接矩形の幅に対する複数の区画ポリゴンのうちの1つの外接矩形の幅の比、および、複数の圃場領域のうちの1つの外接矩形の高さに対する複数の区画ポリゴンのうちの1つの外接矩形の高さの比。
(4)複数の圃場領域のうちの1つの外接矩形のアスペクト比と、複数の区画ポリゴンのうちの1つの外接矩形のアスペクト比との間の差;ここで、外接矩形のアスペクト比は、外接矩形の幅および高さで規定され、例えば幅/(幅+高さ)で算出される。
(ステップS320)
対応関係決定部730は、複数の圃場領域のうちの1つと複数の区画ポリゴンのうちの1つとの組み合わせの中から、比較結果が所定の条件を満たす圃場領域および区画ポリゴンの、対応する可能性がある複数のペア候補を選択する。
比較結果が所定の条件を満たすことは、上記(1)の重心座標の差が第1の所定範囲内にあること、上記(2)の面積比が第2の所定範囲内にあること、上記(3)の外接矩形の幅および高さの比が、それぞれ、第3の所定範囲内にあること、および、上記(4)のアスペクト比の差が第4の所定範囲内にあることのうちの少なくとも1つを含む。第1から第4の所定範囲は、設計仕様またはシステムの要求仕様などに従って適宜決定され得る。
本実施形態において、対応関係決定部730は、上記の(1)から(4)の全ての条件を満足する圃場領域および区画ポリゴンの、対応する可能性がある複数のペア候補を選択する。対応関係決定部730は、例えば、ペア候補ごとに重心座標の差をフィールドに記録し、ペア候補と重心座標の差とを関連付けるレコードを作成する。図15に例示されるペア候補のテーブルは、対応関係決定部730が選択した対応する可能性がある9つのペア候補AG-1、I-2、K-3、S-6、D-7、H-8、R-9、F-11、W-15のレコードを含む。
図16に、圃場領域または区画ポリゴンに付されたラベルが重複しないように、ペア候補が正しく対応付けされている様子が例示されている。しかし、同じまたは類似する形状を有する圃場が隣り合って並んでいる場合など、誤って対応付けされ得るペア候補が生じ、結果として、圃場領域に付されたラベルまたは区画ポリゴンに付されたラベルが重複する可能性がある。ラベルが重複するとは、例えば、A-1およびB-1の組、または、A-1およびA-2の組のようなペア候補のセットが選択されることを意味する。そこで、本実施形態では以下に説明するように、誤って対応付けされ得るペア候補を除去する処理が行われる。
(ステップS330)
対応関係決定部730は、複数のプレ組み合わせ候補を決定し、複数のプレ組み合わせ候補に基づいて複数の圃場領域と複数の区画ポリゴンとの対応関係を決定する。プレ組み合わせ候補は、複数のペア候補の中から選択される、圃場領域または区画ポリゴンに付されたラベルが重複しないペア候補を集合の要素として含む。換言すると、プレ組み合わせ候補は、当該集合の要素によって規定される。
図18は、プレ組み合わせ候補のテーブルを例示する表である。図示される例において、プレ組み合わせ候補のテーブルは、属性を示すヘッダ行を最初の行に含み、3つのカラムを含む。属性は、プレ組み合わせ候補の番号、プレ組み合わせ候補、および、プレ組み合わせ候補を規定する集合についての重心座標差の標準偏差を含む。
図19は、複数のプレ組み合わせ候補を決定するために用いられる深さ優先探索のアルゴリズムの実装例を示すフローチャートである。図20Aおよび図20Bは、それぞれ、深さ優先探索のアルゴリズムの実装例を説明するための図である。図20Aおよび図20Bのそれぞれにおいて、現在探索している区画ポリゴンを指定するポインタが三角マークで示されている。
本実施形態において、対応関係決定部730は、深さ優先探索のアルゴリズムを用いて複数のプレ組み合わせ候補を決定する。対応関係決定部730は、再帰関数を用いる深さ優先探索によって、区画ポリゴンに対応する圃場領域を順番に確定させることができる。
以下に、本実装例の詳細を記載する。ただし、深さ優先探索は本実装例に限定されず、様々なアルゴリズムによって実現され得る。説明を簡単にするために、ラベル番号1から3の区画ポリゴンと、ラベル番号AからCの圃場領域との対応関係を決定する例を説明する。この例では、対応する可能性があるペア候補として、A-1、A-2、A-3、B-1、B-2、B-3、C-1、C-2、C-3の9つが選択されたと仮定する。対応関係決定部730は、ラベルが重複するペア候補を含む複数のペア候補に基づいて、1つ以上のプレ組み合わせ候補を決定していく。
対応関係決定部730は、深さ優先探索を開始すると、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。最初の段階では、区画ポリゴン1から3のそれぞれは、圃場領域AからCのいずれにも紐付けられていないので、処理は次のステップS332に進む(ステップS331のNo)。ステップS332において、1つの区画ポリゴンに対応する可能性がある1つ以上の圃場領域を探索するループ処理が開始される。このループ処理は、処理対象の区画ポリゴンに対応する可能性がある圃場領域のそれぞれについて順に行われる。
図20Aに示されるように、先ず、ポインタが区画ポリゴン1を指定する(フェーズa)。対応関係決定部730は、ポインタが指定する区画ポリゴン1に対応する可能性がある1つ以上の圃場領域を探索するループ処理を実行し、他の区画ポリゴンに紐付けされていない圃場領域を探索する(ステップS333)。フェーズaにおいて、対応関係決定部730は、区画ポリゴン1に対して圃場領域Aを選定する。ポインタは区画ポリゴン1から次の区画ポリゴン2に移動する(ステップS334)。図20Aに示されるように、ポインタは区画ポリゴン2を指定する(フェーズb)。
対応関係決定部730は、再帰呼び出し(ステップS335)を実行し、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。フェーズbにおいて、区画ポリゴン2および3についての圃場領域の紐付けが未だ完了していないので、処理は次のステップS332に進む(ステップS331のNo)。対応関係決定部730は、ポインタが指定する区画ポリゴン2に対応する可能性がある1つ以上の圃場領域を探索するループ処理を実行し、他の区画ポリゴンに紐付けされていない圃場領域を探索する(ステップS333)。フェーズbにおいて、区画ポリゴン1は圃場領域Aに紐付けされているために、対応関係決定部730は、区画ポリゴン2に対して圃場領域Bを選定する。ポインタは区画ポリゴン2から次の区画ポリゴン3に移動する(ステップS334)。図20Aに示されるように、ポインタは区画ポリゴン3を指定する(フェーズc)。
対応関係決定部730は、再帰呼び出し(ステップS335)を実行し、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。フェーズcにおいて、区画ポリゴン3についての圃場領域の紐付けが未だ完了していないので、処理は次のステップS332に進む(ステップS331のNo)。対応関係決定部730は、ポインタが指定する区画ポリゴン3に対応する可能性がある1つ以上の圃場領域を探索するループ処理を実行し、他の区画ポリゴンに紐付けされていない圃場領域を探索する(ステップS333)。フェーズcにおいて、区画ポリゴン1は圃場領域Aに紐付けされ、区画ポリゴン2は圃場領域Bに紐付けされているために、対応関係決定部730は、区画ポリゴン3に対して圃場領域Cを選定する。ポインタは区画ポリゴン3から次の区画ポリゴンに移動する(ステップS334)。図20Aに示されるように、ポインタは次の区画ポリゴンを指定する(フェーズd)。ただし、次の区画ポリゴンは存在しないため、ポインタが指す対象は「該当なし」である。
対応関係決定部730は、再帰呼び出し(ステップS335)を実行し、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。フェーズdにおいて、区画ポリゴン1から3は、それぞれ、圃場領域AからCに紐付けられたために、処理は次のステップS336に進む(ステップS331のYes)。対応関係決定部730は、{A-1,B-2,C-3}のセットをプレ組み合わせ候補としてテーブルに追加する(ステップS336)。ポインタは「該当なし」から区画ポリゴン3に戻る(ステップS337)。図20Bに示されるように、ポインタは区画ポリゴン3を指定する(フェーズe)。
対応関係決定部730は、ステップS332に戻り、ポインタが指定する区画ポリゴン3に対応する可能性がある1つ以上の圃場領域を探索するループ処理を実行する。フェーズeにおいて、区画ポリゴン1は圃場領域Aに紐付けられ、区画ポリゴン2は圃場領域Bに紐付けられている。対応関係決定部730は、他の区画ポリゴンに紐付けされていない圃場領域を探索する(ステップS333)。区画ポリゴン3に対して、圃場領域Cは既に選定されている。そのため、対応関係決定部730は、今度は、区画ポリゴン1および2に紐付けされていない圃場領域として「該当なし」を選定する。ポインタは区画ポリゴン3から次の区画ポリゴンに移動する(ステップS334)。図20Bに示されるように、ポインタは次の区画ポリゴンを指定する(フェーズf)。ただし、次の区画ポリゴンは存在しないため、ポインタが指す対象は[該当なし]である。
対応関係決定部730は、再帰呼び出し(ステップS335)を実行し、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。フェーズfにおいて、区画ポリゴン1および2は、それぞれ、圃場領域AおよびBに紐付けられ、区画ポリゴン3は「該当なし」に紐付けられたために、処理は次のステップS336に進む(ステップS331のYes)。対応関係決定部730は、{A-1,B-2,「該当なし」-3}のセットをプレ組み合わせ候補としてテーブルに追加する(ステップS336)。ポインタは「該当なし」から区画ポリゴン3に戻る(ステップS337)。図20Bに示されるように、ポインタは区画ポリゴン3を指定する(フェーズg)。再びステップS332に戻り、ループ処理が行われる。
フェーズgにおいて、区画ポリゴン1は圃場領域Aに紐付けられ、区画ポリゴン2は圃場領域Bに紐付けられている。また、区画ポリゴン3に対して、圃場領域Cおよび「該当なし」は既に選定されている。そのため、ポインタが指定する区画ポリゴン3に対応する可能性がある圃場領域は存在しない。その結果、対応関係決定部730は、区画ポリゴン3に対応する可能性がある1つ以上の圃場領域を探索するループ処理を完了する(ステップS338)。ポインタは区画ポリゴン3から区画ポリゴン2に戻る(ステップS337)。図20Bに示されるように、ポインタは区画ポリゴン2を指定する(フェーズh)。
対応関係決定部730は、区画ポリゴン2に対応する可能性がある1つ以上の圃場領域を探索するループ処理に戻る(ステップS332)。フェーズhにおいて、区画ポリゴン1は圃場領域Aに紐付けられている。対応関係決定部730は、区画ポリゴン1に紐付けされていない圃場領域を探索する(ステップS333)。区画ポリゴン2に対して、圃場領域Bは既に選定されている。そのため、対応関係決定部730は、今度は、区画ポリゴン2に対して圃場領域Cを選定する。ポインタは区画ポリゴン2から次の区画ポリゴン3に移動する(ステップS334)。図20Bに示されるように、ポインタは次の区画ポリゴン3を指定する(フェーズi)。
対応関係決定部730は、再帰呼び出し(ステップS335)を実行し、全ての区画ポリゴンが圃場領域に紐付けられたかを判断する(ステップS331)。フェーズiにおいて、区画ポリゴン1および2は、それぞれ、圃場領域AおよびCに紐付けられ、区画ポリゴン3についての圃場領域の紐付けが未だ完了していないので、処理は次のステップS332に進む(ステップS331のNo)。対応関係決定部730は、ポインタが指定する区画ポリゴン3に対応する可能性がある1つ以上の圃場領域を探索するループ処理を実行する。区画ポリゴン2に対して、圃場領域Cは既に選定されている。そのため、フェーズiにおいて、対応関係決定部730は、区画ポリゴン3に対して圃場領域Bを選定する。ポインタは区画ポリゴン3から次の区画ポリゴンに移動する(ステップS334)。
以降、対応関係決定部730は、上記の手順に従って処理を繰り返し実行することによって、複数のプレ組み合わせ候補を決定することができる。
(ステップS340)
対応関係決定部730は、複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出する。例えば、対応関係決定部730は、複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの重心座標の差によって規定される値の統計量を算出し得る。統計量は、例えば、平均値、分散、標準偏差または変動係数であり得る。以下、統計量として標準偏差を採用する場合の例を説明する。
図18に例示されるプレ組み合わせ候補のテーブルにおいて、例えば第2行のレコードに含まれる{AG-1,I-2,K-3,S-6,D-7,H-8,R-9,F-11,W-15}の9つのペア候補によってプレ組み合わせ候補1が規定される。本実施形態において、対応関係決定部730は、プレ組み合わせ候補1に含まれる9つの要素の全てについて、それぞれ、ペア候補である圃場領域と区画ポリゴンとの重心座標の差を算出する。最終的に、対応関係決定部730は、9つのペア候補の重心座標の差の標準偏差を算出する。対応関係決定部730は、算出した重心座標の差の標準偏差「19.0」を第3カラムのフィールドに記録する。
これと同様に、例えば第3行のレコードに含まれる{AG-1,I-2,K-3,S-6,D-7,H-8,R-9,F-11}の8つのペア候補によってプレ組み合わせ候補2が規定される。対応関係決定部730は、プレ組み合わせ候補2に含まれる8つの要素の全てについて、それぞれ、ペア候補である圃場領域と区画ポリゴンとの重心座標の差を算出する。対応関係決定部730は、8つのペア候補の重心座標の差の標準偏差を算出する。対応関係決定部730は、算出した重心座標の差の標準偏差「19.7」を第3カラムのフィールドに記録する。対応関係決定部730は、プレ組み合わせ候補3から6を含む残りのプレ組み合わせ候補に対しても、それぞれ、プレ組み合わせ候補に含まれるペア候補の重心座標の差の標準偏差を算出する。
対応関係決定部730は、複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの面積の比によって規定される値の統計量を算出し得る。対応関係決定部730は、例えば、ペア候補の圃場領域と区画ポリゴンとの面積比の標準偏差を算出し得る。面積比の標準偏差を用いて対応関係を評価することによって、圃場領域と区画ポリゴンとの縮尺がずれているような場合においても、圃場領域と区画ポリゴンの対応関係を正確に決定することができる。
(ステップS350)
対応関係決定部730は、複数のプレ組み合わせ候補から、算出した統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、統計量が所定値以上となる組み合わせ候補(以降、「偽のプレ組み合わせ候補」と表記する。)を除外する。本実施形態において、重心座標差の標準偏差に対し、所定値は例えば20.0に設定される。対応関係決定部730は、複数のプレ組み合わせ候補から、算出した重心座標差の標準偏差が20.0未満となる少なくとも1つの組み合わせ候補を選択し、重心座標差の標準偏差が20.0以上となる偽の組み合わせ候補を除外する。図18に示される例において、標準偏差が20.5であるために、プレ組み合わせ候補6は偽のプレ組み合わせ候補としてテーブルから除外される。
(ステップS360)
図21は、プレ組み合わせ候補のテーブルから偽のプレ組み合わせ候補を除外した最終的な組み合わせ候補のテーブルを例示する表である。図示される例において、組み合わせ候補のテーブルは、属性を示すヘッダ行を最初の行に含み、3つのカラムを含む。属性は、組み合わせ候補の番号、組み合わせ候補および、組み合わせ候補に含まれる集合の要素の重心座標差の平均値を含む。
対応関係決定部730は、組み合わせ候補のテーブルに含まれる少なくとも1つの組み合わせ候補に基づいて複数の圃場領域と複数の区画ポリゴンとの対応関係を決定する。より詳しく説明すると、対応関係決定部730は、組み合わせ候補のテーブルに含まれる少なくとも1つの組み合わせ候補のうちの、集合の要素の数が最も多い組み合わせ候補に基づいて、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定する。図21に示される例において、組み合わせ候補1から5の中で、組み合わせ候補1に含まれる要素の数が9個で最も多いために、対応関係決定部730は、組み合わせ候補1を最適な組み合わせとして決定する。
集合の要素の数が最も多い組み合わせ候補が複数個存在する場合が考えられる。その場合、本実施形態において、対応関係決定部730は、組み合わせ候補に含まれる集合の要素から算出される重心座標差の平均値が最小となる組み合わせ候補を最適な組み合わせとして決定する。図21に示される例において、集合の要素の最大数が8個であると仮定する。その場合、組み合わせ候補2または組み合わせ候補3が、最適な組み合わせの候補となる。重心座標差の平均値に関して、組み合わせ候補3が組み合わせ候補2よりも小さいので、対応関係決定部730は、組み合わせ候補3を最適な組み合わせとして決定する。
以上の処理により、複数の圃場領域と複数の区画ポリゴンと対応関係を決定することが可能となる。ただし、全ての圃場領域が全ての区画ポリゴンに1対1で対応しない場合もあり得る。その場合、処理装置120は、圃場領域との対応付けに成功した区画ポリゴンの地理情報に基づいて全ての区画ポリゴンのそれぞれを規定する地理情報を補正することによって、全ての対応関係を決定し得る。
図22は、区画ポリゴンと圃場領域とを重ねたときに、区画ポリゴンに対し、当該区画ポリゴンと対応関係にある圃場領域がずれている様子を例示する模式図である。図23は、座標のずれを補正し、対応関係にある区画ポリゴンと圃場領域とを重ねた様子を例示する模式図である。図22、図23において、区画ポリゴンが実線で示され、圃場領域が破線で示されている。
図22に、区画ポリゴンの頂点に対して、区画ポリゴンの頂点に対応する圃場領域の頂点が左下方向にずれた様子が例示されているが、ずれの方向はこの方向に限定されない。ずれの方向は任意の方向であり得る。
圃場領域を規定する4つの頂点b1からb4は、それぞれ、区画ポリゴンを規定する4つの頂点a1からa4に対してずれている。主な理由は、上述したように、ユーザによる区画ポリゴンの登録が不正確であり得たり、ドローンに搭載されたGNSSユニットによる測位精度に誤差が生じ得たりするためである。さらに、ドローン400が取得した複数枚の空撮画像を合成するときに合成の誤差が生じ得るためである。
ずれ量算出部740は、複数の区画ポリゴンをそれぞれ規定する地理座標と、複数の区画ポリゴンのそれぞれに対応する圃場領域の、地理情報に基づいて算出される座標との間のずれ量を算出する。ずれ量算出部740は、対応関係にある圃場領域と区画ポリゴンとの座標のずれ量を順番に算出することができる。ずれ量算出部740は、地理情報に基づいて算出される圃場領域の座標として、データ取得部700が座標変換した地理座標を利用することができる。これにより、ずれ量算出部740は、地理座標に基づいて区画ポリゴンと、当該区画ポリゴンと対応関係にある圃場領域との間のずれ量を算出することができる。例えば、ずれ量算出部740は、各頂点のずれ量Δb1-a1、Δb2-a2、Δb3-a3およびΔb4-a4を算出し得る。ずれ量Δは、例えば2つの座標の点のユークリッド距離で表される。また、ずれ量算出部740は、地理座標に基づいて区画ポリゴンと、当該区画ポリゴンと対応関係にある圃場領域との間の重心座標のずれ量を算出し得る。
座標補正部750は、ずれ量算出部740が算出したずれ量に基づいて、対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正する。本実施形態において、座標補正部750は、ずれ量に基づいて、対応関係にある圃場領域および区画ポリゴンのうちの圃場領域の座標を補正する。ずれ量を補正する方法の一例として、座標補正部750は、重心座標のずれ量に基づいて圃場領域の座標を補正し得る。これは重心座標の平行移動を意味する。重心座標のずれ量を算出することで、対応関係にある圃場領域と区画ポリゴンとの位置合わせを比較的容易に精度よく行うことが可能となる。特に、セグメンテーションにより領域画像から抽出した圃場領域が不完全な場合、または、クラウドへの圃場の登録がある程度のずれを許容する場合に有効である。
他の一例として、座標補正部750は、各頂点のずれ量Δb1-a1、Δb2-a2、Δb3-a3およびΔb4-a4に基づいて圃場領域の座標を補正し得る。実際、重心座標を平行移動させるだけでは不十分であり、カメラの姿勢および/または画角などによって拡大・縮小などの処理が必要になることがある。この場合、座標補正部750は、各頂点のずれ量に基づいて領域画像にホモグラフィ変換を適用することによって、対応関係にある圃場領域および区画ポリゴンのうちの圃場領域の座標を補正し得る。ホモグラフィ変換はアフィン変換の概念を含む。ホモグラフィ変換は「射影変換」または「透視変換」とも呼ばれ得る。アフィン変換を適用すれば、平行移動・回転・拡縮を行う変換が可能となり、ホモグラフィ変換を適用すれば台形変形も可能となる。
座標補正部750は、補正した座標の情報を含むデータセットを生成し、例えばROM122に一時的に記憶し得る。座標補正部750は、対応関係にある区画ポリゴンと圃場領域とを重ねた合成画像のデータを、データセットに含まれる補正した座標に基づいて生成することができる。合成画像はROM122に記憶したり、通信IF110を介して端末200に送信したりすることができる。端末200に送信された合成画像は、表示装置220に表示され得る。これにより、ユーザは、例えば、航空写真に正確に重ねて表示された生育マップを確認し、農作物の生育状況を把握することが可能になる。
圃場領域と区画ポリゴンとの地理情報の間に、既に説明したような種々の要因によって誤差が生じ得る。さらに、セグメンテーションの精度によって、セグメンテーションを適用して抽出した圃場領域の地理情報にも誤差が生じ得る。
本実施形態による位置合わせのアルゴリズムの実装例によれば、様々な要因から圃場領域および/または区画ポリゴンの地理情報に誤差が生じている場合において、圃場領域と区画ポリゴンとの対応関係を高い精度で決定することができる。圃場領域と区画ポリゴンとの地理情報の間に相対的に大きな誤差が生じている場合であっても、圃場領域と区画ポリゴンとを地理情報に基づいて重ねたときに生じる位置ずれを補正することが可能になる。その結果、位置ずれを手動で補正する作業量が大幅に低減され、ユーザの利便性が向上し得る。
図24を参照して、本実施形態の変形例を説明する。
上述した実施形態では、処理装置120が、プレ組み合わせ候補のテーブルの中から最適な組み合わせを自動的に決定する例を説明したが、本開示はこれに限定されない。本実施形態に係るシステム1000は、自動モードおよび手動モードを含む動作モードを有し得る。自動モードは、複数のプレ組み合わせ候補から、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定するための最適な組み合わせを処理装置120によって自動で決定するモードである。手動モードは、当該組み合わせをユーザが決定するモードである。
動作モードが手動モードに設定されているとき、処理装置120は、複数のプレ組み合わせ候補を端末200に出力して、表示装置220に表示する。ユーザは端末200の入力装置210を介して複数のプレ組み合わせ候補の中から1つを最適な組み合わせとして選択することが可能である。処理装置120は、選択された1つの組み合わせに基づいて、複数の圃場領域と複数の区画ポリゴンとの対応関係を決定することができる。
図24は、表示装置220に表示される位置合わせのためのGUI(Graphical User Interface)の表示例を示す模式図である。例えば、航空写真に区画ポリゴンを重ねた合成画像が、GUI上に表示され得る。この合成画像における区画ポリゴンは、例えば、ユーザによるプレ組み合わせ候補の選択に連動して切り替わるように表示され得る。ユーザは、この合成画像を確認しながら、プレ組み合わせ候補の中から最適な組み合わせを決定することができる。
動作モードが自動モードに設定されているとき、処理装置120は、上述したように、複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出し、複数のプレ組み合わせ候補から、統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、少なくとも1つの組み合わせ候補に基づいて複数の圃場領域と複数の区画ポリゴンとの対応関係を決定することができる。
図25は、圃場領域と区画ポリゴンとの位置合わせを行うための方法の例による処理手順を示すフローチャートである。
圃場領域と区画ポリゴンとの位置合わせを行うための方法は、上述したステップS100からS600の処理に加え、ドローン400に搭載された撮像装置410を用いて、1以上の圃場領域を被写体として含む空撮画像を取得し、取得した空撮画像のデータを記憶装置130に送信し、圃場画像データとして記憶装置130に記憶する処理(ステップS700)を含み得る。ステップS700の後、前述のステップS100からS600の処理が実行される。図25に示す方法により、ドローンを用いて所望の圃場を被写体として含む空撮画像を取得し、その空撮画像のデータと区画ポリゴンのデータとに基づいて、圃場領域と区画ポリゴンとの対応関係を自動で決定することができる。
以上のように、本開示は、以下の項目に記載の農業支援システム、方法、およびコンピュータプログラムを含む。
[項目1]
それぞれが圃場を表す複数の区画ポリゴンと前記複数の区画ポリゴンのそれぞれを規定する地理座標を含む区画ポリゴンデータ、および、圃場画像データを記憶する記憶装置と、
前記圃場画像データから選択された複数の圃場を被写体として含む領域画像と、前記複数の圃場のそれぞれに対応するように前記複数の区画ポリゴンから選択された区画ポリゴンとを重ねるためのデータセットを生成する処理装置と、
を備え、
前記圃場画像データは、地理情報を有する空撮画像または衛星画像を含み、
前記処理装置は、
前記領域画像から複数の圃場領域を抽出し、
前記複数の圃場領域のそれぞれの形状、および、前記複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出し、
前記少なくとも1つの幾何学的特徴量に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定し、
前記複数の区画ポリゴンをそれぞれ規定する前記地理座標と、前記複数の区画ポリゴンのそれぞれに対応する圃場領域の、前記地理情報に基づいて算出される座標との間のずれ量を算出し、
前記ずれ量に基づいて、前記対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正し、
前記データセットは、補正した前記座標の情報を含む、農業支援システム。
[項目2]
前記処理装置は、セグメンテーションによって前記領域画像から前記複数の圃場領域を抽出する、項目1に記載の農業支援システム。
[項目3]
前記少なくとも1つの幾何学的特徴量は重心座標を含む、項目1または2に記載の農業支援システム。
[項目4]
前記少なくとも1つの幾何学的特徴量は、面積、外接矩形の幅および高さを含む、項目1から3のいずれかに記載の農業支援システム。
[項目5]
前記処理装置は、
セグメンテーションによって前記領域画像から前記複数の圃場領域を抽出した後、前記領域画像にラベリング処理を適用することによって、抽出した前記複数の圃場領域のそれぞれにラベルを付し、かつ、前記複数の圃場領域のそれぞれに付したラベルと、前記複数の圃場領域のそれぞれについて算出した前記少なくとも1つの幾何学的特徴量とを関連付ける圃場領域テーブルを生成し、
前記複数の区画ポリゴンのそれぞれにラベルを付し、前記複数の区画ポリゴンのそれぞれに付したラベルと、前記複数の区画ポリゴンのそれぞれについて算出した前記少なくとも1つの幾何学的特徴量とを関連付ける区画ポリゴンテーブルを生成し、
前記圃場領域テーブルと前記区画ポリゴンテーブルとを参照して、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、項目1に記載の農業支援システム。
[項目6]
前記処理装置は、前記ラベリング処理を適用する前の前記領域画像にノイズ除去処理を適用する、項目5に記載の農業支援システム。
[項目7]
前記セグメンテーションによって前記複数の圃場領域を抽出した後の前記領域画像は、圃場領域と圃場領域以外の領域とを区別する2値化画像である、項目2または5に記載の農業支援システム。
[項目8]
前記処理装置は、
前記圃場領域テーブルと前記区画ポリゴンテーブルとを参照して、前記複数の圃場領域のそれぞれと前記複数の区画ポリゴンのそれぞれとの前記少なくとも1つの幾何学的特徴量を比較し、
前記複数の圃場領域のうちの1つと前記複数の区画ポリゴンのうちの1つとの組み合わせの中から、比較結果が所定の条件を満たす圃場領域および区画ポリゴンの、対応する可能性がある複数のペア候補を選択し、
それぞれが、前記複数のペア候補の中から選択されるペア候補であって、圃場領域または区画ポリゴンに付したラベルが重複しないペア候補を集合の要素として含む複数のプレ組み合わせ候補を決定し、
前記複数のプレ組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、項目5または6に記載の農業支援システム。
[項目9]
前記処理装置は、深さ優先探索のアルゴリズムを用いて前記複数のプレ組み合わせ候補を決定する、項目8に記載の農業支援システム。
[項目10]
前記少なくとも1つの幾何学的特徴量は、重心座標、面積、外接矩形の幅および高さを含み、
前記比較結果が所定の条件を満たすことは、前記重心座標の差が第1の所定範囲内にあること、前記面積の比が第2の所定範囲内にあること、前記外接矩形の幅および高さの比が、それぞれ、第3の所定範囲内にあること、および、前記外接矩形の幅および高さによって規定されるアスペクト比の差が第4の所定範囲内にあることのうちの少なくとも1つを含む、項目8または9に記載の農業支援システム。
[項目11]
前記処理装置は、
前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出し、
前記複数のプレ組み合わせ候補から、前記統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、
前記少なくとも1つの組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、項目8から10のいずれかに記載の農業支援システム。
[項目12]
前記処理装置は、前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記重心座標の差によって規定される値の前記統計量を算出する、項目11に記載の農業支援システム。
[項目13]
前記統計量は平均値、分散、標準偏差または変動係数を含む、項目11または12に記載の農業支援システム。
[項目14]
前記少なくとも1つの組み合わせ候補のうちの、前記集合の要素の数が最も多い組み合わせ候補に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、項目11から13のいずれかに記載の農業支援システム。
[項目15]
前記処理装置は、前記対応関係にある区画ポリゴンと圃場領域とを重ねた合成画像のデータを前記データセットに基づいて生成する、項目1から14のいずれかに記載の農業支援システム。
[項目16]
前記合成画像を表示する表示装置をさらに備える、項目15に記載の農業支援システム。
[項目17]
前記処理装置は、前記ずれ量に基づいて前記領域画像にホモグラフィ変換を適用することによって、前記対応関係にある圃場領域および区画ポリゴンのうちの前記圃場領域の座標を補正する、項目1から16のいずれかに記載の農業支援システム。
[項目18]
前記農業支援システムは、前記複数のプレ組み合わせ候補から、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定するために用いる組み合わせを前記処理装置によって自動で決定する自動モード、および、前記組み合わせをユーザが決定する手動モードを含む動作モードを有する、項目8から10のいずれかに記載の農業支援システム。
[項目19]
表示装置と、前記ユーザからの指示を受け取る入力装置とをさらに備え、
前記動作モードが前記手動モードに設定されているとき、
前記処理装置は、
前記複数のプレ組み合わせ候補を前記表示装置に表示し、
前記ユーザが前記入力装置を介して前記複数のプレ組み合わせ候補の中から選択した1つの組み合わせに基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定し、
前記動作モードが前記自動モードに設定されているとき、
前記処理装置は、
前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出し、
前記複数のプレ組み合わせ候補から、前記統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、
前記少なくとも1つの組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、項目18に記載の農業支援システム。
[項目20]
前記圃場画像データは、RGBデータ、植生指数データまたはマルチスペクトル画像データを含む、項目1から19のいずれかに記載の農業支援システム。
[項目21]
前記処理装置は、圃場領域にラベルが付された圃場画像のデータを含む訓練データを用いてセグメンテーションモデルを訓練して得られた学習済みモデルを用いて前記領域画像から前記複数の圃場領域を抽出する、項目1から20のいずれかに記載の農業支援システム。
[項目22]
圃場領域と区画ポリゴンとの位置合わせを行うための方法であって、
それぞれが圃場を表す複数の区画ポリゴンと前記複数の区画ポリゴンのそれぞれを規定する地理座標を含む区画ポリゴンデータ、および、圃場画像データを記憶する記憶装置にアクセスして、前記区画ポリゴンデータおよび前記圃場画像データを取得することであって、前記圃場画像データは、地理情報を有する空撮画像または衛星画像を含むことと、
前記圃場画像データから選択された複数の圃場を被写体として含む領域画像から複数の圃場領域を抽出することと、
前記複数の圃場領域のそれぞれの形状、および、前記複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出することと、
前記少なくとも1つの幾何学的特徴量に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定することと、
前記複数の区画ポリゴンをそれぞれ規定する前記地理座標と、前記複数の区画ポリゴンのそれぞれに対応する圃場領域の、前記地理情報に基づいて算出される座標との間のずれ量を算出することと、
前記ずれ量に基づいて、前記対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正することと、
補正した前記座標の情報を含むデータセットを生成することと、
を包含する、方法。
[項目23]
無人航空機に搭載された撮像装置を用いて、1以上の圃場領域を被写体として含む前記空撮画像を取得することと、
取得した前記空撮画像のデータを前記記憶装置に送信し、前記圃場画像データとして前記記憶装置に記憶することと、を含む項目22に記載の方法。
[項目24]
圃場領域と区画ポリゴンとの位置合わせを行うコンピュータによって実行されるコンピュータプログラムであって、
それぞれが圃場を表す複数の区画ポリゴンと前記複数の区画ポリゴンのそれぞれを規定する地理座標を含む区画ポリゴンデータ、および、圃場画像データを記憶する記憶装置にアクセスして、前記区画ポリゴンデータおよび前記圃場画像データを取得することであって、前記圃場画像データは、地理情報を有する空撮画像または衛星画像を含むことと、
前記圃場画像データから選択された複数の圃場を被写体として含む領域画像から複数の圃場領域を抽出することと、
前記複数の圃場領域のそれぞれの形状、および、前記複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出することと、
前記少なくとも1つの幾何学的特徴量に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定することと、
前記複数の区画ポリゴンをそれぞれ規定する前記地理座標と、前記複数の区画ポリゴンのそれぞれに対応する圃場領域の、前記地理情報に基づいて算出される座標との間のずれ量を算出することと、
前記ずれ量に基づいて、前記対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正することと、
補正した前記座標の情報を含むデータセットを生成することと、
を実行させるコンピュータプログラム。
本開示の実施形態は、例えば生育マップなどのデータをクラウド上で管理する農業支援システムに利用され得る。
60 :ネットワーク
100 :サーバコンピュータ(サーバ)
120 :処理装置
121 :プロセッサ
122 :ROM
123 :RAM
130 :記憶装置
200 :端末
200 :表示装置
200 :端末
200A :ラップトップコンピュータ
200B :タブレットコンピュータ
210 :入力装置
220 :表示装置
230 :プロセッサ
240 :ROM
250 :RAM
260 :記憶装置
300 :作業車両
400 :ドローン
410 :撮像装置
420 :RTK測位ユニット
430 :IMU
440 :駆動装置
450 :制御装置
460 :データ生成装置
700 :データ取得部
711 :圃場領域抽出部
712 :前処理部
713 :ラベリング処理部
714 :特徴量算出部
715 :圃場領域テーブル生成部
721 :区画ポリゴン生成部
722 :ラベリング部
723 :特徴量算出部
724 :区画ポリゴンテーブル生成部
730 :対応関係決定部
740 :ずれ量算出部
750 :座標補正部
1000 :農業支援システム(システム)

Claims (21)

  1. それぞれが圃場を表す複数の区画ポリゴンと前記複数の区画ポリゴンのそれぞれを規定する地理座標を含む区画ポリゴンデータ、および、圃場画像データを記憶する記憶装置と、
    前記圃場画像データから選択された複数の圃場を被写体として含む領域画像と、前記複数の圃場のそれぞれに対応するように前記複数の区画ポリゴンから選択された区画ポリゴンとを重ねるためのデータセットを生成する処理装置と、
    を備え、
    前記圃場画像データは、地理情報を有する空撮画像または衛星画像を含み、
    前記処理装置は、
    前記領域画像から複数の圃場領域を抽出し、
    前記複数の圃場領域のそれぞれの形状、および、前記複数の区画ポリゴンのそれぞれの形状を特徴付ける少なくとも1つの幾何学的特徴量を算出し、
    前記少なくとも1つの幾何学的特徴量に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定し、
    前記複数の区画ポリゴンをそれぞれ規定する前記地理座標と、前記複数の区画ポリゴンのそれぞれに対応する圃場領域の、前記地理情報に基づいて算出される座標との間のずれ量を算出し、
    前記ずれ量に基づいて、前記対応関係にある圃場領域および区画ポリゴンの少なくとも一方の座標を補正し、
    前記データセットは、補正した前記座標の情報を含む、農業支援システム。
  2. 前記処理装置は、セグメンテーションによって前記領域画像から前記複数の圃場領域を抽出する、請求項1に記載の農業支援システム。
  3. 前記少なくとも1つの幾何学的特徴量は重心座標を含む、請求項1または2に記載の農業支援システム。
  4. 前記少なくとも1つの幾何学的特徴量は、面積、外接矩形の幅および高さを含む、請求項1から3のいずれかに記載の農業支援システム。
  5. 前記処理装置は、
    セグメンテーションによって前記領域画像から前記複数の圃場領域を抽出した後、前記領域画像にラベリング処理を適用することによって、抽出した前記複数の圃場領域のそれぞれにラベルを付し、かつ、前記複数の圃場領域のそれぞれに付したラベルと、前記複数の圃場領域のそれぞれについて算出した前記少なくとも1つの幾何学的特徴量とを関連付ける圃場領域テーブルを生成し、
    前記複数の区画ポリゴンのそれぞれにラベルを付し、前記複数の区画ポリゴンのそれぞれに付したラベルと、前記複数の区画ポリゴンのそれぞれについて算出した前記少なくとも1つの幾何学的特徴量とを関連付ける区画ポリゴンテーブルを生成し、
    前記圃場領域テーブルと前記区画ポリゴンテーブルとを参照して、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項1に記載の農業支援システム。
  6. 前記処理装置は、前記ラベリング処理を適用する前の前記領域画像にノイズ除去処理を適用する、請求項5に記載の農業支援システム。
  7. 前記セグメンテーションによって前記複数の圃場領域を抽出した後の前記領域画像は、圃場領域と圃場領域以外の領域とを区別する2値化画像である、請求項2または5に記載
    の農業支援システム。
  8. 前記処理装置は、
    前記圃場領域テーブルと前記区画ポリゴンテーブルとを参照して、前記複数の圃場領域のそれぞれと前記複数の区画ポリゴンのそれぞれとの前記少なくとも1つの幾何学的特徴量を比較し、
    前記複数の圃場領域のうちの1つと前記複数の区画ポリゴンのうちの1つとの組み合わせの中から、比較結果が所定の条件を満たす圃場領域および区画ポリゴンの、対応する可能性がある複数のペア候補を選択し、
    それぞれが、前記複数のペア候補の中から選択されるペア候補であって、圃場領域または区画ポリゴンに付したラベルが重複しないペア候補を集合の要素として含む複数のプレ組み合わせ候補を決定し、
    前記複数のプレ組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項5または6に記載の農業支援システム。
  9. 前記処理装置は、深さ優先探索のアルゴリズムを用いて前記複数のプレ組み合わせ候補を決定する、請求項8に記載の農業支援システム。
  10. 前記少なくとも1つの幾何学的特徴量は、重心座標、面積、外接矩形の幅および高さを含み、
    前記比較結果が所定の条件を満たすことは、前記重心座標の差が第1の所定範囲内にあること、前記面積の比が第2の所定範囲内にあること、前記外接矩形の幅および高さの比が、それぞれ、第3の所定範囲内にあること、および、前記外接矩形の幅および高さによって規定されるアスペクト比の差が第4の所定範囲内にあることのうちの少なくとも1つを含む、請求項8または9に記載の農業支援システム。
  11. 前記処理装置は、
    前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出し、
    前記複数のプレ組み合わせ候補から、前記統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、
    前記少なくとも1つの組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項8から10のいずれかに記載の農業支援システム。
  12. 前記処理装置は、
    前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記重心座標の差によって規定される値の統計量を算出し、
    前記複数のプレ組み合わせ候補から、前記統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、
    前記少なくとも1つの組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項10に記載の農業支援システム。
  13. 前記統計量は平均値、分散、標準偏差または変動係数を含む、請求項11または12に記載の農業支援システム。
  14. 前記少なくとも1つの組み合わせ候補のうちの、前記集合の要素の数が最も多い組み合わせ候補に基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項11から13のいずれかに記載の農業支援システム。
  15. 前記処理装置は、前記対応関係にある区画ポリゴンと圃場領域とを重ねた合成画像のデータを前記データセットに基づいて生成する、請求項1から14のいずれかに記載の農業支援システム。
  16. 前記合成画像を表示する表示装置をさらに備える、請求項15に記載の農業支援システム。
  17. 前記処理装置は、前記ずれ量に基づいて前記領域画像にホモグラフィ変換を適用することによって、前記対応関係にある圃場領域および区画ポリゴンのうちの前記圃場領域の座標を補正する、請求項1から16のいずれかに記載の農業支援システム。
  18. 前記農業支援システムは、前記複数のプレ組み合わせ候補から、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定するために用いる組み合わせを前記処理装置によって自動で決定する自動モード、および、前記組み合わせをユーザが決定する手動モードを含む動作モードを有する、請求項8から10のいずれかに記載の農業支援システム。
  19. 表示装置と、前記ユーザからの指示を受け取る入力装置とをさらに備え、
    前記動作モードが前記手動モードに設定されているとき、
    前記処理装置は、
    前記複数のプレ組み合わせ候補を前記表示装置に表示し、
    前記ユーザが前記入力装置を介して前記複数のプレ組み合わせ候補の中から選択した1つの組み合わせに基づいて、前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定し、
    前記動作モードが前記自動モードに設定されているとき、
    前記処理装置は、
    前記複数のプレ組み合わせ候補のそれぞれを規定する集合の要素であるペア候補の圃場領域と区画ポリゴンとの前記少なくとも1つの幾何学的特徴量の差および/または比によって規定される値の統計量を算出し、
    前記複数のプレ組み合わせ候補から、前記統計量が所定値未満となる少なくとも1つの組み合わせ候補を選択し、
    前記少なくとも1つの組み合わせ候補に基づいて前記複数の圃場領域と前記複数の区画ポリゴンとの対応関係を決定する、請求項18に記載の農業支援システム。
  20. 前記圃場画像データは、RGBデータ、植生指数データまたはマルチスペクトル画像データを含む、請求項1から19のいずれかに記載の農業支援システム。
  21. 前記処理装置は、圃場領域にラベルが付された圃場画像のデータを含む訓練データを用いてセグメンテーションモデルを訓練して得られた学習済みモデルを用いて前記領域画像から前記複数の圃場領域を抽出する、請求項1から20のいずれかに記載の農業支援システム。
JP2021001623A 2021-01-07 2021-01-07 農業支援システム Active JP7470061B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021001623A JP7470061B2 (ja) 2021-01-07 2021-01-07 農業支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021001623A JP7470061B2 (ja) 2021-01-07 2021-01-07 農業支援システム

Publications (2)

Publication Number Publication Date
JP2022106542A JP2022106542A (ja) 2022-07-20
JP7470061B2 true JP7470061B2 (ja) 2024-04-17

Family

ID=82457075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021001623A Active JP7470061B2 (ja) 2021-01-07 2021-01-07 農業支援システム

Country Status (1)

Country Link
JP (1) JP7470061B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224224A (ja) 2016-06-17 2017-12-21 株式会社Ihiスター マップデータ作成装置及びマップデータ作成方法
JP2019185773A (ja) 2018-04-16 2019-10-24 株式会社クボタ 農業支援システム
JP2020170213A (ja) 2019-04-01 2020-10-15 株式会社スカイマティクス ドローン作業支援システム及びドローン作業支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224224A (ja) 2016-06-17 2017-12-21 株式会社Ihiスター マップデータ作成装置及びマップデータ作成方法
JP2019185773A (ja) 2018-04-16 2019-10-24 株式会社クボタ 農業支援システム
JP2020170213A (ja) 2019-04-01 2020-10-15 株式会社スカイマティクス ドローン作業支援システム及びドローン作業支援方法

Also Published As

Publication number Publication date
JP2022106542A (ja) 2022-07-20

Similar Documents

Publication Publication Date Title
Over et al. Processing coastal imagery with Agisoft Metashape Professional Edition, version 1.6—Structure from motion workflow documentation
Granshaw Photogrammetric terminology
Ehlers et al. Automated analysis of ultra high resolution remote sensing data for biotope type mapping: new possibilities and challenges
US8797400B2 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
KR100678395B1 (ko) 위성영상과 항공영상을 이용한 지리정보 데이터의 실시간위치보정 시스템 및 그 방법
Jurado et al. Remote sensing image fusion on 3D scenarios: A review of applications for agriculture and forestry
Díaz et al. Customizing unmanned aircraft systems to reduce forest inventory costs: can oblique images substantially improve the 3D reconstruction of the canopy?
Li et al. Ultrahigh-resolution boreal forest canopy mapping: Combining UAV imagery and photogrammetric point clouds in a deep-learning-based approach
Jurado et al. An efficient method for generating UAV-based hyperspectral mosaics using push-broom sensors
Duarte et al. Open-source GIS application for UAV photogrammetry based on MicMac
Granshaw Photogrammetric terminology
Zietara Creating Digital Elevation Model (DEM) based on ground points extracted from classified aerial images obtained from Unmanned Aerial Vehicle (UAV)
JP7470061B2 (ja) 農業支援システム
Ataş et al. Development of automatic tree counting software from uav based aerial images with machine learning
JP5352435B2 (ja) 分類画像作成装置
KR102587445B1 (ko) 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
Saveliev et al. Automated terrain mapping based on mask R-CNN neural network
CN113516059B (zh) 固体废弃物的识别方法、装置、电子设备及存储介质
Afriansyah et al. Image Mapping Detection of Green Areas Using Speed Up Robust Features
Lee et al. Semi-automatic framework for traffic landmark annotation
Liang et al. Efficient match pair selection for matching large-scale oblique UAV images using spatial priors
Crommelinck et al. Robust object extraction from remote sensing data
Buyukdemircioglu et al. Geovisualization of Aerial Photogrammetric Flights for Data Quality Assessment
Mathivanan et al. Utilizing satellite and UAV data for crop yield prediction and monitoring through deep learning
Gao et al. RTAL: An edge computing method for real-time rice lodging assessment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240405

R150 Certificate of patent or registration of utility model

Ref document number: 7470061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150