JP7000505B1 - センシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機 - Google Patents

Abstract

【課題】非接触センシングにより得られる非接触センシングデータと、土壌等から得られるデータとを、より効率良く取得することが可能なセンシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機を提供する。
【課題を解決するための手段】センシングシステムは、センシングエリアの地中に埋め込まれ、センシングエリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと、無人で飛行可能な航空機とを含む。そして、航空機は、空中からセンシングエリアにおける地表の非接触センシングを行うとともに、接触センサの接触センシングにより得られた接触センシングデータを接触センサから受信する。
【選択図】図９

Description

無人航空機を利用して空中から非接触センシングを行うことで非接触センシングデータを取得するシステム等の技術分野に関する。

無人航空機を活用して土壌に関する測定・分析を行うことが検討されている。例えば、特許文献１には、産業用無人ヘリコプタに搭載されたビデオカメラから圃場全体を撮影して画像と自然光の反射率を示すデータを取得し、一方で、その圃場の一部の土壌をサンプリングして熱水抽出性窒素を測定し、圃場全体の熱水抽出性窒素の分布マップを生成する技術が開示されている。また、特許文献２には、無人飛行装置を用いて空中から測定した反射光に基づいて算出された反射率と、土壌サンプルを分析して得た分析情報とに基づいて圃場全体の各位置の特性を示す圃場特性情報を生成する技術が開示されている。

特開２０１１－２５４７１１号公報 特開２０１９－００２８１１号公報

しかしながら、上記のような技術では、無人航空機による空中からの非接触センシングとは別に、例えば人手で土壌サンプルを収集する必要があり、非接触センシングにより得られる非接触センシングデータと土壌サンプルから得られるデータとを、例えば繰り返し取得する場合にはデータ取得側にとって負担が大きく非効率であった。

そこで、非接触センシングにより得られる非接触センシングデータと、土壌等から得られるデータとを、より効率良く取得することが可能なセンシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機を提供する。

上記課題を解決するために、請求項１に記載の発明は、所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと、無人で飛行可能な航空機とを含むセンシングシステムであって、前記航空機は、空中から前記エリアにおける地表の非接触センシングを行うための非接触センサ部と、前記接触センシングにより得られた接触センシングデータを前記接触センサから受信する受信部と、前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行う処理部と、を備えることを特徴とする。これにより、無人で飛行可能な航空機の空中からの非接触センシングにより得られる非接触センシングデータと、地中に埋め込まれた接触センサの接触センシングにより得られた接触センシングデータとを、より効率良く取得して位置的な対応付けを行うことができる。

請求項２に記載の発明は、請求項１に記載のセンシングシステムにおいて、前記処理部により対応付けられた前記接触センシングデータ及び前記非接触センシングデータに基づいて、前記センシング対象の状態を推定する推定部をさらに含むことを特徴とする。これにより、センシング対象の状態についての高精度な推定結果を得ることができる。

請求項３に記載の発明は、請求項２に記載のセンシングシステムにおいて、前記処理部は、前記接触センシングデータと前記非接触センシングデータとの位置的な対応付けを時系列で複数回行い、前記推定部は、前記処理部により対応付けられた複数回分の前記接触センシングデータ及び前記非接触センシングデータに基づいて、前記状態の推移を特定し、前記推定部により特定された前記状態の推移に基づいて、前記植物の健康に関する診断を行う診断部をさらに含む。これにより、植物の健康に関して時間経過に伴う状態の変化を適切に管理することができる。

請求項４に記載の発明は、請求項２または３に記載のセンシングシステムにおいて、前記推定部により推定された前記状態に基づいて、前記センシング対象へ施されるべき処置を示す処置情報を生成する生成部をさらに含むことを特徴とする。これにより、センシング対象に対して、より適切な処置を施すことができる。

請求項５に記載の発明は、請求項２乃至４の何れか一項に記載のセンシングシステムにおいて、前記接触センシングデータに基づいて推定された前記状態と、前記接触センシングデータに対応付けられた前記非接触センシングデータとのデータセットを用いて、前記非接触センシングデータを入力として前記状態を推定する推定モデルの機械学習を行う学習制御部をさらに含むことを特徴とする。これにより、最終的には接触センシングデータを必要とせず、非接触センシングデータを入力としてセンシング対象の状態を推定することが可能となる。

請求項６に記載の発明は、請求項１乃至５の何れか一項に記載のセンシングシステムにおいて、前記接触センサが埋められた位置を示す位置情報に基づいて、前記接触センサから前記接触センシングデータを受信できるように前記航空機の飛行制御を行う飛行制御部をさらに含むことを特徴とする。これにより、航空機は接触センシングデータを効率良く取得することができる。

請求項７に記載の発明は、請求項１乃至６の何れか一項に記載のセンシングシステムにおいて、前記接触センサが埋められた位置を示す位置情報に基づいて、前記接触センサから前記接触センシングデータを受信できるように前記航空機の飛行ルートを作成する飛行ルート作成部をさらに含むことを特徴とする。これにより、航空機は接触センシングデータを効率良く取得することができる。

請求項８に記載の発明は、請求項２乃至５の何れか一項に記載のセンシングシステムにおいて、前記センシング対象の状態は、前記植物の長さを含むことを特徴とする。これにより、植物の状態をより適切に管理することができる。

請求項９に記載の発明は、請求項２乃至５の何れか一項に記載のセンシングシステムにおいて、前記センシング対象の状態は、前記植物が地面から生えている向きを含むことを特徴とする。これにより、植物の状態をより適切に管理することができる。

請求項１０に記載の発明は、所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと、無人で飛行可能で空中から前記エリアにおける地表の非接触センシングを行う航空機とを含むセンシングシステムにより行われるセンシングデータ取得方法であって、前記接触センシングにより得られ、前記航空機により受信された接触センシングデータを前記航空機から取得するステップと、前記非接触センシングにより得られた非接触センシングデータを前記航空機から取得するステップと、前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行うステップと、を含むことを特徴とする。

請求項１１に記載の発明は、所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと通信可能で、且つ無人で飛行可能な航空機であって、空中から前記エリアにおける地表の非接触センシングを行うための非接触センサ部と、前記接触センシングにより得られた接触センシングデータを前記接触センサから受信する受信部と、前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行う処理部と、を備えることを特徴とする。

本発明によれば、無人で飛行可能な航空機の空中からの非接触センシングにより得られる非接触センシングデータと、地中に埋め込まれた接触センサの接触センシングにより得られた接触センシングデータとを、より効率良く取得することができる。

センシングシステムＳの概要構成例を示す図である。 土壌センサユニット１の概要構成例を示す図である。 ゴルフ場におけるグリーンＧの地中に埋め込まれた土壌センサユニット１ａ～１ｃから電波が発信される様子を示す概念図である。 ＵＡＶ２の概要構成例を示す図である。 制御部２６における機能ブロック例を示す図である。 センシングエリアＡｒにおいてＵＡＶ２の飛行ルートＲｏの一例を示す概念図である。 管理サーバ３の概要構成例を示す図である。 制御部３３における機能ブロック例を示す図である。 ＵＡＶ２が空中からセンシングエリアにおける地表の非接触センシングを行う際の制御部２６における処理の一例を示すフローチャートである。 管理サーバ３がセンシング対象の状態を推定する際の制御部３３における処理の一例を示すフローチャートである。

以下、図面を参照して本発明の一実施形態について説明する。

［１．センシングシステムＳの構成］
先ず、図１を参照して、本発明の一実施形態に係るセンシングシステムＳの構成について説明する。図１は、センシングシステムＳの概要構成例を示す図である。図１に示すように、センシングシステムＳは、土壌センサユニット１、無人航空機（以下、「ＵＡＶ（Unmanned Aerial Vehicle）」と称する）２、及び管理サーバ３を含んで構成される。ＵＡＶ２と管理サーバ３とは、通信ネットワークＮＷを介して互いに通信可能になっている。通信ネットワークＮＷは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。

なお、ＵＡＶ２は、無人で飛行可能な航空機の一例であり、ドローン、またはマルチコプタとも呼ばれる。ＵＡＶ２は、地上からオペレータによる遠隔操縦に従って飛行、または自律的に飛行することが可能になっている。また、ＵＡＶ２は、GCS（Ground Control Station）により管理される。GCSは、例えば、アプリケーションとしてオペレータにより操作される操縦端末に搭載されてもよいし、管理サーバ３などのサーバにより構成されてもよい。

［１－１．土壌センサユニット１の構成及び機能］
次に、図２を参照して、土壌センサユニット１の構成及び機能について説明する。図２は、土壌センサユニット１の概要構成例を示す図である。図２に示すように、土壌センサユニット１は、接触センサ１１、及びデータ発信部１２等を備え、所定のエリア（以下、「センシングエリア」という）の地中に予め１つ以上埋め込まれる（つまり、土壌センサユニット１が予め配置された状態でセンシングシステムＳが稼働する）。例えば、土壌センサユニット１は、センシングエリアの地中に一定間隔または不定間隔で予め複数埋め込まれるとよい。センシングエリアは、ゴルフ場や球技場などの維持管理の要するエリアである。地面から生えた植物の手入れが特に重要となるエリア（例えば、ゴルフ場におけるグリーン）をセンシングエリアとするとよい。

接触センサ１１は、センシングエリアにおける土壌と植物（例えば植物の根）のうち少なくとも何れか１つのセンシング対象の接触センシングを行う。ここで、接触センシングとは、例えば接触センサ１１が接触しているセンシング対象の水分量、温度、塩分濃度、電気伝導度、及び酸性度などのうち少なくとも何れか１つを測定することをいう。かかる接触センシングは、時系列で連続的に行われるとよく、当該接触センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。

なお、接触センサ１１が接触しているセンシング対象の近接範囲（例えば、接触センサ１１が接触していない数cm～数十cmの範囲）の水分量、温度、塩分濃度、電気伝導度、及び酸性度などのうち少なくとも何れか１つが測定されてもよい。接触センシング可能な範囲は、土壌センサユニット１が埋め込まれた地点及びその近接範囲である。そのため、１つの土壌センサユニット１により接触センシング可能な範囲は、基本的にセンシングエリアより狭い範囲となる。

データ発信部１２は、接触センサ１１の接触センシングにより得られた接触センシングデータを変調し当該接触センシングデータを搬送する電波を発信（例えば、920MHz帯域を利用）する。ここで、接触センシングデータは、上述したように測定された水分量、温度、塩分濃度、電気伝導度、及び酸性度などのうち少なくとも何れか１つを示す測定データである。かかる接触センシングデータを含む電波の発信は、時系列で連続的に行われるとよく、当該発信の時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。図３は、ゴルフ場におけるグリーンＧの地中に埋め込まれた土壌センサユニット１ａ～１ｃから電波が発信される様子を示す概念図である。

なお、データ発信部１２は、接触センシングデータとともに、土壌センサユニット１の位置（緯度及び経度）を示す位置情報を変調し当該接触センシングデータ及び位置情報を搬送する電波を発信してもよい。この場合、土壌センサユニット１の位置は、例えば地中に埋められる際などに予め測定され土壌センサユニット１内に予め記憶される。或いは、データ発信部１２は、接触センシングデータとともに、土壌センサユニット１の位置を特定可能な識別情報（例えば、土壌センサユニット１の識別情報）を変調し当該接触センシングデータ及び識別情報を搬送する電波を発信してもよい。この場合、土壌センサユニット１の位置を特定可能な識別情報は、土壌センサユニット１内に予め記憶されるとともに、当該識別情報は、土壌センサユニット１の位置を示す位置情報に対応付けられて管理サーバ３内に予め記憶される。

［１－２．ＵＡＶ２の構成及び機能］
次に、図４及び図５を参照して、ＵＡＶ２の構成及び機能について説明する。図４は、ＵＡＶ２の概要構成例を示す図である。図４に示すように、ＵＡＶ２は、駆動部２１、無線通信部２２、データ受信部２３、センサ部２４、測位部２５、及び制御部２６等を備える。なお、図示しないが、ＵＡＶ２は、水平回転翼であるロータ（プロペラ）、及びＵＡＶ２の各部へ電力を供給するバッテリを備える。駆動部２１は、モータ及び回転軸等を備える。駆動部２１は、制御部２６から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。

無線通信部２２は、通信ネットワークＮＷを介して管理サーバ３との間で行われる通信の制御を担う。データ受信部２３（受信部の一例）は、土壌センサユニット１から発信された電波を復調することにより上記接触センシングにより得られた接触センシングデータを受信する。接触センシングデータの受信は、時系列で連続的に行われるとよく、当該受信の時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。なお、接触センシングデータとともに、土壌センサユニット１の位置を示す位置情報、または土壌センサユニット１の位置を特定可能な識別情報が受信される場合もある。データ受信部２３により受信された接触センシングデータ等は、制御部２６へ出力される。

センサ部２４は、ＵＡＶ２の飛行制御のために必要な各種センサを備える。各種センサには、光学センサ、３軸角速度センサ、３軸加速度センサ、及び地磁気センサ等が含まれる。センサ部２４により検出された検出データは、制御部２６へ出力される。また、光学センサは、例えばカメラ（RGBカメラや赤外線カメラ）により構成され、非接触センサ部の一つとして機能し、空中からセンシングエリアにおける地表の非接触センシングを行うためにも用いられる。ここで、非接触センシングとは、非接触センシング可能な範囲（例えばカメラの画角に収まる範囲）内の地表を撮像することにより地表の状態（状況）を観測することをいう。かかる非接触センシングは、例えばＵＡＶ２のセンシングエリアに到着したときに１回以上行われる。なお、非接触センシングの精度を高めるためには、時系列で連続的に行われるとよく、当該非接触センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。非接触センシング可能な範囲は、センシングエリアを含む広範囲であるとよいが、センシングエリアの一部分の範囲であってもよい。

測位部２５は、電波受信機及び高度センサ等を備える。測位部２５は、例えば、GNSS（Global Navigation Satellite System）の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＡＶ２の水平方向の現在位置（緯度及び経度）を検出する。ＵＡＶ２の現在位置は、飛行中のＵＡＶ２の飛行位置である。なお、ＵＡＶ２の水平方向の現在位置は、光学センサにより撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。測位部２５により検出された現在位置を示す位置情報は、制御部２６へ出力される。さらに、測位部２５は、気圧センサ等の高度センサによりＵＡＶ２の垂直方向の現在位置（高度）を検出してもよい。この場合、位置情報には、ＵＡＶ２の高度を示す高度情報が含まれる。

制御部２６は、プロセッサであるCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、及び不揮発性メモリ等を備える。図５は、制御部２６における機能ブロック例を示す図である。制御部２６は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図５に示すように、センシングデータ処理部２６ａ、及び飛行制御部２６ｂとして機能する。

センシングデータ処理部２６ａは、データ受信部２３からの接触センシングデータと、当該接触センシングデータを発信した土壌センサユニット１の位置を示す位置情報とを対応付けて無線通信部２２により管理サーバ３へ送信（例えば、データ受信部２３から取得される度に送信）させる。或いは、センシングデータ処理部２６ａは、データ受信部２３からの接触センシングデータと、当該接触センシングデータを発信した土壌センサユニット１の位置を特定可能な識別情報とを対応付けて無線通信部２２により管理サーバ３へ送信させてもよい。ここで、管理サーバ３へ送信される位置情報（または、識別情報）は、接触センシングデータとともに土壌センサユニット１から発信されデータ受信部２３により受信された位置情報（または識別情報）であるとよい。

別の例として、特に土壌センサユニット１から発信された電波の受信可能な距離（通信距離）が閾値（例えば、数ｍ）以下と短い場合（つまり、ＵＡＶ２が土壌センサユニット１に近づかないと当該電波を受信できない場合）、管理サーバ３へ送信される位置情報は、土壌センサユニット１から発信された接触センシングデータがデータ受信部２３により受信された時点のＵＡＶ２の水平方向の現在位置（つまり、ＵＡＶ２の直下の位置）を示す位置情報であってもよい。なお、複数の土壌センサユニット１のそれぞれから発信された電波が受信される場合、接触センシングデータと位置情報（または、識別情報）との組が土壌センサユニット１毎に区別されて管理サーバ３へ送信される。

さらに、センシングデータ処理部２６ａは、非接触センサ部の一つとして機能し、非接触センシングにより得られた非接触センシングデータを、無線通信部２２により管理サーバ３へ送信（例えば、センサ部２４から取得される度に送信）させる。ここで、非接触センシングデータは、センサ部２４から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。かかる非接触センシングデータは、例えば、センシングエリアにおける地表のRGB画像、NDVI（Normalized Difference Vegetation Index）分布画像、及びサーマル画像（温度部分画像）などのうち少なくとも１つのマップ画像を構成するデータである。

なお、NDVIとは、地面から生えた植物の健康状態と、可視域から近赤外域の各波長の反射率との関係を示す値である。例えば、植物は可視域の電波を吸収する一方、近赤外域の電波を強く反射する特性を持つので、NDVI値が高いほど健康な状態であることを意味する。上記マップ画像における各画素値（例えば、RGB値、NDVI値、または温度に相当し、これらは測定値である）には、位置情報が対応付けられる。かかる位置情報（つまり、非接触センシングデータにおける位置情報）は、例えば、ＵＡＶ２の水平方向の現在位置を示す位置情報、及びSLAM（Simultaneous Localization and Mapping）処理（マップ生成と自己位置推定を同時に行う処理）により特定される。

また、センシングデータ処理部２６ａは、ＵＡＶ２がインターネットへのアクセスポイント（例えば、Wi-Fi（登録商標）ルータ）の通信可能範囲内に入ったときに、無線通信部２２により当該アクセスポイントを介して接触センシングデータ及び非接触センシングデータ等を一括して管理サーバ３へ送信（アップロード）させてもよい。また、接触センシングデータ及び非接触センシングデータは、例えば所定時間（例えば、２４時間）毎に管理サーバ３へ送信されてもよい。この場合、ＵＡＶ２は、所定時間（例えば、２４時間）毎にＵＡＶ２がセンシングエリアの上空を飛行することになる。また、センシングデータ処理部２６ａは、接触センシングデータと非接触センシングデータとの位置的な対応付けを行った上で、当該位置的な対応付けがなされた接触センシングデータ及び非接触センシングデータ等を無線通信部２２により管理サーバ３へ送信させてもよい。

飛行制御部２６ｂは、ＵＡＶ２の飛行制御を実行する。飛行制御においては、センサ部２４からの検出データ、及び測位部２５からの位置情報等が用いられて、ロータの回転数の制御、ＵＡＶ２の位置、姿勢及び進行方向の制御が行われる。ＵＡＶ２の飛行中、飛行制御部２６ｂは、測位部２５からの位置情報を管理サーバ３（またはGCSを介して管理サーバ３）へ逐次送信する。また、飛行制御部２６ｂは、管理サーバ３からの制御情報にしたがって、ＵＡＶ２の飛行制御を行ってもよい。この制御情報には、ＵＡＶ２の飛行ルートが含まれてもよい。ＵＡＶ２の飛行ルートは、例えばＵＡＶ２が土壌センサユニット１から接触センシングデータ（電波）を受信できるように作成されたルートである。

図６は、センシングエリアＡｒにおいてＵＡＶ２の飛行ルートＲｏの一例を示す概念図である。図６の例では、センシングエリアＡｒ（ゴルフ場）におけるグリーンＧ１～Ｇ５それぞれの地中に埋め込まれた土壌センサユニット１ａ～１ｊそれぞれから発信される電波を効率良く受信できるように作成された飛行ルートＲｏを示している。これによりＵＡＶ２は接触センシングデータを効率良く取得することができる。

また、飛行制御部２６ｂは、土壌センサユニット１の位置を示す位置情報を接触センシングデータの受信前に管理サーバ３（またはGCS）から取得できる場合、当該取得された位置情報に基づいて、土壌センサユニット１から接触センシングデータ（電波）を受信できるようにＵＡＶ２の飛行制御を行うとよい。これにより、ＵＡＶ２は接触センシングデータを効率良く取得することができる。例えば、土壌センサユニット１から発信された電波を受信不能（通信不能）な位置に存在する場合、飛行制御部２６ｂは、土壌センサユニット１から発信された電波を受信可能（通信可能）となるまで、土壌センサユニット１に近づくように、土壌センサユニット１の位置へ向けてＵＡＶ２の飛行制御を行う。かかる飛行制御において、ＵＡＶ２の現在位置と土壌センサユニット１との間の距離が閾値以下と近づいた場合、ＵＡＶ２の高度を下げる等の制御が行われるとよい。

なお、土壌センサユニット１の位置を示す位置情報を接触センシングデータの受信前に管理サーバ３等から取得できる場合の一例として、土壌センサユニット１が地中に埋められる際に測定された位置情報が管理サーバ３等に登録されており、それが管理サーバ３等から取得される場合がある。或いは、別の例として、前回のＵＡＶ２の飛行時（つまり、過去にＵＡＶ２が飛行済みの場合）に、土壌センサユニット１からセンシングデータが受信された際に特定された位置情報（センシングデータと共に受信された位置情報、或いは受信時点におけるＵＡＶ２の水平方向の位置情報）が管理サーバ３またはＵＡＶ２の記憶部（不図示）に記憶されており、それが管理サーバ３或いは当該記憶部から取得される場合がある。

［１－３．管理サーバ３の構成及び機能］
次に、図７及び図８を参照して、管理サーバ３の構成及び機能について説明する。図７は、管理サーバ３の概要構成例を示す図である。図７に示すように、管理サーバ３は、通信部３１、記憶部３２、及び制御部３３等を備える。通信部３１は、通信ネットワークＮＷを介してＵＡＶ２との間で行われる通信の制御を担う。ＵＡＶ２から送信された接触センシングデータ及び非接触センシングデータ等は通信部３１により受信される。記憶部３２は、例えば、ハードディスクドライブ等を備える。記憶部３２には、センシングエリアのマップデータが記憶される。記憶部３２には、土壌センサユニット１の位置を示す位置情報に、土壌センサユニット１の位置を特定可能な識別情報が対応付けられて記憶されてもよい。

制御部３３は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。図８は、制御部３３における機能ブロック例を示す図である。制御部３３は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図８に示すように、センシングデータ処理部３３ａ、状態推定部３３ｂ（推定部の一例）、学習制御部３３ｃ、状態診断部３３ｄ（診断部の一例）、処置情報生成部３３ｅ（生成部の一例）、及び飛行ルート作成部３３ｆ等として機能する。

センシングデータ処理部３３ａは、ＵＡＶ２からの接触センシングデータに対応付けられた位置情報（つまり、土壌センサユニット１の位置を示す位置情報）と、ＵＡＶ２からの非接触センシングデータにおける位置情報とを参照して、当該接触センシングデータと当該非接触センシングデータとの位置的な対応付けを行う。これにより、接触センシングデータと、非接触センシングデータとを、より効率良く位置的に対応付けることができる。なお、ＵＡＶ２から接触センシングデータに対応付けられて識別情報が受信された場合、当該識別情報に基づいて土壌センサユニット１の位置を示す位置情報が特定される。

ここで、接触センシングデータと非接触センシングデータとの位置的な対応付けは、例えば、非接触センシングデータを構成するマップ画像に（つまり、当該マップ画像における土壌センサユニット１の位置に）、接触センシングデータがマッピングされることで行われる。或いは、接触センシングデータと非接触センシングデータとの位置的な対応付けは、接触センシングデータに対応付けられた位置情報（つまり、土壌センサユニット１の位置）と一致する位置（または最も近い位置）における非接触センシングデータが対応付けられることで行われてもよい。このような対応付けは、上述したように、ＵＡＶ２により行われてもよい。なお、センシングデータ処理部３３ａは、接触センシングデータと非接触センシングデータとの位置的な対応付けを時系列で複数回行ってもよい。

状態推定部３３ｂは、センシングデータ処理部３３ａにより位置的に対応付けられた接触センシングデータと非接触センシングデータとに基づいて、センシングエリアにおけるセンシング対象の状態を推定する。これにより、センシング対象の状態についての高精度な推定結果を得ることができる。例えば、土壌センサユニット１が埋められた地点の植物（例えば、芝）に関し、接触センシングデータから特定される当該植物の根（または当該植物の根に接する土壌）の水分量、温度、及び塩分濃度のうち少なくとも何れか１つと、非接触センシングデータから特定される当該植物（茎または葉）のRGB値、NDVI値、及び温度のうち少なくとも何れか１つとの両者を所定のアルゴリズムにしたがって総合的に分析することで、当該植物のその時の状態として当該植物の良悪（土壌の良悪とも言える）が推定される。植物の良悪は、病気の有無や健康状態の程度等が含まれてもよい。また、植物の状態として、植物（植物の茎または葉）の長さ、及び植物が地面から生えている向きのうち少なくとも何れか１つが推定されてもよい。これにより、植物の状態をより適切に管理することができる。

センシング対象の状態の推定は、ルールベースの推定であってもよいし、機械学習に基づく推定であってもよい。機械学習に基づく推定の場合、状態推定部３３ｂは、センシング対象の状態を推定する学習済み推定モデルへ、センシングデータ処理部３３ａにより対応付けられた接触センシングデータ及び非接触センシングデータを入力することで、センシング対象の状態を推定することができる。当該学習済み推定モデルは、後述するように接触センシングデータ及び非接触センシングデータを入力として、センシング対象の状態を推定するように、予め学習される。このように推定された状態を示す状態情報は、当該状態の推定に用いられた接触センシングデータを発信した土壌センサユニット１の位置を示す位置情報（または土壌センサユニット１の位置を特定可能な識別情報）、及び当該状態の推定日時に対応付けられて記憶部３２に記憶される。これにより、例えば土壌センサユニット１の位置毎、且つ所定時間（例えば、２４時間）毎に推定された状態を示す状態情報を蓄積することができる。

なお、状態推定部３３ｂは、センシングデータ処理部３３ａにより対応付けられた複数回分の接触センシングデータ及び非接触センシングデータに基づいて、センシング対象の状態の推移（変化）を特定してもよい。この場合、状態推定部３３ｂは、例えば所定時間（例えば、２４時間）毎に推定した状態を示す状態情報を記憶部３２から取得し、当該取得した各状態情報が示す状態からセンシング対象の状態の推移を特定する。これにより、例えば過去所定期間（例えば、１週間～１ヶ月）以内における植物の健康状態の推移を観察することができる。

学習制御部３３ｃは、センシング対象の状態を推定する推定モデルの機械学習を制御する。例えば、学習制御部３３ｃは、センシング対象の状態に関する正解データと、センシングデータ処理部３３ａにより対応付けられた接触センシングデータ及び非接触センシングデータとのデータセットを教師データとして用いて上記推定モデルの機械学習を行うことで学習済み推定モデルを得る。ただし、学習制御部３３ｃは、管理サーバ３に備えられなくてもよい。この場合、状態推定部３３ｂは、管理サーバ３以外の他の装置から管理サーバ３に予め提供された学習済み推定モデル（例えば、他の装置が行った機械学習により生成された学習済み推定モデル）を用いてセンシング対象の状態を推定してもよい。或いは、この場合、状態推定部３３ｂは、学習済み推定モデルを用いずにセンシング対象の状態を推定してもよい。また、学習済み推定モデルの機械学習に用いられる教師データにおける接触センシングデータ及び非接触センシングデータの組は、本センシングシステムＳで得られたものでもよいし、別のシステムまたは方法で得られたものであってもよい。なお、学習済み推定モデルを得るための教師有りの機械学習のアルゴリズムは、特に限定されるものではない。

状態診断部３３ｄは、状態推定部３３ｂにより推定された状態の推移に基づいて、植物の健康に関する診断を行う。これにより、植物の健康状態に関する診断結果を得ることができ、植物の健康に関して時間経過に伴う状態の変化を適切に管理することができる。かかる診断結果として、植物の手入れの要否や、植物が伸びすぎか否か等が得られる。例えば、植物の健康状態が時間経過とともに徐々に悪化しているのであれば植物の手入れ要と診断される。また、植物（植物の茎または葉）の長さが時間経過とともに基準値を超えて伸びているのであれば、植物が伸びすぎていると診断される。

処置情報生成部３３ｅは、状態推定部３３ｂにより推定された状態に基づいて、センシング対象へ施されるべき処置を示す処置情報を生成する。これにより、センシング対象に対して、より適切な処置を施すことができる。ここで、センシング対象へ施されるべき処置とは、例えば、薬剤の散布、肥料の散布、水の散布、砂の散布、または芝刈り等である。かかる処理を示す処置情報には、当該処置の内容に加え、当該処置が施されるべき場所の位置情報等が含まれてもよい。なお、処置情報は、状態推定部３３ｂにより推定されたある時点の状態に基づいて生成されてもよいし、状態推定部３３ｂにより推定された時系列的な状態の推移に基づいて生成されてもよいし、状態診断部３３ｄによる診断結果に基づいて生成されてもよい。また、処置情報は、土壌や植物の管理者へ通知されるとよい。

飛行ルート作成部３３ｆは、土壌センサユニット１の位置を示す位置情報に基づいて、複数の土壌センサユニット１から接触センシングデータ（電波）を効率良く受信できるようにＵＡＶ２の飛行ルートを作成する。例えば、各土壌センサユニット１から発信された電波の受信可能な距離（通信距離）の情報に基づいて、各土壌センサユニット１から接触センシングデータを受信可能な領域をＵＡＶ２が通過するように飛行ルートを作成する。こうして作成された飛行ルートを含む制御情報は、ＵＡＶ２へ送信される。

［２．センシングシステムＳの動作］
次に、センシングシステムＳの動作について説明する。

［２－１．ＵＡＶ２の動作］
先ず、図９を参照して、ＵＡＶ２が空中からセンシングエリアにおける地表の非接触センシングを行う際の動作について説明する。図９は、ＵＡＶ２が空中からセンシングエリアにおける地表の非接触センシングを行う際の制御部２６における処理の一例を示すフローチャートである。なお、この処理の前提として、ＵＡＶ２は、管理サーバ３から飛行ルート（例えば、図６に示す飛行ルートＲｏ）を含む制御情報を取得しているものとする。当該飛行ルートには、例えば、センシング対象の接触センシングを行う各土壌センサユニット１の位置を示す位置情報が含まれている。

図９に示す処理では、先ず、ＵＡＶ２の制御部２６は、測位部２５により検出された現在位置を示す位置情報、及びセンサ部２４により検出された検出データの取得、並びに、管理サーバ３から取得された制御情報に含まれる飛行ルートに従ってＵＡＶ２の飛行制御を開始する（ステップＳ１）。これにより、ＵＡＶ２は、出発地点からセンシングエリアに向けて飛行する。

次いで、制御部２６は、ＵＡＶ２の現在位置に基づいてセンシングエリアに到着したか否かを判定する（ステップＳ２）。制御部２６は、センシングエリアに到着したと判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３へ進む。なお、センシングエリアに到着した場合とは、ＵＡＶ２がセンシングエリアの近傍にきた場合、またはセンシングエリア内に入った場合であってもよい。一方、制御部２６は、センシングエリアに到着していないと判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ２に戻る。

ステップＳ３では、制御部２６は、センシングエリアにおける地表の非接触センシングを開始し、非接触センシングにより得られた非接触センシングデータを一時記憶する。なお、かかる非接触センシングは、時系列で連続的に行われてもよい。この場合、非接触センシングデータは時系列で一時記憶される。

次いで、制御部２６は、センシングエリアにおけるセンシング対象の接触センシングを行う土壌センサユニット１からの電波がデータ受信部２３により受信されたか否かを判定する（ステップＳ４）。制御部２６は、データ受信部２３により土壌センサユニット１からの電波（例えば、所定デシベル値以上の電波）が受信されたと判定した場合（ステップＳ４：ＹＥＳ）、データ受信部２３から取得した接触センシングデータ、及び当該接触センシングデータを発信した土壌センサユニット１の位置を示す位置情報（または、当該接触センシングデータを発信した土壌センサユニット１の位置を特定可能な識別情報）を対応付けて一時記憶する（ステップＳ５）。一方、制御部２６は、データ受信部２３により土壌センサユニット１からの電波が受信されていないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ６へ進む。

なお、制御部２６は、土壌センサユニット１に近づいたときに土壌センサユニット１へ接触センシング要求を送信してもよい。この場合、土壌センサユニット１は、当該接触センシング要求を受信したときに、センシング対象の接触センシングを行って非接触センシングデータを含む電波を発信することになる。

ステップＳ６では、制御部２６は、各土壌センサユニット１からの接触センシングデータの受信が完了したか否かを判定する。制御部２６は、各土壌センサユニット１からの接触センシングデータの受信が完了していないと判定した場合（ステップＳ６：ＮＯ）、ステップＳ４に戻る。一方、制御部２６は、各土壌センサユニット１からの接触センシングデータの受信が完了したと判定した場合（ステップＳ６：ＹＥＳ）、ステップＳ７へ進む。

ステップＳ７では、制御部２６は、ＵＡＶ２がインターネットへのアクセスポイントの通信可能範囲内に入ったか否かを判定する。制御部２６は、ＵＡＶ２がインターネットへのアクセスポイントの通信可能範囲内に入っていないと判定した場合（ステップＳ７：ＮＯ）、ステップＳ７に戻る。一方、制御部２６は、ＵＡＶ２がインターネットへのアクセスポイントの通信可能範囲内に入ったと判定した場合（ステップＳ７：ＹＥＳ）、ステップＳ３で一時記憶された非接触センシングデータと、ステップＳ５で一時記憶された接触センシングデータ及び位置情報（または、識別情報）を管理サーバ３へ送信する（ステップＳ８）。その後、ＵＡＶ２は帰還地点（例えば、出発地点）に到着すると、図９に示す処理が終了する。

［２－２．管理サーバ３の動作］
次に、図１０を参照して、管理サーバ３がセンシング対象の状態を推定する際の動作について説明する。図１０は、管理サーバ３がセンシング対象の状態を推定する際の制御部３３における処理の一例を示すフローチャートである。なお、この処理の前提として、管理サーバ３は、学習済み推定モデルを得ているものとする。

図１０に示す処理は、例えば、ＵＡＶ２から非接触センシングデータと、接触センシングデータ及び位置情報（または、識別情報）が受信された場合に開始される。図１０に示す処理が開始されると、管理サーバ３の制御部３３は、接触センシングデータに対応付けられた位置情報と、非接触センシングデータにおける位置情報とを参照して、当該接触センシングデータと当該非接触センシングデータとの位置的な対応付けを行う（ステップＳ１１）。これにより、位置的な対応付けがなされた接触センシングデータと非接触センシングデータとのペアが１以上作成されることになる。

次いで、制御部３３は、ステップＳ１１で位置的な対応付けがなされたペアを１つ選定する（ステップＳ１２）。次いで、制御部３３は、ステップＳ１２で選定されたペアに係る接触センシングデータと非接触センシングデータとに基づいて、センシング対象（つまり、土壌センサユニット１の位置における土壌または植物）の状態を推定する（ステップＳ１３）。例えば、制御部３３は、位置的に対応付けられた接触センシングデータと非接触センシングデータとを入力変数として学習済み推定モデルへ入力し、当該学習済み推定モデルから出力された目的変数を得ることでセンシング対象の状態を推定する。

次いで、制御部３３は、ステップＳ１３で推定された状態を示す状態情報を、当該状態の推定に用いられた接触センシングデータを発信した土壌センサユニット１（例えば、図６に示す土壌センサユニット１ａ）の位置を示す位置情報（または土壌センサユニット１の位置を特定可能な識別情報）、及び当該状態の推定日時に対応付けて記憶部３２に記憶する（ステップＳ１４）。

次いで、制御部３３は、ステップＳ１２で選定されたペアについてのセンシング対象の状態を示す状態情報が、現時点から遡って所定期間（例えば、１週間～１ヶ月）において所定数（例えば、３回）以上記憶されている否かを判定する（ステップＳ１５）。制御部３３は、上記状態情報が上記所定期間において所定数以上記憶されていると判定した場合（ステップＳ１５：ＹＥＳ）、ステップＳ１６へ進む。一方、制御部３３は、上記状態情報が上記所定期間において所定数分記憶されていないと判定した場合（ステップＳ１５：ＮＯ）、ステップＳ１９へ進む。

ステップＳ１６では、制御部３３は、現時点から遡って所定期間において記憶された状態情報（つまり、複数回分の状態情報）を記憶部３２から取得する。次いで、制御部３３は、ステップＳ１６で取得された各状態情報が示す状態からセンシング対象の状態の推移を特定する（ステップＳ１７）。次いで、制御部３３は、ステップＳ１７で特定された、センシング対象の状態の推移に基づいて、植物の健康に関する診断を行う（ステップＳ１８）。なお、ステップＳ１８の処理は実行されなくてもよい。

ステップＳ１９では、制御部３３は、ステップＳ１３で推定された状態、ステップＳ１７で特定された推移、またはステップＳ１８で診断された結果（診断結果)に基づいて、ステップＳ１２で選定されたペアについてのセンシング対象へ施されるべき処置を示す処置情報を生成する。こうして生成された処置情報（または、当該処置情報とともに、上記状態の推移を示す推移情報または上記診断結果）は、上記状態の推定に用いられた接触センシングデータを発信した土壌センサユニット１の位置を示す位置情報（または土壌センサユニット１の位置を特定可能な識別情報）に対応付けられて記憶部３２に記憶される。

次いで、制御部３３は、ステップＳ１９で生成された処置情報をセンシング対象の管理者へ通知する（ステップＳ２０）。例えば、管理サーバ３は、当該管理者が使用する端末が管理サーバ３にアクセスしてきた際に処置情報を送信することで当該端末のディスプレイに出力（表示）させる。或いは、管理サーバ３は、当該管理者のメールアドレス宛に処置情報を示すメールを送信する。

次いで、制御部３３は、ステップＳ１１で位置的な対応付けがなされたペアのうちまだ選定されていないペアがあるか否かを判定する（ステップＳ２１）。制御部３３は、ステップＳ１１で位置的な対応付けがなされたペアのうちまだ選定されていないペアがあると判定した場合（ステップＳ２１：ＹＥＳ）、ステップＳ１２に戻り、上記と同様の処理を行う。一方、制御部３３は、ステップＳ１１で位置的な対応付けがなされたペアのうちまだ選定されていないペアがないと判定した場合（ステップＳ２１：ＮＯ）、図１０に示す処理を終了する。

以上説明したように、上記実施形態によれば、ＵＡＶ２が空中からセンシングエリアにおける地表の非接触センシングを行い、なおかつ、センシングエリアの地中に埋め込まれた土壌センサユニット１の接触センシングにより得られた接触センシングデータを当該土壌センサユニット１から受信するように構成したので、非接触センシング及び接触センシングのための負担を軽減しつつ、非接触センシングにより得られた非接触センシングデータと、接触センシングにより得られた接触センシングデータとをより効率良く取得することができる。

換言すると、従来技術では土壌センサの接触センシングにより得られた接触センシングデータは地上に設置されたリピーター及びベースステーション等の中継機器を介してセンターへ集約されていたが、本実施形態によれば、これらの中継機器が不要となるので、システムの大幅な簡素化及びコスト低減を図ることが可能となる。

（応用例）
上記実施形態によれば、非接触センシング及び接触センシングのための負担を軽減できるため、位置的に対応付けられた接触センシングデータ及び非接触センシングデータのセットを容易に取得することができる。そして、上記実施形態の機械学習によれば、このように取得された接触センシングデータ及び非接触センシングデータを入力として、センシング対象の状態を推定可能な学習済みの推定モデルを得ることができる。応用例では、上記実施形態を応用することで上記実施形態の機械学習を発展させた機械学習のための教師データを収集することができる。例えば、空中から取得される非接触センシングデータのみを用いてセンシング対象の状態を推定する技術は、土壌センサユニットにより取得される接触センシングデータのみを用いてセンシング対象の状態を推定する技術に比べると、十分な研究が行われておらず、高精度な結果を得ることが難しい。

そこで、応用例における学習制御部３３ｃは、位置的に対応付けられた接触センシングデータ及び非接触センシングデータを用いて、非接触センシングデータのみでセンシング対象の状態を高精度に推定することが可能な推定モデルを生成する。例えば、学習制御部３３ｃは、接触センシングデータに基づいて推定された状態と、当該接触センシングデータに位置的に対応付けられた非接触センシングデータとのデータセットを教師データとして用いて、非接触センシングデータを入力としてセンシング対象の状態を推定する推定モデルの機械学習を行うことで学習済み推定モデルを得る。つまり、応用例の機械学習によれば、接触センシングデータを必要とせず、少なくとも非接触センシングデータを入力としてセンシング対象の状態を推定可能な学習済み推定モデルを得ることができる。これにより、最終的には接触センシングデータを必要とせず、非接触センシングデータを入力としてセンシング対象の状態を推定することが可能となる。ここで、応用例の推定モデルには、非接触センシングデータとともに、接触センシングデータ以外のデータが入力されてもよい。なお、接触センシングデータに基づいてセンシング対象の状態推定を行う技術を用いることで、非接触センシングデータとセンシング対象の状態とが対応付けられた上記データセットを得ることができる。

上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においては、無人で飛行可能な航空機として無人航空機を例にとって説明したが、無人で飛行可能な航空機は、機内に操縦者（パイロット）が存在しなくても飛行することができる有人航空機に対しても適用可能である。

１ 土壌センサユニット
２ ＵＡＶ
３ 管理サーバ
１１ 接触センサ
１２ データ発信部
２１ 駆動部
２２ 無線通信部
２３ データ受信部
２４ センサ部
２５ 測位部
２６ 制御部
２６ａ センシングデータ処理部
２６ｂ 飛行制御部
３１ 通信部
３２ 記憶部
３３ 制御部
３３ａ センシングデータ処理部
３３ｂ 状態推定部
３３ｃ 学習制御部
３３ｄ 状態診断部
３３ｅ 処置情報生成部
３３ｆ 飛行ルート作成部
Ｓ センシングシステム

Claims (11)

1. 所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと、無人で飛行可能な航空機とを含むセンシングシステムであって、
   前記航空機は、
   空中から前記エリアにおける地表の非接触センシングを行うための非接触センサ部と、
   前記接触センシングにより得られた接触センシングデータを前記接触センサから受信する受信部と、
   前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行う処理部と、
   を備えることを特徴とするセンシングシステム。
2. 前記処理部により対応付けられた前記接触センシングデータ及び前記非接触センシングデータに基づいて、前記センシング対象の状態を推定する推定部をさらに含むことを特徴とする請求項１に記載のセンシングシステム。
3. 前記処理部は、前記接触センシングデータと前記非接触センシングデータとの位置的な対応付けを時系列で複数回行い、
   前記推定部は、前記処理部により対応付けられた複数回分の前記接触センシングデータ及び前記非接触センシングデータに基づいて、前記状態の推移を特定し、
   前記推定部により特定された前記状態の推移に基づいて、前記植物の健康に関する診断を行う診断部をさらに含むことを特徴とする請求項２に記載のセンシングシステム。
4. 前記推定部により推定された前記状態に基づいて、前記センシング対象へ施されるべき処置を示す処置情報を生成する生成部をさらに含むことを特徴とする請求項２または３に記載のセンシングシステム。
5. 前記接触センシングデータに基づいて推定された前記状態と、前記接触センシングデータに対応付けられた前記非接触センシングデータとのデータセットを用いて、前記非接触センシングデータを入力として前記状態を推定する推定モデルの機械学習を行う学習制御部をさらに含むことを特徴とする請求項２乃至４の何れか一項に記載のセンシングシステム。
6. 前記接触センサが埋められた位置を示す位置情報に基づいて、前記接触センサから前記接触センシングデータを受信できるように前記航空機の飛行制御を行う飛行制御部をさらに含むことを特徴とする請求項１乃至５の何れか一項に記載のセンシングシステム。
7. 前記接触センサが埋められた位置を示す位置情報に基づいて、前記接触センサから前記接触センシングデータを受信できるように前記航空機の飛行ルートを作成する飛行ルート作成部をさらに含むことを特徴とする請求項１乃至６の何れか一項に記載のセンシングシステム。
8. 前記センシング対象の状態は、前記植物の長さを含むことを特徴とする請求項２乃至５の何れか一項に記載のセンシングシステム。
9. 前記センシング対象の状態は、前記植物が地面から生えている向きを含むことを特徴とする請求項２乃至５の何れか一項に記載のセンシングシステム。
10. 所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと、無人で飛行可能で空中から前記エリアにおける地表の非接触センシングを行う航空機とを含むセンシングシステムにより行われるセンシングデータ取得方法であって、
    前記接触センシングにより得られ、前記航空機により受信された接触センシングデータを前記航空機から取得するステップと
    前記非接触センシングにより得られた非接触センシングデータを前記航空機から取得するステップと、
    前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行うステップと、
    を含むことを特徴とするセンシングデータ取得方法。
11. 所定のエリアの地中に予め埋め込まれ、前記エリアにおける土壌と植物のうち少なくとも何れか１つのセンシング対象の接触センシングを行う接触センサと通信可能で、且つ無人で飛行可能な航空機であって、
    空中から前記エリアにおける地表の非接触センシングを行うための非接触センサ部と、
    前記接触センシングにより得られた接触センシングデータを前記接触センサから受信する受信部と、
    前記接触センシングにより得られた接触センシングデータと、前記非接触センシングにより得られた非接触センシングデータとの位置的な対応付けを行う処理部と、
    を備えることを特徴とする航空機。

Images