JP7041794B1 - センシングシステム、センシングデータ取得方法、及び制御装置 - Google Patents

センシングシステム、センシングデータ取得方法、及び制御装置 Download PDF

Info

Publication number
JP7041794B1
JP7041794B1 JP2021564206A JP2021564206A JP7041794B1 JP 7041794 B1 JP7041794 B1 JP 7041794B1 JP 2021564206 A JP2021564206 A JP 2021564206A JP 2021564206 A JP2021564206 A JP 2021564206A JP 7041794 B1 JP7041794 B1 JP 7041794B1
Authority
JP
Japan
Prior art keywords
sensing
sensing data
target area
traveling body
data obtained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021564206A
Other languages
English (en)
Other versions
JPWO2022113260A1 (ja
Inventor
満 中澤
順 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Application granted granted Critical
Publication of JP7041794B1 publication Critical patent/JP7041794B1/ja
Publication of JPWO2022113260A1 publication Critical patent/JPWO2022113260A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00—Watering gardens, fields, sports grounds or the like
    • A01G25/16—Control of watering
    • A01G25/167—Control by humidity of the soil itself or of devices simulating soil or of the atmosphere; Soil humidity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

センシングシステムＳは、空中のＵＡＶ１が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてＵＧＶ２により近距離センシングされるべき対象領域を抽出し、当該抽出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。そして、センシングシステムＳは、移動制御にしたがって移動したＵＧＶ２が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する。

Description

飛行体が上空から地上をセンシングすることにより得られるセンシングデータを取得するシステム等の技術分野に関する。
近年、飛行体を用いて上空から撮影等のセンシングを行うことが一般化しつつある。例えば、特許文献１には、産業用無人ヘリコプタに搭載されたビデオカメラから圃場全体を撮影して画像と自然光の反射率を示すデータを取得することが記載されている。
特開２０１１－２５４７１１号公報
上述したように飛行体を用いることで、比較的広い範囲を俯瞰的にセンシングすることが可能である。しかし、比較的狭い範囲が精微にセンシングされる場合、飛行体を用いるセンシングが好適であるとは言い難い。例えば、飛行体ができるだけ地面に近い位置からセンシングするために低空飛行を行うと、地面効果が発生して飛行体が不安定になる可能性がある。また、飛行体が着陸した状態でセンシングすることも可能ではあるが、この場合、飛行体の安定性の観点に加えて、エネルギー消費の観点からも好ましくない。また、飛行体が上空から高倍率のセンサを用いてセンシングする場合、滞空時のわずかな振動でも、倍率に応じた影響を与えてしまうため精微なセンシングは難しい。
そこで、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することが可能なセンシングシステム、センシングデータ取得方法、及び制御装置を提供する。
上記課題を解決するために、請求項１に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
請求項２に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
請求項３に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができ、植物や土壌の状態を、より精微に観測することができる。
請求項４に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、を備えることを特徴とする。これにより、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に植物の異常が発生しているかを迅速且つ高精度に判定することができる。請求項５に記載の発明は、請求項４に記載のセンシングシステムにおいて、前記第２のセンシングデータを、前記植物の管理者が有する端末へ送信する送信部をさらに備えることを特徴とする。これにより、管理者は第２のセンシングデータを確認し、植物に異常が発生しているかどうかをより詳しく調査することができる。
請求項６に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。請求項７に記載の発明は、請求項６に記載のセンシングシステムにおいて、前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
請求項８に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部と、前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。請求項９に記載の発明は、請求項８に記載のセンシングシステムにおいて、前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとをマッチングすることにより前記第３のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載のセンシングシステムにおいて、前記第２のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。
請求項１１に記載の発明は、請求項１乃至１０の何れか一項に記載のセンシングシステムにおいて、前記第２のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得されることを特徴とする。これにより、植物や土壌の状態を、より精微に観測することができる。
請求項１２に記載の発明は、請求項１乃至１１の何れか一項に記載のセンシングシステムにおいて、前記制御部は、前記対象領域の全体についてのデータが前記第２のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする。これにより、対象領域の全体が例えばカメラの画角に収まらない場合であっても、対象領域の全体について第２のセンシングデータを得ることができる。
請求項１３に記載の発明は、請求項１乃至１２の何れか一項に記載のセンシングシステムにおいて、前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする。
請求項１４に記載の発明は、請求項１乃至１３の何れか一項に記載のセンシングシステムにおいて、前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする。
請求項１５に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、を含むことを特徴とする。請求項１６に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、を含むことを特徴とする。請求項１７に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得するステップと、を含むことを特徴とする。請求項１８に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定するステップと、を含むことを特徴とする。請求項１９に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、を含むことを特徴とする。請求項２０に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得するステップと、前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、を含むことを特徴とする。
請求項２１に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。請求項２２に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。請求項２３に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。請求項２４に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、を備えることを特徴とする制御装置。請求項２５に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。請求項２６に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部と、前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。
本発明の一実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
センシングシステムＳの概要構成例を示す図である。 ＵＡＶ１の概要構成例を示す図である。 制御部１５における機能ブロック例を示す図である。 ＵＧＶ２の概要構成例を示す図である。 制御部２５における機能ブロック例を示す図である。 ＵＡＶ１により行われる遠距離センシングの範囲と、ＵＧＶ２により行われる近距離センシングの範囲との関係を示す図である。 管理サーバ３の概要構成例を示す図である。 制御部３３における機能ブロック例を示す図である。 実施例１においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例２においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例３においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例４においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例５においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。
以下、図面を参照して本発明の一実施形態について説明する。
［１．センシングシステムＳの構成］
先ず、図１を参照して、本発明の一実施形態に係るセンシングシステムＳの構成について説明する。図１は、センシングシステムＳの概要構成例を示す図である。図１に示すように、センシングシステムＳは、無人航空機（以下、「ＵＡＶ（Unmanned Aerial Vehicle）」と称する）１、無人地上機（以下、ＵＧＶ（Unmanned Ground Vehicle）と称する）２、及び管理サーバ３を含んで構成される。ＵＡＶ１及びＵＧＶ２は、それぞれ、管理サーバ３との間で通信ネットワークＮＷを介して互いに通信可能になっている。通信ネットワークＮＷは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。
なお、ＵＡＶ１は、飛行体の一例であり、ドローン、またはマルチコプタとも呼ばれる。ＵＡＶ１は、地上からオペレータによる遠隔操縦に従って飛行、または自律的に飛行することが可能になっている。また、ＵＡＶ１は、GCS（Ground Control Station）により管理される。GCSは、例えば、アプリケーションとしてオペレータにより操作される操縦端末に搭載されてもよいし、管理サーバ３などのサーバにより構成されてもよい。
一方、ＵＧＶ２は、無人で地上を自律的に走行可能な走行体の一例である。ここで、走行とは地面（植物上や障害物上を含んでもよい）を移動することをいい、飛行とは区別される。また、移動とは時系列で現在位置が変化することをいう。ＵＧＶ２は、複数の車輪を有する車両であってもよいし、車輪を有しないロボット（例えば、２足歩行ロボット）等であってもよい。
［１－１．ＵＡＶ１の構成及び機能］
次に、図２及び図３を参照して、ＵＡＶ１の構成及び機能について説明する。図２は、ＵＡＶ１の概要構成例を示す図である。図２に示すように、ＵＡＶ１は、駆動部１１、無線通信部１２、センサ部１３、測位部１４、及び制御部１５等を備える。図３は、制御部１５における機能ブロック例を示す図である。なお、図示しないが、ＵＡＶ１は、水平回転翼であるロータ（プロペラ）、及びＵＡＶ１の各部へ電力を供給するバッテリを備える。
駆動部１１は、モータ及び回転軸等を備える。駆動部１１は、制御部１５から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。無線通信部１２は、通信ネットワークＮＷを介して管理サーバ３との間で行われる通信の制御を担う。また、無線通信部１２は、Bluetooth（登録商標）等の近距離無線通信機能を備えてもよい。
センサ部１３は、ＵＡＶ１の飛行制御のために必要な各種センサを備える。各種センサには、例えば、光学センサ、３軸角速度センサ、３軸加速度センサ、及び地磁気センサ等が含まれる。センサ部１３により検出された検出データは、制御部１５へ出力される。光学センサは、例えばカメラ（RGBカメラや赤外線カメラ）により構成され、空中から下方を俯瞰的にセンシング（以下、「遠距離センシング（第１のセンシングの一例）」という）するためにも用いられる。
ここで、遠距離センシングには、空中のＵＡＶ１の下方においてセンシング可能な範囲（例えばカメラの画角に収まる範囲）内の地表を撮像することにより地表の状態（例えば、植物や土壌の状態）を観測することが含まれる。なお、光学センサには、後述するマップ画像の作成のために、LiDAR（Light Detection and Ranging、あるいはLaser Imaging Detection and Ranging）が含まれるとよい。
遠距離センシングの対象となる領域（以下、「センシング領域」という）は、上空からセンシングすることが必要な広い領域である。特に、地面から生えている植物の手入れ（換言すると、維持管理）が重要となる領域をセンシング領域とするとよい。センシング領域の例として、芝生が育成されるゴルフ場や球技場、或いは、農作物等が育成される圃場などが挙げられる。
遠距離センシングは、例えばＵＡＶ１がセンシング領域に到着したとき、または、センシング領域内外における飛行ルートを飛行しながら１回以上行われる。遠距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、遠距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
測位部１４は、電波受信機及び高度センサ等を備える。測位部１４は、例えば、GNSS（Global Navigation Satellite System）の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＡＶ１の水平方向の現在位置（緯度及び経度）を検出する。ＵＡＶ１の現在位置は、飛行中のＵＡＶ１の飛行位置である。
なお、ＵＡＶ１の水平方向の現在位置は、光学センサにより撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。測位部１４により検出された現在位置を示す位置情報は、制御部１５へ出力される。さらに、測位部１４は、気圧センサ等の高度センサによりＵＡＶ１の垂直方向の現在位置（高度）を検出してもよい。この場合、位置情報には、ＵＡＶ１の高度を示す高度情報が含まれる。
制御部１５は、プロセッサであるCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、及び不揮発性メモリ等を備える。制御部１５は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図３に示すように、センシング制御部１５ａ、センシングデータ取得部１５ｂ（第１取得部の一例）、及び飛行制御部１５ｃとして機能する。なお、制御部１５は、ＵＡＶ１が飛行中、ＵＡＶ１の位置情報及び飛行体ＩＤを、無線通信部１２に管理サーバ３（またはGCSを介して管理サーバ３）へ逐次送信させる。この飛行体ＩＤは、ＵＡＶ１を識別可能な識別情報である。
センシング制御部１５ａは、センサ部１３により行われる遠距離センシングのタイミングを制御する。遠距離センシングのタイミングは、上記プログラムに予め規定されてもよいし、GCSまたは管理サーバ３からのセンシング制御命令に示されてもよい。
センシングデータ取得部１５ｂは、遠距離センシングにより得られた遠距離センシングデータ（第１のセンシングデータの一例）を取得する。遠距離センシングデータは、無線通信部１２により管理サーバ３へ送信され、ＵＧＶ２によりセンシングされるべき対象領域を抽出するために利用される。かかる対象領域の一例として、ＵＡＶ１の下方において植物や土壌の異常が発生している蓋然性の高い領域が挙げられる。
ここで、「ＵＡＶ１の下方において」とは、「遠距離センシング時にＵＡＶ１の下方であった領域において」を意味する。これは、ＵＡＶ１による遠距離センシング時にはＵＡＶ１の下方であっても、対象領域の抽出が行われる時点ではＵＡＶ１が移動している可能性があるからである。遠距離センシングデータは、センサ部１３から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
また、遠距離センシングデータは、例えば、地表のRGB画像、植生活性度画像、及びサーマル画像（温度分布画像）などのうち少なくとも１つのマップ画像を構成するデータである。ここで、植生活性度画像は、芝生や農作物などの植物の有無及び多さを色分けして表示した画像である。活性度（植生活性度）は、NDVI（Normalized Difference Vegetation Index）により表されてもよい。
NDVIとは、植物の健康状態と、可視域から近赤外域の各波長の反射率との関係を示す値（指標）である。例えば、植物は可視域の電波を吸収する一方、近赤外域の電波を強く反射する特性を持つので、NDVIが高いほど健康な状態であることを意味する。上記マップ画像における各画素値（例えば、RGB値、活性度、または温度に相当し、これらは測定値である）には、位置情報が対応付けられる。かかる位置情報（つまり、遠距離センシングデータにおける位置情報）は、例えば、ＵＡＶ１の水平方向の現在位置を示す位置情報、及びSLAM（Simultaneous Localization and Mapping）処理（マップ生成と自己位置推定を同時に行う処理）により特定される。
飛行制御部１５ｃは、センシング領域内外においてＵＡＶ１を飛行させるための飛行制御を行う。かかる飛行制御においては、センサ部１３からの検出データ、測位部１４からの位置情報、及び管理サーバ３からの飛行制御情報等が用いられて、ロータの回転数の制御、ＵＡＶ１の位置、姿勢及び進行方向の制御が行われる。ここで、飛行制御情報には、例えば、飛行ルートに沿った飛行命令が含まれる。飛行ルートは、例えば管理サーバ３により予め定められる。飛行制御情報により、ＵＡＶ１は、飛行ルートを飛行しながら遠距離センシングを行うことができる。
なお、ＵＡＶ１を飛行させることには、ＵＡＶ１をホバリングさせることを含む。ここで、ホバリングさせるとは、ＵＡＶ１を空中で完全に静止させることに限定されず、ＵＡＶ１が多少の移動（つまり、水平方向、垂直方向、または斜め方向に移動）が発生してもよい（つまり、ＵＡＶ１が着陸せず空中に浮いていればよい）。
飛行制御部１５ｃにより、センシング領域内外においてＵＡＶ１を遠隔操縦または自律的に飛行させることができる。なお、ＵＡＶ１の自律的な飛行は、飛行制御部１５ｃが飛行制御を行うことによる自律飛行に限定されるものではなく、ＵＡＶ１の自律的な飛行には、例えばセンシングシステムＳ全体として飛行制御を行うことによる自律飛行も含まれる。
［１－２．ＵＧＶ２の構成及び機能］
次に、図４～図６を参照して、ＵＧＶ２の構成及び機能について説明する。図４は、ＵＧＶ２の概要構成例を示す図である。図４に示すように、ＵＧＶ２は、駆動部２１、無線通信部２２、センサ部２３、測位部２４、及び制御部２５等を備える。図５は、制御部２５における機能ブロック例を示す図である。なお、図示しないが、ＵＧＶ２は、ＵＧＶ２の各部へ電力を供給するバッテリを備える。
駆動部２１は、モータ及び回転軸等を備える。駆動部２１は、制御部２５から出力された制御信号に従って駆動するモータ及び回転軸等により複数の車輪を回転させる。無線通信部２２は、通信ネットワークＮＷを介して管理サーバ３との間で行われる通信の制御を担う。また、無線通信部２２は、Bluetooth（登録商標）等の近距離無線通信機能を備えてもよい。
センサ部２３は、ＵＧＶ２の移動制御のために必要な各種センサを備える。各種センサには、例えば、光学センサが含まれる。センサ部２３により検出された検出データは、制御部２５へ出力される。光学センサは、例えばカメラにより構成され、遠距離センシングデータに基づいて抽出された対象領域の全体または一部分を精微にセンシング（以下、「近距離センシング（第２のセンシングの一例）」という）するためにも用いられる。
ここで、近距離センシングには、センシング可能な範囲内の対象領域における地表を撮像することにより地表の状態（例えば、植物や土壌の状態）を観測することが含まれる。なお、光学センサには、マップ画像の作成のためにLiDARが含まれるとよい。図６は、ＵＡＶ１により行われる遠距離センシングの範囲（つまり、センシング可能な範囲）と、ＵＧＶ２により行われる近距離センシングの範囲との関係を示す図である。図６に示すように、センシング領域（例えばゴルフ場）Ａ１において行われる遠距離センシングの範囲Ｒ１は、対象領域Ａ２において行われる近距離センシングの範囲Ｒ２よりも広くなっている。
また、図６の例では、近距離センシングの範囲Ｒ２は対象領域Ａ２よりも広くなっている（つまり、近距離センシングの範囲Ｒ２内に対象領域Ａ２が含まれている）が、近距離センシングの範囲Ｒ２が対象領域Ａ２よりも狭い（例えば、対象領域Ａ２の全体がカメラの画角に収まらない）場合もある。この場合、対象領域Ａ２は連続して複数回、近距離センシングされることで対象領域Ａ２全体がセンシングされるとよい。なお、例えば近距離センシングの時点において、対象領域Ａ１とＵＡＶ１との間の距離は、対象領域Ａ２とＵＧＶ２との間の距離より大きく（長く）なっている。
また、センサ部２３には、土壌センサが含まれてもよい。この場合、近距離センシングには、対象領域における地中の水分量（含水率）、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つを計測することが含まれる。かかる近距離センシングにより植物や土壌の状態を精微に観測することができる。また、ＵＧＶ２には、対象領域における地中に土壌センサを挿入するためのアーム（例えば、油圧アーム）が備えられる。かかるアームは駆動部２１により駆動する。
近距離センシングは、例えばＵＧＶ２が対象領域の近傍または対象領域内に到着したときに１回以上行われる。近距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、近距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
なお、対象領域に向けてＵＧＶ２が移動する前に、光学センサにより地上のセンシングが行われてもよい。かかるセンシングを、「地上センシング（第３のセンシングの一例）」という。
測位部２４は、電波受信機等を備える。測位部２４は、例えば、GNSSの衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＧＶ２の現在位置（緯度及び経度）を検出する。なお、ＵＧＶ２の現在位置は、GNSSの衛星から発信された電波に加えて、SLAM処理により特定されてもよい。また、ＵＧＶ２の現在位置は、光学センサにより撮像された画像に基づいて補正されてもよい。測位部２４により検出された現在位置を示す位置情報は、制御部２５へ出力される。
制御部２５は、CPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部２５は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図５に示すように、センシング制御部２５ａ、センシングデータ取得部２５ｂ（第２取得部及び第３取得部の一例）、及び移動制御部２５ｃとして機能する。なお、制御部２５は、ＵＧＶ２の位置情報及び走行体ＩＤを、無線通信部２２に管理サーバ３へ逐次送信させる。この走行体ＩＤは、ＵＧＶ２を識別可能な識別情報である。
センシング制御部２５ａは、センサ部２３により行われる近距離センシング及び地上センシングそれぞれのタイミングを制御する。近距離センシング及び地上センシングのタイミングは、上記プログラムに予め規定されてもよいし、管理サーバ３からのセンシング制御命令に示されてもよい。
センシングデータ取得部２５ｂは、近距離センシングにより得られた近距離センシングデータ（第２のセンシングデータの一例）を取得する。近距離センシングデータは、無線通信部２２により管理サーバ３へ送信され、例えば、遠距離センシングデータに基づいて抽出された対象領域において異常が発生しているか否かを判定するために利用される。近距離センシングデータは、センサ部２３から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
また、近距離センシングデータは、対象領域における地表のRGB画像、植生活性度画像、及びサーマル画像などのうち少なくとも１つのマップ画像を構成するデータであるとよい。当該マップ画像における各画素値（例えば、RGB値、活性度、または温度に相当）には、位置情報が対応付けられる。かかる位置情報（つまり、近距離センシングデータにおける位置情報）は、例えば、ＵＧＶ２の現在位置を示す位置情報、及びSLAM処理により特定される。
また、センサ部２３に土壌センサが含まれる場合（つまり、近距離センシングデータが地中に挿入された土壌センサを用いて取得される場合）、当該近距離センシングデータには、対象領域における地中の水分量、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータが含まれる。かかるデータには上記位置情報が対応付けられるとよい。なお、センシングデータ取得部２５ｂは、地上センシングにより得られた地上センシングデータ（第３のセンシングデータの一例）を取得してもよい。地上センシングデータは、無線通信部２２により管理サーバ３へ送信される。
移動制御部２５ｃは、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。かかる移動制御においては、センサ部２３からの検出データ、測位部２４からの位置情報、及び管理サーバ３からの移動制御情報等が用いられて、車輪の回転数の制御、ＵＧＶ２の位置及び進行方向の制御が行われる。ここで、移動制御情報には、例えば、ＵＧＶ２を対象領域に向けて移動させる移動命令が含まれる。移動制御部２５ｃにより、対象領域に向けてＵＧＶ２を移動させることができる。そして、移動制御にしたがって移動したＵＧＶ２がセンサ部２３により対象領域の全体または一部分をセンシングすることができる。
［１－３．管理サーバ３の構成及び機能］
次に、図７及び図８を参照して、管理サーバ３の構成及び機能について説明する。図７は、管理サーバ３の概要構成例を示す図である。図７に示すように、管理サーバ３は、通信部３１、記憶部３２、及び制御部３３等を備える。図８は、制御部３３における機能ブロック例を示す図である。通信部３１は、通信ネットワークＮＷを介して、ＵＡＶ１及びＵＧＶ２のそれぞれとの間で行われる通信の制御を担う。ＵＡＶ１から送信された遠距離センシングデータ、ＵＡＶ１の位置情報及び飛行体ＩＤは、通信部３１により受信される。管理サーバ３は、ＵＡＶ１の位置情報によりＵＡＶ１の現在位置を認識することができる。
また、ＵＧＶ２から送信された近距離センシングデータ、地上センシングデータ、ＵＧＶ２の位置情報及び飛行体ＩＤは、通信部３１により受信される。管理サーバ３は、ＵＧＶ２の位置情報によりＵＧＶ２の現在位置を認識することができる。記憶部３２は、例えば、ハードディスクドライブ等を備える。記憶部３２には、センシングデータベース（ＤＢ）３２ａが設けられる。
センシングデータベース３２ａには、センシング領域の位置情報、当該センシング領域における遠距離センシングにより得られた遠距離センシングデータ、当該遠距離センシングを行ったＵＡＶ１の飛行体ＩＤ、当該センシング領域から抽出された対象領域の位置情報、当該対象領域における近距離センシングにより得られた近距離センシングデータ、及び当該近距離センシングを行ったＵＧＶ２の走行体ＩＤ等が対象領域毎に対応付けられて格納される。ここで、センシング領域の位置情報は、当該センシング領域の外縁の緯度及び経度を示すものであってよい。同様に、対象領域の位置情報は、当該対象領域の外縁の緯度及び経度を示すものであってよい。なお、センシング領域の位置情報に対して、当該センシング領域に関わる管理者等の認証用情報（ＩＤ及びパスワード）及び電子メールアドレスが対応付けられて記憶部３２に記憶されてもよい。
制御部３３は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部３３は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図８に示すように、センシングデータ取得部３３ａ（第１取得部、第２取得部、及び第３取得部の一例）、対象領域抽出部３３ｂ（抽出部の一例）、機体制御部３３ｃ、異常判定部３３ｄ（判定部の一例）、及び情報提供部３３ｅ（表示制御部、及び送信部の一例）等として機能する。
センシングデータ取得部３３ａは、ＵＡＶ１から送信された遠距離センシングデータを、通信部３１を介して取得する。また、センシングデータ取得部３３ａは、ＵＧＶ２から送信された近距離センシングデータを、通信部３１を介して取得する。また、センシングデータ取得部３３ａは、ＵＧＶ２から送信された地上センシングデータを、通信部３１を介して取得する。
対象領域抽出部３３ｂは、センシングデータ取得部３３ａにより取得された遠距離センシングデータに基づいて、ＵＧＶ２によりセンシングされる対象領域を抽出する。例えば、対象領域抽出部３３ｂは、遠距離センシングデータに基づいて、ＵＡＶ１の下方であった領域において異常が発生している蓋然性の高い領域（異常候補領域）を対象領域として抽出する。このような対象領域は、遠距離センシングデータに含まれる植生活性度画像における活性度に基づいて抽出されるとよい。これにより、植物の異常が発生している蓋然性の高い領域を迅速に発見することができる。例えば、植生活性度画像において活性度が閾値以下の領域が対象領域として抽出される。
或いは、当該対象領域は、遠距離センシングデータに含まれるRGB画像におけるRGB値に基づいて抽出されてもよい。例えば、RGB画像において所定の適正な植物の色（RGB値）との差異が閾値以上の領域が対象領域として抽出される。或いは、当該対象領域は、遠距離センシングデータに含まれるサーマル画像における温度に基づいて抽出されてもよい。例えば、サーマル画像において所定の適正温度との差異が閾値以上の領域が対象領域として抽出される。なお、植生活性度画像における活性度、RGB画像におけるRGB値、及びサーマル画像における温度のうちの何れか２つ以上の測定値に基づいて対象領域が抽出されてもよい。
機体制御部３３ｃは、センシング領域内外においてＵＡＶ１を飛行させるための飛行制御を行うことが可能である。例えば、機体制御部３３ｃは、飛行制御情報を通信部３１によりＵＡＶ１へ送信させることでＵＡＶ１の飛行を制御する。また、機体制御部３３ｃは、対象領域抽出部３３ｂにより対象領域が抽出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行うことが可能である。例えば、機体制御部３３ｃは、移動制御情報を通信部３１によりＵＧＶ２へ送信させることでＵＧＶ２の移動を制御する。
ＵＧＶ２の移動制御は、ＵＡＶ１の位置情報と、ＵＡＶ１からの遠距離センシングデータ（例えば、RGB画像）に基づいて行われてもよい。例えば、機体制御部３３ｃは、対象領域抽出部３３ｂにより抽出された対象領域に向けてＵＧＶ２を移動させる前に、ＵＡＶ１の位置情報に基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２を移動させる。つまり、機体制御部３３ｃは、ＵＧＶ２をＵＡＶ１のある程度近まで移動させる。このとき、ＵＡＶ１が遠距離センシングを行うことにより得られた遠距離センシングデータと、ＵＧＶ２が地上センシングを行うことにより得られた地上センシングデータとがセンシングデータ取得部３３ａにより取得される。
機体制御部３３ｃは、このとき取得された遠距離センシングデータと地上センシングデータとに基づいて、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。例えば、機体制御部３３ｃは、遠距離センシングデータと地上センシングデータとをマッチングすることにより地上センシングデータから検出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。これにより、ＵＧＶ２をより正確に対象領域に誘導することができる。
なお、遠距離センシングデータと地上センシングデータとのマッチングは、例えば、遠距離センシングデータに含まれるマップ画像（例えば、RGB画像）中の幾つかの特徴点のそれぞれに対応する特徴点（例えば、一致度が最も大きい特徴点）を地上センシングデータに含まれるマップ画像から抽出することにより行われる。なお、ＵＡＶ１は、ＵＧＶ２がカメラによりビューイングするであろう側から対象領域にカメラを向けて遠距離センシング（例えば、撮像）を行うことで、よりマッチングし易くすることができる。
また、対象領域抽出部３３ｂにより対象領域が抽出された場合、機体制御部３３ｃは、ＵＡＶ１に移動（例えば飛行ルートに沿った移動）を中断させてホバリング状態に移行させる制御を行ってもよい。例えば、対象領域抽出部３３ｂは、ＵＡＶ１を対象領域の上空でホバリングさせる。そして、機体制御部３３ｃは、ホバリング状態にあるＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２を移動させる。なお、ＵＡＶ１の真下付近にＵＧＶ２を移動させてもよい。
その後、機体制御部３３ｃは、遠距離センシングデータに基づいて、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。例えば、機体制御部３３ｃは、ＵＡＶ１から連続して複数回受信される遠距離センシングデータ（例えば、RGB画像）から、ＵＧＶ２と対象領域との位置関係を取得し続け、ＵＧＶ２を対象領域に向けて移動させる。これにより、ＵＧＶ２をより正確に対象領域に誘導することができる。
また、ＵＧＶ２がカメラにより近距離センシングを行う場合において、対象領域の全体がカメラの画角に収まらない場合、機体制御部３３ｃは、当該対象領域の全体についてのデータ（例えば、対象領域の全体を含むマップ画像）が近距離センシングデータに含まれるように、ＵＧＶ２を移動させながら、当該ＵＧＶ２に対象領域を連続して複数回、近距離センシングさせるように制御してもよい。これにより、対象領域の全体がカメラの画角に収まらない場合であっても、対象領域の全体について近距離センシングデータ（例えば複数枚の静止画像または動画像）を得ることができる。
なお、対象領域の全体がカメラの画角に収まるか否かの判定は、制御部３３により行われてもよいし、ＵＧＶ２により行われてもよい。かかる判定が制御部３３により行われる場合、機体制御部３３ｃは、対象領域の全体についてのデータが近距離センシングデータに含まれるように走行ルートを決定し、当該決定した走行ルートに沿った移動命令及び近距離センシングの実行命令を含む移動制御情報を通信部３１によりＵＧＶ２へ送信させる。一方、かかる判定がＵＧＶ２により行われる場合、ＵＧＶ２は、機体制御部３３ｃから上記命令を受けることなく、対象領域の全体についてのデータが近距離センシングデータに含まれるように、自律的に移動しながら、当該対象領域を連続して複数回センシングを行ってもよい。
異常判定部３３ｄは、センシングデータ取得部３３ａにより取得された近距離センシングデータに基づいて、対象領域抽出部３３ｂにより抽出された対象領域に異常が発生しているか否か判定する。すなわち、対象領域抽出部３３ｂにより抽出された対象領域に異常が発生しているか否かが確定的に判断される。例えば、近距離センシングデータに基づいて、より高精度な異常判定が行われて、対象領域に異常が発生しているか否かが判定されてもよい。
より高精度な異常判定では、例えば機械学習が利用されるとよい。この場合、近距離センシングデータを入力とし、異常発生の有無を出力としたトレーニングデータにより学習された学習済みモデルが用いられる。異常判定部３３ｄは、ＵＧＶ２により近距離センシングされることで得られた近距離センシングデータを当該学習済みモデルに入力することで、当該近距離センシングされた対象領域に異常が発生しているか否かを出力として得る。これにより、異常判定部３３ｄは、対象領域に異常が発生しているか否か判定することができる。なお、機械学習以外の解析アルゴリズムにより対象領域に異常が発生しているかが判定されてもよい。
情報提供部３３ｅは、センシングデータ取得部３３ａにより取得された近距離センシングデータを、植物及び土壌のうちいずれかの管理者が有する管理者端末を通じて当該管理者が自身の認証用情報によりログインした後、当該管理者端末へ通信部３１を介して送信する。これにより、管理者は近距離センシングデータを確認し、植物（例えば、芝生または農作物等）に病気が発生しているかどうかをより詳しく調査することができる。管理者は、調査結果にしたがって、例えば、薬剤の散布、肥料の散布、水の散布、砂の散布、または芝刈り等の適切な処置を指示するができる。ここで、センシング領域がゴルフ場である場合、管理者は、例えば芝生管理者である。或いは、センシング領域が圃場である場合、管理者は、例えば農作物等の管理者（生産者）である。なお、上述したように、ＵＧＶ２が対象領域を連続して複数回、近距離センシングすることにより得られた複数枚の静止画像または動画像を含む近距離センシングデータが管理者端末へ送信される。
また、情報提供部３３ｅは、センシングデータ取得部３３ａにより取得された近距離センシングデータに基づいて、対象領域抽出部３３ｂにより抽出された対象領域に関する情報を表示端末へ送信することで表示させてもよい。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。なお、表示端末は、管理者端末であってもよいし、センシング領域の利用者や勤務者が使用する端末であってもよい。また、対象領域に関する情報は、例えば、対象領域におけるマップ画像（例えば、RGB画像、植生活性度画像、またはサーマル画像）であるとよい。かかるマップ画像上には、マップ領域（例えば、ゴルフ場の名称）や対象領域の名称及び位置情報等が重畳表示されてもよい。
［２．センシングシステムＳの動作］
次に、センシングシステムＳの動作について、実施例１～実施例５に分けて説明する。なお、センシングシステムＳの動作において、管理サーバ３は、遠距離センシングに利用されるＵＡＶ１の飛行体ＩＤと、近距離センシングに利用されるＵＧＶ２の走行体ＩＤとを対応付けて管理している。そして、ＵＡＶ１は、飛行中、自己の位置情報及び飛行体ＩＤを管理サーバ３へ逐次送信するものとし、ＵＧＶ２は、走行中、自己の位置情報及び走行体ＩＤを管理サーバ３へ逐次送信する。
（実施例１）
先ず、図９を参照して、センシングシステムＳの動作の実施例１について説明する。図９は、実施例１においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。図９において、管理サーバ３は、センシング領域への飛行ルートに沿った飛行命令を含む飛行制御情報を、通信ネットワークＮＷを介してＵＡＶ１へ送信する（ステップＳ１）。
次いで、ＵＡＶ１は、管理サーバ３からの飛行制御情報を取得（受信）すると、センシング領域への飛行ルートに沿って飛行を開始する（ステップＳ２）。次いで、ＵＡＶ１は、センシング領域の上空に到着すると（ステップＳ３）、センサ部１３を起動して遠距離センシングを開始し、ＵＡＶ１の下方を遠距離センシングすることにより得られた遠距離センシングデータを取得する（ステップＳ４）。なお、遠距離センシングは、ＵＡＶ１が移動しながら行われてもよいし、ホバリングしながら行われてもよい。次いで、ＵＡＶ１は、ステップＳ４で取得された遠距離センシングデータ及びＵＡＶ１の飛行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ５）。
次いで、管理サーバ３は、ＵＡＶ１からの遠距離センシングデータ及び飛行体ＩＤを取得すると、当該遠距離センシングデータに基づいて、ＵＧＶ２によりセンシングされる対象領域を抽出する（ステップＳ６）。このＵＧＶ２は、例えば、遠距離センシングデータとともに管理サーバ３から取得された飛行体ＩＤに対応付けられた走行体ＩＤに基づいて特定される。次いで、管理サーバ３は、ステップＳ６で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ７）。かかる移動制御情報には、上記抽出された対象領域の位置情報が含まれる。
次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、対象領域に向けて移動を開始する（ステップＳ８）。次いで、ＵＧＶ２は、対象領域の近傍または対象領域内に到着すると（ステップＳ９）、センサ部２３を起動して近距離センシングを開始し、対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する（ステップＳ１０）。次いで、ＵＧＶ２は、ステップＳ１０で取得された近距離センシングデータ及びＵＧＶ２の走行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ１１）。
次いで、管理サーバ３は、ＵＧＶ２からの近距離センシングデータ及び走行体ＩＤを取得すると、当該近距離センシングデータに基づいて、ステップＳ６で抽出された対象領域に異常が発生しているか否か判定する（ステップＳ１２）。対象領域に異常が発生していないと判定された場合（ステップＳ１２：ＮＯ）、処理は終了する。
一方、対象領域に異常が発生していると判定された場合（ステップＳ１２：ＹＥＳ）、ステップＳ６で抽出された対象領域に関する情報（例えば、対象領域におけるマップ画像）へアクセスするためのＵＲＬ（Uniform Resource Locator）を記述する電子メールが、上記センシング領域に関わる管理者の電子メールアドレス宛に送信される（ステップＳ１３）。こうして送信された電子メールは、管理者の管理者端末により受信されて表示される。そして、電子メールに記述されたＵＲＬが指定されることで対象領域に関する情報が管理者端末により表示される。
（実施例２）
次に、図１０を参照して、センシングシステムＳの動作の実施例２について説明する。実施例２は、管理サーバ３により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１０は、実施例２においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１０に示すステップＳ２１～Ｓ２６の処理は、図９に示すステップＳ１～ステップＳ６の処理と同様である。ステップＳ２７では、管理サーバ３は、ＵＡＶ１の位置情報とＵＧＶ２の位置情報とに基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２が入る地点を決定する。次いで、管理サーバ３は、ステップＳ２７で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ２８）。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ２９）。次いで、ＵＧＶ２は、当該移動制御情報に示される地点に到着すると（ステップＳ３０）、センサ部２３を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する（ステップＳ３１）。次いで、ＵＧＶ２は、ステップＳ３１で取得された地上センシングデータ及びＵＧＶ２の走行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ３２）。
次いで、管理サーバ３は、地上センシングデータ及び走行体ＩＤを取得すると、遠距離センシングデータと地上センシングデータとをマッチングし、ステップＳ２６で抽出された対象領域を地上センシングデータから検出する（ステップＳ３３）。次いで、管理サーバ３は、ステップＳ３３で検出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ３４）。なお、図１０に示すステップＳ３５～Ｓ４０の処理は、図９に示すステップＳ８～Ｓ１３の処理と同様である。
（実施例３）
次に、図１１を参照して、センシングシステムＳの動作の実施例３について説明する。実施例３は、ＵＧＶ２により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１１は、実施例３においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１１に示すステップＳ５１～Ｓ５７の処理は、図１０に示すステップＳ２１～ステップＳ２７の処理と同様である。ステップＳ５８では、管理サーバ３は、ステップＳ５６で抽出された対象領域を示す遠距離センシングデータと、ステップＳ５７で決定された地点を経由して対象領域へ移動させる移動命令とを含む移動制御情報とを、通信ネットワークＮＷを介してＵＧＶ２へ送信する。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
次いで、ＵＧＶ２は、管理サーバ３からの遠距離センシングデータ及び移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ５９）。次いで、ＵＧＶ２は、当該移動制御情報に示される地点に到着すると（ステップＳ６０）、センサ部２３を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する（ステップＳ６１）。次いで、ＵＧＶ２は、管理サーバ３から取得された遠距離センシングデータと、ステップＳ６１で取得された地上センシングデータとをマッチングし、当該遠距離センシングデータに示される対象領域を地上センシングデータから検出する（ステップＳ６２）。次いで、ＵＧＶ２は、地上センシングを行いながら、地上センシングデータから検出される対象領域に向けて移動を開始する（ステップＳ６３）。なお、図１１に示すステップＳ６４～Ｓ６８の処理は、図１０に示すステップＳ３６～Ｓ４０の処理と同様である。
（実施例４）
次に、図１２を参照して、センシングシステムＳの動作の実施例４について説明する。実施例４は、管理サーバ３により特定される、対象領域とＵＧＶ２との位置関係に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１２は、実施例４においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１２に示すステップＳ７１～Ｓ７６の処理は、図９に示すステップＳ１～ステップＳ６の処理と同様である。ステップＳ７７では、管理サーバ３は、ステップＳ７６で抽出された対象領域へ飛行させる飛行命令を含む飛行制御情報を、通信ネットワークＮＷを介してＵＡＶ１へ送信する。
次いで、ＵＡＶ１は、管理サーバ３からの飛行制御情報を取得すると、対象領域に向けて飛行を開始する（ステップＳ７８）。次いで、ＵＡＶ１は、対象領域の上空に到着すると（ステップＳ７９）、ＵＡＶ１は、当該対象領域の上空で移動を中断してホバリング状態に移行する（ステップＳ８０）。次いで、ＵＡＶ１は、遠距離センシングすることにより得られた遠距離センシングデータ及び飛行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ８１）。かかる遠距離センシングデータは、管理サーバ３へ連続して繰り返し送信される。
次いで、管理サーバ３は、ＵＡＶ１からの遠距離センシングデータ及び飛行体ＩＤを取得すると、ホバリング状態にあるＵＡＶ１の位置情報、及びＵＧＶ２の位置情報に基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２が入る地点を決定する（ステップＳ８２）。次いで、管理サーバ３は、ステップＳ８２で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ８３）。
次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ８４）。ＵＧＶ２が当該地点に向けて移動している間、ＵＡＶ１からの遠距離センシングデータは、管理サーバ３により連続して繰り返し受信される。
次いで、管理サーバ３は、ＵＧＶ２がＵＡＶ１により行われる遠距離センシングの範囲に入ることにより、ＵＡＶ１から連続して受信される遠距離センシングデータからＵＧＶ２を検出すると、当該遠距離センシングデータに基づいてＵＧＶ２と対象領域との位置関係を特定（取得）する（ステップＳ８５）。かかる位置関係には、例えば、ＵＧＶ２を基準とする対象領域の方角、及びＵＧＶ２と領域距離との間の距離が示される。次いで、管理サーバ３は、ステップＳ７６で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ８６）。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、ＵＧＶ２が対象領域に到着するまでＵＧＶ２へ連続して繰り返し送信されるとよい。
次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、当該ＵＧＶ２と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する（ステップＳ８７）。つまり、ＵＧＶ２は、当該位置関係に示される方角へ当該位置関係に示される距離だけ移動する。なお、ＵＧＶ２は、対象領域に到着するまでに管理サーバ３から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、図１２に示すステップＳ８８～Ｓ９２の処理は、図９に示すステップＳ９～Ｓ１３の処理と同様である。
（実施例５）
次に、図１３を参照して、センシングシステムＳの動作の実施例５について説明する。実施例５は、ＵＡＶ１により特定される、対象領域とＵＧＶ２との位置関係に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１３は、実施例５においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１３に示すステップＳ１０１～Ｓ１１４の処理は、図１２に示すステップＳ７１～ステップＳ８４の処理と同様である。
ＵＡＶ１は、ＵＧＶ２が遠距離センシングの範囲に入ることにより、遠距離センシングデータからＵＧＶ２を検出すると、当該遠距離センシングデータに基づいてＵＧＶ２と対象領域との位置関係を特定する（ステップＳ１１５）。次いで、ＵＡＶ１は、ステップＳ１０７で取得された飛行制御情報に示される対象領域へ移動させる移動命令を含む移動制御情報を、近距離無線通信機能によりＵＧＶ２へ送信する（ステップＳ１１６）。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、ＵＧＶ２が対象領域に到着するまでＵＧＶ２へ連続して繰り返し送信されるとよい。
次いで、ＵＧＶ２は、ＵＡＶ１からの移動制御情報を取得すると、当該ＵＧＶ２と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する（ステップＳ１１７）。なお、ＵＧＶ２は、対象領域に到着するまでにＵＡＶ１から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、図１３に示すステップＳ１１８～Ｓ１２２の処理は、図１２に示すステップＳ８８～ステップＳ９２の処理と同様である。
以上説明したように、上記実施形態によれば、センシングシステムＳは、空中のＵＡＶ１が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてＵＧＶ２により近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行い、当該移動制御にしたがって移動したＵＧＶ２が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得するように構成したので、対象領域を迅速に発見して調査するために、俯瞰的な遠距離センシングと精微な近距離センシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
すなわち、本実施形態によれば、ＵＡＶ１による俯瞰的な遠距離センシングによりＵＡＶ１の下方において例えば異常が発生している蓋然性の高い対象領域を迅速に発見することができ、その後、ＵＧＶ２による精微な近距離センシングにより当該対象領域を詳しく調査することができる。そのため、ＵＡＶ１が低空飛行を行いながら下方をセンシングする必要がないので、地面効果によりＵＡＶ１が不安定になることを防ぐことができる。また、ＵＡＶ１が着陸した状態で周囲をセンシングする必要もないので、ＵＡＶ１が不安定になることを防ぐとともに、ＵＡＶ１の離着陸のためのエネルギー（バッテリや燃料）の消費を抑えることができる。さらに、ＵＡＶ１が上空から高倍率のセンサを用いてセンシングしなくてもよいので、ＵＡＶ１の振動等によりセンシングに与えられる悪影響を回避することができる。さらに、本実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に異常が発生しているかを迅速且つ高精度に判定することができる。
なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においてはゴルフ場における芝生の管理や圃場における農作物等の管理を想定しているが、本発明は、これらの管理以外にも、広い範囲から異常が発生している箇所を見つけるために好適に適用可能である。例えば、本発明は道路の管理等にも適用可能である。この場合、例えば、道路においてひび割れが発生している蓋然性が高い領域、または道路において閾値以上の傾斜や凸凹が発生している蓋然性が高い領域が対象領域として抽出される。また、上記実施形態においては、飛行体として有人航空機を例にとって説明したが、飛行体は、機内に操縦者（パイロット）が存在しなくても飛行することができる有人航空機に対しても適用可能である。
また、上記実施形態においては、センシングデータ取得部３３ａ、対象領域抽出部３３ｂ、機体制御部３３ｃ、異常判定部３３ｄ、及び情報提供部３３ｅが管理サーバ３の制御部３３に備えられる場合の例を示したが、これらの構成要素の全部または一部はＵＡＶ１の制御部１５またはＵＧＶ２の制御部２５に備えられてもよい。例えば、ＵＡＶ１の制御部１５は、遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、上述した移動制御情報を近距離無線通信機能によりＵＧＶ２へ送信することで、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行ってもよい。また、ＵＡＶ１の制御部１５は、ＵＧＶ２または管理サーバ３から近距離センシングデータを取得し、当該近距離センシングデータに基づいて対象領域に異常が発生しているか否か判定してもよい。また、ＵＡＶ１の制御部１５は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。或いは、ＵＧＶ２の制御部２５は、ＵＡＶ１または管理サーバ３から遠距離センシングデータを取得し、当該遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行ってもよい。また、ＵＧＶ２の制御部２５は、近距離センシングデータに基づいて当該対象領域に異常が発生しているか否か判定してもよい。また、ＵＧＶ２の制御部２５は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。
１ ＵＡＶ
２ ＵＧＶ
３ 管理サーバ
１１，１２ 駆動部
１２，２２ 無線通信部
１３，２３ センサ部
１４，２４ 測位部
１５，２５ 制御部
３１ 通信部
３２ 記憶部
３３ 制御部
１５ａ，２５ａ センシング制御部
１５ｂ，２５ｂ センシングデータ取得部
１５ｃ 飛行制御部
２５ｃ 移動制御部
３３ａ センシングデータ取得部
３３ｂ 対象領域抽出部
３３ｃ 機体制御部
３３ｄ 異常判定部
３３ｅ 情報提供部
Ｓ センシングシステム

Claims (26)

  1. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とするセンシングシステム。
  2. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
    異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とするセンシングシステム。
  3. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とするセンシングシステム。
  4. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、
    を備えることを特徴とするセンシングシステム。
  5. 前記第２のセンシングデータを、前記植物の管理者が有する端末へ送信する送信部をさらに備えることを特徴とする請求項４に記載のセンシングシステム。
  6. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とするセンシングシステム。
  7. 前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、
    前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする請求項６に記載のセンシングシステム。
  8. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
    前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部と、
    前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とするセンシングシステム。
  9. 前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとをマッチングすることにより前記第３のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする請求項８に記載のセンシングシステム。
  10. 前記第２のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする請求項１乃至９の何れか一項に記載のセンシングシステム。
  11. 前記第２のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得される請求項１乃至１０の何れか一項に記載のセンシングシステム。
  12. 前記制御部は、前記対象領域の全体についてのデータが前記第２のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする請求項１乃至１１の何れか一項に記載のセンシングシステム。
  13. 前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする請求項１乃至１２の何れか一項に記載のセンシングシステム。
  14. 前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする請求項１乃至１３の何れか一項に記載のセンシングシステム。
  15. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  16. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
    異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  17. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  18. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  19. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出するステップと、
    ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  20. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、
    前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得するステップと、
    前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うステップと、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    を含むことを特徴とするセンシングデータ取得方法。
  21. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれる植生活性度画像において活性度が閾値以下の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とする制御装置。
  22. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるRGB画像において所定の適正な植物の色との差
    異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とする制御装置。
  23. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータであって、前記対象領域における地中の水分量、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含む前記第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とする制御装置。
  24. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    前記第２のセンシングデータに基づいて、前記対象領域に植物の異常が発生しているか否か判定する判定部と、
    を備えることを特徴とする制御装置。
  25. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに含まれるサーマル画像において所定の適正温度との差異が閾値以上の領域を、地上を走行可能な走行体によりセンシングされる対象領域として抽出する抽出部と、
    ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、連続的に取得される前記第１のセンシングデータから、前記走行体と前記対象領域との位置関係を取得し続け、前記走行体を前記対象領域に向けて移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とする制御装置。
  26. 空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
    前記対象領域に向けて前記走行体が移動する前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部と、
    前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    を備えることを特徴とする制御装置。
JP2021564206A 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置 Active JP7041794B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Publications (2)

Publication Number Publication Date
JP7041794B1 true JP7041794B1 (ja) 2022-03-24
JPWO2022113260A1 JPWO2022113260A1 (ja) 2022-06-02

Family

ID=81214352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564206A Active JP7041794B1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Country Status (6)

Country Link
US (1) US20230116047A1 (ja)
EP (1) EP4033322A1 (ja)
JP (1) JP7041794B1 (ja)
CN (1) CN114829896A (ja)
TW (1) TWI771231B (ja)
WO (1) WO2022113260A1 (ja)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2016123369A (ja) * 2015-01-06 2016-07-11 株式会社日立製作所 植物成長分析システム、及び植物成長分析方法
US20160216245A1 (en) * 2012-11-07 2016-07-28 Brian Harold Sutton Infrared aerial thermography for use in monitoring plant health and growth
JP2017090115A (ja) * 2015-11-05 2017-05-25 株式会社Ｉｈｉエアロスペース 爆発物探知システム
JP2018021865A (ja) * 2016-08-05 2018-02-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US20180156770A1 (en) * 2016-10-12 2018-06-07 Aker Technologies, Inc. System for monitoring crops and soil conditions
JP2018173917A (ja) * 2017-03-31 2018-11-08 株式会社日本総合研究所 情報処理装置、プログラム、情報処理システム及びデータ構造
WO2019044663A1 (ja) * 2017-08-30 2019-03-07 アビームコンサルティング株式会社 生産管理装置、生産管理方法及び記録媒体
JP2019033720A (ja) * 2017-08-21 2019-03-07 コニカミノルタ株式会社 刈り取りスケジュール決定方法及び刈り取りスケジュール決定プログラム
JP2019041729A (ja) * 2017-09-06 2019-03-22 株式会社トプコン 農機具制御装置、農機具制御方法および農機具制御用プログラム
JP2019095937A (ja) * 2017-11-20 2019-06-20 ナブテスコ株式会社 農作物育成支援システム、情報収集装置、育成支援サーバ、および農作物販売支援システム
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2020140347A (ja) * 2019-02-27 2020-09-03 株式会社日立製作所 作物管理システム及び作物管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659733A (ja) * 1991-09-04 1994-03-04 Nec Home Electron Ltd 自律走行ロボット及びその電源コード搬送方法
JP3631431B2 (ja) * 2000-12-05 2005-03-23 独立行政法人科学技術振興機構 探知装置、探知方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機
JP6069882B2 (ja) * 2012-04-27 2017-02-01 三菱電機株式会社 農業用管理システム
US10165722B2 (en) * 2014-12-05 2019-01-01 Deere & Company Scouting systems
US9625904B2 (en) * 2015-03-24 2017-04-18 Southwest Research Institute Unmanned ground/aerial vehicle system having autonomous ground vehicle that remotely controls one or more aerial vehicles
US20170363885A1 (en) * 2016-06-20 2017-12-21 PogoTec, Inc. Image alignment systems and methods
US10351237B2 (en) * 2016-07-28 2019-07-16 Qualcomm Incorporated Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users
US20200217830A1 (en) * 2019-01-08 2020-07-09 AgroScout Ltd. Autonomous crop monitoring system and method
JP2023520659A (ja) * 2020-03-23 2023-05-18 バイエル、アクチエンゲゼルシャフト 雑草防除管理方法、雑草防除管理車両、および雑草防除管理システム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
US20160216245A1 (en) * 2012-11-07 2016-07-28 Brian Harold Sutton Infrared aerial thermography for use in monitoring plant health and growth
JP2016123369A (ja) * 2015-01-06 2016-07-11 株式会社日立製作所 植物成長分析システム、及び植物成長分析方法
JP2017090115A (ja) * 2015-11-05 2017-05-25 株式会社Ｉｈｉエアロスペース 爆発物探知システム
JP2018021865A (ja) * 2016-08-05 2018-02-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US20180156770A1 (en) * 2016-10-12 2018-06-07 Aker Technologies, Inc. System for monitoring crops and soil conditions
JP2018173917A (ja) * 2017-03-31 2018-11-08 株式会社日本総合研究所 情報処理装置、プログラム、情報処理システム及びデータ構造
JP2019033720A (ja) * 2017-08-21 2019-03-07 コニカミノルタ株式会社 刈り取りスケジュール決定方法及び刈り取りスケジュール決定プログラム
WO2019044663A1 (ja) * 2017-08-30 2019-03-07 アビームコンサルティング株式会社 生産管理装置、生産管理方法及び記録媒体
JP2019041729A (ja) * 2017-09-06 2019-03-22 株式会社トプコン 農機具制御装置、農機具制御方法および農機具制御用プログラム
JP2019095937A (ja) * 2017-11-20 2019-06-20 ナブテスコ株式会社 農作物育成支援システム、情報収集装置、育成支援サーバ、および農作物販売支援システム
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2020140347A (ja) * 2019-02-27 2020-09-03 株式会社日立製作所 作物管理システム及び作物管理方法

Also Published As

Publication number Publication date
CN114829896A (zh) 2022-07-29
WO2022113260A1 (ja) 2022-06-02
TWI771231B (zh) 2022-07-11
US20230116047A1 (en) 2023-04-13
EP4033322A4 (en) 2022-07-27
TW202221438A (zh) 2022-06-01
JPWO2022113260A1 (ja) 2022-06-02
EP4033322A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
CN111316066B (zh) 用于无人飞行器的备用导航系统
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
EP2772814B1 (en) Tree metrology system
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10719705B2 (en) Adjustable object avoidance proximity threshold based on predictability of the environment
JP6527299B1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
US20210221500A1 (en) Determining method of arrangement place, transport system, and information processing device
Moskvitch Take off: are drones the future of farming?
CN110785355A (zh) 一种无人机测试方法、设备及存储介质
Takahashi et al. Evaluation of safe landing area determination algorithms for autonomous rotorcraft using site benchmarking
EP3731053B1 (en) Management device, management system, moving body and program
JP2020090396A (ja) 制御方法、物品受け渡しシステム、及び情報処理装置
JP7041794B1 (ja) センシングシステム、センシングデータ取得方法、及び制御装置
EP3761136B1 (en) Control device, mobile body, and program
US20220197314A1 (en) Travel control system, control method, and control device
US20220201922A1 (en) Industrial machinery system, industrial machine, control apparatus, control method for industrial machinery system, and control program for industrial machinery system
JP7165703B2 (ja) 飛行システム、飛行経路決定方法、及び飛行経路決定装置
US20230260410A1 (en) Information processing device, landing suitability determining method, and non-transitory computer readable memory
JP6637209B1 (ja) 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置
US20240071237A1 (en) Information processing apparatus, method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211027

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220311

R150 Certificate of patent or registration of utility model

Ref document number: 7041794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522