TW202221438A - 感測系統、感測資料取得方法及控制裝置 - Google Patents

感測系統、感測資料取得方法及控制裝置 Download PDF

Info

Publication number
TW202221438A
TW202221438A TW110143472A TW110143472A TW202221438A TW 202221438 A TW202221438 A TW 202221438A TW 110143472 A TW110143472 A TW 110143472A TW 110143472 A TW110143472 A TW 110143472A TW 202221438 A TW202221438 A TW 202221438A
Authority
TW
Taiwan
Prior art keywords
sensing
sensing data
target area
area
moving
Prior art date
Application number
TW110143472A
Other languages
English (en)
Other versions
TWI771231B (zh
Inventor
中澤満
滝澤順
Original Assignee
日商樂天集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天集團股份有限公司 filed Critical 日商樂天集團股份有限公司
Publication of TW202221438A publication Critical patent/TW202221438A/zh
Application granted granted Critical
Publication of TWI771231B publication Critical patent/TWI771231B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00—Watering gardens, fields, sports grounds or the like
    • A01G25/16—Control of watering
    • A01G25/167—Control by humidity of the soil itself or of devices simulating soil or of the atmosphere; Soil humidity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Soil Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Communication Control (AREA)

Abstract

本發明之感測系統S基於藉由空中UAV1對下方進行遠距離感測而得之遠距離感測資料，擷取應由UGV2進行近距離感測之對象區域，進行用於使UGV2朝該擷取出之對象區域移動之移動控制。且，本發明之感測系統S取得藉由依照移動控制移動之UGV2對於對象區域之整體或一部分進行近距離感測而得之近距離感測資料。

Description

感測系統、感測資料取得方法及控制裝置
本發明係關於一種取得藉由飛行體自上空對地面進行感測而得之感測資料之系統等技術領域。
近年來，使用飛行體自上空進行攝影等感測正變得一般化。例如於專利文獻1記載有：自搭載於工業用無人直升機之攝像機拍攝農場整體取得顯示圖像與自然光之反射率之資料。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開2011‐254711號公報
[發明所欲解決之問題]
藉由如上所述般使用飛行體，可對相對較廣之範圍進行俯瞰感測。然而，對相對較窄之範圍進行精微感測之情形時，難以說使用飛行體之感測較為適宜。例如，若飛行體為自儘可能接近地面之位置進行感測而進行低空飛行，則有產生地面效應致使飛行體變得不穩定之可能性。又，雖亦可於飛行體著陸之狀態下進行感測，但於該情形時，除了飛行體之穩定性之觀點以外，基於能量消耗之觀點亦不佳。又，於飛行體自上空使用高倍率感測器進行感測之情形時，即使滯空時之稍微振動，亦會造成與倍率相應之影響，而難以實現精微之感測。
因此，提供一種可取得考慮到俯瞰感測與精微感測之雙方之優點之較佳之感測資料的感測系統、感測資料取得方法、及控制裝置。 [解決問題之技術手段]
為解決上述問題，技術方案1記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下的區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其進行用於使上述走行體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。藉此，為迅速發現並調查對象區域，可取得考慮到俯瞰感測與精微感測之雙方之優點之較佳之感測資料。
技術方案2記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的RGB圖像中與預定之適宜植物的顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其進行用於使上述行走體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。藉此，為迅速發現並調查對象區域，可取得考慮到俯瞰感測與精微感測之雙方之優點之較佳之感測資料。
技術方案3記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其進行用於使上述行走體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。藉此，為迅速發現並調查對象區域，可取得考慮到俯瞰感測與精微感測之雙方之優點之較佳之感測資料。
技術方案4記載之發明之特徵在於，於技術方案1至3中任一項記載之感測系統中，進而具備顯示控制部，其基於上述第2感測資料，使顯示終端顯示上述對象區域相關之資訊。藉此，可使管理者視覺上掌握擷取出之對象區域相關之資訊。
技術方案5記載之發明之特徵在於，於技術方案1至4中任一項記載之感測系統中，上述第2感測資料包含上述對象區域之地中之水分量、溫度、鹽分濃度、導電度、及酸性度中之至少任一者相關之資料。藉此，可更精微地觀測植物或土壤之狀態。
技術方案6記載之發明之特徵在於，於技術方案1至5中任一項記載之感測系統中，使用插入上述對象區域之地中之感測器取得上述第2感測資料。藉此，可更精微地觀測植物或土壤之狀態。
技術方案7記載之發明之特徵在於，於技術方案1至6中任一項記載之感測系統中，進而具備基於上述第2感測資料，判定上述對象區域是否發生異常之判定部。藉此，可使用考慮到俯瞰感測與精微感測之雙方之優點之感測資料，迅速且高精度地判定對象區域是否發生異常。
技術方案8記載之發明之特徵在於，於技術方案3或7記載之感測系統中，上述異常係植物、土壤、及道路中之任一者之異常。
技術方案9記載之發明之特徵在於，於技術方案8記載之感測系統中，進而具備發送部，其將上述第2感測資料發送至上述植物、上述土壤、及上述道路中之任一者之管理者具有之終端。藉此，管理者可確認第2感測資料，更詳細地調查植物、土壤、或道路是否發生異常。
技術方案10記載之發明之特徵在於，於技術方案1至9中任一項記載之感測系統中，上述控制部為使上述對象區域之整體相關之資料包含於上述第2感測資料，一面使上述行走體移動，一面使上述行走體連續複數次對上述對象區域進行感測。藉此，即使於對象區域之整體未落於例如相機之畫角之情形時，亦可就對象區域之整體獲得第2感測資料。
技術方案11記載之發明之特徵在於，於技術方案1至10中任一項記載之感測系統中，進而具備第3取得部，其於使上述行走體朝上述對象區域移動之前，取得藉由上述行走體對地面進行感測而得之第3感測資料，上述控制部基於上述第1感測資料與上述第3感測資料，進行用於使上述行走體朝上述對象區域移動之移動控制。藉此，可將行走體準確引導至對象區域。
技術方案12記載之發明之特徵在於，於技術方案11記載之感測系統中，上述控制部藉由將上述第1感測資料與上述第3感測資料進行匹配而進行用於使上述行走體朝自上述第3感測資料檢測出之上述對象區域移動的移動控制。藉此，可將行走體準確引導至對象區域。
技術方案13記載之發明之特徵在於，於技術方案1至12中任一項記載之感測系統中，於由上述擷取部擷取出上述對象區域之情形時，上述控制部於使上述行走體移動至由處於懸停狀態之上述飛行體進行之上述感測範圍內之後，基於上述第1感測資料，進行用於使上述行走體朝上述對象區域移動的移動控制。藉此，可將行走體準確引導至對象區域。
技術方案14記載之發明之特徵在於，於技術方案13記載之感測系統中，上述飛行體一面於預先確定之飛行路線移動一面進行上述感測，於由上述擷取部擷取出上述對象區域之情形時，上述控制部使上述飛行體中斷沿上述路線之移動而移行至上述懸停狀態。藉此，可將行走體更準確引導至對象區域。
技術方案15記載之發明之特徵在於，於技術方案1至13中任一項記載之感測系統中，上述對象區域與上述飛行體之間之距離大於上述對象區域與上述行走體之間之距離。
技術方案16記載之發明之特徵在於，於技術方案1至15中任一項記載之感測系統中，由上述飛行體進行之上述感測範圍較由上述行走體進行之上述感測範圍廣。
技術方案17記載之發明之特徵在於包含以下步驟：取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下的區域，作為由可於地面行走之行走體進行感測之對象區域；進行用於使上述行走體朝上述對象區域移動之移動控制；及取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。技術方案18記載之發明之特徵在於包含以下步驟：取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取上述第1感測資料中包含的RGB圖像中與預定之適宜植物的顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；進行用於使上述行走體朝上述對象區域移動之移動控制；及取得由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。技術方案19記載之發明之特徵在於包含以下步驟：取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；進行用於使上述行走體朝上述對象區域移動之移動控制；及取得由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
技術方案20記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下的區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。技術方案21記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的RGB圖像中與預定之適宜的植物之顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。技術方案22記載之發明之特徵在於具備：第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料；擷取部，其擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域；控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。 [發明之效果]
根據本發明之一實施形態，可取得考慮到俯瞰感測與精微感測之雙方之優點的較佳感測資料。
以下，參照圖式對本發明之一實施形態進行說明。
[1.感測系統S之構成] 首先，參照圖1，對本發明之一實施形態之感測系統S之構成進行說明。圖1係顯示感測系統S之概要構成例之圖。如圖1所示，感測系統S包含無人機(以下，稱為「UAV(Unmanned Aerial Vehicle)」)1、無人地面機(以下，稱為「UGV(Unmanned Ground Vehicle)」)2、及管理伺服器3而構成。UAV1及UGV2可分別經由通信網路NW與管理伺服器3之間相互通信。通信網路NW由例如網際網路、移動體通信網路及其無線基地台等構成。
另，UAV1為飛行體之一例，亦稱為無人機、或多軸飛行器。UAV1可依照操作員之遠程操縱自地面飛行、或自主飛行。又，UAV1由GCS(Ground Control Station：地面控制站)管理。GCS例如可作為應用程式搭載於由操作員操作之操縱終端，亦可由管理伺服器3等伺服器構成。
另一方面，UGV2為可無人而於地面自主行走之行走體之一例。此處，行走係指於地面(亦可包含植物上或障礙物上)移動，與飛行區分。又，移動係指當前位置按時間順序變化。UGV2可為具有複數個車輪之車輛，亦可為不具有車輪之機器人(例如雙腳步行機器人)等。
[1-1.UAV1之構成及功能] 接著，參照圖2及圖3，對UAV1之構成及功能進行說明。圖2係顯示UAV1之概要構成例之圖。如圖2所示，UAV1具備驅動部11、無線通信部12、感測器部13、測位部14、及控制部15等。圖3係顯示控制部15之功能區塊例之圖。另，雖未圖示，但UAV1具備作為水平旋轉翼之轉子(螺旋槳)、及向UAV1之各部供給電力之電池。
驅動部11具備馬達及旋轉軸等。驅動部11藉由依照自控制部15輸出之控制信號驅動之馬達及旋轉軸等使複數個轉子旋轉。無線通信部12負責控制經由通信網路NW與管理伺服器3之間進行之通信。又，無線通信部12亦可具備Bluetooth(藍牙)(注冊商標)等近距離無線通信功能。
感測器部13具備UAV1之飛行控制所需之各種感測器。各種感測器包含例如光學感測器、3軸角速度感測器、3軸加速度感測器、及地磁感測器等。向控制部15輸出由感測器部13檢測出之檢測資料。光學感測器例如由相機(RGB相機或紅外線相機)構成，亦使用於自空中對下方俯瞰地進行感測(以下，稱為「遠距離感測(第1感測之一例)」)。
此處，遠距離感測包含藉由於空中UAV1之下方拍攝可感測之範圍(例如落於相機畫角內之範圍)內之地表而觀測地表之狀態(例如植物或土壤之狀態)。另，為製作稍後敘述之地圖圖像，光學感測器亦可包含LiDAR(Light Detection and Ranging：光檢測與測距、或Laser Imaging Detection and Ranging：雷射成像檢測與測距)。
成為遠距離感測之對象之區域(以下，稱為「感測區域」)係需要自上空進行感測之較廣之區域。尤其，亦可將自地面生長之植物之修整(換言之，維護管理)較為重要之區域設為感測區域。作為感測區域之例，列舉培育草坪之高爾夫球場或球賽場、或培育農作物等之農場等。
遠距離感測例如於UAV1到達感測區域時，或一面於感測區域內外之飛行路線飛行一面進行1次以上。為提高遠距離感測之精度，可按時進間順序連續行，遠距離感測之時間間隔可為固定間隔，亦可為不定間隔。
測位部14具備電波接收機及高度感測器等。測位部14藉由電波接收機接收自例如GNSS(Global Navigation Satellite System：全球導航衛星系統)衛星發送之電波，並基於該電波而檢測UAV1之水平方向之當前位置(緯度及經度)。UAV1之當前位置係飛行中之UAV1之飛行位置。
另，UAV1之水平方向之當前位置亦可基於由光學感測器拍攝之圖像或自上述無線基地台發送之電波進行修正。向控制部15輸出由測位部14檢測出之顯示當前位置之位置資訊。再者，測位部14亦可藉由氣壓感測器等高度感測器檢測UAV1之垂直方向之當前位置(高度)。於該情形時，位置資訊包含顯示UAV1之高度之高度資訊。
控制部15具備作為處理器之CPU(Central Processing Unit：中央處理單元)、ROM(Read Only Memory：唯讀記憶體)、RAM(Random Access Memory：隨機存取記憶體)、及非揮發性記憶體等。控制部15依照例如記憶於ROM或非揮發性記憶體之程式(程式碼群)，如圖3所示，作為感測控制部15a、感測資料取得部15b(第1取得部之一例)、及飛行控制部15c發揮功能。另，控制部15使無線通信部12於UAV1飛行過程中，將UAV1之位置資訊及飛行體ID逐次發送至管理伺服器3(或經由GCS發送至管理伺服器3)。該飛行體ID為可識別UAV1之識別資訊。
感測控制部15a控制由感測器部13進行之遠距離感測之時序。遠距離感測之時序可由上述程式預先規定，亦可由來自GCS或管理伺服器3之感測控制命令顯示。
感測資料取得部15b取得藉由遠距離感測而得之遠距離感測資料(第1感測資料之一例)。遠距離感測資料由無線通信部12發送至管理伺服器3，用於擷取應由UGV2進行感測之對象區域。作為該對象區域之一例，列舉UAV1下方發生植物或土壤異常之可能性較高之區域。
此處，「於UAV1之下方」意為「遠距離感測時UAV1之下方之區域」。此係因為於UAV1之遠距離感測時，即使為UAV1之下方，亦有UAV1於進行對象區域擷取之時點正在移動之可能性。遠距離感測資料可為自感測器部13輸出之原始檢測資料，亦可為基於該輸出之原始檢測資料進行解析處理後之資料。
又，遠距離感測資料係例如構成地表之RGB圖像、植被覆蓋度圖像、及熱圖像(溫度分佈圖像)等中之至少1者之地圖圖像之資料。此處，植被覆蓋度圖像係將草坪或農作物等植物之有無及多少進行顏色區分並顯示之圖像。覆蓋度(植被覆蓋度)亦可由NDVI(Normalized Difference Vegetation Index：歸一化差值植被指數)表示。
NDVI係顯示植物之健康狀態、與可見域至近紅外域之各波長之反射率之關係之值(指標)。例如，因植物具有吸收可見域之電波，另一方面，較強地反射近紅外域之電波之特性，故NDVI越高意為越健康之狀態。將位置資訊與上述地圖圖像之各像素值(例如相當於RGB值、覆蓋度、或溫度，該等為測定值)建立對應。該位置資訊(即，遠距離感測資料之位置資訊)由例如顯示UAV1之水平方向之當前位置之位置資訊、及SLAM(Simultaneous Localization and Mapping：同時定位與地圖構建)處理(同時進行地圖產生與自身位置推定之處理)而特定。
飛行控制部15c進行用於使UAV1於感測區域內外飛行之飛行控制。於該飛行控制中，使用來自感測器部13之檢測資料、來自測位部14之位置資訊、及來自管理伺服器3之飛行控制資訊等，進行轉子之轉速控制、UAV1之位置、姿勢及行進方向之控制。此處，飛行控制資訊包含例如沿著飛行路線之飛行命令。飛行路線例如由管理伺服器3預先確定。UAV1可根據飛行控制資訊，一面於飛行路線飛行一面進行遠距離感測。
另，使UAV1飛行包含使UAV1懸停。此處，懸停不限定於使UAV1於空中完全靜止，UAV1亦可發生稍許移動(即朝水平方向、垂直方向、或斜向移動)(即UAV1只要不著陸而於空中懸浮即可)。
藉由飛行控制部15c，可使UAV1於感測區域內外受遠程操縱或自主飛行。另，UAV1之自主飛行並非限定於由飛行控制部15c進行飛行控制之自主飛行，UAV1之自主飛行亦包含例如作為感測系統S整體進行飛行控制之自主飛行。
[1-2.UGV2之構成及功能] 接著，參照圖4～圖6，對UGV2之構成及功能進行說明。圖4係顯示UGV2之概要構成例之圖。如圖4所示，UGV2具備驅動部21、無線通信部22、感測器部23、測位部24、及控制部25等。圖5係顯示控制部25之功能區塊例之圖。另，雖未圖示，但UGV2具備向UGV2之各部供給電力之電池。 驅動部21具備馬達及旋轉軸等。驅動部21藉由依照自控制部25輸出之控制信號驅動之馬達及旋轉軸等使複數個車輪旋轉。無線通信部22負責控制經由通信網路NW與管理伺服器3之間進行之通信。又，無線通信部22亦可具備Bluetooth(注冊商標)等近距離無線通信功能。
感測器部23具備UGV2之移動控制所需之各種感測器。各種感測器包含例如光學感測器。向控制部25輸出由感測器部23檢測出之檢測資料。光學感測器由例如相機構成，亦使用於對基於遠距離感測資料擷取出之對象區域之整體或一部分進行精微感測(以下，稱為「近距離感測(第2感測之一例)」)。
此處，近距離感測包含藉由拍攝可感測之範圍內之對象區域之地表而觀測地表之狀態(例如植物或土壤之狀態)。另，為製作地圖圖像，光學感測器亦可包含LiDAR。圖6係顯示由UAV1進行之遠距離感測之範圍(即可感測之範圍)、與由UGV2進行之近距離感測之範圍之關係之圖。如圖6所示，於感測區域(例如高爾夫球場)A1中進行之遠距離感測之範圍R1較於對象區域A2中進行之近距離感測之範圍R2廣。
又，於圖6之例中，雖近距離感測之範圍R2較對象區域A2廣(即，於近距離感測之範圍R2內包含有對象區域A2)，但亦有近距離感測之範圍R2較對象區域A2窄(例如對象區域A2之整體未落於相機之畫角內)之情形。於該情形時，可藉由連續複數次對對象區域A2進行近距離感測而對對象區域A2整體進行感測。另，例如於近距離感測之時點，對象區域A1與UAV1之間之距離大於(長於)對象區域A2與UGV2之間之距離。
又，感測器部23亦可包含土壤感測器。於該情形時，近距離感測包含測量對象區域之地中之水分量(含水量)、溫度、鹽分濃度、導電度、及酸性度中之至少任一者。可藉由該近距離感測精微地觀測植物或土壤之狀態。又，UGV2中具備用於將土壤感測器插入對象區域之地中之臂(例如油壓臂)。該臂由驅動部21驅動。
近距離感測例如於UGV2到達對象區域附近或對象區域內時進行1次以上。為提高近距離感測之精度，可按時間順序連續進行，近距離感測之時間間隔可為固定間隔，亦可為不定間隔。
另，亦可於UGV2朝對象區域移動之前，由光學感測器進行地面感測。將該感測稱為「地面感測(第3感測之一例)」。
測位部24具備電波接收機等。測位部24例如藉由電波接收機接收自GNSS衛星發送之電波，基於該電波檢測UGV2之當前位置(緯度及經度)。另，UGV2之當前位置除自GNSS衛星發送之電波以外，亦可由SLAM處理而特定。又，UGV2之當前位置亦可基於由光學感測器拍攝之圖像修正。向控制部25輸出由測位部24檢測出之顯示當前位置之位置資訊。
控制部25具備CPU、ROM、RAM、及非揮發性記憶體等。控制部25例如依照記憶於ROM或非揮發性記憶體之程式(程式碼群)，如圖5所示，作為感測控制部25a、感測資料取得部25b(第2取得部及第3取得部之一例)、及移動控制部25c發揮功能。另，控制部25使無線通信部22將UGV2之位置資訊及飛行體ID逐次發送至管理伺服器3。該飛行體ID為可識別UGV2之識別資訊。
感測控制部25a控制由感測器部23進行之近距離感測及地面感測各者之時序。近距離感測及地面感測之時序可由上述程式預先規定，亦可由來自管理伺服器3之感測控制命令顯示。
感測資料取得部25b取得藉由近距離感測而得之近距離感測資料(第2感測資料之一例)。近距離感測資料由無線通信部22發送至管理伺服器3，例如，用於判定在基於遠距離感測資料擷取出之對象區域中是否發生異常。近距離感測資料可為自感測器部23輸出之原始檢測資料，亦可為基於該輸出之原始檢測資料進行解析處理後之資料。
又，近距離感測資料亦可為構成對象區域之地表之RGB圖像、植被覆蓋度圖像、及熱圖像等中之至少1者之地圖圖像之資料。將位置資訊與該地圖圖像之各像素值(例如相當於RGB值、覆蓋度、或溫度)建立對應。該位置資訊(即，近距離感測資料之位置資訊)例如由顯示UGV2之當前位置之位置資訊、及SLAM處理而特定。
又，於感測器部23中包含土壤感測器之情形時(即，使用插入地中之土壤感測器取得近距離感測資料之情形)，該近距離感測資料中包含對象區域之地中之水分量、溫度、鹽分濃度、導電率、及酸性度中之至少任一者相關之資料。可將上述位置資訊與該資料建立對應。另，感測資料取得部25b亦可取得藉由地面感測而得之地面感測資料(第3感測資料之一例)。由無線通信部22向管理伺服器3發送地面感測資料。
移動控制部25c進行用於使UGV2朝對象區域移動之移動控制。於該移動控制中，使用來自感測器部23之檢測資料、來自測位部24之位置資訊、及來自管理伺服器3之移動控制資訊等，進行車輪之轉速控制、UGV2之位置及行進方向之控制。此處，移動控制資訊包含例如使UGV2朝對象區域移動之移動命令。藉由移動控制部25c，可使UGV2朝對象區域移動。且，依照移動控制移動之UGV2可藉由感測器部23對對象區域之整體或一部分進行感測。
[1-3.管理伺服器3之構成及功能] 接著，參照圖7及圖8，對管理伺服器3之構成及功能進行說明。圖7係顯示管理伺服器3之概要構成例之圖。如圖7所示，管理伺服器3具備通信部31、記憶部32、及控制部33等。圖8係顯示控制部33之功能區塊例之圖。通信部31負責控制經由通信網路NW，與UAV1及UGV2各者之間進行之通信。由通信部31接收自UAV1發送之遠距離感測資料、UAV1之位置資訊及飛行體ID。管理伺服器3可根據UAV1之位置資訊辨識UAV1之當前位置。
又，由通信部31接收自UGV2發送之近距離感測資料、地面感測資料、UGV2之位置資訊及飛行體ID。管理伺服器3可藉由UGV2之位置資訊辨識UGV2之當前位置。記憶部32具備例如硬碟驅動器等。於記憶部32設置感測資料庫(DB：Database)32a。
於感測資料庫32a中，將感測區域之位置資訊、藉由該感測區域之遠距離感測而得之遠距離感測資料、進行該遠距離感測之UAV1之飛行體ID、自該感測區域擷取出之對象區域之位置資訊、藉由該對象區域之近距離感測而得之近距離感測資料、及進行該近距離感測之UGV2之行走體ID等與每個對象區域建立對應並存儲。此處，感測區域之位置資訊可為顯示該感測區域之外緣之緯度及經度者。同樣地，對象區域之位置資訊可為顯示該對象區域之外緣之緯度及經度者。另，亦可將該感測區域相關之管理者等之認證用資訊(ID及密碼)及電子郵寄地址與感測區域之位置資訊建立對應並記憶於記憶部32。
控制部33具備作為處理器之CPU、ROM、RAM、及非揮發性記憶體等。控制部33例如依照記憶於ROM或非揮發性記憶體之程式(程式碼群)，如圖8所示，作為感測資料取得部33a(第1取得部、第2取得部、及第3取得部之一例)、對象區域擷取部33b(擷取部之一例)、機體控制部33c、異常判定部33d(判定部之一例)、及資訊提供部33e(顯示控制部、及發送部之一例)等發揮功能。
感測資料取得部33a經由通信部31取得自UAV1發送之遠距離感測資料。又，感測資料取得部33a經由通信部31取得自UGV2發送之近距離感測資料。又，感測資料取得部33a經由通信部31取得自UGV2發送之地面感測資料。
對象區域擷取部33b基於由感測資料取得部33a取得之遠距離感測資料，擷取由UGV2進行感測之對象區域。例如，對象區域擷取部33b基於遠距離感測資料，擷取於UAV1下方之區域發生異常之可能性較高之區域(異常候補區域)作為對象區域。此種對象區域亦可基於遠距離感測資料所包含之植被覆蓋度圖像之覆蓋度而擷取。藉此，可迅速發現發生植物之異常之可能性較高之區域。例如，於植被覆蓋度圖像中擷取覆蓋度為閾值以下之區域作為對象區域。
或者，該對象區域亦可基於遠距離感測資料所包含之RGB圖像之RGB值而擷取。例如，擷取RGB圖像中與預定適宜之植物顏色(RGB值)之差異為閾值以上之區域作為對象區域。或者，該對象區域亦可基於遠距離感測資料所包含之熱圖像之溫度而擷取。例如，擷取熱圖像中與預定適宜溫度之差異為閾值以上之區域作為對象區域。另，亦可基於植被覆蓋度圖像之覆蓋度、RGB圖像之RGB值、及熱圖像之溫度中之任意2者以上之測定值擷取對象區域。
機體控制部33可進行用於使UAV1於感測區域內外飛行之飛行控制。例如，機體控制部33c藉由由通信部31將飛行控制資訊發送至UAV1而控制UAV1之飛行。又，機體控制部33c可進行用於使UGV2朝由對象區域擷取部33b擷取出對象區域之對象區域移動之移動控制。例如，機體控制部33c藉由由通信部31將移動控制資訊發送至UGV2而控制UGV2之移動。
UGV2之移動控制可基於UAV1之位置資訊、與來自UAV1之遠距離感測資料(例如RGB圖像)進行。例如，機體控制部33c於使UGV2朝由對象區域擷取部33b擷取出之對象區域移動之前，基於UAV1之位置資訊，使UGV2移動至由UAV1進行之遠距離感測之範圍(例如UAV1之相機之攝影範圍)。即，機體控制部33c使UGV2移動至一定程度上接近UAV1為止。此時，藉由感測資料取得部33a取得由UAV1進行遠距離感測而得之遠距離感測資料、與由UGV2進行地面感測而得之地面感測資料。
機體控制部33c基於此時取得之遠距離感測資料與地面感測資料，進行使UGV2朝對象區域移動之移動控制。例如，機體控制部33c藉由匹配遠距離感測資料與地面感測資料而進行用於使UGV2朝自地面感測資料檢測出之對象區域移動之移動控制。藉此，可將UGV2更準確地引導至對象區域。
另，遠距離感測資料與地面感測資料之匹配藉由以下而進行：例如自地面感測資料所包含之地圖圖像擷取與遠距離感測資料包含之地圖圖像(例如RGB圖像)中之若干特徵點中之各者對應之特徵點(例如匹配度最大之特徵點)。另，UAV1亦可藉由UGV2將相機自藉由相機觀察之一側朝向對象區域進行遠距離感測(例如攝像)，而更容易地進行匹配。
又，於由對象區域擷取部33b擷取出對象區域之情形時，機體控制部33c可進行使UAV1中斷移動(例如沿著飛行路線之移動)並移行至懸停狀態之控制。例如，對象區域擷取部33b使UAV1於對象區域之上空懸停。且，機體控制部33c使UGV2移動至由處於懸停狀態之UAV1進行之遠距離感測之範圍(例如UAV1之相機之攝影範圍)內。另，亦可使UGV2移動至UAV1之正下方附近。
之後，機體控制部33c基於遠距離感測資料，進行用於使UGV2朝對象區域移動之移動控制。例如，機體控制部33c自遠距離感測資料(例如RGB圖像)連續取得UGV2與對象區域之位置關係，使UGV2朝對象區域移動，且上述遠距離感測資料自UAV1連續接收複數次而得。藉此，可將UGV2更準確地引導至對象區域。
又，於UGV2藉由相機進行近距離感測之情形時，於對象區域之整體未落於相機之畫角之情形時，機體控制部33c為了使該對象區域之整體相關之資料(例如，包含對象區域之整體之地圖圖像)包含於近距離感測資料內，可以一面使UGV2移動，一面使該UGV2連續複數次對對象區域進行近距離感測之方式控制。藉此，即使於對象區域之整體未落於相機畫角內之情形時，亦可就對象區域之整體獲得近距離感測資料(例如複數張靜止圖像或動態圖像)。
另，對象區域之整體是否落於相機畫角內之判定可由控制部33進行，亦可由UGV2進行。於由控制部33進行該判定之情形時，機體控制部33c以對象區域之整體相關之資料包含於近距離感測資料內之方式決定行走路線，由通信部31向UGV2發送包含沿著該決定之行走路線之移動命令及近距離感測之執行命令之移動控制資訊。另一方面，於由UGV2進行該判定之情形時，UGV2亦可不自機體控制部33c接收上述命令，而以對象區域之整體相關之資料包含於近距離感測資料內之方式，一面自主移動，一面連續複數次對該對象區域進行感測。
異常判定部33d基於由感測資料取得部33a取得之近距離感測資料，判定由對象區域擷取部33b擷取出之對象區域是否發生異常。即，確定地判斷由對象區域擷取部33b擷取出之對象區域是否發生異常。例如，亦可基於近距離感測資料，進行更高精度之異常判定，而判定對象區域是否發生異常。
於更高精度之異常判定中，例如可使用機械學習。於該情形時，使用藉由輸入近距離感測資料，輸出有無發生異常之訓練資料學習之已學習完畢模型。異常判定部33d將由UGV2進行近距離感測而得之近距離感測資料輸入至該已學習模型，藉此，可輸出該近距離感測之對象區域是否發生異常。藉此，異常判定部33d可判定對象區域是否發生異常。另，亦可藉由機械學習以外之解析算法判定對象區域是否發生異常。
資訊提供部33e於該管理者通過植物及土壤中之任一者之管理者具有之管理者終端藉由自身之認證用資訊登錄之後，經由通信部31向該管理者終端發送由感測資料取得部33a取得之近距離感測資料。藉此，管理者可確認近距離感測資料，更詳細地調查植物(例如草坪或農作物等)是否發生疾病。管理者可依照調查結果，指示例如施藥、施肥、施水、施砂、或除草等適當之處置。此處，於感測區域為高爾夫球場之情形時，管理者為例如草坪管理者。或者，於感測區域為農場之情形時，管理者為例如農作物等之管理者(生產者)。另，如上所述，將藉由UGV2連續複數次對對象區域進行近距離感測而得之包含複數張靜止圖像或動態圖像之近距離感測資料發送至管理者終端。
又，資訊提供部33e亦可藉由將基於由感測資料取得部33a取得之近距離感測資料，由對象區域擷取部33b擷取出之對象區域相關之資訊發送至顯示終端而予以顯示。藉此，可使管理者視覺上掌握擷取出之對象區域相關之資訊。另，顯示終端可為管理者終端，亦可為感測區域之使用者或工作者使用之終端。又，對象區域相關之資訊亦可為例如對象區域之地圖圖像(例如RGB圖像、植被覆蓋度圖像、或熱圖像)。亦可於該地圖圖像上重疊顯示地圖區域(例如高爾夫球場之名稱)或對象區域之名稱及位置資訊等。
[2.感測系統S之動作] 接著，對感測系統S之動作，分為實施例1～實施例5進行說明。另，於感測系統S之動作中，管理伺服器3將遠距離感測使用之UAV1之飛行體ID、與近距離感測使用之UGV2之行走體ID建立對應而管理。且，UAV1於飛行過程中，將自身之位置資訊及飛行體ID逐次發送至管理伺服器3，UGV2於行走過程中，將自身之位置資訊及行走體ID逐次發送至管理伺服器3。
(實施例1) 首先，參照圖9，對感測系統S之動作之實施例1進行說明。圖9係顯示實施例1中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。圖9中，管理伺服器3將包含沿著通往感測區域之飛行路線之飛行命令之飛行控制資訊經由通信網路NW發送至UAV1(步驟S1)。
接著，UAV1取得(接收)來自管理伺服器3之飛行控制資訊後，沿著通往感測區域之飛行路線開始飛行(步驟S2)。接著，UAV1到達感測區域之上空後(步驟S3)，啟動感測器部13開始遠距離感測，取得藉由對UAV1之下方進行遠距離感測而得之遠距離感測資料(步驟S4)。另，遠距離感測可由UAV1一面移動一面進行，亦可由其一面懸停一面進行。接著，UAV1將由步驟S4取得之遠距離感測資料及UAV1之飛行體ID經由通信網路NW發送至管理伺服器3(步驟S5)。
接著，管理伺服器3取得來自UAV1之遠距離感測資料及飛行體ID後，基於該遠距離感測資料，擷取由UGV2進行感測之對象區域(步驟S6)。該UGV2例如基於和與遠距離感測資料一起自管理伺服器3取得之飛行體ID建立對應之行走體ID而特定。接著，管理伺服器3將包含向由步驟S6擷取出之對象區域移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2(步驟S7)。該移動控制資訊包含上述擷取出之對象區域之位置資訊。
接著，UGV2取得來自管理伺服器3之移動控制資訊後，開始朝對象區域移動(步驟S8)。接著，UGV2到達對象區域之附近或對象區域內(步驟S9)後，啟動感測器部23開始近距離感測，取得藉由對對象區域之整體或一部分進行近距離感測而得之近距離感測資料(步驟S10)。接著，UGV2將由步驟S10取得之近距離感測資料及UGV2之行走體ID經由通信網路NW發送至管理伺服器3(步驟S11)。
接著，管理伺服器3取得來自UGV2之近距離感測資料及行走體ID後，基於該近距離感測資料，判定由步驟S6擷取出之對象區域中是否發生異常(步驟S12)。判定為對象區域未發生異常之情形時(步驟S12：否(NO))，結束處理。
另一方面，判定為對象區域發生異常之情形時(步驟S12：是(YES))，將記述用於存取由步驟S6擷取出之對象區域相關之資訊(例如對象區域之地圖圖像)之URL(Uniform Resource Locator：統一資源定位器)之電子郵件發送至上述感測區域相關之管理者之電子郵寄地址(步驟S13)。如此發送之電子郵件由管理者之管理者終端接收並顯示。且，藉由指定電子郵件所記述之URL而由管理者終端顯示對象區域相關之資訊。
(實施例2) 接著，參照圖10，對感測系統S之動作之實施例2進行說明。實施例2係基於由管理伺服器3進行之遠距離感測資料與地面感測資料之匹配結果，使UGV2朝對象區域移動之情形之例。圖10係顯示實施例2中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。另，圖10所示之步驟S21～S26之處理與圖9所示之步驟S1～步驟S6之處理同樣。於步驟S27中，管理伺服器3基於UAV1之位置資訊與UGV2之位置資訊，決定UGV2進入由UAV1進行之遠距離感測之範圍(例如UAV1之相機之攝影範圍)內之地點。接著，管理伺服器3將包含向由步驟S27決定之地點移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2(步驟S28)。該移動控制資訊包含上述決定之地點之位置資訊。
接著，UGV2取得來自管理伺服器3之移動控制資訊後，開始朝上述地點移動(步驟S29)。接著，UGV2到達該移動控制資訊所示之地點後(步驟S30)，啟動感測器部23開始地面感測，取得藉由地面感測而得之地面感測資料(步驟S31)。接著，UGV2將由步驟S31取得之地面感測資料及UGV2之行走體ID經由通信網路NW發送至管理伺服器3(步驟S32)。
接著，管理伺服器3取得地面感測資料及行走體ID後，將遠距離感測資料與地面感測資料進行匹配，自地面感測資料檢測由步驟S26擷取出之對象區域(步驟S33)。接著，管理伺服器3將包含向由步驟S33檢測出之對象區域移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2(步驟S34)。另，圖10所示之步驟S35～S40之處理與圖9所示之步驟S8～S13之處理同樣。
(實施例3) 接著，參考圖11，對感測系統S之動作之實施例3進行說明。實施例3係基於由UGV2進行之遠距離感測資料與地面感測資料之匹配結果，使UGV2朝對象區域移動之情形之例。圖11係顯示實施例3中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。另，圖11所示之步驟S51～S57之處理與圖10所示之步驟S21～步驟S27之處理同樣。步驟S58中，管理伺服器3將顯示包含由步驟S56擷取出之對象區域之遠距離感測資料、與經由由步驟S57決定之地點向對象區域移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2。該移動控制資訊包含上述決定之地點之位置資訊。
接著，UGV2取得來自管理伺服器3之遠距離感測資料及移動控制資訊後，開始朝上述地點移動(步驟S59)。接著，UGV2到達該移動控制資訊所示之地點(步驟S60)後，啟動感測器部23開始地面感測，並取得藉由地面感測而得之地面感測資料(步驟S61)。接著，UGV2將自管理伺服器3取得之遠距離感測資料、與由步驟S61取得之地面感測資料進行匹配，自地面感測資料檢測該遠距離感測資料所示之對象區域(步驟S62)。接著，UGV2一面進行地面感測，一面開始朝自地面感測資料檢測出之對象區域移動(步驟S63)。另，圖11所示之步驟S64～S68之處理與圖10所示之步驟S36～步驟S40之處理同樣。
(實施例4) 接著，參照圖12，對感測系統S之動作之實施例4進行說明。實施例4係基於由管理伺服器3特定出之對象區域與UGV2之位置關係，使UGV2朝對象區域移動之情形之例。圖12係顯示實施例4中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。另，圖12所示之步驟S71～S76之處理與圖9所示之步驟S1～步驟S6之處理同樣。於步驟S77中，管理伺服器3將包含向由步驟S76擷取出之對象區域飛行之飛行命令之飛行控制資訊經由通信網路NW發送至UAV1。
接著，UAV1取得來自管理伺服器3之飛行控制資訊後，開始朝對象區域飛行(步驟S78)。接著，UAV1到達對象區域之上空(步驟S79)後，UAV1於該對象區域之上空中斷移動並移行至懸停狀態(步驟S80)。接著，UAV1將藉由進行遠距離感測而得之遠距離感測資料及飛行體ID經由通信網路NW發送至管理伺服器3(步驟S81)。該遠距離感測資料連續地重複發送至管理伺服器3。
接著，管理伺服器3取得來自UAV1之遠距離感測資料及飛行體ID後，基於處於懸停狀態之UAV1之位置資訊、及UGV2之位置資訊，決定UGV2進入由UAV1進行之遠距離感測之範圍(例如UAV1之相機之攝影範圍)內之地點(步驟S82)。接著，管理伺服器3將包含向由步驟S82決定之地點移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2(步驟S83)。
接著，UGV2取得來自管理伺服器3之移動控制資訊後，開始朝上述地點移動(步驟S84)。於UGV2朝該地點移動之期間，由管理伺服器3連續地重複接收來自UAV1之遠距離感測資料。
接著，管理伺服器3藉由使UGV2進入由UAV1進行之遠距離感測之範圍，而由自UAV1連續接收到之遠距離感測資料檢測出UGV2後，基於該遠距離感測資料特定(取得)UGV2與對象區域之位置關係(步驟S85)。該位置關係顯示例如以UGV2為基準之對象區域之方位角、及UGV2與區域距離之間之距離。接著，管理伺服器3將包含向由步驟S76擷取出之對象區域移動之移動命令之移動控制資訊經由通信網路NW發送至UGV2(步驟S86)。該移動控制資訊亦可包含顯示時時刻刻變化之上述位置關係之資訊，將上述資訊連續重複發送至UGV2，直至UGV2到達對象區域為止。
接著，UGV2取得來自管理伺服器3之移動控制資訊後，基於该UGV2與對象區域之位置關係，開始朝對象區域移動(步驟S87)。即，UGV2向该位置關係所示之方位角移動该位置關係所示之距離。另，UGV2亦可依照自管理伺服器3重複接收到之移動控制資訊中時时刻刻變化之上述位置關係，朝對象區域移動直至到達對象區域為止。另，圖12所示之步驟S88～S92之處理與圖9所示之步驟S9～S13之處理同樣。
(實施例5) 接著，参照圖13，對感測系統S之動作之實施例5進行說明。實施例5係基於由UAV1特定出之對象區域與UGV2之位置關係，使UGV2朝對象區域移動之情形之例。圖13係顯示實施例5中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。另，圖13所示之步驟S101～S114之處理與圖12所示之步驟S71～步驟S84之處理同樣。
UAV1藉由UGV2進入遠距離感測之範圍，而自遠距離感測資料檢測出UGV2後，基於該遠距離感測資料特定UGV2與對象區域之位置關係(步驟S115)。接著，UAV1藉由近距離無線通信功能將包含向由步驟S107取得之飛行控制資訊所示之對象區域移動之移動命令之移動控制資訊發送至UGV2(步驟S116)。該移動控制資訊中亦可包含顯示時時刻刻變化之上述位置關係之資訊，將上述資訊連續重複發送至UGV2，直至UGV2到達對象區域為止。
接著，UGV2取得來自UAV1之移動控制資訊後，基於該UGV2與對象區域之位置關係，開始朝對象區域移動(步驟S117)。另，UGV2亦可依照自UAV1重複接收到之移動控制資訊中時時刻刻變化之上述位置關係，朝對象區域移動直至到達對象區域為止。另，圖13所示之步驟S118～S122之處理與圖12所示之步驟S88～S92之處理同樣。
如以上所說明，根據上述實施形態，因感測系統S如下地構成，故為了迅速發現並調查對象區域，可取得考慮到俯瞰之遠距離感測與精微之近距離感測之雙方之優點之適宜之感測資料，上述構成為：基於藉由空中UAV1對下方進行遠距離感測而得之遠距離感測資料擷取應由UGV2進行近距離感測之對象區域，進行用於使UGV2朝該對象區域移動之移動控制，取得由依照該移動控制移動之UGV2對對象區域之整體或一部分進行近距離感測而得之近距離感測資料。
即，根據本實施形態，藉由UAV1之俯瞰之遠距離感測可迅速發現UAV1之下方例如發生異常之可能性較高之對象區域，之後，藉由UGV2之精微之近距離感測可詳細地調查該對象區域。因此，因UAV1無需一面進行低空飛行一面對下方進行感測，故可防止由於地面效應致使UAV1變得不穩定。又，因亦無需於UAV1著陸之狀態下對周圍進行感測，故可防止UAV1變得不穩定，且抑制用於UAV1之起飛著陸之能量(電池或燃料)之消耗。再者，因UAV1亦可不自上空使用高倍率之感測器進行感測，故可避免由於UAV1之振動等對感測造成之不良影響。再者，根據本實施形態，可使用考慮到俯瞰感測與精微感測之雙方之優點之感測資料，迅速且高精度地判定對象區域是否發生異常。
另，上述實施形態係本發明之一實施形態，本發明並非限定於上述實施形態者，亦可於不脫離本發明之主旨之範圍內自上述實施形態對各種構成等施加變更，該情形亦包含於本發明之技術範圍內。於上述實施形態中，雖假設管理高爾夫球場之草坪或管理農場之農作物等，但除該等管理以外，本發明亦較佳地應用於自相對較廣之範圍發現發生異常之部位。例如，本發明亦可應用於道路之管理等。於該情形時，例如，擷取道路中發生裂縫之可能性較高之區域、或道路中發生閾值以上之傾斜或凹凸之可能性較高之區域作為對象區域。又，於上述實施形態中，雖作為飛行體，以載人飛機為例進行說明，但飛行體亦可應用於即使機內不存在操縱者(飛行員)亦可飛行之載人飛機。
又，於上述實施形態中，雖顯示了將感測資料取得部33a、對象區域擷取部33b、機體控制部33c、異常判定部33d、及資訊提供部33e備置於管理伺服器3之控制部33之情形之例，但該等構成要件之全部或一部分可備置於UAV1之控制部15或UGV2之控制部25。例如，UAV1之控制部15可基於遠距離感測資料擷取應進行近距離感測資料之對象區域，並藉由近距離無線通信功能將上述之移動控制資訊發送至UGV2，藉此進行用於使UGV2朝該對象區域移動之移動控制。又，UAV1之控制部15可自UGV2或管理伺服器3取得近距離感測資料，並基於該近距離感測資料判定對象區域中是否發生異常。又，UAV1之控制部15可將近距離感測資料發送至管理者終端，亦可基於該近距離感測資料使顯示終端顯示對象區域相關之資訊。或者，UGV2之控制部25亦可自UAV1或管理伺服器3取得遠距離感測資料，基於該遠距離感測資料擷取應進行近距離感測資料之對象區域，並進行用於使UGV2朝該對象區域移動之移動控制。又，UGV2之控制部25亦可基於近距離感測資料判定該對象區域是否發生異常。又，UGV2之控制部25可將近距離感測資料發送自至管理者終端，亦可基於該近距離感測資料使顯示終端顯示對象區域相關之資訊。
1:UAV 2:UGV 3:管理伺服器 11:驅動部 12:無線通信部 13:感測器部 14:測位部 15:控制部 15a:感測控制部 15b:感測資料取得部 15c:飛行控制部 21:驅動部 22:無線通信部 23:感測器部 24:測位部 25:控制部 25a:感測控制部 25b:感測資料取得部 25c:移動控制部 31:通信部 32:記憶部 32a:資料庫 33:控制部 33a:感測資料取得部 33b:對象區域擷取部 33c:機體控制部 33d:異常判定部 33e:資訊提供部 A1:對象區域 A2:對象區域 NW:通信網路 R1:遠距離感測之範圍 R2:近距離感測之範圍 S:感測系統 S1～S13:步驟 S21～S40:步驟 S51～S68:步驟 S71～S92:步驟 S101～S122:步驟
圖1係顯示感測系統S之概要構成例之圖。 圖2係顯示UAV1之概要構成例之圖。 圖3係顯示控制部15之功能區塊例之圖。 圖4係顯示UGV2之概要構成例之圖。 圖5係顯示控制部25之功能區塊例之圖。 圖6係顯示由UAV1進行之遠距離感測之範圍、與由UGV2進行之近距離感測之範圍之關係之圖。 圖7係顯示管理伺服器3之概要構成例之圖。 圖8係顯示控制部33之功能區塊例之圖。 圖9係顯示實施例1中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。 圖10係顯示實施例2中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。 圖11係顯示實施例3中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。 圖12係顯示實施例4中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。 圖13係顯示實施例5中於UAV1、UGV2、及管理伺服器3之間執行之處理之一例之順序圖。
1:UAV
2:UGV
3:管理伺服器
S1~S13:步驟

Claims (22)

  1. 一種感測系統，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下之區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其進行用於使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  2. 一種感測系統，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的RGB圖像中與預定之適宜植物的顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其進行用於使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  3. 一種感測系統，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其進行用於使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  4. 如請求項1至3中任一項之感測系統，其進而具備：顯示控制部，其基於上述第2感測資料，使顯示終端顯示上述對象區域相關之資訊。
  5. 如請求項1至3中任一項之感測系統，其中上述第2感測資料包含上述對象區域之地中之水分量、溫度、鹽分濃度、導電度、及酸性度中之至少任一者相關之資料。
  6. 如請求項1至3中任一項之感測系統，其中使用插入上述對象區域之地中之感測器取得上述第2感測資料。
  7. 如請求項1至3中任一項之感測系統，其進而具備基於上述第2感測資料，判定上述對象區域是否發生異常之判定部。
  8. 如請求項7之感測系統，其中上述異常係植物、土壤、及道路中之任一者之異常。
  9. 如請求項8之感測系統，其進而具備發送部，其將上述第2感測資料發送至上述植物、上述土壤、及上述道路中之任一者之管理者具有之終端。
  10. 如請求項1至3中任一項之感測系統，其中上述控制部為使上述對象區域整體相關之資料包含於上述第2感測資料內，一面使上述行走體移動，一面使上述行走體連續對上述對象區域進行複數次感測。
  11. 如請求項1至3中任一項之感測系統，其進而具備第3取得部，其於使上述行走體朝上述對象區域移動之前，取得藉由上述行走體對地面進行感測而得之第3感測資料， 上述控制部基於上述第1感測資料與上述第3感測資料，進行用於使上述行走體朝上述對象區域移動之移動控制。
  12. 如請求項11之感測系統，其中上述控制部藉由將上述第1感測資料與上述第3感測資料進行匹配，而進行用於使上述行走體朝自上述第3感測資料檢測出之上述對象區域移動之移動控制。
  13. 如請求項1至3中任一項之感測系統，其中於由上述擷取部擷取出上述對象區域之情形時，上述控制部於使上述行走體移動至由處於懸停狀態之上述飛行體進行之上述感測範圍內之後，基於上述第1感測資料，進行用於使上述行走體朝上述對象區域移動之移動控制。
  14. 如請求項13之感測系統，其中上述飛行體一面於預先確定之飛行路線移動一面進行上述感測， 於由上述擷取部擷取出上述對象區域之情形時，上述控制部使上述飛行體中斷沿上述路線之移動而移行至上述懸停狀態。
  15. 如請求項1至3中任一項之感測系統，其中上述對象區域與上述飛行體之間之距離大於上述對象區域與上述行走體之間之距離。
  16. 如請求項1至3中任一項之感測系統，其中由上述飛行體進行之上述感測範圍較由上述行走體進行之上述感測範圍廣。
  17. 一種感測資料取得方法，其特徵在於包含以下步驟： 取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下的區域，作為由可於地面行走之行走體進行感測之對象區域； 進行用於使上述行走體朝上述對象區域移動之移動控制；及 取得由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  18. 一種感測資料取得方法，其特徵在於包含以下步驟： 取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取上述第1感測資料中包含的RGB圖像中與預定之適宜植物的顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 進行用於使上述行走體朝上述對象區域移動之移動控制；及 取得由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  19. 一種感測資料取得方法，其特徵在於包含以下步驟： 取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 進行用於使上述行走體朝上述對象區域移動之移動控制；及 取得由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  20. 一種控制裝置，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的植被覆蓋度圖像中覆蓋度為閾值以下的區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  21. 一種控制裝置，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的RGB圖像中與預定之適宜的植物之顏色之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
  22. 一種控制裝置，其特徵在於具備： 第1取得部，其取得藉由空中飛行體對下方進行感測而得之第1感測資料； 擷取部，其擷取上述第1感測資料中包含的熱圖像中與預定之適宜溫度之差異為閾值以上之區域，作為由可於地面行走之行走體進行感測之對象區域； 控制部，其用於進行使上述行走體朝上述對象區域移動之移動控制；及 第2取得部，其取得藉由依照上述移動控制移動之上述行走體對上述對象區域之整體或一部分進行感測而得之第2感測資料。
TW110143472A 2020-11-27 2021-11-23 感測系統、感測資料取得方法及控制裝置 TWI771231B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/044196 2020-11-27
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Publications (2)

Publication Number Publication Date
TW202221438A true TW202221438A (zh) 2022-06-01
TWI771231B TWI771231B (zh) 2022-07-11

Family

ID=81214352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110143472A TWI771231B (zh) 2020-11-27 2021-11-23 感測系統、感測資料取得方法及控制裝置

Country Status (6)

Country Link
US (1) US20230116047A1 (zh)
EP (1) EP4033322A4 (zh)
JP (1) JP7041794B1 (zh)
CN (1) CN114829896A (zh)
TW (1) TWI771231B (zh)
WO (1) WO2022113260A1 (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659733A (ja) * 1991-09-04 1994-03-04 Nec Home Electron Ltd 自律走行ロボット及びその電源コード搬送方法
JP3631431B2 (ja) * 2000-12-05 2005-03-23 独立行政法人科学技術振興機構 探知装置、探知方法
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機
JP6069882B2 (ja) * 2012-04-27 2017-02-01 三菱電機株式会社 農業用管理システム
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US10165722B2 (en) * 2014-12-05 2019-01-01 Deere & Company Scouting systems
JP6285875B2 (ja) * 2015-01-06 2018-02-28 株式会社日立製作所 植物成長分析システム、及び植物成長分析方法
US9625904B2 (en) * 2015-03-24 2017-04-18 Southwest Research Institute Unmanned ground/aerial vehicle system having autonomous ground vehicle that remotely controls one or more aerial vehicles
JP6598154B2 (ja) * 2015-11-05 2019-10-30 株式会社Ｉｈｉエアロスペース 爆発物探知システム
WO2017223042A1 (en) * 2016-06-20 2017-12-28 PogoTec, Inc. Image alignment systems and methods
US10351237B2 (en) * 2016-07-28 2019-07-16 Qualcomm Incorporated Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users
JP6138326B1 (ja) * 2016-08-05 2017-05-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
WO2018071727A1 (en) * 2016-10-12 2018-04-19 Aker Technologies, Inc. System for monitoring crops and soil conditions
JP6644729B2 (ja) * 2017-03-31 2020-02-12 株式会社日本総合研究所 情報処理装置、プログラム、情報処理システム及びデータ構造
JP6898589B2 (ja) * 2017-08-21 2021-07-07 コニカミノルタ株式会社 刈り取りスケジュール決定方法及び刈り取りスケジュール決定プログラム
JP6333456B1 (ja) * 2017-08-30 2018-05-30 アビームコンサルティング株式会社 生産管理装置、生産管理方法及びプログラム
JP7076969B2 (ja) * 2017-09-06 2022-05-30 株式会社トプコン 施肥を行う装置、施肥を行う方法およびプログラム
JP2019095937A (ja) * 2017-11-20 2019-06-20 ナブテスコ株式会社 農作物育成支援システム、情報収集装置、育成支援サーバ、および農作物販売支援システム
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US20200217830A1 (en) * 2019-01-08 2020-07-09 AgroScout Ltd. Autonomous crop monitoring system and method
JP7176980B2 (ja) * 2019-02-27 2022-11-22 株式会社日立製作所 作物管理システム及び作物管理方法
JP2023520659A (ja) * 2020-03-23 2023-05-18 バイエル、アクチエンゲゼルシャフト 雑草防除管理方法、雑草防除管理車両、および雑草防除管理システム

Also Published As

Publication number Publication date
WO2022113260A1 (ja) 2022-06-02
EP4033322A1 (en) 2022-07-27
CN114829896A (zh) 2022-07-29
JP7041794B1 (ja) 2022-03-24
US20230116047A1 (en) 2023-04-13
EP4033322A4 (en) 2022-07-27
JPWO2022113260A1 (zh) 2022-06-02
TWI771231B (zh) 2022-07-11

Similar Documents

Publication Publication Date Title
EP2772814B1 (en) Tree metrology system
US8996171B2 (en) Pheromone for robotic boundary
KR101793509B1 (ko) 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
US10313575B1 (en) Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
CN105182992A (zh) 无人机的控制方法、装置
CN206804018U (zh) 环境数据服务器、无人飞行器及定位系统
BRPI1106214A2 (pt) Método para ajustar uma velocidade de uma máquina móvel, e, máquina móvel
WO2019167207A1 (ja) 制御装置、作業機及びプログラム
US20220024582A1 (en) Information processing system, information processing device, and information processing method
US20210221500A1 (en) Determining method of arrangement place, transport system, and information processing device
WO2020166350A1 (ja) 無人航空機、通信方法、およびプログラム
CN107390699A (zh) 一种甘蔗种植机的路线规划系统及其路线规划方法
US20200363183A1 (en) Location estimation apparatus, moving object, location estimation method, and computer-readable storage medium
CN203893849U (zh) 无人机载式地块空间信息自动采集系统
Vanegas et al. Multi and hyperspectral UAV remote sensing: Grapevine phylloxera detection in vineyards
EP3731053B1 (en) Management device, management system, moving body and program
CN114115359A (zh) 一种无人机山区寻羊系统及其工作方法
TWI771231B (zh) 感測系統、感測資料取得方法及控制裝置
EP3761136B1 (en) Control device, mobile body, and program
JP7000505B1 (ja) センシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機
US20220201922A1 (en) Industrial machinery system, industrial machine, control apparatus, control method for industrial machinery system, and control program for industrial machinery system
US11990051B2 (en) Flight system, flight route determination method, and flight route determination device
US20240071237A1 (en) Information processing apparatus, method, and non-transitory computer readable medium
US20230260410A1 (en) Information processing device, landing suitability determining method, and non-transitory computer readable memory
Nath et al. Global Journal Of Engineering Science And Researches