JP6529098B2 - Position estimation device, position estimation method, and program - Google Patents

Position estimation device, position estimation method, and program Download PDF

Info

Publication number
JP6529098B2
JP6529098B2 JP2017532281A JP2017532281A JP6529098B2 JP 6529098 B2 JP6529098 B2 JP 6529098B2 JP 2017532281 A JP2017532281 A JP 2017532281A JP 2017532281 A JP2017532281 A JP 2017532281A JP 6529098 B2 JP6529098 B2 JP 6529098B2
Authority
JP
Japan
Prior art keywords
data
map data
surrounding situation
correspondence
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532281A
Other languages
Japanese (ja)
Other versions
JPWO2017022057A1 (en
Inventor
康行 伊原
康行 伊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Original Assignee
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd filed Critical NEC Solutions Innovators Ltd
Publication of JPWO2017022057A1 publication Critical patent/JPWO2017022057A1/en
Application granted granted Critical
Publication of JP6529098B2 publication Critical patent/JP6529098B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map

Description

本発明は、対象の位置を推定するための位置推定装置及び位置推定方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to a position estimation device and a position estimating method for estimating the position of the target, further relates to a program for realizing these.

従来から、「ドローン」と呼ばれる無人飛行機(以下、「UAV(Unmanned Aerial Vehicle)」とも表記する。)は、軍事用途、農薬散布といった様々な用途に用いられている。とりわけ、近年においては、バッテリーの小型化及び高出力化により、動力原として電動モータを利用する小型の無人飛行機が開発されている(例えば、非特許文献1及び2参照。)。小型の無人飛行機は、運用が簡単であることから、急速に普及している。   BACKGROUND ART Conventionally, unmanned aerial vehicles called “drone” (hereinafter also referred to as “UAV (Unmanned Aerial Vehicle)”) are used in various applications such as military applications and pesticides. In particular, in recent years, small-sized unmanned airplanes that use electric motors as power sources have been developed due to the downsizing and high output of batteries (see, for example, Non-Patent Documents 1 and 2). Small unmanned aerial vehicles are rapidly spreading because of their ease of operation.

また、無人飛行機は、通常、撮影カメラ、及びGPS(Global Positioning System)受信機を備えており、撮影画像に、GPS受信機によって測定した自機の位置(位置情報)を紐付けることができる。このため、無人飛行機は、例えば、野生動物の生態調査、イベント時のヒトの混雑状況等の調査、交通渋滞の調査、不審者等の監視、災害時のヒトの避難状況の把握といった用途において利用が期待されている。   In addition, the unmanned airplane is generally equipped with a photographing camera and a GPS (Global Positioning System) receiver, and the position (position information) of the own aircraft measured by the GPS receiver can be linked to the photographed image. For this reason, unmanned aerial vehicles are used, for example, in applications such as wildlife ecology surveys, surveys of crowded people at events, surveys of traffic congestion, surveillance of suspicious people, etc., grasp of evacuation status of humans during disasters Is expected.

“無人航空機”、[online]、2015年5月25日、ウィキペディア、[2015年6月1日検索]、インターネット<URL:http://ja.wikipedia.org/wiki/%E7%84%A1%E4%BA%BA%E8%88%AA%E7%A9%BA%E6%A9%9F>“Unmanned Aerial Vehicle”, [online], May 25, 2015, Wikipedia, [Search on June 1, 2015], Internet <URL: http://en.wikipedia.org/wiki/%E7%84%A1 % E4% BA% BA% E8% 88% AA% E7% A9% BA% E6% A9% 9F> “ドローン”、[online]、2015年4月22日、weblio辞書、[2015年6月1日検索]、インターネット<URL:http://www.weblio.jp/content/%E3%83%89%E3%83%AD%E3%83%BC%E3%83%B3>"Drone", [online], April 22, 2015, weblio dictionary, [June 1, 2015 search], Internet <URL: http://www.weblio.jp/content/%E3%83%89 % E3% 83% AD% E3% 83% BC% E3% 83% B3>

ところで、無人飛行機によって調査又は監視を行う場合は、調査対象又は監視対象の位置を特定する必要があるが、無人飛行機から出力されるデータは、位置情報が付加された画像データのみである。よって、管理者は、調査対象又は監視対象の絶対的な位置を特定できず、無人飛行機を基準とした相対的な位置しか特定できないため、従来からの無人飛行機では、精度の高い調査及び監視を行うことができないという問題がある。   By the way, when it is necessary to identify the position of investigation object or surveillance object when conducting investigation or surveillance by the unmanned aerial vehicle, the data outputted from the unmanned aerial vehicle is only the image data to which the position information is added. Therefore, the manager can not identify the absolute position of the survey target or the monitoring target, and can only identify the relative position with respect to the unmanned airplane, so in the conventional unmanned airplane, highly accurate survey and monitoring There is a problem that it can not be done.

本発明の目的の一例は、上記問題を解消し、移動体から出力されたデータから対象の絶対的な位置を推定し得る、位置推定装置、位置推定方法、及びプログラムを提供することにある。 An example of the object of the present invention is to provide a position estimation device, a position estimation method, and a program capable of solving the above problems and estimating an absolute position of an object from data output from a moving object.

上記目的を達成するため、本発明の一側面における位置推定装置は、周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、対応関係特定部と、
前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、座標算出部と、
特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、絶対位置推定部と、
を備えている、ことを特徴とする。
In order to achieve the above object, a position estimation device according to one aspect of the present invention acquires surrounding situation data specifying the surrounding situation from a mobile body provided with a sensor capable of detecting the surrounding situation, and the surrounding situation A correspondence specifying unit that compares the data with map data to specify the correspondence between the two;
A coordinate calculation unit that extracts a target of position estimation from the surrounding situation data, and calculates coordinates of the extracted target on the surrounding situation data;
An absolute position estimation unit configured to estimate the position of the object on the map data from the identified correspondence relationship and the calculated coordinates;
It is characterized by having.

また、上記目的を達成するため、本発明の一側面における位置推定方法は、
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を備えている、ことを特徴とする。
Further, in order to achieve the above object, a position estimation method according to one aspect of the present invention is:
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
It is characterized by having.

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータに、
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を実行させることを特徴とする。
Furthermore, in order to achieve the above object, a program according to an aspect of the present invention is a computer,
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
Allowed to run and wherein the Turkey.

以上のように、本発明によれば、移動体から出力されたデータから対象の絶対的な位置を推定することができる。   As described above, according to the present invention, it is possible to estimate the absolute position of an object from data output from a moving object.

図1は、本発明の実施の形態における位置推定装置の概略構成を示す構成図である。FIG. 1 is a block diagram showing a schematic configuration of a position estimation apparatus according to an embodiment of the present invention. 図2は、本発明の実施の形態における位置推定装置の構成を具体的に示すブロック図である。FIG. 2 is a block diagram specifically showing the configuration of the position estimation apparatus according to the embodiment of the present invention. 図3は、本発明の実施の形態において用いられる画像データの一例を示す図である。FIG. 3 is a view showing an example of image data used in the embodiment of the present invention. 図4は、本発明の実施の形態で用いられる環境地図データの一例を示す図である。FIG. 4 is a diagram showing an example of environmental map data used in the embodiment of the present invention. 図5は、本発明の実施の形態で用いられる広域地図データの一例を示す図である。FIG. 5 is a view showing an example of the wide area map data used in the embodiment of the present invention. 図6は、本発明の実施の形態で用いられる環境地図と広域地図との対応関係を示す図である。FIG. 6 is a diagram showing the correspondence between the environmental map and the wide area map used in the embodiment of the present invention. 図7は、本発明の実施の形態における位置推定装置10の動作を示すフロー図である。FIG. 7 is a flow chart showing the operation of the position estimation device 10 according to the embodiment of the present invention. 図8は、本発明の実施の形態における位置推定装置を実現するコンピュータの一例を示すブロック図である。FIG. 8 is a block diagram showing an example of a computer for realizing the position estimation device in the embodiment of the present invention.

(実施の形態)
以下、本発明の実施の形態における位置推定装置、位置推定方法、及びプログラムについて、図1〜図8を参照しながら説明する。
Embodiment
Hereinafter, a position estimation device, a position estimation method, and a program according to an embodiment of the present invention will be described with reference to FIGS. 1 to 8.

[装置構成]
最初に、本発明の実施の形態における位置推定装置の構成について図1を用いて説明する。図1は、本発明の実施の形態における位置推定装置の概略構成を示す構成図である。
[Device configuration]
First, the configuration of a position estimation apparatus according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of a position estimation apparatus according to an embodiment of the present invention.

図1に示す本実施の形態における位置推定装置10は、移動体20を用いて、ヒト、動物といった対象の位置を推定するための装置である。図1に示すように、位置推定装置10は、対応関係特定部11と、座標算出部12と、絶対位置推定部13とを備えている。   The position estimation device 10 in the present embodiment shown in FIG. 1 is a device for estimating the position of an object such as a human or an animal using the moving body 20. As shown in FIG. 1, the position estimation device 10 includes a correspondence specifying unit 11, a coordinate calculation unit 12, and an absolute position estimation unit 13.

対応関係特定部11は、まず、周辺の状況を検知可能なセンサ22を備えた移動体20から、周辺の状況を特定する周辺状況データを取得する。続いて、対応関係特定部11は、周辺状況データと地図データとを比較して、両者の対応関係を特定する。   The correspondence specifying unit 11 first obtains surrounding situation data specifying the surrounding situation from the mobile unit 20 provided with the sensor 22 capable of detecting the surrounding situation. Subsequently, the correspondence specifying unit 11 compares the surrounding situation data with the map data to specify the correspondence between the two.

座標算出部12は、周辺状況データから、位置推定の対象30を抽出し、抽出した対象30の周辺状況データ上での座標を算出する。絶対位置推定部13は、特定された対応関係と算出された座標とから、地図データ上での対象30の位置を推定する。   The coordinate calculation unit 12 extracts a target 30 for position estimation from the surrounding situation data, and calculates coordinates of the extracted target 30 on the surrounding situation data. The absolute position estimation unit 13 estimates the position of the object 30 on the map data from the identified correspondence relationship and the calculated coordinates.

以上のように、本実施の形態によれば、移動体20から出力された周辺状況データを用いて、対象30の絶対的な位置を推定することができる。   As described above, according to the present embodiment, the absolute position of the object 30 can be estimated using the surrounding situation data output from the moving body 20.

続いて、図1に加え、図2〜図6を用いて、本実施の形態における位置推定装置10の構成について更に具体的に説明する。図2は、本発明の実施の形態における位置推定装置の構成を具体的に示すブロック図である。また、図2は、移動体の構成についても開示している。   Subsequently, in addition to FIG. 1, the configuration of the position estimation device 10 according to the present embodiment will be more specifically described using FIGS. 2 to 6. FIG. 2 is a block diagram specifically showing the configuration of the position estimation apparatus according to the embodiment of the present invention. FIG. 2 also discloses the configuration of the mobile unit.

まず、図1に示したように、本実施の形態において用いられる移動体20は、複数のローターを備えるマルチコプター型の無人飛行機であり、いわゆるドローンである。なお、以下の説明においては、「移動体」20を「無人飛行機」20とも表記する。図2に示すように、無人飛行機20は、データ処理部21と、センサ22と、GPS信号受信部23と、推力発生部24と、無線通信部25とを備えている。   First, as shown in FIG. 1, the moving body 20 used in the present embodiment is a multicopter type unmanned airplane equipped with a plurality of rotors and is a so-called drone. In the following description, the "moving object" 20 is also referred to as a "unmanned airplane" 20. As shown in FIG. 2, the unmanned airplane 20 includes a data processing unit 21, a sensor 22, a GPS signal receiving unit 23, a thrust generating unit 24, and a wireless communication unit 25.

無人飛行機20において、無線通信部25は、位置推定装置10との間で無線によるデータ通信を実行している。無線通信部25は、例えば、Wi−Fi通信用の通信デバイスによって実現される。   In the unmanned airplane 20, the wireless communication unit 25 performs wireless data communication with the position estimation device 10. The wireless communication unit 25 is realized by, for example, a communication device for Wi-Fi communication.

GPS信号受信部23は、衛星からのGPS(Global Positioning System)信号を受信し、受信したGPS信号に基づいて、現在の位置及び高度を測定する。推力発生部24は、図1の例では、4つ備えられており、それぞれ、推力を発生させるローターとその駆動源となる電動機とを備えている。   The GPS signal receiving unit 23 receives a GPS (Global Positioning System) signal from a satellite, and measures the current position and altitude based on the received GPS signal. The four thrust generating units 24 are provided in the example of FIG. 1 and each include a rotor that generates a thrust and an electric motor serving as a driving source of the rotor.

データ処理部21は、無人飛行機20が外部から遠隔操縦されているときは、外部からの操作入力に応じて、各推力発生部24の推力を調整し、無人飛行機20の速度、高度、及び進行方向を制御する。   When the unmanned airplane 20 is remotely operated from the outside, the data processing unit 21 adjusts the thrust of each thrust generating unit 24 according to the operation input from the outside, and the speed, altitude, and travel of the unmanned airplane 20 Control the direction.

また、データ処理部21は、無人飛行機20が、設定されたルートを飛行するように自動操縦されているときは、GPS信号受信部23によって測定された現在の位置及び高度を、予め設定された飛行ルートと照合する。そして、データ処理部21は、照合結果を確認しながら、無人飛行機20が飛行ルートに沿って飛行するように、各推力発生部24の推力を調整する。   In addition, when the unmanned airplane 20 is automatically steered so as to fly the set route, the data processing unit 21 presets the current position and the altitude measured by the GPS signal receiving unit 23. Match flight routes. Then, the data processing unit 21 adjusts the thrust of each thrust generating unit 24 such that the unmanned airplane 20 flies along the flight route while checking the collation result.

また、無人飛行機20において、センサ22は、無人飛行機20の周辺の状況を検知可能なものであれば良い。センサ22としては、例えば、受光した光に応じて画素信号を出力する撮像素子が挙げられる。また、撮像素子は、通常、レンズ等と組み合わされてカメラを構築することから、実際には、センサ22としては、撮像素子を備えるカメラが用いられる。更に、撮像素子が受光できる波長域は、可視光であっても良いし、赤外光であっても良いことから、カメラは、可視光カメラであっても良いし、赤外線カメラであっても良い。   Further, in the unmanned airplane 20, the sensor 22 may be any sensor that can detect the situation around the unmanned airplane 20. Examples of the sensor 22 include an imaging device that outputs a pixel signal in accordance with the received light. Further, since the imaging device is usually combined with a lens or the like to construct a camera, in practice, a camera including an imaging device is used as the sensor 22. Furthermore, since the wavelength range in which the imaging device can receive light may be visible light or infrared light, the camera may be a visible light camera or an infrared camera. good.

センサ22としてカメラが用いられる場合は、センサ22は、図3に示すように、画素信号から作成された画像データを、周辺状況データとして出力する。図3は、本発明の実施の形態において用いられる画像データの一例を示す図である。また、本実施の形態では、センサ22であるカメラは、無人飛行機20の底面に下方に向けて設置されている(図1参照)。従って、図3に示すように、画像データで特定される画像は、上方からの画像となる。   When a camera is used as the sensor 22, as shown in FIG. 3, the sensor 22 outputs image data created from pixel signals as surrounding situation data. FIG. 3 is a view showing an example of image data used in the embodiment of the present invention. Further, in the present embodiment, the camera as the sensor 22 is installed downward on the bottom surface of the unmanned airplane 20 (see FIG. 1). Therefore, as shown in FIG. 3, the image specified by the image data is an image from above.

また、センサ22の他の例として、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサも挙げられる。この場合、センサ22は、例えば、対象30に光を照射する光源と、対象30で反射された光を受信する受光素子とを備えており、受光素子の出力信号から周辺状況データを生成する。具体的には、センサ22としては、レーザ光線を出射光として用いるレーザレンジファインダ、赤外光を出射光として利用するデプスカメラが挙げられる。   In addition, as another example of the sensor 22, a sensor in which the feature of the output signal changes in accordance with the distance to an object present in the periphery can also be mentioned. In this case, the sensor 22 includes, for example, a light source for irradiating the object 30 with light, and a light receiving element for receiving the light reflected by the object 30, and generates ambient situation data from the output signal of the light receiving element. Specifically, examples of the sensor 22 include a laser range finder using a laser beam as emission light, and a depth camera using infrared light as emission light.

そして、データ処理部21は、センサ22が周辺状況データを出力すると、これを受け取る。また、データ処理部21は、出力された周辺状況特定データを、無線通信部25を介して、位置推定装置10へと送信する。   Then, when the sensor 22 outputs the surrounding situation data, the data processing unit 21 receives this. Further, the data processing unit 21 transmits the output peripheral situation identification data to the position estimation device 10 via the wireless communication unit 25.

また、図2に示すように、本実施の形態では、位置推定装置10は、無人飛行機20の外部に設置され、無線通信によって無人飛行機20との間でデータ通信を実行する。位置推定装置10は、上述した対応関係特定部11、座標算出部12、及び絶対位置推定部13に加えて、無線通信部14と、地図データベース15とを備えている。   Further, as shown in FIG. 2, in the present embodiment, the position estimation device 10 is installed outside the unmanned airplane 20 and performs data communication with the unmanned airplane 20 by wireless communication. The position estimation apparatus 10 includes a wireless communication unit 14 and a map database 15 in addition to the correspondence specifying unit 11, the coordinate calculation unit 12, and the absolute position estimation unit 13 described above.

無線通信部14は、無人飛行機20との間で、無線によるデータ通信を実行する。具体的には、無線通信部14は、無人飛行機20の無線通信部25から送信されてきた周辺状況特定データを受信する。無線通信部13も、例えば、Wi−Fi通信用の通信デバイスによって実現される。また、地図データベース15は、後述する環境地図データと、広域地図データとを格納している。   The wireless communication unit 14 performs wireless data communication with the unmanned airplane 20. Specifically, the wireless communication unit 14 receives the surrounding situation identification data transmitted from the wireless communication unit 25 of the unmanned airplane 20. The wireless communication unit 13 is also realized by, for example, a communication device for Wi-Fi communication. The map database 15 also stores environmental map data to be described later and wide area map data.

また、本実施の形態では、対応関係特定部11は、まず、周辺状況データで特定される周辺の環境地図データと周辺状況データとの対応関係(以下「第1の対応関係」と表記する。)を特定する。   Further, in the present embodiment, the correspondence specifying unit 11 first describes the correspondence (hereinafter, “first correspondence”) between environmental map data of the surroundings specified by the surrounding situation data and the surrounding situation data. Identify).

具体的には、対応関係特定部11は、まず、地図データベース15から、予め作成された環境地図データを取得する。図4は、本発明の実施の形態で用いられる環境地図データの一例を示す図である。本実施の形態において、環境地図データは、例えば、SLAM(Simultaneous Localization and Mapping)技術を用いて作成される。具体的には、環境地図データは、道路、河川、線路等に沿って無人飛行機20を飛行させ、センサ22によって、これらの外形を抽出しながら、無人飛行機20の位置を特定することによって作成される。   Specifically, the correspondence specifying unit 11 first acquires environmental map data created in advance from the map database 15. FIG. 4 is a diagram showing an example of environmental map data used in the embodiment of the present invention. In the present embodiment, environmental map data is created using, for example, SLAM (Simultaneous Localization and Mapping) technology. Specifically, environmental map data is created by flying the unmanned airplane 20 along roads, rivers, tracks, etc., and identifying the position of the unmanned airplane 20 while extracting the outlines thereof by the sensor 22. Ru.

続いて、対応関係特定部11は、周辺状況データ中の複数の箇所、例えば、画像データで特定される画像内の特徴的な複数の箇所を特定し、更に、環境地図データで特定される環境地図において、特定した箇所それぞれに対応する点を特定する。そして、対応関係特定部11は、画像内の各箇所の座標と、環境地図内の特定した点の座標とを対応付け、この座標間の対応付けを第1の対応関係とする。   Subsequently, the correspondence specifying unit 11 specifies a plurality of places in the surrounding situation data, for example, a plurality of characteristic places in the image specified by the image data, and further, the environment specified by the environment map data In the map, a point corresponding to each identified place is identified. Then, the correspondence specifying unit 11 associates the coordinates of each part in the image with the coordinates of the specified point in the environment map, and sets the correspondence between the coordinates as a first correspondence.

また、対応関係特定部11は、地図データベース15から、撮影範囲よりも広い範囲をカバーする地図データ(以下「広域地図データ」と表記する。)を抽出し、抽出した広域地図データに周辺状況データを照合する。図5は、本発明の実施の形態で用いられる広域地図データの一例を示す図である。そして、これにより、対応関係特定部11は、周辺状況データと地図データとの対応関係(以下「第2の対応関係」と表記する。)を特定する。   In addition, the correspondence specifying unit 11 extracts map data (hereinafter referred to as "wide area map data") covering a range wider than the imaging range from the map database 15, and extracts the extracted wide area map data into the surrounding situation data. Match FIG. 5 is a view showing an example of the wide area map data used in the embodiment of the present invention. Then, the correspondence specifying unit 11 specifies the correspondence between the surrounding situation data and the map data (hereinafter, referred to as “second correspondence”).

具体的には、対応関係特定部11は、広域地図データで特定される広域地図の複数の部分を取出し、取り出した部分毎に、取り出した部分と画像データ(周辺状況特定データ)で特定される画像との相互情報量を算出する。そして、対応関係特定部11は、最も相互情報量の値が大きくなる部分を、画像に対応している部分(以下「対応部分」と表記する。)と判断し、更に、対応部分において、画像内の特徴的な複数の箇所それぞれに対応する点(対応点)を特定する。そして、対応関係特定部11は、画像内の各箇所の座標と、広域地図内の対応部分における対応点の座標とを対応付け、この座標間の対応付けを第2の対応関係とする。   Specifically, the correspondence specifying unit 11 extracts a plurality of portions of the wide area map specified by the wide area map data, and for each of the extracted portions, is specified by the extracted portion and the image data (peripheral situation specifying data) Calculate the amount of mutual information with the image. Then, the correspondence specifying unit 11 determines that the portion where the value of the mutual information amount is the largest is a portion corresponding to the image (hereinafter referred to as “corresponding portion”), and further, in the corresponding portion, the image A point (corresponding point) corresponding to each of a plurality of characteristic points in the area is identified. Then, the correspondence specifying unit 11 associates the coordinates of each part in the image with the coordinates of the corresponding point in the corresponding part in the wide area map, and sets the correspondence between the coordinates as a second correspondence.

座標算出部12は、例えば、周辺状況データが画像データであり、位置推定の対象30がヒトである場合は、画像データで特定される画像の中から、ヒトについて登録された局所特徴量をもつ箇所を特定し、この特定した箇所を、対象30として検出する。また、座標算出部12は、検出した対象30の画像における座標を算出する。   For example, when the surrounding situation data is image data and the position estimation target 30 is a human, the coordinate calculation unit 12 has local feature amounts registered for the human among images specified by the image data. The location is identified, and the identified location is detected as the target 30. Further, the coordinate calculation unit 12 calculates the coordinates in the image of the detected object 30.

絶対位置推定部12は、本実施の形態では、まず、対応関係特定部11によって特定された第1の対応関係と、座標算出部12によって算出された座標と用いて、対象30の環境地図データ上での座標(x、y)を特定する。   In the present embodiment, the absolute position estimation unit 12 first uses the first correspondence identified by the correspondence identification unit 11 and the coordinates calculated by the coordinate calculation unit 12 to obtain the environmental map data of the object 30. Identify the coordinates (x, y) above.

続いて、絶対位置推定部12は、第1の対応関係と第2の対応関係とを用いて、環境地図データと広域地図データとのアフィン写像を算出する。更に、絶対位置推定部12は、図6に示すように、対象30の環境地図データ上での座標をアフィン写像に入力することによって、この座標を広域地図データ上での座標(東経X°、北緯Y°)に変換する。そして、絶対位置推定部12は、この変換によって得られた座標(東経X°、北緯Y°)を、広域地図データ上での対象30の位置として推定する。   Subsequently, the absolute position estimation unit 12 calculates an affine map of the environmental map data and the wide area map data, using the first correspondence relationship and the second correspondence relationship. Furthermore, as shown in FIG. 6, the absolute position estimation unit 12 inputs the coordinates of the object 30 on the environmental map data into the affine map, whereby the coordinates of the object 30 on the wide area map data (east longitude X °, Convert to north latitude Y °). Then, the absolute position estimation unit 12 estimates the coordinates (east longitude X °, north latitude Y °) obtained by this conversion as the position of the object 30 on the wide area map data.

図6は、本発明の実施の形態で用いられる環境地図と広域地図との対応関係を示す図である。また、図6に示すように、広域地図データ上での対象30位置は、絶対的な位置であり、東経及び北緯で表される。   FIG. 6 is a diagram showing the correspondence between the environmental map and the wide area map used in the embodiment of the present invention. Further, as shown in FIG. 6, the position of the object 30 on the wide area map data is an absolute position, and is expressed by east longitude and north latitude.

[装置動作]
次に、本発明の実施の形態における位置推定装置10の動作について図7を用いて説明する。図7は、本発明の実施の形態における位置推定装置10の動作を示すフロー図である。以下の説明においては、適宜図1〜図6を参酌する。また、本実施の形態では、位置推定装置10を動作させることによって、位置推定方法法が実施される。よって、本実施の形態における推定方法の説明は、以下の位置推定装置10の動作説明に代える。
[Device operation]
Next, the operation of the position estimation device 10 according to the embodiment of the present invention will be described with reference to FIG. FIG. 7 is a flow chart showing the operation of the position estimation device 10 according to the embodiment of the present invention. In the following description, FIGS. 1 to 6 will be referred to as appropriate. Further, in the present embodiment, by operating the position estimation device 10, the position estimation method is implemented. Therefore, the description of the estimation method in the present embodiment is replaced with the following description of the operation of the position estimation device 10.

図7に示すように、最初に、位置推定装置10において、対応関係特定部11は、無線通信部14を介して、無人飛行機20から送信されてきた周辺状況データを取得する(ステップA1)。   As shown in FIG. 7, first, in the position estimation device 10, the correspondence specifying unit 11 acquires the surrounding situation data transmitted from the unmanned airplane 20 via the wireless communication unit 14 (step A1).

次に、対応関係特定部11は、地図データベース15から、予め作成された環境地図データを取得し、環境地図データと周辺状況データとの対応関係(第1の対応関係)を特定する(ステップA2)。具体的には、周辺状況データが画像データであるとすると、対応関係特定部11は、画像データで特定される画像内の複数箇所の座標と、環境地図データで特定される環境地図内の対応する点の座標とを対応付け、この座標間の対応付けを第1の対応関係とする。   Next, the correspondence specifying unit 11 acquires environmental map data created in advance from the map database 15, and specifies the correspondence (first correspondence) between the environmental map data and the surrounding situation data (Step A2). ). Specifically, assuming that the surrounding situation data is image data, the correspondence specifying unit 11 indicates the coordinates of a plurality of locations in the image specified by the image data and the correspondence in the environment map specified by the environment map data. The coordinates of the point to be linked are associated, and the association between the coordinates is taken as a first correspondence relationship.

次に、対応関係特定部11は、地図データベースから、広域地図データを抽出し、抽出した広域地図データに周辺状況データを照合して、周辺状況データと地図データとの対応関係(第2の対応関係)を特定する(ステップA3)。具体的には、周辺状況データが画像データであるとすると、対応関係特定部11は、画像データで特定される画像内の複数箇所の座標と、広域地図内の対応部分における対応点の座標とを対応付け、この座標間の対応付けを第2の対応関係とする。   Next, the correspondence specifying unit 11 extracts the wide area map data from the map database, collates the surrounding situation data with the extracted wide area map data, and correspondence between the surrounding situation data and the map data (second correspondence Relationship) is identified (step A3). Specifically, assuming that the surrounding situation data is image data, the correspondence specifying unit 11 sets coordinates of a plurality of places in the image specified by the image data and coordinates of corresponding points in the corresponding part in the wide area map. Are associated with each other, and the association between the coordinates is taken as a second correspondence relationship.

次に、座標算出部12は、周辺状況データから、位置推定の対象30を抽出し、対象30の周辺状況データ上での座標を算出する(ステップA4)。具体的には、周辺状況データが画像データであるとすると、座標算出部12は、局所特徴量を用いて、画像内の対象30を検出し、検出した対象30の画像における座標を算出する。   Next, the coordinate calculation unit 12 extracts the target 30 for position estimation from the surrounding situation data, and calculates the coordinates on the surrounding situation data of the target 30 (step A4). Specifically, assuming that the surrounding situation data is image data, the coordinate calculation unit 12 detects the object 30 in the image using the local feature amount, and calculates coordinates in the image of the detected object 30.

次に、絶対位置推定部12は、ステップA2で特定された第1の対応関係と、ステップA4で算出された座標と用いて、対象30の環境地図データ上での座標を特定する(ステップA5)。   Next, the absolute position estimation unit 12 specifies the coordinates of the object 30 on the environmental map data, using the first correspondence specified in step A2 and the coordinates calculated in step A4 (step A5). ).

次に、絶対位置推定部12は、ステップA2で特定された第1の対応関係と、ステップA3で特定された第2の位置関係とを用いて、環境地図データと広域地図データとのアフィン写像を算出する(ステップA6)。   Next, the absolute position estimation unit 12 uses the first correspondence specified in step A2 and the second positional relation specified in step A3 to generate affine maps of environmental map data and wide area map data. Is calculated (step A6).

次に、絶対位置推定部12は、対象30の環境地図データ上での座標をアフィン写像に入力することによって、この座標を広域地図データ上での座標に変換し、得られた座標を、広域地図データ上での対象30の絶対位置として推定する(ステップA7)。   Next, the absolute position estimation unit 12 converts the coordinates of the object 30 into the coordinates on the wide area map data by inputting the coordinates on the environmental map data of the object 30 into the affine map, and the obtained coordinates are The absolute position of the object 30 on map data is estimated (step A7).

[実施の形態における効果]
以上のように本実施の形態によれば、無人飛行機20から、例えば、位置推定の対象30が映った画像データ等を取得すれば、対象30の絶対的な位置を推定することができる。このため、本実施の形態における位置推定装置10を用いれば、野生動物の生態調査、イベント時のヒトの混雑状況等の調査、交通渋滞の調査、不審者等の監視、災害時のヒトの避難状況の把握といった場面において、精度の高い結果を得ることが可能となる。
[Effect in the embodiment]
As described above, according to the present embodiment, the absolute position of the object 30 can be estimated by acquiring, for example, image data and the like on which the object 30 of position estimation is captured from the unmanned airplane 20. Therefore, if the position estimation device 10 according to the present embodiment is used, ecological research on wild animals, research on congestion of people at events, research on traffic congestion, monitoring of suspicious persons, etc., evacuation of humans in disasters In situations such as grasping the situation, it is possible to obtain highly accurate results.

[変形例]
また、図1〜図7に示した例では、無人飛行機20は1機であるが、本実施の形態において、無人飛行機20の数は特に限定されるものではない。この場合、無人飛行機20毎に異なる対象の位置が推定されていても良いし、2機以上の無人飛行機20によって、同一の対象の位置が推定されていても良い。特に、後者の場合は、一の無人飛行機20によって対象を検出できなくなっても、他の無人飛行機20によって対象を検出できる場合がある。よって、後者の場合は、対象の追跡が必要な場合に特に有効である。
[Modification]
Moreover, although the unmanned airplane 20 is one in the example shown in FIGS. 1-7, the number of unmanned airplanes 20 is not specifically limited in this Embodiment. In this case, the position of a different target may be estimated for each unmanned airplane 20, or the position of the same target may be estimated by two or more unmanned airplanes 20. In particular, in the latter case, even if the target can not be detected by one unmanned aerial vehicle 20, the target may be detected by another unmanned aerial vehicle 20. Thus, the latter case is particularly effective when it is necessary to track the object.

更に、本実施の形態では、移動体は無人飛行機に限定されるものではない。移動体の他の例としては、車両が挙げられる。この場合もセンサとしては、カメラ、レーザレンジファインダ、デプスカメラが挙げられる。   Furthermore, in the present embodiment, the mobile unit is not limited to the unmanned airplane. Other examples of mobiles include vehicles. Also in this case, the sensor may be a camera, a laser range finder, or a depth camera.

また、図1〜図7に示した例では、対象30は、ヒトであるが、本実施の形態において、位置推定の対象は、これに限定されるものではない。位置推定の対象30の他の例としては、動物、車両、建物、農地、山林等が挙げられる。また、位置推定の対象30は、物の一部分であっても良い。具体的には、ビル、橋梁、トンネル、ダム等の異常箇所・故障箇所が挙げられる。ビル、橋梁、トンネル、ダム等の異常箇所・故障箇所は、ヒトが近づけないところに存在する可能性があり、これらを対象30とした場合は、インフラの維持管理を効率良く行なうことができる。   Moreover, although the object 30 is a human in the example shown to FIGS. 1-7, the object of position estimation is not limited to this in this Embodiment. Other examples of the target 30 of position estimation include animals, vehicles, buildings, farmland, and forestry. Also, the target 30 of position estimation may be a part of an object. Specifically, there are abnormal points and broken points such as buildings, bridges, tunnels and dams. There is a possibility that abnormal places or failure places such as buildings, bridges, tunnels and dams can not be approached by humans, and in the case of using these as targets 30, maintenance and management of infrastructure can be efficiently performed.

[プログラム]
本発明の実施の形態におけるプログラムは、コンピュータに、図7に示すステップA1〜A7を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における位置推定装置10と位置推定方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、対応関係特定部11、座標算出部12、絶対位置推定部13として機能し、処理を行なう。
[program]
The program in the embodiment of the present invention may be a program which causes a computer to execute steps A1 to A7 shown in FIG. By installing this program in a computer and executing it, the position estimation device 10 and the position estimation method in the present embodiment can be realized. In this case, a central processing unit (CPU) of the computer functions as the correspondence specifying unit 11, the coordinate calculating unit 12, and the absolute position estimating unit 13 to perform processing.

ここで、本実施の形態におけるプログラムを実行することによって、位置推定装置10を実現するコンピュータについて図8を用いて説明する。図8は、本発明の実施の形態における位置推定装置を実現するコンピュータの一例を示すブロック図である。   Here, a computer for realizing the position estimation apparatus 10 by executing the program according to the present embodiment will be described with reference to FIG. FIG. 8 is a block diagram showing an example of a computer for realizing the position estimation device in the embodiment of the present invention.

図8に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。   As shown in FIG. 8, the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are communicably connected to each other via a bus 121.

CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。   The CPU 111 develops the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executes various operations by executing these in a predetermined order. The main memory 112 is typically a volatile storage device such as a dynamic random access memory (DRAM). In addition, the program in the present embodiment is provided in the state of being stored in computer readable recording medium 120. The program in the present embodiment may be distributed on the Internet connected via communication interface 117.

また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。   Further, as a specific example of the storage device 113, besides a hard disk drive, a semiconductor storage device such as a flash memory may be mentioned. The input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.

データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。   The data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and executes reading of a program from the recording medium 120 and writing of the processing result in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and another computer.

また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。   In addition, specific examples of the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark) and SD (Secure Digital), magnetic storage media such as flexible disk (Flexible Disk), or CD- An optical storage medium such as a ROM (Compact Disk Read Only Memory) may be mentioned.

上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記12)によって表現することができるが、以下の記載に限定されるものではない。   A part or all of the embodiment described above can be expressed by (Appendix 1) to (Appendix 12) described below, but is not limited to the following description.

(付記1)
周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、対応関係特定部と、
前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、座標算出部と、
特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、絶対位置推定部と、
を備えている、ことを特徴とする位置推定装置。
(Supplementary Note 1)
Ambient condition data specifying the surrounding condition is acquired from a mobile body equipped with a sensor capable of detecting the surrounding condition, and the surrounding condition data is compared with map data to identify the correspondence between the two. A correspondence specifying unit,
A coordinate calculation unit that extracts a target of position estimation from the surrounding situation data, and calculates coordinates of the extracted target on the surrounding situation data;
An absolute position estimation unit configured to estimate the position of the object on the map data from the identified correspondence relationship and the calculated coordinates;
A position estimation device characterized in that

(付記2)
前記対応関係特定部が、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記絶対位置推定部が、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
付記1に記載の位置推定装置。
(Supplementary Note 2)
The correspondence specifying unit specifies, as a first correspondence, the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data, and further, the surrounding situation data is captured in a photographing range. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a wider range than the map data.
The absolute position estimation unit
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
The position estimation device according to appendix 1.

(付記3)
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記対応関係特定部が、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
付記1に記載の位置推定装置。
(Supplementary Note 3)
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
The correspondence specifying unit acquires image data generated from the pixel signal as the surrounding situation data.
The position estimation device according to appendix 1.

(付記4)
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記対応関係特定部が、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
付記1に記載の位置推定装置。
(Supplementary Note 4)
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
The correspondence specifying unit acquires data generated from the output signal as the surrounding situation data.
The position estimation device according to appendix 1.

(付記5)
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を備えている、ことを特徴とする位置推定方法。
(Supplementary Note 5)
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
A position estimation method characterized in that.

(付記6)
前記(a)のステップにおいて、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記(c)のステップにおいて、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
付記5に記載の位置推定方法。
(Supplementary Note 6)
In the step (a), the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data is specified as a first correspondence, and the surrounding situation data is photographed. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a range wider than the range.
In the step (c),
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
The position estimation method according to appendix 5.

(付記7)
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
付記5に記載の位置推定方法。
(Appendix 7)
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
In the step (a), image data generated from the pixel signal is acquired as the surrounding situation data.
The position estimation method according to appendix 5.

(付記8)
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
付記5に記載の位置推定方法。
(Supplementary Note 8)
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
In the step (a), data generated from the output signal is acquired as the surrounding situation data.
The position estimation method according to appendix 5.

(付記9)
コンピュータに、
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を実行させる、プログラム。
(Appendix 9)
On the computer
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
Ru is the execution, program.

(付記10)
前記(a)のステップにおいて、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記(c)のステップにおいて、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
付記9に記載のプログラム
(Supplementary Note 10)
In the step (a), the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data is specified as a first correspondence, and the surrounding situation data is photographed. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a range wider than the range.
In the step (c),
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
The program described in Supplementary Note 9.

(付記11)
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
付記9に記載のプログラム
(Supplementary Note 11)
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
In the step (a), image data generated from the pixel signal is acquired as the surrounding situation data.
The program described in Supplementary Note 9.

(付記12)
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
付記9に記載のプログラム
(Supplementary Note 12)
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
In the step (a), data generated from the output signal is acquired as the surrounding situation data.
The program described in Supplementary Note 9.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   Although the present invention has been described above with reference to the embodiment, the present invention is not limited to the above embodiment. The configurations and details of the present invention can be modified in various ways that can be understood by those skilled in the art within the scope of the present invention.

本発明によれば、移動体から出力されたデータから対象の絶対的な位置を推定することができる。本発明は、野生動物の生態調査、イベント時のヒトの混雑状況等の調査、交通渋滞の調査、不審者等の監視、災害時のヒトの避難状況の把握といった場面に有効である。   According to the present invention, it is possible to estimate the absolute position of an object from data output from a mobile. INDUSTRIAL APPLICABILITY The present invention is effective in situations such as wildlife ecology survey, survey of congestion status of people at the time of event, survey of traffic congestion, surveillance of suspicious persons etc., grasp of evacuation status of humans at the time of disaster.

10 位置推定装置
11 対応関係特定部
12 座標算出部
13 絶対位置推定部
14 無線通信部
15 地図データベース
20 無人飛行機
21 データ処理部
22 センサ
23 GPS信号受信部
24 推力発生部
25 無線通信部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
DESCRIPTION OF SYMBOLS 10 Position estimation apparatus 11 Correspondence specification part 12 Coordinate calculation part 13 Absolute position estimation part 14 Wireless communication part 15 Map database 20 Unmanned airplane 21 Data processing part 22 Sensor 23 GPS signal receiving part 24 Thrust generation part 25 Wireless communication part 110 Computer 111 CPU
112 main memory 113 storage device 114 input interface 115 display controller 116 data reader / writer 117 communication interface 118 input device 119 display device 120 recording medium 121 bus

Claims (9)

周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、対応関係特定部と、
前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、座標算出部と、
特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、絶対位置推定部と、
を備え
前記対応関係特定部が、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記絶対位置推定部が、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
ことを特徴とする位置推定装置。
Ambient condition data specifying the surrounding condition is acquired from a mobile body equipped with a sensor capable of detecting the surrounding condition, and the surrounding condition data is compared with map data to identify the correspondence between the two. A correspondence specifying unit,
A coordinate calculation unit that extracts a target of position estimation from the surrounding situation data, and calculates coordinates of the extracted target on the surrounding situation data;
An absolute position estimation unit configured to estimate the position of the object on the map data from the identified correspondence relationship and the calculated coordinates;
Equipped with
The correspondence specifying unit specifies, as a first correspondence, the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data, and further, the surrounding situation data is captured in a photographing range. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a wider range than the map data.
The absolute position estimation unit
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
A position estimation device characterized by
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記対応関係特定部が、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
請求項に記載の位置推定装置。
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
The correspondence specifying unit acquires image data generated from the pixel signal as the surrounding situation data.
The position estimation device according to claim 1 .
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記対応関係特定部が、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
請求項に記載の位置推定装置。
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
The correspondence specifying unit acquires data generated from the output signal as the surrounding situation data.
The position estimation device according to claim 1 .
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を備え
前記(a)のステップにおいて、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記(c)のステップにおいて、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
ことを特徴とする位置推定方法。
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
Equipped with
In the step (a), the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data is specified as a first correspondence, and the surrounding situation data is photographed. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a range wider than the range.
In the step (c),
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
A position estimation method characterized by
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
請求項に記載の位置推定方法。
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
In the step (a), image data generated from the pixel signal is acquired as the surrounding situation data.
The position estimation method according to claim 4 .
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
請求項に記載の位置推定方法。
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
In the step (a), data generated from the output signal is acquired as the surrounding situation data.
The position estimation method according to claim 4 .
コンピュータに、
(a)周辺の状況を検知可能なセンサを備えた移動体から、前記周辺の状況を特定する周辺状況データを取得し、前記周辺状況データと地図データとを比較して、両者の対応関係を特定する、ステップと、
(b)前記周辺状況データから、位置推定の対象を抽出し、抽出した前記対象の前記周辺状況データ上での座標を算出する、ステップと、
(c)特定された前記対応関係と算出された前記座標とから、前記地図データ上での前記対象の位置を推定する、ステップと、
を実行させ
前記(a)のステップにおいて、前記周辺状況データで特定される周辺の環境地図データと前記周辺状況データとの対応関係を、第1の対応関係として特定し、更に、前記周辺状況データを、撮影範囲よりも広い範囲をカバーする前記地図データに照合することによって、前記周辺状況データと前記地図データとの対応関係を、第2の対応関係として特定し、
前記(c)のステップにおいて、
前記第1の対応関係と、前記対象の前記周辺状況データ上での座標とから、前記対象の前記環境地図データ上での座標を特定し、
更に、前記第1の対応関係と前記第2の対応関係とを用いて、前記環境地図データと前記地図データとのアフィン写像を算出し、
そして、算出した前記アフィン写像に、前記環境地図データ上での座標を入力することによって、前記環境地図データ上での座標を前記地図データ上での座標に変換し、
変換によって得られた座標を、前記地図データ上での前記対象の位置として推定する、
プログラム。
On the computer
(A) From a mobile body equipped with a sensor capable of detecting the surrounding situation, the surrounding situation data specifying the surrounding situation is acquired, the surrounding situation data is compared with the map data, and the correspondence relationship between the two is obtained. Identify, step, and
(B) extracting a target of position estimation from the surrounding situation data, and calculating coordinates of the extracted target on the surrounding situation data;
(C) estimating the position of the object on the map data from the identified correspondence and the calculated coordinates;
Was executed,
In the step (a), the correspondence between the surrounding environmental map data specified by the surrounding situation data and the surrounding situation data is specified as a first correspondence, and the surrounding situation data is photographed. The correspondence between the surrounding situation data and the map data is specified as a second correspondence by matching the map data covering a range wider than the range.
In the step (c),
The coordinates on the environmental map data of the target are specified from the first correspondence relationship and the coordinates on the peripheral situation data of the target,
Furthermore, an affine mapping of the environmental map data and the map data is calculated using the first correspondence relationship and the second correspondence relationship,
Then, the coordinates on the environmental map data are converted into the coordinates on the map data by inputting the coordinates on the environmental map data into the calculated affine map,
Estimating the coordinates obtained by the transformation as the position of the object on the map data,
program.
前記移動体が、前記センサとして、受光した光に応じて画素信号を出力する撮像素子を備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記画素信号から生成された画像データを取得する、
請求項に記載のプログラム。
The movable body includes, as the sensor, an imaging element that outputs a pixel signal according to the received light.
In the step (a), image data generated from the pixel signal is acquired as the surrounding situation data.
The program according to claim 7 .
前記移動体が、前記センサとして、周辺に存在する物体までの距離に応じて出力信号の特徴が変化するセンサを備え、
前記(a)のステップにおいて、前記周辺状況データとして、前記出力信号から生成されたデータを取得する、
請求項に記載のプログラム。
The moving body includes, as the sensor, a sensor whose characteristic of an output signal changes in accordance with the distance to an object present in the periphery;
In the step (a), data generated from the output signal is acquired as the surrounding situation data.
The program according to claim 7 .
JP2017532281A 2015-08-03 2015-08-03 Position estimation device, position estimation method, and program Active JP6529098B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/071981 WO2017022057A1 (en) 2015-08-03 2015-08-03 Location estimation device, location estimation method, and computer readable recording medium

Publications (2)

Publication Number Publication Date
JPWO2017022057A1 JPWO2017022057A1 (en) 2018-05-24
JP6529098B2 true JP6529098B2 (en) 2019-06-12

Family

ID=57942546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532281A Active JP6529098B2 (en) 2015-08-03 2015-08-03 Position estimation device, position estimation method, and program

Country Status (2)

Country Link
JP (1) JP6529098B2 (en)
WO (1) WO2017022057A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006281830A (en) * 2005-03-31 2006-10-19 Yamaha Motor Co Ltd View point display system for camera
TWI438728B (en) * 2012-04-25 2014-05-21 Hon Hai Prec Ind Co Ltd System and method for controlling traffic flow information
US9063544B2 (en) * 2012-09-19 2015-06-23 The Boeing Company Aerial forest inventory system
JP2015131713A (en) * 2014-01-15 2015-07-23 パイオニア株式会社 Management system, flight control method, flight control program, and recording medium

Also Published As

Publication number Publication date
WO2017022057A1 (en) 2017-02-09
JPWO2017022057A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US10949712B2 (en) Information processing method and information processing device
Wang et al. Detecting and tracking vehicles in traffic by unmanned aerial vehicles
Carrio et al. Drone detection using depth maps
US11822341B2 (en) Control device, control method, and mobile object to estimate the mobile object&#39;s self-position
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US20160214533A1 (en) Autonomous vehicle cameras used for near real-time imaging
US11725940B2 (en) Unmanned aerial vehicle control point selection system
JP2014119828A (en) Autonomous aviation flight robot
JP2012163495A (en) Sensor integration system and sensor integration method
JP2016173709A (en) Autonomous mobile robot
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
CN112596071A (en) Unmanned aerial vehicle autonomous positioning method and device and unmanned aerial vehicle
CN112379681A (en) Unmanned aerial vehicle obstacle avoidance flight method and device and unmanned aerial vehicle
US11047690B2 (en) Automated emergency response
JP2016181178A (en) Autonomous mobile robot
JP2016181177A (en) Autonomous mobile robot
Kakillioglu et al. 3D sensor-based UAV localization for bridge inspection
JP2019075037A (en) Information processing apparatus, information processing method, and program
Figueira et al. MISSION-ORIENTED SENSOR ARRAYS AND UAVs–A CASE STUDY ON ENVIRONMENTAL MONITORING
JP6529098B2 (en) Position estimation device, position estimation method, and program
EP3989034B1 (en) Automatic safe-landing-site selection for unmanned aerial systems
Baeck et al. Drone based near real-time human detection with geographic localization
Kim et al. Detecting and localizing objects on an unmanned aerial system (uas) integrated with a mobile device
Amanatiadis et al. The HCUAV project: Electronics and software development for medium altitude remote sensing
JP2019179529A (en) Controller

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190509

R150 Certificate of patent or registration of utility model

Ref document number: 6529098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150