WO2019049197A1 - 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム - Google Patents

飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム Download PDF

Info

Publication number
WO2019049197A1
WO2019049197A1 PCT/JP2017/031913 JP2017031913W WO2019049197A1 WO 2019049197 A1 WO2019049197 A1 WO 2019049197A1 JP 2017031913 W JP2017031913 W JP 2017031913W WO 2019049197 A1 WO2019049197 A1 WO 2019049197A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
flight
flying object
aircraft
recorded
Prior art date
Application number
PCT/JP2017/031913
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/644,346 priority Critical patent/US20200387171A1/en
Priority to JP2019540150A priority patent/JP7028248B2/ja
Priority to PCT/JP2017/031913 priority patent/WO2019049197A1/ja
Publication of WO2019049197A1 publication Critical patent/WO2019049197A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/92—Portable platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00—Transport or storage specially adapted for UAVs
    • B64U80/80—Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86—Land vehicles

Definitions

  • the target mark could not be viewed accurately, and the aircraft could not achieve the desired flight state.
  • An object of the present invention is to provide a technique for solving the above-mentioned problems.
  • an aircraft is: Imaging means for imaging the surroundings of the flying object; Recording means for recording an image captured before the aircraft starts flying; Flight control means for causing the flying object to fly to a designated position using the image recorded in the recording means and the image taken during flight; It is an aircraft equipped with
  • an apparatus for receiving an image obtained by imaging the periphery of the flying object; Recording means for recording an image captured before the aircraft starts flying; Flight control means for causing the flying object to fly to a designated position using the image recorded in the recording means and the image taken during flight;
  • An aircraft control device comprising
  • the method according to the present invention is An imaging step for imaging the surroundings of the flying object; Flight control to fly the flying object to a specified position using an image captured before the flying object starts flying and recorded in recording means and an image captured during flight by the imaging step Step and Control method of an aircraft including the
  • a program according to the present invention is An imaging step for imaging the surroundings of the flying object; Flight control to fly the flying object to a specified position using an image captured before the flying object starts flying and recorded in recording means and an image captured during flight by the imaging step Step and Is a control program of an aircraft that causes a computer to execute the program.
  • the flying object 100 includes an imaging unit 101, a recording unit 102, and a flight control unit 103.
  • the imaging unit 101 captures an image of the periphery of the flying object 100.
  • the image recording unit 102 records a landscape image 121 captured before the aircraft 100 starts flying.
  • the flight control unit 103 causes the flying object 100 to fly to the designated position using the landscape image 121 recorded in the image recording unit 102 and the landscape image 120 captured during flight.
  • the flying object can be made to fly accurately at a desired position regardless of the ability of the pilot.
  • FIG. 2A is a diagram for explaining the state of departure and arrival of the flying object 200 according to the present embodiment.
  • the vehicle 210 is stopped in a valley of a building, and the flying object 200 is detached and attached from a target mark 215 provided on the roof thereof.
  • a technique for guiding the flying object 200 to a desired landing point (for example, the roof of a vehicle, on a ship on the sea, etc.) without relying on a target mark.
  • FIG. 3 is a diagram showing an internal configuration of the flying object 200. As shown in FIG. Inside the flying object 200, an image database 302, a flight control unit 303, an imaging unit 304, a feature extraction unit 306, and an altitude acquisition unit 307 are provided.
  • the image database 302 stores image data 321 of a landscape image captured before the aircraft 200 starts flying.
  • the imaging unit 304 images the periphery of the flying object and records the acquired image data in the image database 302.
  • the flight control unit 303 controls the flight of the flying object 200 using the landscape image recorded in the image database 302 and the landscape image captured by the imaging unit 304 during flight.
  • each image data recorded in the image database 302 may be associated with an imaging date, an weather at the time of imaging, an imaging height, and the like.
  • the flight control unit 303 determines an image to be matched with an image captured during flight from among the images recorded in the image database 302 based on at least one of flight date and time, weather during flight, and flight altitude. Choose
  • the flight control unit 303 selects an image to be matched with the image captured during flight based on at least one of the brightness, the contrast, and the color distribution of the image recorded in the image database 302.
  • the image database 302 may further record the acquisition source of the image.
  • the altitude acquisition unit 307 acquires flight altitude information on the altitude of the flying object 200 during flight.
  • the image database 302 records a plurality of lower images corresponding to different shooting heights.
  • the flight control unit 303 compares the feature points recorded in the image database 302 with the feature points extracted from the image captured during flight, and causes the aircraft 200 to fly so that they match.
  • the flight control unit 303 performs matching for each predetermined altitude, and guides the movement amount according to the altitude as needed.
  • the movement amount calculation unit 331 refers to the movement amount database 332, and shifts between the feature point recorded in the image database 302 and the feature point extracted from the lower image taken during the descent. Based on the above, the movement amount of the flying object 200 is derived. As shown in FIG. 5, even if the displacement of the same feature point is the same number of pixels, the higher the altitude, the larger the need to move.
  • a geofence virtually invisible by GPS may be set at a landing radius of about 5 m and control may be made to descend at a bumped place.
  • the flight control unit 303 When flying to a designated landing point after flying to a destination, the flight control unit 303 flies near the landing point using a signal from a GPS (Global Positioning System). Thereafter, the feature points of the image designated as the landing point are read out and guided to the landing designated point while matching with the feature points extracted from the captured image in flight.
  • GPS Global Positioning System
  • the image used at a height higher than the predetermined height and the image used at a lower position may be switched.
  • a position higher than the predetermined height is pre-registered when the flying object 200 becomes lower than the predetermined height. You may guide using the set marker image as a reference image.
  • the reference image may be switched according to the number of feature points in the captured image instead of the acquired altitude.
  • FIG. 8 is a flowchart showing a flow of processing performed in the flying object 200 according to the present embodiment.
  • a flow of processing using image data in the image database 302 at the time of landing will be described.
  • the present invention is not limited to landing, and can also be applied to hovering at a designated position and flight of a designated route.
  • step S801 it is determined whether a landing instruction has been received. If a landing instruction has been received, the process proceeds to step S 803, where the imaging unit 304 captures a lower image, and at the same time, the altitude acquisition unit 307 acquires altitude.
  • step S805 the feature extraction unit 306 extracts feature points from the lower image while recording the captured lower image in the image database 302.
  • step S806 an image (or its feature points) suitable for matching with the lower image captured in real time is selected from the image database 302 and read out.
  • the image to be matched with the image captured during flight is based on at least one of imaging date, weather at imaging, imaging height, image brightness, contrast, and color distribution. select.
  • the image recorded in advance in the image database 302 may be scaled according to the flight altitude of the aircraft 200. That is, the flight altitude may be reduced if it is higher than the imaging altitude, and it may be increased if it is lower.
  • step S 807 the features are compared, and in step S 809, the movement amount calculation unit 331 calculates the movement amount of the flying object 200 from the positional deviation amount (number of pixels) of the feature points. Then, when the process proceeds to step S811, the flight control unit 303 moves the aircraft 200 according to the calculated movement amount.
  • step S813 it is determined whether or not the landing has been completed. If the landing has not been completed, the process returns to step S803 to repeat the processing.
  • the flying object can be made to fly accurately at a desired position.
  • the images taken in advance it is possible to specify the flight point such as the landing point sufficiently before the flight, and specify it, so that accurate flight can be performed without the burden of the pilot.
  • FIG. 9 is a view for explaining an internal configuration of the flying object 900 according to the present embodiment.
  • the flying body 900 according to this embodiment is different from the second embodiment in that it has a takeoff determination unit 901 and a positioning unit 905.
  • the other configurations and operations are similar to those of the second embodiment, and therefore the same configurations and operations are denoted by the same reference numerals and the detailed description thereof is omitted.
  • the alignment unit 905 aligns the lower image in order to absorb the positional deviation 1101 of the flying object 200 during take-off ascent, and then records the position in the image database 302. That is, the lower image is always clipped so that the takeoff point 1115 is at the center.
  • the flight control unit 303 compares the feature points recorded in the image database 302 with the feature points extracted from the lower image captured during the descent.
  • the flight control unit 303 selects, from the image database 302, the content to be matched with the lower image taken during descent, in accordance with the flight altitude information.
  • the image database 302 is recorded corresponding to the altitudes 90 m, 80 m and 70 m as images to be compared with the image captured at the altitude 80 m while the flying object 200 is descending.
  • Three lower images 1201 to 1203 are selected.
  • the flight control unit 303 selects feature points using the altitude as reference information, but when the altitude can not be acquired, the lower image has a new acquisition timing. Change the comparison object from the old lower image to the lower image.
  • the feature points included in both the lower image taken by the imaging means while the flight vehicle is taking off and the image taken before the flight vehicle starts flying Compare with feature points extracted from images taken during flight. Except for feature points that are only included in either. Since feature points that overlap between the feature points taken in the past and the feature points taken up are used, it is possible to eliminate noises from moving objects and the like.
  • FIG. 13 is a view for explaining the internal configuration of a flying object control apparatus 1300 (so-called prop) according to the present embodiment.
  • the flying object control apparatus 1300 includes an image database 1302, a flying object control unit 1303, an image receiving unit 1304, a feature extracting unit 1306, and an altitude acquiring unit 1307.
  • the image database 1302 stores image data 1321 of a landscape image captured before the aircraft 1350 starts flying.
  • the imaging unit 1304 images the periphery of the flying object 1350 and records the acquired image data in the image database 1321.
  • the image data 1321 recorded in the image database 1302 may be a landscape image stored so as to be accessible on the Internet.
  • it may be image data of a landscape image generated by satellite photographs or aerial photographs, or may be image data of a landscape image captured in advance by another flight vehicle.
  • the feature extraction unit 1306 extracts feature points from the image data recorded in the image database 1302, and the image database 1302 records feature information 1322 extracted from the image data 1321 in association with the image data 1321.
  • a technique for extracting feature information from an image for matching is disclosed in ORB: effective alternative to SIFT or SURF (Ethan Ruble Vincent Rabaud Kurt Konolige Gary Bradski).
  • the aircraft can be landed accurately at a desired point.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

より確実に所望の位置で飛行させることのできる飛行体を提供することを目的とする。この飛行体は、その飛行体の周囲を撮像するための撮像手段を備えたことを特徴とする。また、その飛行体が飛行を開始する前に撮像された画像を記録する記録手段を備えたことを特徴とする。さらに、その記録手段に記録された画像と、飛行中に撮像手段を用いて撮像された画像とを利用して、その飛行体を指定位置に飛行させる飛行制御手段を備えたことを特徴とする。

Description

飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
　本発明は、飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラムに関する。
　上記技術分野において、特許文献１には、操縦士の技術および手間を省略するため、着陸時に、地上に載置されたターゲットマークに対して飛行体を自動誘導制御する技術が開示されている。
特開2012-71645号公報
　しかしながら、上記文献に記載の技術では、飛行高度によっては、ターゲットマークを正確に視認できず飛行体が所望の飛行状態を実現できない場合があった。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る飛行体は、
　飛行体の周囲を撮像するための撮像手段と、
　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
　を備えた飛行体である。
　上記目的を達成するため、本発明に係る装置は、
　飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
　を備えた飛行体制御装置である。
　上記目的を達成するため、本発明に係る方法は、
　飛行体の周囲を撮像する撮像ステップと、
　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
　を含む飛行体の制御方法である。
　上記目的を達成するため、本発明に係るプログラムは、
　飛行体の周囲を撮像する撮像ステップと、
　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
　をコンピュータに実行させる飛行体の制御プログラムである。
　本発明によれば、より確実に飛行体を所望の位置で飛行させることができる。
本発明の第１実施形態に係る飛行体の構成を示すブロック図である。 本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第２実施形態に係る飛行体の構成を説明する図である。 本発明の第２実施形態に係る飛行体の構成を説明する図である。 本発明の第２実施形態に係る飛行体の構成を説明する図である。 本発明の第２実施形態に係る飛行体の構成を説明する図である。 本発明の第２実施形態に係る飛行体の構成を説明する図である。 本発明の第２実施形態に係る飛行体の処理の流れを説明するフローチャートである。 本発明の第３実施形態に係る飛行体の構成を説明する図である。 本発明の第３実施形態に係る飛行体の構成を説明する図である。 本発明の第３実施形態に係る飛行体の構成を説明する図である。 本発明の第３実施形態に係る飛行体の構成を説明する図である。 本発明の第５実施形態に係る飛行体制御装置の構成を説明する図である。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての飛行体１００について、図１を用いて説明する。飛行体１００は、撮像部１０１、記録部１０２および飛行制御部１０３を含む。
　撮像部１０１は、飛行体１００の周囲を撮像する。画像記録部１０２は、飛行体１００が飛行を開始する前に撮像された風景画像１２１を記録する。飛行制御部１０３は、画像記録部１０２に記録された風景画像１２１と飛行中に撮像された風景画像１２０とを利用して、飛行体１００を指定位置に飛行させる。
　以上の構成により、操縦士の能力によらずに、飛行体を、所望の位置において正確に飛行させることができる。
　［第２実施形態］
　次に本発明の第２実施形態に係る飛行体について、図２乃至図５を用いて説明する。図２Ａは、本実施形態に係る飛行体２００の離発着の様子を説明するための図である。飛行体２００を災害現場に派遣するため、例えばビルの谷間に、車両２１０を停車させ、そのルーフに設けられたターゲットマーク２１５から飛行体２００を離発着させる。
　着陸時、ＧＰＳ（Global Positioning System）に頼った制御では、数ｍのズレが生じるため、ターゲットマーク２１５上に着陸させることは難しい。さらに、図２Ｂに示すように、高い高度（例えば１００ｍ以上）からは、このようなターゲットマーク２１５がよく見えなかったり、周辺の建物に見られる模様や形状に紛れて、ターゲットマーク２１５の誤認識が生じたりといったことが起こる。
　そこで、本実施形態では、ターゲットマークに頼らずに、所望の着陸地点（例えば車両のルーフや、海上の船の上など）に飛行体２００を誘導するための技術を提供する。
　図３は、飛行体２００の内部構成を示す図である。飛行体２００の内部には、画像データベース３０２、飛行制御部３０３、撮像部３０４、特徴抽出部３０６、高度取得部３０７を備える。
　画像データベース３０２は、飛行体２００が飛行を開始する前に撮像された風景画像の画像データ３２１を記録している。
　撮像部３０４は、飛行体の周囲を撮像し、取得した画像データを画像データベース３０２に記録する。
　飛行制御部３０３は、画像データベース３０２に記録された風景画像と、飛行中に撮像部３０４によって撮像された風景画像とを利用して飛行体２００の飛行を制御する。
　画像データベース３０２に記録された画像データ３２１は、インターネット上においてアクセス可能に保存された風景画像であってもよい。例えば衛星写真や航空写真によって生成された風景画像の画像データ（例えばgoogle earth（商標登録）で取得した画像データ）であってもよいし、他の飛行体によって事前に撮像された風景画像の画像データであってもよい。
　図４に示すとおり、画像データベース３０２に記録された各画像データには、撮像日時、撮像時の天候、撮像高度などが紐付けられて記録されてもよい。その場合、飛行制御部３０３は、飛行日時、飛行時の天候、飛行高度の少なくとも一つに基づいて、画像データベース３０２に記録された画像中から、飛行中に撮像された画像とマッチングすべき画像を選択する。
　また、飛行制御部３０３は、画像データベース３０２に記録された画像の明るさ、コントラスト、および色分布の少なくとも一つに基づいて、飛行中に撮像された画像とマッチングすべき画像を選択する。画像データベース３０２にはさらに、その画像の取得元が記録されてもよい。
　特徴抽出部３０６は、画像データベース３０２に記録された画像データから特徴点を抽出し、画像データベース３０２は画像データ３２１に対応付けて、その画像データ３２１から抽出した特徴情報３２２を記録する。マッチングのため、画像から特徴情報を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。
　高度取得部３０７は、飛行体２００が飛行中の高度に関する飛行高度情報を取得する。画像データベース３０２は、異なる撮影高度に対応する複数の下方画像を記録する。
　飛行制御部３０３は、画像データベース３０２に記録された特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように飛行体２００を飛行させる。
　飛行制御部３０３は、特に、飛行体２００の着陸飛行時に、画像データベース３０２に記録された画像と飛行中に撮像された画像とを利用して、飛行体を指定位置に着陸させるべく誘導する。
　飛行制御部３０３は、所定高度ごとにマッチングを行ない、高度に応じた移動量の誘導を随時行なう。具体的には、移動量算出部３３１が、移動量データベース３３２を参照して、画像データベース３０２に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点とのずれに基づき、飛行体２００の移動量を導き出す。図５に示すとおり、同じ特徴点のずれが同じ画素数であっても、高度が高くなればなるほど大きく移動させる必要が生じる。なお、着陸する半径５ｍぐらいのところにＧＰＳにて仮想的に目に見えないジオフェンスを設定して、ぶつかった場所で下降する制御にしてもよい。
　画像データベース３０２に記録された画像中において、図２Ｂのようなターゲットマーク２１５を着陸指定位置として、ソフト的に付加できる構成でもよい。飛行制御部３０３は、画像データ３２１に付加された着陸指定位置に飛行体２００を着陸させるべく誘導する。
　特徴抽出部３０６は、画像データベース３０２にあらかじめ記録された画像データ３２１から移動物体（人、自動車、自転車、列車、船など）を形状から認識して、特徴点の抽出対象から排除する。
　飛行制御部３０３は、目的地まで飛行した後、指定された着陸地点に移動する際、ＧＰＳ（Global Positioning System）からの信号を用いて、着陸地点付近に飛行する。その後、着陸地点として指定された画像の特徴点を読み出して、飛行中の撮像画像から抽出した特徴点とマッチングさせつつ、着陸指定地点に誘導する。
　本構成によれば、図６に示すとおり、事前に撮像された画像を利用するため、飛行前に、着陸地点を十分に吟味した上で、自由に指定できるという利点がある。
　また、図７に示すとおり、飛び立ったときに雨、着陸時に晴れといったように条件が変わってしまっても、事前に撮像された複数の画像から、着陸時の条件（時刻、天候、高度など）にあった画像を選択して利用することができる。その際、画像自体の特性（画像の明るさ、コントラスト、または色分布）に基づいて、画像を選択してもよい。
　また、所定高度よりも高所で用いる画像と、低所で用いる画像とを切り替えてもよい。例えば飛行体２００が所定高度よりも高い位置を飛行中は衛星画像や航空画像を参照画像として用いて誘導し、飛行体２００が所定高度よりも低所になった場合には、事前登録しておいたマーカー画像を参照画像として用いて誘導してもよい。
　取得した高度ではなく、撮像画像中の特徴点の数によって参照画像を切り替えてもよい。
　図８は、本実施形態に係る飛行体２００において行なわれる処理の流れを示すフローチャートである。ここでは、例として、着陸時に、画像データベース３０２内の画像データを利用する処理の流れについて説明する。しかし本発明は着陸時に限定されるものではなく指定位置でのホバリングや、指定ルートの飛行にも応用できる。まず、ステップＳ８０１において、着陸指示を受け付けたか判定する。着陸指示を受け付けた場合には、ステップＳ８０３に進み、撮像部３０４が、下方の画像を撮影し、同時に高度取得部３０７が高度を取得する。
　ステップＳ８０５では、撮影された下方画像を画像データベース３０２に記録しつつ、特徴抽出部３０６がその下方画像から特徴点を抽出する。ステップＳ８０６では、着陸地点を指定する画像であって、リアルタイムに撮影された下方画像とのマッチングに適した画像（またはその特徴点）を画像データベース３０２から選択し、読出す。
　このとき、上述したように、撮像日時、撮像時の天候、撮像高度、画像の明るさ、コントラスト、および色分布の少なくとも一つに基づいて、飛行中に撮像された画像とマッチングすべき画像を選択する。このとき、事前に画像データベース３０２に記録された画像を飛行体２００の飛行高度に応じて拡大縮小してもよい。つまり、飛行高度が撮像高度よりも高ければ縮小し、低ければ拡大すればよい。
　次に、ステップＳ８０７では、特徴の照合を行ない、ステップＳ８０９では、移動量算出部３３１が、特徴点の位置ずれ量（画素数）から、飛行体２００の移動量を算出する。そして、ステップＳ８１１に進むと、飛行制御部３０３は、算出された移動量どおりに飛行体２００を移動させる。
　最後にステップＳ８１３において、着陸が完了したか否かを判定して、未完了であれば、ステップＳ８０３に戻り処理を繰り返す。
　以上、本実施形態によれば、飛行体を、所望の位置において正確に飛行させることができる。事前に撮像された画像を利用して、飛行前に、着陸地点などの飛行地点を十分に吟味した上で指定でき、操縦士の負担なく、正確な飛行が可能となる。
　［第３実施形態］
　次に本発明の第３実施形態に係る飛行体について、図９を用いて説明する。図９は、本実施形態に係る飛行体９００の内部構成を説明するための図である。本実施形態に係る飛行体９００は、上記第２実施形態と比べると、離陸判定部９０１および位置あわせ部９０５を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
　図１０に示すように、画像データベース３０２は、飛行体２００が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において下方の画像を撮影させて、撮影された下方画像を記録する。また、飛行制御部３０３は、飛行体２００が着陸に向けて下降中であると判定した場合に、照合フェーズに移行し、離陸上昇中に画像データベース３０２に記録された画像と離陸前に画像データベース３０２に記録された画像とで重複する特徴点を用いる。その特徴点と、下降中に撮影された下方画像１００１、１００２とのマッチングを行ない、下降しながらあらかじめ指定された離陸地点１０１５に対して飛行体を誘導する。
　撮像部３０４は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行なう。着陸時はＧＰＳで飛行体２００を近辺まで帰還させ、着陸時に撮像部３０４を下方に向けて撮像を行ないつつ下降する。
　位置あわせ部９０５は、図１１に示すとおり、離陸上昇中の飛行体２００の位置ずれ１１０１を吸収すべく、下方画像の位置あわせを行なった上で画像データベース３０２に記録する。つまり、常に、離陸地点１１１５が中央にくるように下方画像を切り取る。
　飛行制御部３０３は、画像データベース３０２に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点との比較を行なう。飛行制御部３０３は、飛行高度情報に応じて、下降中に撮影された下方画像とのマッチングを行なうべき内容を画像データベース３０２から選択する。具体的には、図１２に示すとおり、飛行体２００が下降中、高度８０ｍの位置で撮像した画像と比較すべき画像として、画像データベース３０２に高度９０ｍ、８０ｍ、７０ｍに対応して記録された３つの下方画像１２０１～１２０３（の特徴点）を選択する。
　このとき、飛行制御部３０３は、高度取得部３０７から高度が取得できる場合には、その高度を参照情報として、特徴点を選択するが、高度が取得できない場合には、取得タイミングが新しい下方画像から古い下方画像へと比較対象を変更する。
　このように、本実施形態では、飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する。どちらかにしか含まれていない特徴点はのぞく。過去にとった特徴点と上昇時とった特徴点とで重複する特徴点を使うため、移動体などのノイズを排除できる。
　［第４実施形態］
　次に本発明の第４実施形態に係る飛行体制御装置１３００について、図１３を用いて説明する。図１３は、本実施形態に係る飛行体制御装置１３００（いわゆるプロポ）の内部構成を説明するための図である。
　本実施形態に係る飛行体制御装置１３００は、画像データベース１３０２、飛行体制御部１３０３、画像受信部１３０４、特徴抽出部１３０６、高度取得部１３０７を備える。
　画像受信部１３０４は、飛行体１３５０で撮像された画像を受信する。
　画像データベース１３０２は、飛行体１３５０が飛行を開始する前に撮像された風景画像の画像データ１３２１を記録している。
　撮像部１３０４は、飛行体１３５０の周囲を撮像し、取得した画像データを画像データベース１３２１に記録する。
　飛行制御部１３０３は、画像データベース１３０２に記録された風景画像と、飛行中に画像受信部１３０４によって受信された風景画像とを利用して飛行体１３５０の飛行を制御する。
　画像データベース１３０２に記録された画像データ１３２１は、インターネット上においてアクセス可能に保存された風景画像であってもよい。例えば衛星写真や航空写真によって生成された風景画像の画像データであってもよいし、他の飛行体によって事前に撮像された風景画像の画像データであってもよい。
　特徴抽出部１３０６は、画像データベース１３０２に記録された画像データから特徴点を抽出し、画像データベース１３０２は画像データ１３２１に対応付けて、その画像データ１３２１から抽出した特徴情報１３２２を記録する。マッチングのため、画像から特徴情報を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。
　高度取得部１３０７は、飛行体１３５０が飛行中の高度に関する飛行高度情報を取得する。画像データベース１３０２は、異なる撮影高度に対応する複数の下方画像を記録する。
　飛行制御部１３０３は、画像データベース１３０２に記録された特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように飛行体１３５０を飛行させる。
　本実施形態によれば、飛行体を所望の地点に正確に着陸させることができる。
　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　［実施形態の他の表現］
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　飛行体の周囲を撮像するための撮像手段と、
　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
　を備えた飛行体。
（付記２）
　前記記録手段に記録された画像は、インターネット上においてアクセス可能に保存された風景画像である付記１に記載の飛行体。
（付記３）
　前記記録手段に記録された画像は、他の飛行体が事前に撮像した風景画像である付記１に記載の飛行体。
（付記４）
　前記飛行制御手段は、飛行時刻、飛行時の天候、飛行高度の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する付記１乃至３のいずれか１項に記載の飛行体。
（付記５）
　前記飛行制御手段は、画像の明るさ、画像のコントラスト、および画像の色分布の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する付記１乃至４のいずれか１項に記載の飛行体。
（付記６）
　前記記録手段は、さらに前記画像から抽出された特徴点を記録し、
　前記飛行制御手段は、前記記録手段に記録された前記特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように前記飛行体を飛行させる付記１乃至５にいずれか１項に記載の飛行体。
（付記７）
　前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する付記６に記載の飛行体。
（付記８）
　前記飛行制御手段は、着陸飛行時に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に着陸させる付記１乃至７のいずれか１項に記載の飛行体。
（付記９）
　前記記録手段に記録された画像中に着陸位置が指定されており、前記飛行制御手段は、指定された着陸位置に前記飛行体を着陸させる付記８に記載の飛行体。
（付記１０）
　前記記録手段にあらかじめ記録された画像から移動物体を認識して排除する付記１乃至９のいずれか１項に記載の飛行体。
（付記１１）
　飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
　を備えた飛行体制御装置。
（付記１２）
　飛行体の周囲を撮像する撮像ステップと、
　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
　を含む飛行体の制御方法。
（付記１３）
　飛行体の周囲を撮像する撮像ステップと、
　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
　をコンピュータに実行させる飛行体の制御プログラム。

Claims (13)

  1. 　飛行体の周囲を撮像するための撮像手段と、
    　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
    　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
    　を備えた飛行体。
  2. 　前記記録手段に記録された画像は、インターネット上においてアクセス可能に保存された風景画像である請求項１に記載の飛行体。
  3. 　前記記録手段に記録された画像は、他の飛行体が事前に撮像した風景画像である請求項１に記載の飛行体。
  4. 　前記飛行制御手段は、飛行時刻、飛行時の天候、飛行高度の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する請求項１乃至３のいずれか１項に記載の飛行体。
  5. 　前記飛行制御手段は、画像の明るさ、画像のコントラスト、および画像の色分布の少なくとも一つに基づいて、前記記録手段に記録された画像中から、飛行中に利用すべき画像を選択する請求項１乃至４のいずれか１項に記載の飛行体。
  6. 　前記記録手段は、さらに前記画像から抽出された特徴点を記録し、
    　前記飛行制御手段は、前記記録手段に記録された前記特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、それらが一致するように前記飛行体を飛行させる請求項１乃至５にいずれか１項に記載の飛行体。
  7. 　前記飛行体が離陸上昇中に前記撮像手段により撮影された下方画像と、前記飛行体が飛行を開始する前に撮像された画像との両方に含まれる特徴点を、飛行中に撮像された画像から抽出された特徴点と比較する請求項６に記載の飛行体。
  8. 　前記飛行制御手段は、着陸飛行時に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に着陸させる請求項１乃至７のいずれか１項に記載の飛行体。
  9. 　前記記録手段に記録された画像中に着陸位置が指定されており、前記飛行制御手段は、指定された着陸位置に前記飛行体を着陸させる請求項８に記載の飛行体。
  10. 　前記記録手段にあらかじめ記録された画像から移動物体を認識して排除する請求項１乃至９のいずれか１項に記載の飛行体。
  11. 　飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
    　前記飛行体が飛行を開始する前に撮像された画像を記録する記録手段と、
    　前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御手段と、
    　を備えた飛行体制御装置。
  12. 　飛行体の周囲を撮像する撮像ステップと、
    　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
    　を含む飛行体の制御方法。
  13. 　飛行体の周囲を撮像する撮像ステップと、
    　前記飛行体が飛行を開始する前に撮像され、記録手段に記録された画像と、前記撮像ステップにより飛行中に撮像された画像とを利用して、前記飛行体を指定位置に飛行させる飛行制御ステップと、
    　をコンピュータに実行させる飛行体の制御プログラム。
PCT/JP2017/031913 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム WO2019049197A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/644,346 US20200387171A1 (en) 2017-09-05 2017-09-05 Flying body control apparatus, flying body control method, and flying body control program
JP2019540150A JP7028248B2 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
PCT/JP2017/031913 WO2019049197A1 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/031913 WO2019049197A1 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Publications (1)

Publication Number Publication Date
WO2019049197A1 true WO2019049197A1 (ja) 2019-03-14

Family

ID=65633755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031913 WO2019049197A1 (ja) 2017-09-05 2017-09-05 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Country Status (3)

Country Link
US (1) US20200387171A1 (ja)
JP (1) JP7028248B2 (ja)
WO (1) WO2019049197A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230072243A (ko) * 2021-11-17 2023-05-24 ㈜시스테크 무인항공기 최적 착륙경로 설정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6228614A (ja) * 1985-07-31 1987-02-06 Komatsu Ltd 車両の画像ホ−ミング方法
JP2010146238A (ja) * 2008-12-18 2010-07-01 Yaskawa Electric Corp 移動体の教示方法及び移動体の制御装置並びに移動体システム
JP2012068736A (ja) * 2010-09-21 2012-04-05 Yaskawa Electric Corp 移動体
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP2016111414A (ja) * 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6228614A (ja) * 1985-07-31 1987-02-06 Komatsu Ltd 車両の画像ホ−ミング方法
JP2010146238A (ja) * 2008-12-18 2010-07-01 Yaskawa Electric Corp 移動体の教示方法及び移動体の制御装置並びに移動体システム
JP2012068736A (ja) * 2010-09-21 2012-04-05 Yaskawa Electric Corp 移動体
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP2016111414A (ja) * 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230072243A (ko) * 2021-11-17 2023-05-24 ㈜시스테크 무인항공기 최적 착륙경로 설정 방법
KR102562599B1 (ko) 2021-11-17 2023-08-02 ㈜시스테크 무인항공기 최적 착륙경로 설정 방법

Also Published As

Publication number Publication date
JP7028248B2 (ja) 2022-03-02
JPWO2019049197A1 (ja) 2020-09-24
US20200387171A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US20230236611A1 (en) Unmanned Aerial Vehicle Sensor Activation and Correlation System
US20190220039A1 (en) Methods and system for vision-based landing
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
KR100842101B1 (ko) 영상정보를 이용한 무인항공기 자동회수 방법
CN104808674A (zh) 多旋翼飞行器的控制系统、终端及机载飞控系统
CN106527481A (zh) 无人机飞行控制方法、装置及无人机
US11827352B2 (en) Visual observer for unmanned aerial vehicles
US11328612B2 (en) System, method, and apparatus for drone positioning control
CN109597432B (zh) 一种基于车载摄像机组的无人机起降监控方法及系统
CN106781709A (zh) 一种飞机着陆监视引导系统
KR102166432B1 (ko) 스마트 드론을 사용한 재난 상황 대응 방법
EP3868652A1 (en) Information processing system, information processing method, and program
JP2020138681A (ja) 無人飛行体の制御システム
JP6791387B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP2020149640A (ja) 飛行システム及び着陸制御方法
CN112119428A (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
JP7028248B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP7070636B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
KR20190097350A (ko) 드론의 정밀착륙을 위한 방법, 이를 수행하기 위한 기록매체, 및 이를 적용한 드론
JP7028247B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
AU2021105629A4 (en) System and Method for Monitoring, Detecting and Counting Fruits in a Field
Nakamura et al. Estimation techniques in robust vision-based landing of aerial vehicles
KR20220068606A (ko) 부분 영상을 고려한 드론의 자동 착륙 알고리즘
EP3606030A1 (en) Information-processing device, information-processing method, and information-processing program
JP2019022178A (ja) 管制支援装置、管制支援方法および管制支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17924321

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019540150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17924321

Country of ref document: EP

Kind code of ref document: A1