WO2020065719A1 - 飛行体 - Google Patents

飛行体 Download PDF

Info

Publication number
WO2020065719A1
WO2020065719A1 PCT/JP2018/035427 JP2018035427W WO2020065719A1 WO 2020065719 A1 WO2020065719 A1 WO 2020065719A1 JP 2018035427 W JP2018035427 W JP 2018035427W WO 2020065719 A1 WO2020065719 A1 WO 2020065719A1
Authority
WO
WIPO (PCT)
Prior art keywords
flying object
cameras
distance
camera
distance meter
Prior art date
Application number
PCT/JP2018/035427
Other languages
English (en)
French (fr)
Inventor
鈴木陽一
Original Assignee
株式会社エアロネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エアロネクスト filed Critical 株式会社エアロネクスト
Priority to CN201880098658.7A priority Critical patent/CN112839871A/zh
Priority to PCT/JP2018/035427 priority patent/WO2020065719A1/ja
Priority to US17/279,057 priority patent/US20210387743A1/en
Priority to JP2019541488A priority patent/JP6631900B1/ja
Publication of WO2020065719A1 publication Critical patent/WO2020065719A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Definitions

  • the present invention relates to a flying object.
  • Patent Literature 1 discloses an optical flow method using a multi-resolution method, a feature point detector algorithm, and a method combining these methods as a method for obtaining a horizontal translation speed of an unmanned aerial vehicle using an ultrasonic altimeter and a camera. Is disclosed.
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technology capable of accurately estimating a position of the user.
  • a main invention of the present invention for solving the above-mentioned problems is a flying object, comprising two cameras having different focal lengths, and a stabilizer including at least the camera having the shorter focal length among the two cameras. And a flight controller that calculates a moving speed of the flying object based on images captured by the two cameras.
  • FIG. 2 is a diagram showing an example of an air vehicle 1 equipped with two cameras 3 and 6 having different focal lengths.
  • FIG. 9 is a diagram illustrating a second example of the flying object 1 on which two cameras 3 and 6 having different focal lengths are mounted.
  • FIG. 9 is a diagram illustrating a third example of the flying object 1 equipped with two cameras 3 and 6 having different focal lengths.
  • FIG. 2 is a diagram showing an example of an air vehicle 1 on which cameras 3 and 6 and a distance meter 4 are mounted in a horizontal direction.
  • FIG. 7 is a view showing an example of the flying object 1 provided with an attitude control device 51 for stabilizing the loading section 7 instead of the stabilizer 5.
  • FIG. 2 is a diagram showing an example of an air vehicle 1 provided with a plurality of loading units 7 on which cameras 3 and 6 and a distance meter 4 are mounted.
  • a flying object according to an embodiment of the present invention has the following configuration.
  • FIG. 1 is a diagram showing a configuration example of a flying object 1 according to an embodiment of the present invention.
  • the flight controller 11 can include one or more processors such as a programmable processor (for example, a central processing unit (CPU)).
  • processors such as a programmable processor (for example, a central processing unit (CPU)).
  • the flight controller 11 has a memory 102, and can access the memory 102.
  • the memory 102 stores logic, code, and / or program instructions that the flight controller 11 can execute to perform one or more steps.
  • the memory 102 may include a separable medium such as an SD card or a random access memory (RAM) or an external storage device. Data acquired from the camera 3, the distance meter 4, and the sensors 103 may be directly transmitted to the memory 102 and stored. For example, still image / moving image data shot by the camera 3 is recorded in a built-in memory or an external memory.
  • the distance meter 4 measures the distance to the object, and can store the measured distance in the memory 102.
  • the distance meter 4 can measure the distance (altitude) from the ground or the distance to the ceiling, for example.
  • the camera 3 and the distance meter 4 are installed on the flying object 1 via a stabilizer 5. It is preferable that the stabilizer 5 is disposed such that the intersection of the gimbal axes is located at the center of gravity of the flying object 1.
  • the flight controller 11 includes a control module configured to control the state of the flying object 1.
  • the control module may control the ESC 105 to adjust the spatial configuration, velocity, and / or acceleration of a vehicle having six degrees of freedom (translational motion x, y, and z, and rotational motion ⁇ x, ⁇ y, and ⁇ z).
  • the propulsion mechanism (motor 106 and the like) of the flying object 1 is controlled via the control unit.
  • the control module can control one or more of the states of the sensors 103.
  • the flight controller 11 is configured to transmit and / or receive data from one or more external devices (eg, a transceiver, a terminal, a display, or other remote controller). 104.
  • the transceiver can use any suitable communication means, such as a wired or wireless communication.
  • the transmission / reception unit 104 uses one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunication network, cloud communication, and the like. can do.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • the transmission / reception unit 104 transmits and / or receives one or more of data acquired by the sensors 103, a processing result generated by the flight controller 11, predetermined control data, a user command from a terminal or a remote controller, and the like. be able to.
  • the sensors 103 may include an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (for example, a rider), or a vision / image sensor (for example, a camera).
  • an inertial sensor acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor for example, a rider
  • vision / image sensor for example, a camera
  • FIG. 2 is a diagram illustrating an outline of the flying object 1 according to the present embodiment.
  • the flying object 1 has the camera 3 and the distance meter 4 mounted on the main body 2 via the stabilizer 5.
  • the stabilizer 5 As shown in FIG. 1B, the camera 3 and the distance meter 4 are kept substantially horizontal even when the main body 2 of the flying object 1 is inclined.
  • the distance meter 4 can measure, for example, the distance (altitude) to the ground.
  • the distance meter 4 can determine the distance by measuring the reflection time of the ultrasonic wave, for example.
  • the rangefinder 4 is not limited to ultrasonic waves, and may use optics, infrared rays, lasers, or the like, and may employ any type of rangefinder.
  • the flight controller 11 can calculate the moving speed of the flying object 1 in the horizontal direction based on the distance measured by the distance meter 4 and the continuous image captured by the camera 3. For example, the flight controller 11 can calculate the distance per pixel based on the altitude measured by the range finder 4 and the angle of view of the camera 3, and can calculate the speed from the moving distance per unit time. In addition, a known method can be used as a method of calculating the horizontal moving speed of the flying object 1 based on a plurality of images captured by the camera 3.
  • FIG. 3 is a diagram showing an example of the flying object 1 on which two cameras 3 and 6 having different focal lengths are mounted.
  • the stabilizer 5 is equipped with a long focal length (telephoto) camera 3 and a distance meter 4, and the short focal length (wide angle) camera 6 is connected to the main body 2 without the stabilizer 5.
  • the flight controller 11 can calculate the horizontal moving speed of the flying object 1 based on two images having different resolutions captured by the two cameras 3 and 6.
  • FIG. 3B by mounting the telephoto camera 3 on the stabilizer 5, it is possible to stabilize the camera 3 even at a high altitude and capture a high-definition image.
  • the distance (altitude) can be measured with high accuracy by stabilizing the distance meter 4. Therefore, the flight controller 11 can accurately estimate the horizontal moving speed.
  • FIG. 4 is a diagram illustrating a second example of the flying object 1 equipped with two cameras 3 and 6 having different focal lengths.
  • FIG. 4A two cameras 3 and 6 having different focal lengths are mounted on the main body 2 via a stabilizer 5.
  • FIG. 4B even when the flying object 1 is tilted, the cameras 3 and 6 and the distance meter 4 are directed vertically downward by the stabilizer 5. Thereby, the cameras 3 and 6 can be stabilized, and images with different resolutions can be taken with high definition.
  • the distance (altitude) can be accurately measured by stabilizing the distance meter 4. Therefore, the flight controller 11 can accurately estimate the horizontal movement speed.
  • FIG. 5 is a diagram illustrating a third example of the flying object 1 on which two cameras 3 and 6 having different focal lengths are mounted.
  • the cameras 3 and 6 and the distance meter 4 are arranged on the upper surface of the main body 2.
  • the cameras 3 and 6 capture an image in the vertical upward direction
  • the distance meter 4 measures the distance upward in the vertical direction.
  • the ceiling is photographed and gripped, the distance to the ceiling is measured, and based on these, To calculate the horizontal movement distance.
  • FIG. 6 is a diagram showing an example of the flying object 1 on which the cameras 3 and 6 and the distance meter 4 are mounted in a horizontal direction.
  • cameras 3 and 6 and a distance meter 4 are mounted on each side of the stabilizer 5.
  • the flight controller 11 moves each plane on a plane parallel to the side according to the images captured by the two cameras 3 and 6 and the distance to the object existing in the horizontal direction measured by the range finder 4.
  • Speed can be estimated.
  • the horizontal moving speed of the flying object 1 can be estimated by the cameras 3 and 6 and the distance meter 4 directed to the side wall, and Be able to fly autonomously.
  • the stabilizer 5 may be a mechanism that stabilizes the posture of the loaded object (for example, the camera 3 and the distance meter 4).
  • FIG. 7 is a diagram showing an example of the flying object 1 provided with an attitude control mechanism 51 for stabilizing the loading section 7 instead of the stabilizer 5.
  • the attitude control mechanism 51 includes a support member 511 provided on the upper surface of the main body 2 of the flying object 1 and an arm 512 connected to the support member 511.
  • the loading section 7 is provided at the tip of the arm 512.
  • the arm 512 and the support member 511 are rotatably connected by a hinge 513.
  • the hinge 513 is provided at the center of gravity of the flying object 1. Further, the hinge 513 is configured to be rotatable with respect to an orthogonal axis.
  • the arm 512 can be rotated 360 degrees about the center of gravity of the flying object 1. Therefore, even if the main body 2 of the flying object 1 is tilted, as shown in FIG. 7B, the arm 512 is stabilized in the vertical direction, and the cameras 3 and 6 and the distance meter 4 mounted on the loading section 7 It remains facing downward. Therefore, the cameras 3 and 6 can capture high-definition images, and the rangefinder 4 can measure a stable distance (altitude).
  • FIG. 8 is a diagram illustrating an example of the flying object 1 provided with a plurality of loading units 7 on which the cameras 3 and 6 and the distance meter 4 are mounted.
  • the arrow F indicates the front of the flying body 1 in the traveling direction, and the upper and lower sides are vertical.
  • two arms 512 ⁇ / b> U and 512 ⁇ / b> D are connected to the support member 511 in a vertically rotatable manner.
  • loading units 7U and 7D for turning the surfaces on which the cameras 3 and 6 and the distance meter 4 are mounted (hereinafter referred to as mounting surfaces) up and down.
  • the arms 512U and 512D are provided with loading units 7LU and 7LD that face the mounting surface to the left side of the flying object 1, and the mounting surfaces are also directed to the right side of the flying object 1 on the opposite sides of the loading units 7LU and 7LD.
  • a loading unit (not shown) is provided. This allows the cameras 3 and 6 to capture images with different resolutions for each of the upper, lower, left, and right sides of the flying object 1, and the rangefinder 4 to measure the distance of the flying object 1 to the surrounding objects. Therefore, the hula controller 11 can estimate the moving speed of the flying object 1 in the up, down, left, right, front and rear directions by using any of the image and the distance in the up, down, left, and right directions.
  • an inclined arm 514 is connected to the arm 512, a loading portion 7 is provided at the tip of the arm 514, and an image and a distance in an oblique direction at an angle to the vertical direction are measured. You may do so.
  • an arm 514 having a 45-degree inclination is connected before and after the arm 512.
  • the arm 512U on the upper side of the flying object 1 is provided with an arm 514FU having a loading section 7FU facing the upper front 45 degrees of the flying body 1 and the loading section 7BU facing the upper rear 45 degrees of the flying body 1. Is connected to the arm 514BU provided with.
  • the arm 512D on the lower side of the flying object 1 is provided with an arm 514FD provided with a loading portion 7FD that directs the mounting surface to the lower front 45 degrees of the flying object 1, and the mounting surface is directed to the lower rear 45 degrees of the flying object 1.
  • the arm 514BD provided with the loading portion 7BD is connected. In this manner, in the example of FIG. 8, an image of the flying object 1 at approximately 360 degrees can be captured. Thereby, the flight controller 11 can estimate the moving speed in the up, down, left, right, front and rear directions.
  • the flying object 1 of the present embodiment since the camera 3 and the distance meter 4 are mounted on the flying object 1 via the stabilizer 5, the shooting and measurement of the camera 3 and the distance meter 4 can be performed.
  • the direction of the operation can be stabilized.
  • the accuracy of estimating the moving speed of the flying object 1 using the image and the distance can be improved.
  • Such a configuration of the flying object 1 of the present embodiment can be used in various flying objects regardless of the purpose, from hobby use to industrial use.
  • the use environment may be either outdoor or indoor.
  • the moving speed of the flying object 1 can be estimated based on the image captured by the camera and the distance measured by the rangefinder, and the position of the flying object 1 can be estimated from the moving speed.
  • GPS does not function
  • it it can be used as a substitute for GPS.
  • any trouble occurs in the acquisition of the GPS signal or the use of the GPS, it can function as a backup.
  • the optical axis of a camera having a longer focal length shifts, an error increases when calculating the moving distance from the distance per pixel.
  • the camera 3 having a longer focal length can be stabilized by the stabilizer 5. Therefore, it is possible to estimate the moving speed with high accuracy.
  • the distance meter 4 measures the distance.
  • the present invention is not limited to this, and the distance meter 4 is omitted, and the image is captured using two images by the cameras 3 and 6.
  • the distance from the object can also be estimated. This can be realized by using general stereo image processing. In this case, by stabilizing the cameras 3 and 6 with the stabilizer 5, it is possible to accurately estimate the moving speed and the distance (altitude).
  • cameras 3 and 6 and a distance meter 4 are arranged on a loading unit 7 provided at a distal end portion of an arm 512, and images captured by the cameras 3 and 6 and a distance measured by the distance meter 4 are displayed.
  • the flight controller 11 estimates the moving speed of the flying object 1 according to the following formula. However, the flight controller 11 corrects the moving speed according to the length of the arm 12 (the distance from the hinge 513 to the mounting surface of the loading unit 7). It is suitable.
  • the mounting surface of the stacking unit 7 is directed obliquely upward and downward in the front-rear direction, but may be directed in the front-rear direction similarly to the left-right direction.
  • the camera 3 and the distance meter 4 are fixed to the stabilizer 5, but the distance meter 4 may be movable.
  • the flight controller 11 acquires a point to be gripped (that is, a point at which a feature amount is extracted; hereinafter, referred to as a grip point) from the image captured by the camera 3 and directs the acquired grip point.
  • the rangefinder 4 may be rotated so as to change the direction of the rangefinder 4 so as to emit ultrasonic waves or laser.
  • the grip point used for estimating the moving speed by analyzing the image from the camera 3 and the point to be measured for the distance from the distance meter 4 can be substantially matched.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】精度良く自己の位置を推定することができるようにする。 【解決手段】飛行体は、焦点距離の異なる２台のカメラと、２台のカメラのうち少なくとも焦点距離の短いカメラを搭載するスタビライザと、２台のカメラが撮影した画像に基づいて飛行体の移動速度を算出するフライトコントローラと、を備える。

Description

飛行体
　本発明は、飛行体に関する。
　飛行体の飛行位置をＧＰＳに依らずに推測する技術が知られている。たとえば、特許文献１には、超音波高度計とカメラとを用いて無人機の水平並進速度を求める手法として、多重解像度の手法を用いるオプティカルフロー法、特徴点検出器アルゴリズム、およびこれらを組み合わせた手法が開示されている。
特許第５８５４６５５号明細書
　しかしながら、特許文献１に記載の手法では、高度が高くなると画像の解像度が下がり精度が落ちてしまう。
　本発明はこのような背景を鑑みてなされたものであり、精度良く自己の位置を推定することのできる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、飛行体であって、焦点距離の異なる２台のカメラと、前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、を備えることとする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、精度良く自己の位置を推定することができる。
本発明の一実施形態に係る飛行体１の構成例を示す図である。 本実施形態に係る飛行体１の概要を説明する図である。 焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の一例を示す図である。 焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第２の例を示す図である。 焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第３の例を示す図である。 カメラ３および６ならびに距離計４を水平方向に向けて搭載した飛行体１の一例を示す図である。 スタビライザ５に代えて積載部７を安定させる姿勢制御装置５１を設けた飛行体１の一例を示す図である。 カメラ３および６ならびに距離計４を搭載した積載部７を複数設けた飛行体１の例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
［項目１］
　焦点距離の異なる２台のカメラと、
　前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、
　前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、
　を備えることを特徴とする飛行体。
［項目２］
　項目１に記載の飛行体であって、
　前記２台のカメラのそれぞれが撮像した２つの撮像画像に基づいて、撮像された地点からの距離を算出する距離算出部を備えること、
　を特徴とする飛行体。
［項目３］
　項目１に記載の飛行体であって、
　距離計をさらに備え、
　前記スタビライザは前記焦点距離の短い前記カメラと前記距離計とを搭載すること、
　を特徴とする飛行体。
　図１は、本発明の一実施形態に係る飛行体１の構成例を示す図である。
　フライトコントローラ１１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　フライトコントローラ１１はメモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。
　メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ３や距離計４、センサ類１０３から取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。例えば、カメラ３で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。距離計４は対象物との間の距離を測定し、測定した距離をメモリ１０２に記憶することができる。距離計４は、たとえば、地面からの距離（高度）を測定し、あるいは天井までの距離を測定することができる。カメラ３および距離計４は、飛行体１にスタビライザ５を介して設置される。スタビライザ５は、ジンバル軸の交点が飛行体１の重心に位置するように配することが好適である。
　フライトコントローラ１１は、飛行体１の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１０５を経由して飛行体１の推進機構（モータ１０６等）を制御する。モータ１０６によりプロペラ１０７が回転することで飛行体１の揚力を生じさせる。制御モジュールは、センサ類１０３の状態のうちの１つ以上を制御することができる。
　フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部１０４と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部１０４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部１０４は、センサ類１０３で取得したデータ、フライトコントローラ１１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類１０３は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
　図２は、本実施形態に係る飛行体１の概要を説明する図である。上述したように、飛行体１は、カメラ３および距離計４をスタビライザ５を介して本体２に搭載している。スタビライザ５を設けることにより、図１（ｂ）に示すように、飛行体１の本体２が傾斜したとしてもカメラ３および距離計４は略水平に保たれる。
　距離計４はたとえば地面までの距離（高度）を測定することができる。距離計４は、たとえば、超音波の反射時間を測定することにより距離を求めることができる。なお、距離計４は、超音波に限らず、光学や赤外線、レーザなどを用いてもよく、任意の方式の距離計を採用することができる。
　フライトコントローラ１１は、距離計４により測定した距離と、カメラ３が撮影した連続画像とに基づいて、飛行体１の水平方向の移動速度を計算することができる。たとえば、フライトコントローラ１１は、距離計４が測定した高度とカメラ３の画角とに基づいて１画素あたりの距離を計算し、単位時間当たりの移動距離から速度を算出することができる。なお、カメラ３が撮影した複数の画像に基づいて飛行体１の水平移動速度を計算する手法には、公知の手法を用いることができる。
　図３は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の一例を示す図である。図３（ａ）に示すように、スタビライザ５には焦点距離の長い（望遠）カメラ３と距離計４とを搭載し、焦点距離の短い（広角）カメラ６はスタビライザ５を介さずに本体２に搭載する。フライトコントローラ１１は、２つのカメラ３および６が撮影した解像度の異なる２つの画像に基づいて、飛行体１の水平移動速度を計算することができる。図３（ｂ）に示すように、望遠のカメラ３をスタビライザ５に搭載することにより、高高度であってもカメラ３を安定させて高精細な画像を撮影することができる。また、距離計４を安定させて距離（高度）の測定も精度よく行うことができる。したがって、フライトコントローラ１１は水平移動速度を精度良く推定することが可能となる。
　広角のカメラ６もスタビライザ５に搭載するようにしてもよい。図４は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第２の例を示す図である。図４（ａ）に示すように、焦点距離の異なる２台のカメラ３および６をスタビライザ５を介して本体２に搭載している。図４（ｂ）に示すように、飛行体１が傾いた場合であっても、スタビライザ５によりカメラ３および６ならびに距離計４は鉛直方向下方を向く。これにより、カメラ３および６を安定させて、解像度の異なる画像を高精細に撮影することができる。距離計４を安定させて距離（高度）の測定も精度よく行うことができる。したがって、フライトコントローラ１１は水平移動速度を精度良く推定することができる。
　カメラ３および６ならびに距離計４は、鉛直方向上方に向けてもよい。図５は、焦点距離の異なる２台のカメラ３および６を搭載した飛行体１の第３の例を示す図である。図５（ａ）に示すように、カメラ３および６ならびに距離計４は本体２の上面に配される。これにより、カメラ３および６は鉛直方向上方の画像を撮影し、距離計４は鉛直方向上方に向けた距離を測定する。たとえば、大規模展示場などにおいて、床面がコンクリートやタイルで特徴点の抽出が困難な状況の場合であっても、天井を撮影してグリップさせ、天井までの距離を測定し、これらに基づいて水平移動距離を計算することができる。
　カメラ３および６ならびに距離計４は、水平方向に向けてもよい。図６はカメラ３および６ならびに距離計４を水平方向に向けて搭載した飛行体１の一例を示す図である。図６の例では、スタビライザ５の各側面にカメラ３および６ならびに距離計４を搭載している。フライトコントローラ１１は、各側面について、２つのカメラ３および６が撮影した画像と、距離計４が測定した水平方向に存在する物体までの距離とに応じて、当該側面に平行する平面上における移動速度を推定することができる。これにより、たとえば屋内プールの水面上であっても、横の壁に向けたカメラ３および６ならびに距離計４により、飛行体１の水平方向の移動速度を推測することが可能となり、水面上を自律飛行することができるようになる。
　スタビライザ５は、積載している物（たとえばカメラ３および距離計４）の姿勢を安定させる機構であればよい。図７は、スタビライザ５に代えて積載部７を安定させる姿勢制御機構５１を設けた飛行体１の一例を示す図である。姿勢制御機構５１は、飛行体１の本体２上面に配される支持部材５１１と、支持部材５１１に接続されるアーム５１２とを備える。アーム５１２の先端部には積載部７が設けられる。アーム５１２と支持部材５１１とはヒンジ５１３により回動可能に接続される。ヒンジ５１３は飛行体１の重心に設けられる。また、ヒンジ５１３は、直交する軸に対して回動可能に構成される。これにより、アーム５１２を飛行体１の重心を中心に３６０度回動させることができる。したがって、飛行体１の本体２が傾いても、図７（ｂ）に示すように、アーム５１２は鉛直方向に安定し、積載部７に搭載されたカメラ３および６ならびに距離計４は、鉛直方向下方を向いたままとなる。よって、カメラ３および６は高精細な画像を撮影することが可能となり、距離計４は安定的な距離（高度）を測定することが可能となる。
　カメラ３および６を搭載した積載部７を複数設けてもよい。図８は、カメラ３および６ならびに距離計４を搭載した積載部７を複数設けた飛行体１の例を示す図である。図８の例では、矢印Ｆが飛行体１の進行方向前方を示し、上下が鉛直方向であるものとする。図８に示すように、支持部材５１１には、上下に２本のアーム５１２Ｕおよび５１２Ｄが回動可能に接続される。アーム５１２Ｕおよび５１２Ｄの先端には、カメラ３および６ならびに距離計４を搭載した面（以下搭載面という。）を上下に向ける積載部７Ｕおよび７Ｄが設けられる。また、アーム５１２Ｕおよび５１２Ｄには、飛行体１の左側に搭載面を向ける積載部７ＬＵおよび７ＬＤが設けられ、積載部７ＬＵおよび７ＬＤの逆側にも、それぞれ飛行体１の右側に搭載面を向ける積載部（不図示）が設けられる。これにより、飛行体１の上下左右のそれぞれについて、カメラ３および６が解像度の異なる画像を撮影し、距離計４が飛行体１の周辺物に対する距離を測定することができる。したがって、フラ一途コントローラ１１は、上下左右のいずれかの画像および距離を用いることで、飛行体１の上下左右前後方向の移動速度を推定することができる。
　さらに図８に示すように、アーム５１２に対して傾斜したアーム５１４を接続し、アーム５１４の先端に積載部７を設け、鉛直方向に対して角度をつけた斜め方向の画像および距離を測定するようにしてもよい。図８の例では、アーム５１２の前後に４５度の傾斜を付けたアーム５１４が接続されている。飛行体１上側のアーム５１２Ｕには、飛行体１の前側上方４５度に搭載面を向ける積載部７ＦＵを設けたアーム５１４ＦＵと、飛行体１の後側上方４５度に搭載面を向ける積載部７ＢＵを設けたアーム５１４ＢＵとが接続される。また、飛行体１下側のアーム５１２Ｄには、飛行体１の前側下方４５度に搭載面を向ける積載部７ＦＤを設けたアーム５１４ＦＤと、飛行体１の後側下方４５度に搭載面を向ける積載部７ＢＤを設けたアーム５１４ＢＤとが接続される。このようにして、図８の例では、飛行体１の略３６０度の画像を撮影することができる。これにより、フライトコントローラ１１は、上下左右前後方向の移動速度を推定することができる。
　以上説明したように、本実施形態の飛行体１によれば、飛行体１にカメラ３および距離計４をスタビライザ５を介して搭載しているので、カメラ３および距離計４の撮影および計測を行う方向を安定させることができる。これにより、画像および距離を用いた飛行体１の移動速度の推定精度を向上させることができる。このような本実施形態の飛行体１に係る構成は、ホビー用から産業用途まで、目的を問わず様々な飛行体において利用可能である。また、使用環境は屋外、屋内を問わない。カメラが撮影した画像と距離計が測定した距離とに応じて、飛行体１の移動速度を推定し、移動速度から飛行体１の位置を推定することができるので、橋の下や谷、洞窟などのＧＰＳが機能しない場所ではＧＰＳの代用とすることができる。また、ＧＰＳ信号の取得あるいはＧＰＳの使用になんらかの障害が起こった場合にバックアップとして機能させることができる。
　また、焦点距離の異なる複数のカメラを搭載する場合には、より焦点距離の長いカメラの光軸にズレが生じると１画素あたりの距離から移動距離を求める場合に誤差が大きくなるところ、本実施形態の飛行体１によれば、より焦点距離の長いカメラ３をスタビライザ５により安定させることができる。したがって、移動速度の推測を高精度に行うことが可能となる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　たとえば、本実施形態では、距離計４が距離を計測することを前提としたが、これに限らず、距離計４を省略し、カメラ３および６による２つの画像を用いて、撮影されている物体からの距離を推定することもできる。これは一般的なステレオ画像の処理を用いることで実現可能である。この場合、カメラ３および６をスタビライザ５で安定させることで移動速度および距離（高度）の推定を精度良く行うことができる。
　また、図７の例では、アーム５１２の先端部に設けた積載部７にカメラ３および６ならびに距離計４が配され、このカメラ３および６が撮影した画像と距離計４が測定した距離とに応じて飛行体１の移動速度を推定するものとしたが、フライトコントローラ１１は、アーム１２の長さ（ヒンジ５１３から積載部７の搭載面までの距離）に応じて、移動速度を補正すると好適である。
　また、図８の例では、前後方向には斜め上および斜め下に積載部７の搭載面を向けるものとしたが、左右方向と同様に、前後方向を向けるようにしてもよい。
　また、本実施形態では、カメラ３と距離計４とはスタビライザ５に固定されているものとしたが、距離計４を可動としてもよい。この場合に、フライトコントローラ１１は、カメラ３が撮影した画像中からグリップする点（すなわち、特徴量が抽出された点である。以下、グリップ点という。）を取得し、取得したグリップ点に向けて超音波やレーザを発するように距離計４の指向方向を変化させるべく距離計４を回動させてもよい。これにより、カメラ３からの画像を解析して移動速度を推定するに当たって用いられるグリップ点と、距離計４からの距離を測定する対象となる点とを略一致させることができる。これにより、画像における１画素あたりの距離を計算するにあたって、グリップ点が移動した距離（水平方向の距離）の算出に用いられるグリップ点までの距離を正確に求めることが可能となり、移動速度の推定精度を向上させることができる。
　　１　飛行体
　　２　本体
　　３　カメラ
　　４　距離計
　　５　スタビライザ
　　６　カメラ
　　７　積載部
　　５１　姿勢制御機構
　　５１１　支持部材
　　５１２　アーム
　　５１３　ヒンジ
 

Claims (3)

  1. 　焦点距離の異なる２台のカメラと、
    　前記２台のカメラのうち少なくとも前記焦点距離の短い前記カメラを搭載するスタビライザと、
    　前記２台のカメラが撮影した画像に基づいて前記飛行体の移動速度を算出するフライトコントローラと、
    　を備えることを特徴とする飛行体。
  2. 　請求項１に記載の飛行体であって、
    　前記２台のカメラのそれぞれが撮像した２つの撮像画像に基づいて、撮像された地点からの距離を算出する距離算出部を備えること、
    　を特徴とする飛行体。
  3. 　請求項１に記載の飛行体であって、
    　距離計をさらに備え、
    　前記スタビライザは前記焦点距離の短い前記カメラと前記距離計とを搭載すること、
    　を特徴とする飛行体。
     
PCT/JP2018/035427 2018-09-25 2018-09-25 飛行体 WO2020065719A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880098658.7A CN112839871A (zh) 2018-09-25 2018-09-25 飞行体
PCT/JP2018/035427 WO2020065719A1 (ja) 2018-09-25 2018-09-25 飛行体
US17/279,057 US20210387743A1 (en) 2018-09-25 2018-09-25 Flight vehicle
JP2019541488A JP6631900B1 (ja) 2018-09-25 2018-09-25 飛行体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035427 WO2020065719A1 (ja) 2018-09-25 2018-09-25 飛行体

Publications (1)

Publication Number Publication Date
WO2020065719A1 true WO2020065719A1 (ja) 2020-04-02

Family

ID=69146572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035427 WO2020065719A1 (ja) 2018-09-25 2018-09-25 飛行体

Country Status (4)

Country Link
US (1) US20210387743A1 (ja)
JP (1) JP6631900B1 (ja)
CN (1) CN112839871A (ja)
WO (1) WO2020065719A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230049474A1 (en) * 2020-08-11 2023-02-16 Aeronext Inc. Moving body

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5854655B2 (ja) * 1979-10-15 1983-12-06 日本バルカ−工業株式会社 金属製管に四ふつ化エチレン樹脂をライニングする方法
JP2012006587A (ja) * 2010-06-22 2012-01-12 Parrot 無人機、特に自動操縦下でホバリング飛行を行うことができる無人機の水平速度を評価する方法
JP2018507617A (ja) * 2015-04-20 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、無人航空機、及び方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285633A (ja) * 1995-04-10 1996-11-01 Kawada Kogyo Kk 飛行体の対地移動距離・対地速度・３次元位置計測装置及び方法
EP2434457A4 (en) * 2009-05-18 2014-01-15 Kodaira Associates Inc METHOD FOR TRANSMITTING IMAGE INFORMATION
JP2011203057A (ja) * 2010-03-25 2011-10-13 Tokyo Electric Power Co Inc:The 飛翔体用距離測定装置及び飛翔体位置測定装置
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP5561843B1 (ja) * 2013-01-07 2014-07-30 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 制御装置、測量システム、プログラム及び記録媒体並びに計測方法
CN105938369B (zh) * 2013-06-25 2018-11-02 深圳市大疆创新科技有限公司 飞行器的控制系统及控制方法
US9440750B2 (en) * 2014-06-20 2016-09-13 nearmap australia pty ltd. Wide-area aerial camera systems
US9046759B1 (en) * 2014-06-20 2015-06-02 nearmap australia pty ltd. Compact multi-resolution aerial camera system
MX2017004501A (es) * 2014-10-08 2017-06-26 Spookfish Innovations Pty Ltd Un sistema de camara aereo.
JP2016111414A (ja) * 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体
CN111556253B (zh) * 2015-07-10 2022-06-14 深圳市大疆创新科技有限公司 生成组合图像的方法及系统、图像的显示方法及系统
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US9945828B1 (en) * 2015-10-23 2018-04-17 Sentek Systems Llc Airborne multispectral imaging system with integrated navigation sensors and automatic image stitching
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
KR101650525B1 (ko) * 2016-02-18 2016-08-24 아이씨티웨이주식회사 지아이에스 기반 신규데이터에 따른 영상 업데이트 도화시스템
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5854655B2 (ja) * 1979-10-15 1983-12-06 日本バルカ−工業株式会社 金属製管に四ふつ化エチレン樹脂をライニングする方法
JP2012006587A (ja) * 2010-06-22 2012-01-12 Parrot 無人機、特に自動操縦下でホバリング飛行を行うことができる無人機の水平速度を評価する方法
JP2018507617A (ja) * 2015-04-20 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、無人航空機、及び方法

Also Published As

Publication number Publication date
JP6631900B1 (ja) 2020-01-15
JPWO2020065719A1 (ja) 2021-01-07
US20210387743A1 (en) 2021-12-16
CN112839871A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN113029117B (zh) 飞行传感器
US20210065400A1 (en) Selective processing of sensor data
JP6326237B2 (ja) 測定システム
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
US9073637B2 (en) Flying vehicle guiding system and flying vehicle guiding method
JP6367522B2 (ja) 航空写真システム
Schmid et al. Stereo vision based indoor/outdoor navigation for flying robots
ES2876449T3 (es) Cartografía de entorno de múltiples sensores
JP5775632B2 (ja) 飛行体の飛行制御システム
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6812667B2 (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
US10527423B1 (en) Fusion of vision and depth sensors for navigation in complex environments
CN110377058B (zh) 一种飞行器的偏航角修正方法、装置及飞行器
JP6577083B2 (ja) 測定システム
JP6681105B2 (ja) 飛行体
WO2020042159A1 (zh) 一种云台的转动控制方法、装置及控制设备、移动平台
JP6631900B1 (ja) 飛行体
US20210229810A1 (en) Information processing device, flight control method, and flight control system
CN111213107B (zh) 信息处理装置、拍摄控制方法、程序以及记录介质
JP7149569B2 (ja) 建造物の測定方法
JP6368016B2 (ja) 航空写真システム
JP2018138922A (ja) 測定システム
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
JP6715542B1 (ja) 飛行体、点検方法及び点検システム
KR100575108B1 (ko) 비전 센서를 이용하여 다수 비행체를 도킹시키는 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019541488

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935137

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18935137

Country of ref document: EP

Kind code of ref document: A1