WO2019193642A1 - 無人航空機用の自己位置推定装置及び自己位置推定方法 - Google Patents

無人航空機用の自己位置推定装置及び自己位置推定方法 Download PDF

Info

Publication number
WO2019193642A1
WO2019193642A1 PCT/JP2018/014207 JP2018014207W WO2019193642A1 WO 2019193642 A1 WO2019193642 A1 WO 2019193642A1 JP 2018014207 W JP2018014207 W JP 2018014207W WO 2019193642 A1 WO2019193642 A1 WO 2019193642A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
image data
self
position estimation
Prior art date
Application number
PCT/JP2018/014207
Other languages
English (en)
French (fr)
Inventor
ラービ・クリストファー・トーマス
翔介 井上
Original Assignee
株式会社自律制御システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社自律制御システム研究所 filed Critical 株式会社自律制御システム研究所
Priority to SG11202009731TA priority Critical patent/SG11202009731TA/en
Priority to JP2020512128A priority patent/JPWO2019193642A1/ja
Priority to PCT/JP2018/014207 priority patent/WO2019193642A1/ja
Priority to US17/045,037 priority patent/US20210147077A1/en
Publication of WO2019193642A1 publication Critical patent/WO2019193642A1/ja
Priority to JP2023090690A priority patent/JP2023115027A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/02—Arrangements or adaptations of signal or lighting devices
    • B64D47/04—Arrangements or adaptations of signal or lighting devices the lighting devices being primarily intended to illuminate the way ahead
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Definitions

  • the present invention relates to an unmanned aerial vehicle, and more particularly to a self-position estimation apparatus and a self-position estimation method for an unmanned aerial vehicle.
  • unmanned aerial vehicles fly by maneuvering by sending control signals from a maneuvering transmitter on the ground to an unmanned aerial vehicle in the sky, or autonomously flying according to a flight plan by installing an autonomous controller. It was.
  • a sensor that detects the position, posture, altitude, and direction of a small unmanned helicopter, a main calculation unit that calculates the control command value for the servo motor that moves the rudder of the small unmanned helicopter, and data collection from the sensor
  • An autonomous control device has been proposed in which a sub-operation unit that converts a calculation result of the unit into a pulse signal to a servo motor is assembled in one small frame box.
  • the position (altitude) of the unmanned aerial vehicle can be estimated based on three-dimensional map data generated using Visual SLAM (Simultaneous Localization And Mapping) or the like.
  • SLAM Simultaneous Localization And Mapping
  • VSLAM Visual SLAM
  • feature points are tracked based on a moving image from a camera, the position of an unmanned aerial vehicle (drone) is estimated, and environmental map data is created.
  • the regions having the same characteristics are estimated on the assumption that the objects are the same.
  • the illumination is not sufficiently emitted, the exposure amount is insufficient and the contrast is reduced.
  • a scene to be photographed may include a shadow.
  • the shadow area has an insufficient exposure amount and the contrast is lowered.
  • a region that is not a shadow reaches the saturation exposure amount, and the contrast may be lowered.
  • the drone's shadow moves with the drone, it will move the feature points, which is detrimental to location estimation algorithms such as VSLAM.
  • VSLAM location estimation algorithms
  • FIG. 7 when a shadow (shaded area in the figure) is formed on the object, the shadow area is recognized as an area having another feature, and the feature points of the object are accurately detected. There may be a situation where it is impossible to recognize.
  • the situation in which shadows are formed on the object in this way is when there is a large step in the object, in an environment with multiple light sources, or when there is another object between sunlight and the object outdoors. This is also likely to occur.
  • a light source for irradiating an object around an unmanned aerial vehicle, a condensing sensor for acquiring reflected light from the object as image data, and the condensing sensor A self-position estimation device for an unmanned airplane comprising a position estimation unit for estimating a relative position of the unmanned airplane with respect to the object using the image data acquired by the method, wherein the light source is distinguishable from ambient light A light emitting laser; and a diffuser for diffusing the light from the laser; and the condensing sensor is a light that can be distinguished from the ambient light with respect to the reflected light from the object.
  • a self-localization device for an unmanned aerial vehicle configured to sense is provided.
  • the present invention may further include a light source controller that adjusts at least one of the emission intensity, position, and direction of the laser.
  • the light distinguishable from the ambient light is light of a predetermined band
  • the light collecting sensor can be configured to sense the light of the predetermined band.
  • the predetermined band may include a plurality of bands
  • the condensing sensor may be configured to detect each of the signals of the plurality of bands.
  • the light source is configured so that each of the plurality of bands can irradiate light of different intensity, and the light collection sensor detects which band of light according to the distance to the object. It is also possible to configure so that can be selected.
  • the condensing sensor may be configured to select which band of light is to be detected for each pixel or for each predetermined region in the image.
  • the diffuser may include a wide-angle lens.
  • the diffuser may be configured to shape light emitted so that light projected from the periphery of the wide-angle lens is brighter than light projected from the center.
  • the present invention may further include a phosphor reflector that converts a coherent laser into an incoherent spectrum in front of the diffuser.
  • the present invention can also control the flight of the unmanned aircraft using the relative position of the unmanned aircraft with respect to the object estimated by the self-position estimation device and the speed of the unmanned aircraft.
  • the method of acquiring the image data the method of acquiring the image data by sensing light that is distinguishable from the ambient light with respect to the reflected light from the object.
  • the present invention further includes the step of setting at least one of the light emission intensity, the position and the direction of the light source, and using the set light source, the step of emitting, the step of irradiating the object, and the image
  • the step of acquiring data and the step of estimating can also be performed.
  • the light distinguishable from the ambient light is light of a predetermined band
  • the step of acquiring the image data acquires the image data by sensing the light of the predetermined band. You can also.
  • the predetermined band has a plurality of bands
  • the step of acquiring the image data can sense each of the signals of the plurality of bands.
  • the irradiating step irradiates each of the plurality of bands with light of different intensity, and the step of acquiring the image data determines which band of light is detected according to the distance to the object.
  • a step of selecting may be further included.
  • the step of acquiring the image data may further include a step of selecting which band of light is to be sensed for each pixel or for each predetermined region in the image.
  • the present invention it is possible to estimate the position of an unmanned aerial vehicle that is not affected by an external light source.
  • an autonomous unmanned airplane that does not have a GPS function, it is possible to estimate the position of the autonomous unmanned airplane efficiently and accurately.
  • FIG. 1 is a perspective view of an unmanned aerial vehicle according to an embodiment of the present invention.
  • the block diagram which shows one Example of a structure of the unmanned aircraft of FIG.
  • the flowchart which shows one Example of the position estimation process of an unmanned aerial vehicle.
  • FIG. 1 is an external view of an unmanned aerial vehicle (multicopter) 1 according to an embodiment of the present invention.
  • FIG. 2 is a bottom view of the unmanned aerial vehicle (multicopter) 1 shown in FIG.
  • the unmanned aerial vehicle 1 includes a main body 2, six motors 3, six rotors (rotary blades) 4, six arms 5 connecting the main body 2 and each motor 3, landing legs 6, and local sensors. 7.
  • the six rotors 4 are rotated by driving each motor 3 to generate lift.
  • the main body 2 controls the driving of the six motors 3 and controls the number of rotations and the direction of rotation of the six rotors 4, the unmanned aircraft 1 can fly such as ascending, descending, flying back and forth, and turning. Be controlled.
  • the landing legs 6 contribute to preventing the unmanned aircraft 1 from falling over during takeoff and landing, and protect the main body 2 motor 3 and the rotor 4 of the unmanned aircraft 1.
  • the local sensor 7 measures the situation around the unmanned aircraft 1 using the laser light source 8.
  • the local sensor 7 irradiates a laser beam downward mainly from the light source 8 and measures the distance from an object around the unmanned aircraft 1 using information obtained by reflection. It is possible to create a shape of an object.
  • the direction of laser irradiation is an example, but preferably includes at least the lower part.
  • the local sensor 7 is a sensor used to measure the relative position of the unmanned aircraft 1 with respect to an object around the unmanned aircraft 1, and the positions of the unmanned aircraft 1 and the surrounding objects. Any device that can measure the relationship is acceptable. Therefore, for example, one laser or a plurality of lasers may be used. Further, the local sensor 7 may be an image sensor, for example.
  • the local sensor 7 is preferably used when using the SLAM technology.
  • the unmanned aerial vehicle 1 when the local sensor 7 is an image sensor, the unmanned aerial vehicle 1 includes an imaging device.
  • the imaging device includes a monocular camera or a stereo camera configured by an image sensor or the like, and acquires images and images around the unmanned aircraft 1 by imaging the surroundings of the unmanned aircraft 1.
  • the unmanned aerial vehicle 1 includes a motor capable of changing the orientation of the camera, and the flight control device 11 controls the operation of the camera and the motor.
  • the unmanned aerial vehicle 1 continuously acquires images using a monocular camera or acquires images using a stereo camera, and analyzes the acquired images to detect the distance from the surrounding object and the Get information about the shape of the object.
  • the imaging device may be an infrared depth sensor that can acquire shape data by infrared projection.
  • the local sensor 7 is described as being attached to the outside of the main body 2, but may be attached to the inside of the main body 2 as long as the positional relationship between the unmanned aircraft 1 and the surrounding environment can be measured.
  • FIG. 3 is a hardware configuration diagram of the unmanned aerial vehicle 1 of FIGS. 1 and 2.
  • the main body 2 of the unmanned aerial vehicle 1 includes a flight control device (flight controller) 11, a transceiver 12, a sensor 13, a speed controller (ESC: Electric Speed Controller) 14, and a battery power source (not shown).
  • flight control device flight controller
  • transceiver 12 a transceiver
  • sensor 13 a speed controller
  • ESC Electric Speed Controller
  • the transceiver 12 performs transmission / reception of various data signals with the outside, and includes an antenna.
  • the transmitter / receiver 12 will be described as one device, but the transmitter and the receiver may be installed separately.
  • the flight control apparatus 11 performs arithmetic processing based on various information and controls the unmanned aircraft 1.
  • the flight control device 11 includes a processor 21, a storage device 22, a communication IF 23, a sensor IF 24, and a signal conversion circuit 25. These are connected via a bus 26.
  • the processor 21 controls the operation of the entire flight control apparatus 11, and is, for example, a CPU. Note that an electronic circuit such as an MPU may be used as the processor.
  • the processor 21 executes various processes by reading and executing programs and data stored in the storage device 22.
  • the storage device 22 includes a main storage device and an auxiliary storage device.
  • the main storage device is a semiconductor memory such as a RAM.
  • the RAM is a volatile storage medium capable of reading and writing information at high speed, and is used as a storage area and a work area when the processor processes information.
  • the main storage device may include a ROM that is a read-only nonvolatile storage medium. In this case, the ROM stores a program such as firmware.
  • the auxiliary storage device stores various programs and data used by the processor 21 when executing each program.
  • the auxiliary storage device is, for example, a hard disk device, but may be any non-volatile storage or non-volatile memory as long as it can store information, and may be removable.
  • the auxiliary storage device stores, for example, an operating system (OS), middleware, application programs, various data that can be referred to when these programs are executed.
  • OS operating system
  • middleware middleware
  • application programs various data that can be referred to when these programs are executed.
  • the communication IF 23 is an interface for connecting to the transceiver 12.
  • the sensor IF 24 is an interface for inputting data acquired by the local sensor 7.
  • each IF is described as one, but it is understood that a different IF can be provided for each device or sensor.
  • the signal conversion circuit 25 generates a pulse signal such as a PWM signal and sends it to the ESC 14.
  • the ESC 14 converts the pulse signal generated by the signal conversion circuit 25 into a drive current to the motor 3 and supplies the current to the motor 3.
  • Battery power is a battery device such as a lithium polymer battery or a lithium ion battery, and supplies power to each component. Since a large power source is required to operate the motor 3, the ESC 14 is preferably connected directly to the battery power source, and adjusts the voltage and current of the battery power source to supply the drive current to the motor 3.
  • the storage device 22 stores a flight control program in which a flight control algorithm for controlling the attitude and basic flight operation during the flight of the unmanned aircraft 1 is implemented.
  • the flight control device 11 executes the flight control program, the flight control device 11 performs arithmetic processing so that the set target altitude and target speed are obtained, calculates the rotation speed and rotation speed of each motor 3, and performs control commands. Calculate the value data.
  • the flight control device 11 acquires various information such as the attitude of the unmanned aircraft 1 in flight from various sensors, and performs arithmetic processing based on the acquired data and the set target altitude and target speed.
  • the signal conversion circuit 25 of the flight control device 11 converts the control command value data calculated as described above into a PWM signal and sends it to the ESC 14.
  • the ESC 14 rotates the motor 3 by converting the signal received from the signal conversion circuit 25 into a drive current to the motor 3 and supplying it to the motor 3.
  • the main body 2 including the flight control device 11 controls the rotation speed of the rotor 4 and controls the flight of the unmanned aircraft 1.
  • the flight control program includes parameters such as a flight route and a flight speed including latitude and longitude and altitude, and the flight control device 11 sequentially determines a target altitude and a target speed and performs the above calculation process.
  • the unmanned aircraft 1 is allowed to fly autonomously.
  • the flight control device 11 receives a command such as ascending / descending / forward / backward from an external transmitter via the transmitter / receiver 12 to determine a target altitude and a target speed and perform the above calculation process.
  • a command such as ascending / descending / forward / backward from an external transmitter via the transmitter / receiver 12 to determine a target altitude and a target speed and perform the above calculation process.
  • the flight of the unmanned aircraft 1 is controlled.
  • the self-position estimating unit 32 estimates the self-position of the unmanned aerial vehicle 1 based on the point cloud data of the image data of the object around the unmanned aerial vehicle 1 acquired using the local sensor 7 as a collection sensor.
  • the self-position estimated by the self-position estimation unit 32 is a relative position of the unmanned aircraft 1 with respect to objects around the unmanned aircraft 1.
  • the self-position estimation unit 32 estimates the self-position of the unmanned aerial vehicle 1 using SLAM technology. Since the SLAM technique is a known technique, a description thereof will be omitted.
  • the local sensor 7 is used to recognize an object in the vicinity, and self-position estimation and map creation are simultaneously performed based on the object recognition result. .
  • the self-position estimation unit 32 estimates and outputs the relative position (altitude) of the unmanned aircraft 1 using the SLAM technology.
  • the self-position estimating unit 32 acquires point cloud data around the unmanned aerial vehicle 1 using a light source described later.
  • the self-position estimation unit 32 starts calculation of estimation when the distance measurement distance by the laser emitted from the light source is within a predetermined distance range (for example, 0.1 to 20 m), and starts the estimation calculation.
  • the self-position at the timing when data acquisition is started is determined as a reference coordinate.
  • the self-position estimation unit 32 uses the acquired point cloud data to estimate the self-position while creating a map.
  • the self-position estimation unit 32 acquires an image using an imaging device such as a camera, extracts the position of an object in the acquired image or a point on the surface as a feature point, and extracts the extracted pattern and the created map (or Match the pattern of acquired points).
  • the self-position estimation unit 32 performs self-position estimation based on the degree of coincidence between the created map and point cloud data acquired using a laser light source.
  • the self-position estimating unit 32 is configured to estimate and output the relative altitude of the unmanned aircraft 1 when the unmanned aircraft 1 has collected sufficient point cloud data.
  • the light source 8 is preferably attached downward from the bottom side of the unmanned airplane so that the situation near the ground surface can be grasped.
  • the light source only needs to be configured to irradiate near the ground surface, and may be attached to another position of the unmanned aircraft.
  • FIG. 4 shows an embodiment of the optical structure of the light source.
  • the laser light source 40 is, for example, a blue laser having band specificity and a wavelength of 420 nm.
  • the laser light source 40 is converted into incoherent light by the phosphor reflector 41 so as to be safe for human eyes.
  • Light that has passed through the phosphor reflector 41 is diffused as a projection pattern having a predetermined setting in a diffuser 42 including a diffusing lens, and is then irradiated onto an object.
  • the diffusion lens employs a wide-angle lens (for example, 110 degrees), so that a wide area of an object can be imaged at a time when imaging is performed on the camera side, and the amount of information that can be acquired by one imaging Can be increased, which is useful in self-position estimation using SLAM techniques.
  • a wide-angle lens for example, 110 degrees
  • the diffusing lens 42 when a wide-angle lens is used as the diffusing lens, in general, as shown in FIG. 6A, light passing near the center of the lens becomes light that is relatively brighter than light passing outside the lens.
  • the effect of the aperture efficiency characteristic is increased. That is, assuming that the projection pattern of the light passing through the diffusing lens is not uniform and that the distance from the light source and the collection sensor (camera) to the object is sufficient, The outside of the image is acquired as a dark image, and the inside of the image is acquired as a bright image. Therefore, in one embodiment according to the present invention, as shown in FIG. 6B, the diffuser (diffuse lens) 42 is centered on the light projected from the periphery of the lens as the projection pattern having the predetermined setting.
  • the light source 8 can be controlled in its position and irradiation direction by the light source control unit 9.
  • the position and irradiation direction of the light source are controlled so that the shadow of the unmanned aircraft itself is not visually recognized by the machine vision system.
  • the light source is configured to be irradiated with a variable intensity by adjusting the current so that a series of images can be acquired while changing the intensity of the light source for Visual SLAM processing. Good.
  • the acquired image tends to be dark, so that it can be configured to irradiate with high intensity in that direction.
  • the light source may be a specific light that can be distinguished from other light sources (environmental light) such as sunlight. As described later, for example, any light source capable of eliminating the shadow of the environmental light may be used. However, the light source may be other predetermined narrow-band light sources. Furthermore, the light source may be a light source configured such that the spectral distribution, the light intensity, the light of the blinking pattern, and the like other than the band are different from the ambient light. As an example of the case where the light source blinks in a predetermined pattern, blinking at a constant cycle can be considered.
  • the light source can be a light source capable of irradiating a plurality of bands (for example, a multispectrum including R, G, B, etc.).
  • a multispectral light source may be configured to separate light using a dichroic mirror or the like and switch each band in terms of time. You may comprise so that the irradiation direction to an object can be adjusted individually spatially.
  • the condensing sensor is configured to have a filter that can individually collect the plurality of bands.
  • Machine vision algorithms such as SLAM are preferably processed on the assumption that most of the features visible by the camera are fixed and do not move. If the light source is behind the camera relative to the object, the shadow of the unmanned aircraft itself can be viewed by the machine vision system. This shadow is often the primary source of feature points, but the shadow will move with the unmanned airplane, and the shadow features will not be fixed. This reduces machine vision performance.
  • the light source can be fixed to the unmanned aerial vehicle in the vicinity of the camera, the shadow from the light source can be minimized or masked.
  • the shadow effects of the unmanned aerial itself from other light sources that are not fixed to the unmanned aerial vehicle can move irregularly with the movement of the unmanned aerial vehicle.
  • the accuracy of the shadow area recognition based on the image picked up by the camera is reduced, which leads to a decrease in the accuracy of the position estimation of the unmanned aircraft by the VSLAM.
  • the configuration of the light source and the camera (filter) according to the present invention it is possible to reduce the influence of shadows. That is, for example, as described above, a case where the light source is a blue laser is considered. In this case, the light source passes through the phosphor reflector and the diffuser to convert the blue laser light into wide spectrum light, and most of this light is reflected by the object at the same 420 nm as the laser. On the imaging side of the machine vision system, a predetermined notch filter (blue 420 nm) is attached to the lens of the camera, so that most of the light reflected from the object passes through the blue notch filter and is imaged by the condensing sensor. Get as.
  • the condensing sensor indicates that the light source flashes in a predetermined pattern.
  • the condensing sensor is configured to detect a place where the intensity of light (for example, a gray scale value in the image) increases or decreases in a series of moving images.
  • the position of an unmanned aircraft can be estimated by VSLAM by reducing the influence of light emitted from ambient light and then reflected from an object.
  • Laser light sources in a specific band such as a blue laser light source can be irradiated with variable illumination intensity by adjusting the current as described above, and a series of images can be acquired with various light source intensities. It is useful to do. That is, with such a configuration, feature points can be extracted with a very wide range of brightness. This is useful when illuminating a surface far from the camera requires a higher light output than a near surface from the camera when there are steps on the object and there are surfaces at various distances from the camera. is there. For example, image data of a short-distance region is obtained by making the light source relatively weak in the first imaging for an object having a step, and the light source is relatively set in the second imaging.
  • the light source and the collection sensor can be configured to acquire image data of a long-distance region.
  • features from each surface can be extracted by taking the collection sensor with a high dynamic range and a variable dynamic range and acquiring a series of images at various illumination levels.
  • the light source can be a light source (multispectrum) that can illuminate multiple bands.
  • the camera condensing sensor / filter
  • the camera can detect each of the corresponding bands, thereby acquiring a plurality of independent image information for the object.
  • the condensing sensor may be set so as to be able to detect each of the corresponding bands and further irradiate light having a different intensity for each corresponding band. This makes it possible to adapt the required intensity of irradiation light according to the distance between the camera / light source and the object.
  • a band to be detected for each pixel may be selected.
  • the light source and the condensing sensor are configured to irradiate the pixel in the region below the step with strong light and detect only the band corresponding to the band of the irradiated light, Further, by irradiating the pixels in the region above the step with light having relatively low intensity and detecting only the band corresponding to the band of the irradiated light, for example, one image It is possible to perform processing adapted to each adjacent pixel in the image, and a variable dynamic range can be realized for each region or for each pixel in the image.
  • the surrounding scene may change suddenly as the drone moves, and the realization of such a variable dynamic range in the camera eliminates the delay of the position estimation process due to the imaging of the object using VSLAM. Useful for.
  • the light source and collection sensor of the unmanned aircraft are set (step 100).
  • the laser of the light source is, for example, a blue laser having a wavelength of 420 nm.
  • the position and the irradiation direction can be adjusted together with the adjustment of the light emission intensity of the irradiation light of the light source as required by the control unit.
  • the light intensity of the light source is strong when the distance to the object is relatively far, and when the distance to the object is relatively close, The strength can be set weak.
  • the light source when the light source is attached to the lower surface of the main body so that the ground can be irradiated from the main body in order to grasp the state of the ground, the light source can be adjusted in three-dimensional positions, although the direction can be adjusted based on the direction, the direction of gravity can be set in the initial stage.
  • the light source may be adjusted to a position closer to the object than the camera so that the shadow of the unmanned aircraft itself is not visually recognized by the machine vision system, and the irradiation direction may be adjusted.
  • the reflected wave of the light irradiated from the light source to the object is acquired as image data of the object in the collection sensor (step 200).
  • blue laser light is used as the light source, and the filter of the camera passes only this blue laser light. Therefore, the light source from the outside such as sunlight is irradiating the object.
  • the feature points of the object are extracted and tracked using, for example, VSLAM processing, and an environment map is created.
  • the position is estimated (S300).
  • the moving object is detected, it is removed using the difference data of the images acquired in time series.
  • the estimation of the relative position in S300 as described above, in addition to using the image data of the object that collects the reflected waves of light in a specific band such as blue laser light, the reflection of ambient light such as sunlight is reflected. You may comprise so that the image data of the target object which collected the wave separately may be used further.
  • position estimation processing such as VSLAM using image data acquired using light of a specific band as a light source, and position estimation processing such as VSLAM using another image data acquired using ambient light or the like.
  • Each may be performed independently, and the position may be finally estimated by weighting each reliability.
  • the unmanned aircraft flight is controlled using the relative position of the unmanned aircraft with respect to the target of the unmanned aircraft estimated in the position estimation step S300 and the speed of the unmanned aircraft. be able to.
  • the position estimation process for the target object be configured so as to be able to determine whether the exposure amount of light reflected from the target object is excessive or insufficient. For example, if there is an excess or deficiency in the amount of exposure of light reflected from the object, the time required for processing increases if there are many unstable feature points including low-contrast feature points in the captured image. In addition, since the map construction is adversely affected and there is a possibility that the estimation by the VSLAM process is inaccurate by comparing the created environmental map with the captured image, the process returns to S100 and the light emission intensity of the light source is adjusted. In this case, the imaging area may be shifted by controlling the direction of the light source so as to search and highlight feature points important for environment recognition using VSLAM. For example, when the important feature point of the object is far, the acquired image tends to be dark, so the light source is reset so as to irradiate with high intensity in that direction.
  • the ability to reset the light source in this way contributes to efficiently comparing the generated environmental map with the captured image, and in particular, there is a large step shape or the like on the object. This is effective in reducing errors in VSLAM processing.
  • a red laser and a blue laser are used as two light sources to estimate the relative position of the unmanned airplane with respect to an object having a step, but it has three or more bands. It is good also as a condensing sensor filter which can detect each of a light source and those zone
  • the intensity, position and direction of the red laser and blue laser are set (S100). In this case, it can be set so that light of different intensities can be emitted.
  • both the red laser and the blue laser are set to the same intensity, and the irradiation directions are set to be different. May be.
  • the light sources of the red laser and the blue laser may be configured to switch each band in terms of time, or may be configured to irradiate a plurality of bands at the same time and switch each band in image space. You may comprise.
  • the collection sensor acquires the reflected wave of the light emitted from the light source to the target, and acquires the image of the target (step 200). ).
  • the position of the unmanned airplane is estimated by, for example, extracting and tracking the feature point of the object and creating an environment map using SLAM processing or the like. (S300).
  • the moving object is detected, it is removed using the difference data of the images acquired in time series.
  • the process returns to S100 in order to efficiently estimate the position of the unmanned airplane.
  • the red laser is reset to a relatively strong intensity
  • the blue laser Is reset to a relatively weak intensity.
  • the intensity setting of the laser intensity may be reversed between red and blue, as long as a different intensity is set for each band.
  • the region below the step in the object is irradiated with a strong red laser light, and the region above the step (region relatively close to the light source) ), The position and direction of the light source are reset so that a relatively weak blue laser is emitted.
  • the irradiation of the red laser and the blue laser may be performed simultaneously or sequentially in time series depending on the configuration of the laser light source, and the pixel region including the upper side and the lower side of the step of the target object. What is necessary is just to acquire as one image so that the exposure amount to a sensor may become fixed.
  • the condensing sensor / filter for the pixels in the region below the step in the object, only the red laser of the irradiated light with high intensity is detected, and the region above the step For this pixel, a captured image is acquired by detecting only the blue laser with relatively low intensity (S200).
  • S200 blue laser with relatively low intensity
  • the feature point of the object is extracted and tracked and the environment map is created by using SLAM processing or the like, thereby estimating the position of the unmanned airplane.
  • Perform (S300) may be configured to return to S100 again in order to efficiently estimate the position of the unmanned airplane according to changes in the surrounding environment (object) or the like accompanying the movement of the unmanned airplane.
  • the unmanned aircraft flight is controlled using the relative position of the unmanned aircraft with respect to the target of the unmanned aircraft estimated in the position estimation step S300 and the speed of the unmanned aircraft. be able to.
  • the configuration in which the light source and the light collection sensor are reset while generating the environment map in the SLAM processing can efficiently cope with such a situation.
  • by adopting a configuration capable of detecting only the blue laser and the red laser and their bands it is possible to reduce the influence of shadows caused by external light such as sunlight when the object has a large level difference. It becomes possible.
  • switching of a light source may be performed for every pixel and for every image.
  • the point cloud data in the VSLAM process may be erroneously acquired due to the presence of shadows due to the influence of other light sources or sunlight.
  • the light source and the condensing sensor / filter according to the present invention are useful in that such other light sources and sunlight can be minimized. That is, for example, there may be a shadow of another object due to sunlight in the area of the object to be photographed, but the image data acquired using the light source and collection sensor according to the present invention is Therefore, it is possible to accurately extract feature points in VSALM. From this point of view, when the light source is attached to the main body, it is desirable to dispose the light source as close to the camera as possible so as to avoid the shadow produced by the light source being visually recognized.
  • an autonomous unmanned aerial vehicle that does not have a GPS function can accurately estimate its own position while reducing processing time. This is not intended to exclude that the autonomous unmanned aerial vehicle is equipped with a GPS function. If the autonomous unmanned aerial vehicle is equipped with a GPS function, it is possible to collect information on the surrounding environment with high accuracy, and further, the unmanned aerial vehicle can be used in combination with the light source and camera (collection sensor) according to the present invention. It is possible to perform the position estimation in a more efficient and accurate manner than in the past.
  • the present invention is not limited to the above-described examples, and various modifications can be made thereto. It can be easily understood that can be added. In addition, as long as they are within the scope of matters described in the respective claims and equivalent matters, they are naturally included in the technical scope of the present invention.
  • the above embodiment is for the case where the shadow on the object and the object have a step, but this is only an example, and the present invention is not limited to this specific example. .
  • the present invention can be used for position estimation and control of unmanned aerial vehicles used for various purposes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

無人飛行装置用の改善された自己位置推定処理を提供する。　無人航空機の周囲にある対象物を照射するための光源と、前記対象物からの反射光を画像データとして取得する集光センサと、前記集光センサにより取得された画像データを用いて無人飛行機の前記対象物に対する相対位置を推定する位置推定部とを備えた無人飛行機用の自己位置推定装置であって、前記光源は、環境光と区別可能な光を放出するレーザと、前記レーザからの光を拡散するための拡散器とを有しており、前記集光センサは、前記対象物からの反射光に対して前記環境光と区別可能な光を感知するように構成された無人飛行機用の自己位置推定装置により、上記課題を解決する。

Description

無人航空機用の自己位置推定装置及び自己位置推定方法
　本発明は、無人航空機に関し、特に、無人航空機用の自己位置推定装置及び自己位置推定方法に関する。
　従来、無人航空機は操縦者が地上の操縦送信器から上空の無人航空機へと制御信号を送信して操縦することにより飛行するか、あるいは自律制御装置を搭載することにより飛行計画に従って自律飛行をしていた。
　近年、固定翼機、回転翼機を含む無人航空機を自律飛行させるためのさまざまな自律制御装置が開発されている。小型無人ヘリコプタの位置、姿勢、高度、方位を検知するセンサと、小型無人ヘリコプタの舵を動かすサーボモータへの制御指令値を演算する主演算部と、センサからのデータ収集を行い、また主演算部による演算結果をサーボモータへのパルス信号に変換する副演算部とを１つの小型フレームボックスにアセンブリした自律制御装置が提案されている。
　自律制御装置を備えた無人航空機においては、Ｖｉｓｕａｌ　ＳＬＡＭ(Simultaneous Localization And Mapping)等を利用して生成した３次元地図データに基づいて無人航空機の位置（高度）を推定することができる。
　また、無人航空機においては、特許文献１に記載されるように、光源を備えて無人航空機を制御するものも開発されている。
特開２０１７－２２４１２３
　Ｖｉｓｕａｌ　ＳＬＡＭ（ＶＳＬＡＭ）では、カメラからの動画像に基づいて特徴点を追跡し、無人航空機（ドローン）の位置の推定を行うと共に環境地図データを作成する。この場合、同じ特徴の領域については、対象物が同じものとみなして推定する。
　この点、無人航空機の周辺環境を撮影する際に、照明が十分に出射されないと、露光量の不足やコントラストの低下に繋がる。また、撮影するシーンが影を含む場合がある。この場合も、影の領域は、露光量不足となりコントラストが低下する。一方、影ではない領域は、飽和露光量に達してしまい、コントラストが低下することもある。ドローンの影がドローンと共に移動すると、特徴点を移動させることになり、これは、ＶＳＬＡＭなどの位置推定アルゴリズムに有害なものとなる。
　例えば、図７のように、対象物に影（図の斜線領域）ができている場合には、影の領域を別の特徴を有する領域として認識することになり、精度よく対象物の特徴点を認識できない状況が生じ得る。このように対象物に影ができてしまう状況は、対象物に大きな段差が存在する場合や、光源が複数ある環境や、屋外で太陽光と対象物との間に他の物体が存在することなどの場合にも起こり易い。
　したがって、太陽光や外界の光源とそれに伴う影の影響を低減して対象物に対する無人航空機の位置推定が行える装置等を提供することが望ましい。また、段差等を有する対象物に対する無人航空機の位置推定が精度よく行えることが望ましい。
　本発明は上述の課題に鑑みてなされたものであり、以下のような特徴を有するものである。すなわち、本発明の１つの特徴によれば、無人航空機の周囲にある対象物を照射するための光源と、前記対象物からの反射光を画像データとして取得する集光センサと、前記集光センサにより取得された画像データを用いて無人飛行機の前記対象物に対する相対位置を推定する位置推定部とを備えた無人飛行機用の自己位置推定装置であって、前記光源は、環境光と区別可能な光を放出するレーザと、前記レーザからの光を拡散するための拡散器とを有しており、前記集光センサは、前記対象物からの反射光に対して前記環境光と区別可能な光を感知するように構成された無人飛行機用の自己位置推定装置が提供される。
　本発明は、前記レーザの発光強度、位置及び方向の少なくとも１つを調整する光源制御部を更に備えることもできる。
　また、本発明は、前記環境光と区別可能な光は、所定の帯域の光であり、前記集光センサは、前記所定の帯域の光を感知するように構成することもできる。また、前記所定の帯域は、複数の帯域を有しており、前記集光センサは、前記複数の帯域の信号の各々を感知するように構成することもできる。また、前記光源は、前記複数の帯域の各々が異なる強度の光を照射できるように構成されており、前記集光センサは、前記対象物との距離に応じてどの帯域の光を感知するかを選択できるように構成することもできる。また、前記集光センサは、画素毎又は画像内の所定の領域毎に、どの帯域の光を感知するかを選択できるように構成することもできる。
　また、本発明は、前記拡散器が広角レンズを備えることもできる。また、前記拡散器は、前記広角レンズの周囲部から投影される光が中心部から投影される光よりも明るいように放射される光を成形するように構成することもできる。
　また、本発明は、更に、前記拡散器の前段に、コヒーレントなレーザをインコヒーレントなスペクトルに変換する蛍光体リフレクタを備えることもできる。
　また、本発明は、前記自己位置推定装置により推定された前記無人航空機の前記対象物に対する相対位置と、前記無人航空機の速度とを用いて前記無人航空機の飛行を制御することもできる。
　また、本発明の別の特徴によれば、光源として用いられるレーザから環境光と区別可能な光を放出するステップと、放出された前記光を拡散して無人航空機の周囲にある対象物に照射するステップと、前記対象物からの反射光を集光して画像データを取得するステップと、取得された前記画像データを用いて無人飛行機の前記対象物に対する相対位置を推定するステップと、を備え、前記画像データを取得するステップは、前記対象物からの反射光に対して前記環境光と区別可能な光を感知することにより前記画像データを取得する方法が提供される。
　本発明は、光源の発光強度、位置及び方向の少なくとも１つを設定するステップを更に備え、設定された前記光源を用いて、前記放出するステップと、前記対象物に照射するステップと、前記画像データを取得するステップと、前記推定するステップを行うこともできる。
　また、本発明は、前記環境光と区別可能な光は、所定の帯域の光であり、前記画像データを取得するステップは、前記所定の帯域の光を感知することにより前記画像データを取得することもできる。
　また、本発明は、前記所定の帯域が、複数の帯域を有しており、前記画像データを取得するステップは、前記複数の帯域の信号の各々を感知することもできる。また、前記照射するステップは、前記複数の帯域の各々が異なる強度の光を照射し、前記画像データを取得するステップは、前記対象物との距離に応じてどの帯域の光を感知するかを選択するステップを更に備えることもできる。また、前記画像データを取得するステップは、画素毎又は画像内の所定の領域毎に、どの帯域の光を感知するかを選択するステップを更に備えることもできる。
　本発明によれば、外界の光源の影響を受けない無人航空機の位置推定が可能となる。また、ＧＰＳ機能を有しない自律無人飛行機において、自律無人飛行機の位置推定を効率的かつ精度よく行うことを可能とする。
本発明の一実施形態である無人航空機の斜視図。 図１の無人航空機を下方向から見た図。 図１の無人航空機の構成の一実施例を示すブロック図。 図１の無人航空機用の光源の光学構造の一実施例を示す図。 無人航空機の位置推定処理の一実施例を示すフローチャート。 図４の光源による実際の照射例。 無人航空機で撮影される対象物の影の様子を示す図。
[無人航空機の構成]
　図１は、本発明の一実施形態による無人航空機（マルチコプタ）１の外観図である。
　図２は、図１の無人航空機（マルチコプタ）１の下面図である。
　無人航空機１は、本体部２と、６つのモータ３と、６つのロータ（回転翼）４と、本体部２及び各々のモータ３を接続する６つのアーム５と、着陸脚６と、ローカルセンサ７と、を備える。
　６つのロータ４は、各々のモータ３の駆動により回転して揚力を発生させる。本体部２が６つのモータ３の駆動を制御して６つのロータ４各々の回転数、回転方向を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。着陸脚６は、離着陸時の無人航空機１の転倒防止などに寄与し、無人航空機１の本体部２モータ３、及びロータ４などを保護する。
　ローカルセンサ７は、レーザ光源８を用いて無人航空機１の周囲の状況を計測する。ローカルセンサ７は、光源８から主として対象物に対して下方にレーザを照射し、反射して得られた情報を用いて、無人航空機１の周囲にある物体との距離を測定するとともに、周囲にある物体の形状を作成することを可能とする。レーザを照射する方向は一例であるが、少なくとも下方を含むことが好ましい。このように本実施形態では、ローカルセンサ７は、無人航空機１の周囲にある物体に対する無人航空機１の相対位置を計測するために用いられるセンサであり、無人航空機１と周囲にある物体との位置関係を計測できるものであればよい。したがって、例えば、用いるレーザは１つであってもよいし、複数であってもよい。また、ローカルセンサ７は、例えば、画像センサとすることもできる。上記ローカルセンサ７は、好ましくは、ＳＬＡＭ技術を利用する際に用いられる。
　例えば、ローカルセンサ７が画像センサである場合、無人航空機１は撮像装置を含む。撮像装置は、イメージセンサなどから構成される単眼カメラ又はステレオカメラを含み、無人航空機１の周囲を撮像することにより、無人航空機１周囲の映像や画像を取得する。この場合、好ましくは、無人航空機１は、カメラの向きを変更可能なモータを備え、飛行制御装置１１は、カメラ及び該モータの動作を制御する。例えば無人航空機１は単眼カメラを用いて連続して画像を取得し、又はステレオカメラを用いて画像を取得するなどし、取得された画像を解析することにより、周囲にある物体との距離や該物体の形状の情報を取得する。撮像装置は、赤外線投影により形状データを取得可能な赤外線デプスセンサであってもよい。
　ローカルセンサ７は、本体部２の外部に取り付けられたものとして説明するが、無人航空機１と周囲環境との位置関係を計測できるものであれば本体部２の内部に取り付けられてもよい。
[システム概要]
　図３は、図１及び図２の無人航空機１のハードウェア構成図である。無人航空機１の本体部２は、飛行制御装置（フライトコントローラ）１１と、送受信機１２と、センサ１３と、スピードコントローラ（ＥＳＣ：Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）１４と、バッテリ電源（図示せず）と、を備える。
　送受信機１２は、外部との各種データ信号の送受信を行うものであり、アンテナを含む。説明の便宜上、送受信機１２は１つの装置として説明するが、送信機と受信機が別々に設置されていても構わない。
　飛行制御装置１１は、各種情報に基づいて演算処理を行い、無人航空機１を制御する。飛行制御装置１１は、プロセッサ２１と、記憶装置２２と、通信用ＩＦ２３と、センサ用ＩＦ２４と、信号変換回路２５と、を備える。これらはバス２６を介して接続される。
　プロセッサ２１は、飛行制御装置１１全体の動作を制御するものであり、例えばＣＰＵである。なお、プロセッサとしては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ２１は、記憶装置２２に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。
　記憶装置２２は、主記憶装置及び補助記憶装置を含む。主記憶装置は、例えばＲＡＭのような半導体メモリである。ＲＡＭは、情報の高速な読み書きが可能な揮発性の記憶媒体であり、プロセッサが情報を処理する際の記憶領域及び作業領域として用いられる。主記憶装置は、読み出し専用の不揮発性記憶媒体であるＲＯＭを含んでいてもよい。この場合、ＲＯＭはファームウェア等のプログラムを格納する。補助記憶装置は、様々なプログラムや、各プログラムの実行に際してプロセッサ２１が使用するデータを格納する。補助記憶装置は、例えばハードディスク装置であるが、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。補助記憶装置は、例えば、オペレーティングシステム（ＯＳ）、ミドルウェア、アプリケーションプログラム、これらのプログラムの実行に伴って参照され得る各種データなどを格納する。
　通信用ＩＦ２３は、送受信機１２と接続するためのインタフェースである。センサ用ＩＦ２４は、ローカルセンサ７により取得されたデータを入力するためのインタフェースである。説明の便宜上、各ＩＦは１つのものとして説明するが、各装置やセンサごとに異なるＩＦを備えることができることは理解される。
　信号変換回路２５は、例えばＰＷＭ信号などのパルス信号を生成し、ＥＳＣ１４へ送る。ＥＳＣ１４は、信号変換回路２５により生成されたパルス信号をモータ３への駆動電流へと変換し、該電流をモータ３へ供給する。
　バッテリ電源は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスであり、各構成要素に電力を供給する。なお、モータ３を動作させるためには大きな電源が必要となるため、好ましくは、ＥＳＣ１４は、直接バッテリ電源と接続され、バッテリ電源の電圧や電流を調整して駆動電流をモータ３へ供給する。
　好ましくは、記憶装置２２は、無人航空機１の飛行時における姿勢や基本的な飛行動作を制御する飛行制御アルゴリズムが実装された飛行制御プログラムを記憶する。プロセッサ２１が飛行制御プログラムを実行することにより、飛行制御装置１１は、設定された目標高度及び目標速度となるように演算処理を行い、各モータ３の回転数や回転速度を計算して制御指令値データを算出する。このとき飛行制御装置１１は、飛行中の無人航空機１の姿勢などの様々な情報を各種センサから取得し、取得したデータと設定された目標高度及び目標速度とに基づいて演算処理を行う。
　飛行制御装置１１の信号変換回路２５は、上記のとおり算出された制御指令値データをＰＷＭ信号へ変換し、ＥＳＣ１４へ送る。ＥＳＣ１４は、信号変換回路２５から受け付けた信号をモータ３への駆動電流へと変換してモータ３へ供給することによりモータ３を回転させる。このようにして、飛行制御装置１１を含む本体部２は、ロータ４の回転速度を制御し、無人航空機１の飛行を制御する。
　１つの例では、飛行制御プログラムは、緯度経度や高度を含む飛行ルートや飛行速度などのパラメータを含み、飛行制御装置１１は、目標高度及び目標速度を逐次決定して上記演算処理を行うことにより、無人航空機１を自律的に飛行させる。
　１つの例では、飛行制御装置１１は、送受信機１２を介して外部の送信機から上昇下降・前進後退などの指示を受信することで、目標高度及び目標速度を決定して上記演算処理を行うことにより、無人航空機１の飛行を制御する。
[自己位置推定処理]
　自己位置推定部３２は、ローカルセンサ７を収集センサとして用いて取得された無人航空機１の周囲にある物体の画像データの点群データに基づいて無人航空機１の自己位置を推定する。自己位置推定部３２が推定する自己位置は、無人航空機１周囲の物体に対する無人航空機１の相対位置である。本実施形態では、自己位置推定部３２は、ＳＬＡＭ技術を利用して無人航空機１の自己位置を推定する。ＳＬＡＭ技術は、既知の技術であるため説明は省略するが、ローカルセンサ７を用いて周囲にある物体認識を行い、該物体認識結果に基づいて自己位置推定と地図作成とを同時に行うものである。
　本実施形態では、自己位置推定部３２は、ＳＬＡＭ技術を利用して無人航空機１の相対位置（高度）を推定して出力する。
　自己位置推定部３２は、後述する光源を用いて無人航空機１の周囲の点群データを取得する。自己位置推定部３２は、光源から放射されるレーザによる測距距離が所定距離範囲（例えば０．１～２０ｍ）内の点群データを取得できた場合に推定の演算を開始し、その点群データを取得し始めたタイミングにいた自己位置を基準座標と定める。それから自己位置推定部３２は、取得した点群データを用いて、マップを作成しつつ自己位置を推定する。
　自己位置推定部３２は、カメラ等の撮像装置を用いて画像を取得し、取得した画像における物体の位置又は表面上の点を特徴点して抽出し、抽出したパターンと作成されたマップ（又は取得した点群）のパターンをマッチングさせる。
　自己位置推定部３２は、作成されたマップとレーザ光源を用いて取得された点群データとの一致度により自己位置推定を行う。自己位置推定部３２は、無人航空機１が十分な点群データを収集した場合に、無人航空機１の相対高度を推定して出力するように構成される。
[光源]
　図２に示される通り、光源８は、望ましくは、地表付近の状況を把握できるように無人飛行機の底面側から下向きに取り付けられる。ただし、光源は、地表付近に向けて照射できるように構成されていればよく、無人航空機の他の位置に取り付けられていてもよい。
　図４は、光源の光学構造の一実施例を示す。レーザ光源４０は、例えば、帯域特異性を有しており、波長が４２０ｎｍの青色レーザである。レーザ光源４０は、コヒーレント光として出射されると蛍光体リフレクタ４１において人間の眼に安全なものとするようにインコヒーレント光に変換される。蛍光体リフレクタ４１を通った光は、拡散レンズを含む拡散器４２において所定の設定のプロジェクションパターンとして拡散された後に対象物に照射される。
　ここで、拡散レンズは、広角レンズ（例えば１１０度）を採用することにより、カメラ側で撮像する際に対象物の広範囲の領域を一度で撮像することができ、一度の撮像で取得できる情報量を増大させることできるようになり、このことはＳＬＡＭ技術を用いた自己位置推定において有用である。
　また、拡散レンズは、特に、広角レンズを採用すると、一般に、図６（ａ）に示す通り、レンズの中心付近を通った光はレンズの外側を通った光より相対的に明るい光となるという開口効率特性の影響が大きくなる。すなわち、このように、拡散レンズを通った光のプロジェクションパターンが一様ではなく、また、光源及び取集センサ（カメラ）から対象物までの距離が十分にあることを前提とすると、カメラ側では、画像の外側は暗い像として取得され、画像の内側は明るい像として取得されることになる。したがって、本発明に係る一実施例では、拡散器（拡散レンズ）４２は、図６（ｂ）に示す通り、上記の所定の設定のプロジェクションパターンとして、レンズの周囲部から投影される光が中心部から投影される光よりも明るいように放射される光を成形するように広角の程度に依存して構成されることが望ましい。このような構成にすることにより、広角レンズなどの拡散レンズによる上記の開口効率特性を補償することができる。
　また、光源８は、光源制御部９によりその位置及び照射方向を制御できるようになっていることが望ましい。この点、後述する通り、光源が対象物に対してカメラの背後にある場合には、無人航空機自身の影がマシンビジョンシステムによって視認されないように光源の位置及び照射方向を調整するように制御される。また、光源の方向制御により、Ｖｉｓｕａｌ ＳＬＡＭで環境認識に重要な特徴点をハイライトすることが可能となる。
　また、光源は、後述の通り、電流を調整することによって強度を可変なものとして照射されるように構成し、Ｖｉｓｕａｌ ＳＬＡＭ処理用に一連の画像を光源の強度を変えながら取得できるようにしてもよい。この点、例えば、対象物が遠い場合には、取得される画像が暗くなりがちであるので、その方向には強い強度で照射するように構成することができる。
　なお、光源は、太陽光などの他の光源（環境光）と区別できるような特有の光であればよく、後述の通り、例えば、環境光の影を排除できるものであればよく、青色レーザに限らず、他の所定の狭帯域の光源であってもよい。さらに言えば、光源は、帯域以外にもスペクトル分布、光の強度、点滅パターンの光などを環境光と異なるように構成する光源であってもよい。光源が所定のパターンで点滅する場合の一例として、一定周期の点滅が考えられる。
　また、光源は、複数の帯域を照射できる光源（例えば、Ｒ、Ｇ、Ｂ等を含むマルチスペクトル）とすることができる。マルチスペクトル光源は、ダイクロイックミラー等を利用して光を分離し、時間的にそれぞれの帯域を切り替えるように構成してもよいし、同時に複数の帯域を照射できるように構成すると共に各帯域の対象物への照射方向を個別に空間的に調整できるように構成してもよい。
　なお、この場合、後述する通り、集光センサは、当該複数の帯域を個別に収集できるようなフィルタを有するように構成される。
[光源及びカメラ（集光センサ・フィルタ）の構成]
- 光源の帯域に対応する集光センサ・フィルタ（他の光源の遮断）
　ＳＬＡＭなどのマシンビジョンアルゴリズムは、カメラで視認可能な特徴部のほとんどは固定されており、動かないという前提で処理されることが望ましい。光源が対象物に対してカメラの背後にある場合には、無人航空機自身の影がマシンビジョンシステムによって視認され得ることになる。この影は、特徴点の主要なソースであることが多いが、当該影は、無人飛行機と共に移動することになり、当該影の特徴部は、固定されないことになる。このことは、マシンビジョンの性能を低下させる。
　光源がカメラの近傍で無人航空機に固定され得る場合には、光源からの影は、最小化され又はマスクすることが可能である。しかしながら、無人航空機に固定されていないような他の光源からの無人航空機自体の影の影響は、無人航空機の移動と共に不規則に移動し得る。この場合、カメラの撮像に基づく影の領域の認識について精度が低下し、このことは、ＶＳＬＡＭによる無人航空機の位置推定の精度の低下に繋がる。
　これに対して、本発明に係る光源とカメラ（フィルタ）の構成によれば、影の影響を低減することが可能となる。すなわち、例えば、上述の通り、光源は、青色レーザとする場合を考える。この場合、光源は、蛍光体リフレクタと拡散器を通ることにより、青色レーザ光をワイドスペクトル光に変換し、この光の大部分は、レーザと同じ４２０ｎｍで対象物によって反射される。マシンビジョンシステムの撮像側では、カメラのレンズに所定のノッチフィルタ（青色４２０ｎｍ）を取り付けておくことによって、対象物から反射される光の多くは、青色ノッチフィルタを通り、集光センサにより画像データとして取得される。一方で、他の光源からの光の大部分は、４２０ｎｍブルーノッチフィルタにより遮断されることになり、また、他の光源により生じる影も特徴点として認識されることなく集光センサにより画像として取得され、他の光源による影の影響も遮断することが可能となる。
　また、光源が所定のパターンで点滅する光の場合、対象物からの反射光は、撮像側で順次、動画像として撮像され、集光センサは、光源が所定のパターンで点滅していることに伴って動画像の一連の画像内で光の強度（例えば、画像内のグレースケール値）が上下している箇所を感知するように構成される。このように構成された光源及び集光センサにより、光の強度が上下している画像内の箇所を検知し、その光の画角や大きさ等から反射点の位置を推定することが可能となり、環境光から放出され、その後、対象物から反射された光の影響を低減してＶＳＬＡＭによる無人航空機の位置推定を行うことができる。
- 高ダイナミックレンジ
　青色レーザ光源などの特定帯域のレーザ光源について、上述の通り、電流を調整することによって照明の強度を可変なものとして照射され、一連の画像を様々な光源の強度で取得できるようにすることは有用である。すなわち、そのような構成にすることにより、非常に広範囲の明るさで特徴点を抽出できるようになる。このことは、対象物について段差などが存在してカメラから様々な距離の表面が存在するとき、カメラから遠い表面を照射することは、カメラから近い表面より高い光出力を必要とするので有用である。例えば、段差が存在する対象物に対して、１回目の撮像で光源を相対的に弱い光とすることにより、近距離の領域の画像データを取得し、２回目の撮像で光源を相対的に強い光とすることにより、遠距離の領域の画像データを取得するように光源及び収集センサを構成することができる。したがって、収集センサを高ダイナミックレンジに対応すると共に可変なダイナミックレンジとし、様々な照射レベルで一連の画像を取得することによって、各表面からの特徴部が抽出され得る。
- 複数の光源とそれらに対応する複数の集光センサ・フィルタ
　上述の通り、光源は、複数の帯域を照射できる光源（マルチスペクトル）とすることができる。一方、この場合、カメラ（集光センサ・フィルタ）は、対応する帯域のそれぞれを検知できるものとすることにより、対象物に対して複数の独立した画像情報を取得することができる。
　また、集光センサは、対応する帯域のそれぞれを検知できるものとした上で、更に、対応する帯域ごとに異なる強度の光を照射できるように設定してもよい。これにより、カメラ・光源と対象物との距離に応じて、必要とされる照射光の強度を適応させることが可能となる。また、この場合、集光センサにおいて、画素ごとに検知する帯域を選択できるようにしてもよい。
　例えば、３次元的に大きな段差を含んでいる対象物を撮像する場合、カメラから遠方側の表面（段差の下側の領域）を照射することは、カメラから近い表面（段差の上側の領域）より高い光出力を必要とする。この場合に、光源及び集光センサについて、段差の下側である領域の画素に対して、強度の強い光を照射すると共にこの照射光の帯域に対応する帯域のみを検知するように構成し、また、段差の上側である領域の画素に対して、相対的に強度の弱い光を照射すると共にこの照射光の帯域に対応する帯域のみを検知するように構成することにより、例えば、１つの画像内の隣接する画素間でそれぞれ適応した処理とすることが可能となり、画像内で領域毎又は画素単位での可変ダイナミックレンジを実現できる。
　ドローン等の飛行物体では、ドローンの移動と共に周囲のシーンが急変することもあり、カメラにおけるこのような可変ダイナミックレンジの実現は、ＶＳＬＡＭを用いた対象の撮像による位置推定処理の遅延を解消するのに有用である。
[処理フロー]
　以下に、上述の構成に基づく無人航空機の位置推定のための動作について、一実施例として、地面を光源により照射し、その反射波を画像データとして取得して、無人航空機の位置を推定するフローについて説明する。
　まず、無人航空機の光源及び収集センサの設定をする（ステップ１００）。
　光源のレーザは、例えば、波長が４２０ｎｍの青色レーザであるとする。光源の設定は、制御部により、必要に応じて、光源の照射光の発光強度の調整と共に位置及び照射方向を調整することができる。
　光源の発光強度は、対象物との距離が認識される場合において、対象物との距離が相対的に遠い場合には、強度を強く、対象物との距離が相対的に近い場合には、強度を弱く設定することができる。
　ドローン等の無人航空機において、例えば、地上の状態を把握するために本体から地面を照射できるように本体の下面に取り付けられている場合、光源は、３次元的な位置を調整することや、重力方向をベースに方向を調整することが可能であるが、初期段階では重力方向とすることができる。また、光源は、無人航空機自身の影がマシンビジョンシステムによって視認されないようにカメラよりも対象物の近い位置に調整し、また、照射方向を調整してもよい。
　次に、Ｓ１００における光源及び集光センサの設定に基づいて、光源から対象物に照射された光の反射波を収集センサにおいて対象物の画像データとして取得する（ステップ２００）。この場合、上述の通り、光源として青色レーザ光を用い、カメラのフィルタは、この青色レーザ光のみを通すので、仮に、対象物に太陽光等の外界からの光源が照射されていたとても、これらの外界からの光源に伴う影等は撮像されずに済むことなり、太陽光による対象物に生じる影による特徴点の誤認等の影響を低減することができる。
　次に、Ｓ２００で取得された対象物の画像に基づいて、例えば、ＶＳＬＡＭ処理等を用いて対象物の特徴点の抽出及び追跡並びに環境地図の作成をすることにより、対象物に対する無人飛行機の相対位置の推定を行う（Ｓ３００）。この場合、動物体を検出した場合には、時系列的に取得した画像の差分データ等を用いてそれを除去する。
　なお、Ｓ３００の相対位置の推定に関して、上述の通り、青色レーザ光などの特定の帯域の光の反射波を収集した対象物の画像データを用いることに加えて、太陽光などの環境光の反射波を別個に収集した対象物の画像データを更に用いるように構成してもよい。すなわち、例えば、特定の帯域の光を光源として取得した画像データを用いたＶＳＬＡＭ等の位置推定処理と、環境光等を用いて取得した別の画像データを用いたＶＳＬＡＭ等の位置推定処理とをそれぞれ独立して行い、それぞれの信頼度に重み付けして最終的に位置推定を行うようにしてもよい。このような構成を採用することにより、上述の影等の影響がないような撮像条件では従来の画像データを用いたＶＳＬＡＭによる位置推定を用いることも可能となり、環境光を含む全帯域対応の既存のＳＬＡＭと組み合わせて位置推定することが可能となる。
　また、図示していないが、上記の無人飛行機の位置推定ステップＳ３００により推定された無人航空機の対象物に対する相対位置と、無人航空機の速度とを用いて無人航空機の飛行を制御するように構成することができる。
　なお、ＶＳＬＡＭ処理において、特徴点の抽出及び環境地図の作成等が精度良くスムーズになされない場合には、再度、ステップ１００に戻り、無人航空機の光源及び収集センサの設定をすることができる。
　この点、対象物に対する位置推定処理では、対象物から反射される光の露光量に過不足があるかどうかを判定できるように構成しておくことが望ましい。例えば、対象物から反射される光の露光量に過不足がある場合には、撮像画像にコントラストが低い特徴点などを含み不安定な特徴点が多いと、処理に必要な時間が増大し、また、地図構築に悪影響を及ぼし、作成された環境地図と撮像画像を対照させてＶＳＬＡＭ処理による推定が不正確な可能性が出てくるため、Ｓ１００に戻り、光源の発光強度を調整する。また、この場合、ＶＳＬＡＭで環境認識に重要な特徴点をサーチしてハイライトするように光源の方向を制御して撮像エリアをシフトさせてもよい。例えば、対象物のその重要な特徴点が遠い場合には、取得される画像が暗くなりがちであるので、その方向には強い強度で照射するように光源を再設定する。
　このように光源を再設定できることは、生成された環境地図と撮像された画像との対照を効率的に行うことに寄与するものであり、特に、対象物に大きな段差形状等が存在している場合のＶＳＬＡＭ処理のエラーを低減するのに有効である。
[変形例]
　次に、複数の帯域を照射できる光源と、対応する帯域のそれぞれを検知できる集光センサ・フィルタにより、対象物に対して複数の独立した画像情報を取得する場合について説明する。
　ここでは、説明の簡単のために、２つの光源として赤色レーザ及び青色レーザを用いて、段差を有する対象物に対する無人飛行機の相対位置を推定する場合を想定するが、３つ以上の帯域を有する光源及びそれらの帯域それぞれを検知できる集光センサ・フィルタとしてもよい。
　まず、赤色レーザ及び青色レーザについて、それぞれの強度及び位置・方向を設定する（Ｓ１００）。この場合、それぞれ異なる強度の光を照射できるように設定することができるが、例えば、初期段階では、赤色レーザ及び青色レーザは、共に同じ強度に設定すると共に、照射方向をそれぞれ異なるものとして設定してもよい。
　なお、赤色レーザと青色レーザの光源は、時間的にそれぞれの帯域を切り替えるように構成してもよいし、同時に複数の帯域を照射できるように構成すると共に画像空間的にそれぞれの帯域を切り替えるように構成してもよい。
　次に、Ｓ１００の設定に基づいて、光源及び集光センサの設定に基づいて、光源から対象物に照射された光の反射波を収集センサで取得し、対象物の画像を取得する（ステップ２００）。
　次に、Ｓ２００で取得された対象物の画像に基づいて、例えば、ＳＬＡＭ処理等を用いて対象物の特徴点の抽出及び追跡並びに環境地図の作成をすることにより、無人飛行機の位置推定を行う（Ｓ３００）。この場合、動物体を検出した場合には、時系列的に取得した画像の差分データ等を用いてそれを除去する。
　ここで、対象物が段差を有することが推定される場合に、無人飛行機の位置を効率的に推定するためにＳ１００に戻り、例えば、赤色レーザを相対的に強い強度に再設定し、青色レーザを相対的に弱い強度に再設定する。なお、レーザ強度の強弱設定は赤色と青色で逆であってもよく、各帯域に異なる強度が設定されていればよい。また、対象物における段差の下側である領域（光源から相対的に遠い領域）に対して、強度の強い光の赤色レーザを照射し、段差の上側である領域（光源に相対的に近い領域）に対して、相対的に強度の弱い青色レーザを照射するように光源の位置及び方向を再設定する。なお、赤色レーザ及び青色レーザの照射は、レーザ光源の構成に応じて、同時に行ってもよいし、時系列的に順次行ってもよく、対象物の段差の上側及び下側を含む画素領域についてセンサへの露光量が一定になるように１つの画像として取得されればよい。
　次に、集光センサ・フィルタにおいて、対象物における段差の下側である領域の画素に対しては、照射された強度の強い光の赤色レーザのみを検知し、また、段差の上側である領域の画素に対しては、相対的に強度の弱い青色レーザのみを検知することにより、撮影画像を取得する（Ｓ２００）。その後、再度、Ｓ２００で取得された対象物の画像に基づいて、例えば、ＳＬＡＭ処理等を用いて対象物の特徴点の抽出及び追跡並びに環境地図の作成をすることにより、無人飛行機の位置推定を行う（Ｓ３００）。なお、無人飛行機の移動に伴う周辺環境（対象物）等の変化に応じて、無人飛行機の位置を効率的に推定するために再度Ｓ１００に戻るように構成してもよい。また、図示していないが、上記の無人飛行機の位置推定ステップＳ３００により推定された無人航空機の対象物に対する相対位置と、無人航空機の速度とを用いて無人航空機の飛行を制御するように構成することができる。
　上述の通り、３次元的に大きな段差を含んでいる対象物を撮像する場合、カメラから遠い側の表面（段差の下側の領域）は、カメラから近い表面（段差の上側の領域）より光源の高い出力を必要とする状況がある。ＳＬＡＭ処理における環境地図を生成しながら光源及び集光センサを再設定する構成により、そのような状況に効率的に対応することが可能となる。また、上述のように青色レーザ及び赤色レーザとそれらの帯域のみを検知可能な構成とすることにより、対象物が大きな段差を有する場合の太陽光等の外光による影の影響を低減することが可能となる。
　なお、ここでは、画像内の所定の領域ごとに光源を切り替える構成について説明したが、光源の切り替えは、画素ごとであってもよいし、画像ごとであってもよい。
　上述の通り、他の光源や太陽光の影響により、ＶＳＬＡＭ処理における点群データの取得が影の存在により誤ってなされる場合があり、このことは、対象物が段差を含むような場合などには特に顕著になる。本発明に係る光源及び集光センサ・フィルタは、そのような他の光源や太陽光を最小限に抑えることが可能である点において有用である。すなわち、例えば、撮影しようとしている対象物の領域内に、太陽光による別の対象物の影が生じる場合があるが、本発明に係る光源及び収集センサを用いて取得した画像データは、そのような影が除去されたものであり、ＶＳＡＬＭにおいて特徴点の抽出を精度よく行うことが可能となる。また、この観点から、光源は本体に取り付けられるとき、光源によって作られる影が視認されることを避けるようにできる限りカメラに近い位置に配置することが望ましい。
　本発明によれば、ＧＰＳ機能を有しない自律無人飛行装置において、処理時間を低減しながら精度よく自己の位置推定を行うことを可能となる。なお、このことは、自律無人飛行装置が、ＧＰＳ機能を搭載することを排除することを意図するものではない。自律無人飛行装置がＧＰＳ機能を搭載していれば、周囲の環境の情報を精度良く収集することができ、更に、本発明による光源及びカメラ（収集センサ）と組み合わせて用いることにより、無人飛行装置の位置推定を従来よりも効率的かつ精度良くに行うことが可能となる。
　以上のように、本発明に係る光源及び収集センサ・フィルタの実施の一形態及び実施例について説明してきたが、本発明は、上記の実施例に限定されるものではなく、これに種々の変更を加え得るものであることは容易に理解される。そして、それらが特許請求の範囲の各請求項に記載した事項、及びそれと均等な事項の範囲内にある限り、当然に本発明の技術的範囲に含まれる。上記の実施例は、対象物に対する影及び対象物が段差を有する場合に対してのものであったが、これはあくまでも一例であり、本発明がこの特定の具体例に限定されるものではない。
　本発明は、あらゆる用途に用いられる無人航空機の位置推定及び制御のために利用することが可能である。
１　無人航空機
２　本体部
３　モータ
４　ロータ（回転翼）
５　アーム
６　着陸脚
７　ローカルセンサ
１１　飛行制御装置
１２　送受信機
１３　センサ
１４　スピードコントローラ（ＥＳＣ）
２１　プロセッサ
２２　記憶装置
２３　通信用ＩＦ
２４　センサ用ＩＦ
２５　信号変換回路
３１　環境取得部
３２　自己位置推定部
４０　レーザ光源
４１　蛍光体リフレクタ
４２　拡散器

Claims (16)

  1. 　無人航空機の周囲にある対象物を照射するための光源と、
    　前記対象物からの反射光を画像データとして取得する集光センサと、
    　前記集光センサにより取得された画像データを用いて無人飛行機の前記対象物に対する相対位置を推定する位置推定部と
    　を備えた無人飛行機用の自己位置推定装置であって、
    　前記光源は、環境光と区別可能な光を放出するレーザと、前記レーザからの光を拡散するための拡散器とを有しており、
    　前記集光センサは、前記対象物からの反射光に対して前記環境光と区別可能な光を感知するように構成された無人飛行機用の自己位置推定装置。
  2. 　前記レーザの発光強度、位置及び方向の少なくとも１つを調整する光源制御部を更に備えた請求項１に記載の自己位置推定装置。
  3. 　前記環境光と区別可能な光は、所定の帯域の光であり、
    　前記集光センサは、前記所定の帯域の光を感知するように構成された請求項１又は２に記載の自己位置推定装置。
  4. 　前記所定の帯域は、複数の帯域を有しており、前記集光センサは、前記複数の帯域の信号の各々を感知するように構成される請求項３に記載の自己位置推定装置。
  5. 　前記光源は、前記複数の帯域の各々が異なる強度の光を照射できるように構成されており、前記集光センサは、前記対象物との距離に応じてどの帯域の光を感知するかを選択できるように構成される請求項４に記載の自己位置推定装置。
  6. 　前記集光センサは、画素毎又は画像内の所定の領域毎に、どの帯域の光を感知するかを選択できるように構成される請求項５に記載の自己位置推定装置。
  7. 　前記拡散器は、広角レンズを備える請求項１から６のいずれか１つに記載の自己位置推定装置。
  8. 　前記拡散器は、前記広角レンズの周囲部から投影される光が中心部から投影される光よりも明るいように放射される光を成形するように構成される請求項７に記載の自己位置推定装置。
  9. 　前記光源は、更に、前記拡散器の前段に、コヒーレントなレーザをインコヒーレントなスペクトルに変換する蛍光体リフレクタを備える請求項１から８のいずれか１つに記載の自己位置推定装置。
  10. 　前記自己位置推定装置により推定された前記無人航空機の前記対象物に対する相対位置と、前記無人航空機の速度とを用いて前記無人航空機の飛行を制御する、請求項１から９のいずれか１つに記載の無人飛行機。
  11. 　光源として用いられるレーザから環境光と区別可能な光を放出するステップと、
    　放出された前記光を拡散して無人航空機の周囲にある対象物に照射するステップと、
    　前記対象物からの反射光を集光して画像データを取得するステップと、
    　取得された前記画像データを用いて無人飛行機の前記対象物に対する相対位置を推定するステップと、を備え、
    　前記画像データを取得するステップは、前記対象物からの反射光に対して前記環境光と区別可能な光を感知することにより前記画像データを取得する方法。
  12. 　光源の発光強度、位置及び方向の少なくとも１つを設定するステップを更に備え、
    　設定された前記光源を用いて、前記放出するステップと、前記対象物に照射するステップと、前記画像データを取得するステップと、前記推定するステップを行う、請求項１１に記載の方法。
  13. 　前記環境光と区別可能な光は、所定の帯域の光であり、
    　前記画像データを取得するステップは、前記所定の帯域の光を感知することにより前記画像データを取得する、請求項１１又は１２に記載の方法。
  14. 　前記所定の帯域は、複数の帯域を有しており、前記画像データを取得するステップは、前記複数の帯域の信号の各々を感知する、請求項１３に記載の方法。
  15. 　前記照射するステップは、前記複数の帯域の各々が異なる強度の光を照射し、
    　前記画像データを取得するステップは、前記対象物との距離に応じてどの帯域の光を感知するかを選択するステップを更に備えている、請求項１４に記載の方法。
  16. 　前記画像データを取得するステップは、画素毎又は画像内の所定の領域毎に、どの帯域の光を感知するかを選択するステップを更に備えている、請求項１５に記載の方法。
PCT/JP2018/014207 2018-04-03 2018-04-03 無人航空機用の自己位置推定装置及び自己位置推定方法 WO2019193642A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
SG11202009731TA SG11202009731TA (en) 2018-04-03 2018-04-03 Localization device and localization method for unmanned aerial vehicle
JP2020512128A JPWO2019193642A1 (ja) 2018-04-03 2018-04-03 無人航空機用の自己位置推定装置及び自己位置推定方法
PCT/JP2018/014207 WO2019193642A1 (ja) 2018-04-03 2018-04-03 無人航空機用の自己位置推定装置及び自己位置推定方法
US17/045,037 US20210147077A1 (en) 2018-04-03 2018-04-03 Localization Device and Localization Method for Unmanned Aerial Vehicle
JP2023090690A JP2023115027A (ja) 2018-04-03 2023-06-01 無人航空機用の自己位置推定装置及び自己位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/014207 WO2019193642A1 (ja) 2018-04-03 2018-04-03 無人航空機用の自己位置推定装置及び自己位置推定方法

Publications (1)

Publication Number Publication Date
WO2019193642A1 true WO2019193642A1 (ja) 2019-10-10

Family

ID=68100224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014207 WO2019193642A1 (ja) 2018-04-03 2018-04-03 無人航空機用の自己位置推定装置及び自己位置推定方法

Country Status (4)

Country Link
US (1) US20210147077A1 (ja)
JP (2) JPWO2019193642A1 (ja)
SG (1) SG11202009731TA (ja)
WO (1) WO2019193642A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072327A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 車両位置推定装置
WO2022239600A1 (ja) * 2021-05-11 2022-11-17 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
EP4131946A4 (en) * 2020-03-31 2023-05-17 NEC Corporation OBJECT TRACKING DEVICE, OBJECT TRACKING METHOD AND RECORDING MEDIA

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505655A (ja) * 1996-08-22 2001-04-24 ジンテーズ アクチエンゲゼルシャフト クール ３次元超音波撮像機
JP2009130034A (ja) * 2007-11-21 2009-06-11 Fuji Mach Mfg Co Ltd 吸着部品表裏判定装置及び吸着部品表裏判定方法
WO2010073573A1 (ja) * 2008-12-26 2010-07-01 パナソニック株式会社 回折レンズ、およびこれを用いた撮像装置
JP2011039968A (ja) * 2009-08-18 2011-02-24 Mitsubishi Electric Corp 車両可動領域検出装置
JP2014238527A (ja) * 2013-06-10 2014-12-18 株式会社コシナ 超広角レンズ用ｎｄフィルタ及びその製造方法
WO2016059930A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
WO2017138049A1 (ja) * 2016-02-10 2017-08-17 パナソニックＩｐマネジメント株式会社 飛行体及びその制御システム
JP2017182692A (ja) * 2016-03-31 2017-10-05 セコム株式会社 自律移動ロボット
JP2017224123A (ja) * 2016-06-15 2017-12-21 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
US20180004232A1 (en) * 2015-07-08 2018-01-04 SZ DJI Technology Co., Ltd Camera configuration on movable objects

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4054594B2 (ja) * 2002-04-04 2008-02-27 日東光学株式会社 光源装置及びプロジェクタ
JP5765163B2 (ja) * 2011-09-26 2015-08-19 トヨタ自動車株式会社 自己位置推定装置、方法、及びプログラム
JP6394693B2 (ja) * 2014-03-18 2018-10-03 株式会社リコー 光源装置及びこの光源装置を有する画像投影装置
JP6413960B2 (ja) * 2015-07-08 2018-10-31 株式会社デンソー 距離測定装置
JP6759921B2 (ja) * 2015-10-30 2020-09-23 株式会社リコー 測距装置、移動システム及び測距方法
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
JP6942966B2 (ja) * 2016-03-16 2021-09-29 株式会社リコー 物体検出装置及び移動体装置
JP7130210B2 (ja) * 2017-02-27 2022-09-05 国立大学法人 東京大学 飛行管理システム
JP6989832B2 (ja) * 2018-05-09 2022-01-12 株式会社Acsl 移動体、及びこれを用いる方法
US10732032B2 (en) * 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505655A (ja) * 1996-08-22 2001-04-24 ジンテーズ アクチエンゲゼルシャフト クール ３次元超音波撮像機
JP2009130034A (ja) * 2007-11-21 2009-06-11 Fuji Mach Mfg Co Ltd 吸着部品表裏判定装置及び吸着部品表裏判定方法
WO2010073573A1 (ja) * 2008-12-26 2010-07-01 パナソニック株式会社 回折レンズ、およびこれを用いた撮像装置
JP2011039968A (ja) * 2009-08-18 2011-02-24 Mitsubishi Electric Corp 車両可動領域検出装置
JP2014238527A (ja) * 2013-06-10 2014-12-18 株式会社コシナ 超広角レンズ用ｎｄフィルタ及びその製造方法
WO2016059930A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
US20180004232A1 (en) * 2015-07-08 2018-01-04 SZ DJI Technology Co., Ltd Camera configuration on movable objects
WO2017138049A1 (ja) * 2016-02-10 2017-08-17 パナソニックＩｐマネジメント株式会社 飛行体及びその制御システム
JP2017182692A (ja) * 2016-03-31 2017-10-05 セコム株式会社 自律移動ロボット
JP2017224123A (ja) * 2016-06-15 2017-12-21 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072327A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 車両位置推定装置
JP7338607B2 (ja) 2020-10-29 2023-09-05 トヨタ自動車株式会社 車両位置推定装置
US11899113B2 (en) 2020-10-29 2024-02-13 Toyota Jidosha Kabushiki Kaisha Vehicle position estimation apparatus
WO2022239600A1 (ja) * 2021-05-11 2022-11-17 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
SG11202009731TA (en) 2020-10-29
JPWO2019193642A1 (ja) 2021-04-30
JP2023115027A (ja) 2023-08-18
US20210147077A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2019193642A1 (ja) 無人航空機用の自己位置推定装置及び自己位置推定方法
CN109690433B (zh) 具有环境感知的无人驾驶空中车辆系统和方法
US10429508B2 (en) Distance measuring device, moving system, and distance measurement method
US11587261B2 (en) Image processing apparatus and ranging apparatus
KR101651600B1 (ko) 스테레오 카메라에 의한 자동 착륙 기능을 갖는 무인 비행용 드론
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
EP2620050A1 (en) System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
KR101914179B1 (ko) 무인비행체의 충전위치 탐지 장치
US10341573B1 (en) Aircraft control method and apparatus and aircraft
US20210011358A1 (en) Control method and device, gimbal, unmanned aerial vehicle, and computer-readable storage medium
US10669040B2 (en) Aircraft control method and apparatus and aircraft
US20210394923A1 (en) Aircraft control method and apparatus and aircraft
US11136138B2 (en) Aircraft control method and apparatus and aircraft
US20210195717A1 (en) Intelligent auxiliary lighting system, method, and movable platform
JP6759921B2 (ja) 測距装置、移動システム及び測距方法
JP6135871B2 (ja) 光源位置検出装置、光源追尾装置、制御方法およびプログラム
US20220151144A1 (en) Autonomous machine navigation in lowlight conditions
US20240206453A1 (en) System with master-slave architecture for agricultural applications and method for operating the system
US20230356863A1 (en) Fiducial marker detection systems and methods
EP3882161B1 (en) Helicopter search light and method of operating a helicopter search light
US11861896B1 (en) Autonomous aerial navigation in low-light and no-light conditions
EP4067814A1 (en) Radiometric thermal imaging improvements for navigation systems and methods
CN117935205A (zh) 伪障碍物检测方法、装置、自动驾驶设备及计算机存储介质
JP2017060137A (ja) 撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18913244

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020512128

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18913244

Country of ref document: EP

Kind code of ref document: A1