WO2022153392A1 - 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体 - Google Patents

無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体 Download PDF

Info

Publication number
WO2022153392A1
WO2022153392A1 PCT/JP2021/000815 JP2021000815W WO2022153392A1 WO 2022153392 A1 WO2022153392 A1 WO 2022153392A1 JP 2021000815 W JP2021000815 W JP 2021000815W WO 2022153392 A1 WO2022153392 A1 WO 2022153392A1
Authority
WO
WIPO (PCT)
Prior art keywords
self
unmanned aerial
section
position estimation
aerial vehicle
Prior art date
Application number
PCT/JP2021/000815
Other languages
English (en)
French (fr)
Inventor
ティトゥス ヴォイタラ
ビンセント テオドラス テジャウィリヤ
ニクラス ベリストロム
クリストファー トーマス ラービ
Original Assignee
株式会社Acsl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Acsl filed Critical 株式会社Acsl
Priority to PCT/JP2021/000815 priority Critical patent/WO2022153392A1/ja
Priority to JP2022574909A priority patent/JPWO2022153392A1/ja
Publication of WO2022153392A1 publication Critical patent/WO2022153392A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/12Canard-type aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Definitions

  • the present invention relates to self-position estimation systems and methods for unmanned aerial vehicles, unmanned aerial vehicles, programs, and storage media.
  • one of the objects of the present invention is to provide a system and a method capable of autonomously flying a predetermined position with respect to a structure when an unmanned aerial vehicle flies outside a structure such as a tunnel.
  • One aspect of the present invention is a self-positioning estimation system for an unmanned aircraft that flies along the outer wall surface of a structure extending laterally along a predetermined path, wherein the unmanned aircraft crosses the flight path of the unmanned aircraft.
  • an unmanned aircraft flies along the outer wall surface of a structure that extends laterally along a predetermined path, including a longitudinal section measuring device that measures the boundary shape within the longitudinal section of the
  • the vertical section measurement data acquisition unit that acquires the vertical section measurement data measured by the vertical section measurement device and the acquired vertical section measurement data are matched with the first predetermined shape corresponding to the outer wall surface of the structure. It provides a self-position estimation system including a vertical cross-sectional position estimation unit that estimates a vertical cross-sectional position of an unmanned aircraft in a vertical cross-section based on a self-position with respect to a matched predetermined shape.
  • At least a part of the first predetermined shape corresponds to the geometric shape
  • the position estimation unit in the vertical cross section matches the geometric shape with respect to the vertical cross section measurement data. , Estimate the position in the vertical section based on the self-position with respect to the matched geometry.
  • the first predetermined shape is all or a part of a circular or elliptical shape
  • the position estimation unit in the vertical section is the first predetermined position in the vertical section of the unmanned aircraft in the vertical section. Estimate the distance with respect to the center point of the shape and the angle with respect to the reference axis.
  • the vertical section measurement data is discrete data
  • the vertical section internal position estimation unit removes outliers in the discrete data and performs matching.
  • a flight control unit that controls the flight of the unmanned aerial vehicle so as to fly along the flight plan path based on the position in the vertical cross section of the unmanned aerial vehicle estimated by the position estimation unit in the vertical section. Including further.
  • the flight planning path is set as a plurality of waypoints, which are relative to a reference axis passing through a reference point of the structure corresponding to the center point of the first predetermined shape in the longitudinal section. It is set including the angle and the distance from the outer wall surface of the structure at the angle.
  • the unmanned aircraft measures the image pickup apparatus, the attitude adjuster for adjusting the attitude of the image pickup apparatus, and the boundary shape in the longitudinal cross section in the direction crossing the flight path of the unmanned aircraft, and the longitudinal cross section measurement data.
  • the imaging direction of the imaging device is outside the structure according to the positional relationship between the self-position estimated by the position estimation unit in the vertical section and the structure. It further includes an attitude control unit that controls the attitude adjusting device so as to face the wall surface.
  • the first predetermined shape is all or part of a circular or elliptical shape
  • the posture control unit faces the center or focal point of the circular or elliptical shape in which the imaging direction of the imaging device is matched. , Control the posture adjuster.
  • One aspect of the present invention is to provide an unmanned aerial vehicle having the above self-position estimation system.
  • One aspect of the present invention is a method of estimating the self-position of an unmanned aircraft executed by a computer, in which the unmanned aircraft measures the boundary shape in a longitudinal section in a direction crossing the flight path of the unmanned aircraft, and the longitudinal section measurement data.
  • the acquired vertical section acquisition step and the acquired vertical section measurement data are matched with the first predetermined shape corresponding to the outer wall surface of the structure, and the unmanned aircraft in the vertical section is based on the self-position with respect to the matched predetermined shape. It provides a self-position estimation method including a vertical cross-sectional position estimation step for estimating a vertical cross-sectional position.
  • One aspect of the present invention provides a program for causing a computer to execute the above self-position estimation method.
  • One aspect of the present invention provides a computer-readable recording medium on which the above program is recorded.
  • an unmanned aerial vehicle flies outside a structure such as a tunnel
  • a system and a method for enabling autonomous flight to a predetermined position with respect to the structure are provided.
  • FIG. 1 It is an external view of the multicopter which is an example of the unmanned aerial vehicle (multicopter) which concerns on one Embodiment of this invention. It is a figure which shows the flight control system of the unmanned aerial vehicle shown in FIG. It is a block diagram which shows the structure of the information processing unit of the unmanned aerial vehicle shown in FIG. It is a figure which shows the hardware configuration of the information processing unit of the unmanned aerial vehicle shown in FIG. It is a vertical sectional view of the tunnel which shows the tunnel and the flight plan path in one Embodiment of this invention. It is a top view which shows the tunnel and the flight plan path in one Embodiment of this invention.
  • the unmanned aerial vehicle of the present invention is not limited to the multicopter shown in FIG. 1, and may be any unmanned aerial vehicle such as a rotary wing aircraft and a fixed wing aircraft.
  • the system configuration of the unmanned aerial vehicle 1 is not limited to that shown in the figure, and any configuration can be adopted as long as the same operation is possible.
  • the function of the communication circuit may be integrated into the flight control unit, or the operation executed by a plurality of components may be executed by a single component, or the function of the main calculation unit may be distributed to a plurality of calculation units.
  • the operation performed by a single component may be performed by a plurality of components.
  • various data stored in the memory of the unmanned aircraft 1 may be stored in a different location, and the information recorded in the various memories also distributes one type of information to a plurality of types. It may be stored together, or a plurality of types of information may be collectively stored in one type.
  • the shape of the outer wall surface of the tunnel is known from a design drawing or the like.
  • the shape of the outer wall surface of the tunnel in the vertical cross section is semicircular, and the semicircular portion in the center is a semicircular part. It has the same cross section and is shaped to extend in the horizontal direction (horizontal direction).
  • the outer wall surface is provided with protrusions at intervals in the circumferential direction and the depth direction.
  • FIG. 1 is an external view of a multicopter which is an example of an unmanned aerial vehicle (multicopter) 1 according to an embodiment of the present invention.
  • the unmanned aerial vehicle 1 has a control unit 101, six motors 102 driven by control signals from the control unit 101, and six rotors (rotors) that rotate by driving each motor 102 to generate lift. It includes a wing) 103, six arms 104 connecting the control unit 101 and each motor 102, and a landing gear 105 that supports the unmanned aerial vehicle at the time of landing.
  • the number of the motor 102, the rotor 103, and the arm 104 can be 3 or more, such as 3, 4, and so on, respectively.
  • the six motors 102 are rotated by the control signal from the control unit 101, and by controlling the rotation speed of each of the six rotors 103, the unmanned aerial vehicle 1 can perform ascending, descending, flying back and forth and left and right, turning, and the like. Flight is controlled.
  • a pedestal 106 is attached above the control unit 101.
  • a camera 108 for photographing an object with high resolution is attached to the pedestal 106 via a posture adjusting device 107 that supports the camera 108 so as to be rotatable in the horizontal direction and rotatable in the vertical direction.
  • a gantry 110 is attached below the control unit 101.
  • a vertical cross-section measuring device (vertical cross-section LIDAR) 109 for measuring the shape of the peripheral space with respect to the vertical cross-section perpendicular to the central axis is provided in front of the gantry 110.
  • the unmanned aerial vehicle 1 also has a flight position sensor 111 and an antenna 117.
  • FIG. 2 is a diagram showing a flight control system for the unmanned aerial vehicle shown in FIG.
  • the flight control system 150 of the unmanned aircraft 1 includes a control unit 101, a motor 102 electrically connected to the control unit 101, a rotor 103 mechanically connected to the motor 102, a vertical cross section measuring device 109, and a flight position sensor 111. It has a compass 112, an IMU 113, and an altimeter 114.
  • the control unit 101 has a configuration for performing information processing for controlling the flight of the unmanned aircraft 1 and controlling electrical signals for that purpose, and typically arranges and wires various electronic components on a substrate. It is a unit that constitutes the circuit necessary to realize such a function.
  • the control unit 101 is further composed of an information processing unit 120, a communication circuit 121, a control signal generation unit 122, a speed controller 123, and an interface 125.
  • the camera 108 is a camera for capturing an object (in this embodiment, the outer wall surface of the tunnel) with high resolution.
  • the camera 108 is attached to the pedestal 106 via an attitude adjusting device 107 that supports the camera 108 so as to be rotatable in the horizontal direction and rotatable in the vertical direction.
  • the camera 108 acquires image data of the shooting range during the flight of the unmanned aerial vehicle 1, and the acquired image is stored in a storage device such as a memory described later.
  • the image is typically a moving image consisting of a series of still images.
  • the posture adjusting device 107 is configured to change the posture of the pedestal 106 to which the camera 108 is attached in response to a control signal from the control unit 101, thereby changing the imaging direction of the camera 108.
  • the vertical section measuring device 109 has a vertical cross section LIDAR, and is a horizontal axis extending in the front-rear direction in a cross section perpendicular to the front-rear direction of the unmanned aircraft 1 in a state where the unmanned aircraft 1 is landing or hovering.
  • the vertical section measuring device 109 By driving the vertical section measuring device 109 while the unmanned aerial vehicle 1 is flying in the tunnel, the vertical section measuring device 109 generates vertical cross section measurement data regarding the vertical cross section shape (vertical cross section shape) of the inner wall surface of the tunnel. ..
  • the vertical section measurement data for example, discrete data of polar coordinates can be obtained.
  • the vertical cross section LIDAR is used as the vertical cross section measuring device 109, but the present invention is not limited to this.
  • SfM is known as an algorithm for creating such a 3D model
  • Dense Visual SLAM is known as an algorithm for estimating a self-position using SfM.
  • the flight position sensor 111 is a sensor for navigation that senses the coordinates of the flight position of the unmanned aerial vehicle 1 such as a GPS (Global Positioning System) sensor.
  • the flight position sensor 111 preferably senses three-dimensional coordinates.
  • the coordinates acquired by the flight position sensor 111 consist of latitude, longitude and altitude.
  • the compass 112 is a so-called compass and detects the angle in front of the unmanned aerial vehicle 1 with respect to the north.
  • the IMU 113 is an inertial measurement unit (Inertial Measurement Unit) that detects translational motion with an acceleration sensor and rotational motion with an angular velocity sensor (gyro). Further, the IMU 113 can calculate the velocity by integrating the translational motion (acceleration) detected by the acceleration sensor, and can further calculate the moving distance (position) by integrating the velocity. Similarly, the angle (posture) can be calculated by integrating the rotational motion (angular velocity) detected by the angular velocity sensor.
  • Inertial Measurement Unit Inertial Measurement Unit
  • the IMU 113 can calculate the velocity by integrating the translational motion (acceleration) detected by the acceleration sensor, and can further calculate the moving distance (position) by integrating the velocity.
  • the angle (posture) can be calculated by integrating the rotational motion (angular velocity) detected by the angular velocity sensor.
  • the altimeter 114 includes, for example, a barometer and estimates the altitude of an unmanned aerial vehicle based on atmospheric pressure.
  • the antenna 117 is an antenna for receiving a radio signal including information and various data for maneuvering and controlling the unmanned aerial vehicle 1, and transmitting a radio signal including a telemetry signal from the unmanned aerial vehicle 1.
  • the communication circuit 121 demodulates maneuvering signals, control signals, various data, and the like for the unmanned aircraft 1 from the radio signals received through the antenna 117 and inputs them to the information processing unit 120, or telemetry output from the unmanned aircraft 1. It is an electronic circuit for generating a radio signal that carries a signal or the like, and is typically a radio signal processing IC. Note that, for example, the communication of the steering signal and the communication of the control signal and various data may be executed by different communication circuits in different frequency bands. For example, communicate with the transmitter of the controller (propo) for manual control at a frequency of 950 MHz band, and communicate data communication at a frequency of 2 GHz band / 1.7 GHz band / 1.5 GHz band / 800 MHz band. It is also possible to adopt a different configuration.
  • the control signal generation unit 122 has a configuration in which the control command value data obtained by calculation by the information processing unit 120 is converted into a pulse signal (PWM signal or the like) representing a voltage, and is typically an oscillation circuit and a switching circuit. Is an IC including.
  • the speed controller 123 has a configuration of converting a pulse signal from the control signal generation unit 122 into a drive voltage for driving the motor 102, and is typically a smoothing circuit and an analog amplifier.
  • the unmanned aerial vehicle 1 includes a battery device such as a lithium polymer battery or a lithium ion battery, and a power supply system including a distribution system for each element.
  • the interface 125 enables signals to be transmitted and received between the information processing unit 120 and functional elements such as a camera 108, an attitude adjusting device 107, a vertical cross section measuring device 109, a flight position sensor 111, a compass 112, an IMU 113, and an altimeter 114. It is a configuration that electrically connects them by converting the form of signals.
  • the interface is described as one configuration in the drawings, but it is usual to use another interface depending on the type of the functional element to be connected. Further, the interface 125 may not be required depending on the type of signal input / output by the functional element to be connected. Further, in FIG. 2, even in the information processing unit 120 to which the interface 125 is connected without mediation, the interface may be required depending on the type of signals input / output by the functional element to be connected.
  • FIG. 3 is a block diagram showing the configuration of the information processing unit of the unmanned aerial vehicle shown in FIG.
  • the information processing unit 120 includes a cross-sectional shape data storage unit 131, an optical vertical cross-sectional position estimation unit 132, a self-position data generation unit 133, a flight path data storage unit 134, and a flight control unit. It includes 135, a camera attitude calculation unit 136, an attitude control unit 137, a vertical section measurement data acquisition unit 138, and a sensor measurement data acquisition unit 139.
  • the attitude control unit 137, the vertical section measurement data acquisition unit 138, and the sensor measurement data acquisition unit 139 constitute a self-position estimation system 140 that generates self-position data regarding the self-position of an unmanned aircraft.
  • FIG. 4 is a diagram showing the hardware configuration of the information processing unit of the unmanned aerial vehicle shown in FIG.
  • the information processing unit 120 includes a CPU 120a, a RAM 120b, a ROM 120c, an external memory 120d, an input unit 120e, an output unit 120f, and a communication unit 120g.
  • the RAM 120b, ROM 120c, external memory 120d, input unit 120e, output unit 120f, and communication unit 120g are connected to the CPU 120a via the bus 120h.
  • the CPU 120a comprehensively controls each device connected to the system bus 120h.
  • the ROM 120c and the external memory store the BIOS and OS, which are control programs of the CPU 120a, and various programs and data necessary for realizing the functions executed by the computer.
  • the RAM 120b functions as a main memory of the CPU 120a, a work area, and the like.
  • the CPU 120a realizes various operations by loading a program or the like necessary for executing a process from the ROM 120c or the external memory 120d into the RAM 120b and executing the loaded program.
  • the external memory 120d is composed of, for example, a flash memory, a hard disk, a DVD-RAM, a USB memory, or the like.
  • the input unit 120e receives an operation instruction or the like from a user or the like.
  • the input unit 120e is composed of, for example, an input device such as an input button, a keyboard, a pointing device, a wireless remote controller, a microphone, and a camera.
  • the output unit 120f outputs the data processed by the CPU 120a and the data stored in the RAM 120b, the ROM 120c, and the external memory 120d.
  • the output unit 120f is composed of, for example, a CRT display, an LCD, an organic EL panel, a printer, and an output device such as a speaker.
  • the communication unit 120g is an interface for connecting / communicating with an external device via a network or directly.
  • the communication unit 120g is composed of interfaces such as a serial interface and a LAN interface, for example.
  • each unit 121, 122, 125, 131 to 139 of the self-position estimation system 140 shown in FIGS. This is realized by using 120e, an output unit 120f, a communication unit 120g, and the like as resources.
  • the cross-sectional shape data storage unit 131 stores the cross-sectional shape data related to the cross-sectional shape of the inner wall surface of the tunnel. Further, the flight route data storage unit 134 stores flight plan route data.
  • the cross-sectional shape data storage unit 131 and the flight path data storage unit 134 are realized by reading the data recorded in a recording medium such as the ROM 120c or the external memory 120d and storing the data in the memory.
  • the cross-sectional shape data storage unit 131 and the flight path data storage unit 134 can be omitted by incorporating the cross-sectional shape data and the flight plan route data into the program.
  • the information processing unit 120 is made to function as a self-position estimation system, but it may be configured to be provided in an unmanned aerial vehicle by mounting these systems separately from the information processing unit 120.
  • the self-position estimation system or its components need not be configured as one physical device, but may be composed of a plurality of physical devices.
  • the self-position estimation system may be configured as an arbitrary appropriate device such as a computer, a PC, a smartphone, or a tablet terminal of a ground station separate from the unmanned aerial vehicle, a cloud computing system, or a combination thereof. good.
  • the functions of each part of the self-position estimation system are distributed in one or more of one or more devices provided in the unmanned aerial vehicle and one or more devices separate from the unmanned aerial vehicle. It may be a configuration to be executed.
  • FIGS. 5A and 5B show a tunnel and a flight plan route according to an embodiment of the present invention
  • FIG. 5A is a vertical sectional view of the tunnel
  • FIG. 5B is a top view.
  • the vertical cross section of the outer wall surface of the tunnel is substantially semicircular, and the outer wall surface is formed with a protrusion protruding outward.
  • the tunnel has the same cross-sectional shape and extends linearly.
  • R radius
  • the cross-sectional shape data includes data indicating a circle (semi-circle) as a geometric shape corresponding to the outer wall surface of the tunnel, but the cross-sectional shape data is not limited to this, depending on the cross-sectional shape of the tunnel. It may be a shape composed of a convex curve such as an elliptical shape. Further, the data representing the semicircle includes the radius R and the center coordinates, but may be only the information that it is circular.
  • the geometric shape referred to here is, for example, a shape that can be specified by mathematical formulas related to the X coordinate and the Z coordinate.
  • the flight plan route data is data representing the flight plan route of the unmanned aerial vehicle 1, and is typically data of a set of a series of a plurality of waypoints P 1 to P 4n existing on the flight plan route.
  • the waypoints P1 to P4n are the Y coordinate in the depth direction of the tunnel, the counterclockwise angle ⁇ with respect to the upper part of the center O of the outer wall surface of the tunnel in the vertical cross section, and the vertical cross section. It is set as a set (Y, ⁇ , d) with the distance d from the outer wall surface of the tunnel.
  • a flight planning path is typically a set of straight lines connecting a plurality of waypoints in order, but can also be a curve of a predetermined curvature within a predetermined range of the waypoints.
  • the flight plan route data may include data that determine the flight speed at a plurality of waypoints.
  • Flight planning route data is typically used to determine flight planning routes in autonomous flight, but can also be used as a guide during flight in non-autonomous flight. Flight plan route data is typically input and stored in the unmanned aerial vehicle 1 prior to flight.
  • the Y coordinate in this embodiment is not necessarily limited to the coordinate on a straight line. That is, when the tunnel is curved, the Y coordinate may be a distance along a path along the path of the tunnel from the start point toward the depth direction of the tunnel.
  • the flight plan route is set as follows. -A predetermined distance movement (waypoints P1 to Pn ) toward the back in the extending direction (Y direction) of the tunnel at a predetermined position ( ⁇ and d are constant) in the vertical cross section (XZ cross section). -In the vertical section (XZ section), a predetermined angle movement (Z and d are constant, waypoints P n to P n + 1 ), counterclockwise in FIG. 5A, on the concentric circles of the tunnel.
  • -A predetermined angular movement Z and d are constant, waypoints P 3n to P 3n + 1 ) in the vertical section (XZ section) on the concentric circles of the tunnel in the counterclockwise direction in FIG. 5A.
  • Each waypoint P1 to P4n is set at a position where the camera 108 photographs the outer wall surface of the tunnel. Further, the headings at the respective waypoints P1 to P4n may be set in combination with each waypoint P1 to P4n .
  • the vertical section measurement data acquisition unit 138 can control the vertical section measurement device 109, and acquires the vertical section measurement data acquired by the vertical section measurement device 109.
  • the sensor measurement data acquisition unit 139 can communicate with the flight position sensor 111, the compass 112, the IMU 113, and the altimeter 114, and acquires the measured value from each sensor.
  • the position estimation unit 132 in the vertical section is based on the vertical section measurement data acquired from the vertical section measuring device 109 and the cross-sectional shape data recorded in the cross-sectional shape data storage unit 131, and the vertical section of the unmanned aircraft in the vertical section. Estimate the internal position ( ⁇ , d).
  • the position estimation unit 132 in the vertical cross section matches the first predetermined shape corresponding to the outer wall surface of the tunnel, and in the present embodiment, the circle.
  • matching circles includes not only matching a part of a circle, but also matching a part of a circle such as a semicircle or an arc.
  • the circles are matched with respect to the points Q1 to Qn.
  • a circle matching algorithm the least squares method, RANSAC, or the like can be applied, but RANSAC that performs matching by excluding outliers is suitable.
  • RANSAC that performs matching by excluding outliers is suitable.
  • Step 1 Three points are randomly selected from the discrete points Q1 to Q12.
  • Step 2. A provisional circle model that passes through the three points determined in step 1 is derived.
  • Step 3. Find the error between the obtained provisional circular model and the discrete points Q1 to Q12. If the error is smaller than the predetermined value, it is added to the "correct model candidate".
  • Step 4. Repeat steps 1 to 3.
  • Step 5. Among the correct model candidates, the one that best matches the data is adopted as the result of circle matching.
  • the radius of the provisional circle model obtained in step 3 is farther than a predetermined value from the radius R of the tunnel outer wall surface of the cross-sectional shape data (that is, the radius of the provisional circle model and the cross-sectional shape). If the difference between the data and the radius R of the outer wall surface of the tunnel is greater than or equal to the threshold value), it may be excluded from the “correct model candidates”.
  • Q2 and Q7 are measurement points on the protrusion 204 of the outer wall surface 202 of the tunnel 200, and among the discrete points corresponding to the outer wall surface 202 of the tunnel 200, other discrete points. It's far from the trend.
  • the circle model becomes C1 shown by the broken line.
  • Q1, Q5, and Q10 are selected in step 1
  • the circle model becomes C2 indicated by a dashed line.
  • step 5 values that deviate from the tendency of other data such as Q2 and Q7 used when setting the circle model C1 are not used as data for determining the circle, and are like the circle model C2. Circles with the effects of outliers removed are matched.
  • RANSAC is used as an algorithm for matching by excluding outliers, but Markov Localization, Monte-Carlo Localization, Particle Filter, Hough Transform, etc. can also be used.
  • the vertical cross-sectional position estimation unit 132 estimates the vertical cross-sectional position (angle ⁇ and distance d) of the unmanned aerial vehicle with reference to the circle corresponding to the tunnel outer wall surface matched in this way.
  • the angle ⁇ is an angle with respect to the vertical direction with respect to the center O of the circle C2.
  • d is the distance between the position A of the drone and the point B closest to the point A in the circle C2, and the straight line connecting the point A and the point B passes through the center of the circle C2.
  • the self-position data generation unit 133 generates self-position data including a three-dimensional position and a posture (heading ⁇ ) with respect to a reference position. Specifically, the self-position data generation unit 133 acquires the angle ⁇ and the distance d estimated by the position estimation unit 132 in the vertical cross section. Further, the self-position data generation unit 133 estimates the Y coordinate position Y in the extending direction of the tunnel 200 based on the coordinates of the flight position of the unmanned aerial vehicle 1 measured by the flight position sensor 111. In the present embodiment, the self-position data generation unit 133 estimates the Y coordinate position Y based on the flight position sensor 111, but the Y coordinate position is the tunnel 200 when the tunnel 200 is curved. It may be the distance in the extending direction of the tunnel at the center in the width direction of.
  • the self-position data generation unit 133 generates data regarding the heading ⁇ based on the angle measured by the compass 112. Then, based on these data, the Y coordinate in the depth direction of the tunnel, the counterclockwise angle ⁇ with respect to the reference axis extending upward through the center point O of the tunnel outer wall surface in the vertical cross section, and the tunnel outer wall surface in the vertical cross section.
  • the self-position data including the three-dimensional position (Y, ⁇ , d) information which is a set with the distance d and the information regarding the heading ⁇ is generated.
  • the reference axis may pass through the center point O, and may be set so as to extend in the horizontal direction, for example.
  • the self-position data generation unit 133 can estimate the reference X coordinate position X r , the reference Y coordinate position Y r , and the reference heading ⁇ r based on the measurement data of the IMU 113. .. Further, the self-position data generation unit 133 can estimate the reference Z coordinate position Z r based on the measurement data of the altimeter 114.
  • the reference coordinates X r , Y r , and Z r measured by the IMU 113 and the altimeter 114 are converted into reference three-dimensional positions (Y r , ⁇ r , dr ) by the self-position data generator 133 for reference. It is used to detect the accuracy of self-position estimation, which will be described later, together with the heading ⁇ r .
  • the flight control unit 135 controls the flight of the unmanned aerial vehicle so as to follow the flight plan route of the flight plan route data stored in the flight route data storage unit 134 based on the self-position data generated by the self-position data generation unit 133. do.
  • the attitude, speed, etc. of the unmanned aircraft 1 are determined by various sensors, and the current flight position, heading, etc. of the unmanned aircraft 1 are determined based on the self-position data generated by the self-position data generation unit 133.
  • the control command value for each rotor 103 is calculated by comparing with the target values such as the flight control signal, flight plan route (target), speed limit, altitude limit, etc., and the data indicating the control command value is output to the control signal generation unit 122. do.
  • the control signal generation unit 122 converts the control command value into a pulse signal representing a voltage and transmits it to each speed controller 123.
  • Each speed controller 123 converts the pulse signal into a drive voltage and applies it to each motor 102, thereby controlling the drive of each motor 102 and controlling the rotation speed of each rotor 103, whereby the unmanned aerial vehicle 1 Flight is controlled.
  • the camera attitude calculation unit 136 takes a picture of the camera 108 so that the camera 108 can take a picture of a predetermined area of the outer wall surface 202 of the tunnel 200 based on the self-position data of the unmanned aerial vehicle 1 estimated by the self-position data generation unit 133. Estimate the direction.
  • the shooting direction of the camera 108 here means the direction of the center of the angle of view by the camera 108.
  • the camera attitude calculation unit 136 makes the shooting direction of the camera 108 perpendicular to the outer wall surface 202 of the tunnel 200.
  • the shooting angle is calculated so that the shooting direction of the camera 108 is along the measurement surface of the vertical cross-section measuring device 109 and faces the center point of the outer wall surface 202 of the tunnel 200.
  • the camera attitude calculation unit 136 calculates an angle such that the shooting direction faces the center of the circle, but the present invention is not limited to this.
  • the photographing angle may be calculated so as to face the center (the intersection of the major axis and the minor axis) or the focal point.
  • the attitude control unit 137 calculates the rotation angle of the attitude adjustment device 107 based on the shooting angle of the camera 108 calculated by the camera attitude calculation unit 136, and transmits a control signal corresponding to the calculated rotation angle to the attitude adjustment device 107. do.
  • FIG. 7 is a flowchart showing a flow of autonomously flying in the tunnel by the unmanned aerial vehicle shown in FIG. 1 and photographing the inner wall surface of the tunnel.
  • the information processing unit 120 refers to the flight plan route data stored in the flight path data storage unit 134, and the flight control unit 135 sets the first waypoint as a target (as shown in FIG. 7). S100).
  • FIG. 8 is a flowchart showing in detail the flow of autonomous flight by the unmanned aerial vehicle shown in FIG.
  • the sensor measurement data acquisition unit 139 acquires the coordinates of the flight position of the unmanned aerial vehicle 1 from the flight position sensor 111, and estimates the Y coordinate position Y based on the distance from the initial position (S111). ).
  • the self-position data generation unit 133 acquires data on the heading ⁇ of the unmanned aerial vehicle 1 from the compass 112 (S112). At this time, if the acquired heading ⁇ deviates from the set direction such as not along the extending direction of the tunnel, the heading may be adjusted so that the unmanned aerial vehicle 1 faces the set direction.
  • the vertical section measurement data acquisition unit 138 drives the vertical section measurement device 109 to generate vertical section measurement data regarding the vertical section shape of the outer wall surface of the tunnel, and acquires the generated vertical section measurement data (the generated vertical section measurement data). S113).
  • the position estimation unit 132 in the vertical section refers to the cross-sectional shape data recorded in the cross-sectional shape data storage unit 131, matches a circle with the vertical cross-section measurement data, and traverses the unmanned aircraft based on the matched circle.
  • the in-plane position (angle ⁇ and distance d) is estimated (S114).
  • the self-position data generation unit 133 bases the position Y of the Y coordinate estimated in S111, the position in the vertical cross section (angle ⁇ and the distance d) estimated in S112, and the heading ⁇ acquired in S114.
  • the self-position data including the three-dimensional position (Y, ⁇ , d) and the information about the heading ⁇ is generated (S115).
  • the sensor measurement data acquisition unit 139 acquires the measurement data of the IMU 113, and the self-position data generation unit 133 obtains the reference X coordinate position X r , the reference Y coordinate position Y r , and the reference Y coordinate position Y r based on the acquired measurement data.
  • the reference heading ⁇ r is estimated (S116).
  • the sensor measurement data acquisition unit 139 acquires measurement data related to altitude from the altitude meter 114, and the self-position data generation unit 133 estimates the reference Z coordinate position Z r based on the measurement data (S117).
  • the self-position data generation unit 133 uses the reference X coordinate position X r acquired in S116, the reference Y coordinate position Y r , and the reference Z coordinate position Z r acquired in S117 in three dimensions for reference. Convert to the position (Y r , ⁇ r , d r ) (S118).
  • the self-position data generation unit 133 examines the stability of the self-position data. Specifically, the three-dimensional position (Y, ⁇ , d) and heading ⁇ included in the self-position data generated in S115, and the reference heading ⁇ r estimated in S116 and the reference estimated in S118. Compare with the three-dimensional position (Y r , ⁇ r , dr ) (S119). In the present embodiment, the respective values of the heading ⁇ and the three-dimensional position (Y, ⁇ , d) are combined with the respective values of the reference heading ⁇ r and the reference three-dimensional position (Y r , ⁇ r , d r ). Compare individually.
  • the self-position data generation unit 133 determines that the self-position data is unstable. Then, when it is determined in S119 that the self-position data is unstable (NO in S119), the flight control unit 135 is hovering or, for example, the center of the tunnel based on the GPS position information acquired from the flight position sensor 111. It flies in a direction away from the above, and repeats S111 to S119 again.
  • the self-position data generated by the flight control unit 135 by the self-position data generation unit 133 by the self-position data generation unit 133 is determined whether or not the unmanned aerial vehicle 1 has reached the target (S120).
  • the flight control unit 135 and the unmanned aerial vehicle 1 determine that the target has not been reached (NO in S120)
  • the flight control unit 135 heads toward the target based on the self-position data generated by the self-position data generation unit 133.
  • the control command value for each rotor 103 is calculated so as to fly, and the data indicating the control command value is output to the control signal generation unit 122 (S121).
  • the control signal generation unit 122 converts the control command value into a pulse signal representing a voltage and transmits it to each speed controller 123.
  • Each speed controller 123 converts the pulse signal into a drive voltage and applies it to each motor 102, thereby controlling the drive of each motor 102 and controlling the rotation speed of each rotor 103, whereby the unmanned aerial vehicle 1 Flight is controlled.
  • the way point is a set of the Y coordinate, the counterclockwise angle ⁇ with respect to the upper part of the center O of the tunnel outer wall surface in the vertical section, and the distance d from the tunnel outer wall surface in the vertical section. Since it is set by (Y, ⁇ , d), even if the tunnel has a shape that curves in the lateral direction or the tunnel has a shape that expands in the Y coordinate direction, it is relative to the tunnel wall surface. It is possible to fly in a predetermined position (for example, at a fixed distance).
  • the unmanned aerial vehicle 1 autonomously flies toward the target.
  • the case where the estimation of the Y coordinate position in S111, the estimation of the positions in the vertical cross section of S112 and 113, and the acquisition of the information regarding the heading ⁇ from the compass of S114 are performed in order has been described.
  • the order of the steps may be changed or may be performed at the same time.
  • the camera attitude calculation unit 136 calculates the shooting direction by the camera 108 is perpendicular to the outer wall surface 202 of the tunnel 200.
  • the camera attitude calculation unit 136 is a tunnel 200 for the unmanned aircraft 1 along the measurement surface of the vertical section measuring device 109 and in the vertical section based on the self-position data generated by the self-position data generation unit 133. Calculate the shooting angle to the center of.
  • the information processing unit 120 drives the camera 108 to photograph the inner wall surface of the tunnel (S150).
  • the image data of the captured image is stored in the memory of the information processing unit 120 or recorded in an appropriate terminal via the antenna 117.
  • the unmanned aerial vehicle 1 determines that all the necessary steps have been completed, and the flight control unit 135 determines, for example, the initial stage. Finish the work by flying to return to the position.
  • the vertical section internal position estimation unit 132 matches the circle with the vertical section measurement data, and estimates the position within the vertical section of the unmanned aerial vehicle based on its own position with respect to the matched circle. As a result, the exact position of the unmanned aerial vehicle with respect to the outer wall surface 202 of the tunnel 200 is estimated, and based on this, the flight control unit 135 is unmanned to fly at a predetermined position with respect to the tunnel without being affected by the protrusions. Aircraft 1 can be controlled.
  • the position estimation unit 132 in the vertical cross section performs matching by a circle having a geometric shape. As a result, the amount of calculation in matching can be reduced, and matching can be easily performed with a limited memory.
  • the position estimation unit 132 in the vertical cross section performs matching by a circle and estimates the distance and the angle with respect to the center of the circle.
  • the unmanned aerial vehicle 1 can be easily set at a predetermined distance with respect to the outer wall surface 202 of the tunnel 200 by estimating the distance and the angle with respect to the center of the circle. Can be flown.
  • the waypoint indicating the flight plan route is set including the angle with respect to the center point in the vertical cross section of the tunnel and the distance from the outer wall surface.
  • the polar coordinates estimated by the vertical cross-sectional position estimation unit 132 can be used as they are for flight control, and the unmanned aerial vehicle 1 can be reliably flown to a desired distance from the outer wall surface.
  • an unmanned aerial vehicle can fly a predetermined distance from the outer wall surface of the tunnel without information on the radius of the outer wall surface of the tunnel.
  • the vertical section data is discrete data
  • the vertical section internal position estimation unit 132 removes outliers in the discrete data by the RANSAC algorithm and performs matching.
  • the attitude control unit 137 controls the attitude adjustment device 107 so that the imaging direction of the camera 108 faces the center of the tunnel based on the self-position data generated by the self-position data generation unit 133. There is. As a result, the camera 108 can reliably take an image in the direction toward the center of the tunnel.
  • the cross-sectional shape of the tunnel is semi-circular
  • the present invention is not limited to this, and is a circle or an ellipse, or a part of a circle or an ellipse (arc shape). Further, it may have a geometric shape such as a rectangular shape.
  • the present invention is not limited to this, and the tunnel may extend in a curved shape. Further, in the present embodiment, the case where the tunnel extends in the same cross-sectional shape has been described, but the present invention can be applied even when the diameter is expanded or reduced.
  • Unmanned aerial vehicle 101 Control unit 102 Motor 103 Rotor 104 Arm 105 Landing leg 106 Pedestal 107 Attitude adjustment device 108 Camera 109 Longitudinal section measuring device 110 Stand 111 Flight position sensor 112 Compass 114 Altimeter 117 Antenna 120 Information processing unit 120a CPU 120b RAM 120c ROM 120d External memory 120e Input unit 120f Output unit 120g Communication unit 120h System bus 121 Communication circuit 122 Control signal generation unit 123 Speed controller 125 Interface 131 Cross-sectional shape data storage unit 132 Vertical cross-sectional position estimation unit 133 Self-position data generation unit 134 Flight path Data storage unit 135 Flight control unit 136 Camera attitude calculation unit 137 Attitude control unit 140 Self-position estimation system 200 Tunnel 202 Outer wall surface 204 Projection

Abstract

無人航空機がトンネルなどの構造物の外壁に沿うように自律飛行を行うためのシステムを提供する。 自己位置推定システムは、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行するときに、縦断面測定装置により測定された縦断面測定データを取得する縦断面測定データ取得部138と、取得した縦断面測定データに、トンネルの外壁面に対応する円をマッチングし、マッチングした円に対する自己位置に基づき、縦断面内における無人航空機の縦断面内位置を推定する縦断面内位置推定部132と、を含む。

Description

無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体
 本発明は、無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体に関する。
 近時ドローンによるトンネルなどの横方向に延びる構造物の外壁などの点検が試みられている。ドローンは、GPSの衛星測位情報を利用して水平方向の自己位置を推定するとともに、高度計などにより高さ方向の自己位置を推定し、飛行計画経路に沿って自律飛行することができる(下記非特許文献1)。そして、無人航空機に搭載されたカメラなどの撮像装置によりトンネル外壁面を撮像し、撮像された画像に基づき点検を行う。
野波健蔵、「ドローン産業応用のすべて」、オーム社、平成30年2月、p.73
 このような無人航空機に搭載された撮像装置による点検では、トンネルなどの構造物の外壁面に対して所定の位置から撮像する必要がある。しかしながら、例えば、トンネル外壁面から一定の距離を飛行するような飛行計画経路を設定し、GPS測定データに基づき設定された飛行計画経路の通り飛行したとしても、設定した位置と、実際の無人航空機の構造物に対する位置との間に誤差があることがある。
 そこで、本発明は、無人航空機がトンネルなどの構造物の外部を飛行する際に、構造物に対して所定の位置を自律飛行できるようなシステム及び方法を提供することを目的の1つとする。
 本発明の一態様は、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行する無人航空機の自己位置推定システムであって、無人航空機は、無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、無人航空機が、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行するときに、縦断面測定装置により測定された縦断面測定データを取得する縦断面測定データ取得部と、取得した縦断面測定データに、構造物の外壁面に対応する第1の所定形状をマッチングし、マッチングした所定形状に対する自己位置に基づき、縦断面内における無人航空機の縦断面内位置を推定する縦断面内位置推定部と、を含む、自己位置推定システムを提供するものである。
 本発明の一態様において、第1の所定形状は、少なくとも一部が幾何学的形状と対応しており、縦断面内位置推定部は、縦断面測定データに対して幾何学的形状をマッチングし、マッチングした幾何学的形状に対する自己位置に基づき、縦断面内位置を推定する。
 本発明の一態様において、第1の所定形状は円形又は楕円形の全部又は一部であり、縦断面内位置推定部は、縦断面内における無人航空機の縦断面内位置として、第1の所定形状の中心点を基準とした距離と、基準軸に対する角度を推定する。
 本発明の一態様において、縦断面測定データは、離散データであり、縦断面内位置推定部は、離散データにおける外れ値を除去し、マッチングを行う。
 本発明の一態様において、縦断面内位置推定部により推定された無人航空機の縦断面内位置に基づき、飛行計画経路に沿うように飛行するように無人航空機の飛行を制御する飛行制御部を、さらに含む。
 本発明の一態様において、飛行計画経路は複数のウェイポイントとして設定されており、ウェイポイントは、縦断面内における第1の所定形状の中心点に対応する構造物の基準点を通る基準軸に対する角度、及び、角度における構造物の外壁面からの距離を含んで設定されている。
 本発明の一態様において、無人航空機は、撮像装置と、撮像装置の姿勢を調整する姿勢調整装置と、無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置と、を含み、飛行制御システムは、縦断面内位置推定部により推定された自己位置と構造物との位置関係に応じて、撮像装置の撮像方向が構造物の外壁面を向くように姿勢調整装置を制御する姿勢制御部をさらに含む。
 本発明の一態様において、第1の所定形状は円形又は楕円形の全部又は一部であり、姿勢制御部は、撮像装置の撮像方向がマッチングした円形又は楕円形の中心又は焦点に向くように、姿勢調整装置を制御する。
 本発明の一態様は、上記の自己位置推定システムを有する、無人航空機を提供するものである。
 本発明の一態様は、コンピュータにより実行される無人航空機の自己位置推定方法であって、無人航空機は、無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、無人航空機が、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行するときに、縦断面測定装置により測定された縦断面測定データを取得する縦断面取得ステップと、取得した縦断面測定データに、構造物の外壁面に対応する第1の所定形状をマッチングし、マッチングした所定形状に対する自己位置に基づき、縦断面内における無人航空機の縦断面内位置を推定する縦断面内位置推定ステップと、を含む、自己位置推定方法を提供するものである。
 本発明の一態様は、上記の自己位置推定方法をコンピュータに実行させるためのプログラムを提供するものである。
 本発明の一態様は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。
 本発明によれば、無人航空機がトンネルなどの構造物の外部を飛行する際に、構造物に対して所定の位置に自律飛行できるようにするためのシステム及び方法が提供される。
本発明の一実施形態に係る無人航空機(マルチコプタ)の一例であるマルチコプタの外観図である。 図1に示す無人航空機の飛行制御システムを示す図である。 図1に示す無人航空機の情報処理ユニットの構成を示すブロック図である。 図1に示す無人航空機の情報処理ユニットのハードウェア構成を示す図である。 本発明の一実施形態におけるトンネル及び飛行計画経路を示すトンネルの鉛直断面図である。 本発明の一実施形態におけるトンネル及び飛行計画経路を示す上面図である。 縦断面内における無人航空機の縦断面内位置を推定する方法を説明するための図である。 図1に示す無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを示すフローチャートである。 図1に示す無人航空機により自律飛行を行う流れを詳細に示すフローチャートである。
 以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図1に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってもよい。また、無人航空機1のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機1のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、1種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を1種類にまとめて記憶してもよい。
 以下の説明では、水平方向に延びるトンネルの外部を無人航空機により自律飛行し、トンネルの外壁面について撮像する場合について説明する。トンネルの外壁面の形状については、設計図などにより既知であり、本実施形態では、垂直断面(縦断面)におけるトンネルの外壁面の形状が半円状であり、中心部の半円形の部分は同断面で水平方向(横方向)に延びるような形状である。なお、外壁面には周方向及び奥行き方向に間隔をあけて突起が設けられている。
 図1は、本発明の一実施形態に係る無人航空機(マルチコプタ)1の一例であるマルチコプタの外観図である。無人航空機1は、外観に関しては、制御ユニット101と、制御ユニット101からの制御信号により駆動される6つのモータ102と、各々のモータ102の駆動により回転して揚力を発生させる6つのロータ(回転翼)103と、制御ユニット101と各々のモータ102とを接続する6つのアーム104と、着陸時に無人航空機を支える着陸脚105とを備える。モータ102、ロータ103、及びアーム104の数は、それぞれ、3、4などのような3以上の数とすることもできる。制御ユニット101からの制御信号により6つのモータ102が回転させられ、それにより6つのロータ103の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機1の飛行が制御される。
 また、制御ユニット101の上方には台座106が取り付けられている。そして、高解像度で対象物を撮影するためのカメラ108が、カメラ108を水平方向に回転可能、かつ、鉛直方向に回転可能に支持する姿勢調整装置107を介して台座106に取り付けられている。
 また、制御ユニット101の下方には架台110が取り付けられている。そして、架台110の前方には中心軸に垂直な垂直断面について周辺空間の形状を測定するための縦断面測定装置(垂直断面LIDAR)109が設けられている。
 また、無人航空機1は、飛行位置センサ111、アンテナ117も有している。
 図2は、図1に示す無人航空機の飛行制御システムを示す図である。無人航空機1の飛行制御システム150は、制御ユニット101、制御ユニット101に電気的に接続されたモータ102、モータ102に機械的に接続されたロータ103、縦断面測定装置109、飛行位置センサ111、コンパス112、IMU113、及び高度計114を有する。
 制御ユニット101は、無人航空機1の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット101は、さらに、情報処理ユニット120、通信回路121、制御信号生成部122、スピードコントローラ123、インターフェイス125から構成される。
 カメラ108は、高解像度で対象物(本実施形態では、トンネルの外壁面)を撮像するためのカメラである。カメラ108は、カメラ108を水平方向に回転可能、かつ、垂直方向に回転可能に支持する姿勢調整装置107を介して台座106に取り付けられている。カメラ108は、無人航空機1の飛行中、その撮影範囲の画像のデータを取得し、取得された画像は、後述のメモリなどの記憶装置に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。
 姿勢調整装置107は、制御ユニット101からの制御信号に応じて、カメラ108の取り付けられた台座106の姿勢を変更し、これによりカメラ108の撮像方向を変えることができるように構成されている。
 縦断面測定装置109は、本実施形態では、垂直断面LIDARであり、無人航空機1が着地又はホバリングしている状態で、無人航空機1の前後方向に鉛直な断面内において、前後方向に延びる水平軸周りに全周にわたって所定の角度間隔でパルスレーザを照射し、周辺空間の物体に当たって反射されたレーザを受光することにより、照射から受信までの時間に基づき周辺空間の物体までの距離を測定する。トンネル内で無人航空機1が飛行した状態で縦断面測定装置109を駆動することにより、縦断面測定装置109は、トンネルの内壁面の鉛直断面形状(縦断面形状)に関する縦断面測定データを生成する。縦断面測定データとしては、例えば、極座標の離散データが得られる。なお、本実施形態では、縦断面測定装置109として、垂直断面LIDARを用いているが本発明はこれに限定されない。例えば、無人航空機を中心として縦断面全周を可視光カメラにより撮像し、撮像した画像を統合し、3Dモデルを作成することにより、縦断面内のトンネルの内壁面の形状を測定するとともに、縦断面内の自己位置を推定することができる。このような3Dモデルを作成するためのアルゴリズムとしては、SfMが知られており、また、SfMを使用して自己位置を推定するアルゴリズムとしてはDense Visual SLAMが知られている。
 飛行位置センサ111は、GPS(Global Positioning System)センサのような無人航空機1の飛行位置の座標を感知するナビゲーションのためのセンサである。飛行位置センサ111は、好適には、三次元的な座標を感知する。なお、飛行位置センサ111が取得する座標は、緯度、経度及び高度からなる。
 コンパス112は、いわゆる方位磁針であり、北を基準とした無人航空機1の前方の角度を検知する。
 IMU113は、慣性計測装置(Inertial Measurement Unit)であり、加速度センサにより並進運動を、角速度センサ(ジャイロ)により回転運動を検出する。さらに、IMU113は、加速度センサにより検出された並進運動(加速度)を積分することにより、速度を算出することができ、さらに、速度を積分することにより移動距離(位置)を算出することができる。また、同様に、角速度センサにより検出された回転運動(角速度)を積分することにより、角度(姿勢)を算出することができる。
 高度計114は、例えば、気圧計などからなり、気圧に基づき無人航空機の高度を推定する。
 アンテナ117は、無人航空機1を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機1から送信するための空中線である。
 通信回路121は、アンテナ117を通じて受信した無線信号から、無人航空機1のための操縦信号、制御信号や各種データなどを復調して情報処理ユニット120に入力したり、無人航空機1から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ICである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ(プロポ)の送信器と950MHz帯の周波数で通信し、データ通信を2GHz帯/1.7GHz帯/1.5GHz帯/800MHz帯の周波数で通信するような構成を採ることも可能である。
 制御信号生成部122は、情報処理ユニット120によって演算により得られた制御指令値データを、電圧を表わすパルス信号(PWM信号など)に変換する構成であり、典型的には、発振回路とスイッチング回路を含むICである。スピードコントローラ123は、制御信号生成部122からのパルス信号を、モータ102を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機1は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。
 インターフェイス125は、情報処理ユニット120とカメラ108、姿勢調整装置107、縦断面測定装置109、飛行位置センサ111、コンパス112、IMU113、高度計114などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは1つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス125が不要な場合もある。また、図2において、インターフェイス125が媒介せずに接続されている情報処理ユニット120であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。
 図3は、図1に示す無人航空機の情報処理ユニットの構成を示すブロック図である。図3に示すように、情報処理ユニット120は、断面形状データ記憶部131と、光学縦断面内位置推定部132と、自己位置データ生成部133と、飛行経路データ記憶部134と、飛行制御部135と、カメラ姿勢計算部136と、姿勢制御部137と、縦断面測定データ取得部138と、センサ測定データ取得部139と、を含む。本実施形態では、断面形状データ記憶部131と、縦断面内位置推定部132と、自己位置データ生成部133と、飛行経路データ記憶部134と、飛行制御部135と、カメラ姿勢計算部136と、姿勢制御部137と、縦断面測定データ取得部138と、センサ測定データ取得部139と、により無人航空機の自己位置に関する自己位置データを生成する自己位置推定システム140が構成される。
 図4は、図1に示す無人航空機の情報処理ユニットのハードウェア構成を示す図である。情報処理ユニット120は、CPU120aと、RAM120bと、ROM120cと、外部メモリ120dと、入力部120eと、出力部120fと、通信部120gとを含む。RAM120b、ROM120c、外部メモリ120d、入力部120e、出力部120f、及び、通信部120gはバス120hを介してCPU120aに接続されている。
 CPU120aは、システムバス120hに接続される各デバイスを統括的に制御する。
 ROM120cや外部メモリには、CPU120aの制御プログラムであるBIOSやOS、コンピュータが実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。
 RAM120bは、CPU120aの主メモリや作業領域等として機能する。CPU120aは、処理の実行に際して必要なプログラム等をROM120cや外部メモリ120dからRAM120bにロードして、ロードしたプログラムを実行することで各種動作を実現する。
 外部メモリ120dは、例えば、フラッシュメモリ、ハードディスク、DVD-RAM、USBメモリ等から構成される。
 入力部120eは、ユーザ等から操作指示等を受け付ける。入力部120eは、例えば、入力ボタン、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、カメラ等の入力デバイスから構成される。
 出力部120fは、CPU120aで処理されるデータや、RAM120b、ROM120cや外部メモリ120dに記憶されるデータを出力する。出力部120fは、例えば、CRTディスプレイ、LCD、有機ELパネル、プリンタ、スピーカ当の出力デバイスから構成される。
 通信部120gは、ネットワークを介して、又は、直接外部機器と接続・通信するためのインターフェイスである。通信部120gは、例えば、シリアルインタフェース、LANインターフェイス等のインターフェイスから構成される。
 図2、3に示される自己位置推定システム140の各部121、122、125、131~139は、ROM120cや外部メモリ120dに記憶された各種プログラムが、CPU120a、RAM120b、ROM120c、外部メモリ120d、入力部120e、出力部120f、通信部120g等を資源として使用することで実現される。
 断面形状データ記憶部131は、トンネルの内壁面の断面形状に関する断面形状データを記憶する。また、飛行経路データ記憶部134は、飛行計画経路データを記憶する。断面形状データ記憶部131及び飛行経路データ記憶部134は、ROM120cや外部メモリ120dなどの記録媒体に記録されたデータを読み取り、メモリが記憶することにより実現される。なお、断面形状データ記憶部131及び飛行経路データ記憶部134は、断面形状データ及び飛行計画経路データをプログラムに組み込むことにより省略することも可能である。
 本実施形態では、情報処理ユニット120を自己位置推定システムとして機能させているが、情報処理ユニット120とは別個にこれらシステムを搭載する等して無人航空機に備えられる構成としてもよい。また、自己位置推定システム又はその構成要素は、1つの物理的な装置として構成される必要はなく、複数の物理的な装置から構成されてもよい。また、自己位置推定システムを、無人航空機とは別体の地上局のコンピュータ、PC、スマートフォン、タブレット端末等の任意の適切な装置、クラウド・コンピューティングシステム、又はそれらの組み合わせ等として構成してもよい。また、自己位置推定システムの各部の機能は、無人航空機が備える1つ又は複数の装置及び無人航空機とは別体の1つ又は複数の装置のうちのいずれか1つで又は複数で分散して実行される構成としてもよい。
 図5A及び図5Bは、本発明の一実施形態におけるトンネル及び飛行計画経路を示し、図5Aはトンネルの鉛直断面図であり、図5Bは上面図である。図5A及び図5Bに示すように、本実施形態では、トンネルの外壁面の縦断面は略半円形であり、外壁面には外方に向かって突出する突部が形成されている。また、トンネルは、同断面形状で直線状に延びている。
 このため、断面形状データは、例えば、トンネルの外壁面202に対応する、X2+Z2=R2で示される半円(中心座標(X=0、Z=0)、かつ、半径R)を含んでいる。なお、トンネルの内壁面の形状は、奥行き方向(Y方向)によらず一定であるため、Yは上記式には存在しない。
 本実施形態では、断面形状データは、トンネルの外壁面に対応する幾何学的形状として、円(半円)を示すデータを含んでいるが、これに限らず、トンネルの断面形状に応じて、楕円形などの凸な曲線で構成される形状であってもよい。また、半円を表すデータは、半径Rや中心座標を含んでいるが、円形であるという情報のみであってもよい。なお、ここでいう幾何学的形状は、例えば、X座標、Z座標に関する数式により特定することができる形状をいう。
 飛行計画経路データは、無人航空機1の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントP1~P4nの集合のデータである。本実施形態では、各ウェイポイントP1~P4nは、トンネルの奥行き方向のY座標と、縦断面におけるトンネル外壁面の中心Oの上方を基準とした反時計回りの角度αと、縦断面におけるトンネル外壁面からの距離dとの組(Y、α、d)で設定されている。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機1に入力されて記憶される。
 なお、本実施形態におけるY座標は、必ずしも直線上の座標に限定されない。すなわち、Y座標としては、トンネルが湾曲している場合には、始点からトンネルの奥行方向に向かうトンネルの経路に沿うような経路に沿った距離としてもよい。
 本実施形態では、図5A及び図5Bに示すように、飛行計画経路は、以下の通り設定されている。
-縦断面(XZ断面)において所定の位置(αおよびdが一定)でトンネルの延びる方向(Y方向)に奥に向かって所定の距離移動(ウェイポイントP1~Pn)、
-縦断面(XZ断面)においてトンネルの同心円上を図5Aにおける反時計回りに所定の角度移動(Zおよびdが一定、ウェイポイントPn~Pn+1)、
-縦断面(XZ断面)において所定の位置(αおよびdが一定)でトンネルの延びる方向(Y方向)に手間に向かって所定の距離移動(Zおよびdが一定、ウェイポイントPn+1~P2n)、
-縦断面(XZ断面)内をトンネルの同心円上を図5Aにおける反時計回りに所定の角度移動(ウェイポイントP2n~P2n+1)、
-縦断面(XZ断面)において所定の位置(αおよびdが一定)でトンネルの延びる方向(Y方向)に奥に向かって所定の距離移動(ウェイポイントP2n+1~P3n)、
-縦断面(XZ断面)内をトンネルの同心円上を図5Aにおける反時計回りに所定の角度移動(Zおよびdが一定、ウェイポイントP3n~P3n+1)、
-縦断面(XZ断面)において所定の位置(αおよびdが一定)でトンネルの延びる方向(Y方向)に手前に向かって所定の距離移動(ウェイポイントP3n+1~P4n
 各ウェイポイントP1~P4nは、カメラ108によりトンネル外壁面を撮影する位置が設定されている。また、各ウェイポイントP1~P4nには、それぞれのウェイポイントP1~P4nにおけるヘディングも組み合わせて設定されていてもよい。
 縦断面測定データ取得部138は、縦断面測定装置109を制御可能であり、縦断面測定装置109により取得された縦断面測定データを取得する。
 センサ測定データ取得部139は、飛行位置センサ111、コンパス112、IMU113、及び、高度計114と通信可能であり、各センサから測定値を取得する。
 縦断面内位置推定部132は、縦断面測定装置109から取得された縦断面測定データと、断面形状データ記憶部131に記録された断面形状データとに基づき、縦断面内における無人航空機の縦断面内位置(α、d)を推定する。図6は、縦断面内における無人航空機の縦断面内位置を推定する方法を説明するための図である。図6に示すように、縦断面測定データは、無人航空機の縦断面測定装置109の位置に対して極座標で表される点Q1~Qn(図6に示す例では、n=12)からなる。本実施形態では、縦断面内位置推定部132は、トンネルの外壁面に対応する第1の所定形状、本実施形態では円をマッチングする。なお、円をマッチングするとは、一部に円をマッチングするのみならず、当然半円や、円弧などの円の一部をマッチングするような場合も含む。
 具体的には、点Q1~Qnに対して円をマッチングする。円マッチングのアルゴリズムとしても、最小二乗法や、RANSACなどを作用することができるが、外れ値を除外してマッチングを行うRANSACが適している。RANSACにより円をマッチングする際には、以下のように行う。
ステップ1.離散点Q1~Q12からランダムに3点を選択する。
ステップ2.ステップ1で決定した3点を通る暫定の円モデルを導出する。
ステップ3.得られた暫定の円モデルと、離散点Q1~Q12との誤差を求める。誤差が所定値よりも小さい場合には、「正しいモデル候補」に加える。
ステップ4.ステップ1~3を繰り返す。
ステップ5.正しいモデル候補の中で最もデータに合致するものを円マッチングの結果として採用する。
 なお、ステップ3において、得られた暫定の円モデルの半径が、断面形状データのトンネル外壁面の半径Rから所定の値よりも離れている場合(すなわち、暫定の円モデルの半径と、断面形状データのトンネル外壁面の半径Rとの差が閾値以上の場合)には、「正しいモデル候補」から除外してもよい。
 例えば、図6に示す例において、Q2及びQ7は、トンネル200の外壁面202の突起部204上の測定点であり、トンネル200の外壁面202に対応する離散点の中で他の離散点の傾向から大きく離れている。そして、図6に示す例において、ステップ1で、Q2とQ7とQ11を選択すると円モデルは破線で示されるC1となる。これに対して、ステップ1で、Q1と、Q5と、Q10を選択すると円モデルは一点破線で示されるC2となる。このような円モデルC1及びC2とQ1~Q12の誤差を求めると、円モデルC1の誤差は、円モデルC2の誤差よりも大きくなる。このため、ステップ5において、円モデルC1を設定する際に用いたQ2、Q7などの他のデータの傾向から外れた値は、円を決定するためのデータとしては用いず、円モデルC2のような外れ値の影響を除去した円がマッチングされる。
 なお、本実施形態では、外れ値を除外してマッチングを行うアルゴリズムとしてRANSACを使用するが、Markov Localization、Monte-Carlo Localization、Particle Filter、Hough Transformなどを使用することも可能である。
 縦断面内位置推定部132は、このようにしてマッチングしたトンネル外壁面に対応する円を基準とした無人航空機の縦断面内位置(角度α及び距離d)を推定する。なお、角度αは、円C2の中心Oを基準とした垂直方向に対する角度である。また、dは、ドローンの位置Aと、円C2における点Aに最も近い点Bとの距離であり、点Aと点Bを結ぶ直線は円C2の中心を通る。このため、例えば、縦断面内位置推定部132によりマッチングした円の原点Oを基準とした無人航空機の位置AのX座標がXA、Z座標がZAである場合には、
角度α=arctan(XA/-ZA)
距離d=(XA2+ZA21/2-R
として変換することができる。
 自己位置データ生成部133は、基準位置に対する3次元位置及び姿勢(ヘディングθ)を含む自己位置データを生成する。具体的には、自己位置データ生成部133は、縦断面内位置推定部132により推定された角度α及び距離dを取得する。また、自己位置データ生成部133は、飛行位置センサ111により測定された無人航空機1の飛行位置の座標に基づき、トンネル200の延びる方向のY座標位置Yを推定する。なお、本実施形態では、自己位置データ生成部133は、飛行位置センサ111に基づきY座標位置Yを推定しているが、このY座標位置はトンネル200が湾曲している場合には、トンネル200の幅方向中心におけるトンネルの延びる方向の距離とすればよい。
 また、自己位置データ生成部133は、コンパス112により測定された角度に基づきヘディングθに関するデータを生成する。そして、これらデータに基づき、トンネルの奥行き方向のY座標と、縦断面におけるトンネル外壁面の中心点Oを通り上方に延びる基準軸に対する反時計回りの角度αと、縦断面におけるトンネル外壁面からの距離dとの組である3次元位置(Y、α、d)情報と、ヘディングθに関する情報とを含む自己位置データを生成する。なお、基準軸は中心点Oを通ればよく、例えば、水平方向に延びるように設定してもよい。
 なお、本実施形態では、自己位置データ生成部133は、IMU113の測定データに基づき、参考用X座標位置Xr、参考用Y座標位置Yr、及び参考用ヘディングθrを推定することができる。また、自己位置データ生成部133は、高度計114の測定データに基づき参考用Z座標位置Zrを推定することができる。これらIMU113及び高度計114により測定された参考用座標Xr、Yr、Zrは、自己位置データ生成部133により参考用3次元位置(Yr、αr、dr)に変換され、参考用ヘディングθrとともに後述する自己位置推定の精度の検知に用いられる。
 飛行制御部135は、自己位置データ生成部133により生成された自己位置データに基づき、飛行経路データ記憶部134に記憶された飛行計画経路データの飛行計画経路に沿うように無人航空機の飛行を制御する。具体的には、各種センサにより、無人航空機1の姿勢、速度等を判断し、自己位置データ生成部133により生成された自己位置データに基づき無人航空機1の現在の飛行位置及びヘディングなどを判断し、操縦信号、飛行計画経路(目標)、速度制限、高度制限等の目標値と比較することにより各ロータ103に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部122に出力する。制御信号生成部122は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ123に送信する。各スピードコントローラ123は、そのパルス信号を駆動電圧へと変換して各モータ102に印加し、これにより各モータ102の駆動を制御して各ロータ103の回転数を制御することにより無人航空機1の飛行が制御される。
 カメラ姿勢計算部136は、自己位置データ生成部133により推定された無人航空機1の自己位置データに基づき、カメラ108によりトンネル200の外壁面202の所定の領域を撮影できるような、カメラ108の撮影方向を推定する。なお、ここでいうカメラ108の撮影方向とは、カメラ108による画角の中心の方向をいう。具体的には、本実施形態では、トンネル200の外壁面が円形であるため、カメラ姿勢計算部136は、カメラ108の撮影方向がトンネル200の外壁面202に対して垂直方向になるように、カメラ108の撮影方向が、縦断面測定装置109の測定面に沿い、かつ、トンネル200の外壁面202の中心点を向くような撮影角度を算出する。なお、本実施形態では、トンネル200の外壁面202の断面形状が略円形であるため、カメラ姿勢計算部136は撮影方向が円形の中心を向くような角度を算出するが、これに限らず、トンネル200の外壁面202が楕円形である場合には、中心(長軸と短軸の交点)または焦点を向くように撮影角度を算出してもよい。
 姿勢制御部137は、カメラ姿勢計算部136により算出されたカメラ108の撮影角度に基づき、姿勢調整装置107の回転角度を算出し、算出した回転角度に応じた制御信号を姿勢調整装置107に送信する。
 以下、上記の無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを説明する。
 図7は、図1に示す無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを示すフローチャートである。図7に示すように、まず、情報処理ユニット120は、飛行経路データ記憶部134に記憶された飛行計画経路データを参照して、飛行制御部135が第1のウェイポイントを目標として設定する(S100)。
 次に、情報処理ユニット120は、自己位置データ生成部133により無人航空機1の自己位置及び姿勢を推定しながら、推定した自己位置及び姿勢に基づき飛行制御部135がモータ102の回転数を制御し、目標に向かって自律飛行を行う(S110)。図8は、図1に示す無人航空機により自律飛行を行う流れを詳細に示すフローチャートである。
 図8に示すように、まず、センサ測定データ取得部139が、飛行位置センサ111から無人航空機1の飛行位置の座標を取得し、初期位置からの距離に基づきY座標位置Yを推定する(S111)。
 次に、自己位置データ生成部133が、コンパス112から無人航空機1のヘディングθに関するデータを取得する(S112)。この際、取得したヘディングθがトンネルの延びる方向に沿っていないなど設定された方向とずれている場合には、無人航空機1が設定された方向に向くようにヘディングを調整してもよい。
 次に、縦断面測定データ取得部138が、縦断面測定装置109を駆動し、トンネルの外壁面の縦断面形状に関する縦断面測定データを生成させ、この生成された縦断面測定データを取得する(S113)。
 次に、縦断面内位置推定部132が、断面形状データ記憶部131に記録された断面形状データを参照し、縦断面測定データに円をマッチングし、マッチングした円を基準とした無人航空機の縦断面内位置(角度α及び距離d)を推定する(S114)。
 次に、自己位置データ生成部133が、S111において推定されたY座標の位置Yと、S112において推定された縦断面内位置(角度α及び距離d)と、S114において取得されたヘディングθに基づき、3次元位置(Y、α、d)と、ヘディングθに関する情報とを含む自己位置データを生成する(S115)。
 次に、センサ測定データ取得部139がIMU113の測定データを取得し、自己位置データ生成部133が、取得した測定データに基づき、参考用X座標位置Xr、参考用Y座標位置Yr、及び参考用ヘディングθrを推定する(S116)。
 次に、センサ測定データ取得部139が高度計114から高度に関する測定データを取得し、自己位置データ生成部133が、測定データに基づき、参考用Z座標位置Zrを推定する(S117)。
 次に、自己位置データ生成部133が、S116で取得した参考用X座標位置Xr、参考用Y座標位置Yr、及び、S117で取得した参考用Z座標位置Zrを、参考用3次元位置(Yr、αr、dr)に変換する(S118)。
 そして、自己位置データ生成部133が、自己位置データの安定性を検討する。具体的には、S115において生成された自己位置データに含まれる、3次元位置(Y、α、d)及びヘディングθと、S116において推定された参考用ヘディングθr及びS118において推定された参考用3次元位置(Yr、αr、dr)とを比較する(S119)。本実施形態では、ヘディングθ及び3次元位置(Y、α、d)のそれぞれの値を、参考用ヘディングθr及び参考用3次元位置(Yr、αr、dr)のそれぞれの値と個別に比較する。そして、自己位置データのいずれかの値と参考用の値との差が、所定値以上となった場合には、自己位置データ生成部133は、自己位置データが不安定であると判定する。そして、S119において、自己位置データが不安定であると判断された場合には(S119においてNO)、飛行制御部135は、飛行位置センサ111から取得したGPS位置情報に基づきホバリング又は例えば、トンネル中心から離間する方向に飛行し、再度、S111~S119を繰り返す。
 また、S119において、自己位置データが安定していると判定された場合(S119においてYES)には、自己位置データ生成部133により飛行制御部135が自己位置データ生成部133により生成した自己位置データに基づき、無人航空機1が目標に到達したか否かを判定する(S120)。
 飛行制御部135、無人航空機1が目標に到達していないと判定した場合(S120においてNO)、飛行制御部135が自己位置データ生成部133により生成された自己位置データに基づき、目標に向かって飛行するように、各ロータ103に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部122に出力する(S121)。制御信号生成部122は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ123に送信する。各スピードコントローラ123は、そのパルス信号を駆動電圧へと変換して各モータ102に印加し、これにより各モータ102の駆動を制御して各ロータ103の回転数を制御することにより無人航空機1の飛行が制御される。
 なお、本実施形態ではウェイポイントが、Y座標と、縦断面におけるトンネル外壁面の中心Oの上方を基準とした反時計回りの角度αと、縦断面におけるトンネル外壁面からの距離dとの組(Y、α、d)により設定されているため、トンネルが横方向に湾曲する形状であったり、トンネルがY座標方向に拡径するような形状であったりしても、トンネル壁面に対して所定の位置を(例えば、一定距離で)飛行することができる。
 このようなS111~S121を、所定の微小時間間隔で繰り返すことにより、無人航空機1が目標に向かって自律飛行する。なお、本実施形態では、S111におけるY座標位置の推定、S112、113の縦断面内位置の推定、及びS114のコンパスからのヘディングθに関する情報の取得を順番に行う場合について説明したが、これら推定ステップの順序は変更してもよく、また、同時に行ってもよい。
 このようにして、無人航空機1が目標に到達し、S120おいて、飛行制御部135が、無人航空機1が目標に到達したと判定した場合(S120においてYES)には、カメラ姿勢計算部136が、カメラ108による撮影する方向が、トンネル200の外壁面202に対して垂直になるように、姿勢調整装置107の回転角度を算出する。具体的には、カメラ姿勢計算部136は、自己位置データ生成部133が生成した自己位置データに基づき、縦断面測定装置109の測定面に沿い、かつ、縦断面内における無人航空機1に対するトンネル200の中心への撮影角度を算出する。そして、姿勢制御部137が算出した撮影角度に基づき、姿勢調整装置107の回転角度を算出し、算出した回転角度に応じた制御信号を姿勢調整装置107に送信し、姿勢調整装置107の姿勢を制御する(S140)
 次に、情報処理ユニット120がカメラ108を駆動してトンネル内壁面を撮影する(S150)。撮影した画像の画像データは、情報処理ユニット120のメモリに記憶するか、アンテナ117を介して適宜な端末に記録される。
 そして、無人航空機1が到達した目標が最終ウェイポイントP4nではない場合(S160においてNO)には、次のウェイポイントPを目標として設定し(S170)、S110~S160を繰り返す。
 また、無人航空機1が到達した目標が最終ウェイポイントP4nである場合(S160においてNO)には、無人航空機1は必要な工程が全て終了したと判断し、飛行制御部135により、例えば、初期位置に帰還するように飛行するなどして作業を終了する。
 本実施形態によれば、以下の効果が奏される。
 本実施形態では、縦断面内位置推定部132が、縦断面測定データに円をマッチングし、マッチングした円に対する自己位置に基づき無人航空機の縦断面内位置を推定している。これにより、トンネル200の外壁面202に対する無人航空機の正確な位置を推定し、これに基づき、飛行制御部135によりトンネルに対して、突起の影響を受けずに、所定の位置を飛行するよう無人航空機1を制御することができる。
 また、本実施形態では、縦断面内位置推定部132が、幾何学的形状である円によりマッチングを行っている。これにより、マッチングにおける計算量を減らすことができ、限られたメモリで容易にマッチングを行うことができる。
 また、本実施形態では、縦断面内位置推定部132が、円によりマッチングを行い、円の中心を基準とした距離と、角度を推定している。トンネル200の外壁面202が略円形である場合には、円の中心を基準とした距離と角度を推定することにより、容易にトンネル200の外壁面202に対して所定の距離に無人航空機1を飛行させることができる。
 また、本実施形態では、飛行計画経路を示すウェイポイントは、トンネルの縦断面内における中心点を基準とした角度及び外壁面からの距離を含んで設定されている。これにより、縦断面内位置推定部132が推定した極座標をそのまま飛行制御にも使用することができ、また、無人航空機1を確実に外壁面から所望の距離に飛行させることができる。また、トンネル外壁面の半径に関する情報がなくても、無人航空機をトンネルの外壁面から所定の距離を飛行させることができる。
 また、本実施形態では、縦断面データが離散データであり、縦断面内位置推定部132はRANSACアルゴリズムにより離散データにおける外れ値を除去し、マッチングを行っている。これにより、トンネル200の外壁面202に突起部204が形成されていても、この突起部204の影響を受けず、正確にトンネル外壁面の位置を特定することができる。
 また、本実施形態では、姿勢制御部137が、自己位置データ生成部133により生成された自己位置データに基づき、カメラ108の撮像方向がトンネルの中心を向くように姿勢調整装置107を制御している。これにより、カメラ108により確実にトンネルの中心に向く方向に撮像を行うことができる。
 なお、本実施形態では、トンネルの断面形状が半円形である場合について説明したが、本発明はこれに限らず、円形や楕円形や、円形や楕円形の一部(円弧状)であってもよく、さらには、矩形状などの幾何学的形状であってもよい。
 また、本実施形態では、トンネルは水平方向に直線状に延びている場合について説明したが、これに限らず、湾曲状に延びていてもよい。さらに、本実施形態では、トンネルは同断面形状で延びている場合について説明したが、拡径したり、縮径したりしている場合であっても本発明を適用できる。
1        無人航空機
101      制御ユニット
102      モータ
103      ロータ
104      アーム
105      着陸脚
106      台座
107      姿勢調整装置
108      カメラ
109      縦断面測定装置
110      架台
111      飛行位置センサ
112      コンパス
114      高度計
117      アンテナ
120      情報処理ユニット
120a     CPU
120b     RAM
120c     ROM
120d     外部メモリ
120e     入力部
120f     出力部
120g     通信部
120h     システムバス
121      通信回路
122      制御信号生成部
123      スピードコントローラ
125      インターフェイス
131      断面形状データ記憶部
132      縦断面内位置推定部
133      自己位置データ生成部
134      飛行経路データ記憶部
135      飛行制御部
136      カメラ姿勢計算部
137      姿勢制御部
140      自己位置推定システム
200      トンネル
202      外壁面
204      突起部

Claims (12)

  1.  横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行する無人航空機の自己位置推定システムであって、
     前記無人航空機は、前記無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、
     前記無人航空機が、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行するときに、前記縦断面測定装置により測定された前記縦断面測定データを取得する縦断面測定データ取得部と、
     取得した前記縦断面測定データに、前記構造物の外壁面に対応する第1の所定形状をマッチングし、当該マッチングした所定形状に対する自己位置に基づき、前記縦断面内における前記無人航空機の縦断面内位置を推定する縦断面内位置推定部と、
     を含む、自己位置推定システム。
  2.  前記第1の所定形状は、少なくとも一部が幾何学的形状と対応しており、
     前記縦断面内位置推定部は、前記縦断面測定データに対して前記幾何学的形状をマッチングし、前記マッチングした幾何学的形状に対する自己位置に基づき、前記縦断面内位置を推定する、
     請求項1に記載の自己位置推定システム。
  3.  前記第1の所定形状は円形又は楕円形の全部又は一部であり、
     前記縦断面内位置推定部は、前記縦断面内における前記無人航空機の縦断面内位置として、前記第1の所定形状の中心点を基準とした距離と、基準軸に対する角度を推定する、
     請求項2に記載の自己位置推定システム。
  4.  前記縦断面測定データは、離散データであり、
     前記縦断面内位置推定部は、前記離散データにおける外れ値を除去し、マッチングを行う、
     請求項1~3の何れか1項に記載の自己位置推定システム。
  5.  前記縦断面内位置推定部により推定された前記無人航空機の縦断面内位置に基づき、飛行計画経路に沿うように飛行するように前記無人航空機の飛行を制御する飛行制御部を、さらに含む、請求項1~4の何れか1項に記載の自己位置推定システム。
  6.  前記飛行計画経路は複数のウェイポイントとして設定されており、
     前記ウェイポイントは、前記縦断面内における前記第1の所定形状の中心点に対応する前記構造物の基準点を通る基準軸に対する角度、及び、当該角度における構造物の外壁面からの距離を含んで設定されている、
     請求項5に記載の自己位置推定システム。
  7.  前記無人航空機は、
     撮像装置と、
     前記撮像装置の姿勢を調整する姿勢調整装置と、
     前記無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置と、を含み、
     前記飛行制御システムは、
     前記縦断面内位置推定部により推定された自己位置と前記構造物との位置関係に応じて、前記撮像装置の撮像方向が前記構造物の外壁面を向くように前記姿勢調整装置を制御する姿勢制御部をさらに含む、請求項1に記載の自己位置推定システム。
  8.  前記第1の所定形状は円形又は楕円形の全部又は一部であり、
     前記姿勢制御部は、前記撮像装置の撮像方向がマッチングした円形又は楕円形の中心又は焦点に向くように、前記姿勢調整装置を制御する、
     請求項7に記載の自己位置推定システム。
  9.  請求項1~8の何れか1項に記載の自己位置推定システムを有する、
     無人航空機。
  10.  コンピュータにより実行される無人航空機の自己位置推定方法であって、
     前記無人航空機は、前記無人航空機の飛行経路を横切る方向の縦断面内の境界形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、
     前記無人航空機が、横方向に所定の経路に沿って延びる構造物の外壁面に沿って飛行するときに、前記縦断面測定装置により測定された前記縦断面測定データを取得する縦断面取得ステップと、
     取得した前記縦断面測定データに、前記構造物の外壁面に対応する第1の所定形状をマッチングし、当該マッチングした所定形状に対する自己位置に基づき、前記縦断面内における前記無人航空機の縦断面内位置を推定する縦断面内位置推定ステップと、
     を含む、自己位置推定方法。
  11.  請求項10に記載の自己位置推定方法をコンピュータに実行させるためのプログラム。
  12.  請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2021/000815 2021-01-13 2021-01-13 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体 WO2022153392A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/000815 WO2022153392A1 (ja) 2021-01-13 2021-01-13 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体
JP2022574909A JPWO2022153392A1 (ja) 2021-01-13 2021-01-13

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000815 WO2022153392A1 (ja) 2021-01-13 2021-01-13 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体

Publications (1)

Publication Number Publication Date
WO2022153392A1 true WO2022153392A1 (ja) 2022-07-21

Family

ID=82446998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000815 WO2022153392A1 (ja) 2021-01-13 2021-01-13 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2022153392A1 (ja)
WO (1) WO2022153392A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
JP2017090146A (ja) * 2015-11-06 2017-05-25 株式会社プロドローン 表面検査装置およびこれを用いた表面検査方法
CN109031312A (zh) * 2018-04-26 2018-12-18 中国计量大学 适用于烟囱内部作业的飞行平台定位装置和定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
JP2017090146A (ja) * 2015-11-06 2017-05-25 株式会社プロドローン 表面検査装置およびこれを用いた表面検査方法
CN109031312A (zh) * 2018-04-26 2018-12-18 中国计量大学 适用于烟囱内部作业的飞行平台定位装置和定位方法

Also Published As

Publication number Publication date
JPWO2022153392A1 (ja) 2022-07-21

Similar Documents

Publication Publication Date Title
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US10565732B2 (en) Sensor fusion using inertial and image sensors
US10657832B2 (en) Method and apparatus for target relative guidance
US10534068B2 (en) Localization system, vehicle control system, and methods thereof
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US11287261B2 (en) Method and apparatus for controlling unmanned aerial vehicle
JPWO2021090352A1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
EP4015993B1 (en) Aircraft sensor system synchronization
US20210229810A1 (en) Information processing device, flight control method, and flight control system
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
WO2022153392A1 (ja) 無人航空機の自己位置推定システム及び方法、無人航空機、プログラム、並びに記憶媒体
WO2022153391A1 (ja) 無人航空機の自己位置及び/又は姿勢を推定する推定システム、飛行制御システム、無人航空機、プログラム、及び、記録媒体
WO2022153390A1 (ja) 無人航空機の自己位置を推定する自己位置推定システム、飛行制御システム、無人航空機、プログラム、及び、記録媒体
JP7031997B2 (ja) 飛行体システム、飛行体、位置測定方法、プログラム
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端
JP2020160019A (ja) 物体の三次元形状の測定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919288

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022574909

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919288

Country of ref document: EP

Kind code of ref document: A1