WO2017208424A1 - 姿勢推定装置、姿勢推定方法及び観測システム - Google Patents

姿勢推定装置、姿勢推定方法及び観測システム Download PDF

Info

Publication number
WO2017208424A1
WO2017208424A1 PCT/JP2016/066444 JP2016066444W WO2017208424A1 WO 2017208424 A1 WO2017208424 A1 WO 2017208424A1 JP 2016066444 W JP2016066444 W JP 2016066444W WO 2017208424 A1 WO2017208424 A1 WO 2017208424A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
image
coordinates
observation
Prior art date
Application number
PCT/JP2016/066444
Other languages
English (en)
French (fr)
Inventor
百代 日野
秀明 前原
謙二 平
純雄 加藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/099,805 priority Critical patent/US11099030B2/en
Priority to CN201680086109.9A priority patent/CN109477716A/zh
Priority to JP2018520304A priority patent/JP6430073B2/ja
Priority to PCT/JP2016/066444 priority patent/WO2017208424A1/ja
Publication of WO2017208424A1 publication Critical patent/WO2017208424A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/22—Compound rotorcraft, i.e. aircraft using in flight the features of both aeroplane and rotorcraft
    • B64C27/28—Compound rotorcraft, i.e. aircraft using in flight the features of both aeroplane and rotorcraft with forward-propulsion propellers pivotable to act as lifting rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Definitions

  • the present invention relates to a technique for estimating the flight attitude of a flying object such as an aircraft equipped with an observation device.
  • an air vehicle equipped with an imaging camera and observation equipment such as a laser range finder may be used.
  • a surveying system using this type of flying object is disclosed in, for example, Japanese Patent Application Laid-Open No. 2014-145762.
  • a technique for acquiring the current position of the flying object and a technique for detecting the flying attitude of the flying object are required.
  • the current position of the flying object can be obtained using, for example, a GNSS (Global Navigation Satellite System) device.
  • the GNSS device can receive radio waves from a GNSS satellite at regular intervals while being mounted on a flying object, and can detect the current position of the flying object by analyzing the received radio waves.
  • the flying attitude of the flying object can be detected using an inertial measurement device (Internal Measurement Unit, IMU).
  • IMU Internal Measurement Unit
  • the IMU is very expensive and has certain restrictions on its portability, and attention must be paid to its handling, so there is a problem that the types of aircraft on which the IMU can be mounted are limited. .
  • its weight is relatively heavy (for example, about 4 kg to 20 kg), so the loadable weight (for example, the loadable weight is about 2.5 kg to 3.5 kg) is limited. It is difficult to mount the IMU on a crafted aircraft (eg, a small unmanned helicopter that is remotely controlled by radio).
  • the surveying system disclosed in Patent Document 1 estimates a flight attitude by executing bundle calculation using a plurality of captured images captured from two or more different positions without using an IMU. Since the surveying camera in this surveying system is supported by a posture stabilization mechanism called a stabilizer, the photographing direction can be kept vertically downward regardless of the posture of the flying vehicle in flight.
  • Japanese Patent Application Laid-Open No. 2014-145762 for example, FIG. 1, FIG. 3 and FIG. 20, and paragraphs 0152 to 0160
  • an object of the present invention is to provide an attitude estimation device, an attitude estimation method, and an observation system that can estimate the attitude of a flying object with a simple configuration with high accuracy.
  • An attitude estimation apparatus includes a positioning unit that outputs positioning data indicating a position of a flying object in a geodetic coordinate system, a distance from the flying object to a distance measuring point on the ground, and an angular direction with respect to the distance measuring point.
  • a distance measuring unit that measures distances and outputs distance measurement data; an imaging unit that captures the distance measurement points from a plurality of imaging positions and outputs a group of captured images mounted on the flying object; and a gravitational direction
  • a posture estimation device that operates in cooperation with an observation device that includes a posture sensor that detects the posture of the flying object based on the reference and outputs actual posture data, the positioning data, the distance measurement data, the actual data Using a data acquisition unit that acquires attitude data and the captured image group from the observation device, and using the positioning data, the distance measurement data, the actual attitude data, and an estimated value of an unknown parameter indicating the attitude of the flying object,
  • the geodetic A distance measuring point coordinate calculating unit for calculating a geodetic coordinate indicating the position of the distance measuring point in the system, and an image coordinate for calculating a projection point coordinate by performing projection conversion from the geodetic coordinate system to the image coordinate system on the geodetic coordinate
  • An observation system includes the observation device and the posture estimation device.
  • the attitude of the flying object can be estimated with high accuracy with a simple configuration.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a flight route setting device according to a first embodiment.
  • 4A and 4B are block diagrams schematically showing a hardware configuration example of the flight route setting device according to the first embodiment.
  • 3 is a flowchart showing an example of a flight route setting process procedure according to the first embodiment. It is a figure which shows an example of the route data which concerns on Embodiment 1 in a table format. It is a figure for demonstrating the flight route defined by route data. It is a figure for demonstrating the other example of a flight route.
  • FIG. 4 is a perspective view of a configuration example of a laser distance measuring unit, a right camera, and a left camera in the observation apparatus according to Embodiment 1.
  • 10A is a front view of the observation apparatus shown in FIG. 9,
  • FIG. 10B is a top view of the observation apparatus shown in FIG. 9, and
  • FIG. 16A is a diagram showing a numerical example of the irradiation angle and the measurement distance obtained by the laser distance measuring unit in a table format
  • FIG. 16B shows the relationship between the irradiation angle and the measurement distance shown in FIG. 16A. It is a graph.
  • FIG. 23A and FIG. 23B are diagrams illustrating numerical examples of observation results and calculation results according to Embodiment 1, in a table format. It is a figure which shows the numerical example of the other observation result and calculation result which concern on Embodiment 1 in a table format.
  • FIG. 10 is a block diagram illustrating a schematic configuration of a posture estimation apparatus according to a second embodiment.
  • FIG. 6 is a block diagram illustrating a schematic configuration of a flight route setting device according to a second embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of an observation system 1 according to the first embodiment of the present invention.
  • the observation system 1 includes an observation device 10 that is used while being mounted on an aircraft 2 that is a flying object, and a memory 17 that stores observation data obtained by the observation device 10.
  • the attitude estimation device 30 that estimates the flight attitude of the aircraft 2 (the attitude during the flight) based on the observation data and the flight route setting device 40 that sets the flight route of the aircraft 2 are provided.
  • the attitude state of the aircraft 2 at a certain moment can be specified by a combination of three rotation angles based on the direction of gravity.
  • the attitude state of the aircraft 2 can be specified by a combination of three rotation angles such as a roll angle, a pitch angle, and a yaw angle, which are attitude angles in the rolling direction, the pitching direction, and the yawing direction of the aircraft 2.
  • attitude estimation device 30 and the flight route setting device 40 of the present embodiment are physically separated from the aircraft 2 and provided separately, but are not limited thereto.
  • One or both of the attitude estimation device 30 and the flight route setting device 40 may be mounted on the aircraft 2.
  • the aircraft 2 includes a thrust generation mechanism 22 that generates the thrust (propulsive force) of the aircraft 2, a memory 17, and a flight control device that controls the operation of the thrust generation mechanism 22 using data stored in the memory 17. 21.
  • the aircraft 2 may be a manned aircraft operated by a pilot who has boarded the aircraft 2, or may be an unmanned aerial vehicle (UAV).
  • the thrust generation mechanism 22 has a thrust generation source such as a propeller, a rotor, or a jet engine for constituting a fixed wing aircraft or a rotary wing aircraft.
  • the flight control device 21 can automatically control the position and posture of the aircraft by controlling the thrust generating mechanism 22, and the thrust generating mechanism according to the route data (data defining the flight route) stored in the memory 17. By controlling 22, the speed, course and posture of the aircraft can be controlled.
  • the route data is set by the flight route setting device 40. The configuration of the flight route setting device 40 will be described later.
  • a portable recording medium that is a portable non-volatile memory such as an SD (Secure Digital) memory card can be used.
  • the memory 17 is used to store not only route data but also observation data obtained by the observation device 10 (captured image group, distance measurement data, positioning data, and actual posture data) and a data acquisition period in the observation device 10.
  • observation data obtained by the observation device 10 (captured image group, distance measurement data, positioning data, and actual posture data) and a data acquisition period in the observation device 10.
  • FIG. 2 is a perspective view showing a configuration example of the aircraft 2.
  • the aircraft 2 shown in FIG. 2 is an unmanned aerial vehicle (UAV) having a fuselage 20 and a plurality of thrust generators 22A to 22F attached to the periphery of the fuselage 20.
  • UAV unmanned aerial vehicle
  • Each of the thrust generators 22A to 22F is composed of a rotor blade (rotor).
  • the flight control device 21 can cause the aircraft 2 to fly along the flight route determined by the route data read from the memory 17. That is, the flight control device 21 individually controls the operations of the thrust generators 22A to 22F according to the route data, thereby raising or lowering the aircraft 2 along the Z-axis direction in FIG.
  • the observation apparatus 10 is attached to the lower part of the body 20 so that it can observe vertically downward (Z-axis positive direction).
  • the observation apparatus 10 includes an imaging unit 11 that images the ground, and a laser ranging unit 13 that measures the distance from the aircraft 2 to one or more ranging points on the ground and the angular directions thereof. And a GNSS positioning unit 14 that measures the current position of the observation device 10 using a plurality of GNSS (Global Navigation Satellite System) satellites, and detects the attitude of the aircraft 2 based on the direction of gravity and outputs actual attitude data And an observation control unit 16 that controls the operations of the imaging unit 11, the laser ranging unit 13, the GNSS positioning unit 14, and the attitude sensor 15.
  • GNSS Global Navigation Satellite System
  • the imaging unit 11 includes a left camera 12L that is a first imaging unit and a right camera 12R that is a second imaging unit.
  • Each of the left camera 12L and the right camera 12R may be configured by a digital camera having an optical lens and a solid-state image sensor, for example.
  • the solid-state image sensor include a charge-coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • An arrangement example of the right camera 12R and the left camera 12L will be described later.
  • the observation control unit 16 stores each captured image captured by the imaging unit 11 in the memory 17 in association with the observation date and time (imaging date and time).
  • the observation control unit 16 controls the left camera 12L and the right camera 12R, and images the ground surface at a predetermined data acquisition period, that is, an imaging period stored in the memory 17 (for example, every second). Can be executed.
  • a predetermined data acquisition period that is, an imaging period stored in the memory 17 (for example, every second).
  • the user can set the value of the imaging cycle using the flight route setting device 40 before the actual flight of the aircraft 2.
  • a laser ranging unit 13 irradiates laser light toward a ground surface as a survey target while changing an irradiation angle, and receives reflected laser light from one or a plurality of distance measuring points on the ground surface. .
  • the laser distance measuring unit 13 measures the distance L from each reference point to the reference point of the observation device 10 (specifically, the irradiation reference point of the laser distance measuring unit 13) based on the light reception result, and The irradiation angle ⁇ indicating the angular direction with respect to each distance measuring point can be measured.
  • the laser distance measuring unit 13 measures the propagation time from the time when the laser light is emitted toward each distance measuring point to the time when the reflected laser light returns, for example, according to the TOF (Time of Flight) method.
  • TOF Time of Flight
  • the observation control unit 16 stores distance measurement data indicating the distance L to each distance measurement point and the irradiation angle ⁇ in the memory 17 in association with the observation date (range measurement date).
  • the GNSS positioning unit 14 receives navigation signals from GNSS (Global Navigation Satellite System) from a plurality of GNSS satellites, and based on the navigation signals, the current position of the observation device 10 in the geodetic coordinate system (specifically, laser measurement). The current position of the irradiation reference point of the distance unit 13 is measured. Positioning data indicating the positioning result is output to the observation control unit 16.
  • GNSS Global Navigation Satellite System
  • the geodetic coordinate system for example, a World Geodesic System (WGS) -84 coordinate system or an International Terrestrial Reference Frame (ITRF) coordinate system can be used, but it is not limited to this.
  • the GNSS for example, the GPS (Global Positioning System) operated by the United States, the GLONASS (GLObal NAvigation Satellite System) operated by the Russian Federation, the Galileo system operated by the European Union, or the QZSS (Quasi) operated by Japan.
  • -Zenith Satellite System (Quasi-Zenith Satellite System) can be used.
  • the observation control unit 16 stores the positioning data in the memory 17 in association with the observation time (positioning time).
  • the observation control unit 16 can control the GNSS positioning unit 14 to execute positioning at a predetermined data acquisition period stored in the memory 17, that is, at every positioning period (for example, every second). Regarding the positioning cycle, the user can set the value of the positioning cycle using the flight route setting device 40 before the actual flight of the aircraft 2.
  • the observation control unit 16 may cause the GNSS positioning unit 14 to perform positioning at a positioning cycle synchronized with the imaging cycle.
  • the difference between the positioning reference point of the GNSS positioning unit 14 and the irradiation reference point of the laser ranging unit 13 is within an allowable range with respect to the measurement accuracy of the GNSS positioning unit 14. That is, the positioning reference point of the GNSS positioning unit 14 is considered to be disposed at the same position as the irradiation reference point of the laser ranging unit 13. In the present embodiment, the position of the irradiation reference point of the laser distance measuring unit 13 is regarded as the position of the observation apparatus 10.
  • the attitude sensor 15 detects the direction of gravitational acceleration that is static acceleration, that is, the direction of gravity, and detects angle information between the gravity direction and the reference direction of the attitude sensor 15 as actual attitude data.
  • the attitude sensor 15 has a roll angle that is a rotation angle around the traveling direction (that is, the X-axis direction) of the aircraft 2 and a Y that is perpendicular to both the traveling direction and the gravity direction (that is, the Z-axis direction).
  • a combination with a pitch angle, which is a rotation angle around the axial direction can be detected as actual posture data.
  • Such a posture sensor 15 may be, for example, a two-axis gravity direction sensor capable of detecting two rotation angles alone, or may be a combination of two uniaxial gravity direction sensors.
  • the two reference axes of the two-axis acceleration sensor or the two reference axes of the combination of the two uniaxial acceleration sensors are arranged so as to cross each other at 90 degrees.
  • the biaxial gravitational direction sensor or the uniaxial gravitational direction sensor can be composed of, for example, a piezoresistive or capacitive acceleration sensor, and may be configured as a MEMS (Micro Electro Mechanical Systems) device. .
  • the aircraft 2 hovers every period determined by preset route data.
  • the attitude sensor 15 detects a combination of the roll angle and the pitch angle of the aircraft 2 as actual attitude data.
  • the observation control unit 16 stores the actual posture data in the memory 17 in association with the observation date and time (detection date and time).
  • the aircraft 2 is tilted from a horizontal state, at least one of the three posture angles of the roll angle around the X-axis direction, the pitch angle around the Y-axis direction, and the yaw angle around the Z-axis direction is non-zero. It becomes the value of.
  • the yaw angle is estimated by the posture estimation device 30 as described later.
  • FIG. 3 is a block diagram showing a schematic configuration of the flight route setting device 40 according to the first embodiment of the present invention.
  • the flight route setting device 40 includes an input / output interface unit (input / output I / F unit) 41, an input data processing unit 42, a route data generation unit 43, and a memory interface unit (memory I / F unit). 44.
  • the input / output I / F unit 41 is connected to the operation input unit 46 and the display unit 47.
  • a memory 17 as a portable recording medium is detachably attached to the memory I / F unit 44.
  • the operation input unit 46 detects an operation input by the user, and outputs the detected operation input to the input / output I / F unit 41.
  • the operation input unit 46 is an input device having an input button or an input key for receiving an operation input by a user.
  • a keyboard or a pointing device such as a mouse or a touch panel can be used as the operation input unit 46.
  • the input / output I / F unit 41 can supply the operation input to the input data processing unit 42 as setting data indicating the flight route of the aircraft 2 or the above-described data acquisition cycle.
  • the input data processing unit 42 can also display a setting screen on the display unit 47. The user can input setting data by operating the operation input unit 46 while viewing the setting screen.
  • the display unit 47 may be configured by an image display device such as a liquid crystal display panel or an organic EL display panel.
  • the input data processing unit 42 When the input data processing unit 42 receives the setting data instructing the flight route or the data acquisition cycle, the input data processing unit 42 interprets the setting data and outputs the interpretation result to the route data generation unit 43. Based on the interpretation result, the route data generation unit 43 generates route data for determining the flight route of the aircraft 2 or generates period data for determining a data acquisition period.
  • the memory I / F unit 44 stores the route data or the cycle data in the memory 17. After the route data or the cycle data is stored in the memory 17, the user can remove the memory 17 from the flight route setting device 40 and attach it to the aircraft 2.
  • the hardware configuration of the flight route setting device 40 can be realized by, for example, a computer with a CPU (Central Processing Unit) such as a workstation or a mainframe.
  • the hardware configuration of the flight route setting device 40 is DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array) or a combination of these, such as an LSI (Large). It may be realized.
  • FIG. 4A is a block diagram illustrating a schematic configuration of an information processing apparatus 40S that is a hardware configuration example of the flight route setting apparatus 40.
  • the information processing apparatus 40S includes a processor 60 including a CPU 60c, a memory interface circuit (memory I / F circuit) 61, and a RAM (Random Access Memory) 62 used as a working memory for the processor 60.
  • a non-volatile memory 63 in which a computer program of one or both of software and firmware is stored, an input interface circuit (input I / F circuit) 64A connected to the operation input unit 46, and a display unit 47.
  • Display interface circuit (display I / F circuit) 64B Display interface circuit (display I / F circuit) 64B.
  • the components 60 to 63, 64A and 64B of the information processing apparatus 40S are connected to each other via a signal path 65 such as a bus circuit.
  • the memory I / F circuit 61 is a circuit that realizes the function of the memory I / F unit 44 of FIG. 3, and the input I / F circuit 64A and the display I / F circuit 64B are the input / output I / F unit of FIG. 41 is a circuit that realizes 41 functions.
  • the processor 60 implements the functions of the input data processing unit 42 and the route data generation unit 43 in FIG. 3 by reading out and executing the computer program that is software, firmware, or a combination thereof from the nonvolatile memory 63.
  • the non-volatile memory 63 for example, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Programmable EPROM), a magnetic disk or an optical disk can be used, but the invention is not limited thereto. is not.
  • FIG. 4B is a block diagram showing a schematic configuration of an information processing device 40H, which is another hardware configuration example of the flight route setting device 40.
  • the information processing device 40H is connected to a processing circuit 66 of dedicated hardware such as a DSP, ASIC, or FPGA, a memory interface circuit (memory I / F circuit) 67, and an operation input unit 46.
  • An input interface circuit (input I / F circuit) 68A and a display interface circuit (display I / F circuit) 68B connected to the display unit 47 are provided.
  • the components 66, 67, 68A, 68B of the information processing apparatus 40H are connected to each other via a signal path 69 such as a bus circuit.
  • the memory I / F circuit 67 is a circuit that realizes the function of the memory I / F unit 44 of FIG. 3, and the input I / F circuit 68A and the display I / F circuit 68B are the input / output I / F unit of FIG. 41 is a circuit that realizes 41 functions.
  • the processing circuit 66 realizes the functions of the input data processing unit 42 and the route data generation unit 43.
  • FIG. 5 is a flowchart schematically showing an example of a flight route setting process procedure according to the first embodiment.
  • the input data processing unit 42 is on standby until setting data is input from the operation input unit 46 via the input / output I / F unit 41 (NO in step ST1).
  • the input data processing unit 42 interprets the input setting data (step ST2).
  • the interpretation result is supplied to the route data generation unit 43.
  • the user can input a setting command in a predetermined format as setting data.
  • the input data processing unit 42 displays a message prompting further input such as “Please input the next setting data”. It is displayed on the unit 47 (step ST4). Thereafter, the input data processing unit 42 executes Step ST1.
  • Example 1 For example, at a time “21:56:30” on the date “December 24, 2015”, a point designated by latitude “35 degrees 21 minutes 14.572 seconds” and longitude “139 degrees 31 minutes 52.676 seconds”
  • the user can input a passing command (excluding a double quotation mark) of Example 1 as a setting command.
  • the notation of latitude and longitude is in the WGS-84 coordinate system.
  • Example 1 "35.354048,139.531299, 2015/12/24/21: 56: 30"
  • Example 2 “35.354048,139.531299, 2015/12/24/21: 56: 30 10secHov"
  • Example 3 "Set RightCamera Interval 1sec"
  • the route data generation unit 43 When the input data processing unit 42 interprets that the setting end command has been input (YES in step ST3), the route data generation unit 43 generates route data based on the input setting command other than the setting end command (step ST5). The route data is stored in the memory 17 via the memory I / F unit 44 (step ST6). When a data acquisition interval setting command is input, periodic data is generated in step ST5, and this periodic data is stored in the memory 17 in step ST6. This completes the flight route setting process.
  • FIG. 6 is a diagram showing an example of the contents of route data in a table format.
  • the route data is a set of records each composed of “point ID (point identifier)”, “latitude”, “longitude”, “date”, and “time”.
  • FIG. 7 is a diagram for explaining the flight route from the point A1 to the point A5 shown in the table of FIG.
  • the aircraft 2 departs from the point A1 at 10:30:30 on the yy month zz of 2016. Thereafter, the aircraft 2 arrives above the point A2 at 10:31:30 and hovers for 30 seconds from 10:31:30 to 10:32:00. Next, the aircraft 2 departs from the point A2 at 10:32:00.
  • Each of the points A1 to A5 is a point designated by “latitude” and “longitude”.
  • the route data generation unit 43 automatically calculates the flight speed of the aircraft 2 in each section between points based on the designated flight route.
  • the route data generation unit 43 can store data specifying the flight speed in each section in the memory 17 as part of the route data.
  • the flight path of the aircraft 2 is a straight path, but is not limited to this.
  • the route data generation unit 43 may calculate a curved path connecting a plurality of points by polynomial approximation. By setting the curved path, it is possible to prevent the aircraft 2 from turning sharply, and thus it is possible to reduce the load on the attitude control of the aircraft 2.
  • the route data generation unit 43 automatically generates route data based on the coordinate data and the measurement start time when coordinate data indicating a plurality of points and the measurement start time are input by the user. You can also. In this case, it is desirable that the route data generation unit 43 generates the route data so that the measurement is completed in the shortest time and high measurement accuracy is realized.
  • FIG. 8 is a diagram schematically showing an example of a flight route defined by automatically generated route data. In this route data, coordinate data indicating four points, a measurement start point SP at the lower right of the drawing, a passage point at the lower left of the drawing, a passage point at the upper right of the drawing, and a measurement end point EP at the upper left of the drawing, and measurement start time are input. Is automatically generated in some cases.
  • the flight route is indicated by a thick line with an arrow.
  • the aircraft 2 flies along the uniaxial direction from the east side to the west side along the first flight route between the measurement start point SP and the passing point on the left side (west side) of the drawing.
  • a second flight route that is adjacent to the north side in parallel with the first flight route flies along the uniaxial direction from the west side to the east side.
  • the scanning range of the laser beam for distance measurement when the aircraft 2 flies on the first flight route and the second flight route is indicated by hatching with different patterns. As shown in FIG.
  • the scanning range overlaps each other.
  • the laser distance measuring unit 13 can generate distance measurement data with high measurement accuracy.
  • the aircraft 2 follows the third flight route between the passage point close to the measurement start point SP and the passage point on the upper side (north side) along the uniaxial direction from the south side to the north side.
  • a fourth flight route that is adjacent to the west side in parallel with the third flight route is flew along the uniaxial direction from the north side to the south side.
  • the aircraft 2 flies along the uniaxial direction from the south side to the north side along the fifth flight route adjacent to the west side in parallel with the fourth flight route, and next to the west side in parallel with the fifth flight route. It flies along the uniaxial direction from the north side to the south side on 6 flight routes.
  • the aircraft 2 then flies along the uniaxial direction from the south side to the north side along the seventh flight route adjacent to the west side in parallel with the sixth flight route to the measurement end point EP.
  • the scanning ranges of the ranging laser beams when the aircraft 2 flies on the third and fourth flight routes overlap each other, and the aircraft 2 flies on the fourth and fifth flight routes.
  • the scanning ranges of the ranging laser beams also overlap each other, and the scanning ranges of the ranging laser beams when the aircraft 2 flies through the fifth and sixth flight routes also overlap each other.
  • the route data generating unit 43 generates route data so that the scanning ranges of the distance measuring laser beams respectively corresponding to the flight routes adjacent to each other overlap each other.
  • the distance L to each ranging point and the angle direction ⁇ in the scanning range to be measured can be measured a plurality of times.
  • the laser distance measuring unit 13 can generate distance measurement data with a small error by, for example, averaging the measurement results based on the measurement results.
  • FIG. 8 since the scanning range overlapping in the east-west direction and the scanning range overlapping in the north-south direction are generated, it is possible to generate distance measurement data with a small error in the east-west direction. It is also possible to generate ranging data with a small error in the north-south direction. In particular, for ranging points within the scanning range that overlap in both the east-west direction and the north-south direction, distance measurement data with a small error can be generated in both the east-west direction and the north-south direction.
  • FIG. 9 is a perspective view schematically showing a configuration example of a unit including the laser ranging unit 13 and the imaging unit 11 in the observation apparatus 10.
  • the laser distance measuring unit 13 has an irradiation reference point RP, and emits laser light toward the ground surface vertically downward (Z-axis positive direction).
  • the laser ranging unit 13 of the present embodiment can scan the laser beam in the Y-axis direction perpendicular to both the traveling direction of the aircraft 2 (that is, the X-axis direction) and the Z-axis direction.
  • the right camera 12R and the left camera 12L are arranged at positions that are geometrically symmetrical with respect to the irradiation reference point RP, and are arranged so as to be able to image the ground surface vertically below.
  • the right camera 12R is connected to one end of an arm 19R extending in the Y-axis negative direction from the laser ranging unit 13, and the left camera 12L is one end of the arm 19L extending in the Y-axis positive direction from the laser ranging unit 13. Connected with.
  • the right camera 12R is arranged at a position 1 meter away from the irradiation reference point RP of the laser ranging unit 13 in the Y axis negative direction
  • the left camera 12L is 1 meter away from the irradiation reference point RP in the Y axis positive direction. What is necessary is just to arrange
  • FIG. 10A is a schematic configuration diagram of a unit including the laser ranging unit 13 and the imaging unit 11 when viewed from the positive X-axis direction
  • FIG. 10B is a schematic configuration of the unit when viewed from the negative Z-axis direction
  • FIG. 10C is a schematic configuration diagram of the unit when viewed from the positive direction of the Y-axis.
  • the laser distance measuring unit 13 shown in FIG. 10A the laser beam is irradiated on the ground distance measuring point K p, we receive the reflected laser beam from the distance measuring point K p.
  • the laser distance measuring unit 13 the distance L between the irradiation reference point RP and the distance measuring point K p measured, and, line segment Y-axis positive direction between irradiation reference point RP and the distance measuring point K p Can be measured as the irradiation angle ⁇ .
  • the laser distance measuring unit 13 can scan the ground with laser light by changing the irradiation angle ⁇ centered on the irradiation reference point RP in increments of 18 degrees clockwise when viewed from the positive X-axis direction.
  • the irradiation angle ⁇ when the laser beam is irradiated vertically downward (Y-axis positive direction) from the irradiation reference point RP is 90 degrees.
  • FIG. 11 is a diagram illustrating an example of the position coordinates (X O , Y O , Z O ) of the irradiation reference point RP of the laser distance measuring unit 13 accompanying the flight of the aircraft 2 in a table format.
  • the table of FIG. 11 shows positions when the aircraft 2 flies for 3 seconds at a constant speed along the positive direction of the X axis. In the table of FIG.
  • the position of the right camera 12R is the position of the projection center of the right camera 12R, and is indicated by a triangular symbol.
  • the position of the left camera 12L is the position of the projection center of the left camera 12L, and is indicated by a square symbol.
  • the position of the laser distance measuring unit 13 is the position of the irradiation reference point RP, and is indicated by a circle.
  • the right camera 12R, the laser distance measuring unit 13, and the left camera 12L are arranged along the Y-axis direction.
  • the right camera 12R, the laser distance measuring unit 13, and the left camera 12L advance by 1 meter in the X-axis positive direction and at the same time 0 in the Y-axis positive direction. It is shifted by 5 meters.
  • the right camera 12R, the laser distance measuring unit 13, and the left camera 12L advance further by 1 meter in the X-axis positive direction and at the same time in the Z-axis negative direction.
  • the aircraft 2 may fly while tilting in a rolling direction around the X axis, a pitching direction around the Y axis, and a yawing direction around the Z axis.
  • FIG. 16A and FIG. 16B are diagrams showing examples of measurement results (distance L and irradiation angle ⁇ ) of the laser distance measuring unit 13 accompanying the flight of the aircraft 2.
  • the measurement result of the laser ranging unit 13 is stored in the memory 17 as a record of the combination of the measured time t, irradiation angle ⁇ , and distance L for each measurement. In the example of FIG. 16A, four measurements are performed per second.
  • the right camera image R0 and the left camera image L0 are captured.
  • the right camera image R1 and the left camera image L1 are captured.
  • the right camera image R2 and the left camera image L1 are captured.
  • a camera image L2 is captured.
  • Such a captured image group is stored in the memory 17.
  • FIG. 18 is a block diagram showing a schematic configuration of posture estimation apparatus 30 according to the first embodiment of the present invention.
  • the posture estimation device 30 includes a memory interface unit (memory I / F unit) 31, a data acquisition unit 32, a coordinate calculation unit 33, an image matching unit 34, and a posture estimation unit 35.
  • the coordinate calculation unit 33 includes a ranging point coordinate calculation unit 33A and an image coordinate calculation unit 33B.
  • a memory 17 that is a portable recording medium is detachably attached to the memory I / F unit 31.
  • the data acquisition unit 32 acquires observation data including positioning data, ranging data, actual posture data, and a captured image group from the memory 17 via the memory I / F unit 31.
  • posture estimation apparatus 30 is not directly connected to observation apparatus 10. For this reason, in order for the data acquisition unit 32 to acquire observation data, the user needs to remove the memory 17 from the aircraft 2 and attach the removed memory 17 to the attitude estimation device 30.
  • posture estimation apparatus 30A of the second embodiment described later can acquire observation data from observation apparatus 10A through wireless communication.
  • the ranging point coordinate calculation unit 33A uses the positioning data, ranging data, and actual attitude data of the observation data, and an estimated value of an unknown parameter indicating the attitude of the aircraft 2, and uses a WGS-84 coordinate system or the like.
  • the position coordinates (hereinafter also referred to as “geodetic coordinates”) of one or more ranging points in the geodetic coordinate system can be calculated.
  • the superscript T is a symbol indicating transposition of a matrix.
  • the ranging point coordinate calculation unit 33A can calculate the geodetic coordinates Q (p) of the p-th ranging point according to the following equation (1), for example.
  • [X O , Y O , Z O ] T is a three-dimensional position vector indicating the position coordinates of the irradiation reference point RP calculated based on the positioning data.
  • D is a relative position vector of a distance measuring point calculated based on distance measurement data with the irradiation reference point RP as a reference.
  • the relative position vector D is a vector representing the position coordinates of the distance measuring point with the irradiation reference point RP as the origin.
  • the distance measurement point coordinate calculation unit 33A can calculate the relative position vector D according to the following equation (2), for example.
  • M ( ⁇ ) is a rotation matrix that rotates the three-dimensional coordinates around the X-axis direction by the rotation angle ⁇
  • M ( ⁇ ) is the three-dimensional coordinates around the Y-axis direction
  • M ( ⁇ ) is a rotation matrix that rotates three-dimensional coordinates around the Z-axis direction by a rotation angle ⁇ .
  • the distance measuring point coordinate calculation unit 33A can interpolate the rotation angles ⁇ , ⁇ , ⁇ by the following equation (3a).
  • r is an interpolation coefficient, and is given by, for example, the following equation (3b).
  • floor (x) is a floor function that gives a maximum integer less than or equal to x for a real number x.
  • the rotation angle ⁇ corresponds to the roll angle around the X axis
  • the rotation angle ⁇ corresponds to the pitch angle around the Y axis
  • the rotation angle ⁇ corresponds to the yaw angle around the Z axis.
  • the attitude sensor 15 of the present embodiment can detect a combination of the roll angle and the pitch angle indicating the attitude of the aircraft 2 as actual attitude data, but does not detect the yaw angle. Therefore, when actual posture data with a certain accuracy is detected, the ranging point coordinate calculation unit 33A knows the rotation angles ⁇ and ⁇ that define the rotation matrices M ( ⁇ ) and M ( ⁇ ) from the actual posture data. However, the rotation angle ⁇ that defines the rotation matrix M ( ⁇ ) is an unknown parameter. In this case, the distance measuring point coordinate calculation unit 33A sets the initial value of the estimated value of the rotation angle ⁇ to 0 degrees. Thereby, the distance measurement point coordinate calculation unit 33A can calculate the geodetic coordinates Q (p) of each distance measurement point according to the above equation (1).
  • the distance measuring point coordinate calculation unit 33A sets the initial values of the estimated values of the rotation angles ⁇ , ⁇ , ⁇ to 0 degrees.
  • the ranging point coordinate calculation unit 33A sets initial values of the estimated values of the rotation angles ⁇ and ⁇ to values based on the actual posture data, and sets the rotation angle ⁇ . The initial value of the estimated value is set to 0 degrees.
  • the distance measurement point coordinate calculation unit 33A can calculate the geodetic coordinates Q (p) of each distance measurement point according to the above equation (1).
  • correction values for the estimated values of these unknown parameters are calculated based on the nonlinear least square method.
  • the image coordinate calculation unit 33B performs a first projection conversion from the geodetic coordinate system to the projection plane coordinate system (image coordinate system) of the right camera 12R for each ranging point, on the geodetic coordinates Q (p), and thereby obtains a two-dimensional image.
  • calculates a first projection point coordinates S R is the coordinate
  • the second projection transformation geodetic coordinates Q to the projection plane coordinate system of the left camera 12L from geodetic coordinate system for each distance measuring points (image coordinate system) ( subjected to p)
  • a second projection coordinates S L is a two-dimensional image coordinates. Details of the first and second projection transformations will be described later.
  • the image matching unit 34 performs image matching between two captured images (first captured image and second captured image) selected from the captured image group, and performs measurement that appears in one of the two captured images. The image coordinates of the distance point are detected.
  • the posture estimation unit 35 estimates the unknown parameters so that the difference between the image coordinates detected by the image matching unit 34 and the corresponding projection point coordinates S L or S R becomes small.
  • the correction amount for is calculated.
  • the posture estimation unit 35 can calculate the correction amount based on a nonlinear least square method to be described later.
  • the posture estimation unit 35 can correct the estimated value of the unknown parameter using the correction amount.
  • the hardware configuration of the posture estimation apparatus 30 can be realized by a computer with a built-in CPU such as a workstation or a main frame.
  • the hardware configuration of the attitude estimation device 30 may be realized by an LSI such as a DSP, ASIC, FPGA, or a combination thereof.
  • FIG. 19A is a block diagram illustrating a schematic configuration of an information processing device 30S that is a hardware configuration example of the posture estimation device 30.
  • the information processing apparatus 30S includes a processor 50 including a CPU 50c, a memory interface circuit (memory I / F circuit) 51, a RAM 52 used as a working memory of the processor 50, software and firmware. It comprises a non-volatile memory 53 in which one or both computer programs are stored.
  • the components 50 to 53 of the information processing apparatus 30S are connected to each other via a signal path 54 such as a bus circuit.
  • the memory I / F circuit 51 is a circuit that realizes the function of the memory I / F unit 31 of FIG.
  • the processor 50 reads out and executes a computer program that is software, firmware, or a combination thereof from the non-volatile memory 53, thereby executing the data acquisition unit 32, the coordinate calculation unit 33, the image matching unit 34, and the posture estimation in FIG.
  • the function of the unit 35 can be realized.
  • the non-volatile memory 53 for example, a ROM, a flash memory, an EPROM, an EEPROM, a magnetic disk, or an optical disk can be used, but is not limited thereto.
  • FIG. 19B is a block diagram illustrating a schematic configuration of an information processing device 30H, which is another hardware configuration example of the posture estimation device 30.
  • the information processing apparatus 30 ⁇ / b> H includes a dedicated hardware processing circuit 56 such as a DSP, ASIC, or FPGA, and a memory interface circuit (memory I / F circuit) 57.
  • the processing circuit 56 and the memory I / F circuit 57 are connected to each other via a signal path 58 such as a bus circuit.
  • the memory I / F circuit 57 is a circuit that realizes the function of the memory I / F unit 31 of FIG.
  • the processing circuit 56 realizes the functions of the data acquisition unit 32, the coordinate calculation unit 33, the image matching unit 34, and the posture estimation unit 35 of FIG.
  • the functions of the data acquisition unit 32, the coordinate calculation unit 33, the image matching unit 34, and the posture estimation unit 35 are realized by dedicated hardware, and the other part of the functions is realized by software or firmware. May be.
  • the functions of the data acquisition unit 32 may be realized by a dedicated hardware processing circuit
  • the functions of the coordinate calculation unit 33, the image matching unit 34, and the posture estimation unit 35 may be realized by a processor including a CPU.
  • FIG. 20 is a flowchart schematically showing an example of the procedure of the posture estimation process according to the first embodiment.
  • the data acquisition unit 32 acquires observation data including positioning data, distance measurement data, actual posture data, and a captured image group (step ST11).
  • the actual posture data is data indicating a non-zero posture angle when the aircraft 2 is tilted as described above.
  • Figure 21A ⁇ FIG 21C is a diagram showing an example of the relationship between the captured image IMG0, IMG1 distance measuring point K p when no inclined aircraft 2,
  • FIGS. 22A and 22B inclined aircraft 2 is a diagram illustrating an example of the relationship between the captured image IMG0, IMG1 and distance measuring point K p when the.
  • FIG. 21A shows an arrangement example of the right camera 12R and the left camera 12L at times t 0 and t 1.
  • FIG. 21B shows a left camera image IMG0 captured by the left camera 12L at time t 0 and a right at time t 1 .
  • the right camera image IMG1 imaged by the camera 12R is shown.
  • Figure 21C is a diagram schematically showing the positional relationship between the right camera 12R and left camera 12L at time t 0, t 1 and the distance measuring point K p.
  • the distance measuring point image 80 and 81 represent identical distance measuring point K p has appeared in the left camera image IMG0 and right camera image IMG1 as shown in Figure 21B.
  • the right camera image IMG1 shows ⁇ u from the position of the distance measuring point image 81 in FIG. 21B to the right as shown in FIG. 22A.
  • a distance measuring point image 82 appears at a position shifted by a distance of.
  • the distance measuring point coordinate calculation unit 33A in the coordinate calculation unit 33 identifies an unknown posture angle that is an unknown parameter, and initializes a correction amount for the estimated value of the unknown posture angle (step ST12). ). Specifically, the distance measuring point coordinate calculation unit 33A can initialize all the estimated values of the unknown posture angles to 0 degrees. For example, at time t 0 , only the yaw angle is unknown among the roll angle, pitch angle, and yaw angle.
  • the ranging point coordinate calculation unit 33A sets the estimated values of these unknown posture angles as initial values (0). Degree).
  • the distance measurement point coordinate calculation unit 33A based on the positioning data, distance measurement data, actual posture data, and the estimated value of the unknown posture angle, the geodetic coordinate Q that is the position coordinate of each distance measurement point in the geodetic coordinate system. (P) is calculated (step ST13).
  • the calculation method of the geodetic coordinate Q (p) is as described above.
  • the image coordinate calculation unit 33B performs a first projection conversion from the geodetic coordinate system to the projection plane coordinate system of the right camera 12R with respect to the geodetic coordinates Q (p) of each ranging point to perform a two-dimensional operation.
  • the first projection point coordinates that are the image coordinates are calculated (step ST14), and further, the geodetic coordinate system Q (p) of each ranging point is transferred from the geodetic coordinate system to the projection plane coordinate system of the left camera 12L.
  • Second projection transformation is executed to calculate second projection point coordinates, which are two-dimensional image coordinates (step ST15).
  • the imaging times t i and t j are separated from each other by the sampling interval (data acquisition cycle) of the captured image.
  • this pair selection is referred to as pairing.
  • the right camera image is referred to as a first captured image
  • the left camera image is referred to as a second captured image.
  • the imaging unit 11 captures a distance measuring point at intervals of 1 second.
  • the imaging times t i and t j are different times, but are not limited to this, and may be the same time.
  • a pair of a left camera image and a right camera image is selected.
  • the present invention is not limited to this, and two left camera images captured from different positions at different times. Or a pair of two right camera images captured from different positions at different times may be selected.
  • a change in the subject on the image according to the attitude of the aircraft 2 can be used for estimating the attitude of the aircraft 2.
  • the image coordinate calculation unit 33B converts the geodetic coordinate Q (p) into a relative position vector C Li (p) based on the projection center of the left camera 12L according to the following equation (4L). 4R), the geodetic coordinate Q (p) is converted into a relative position vector C Rj (p) based on the projection center of the right camera 12R.
  • Q L (t i ) is the projection center coordinate of the left camera 12L at the imaging time t i
  • Q R (t j ) is the projection center coordinate of the right camera 12R at the time t j .
  • the projection center coordinates Q L (t i ) and Q R (t j ) are given by the following expressions (5L) and (5R).
  • R LC is a relative position vector of the projection center of the left camera 12L
  • R RC is a relative position vector of the projection center of the right camera 12R.
  • the relative position vectors R LC and R RC are given by the following equation (6).
  • the image coordinate calculation unit 33B uses the relative position vectors C Li (p) and C Rj (p) to perform the first projection point coordinates S R (p) and the second projection according to the following equation (7).
  • the point coordinates S L (p) are calculated.
  • f is the focal length of the left camera 12L and the right camera 12R.
  • the image matching unit 34 performs image matching between the paired first captured image (right camera image) and second captured image (left camera image).
  • the image coordinates of each ranging point appearing in the first captured image are detected (step ST16). Specifically, the image matching unit 34 extracts a local region image designated by the second projection point coordinates from the second captured image as a template image, and between this template image and the first captured image. What is necessary is just to detect the image coordinate of each ranging point which appears in a 1st captured image by performing the known template matching method.
  • the x-coordinate value of the image coordinates of the p-th ranging point is represented as SCAN x (x Li (p) , y Li (p) ), and the y-coordinate value of the image coordinates is represented by SCAN y (x Li (p)). , Y Li (p) ).
  • (x Li (p) , y Li (p) ) is the second projection point coordinates of the p-th distance measuring point.
  • the posture estimation unit 35 calculates a correction amount for reducing the magnitude of the difference between the first projection point coordinates and the image coordinates with respect to the unknown posture angle estimation value (step ST17). Specifically, the correction amount may be calculated using a nonlinear least square method. The nonlinear least square method will be described later.
  • posture estimation unit 35 corrects the estimated value of the unknown posture angle using the correction amount (step ST18). If the number of repetitions of steps ST12 to ST18 has not reached the predetermined number (NO in step ST19), posture estimation unit 35 moves the process to step ST12. When steps ST12 to ST18 are repeated a certain number of times, the estimated value of the unknown posture angle is converged by correction.
  • posture estimation unit 35 stores posture data including an estimated value of unknown posture angle and actual posture data in memory I / F. It outputs to the part 31 (step ST20).
  • the memory I / F unit 31 stores the attitude data in the memory 17.
  • ⁇ C is an estimated value vector composed of estimated values of unknown posture angles.
  • ⁇ is a correction amount (correction vector) for the estimated value vector ⁇ C and is given by the following equation (9).
  • observation functions F xij (p) ( ⁇ ) and F yij (p) ( ⁇ ) indicating the difference between the image coordinates and the first projection point coordinates for the p-th ranging point are expressed by the following formulas ( 10) and (11).
  • a set of observation equations of the following equations (12) and (13) can be configured by the nonlinear least square method.
  • ⁇ C attached to the first term on the right side means that the value of the estimated value vector ⁇ C is substituted.
  • v xij (p) and v yij (p) on the left side are residuals.
  • design matrix ⁇ in the estimated value vector ⁇ C can be defined by the following equation (16).
  • the posture estimation unit 35 can calculate the correction vector ⁇ in accordance with the equation (18) in step ST17, and can correct the estimated value in accordance with the equation (8) in step ST18.
  • ⁇ 1 >, ⁇ 2 >, ⁇ 2 >, ⁇ 2 > are elements of the estimated value vector ⁇ C.
  • the observation equation at this time is as the following equations (21) and (22).
  • FIG. 23A is a numerical example of the geodetic coordinates (X G , Y G , Z G ) of the ranging points of the 0th to 11th ranging points calculated based on the above formula (1) (p is the ranging)
  • FIG. 23B shows projection center coordinates (X L , Y L , Z L ), (X R , Y R , Z) calculated based on the above formulas (5L) and (5R). It is a table showing the numerical example of R ).
  • t 0 0.0
  • t 1 1.0
  • t 2 2.0
  • FIG. 23A is a numerical example of the geodetic coordinates (X G , Y G , Z G ) of the ranging points of the 0th to 11th ranging points calculated based on the above formula (1) (p is the ranging)
  • FIG. 23B shows projection center coordinates (X L , Y L , Z L
  • FIG. 24 shows a numerical example of the first projection point coordinates and (x R , y R ) and second projection point coordinates (x L , y L ) calculated based on the above equation (7). It is a table.
  • FIG. 25 is a diagram illustrating a numerical example of image coordinates (SCAN x (x Li , y Li ), SCAN y (x Li , y Li )).
  • ⁇ 0 ⁇ 1 (time t 1 )
  • ⁇ 1 ⁇ 2 (time t 2 )
  • ⁇ 2 ⁇ 2 (time t 2 )
  • ⁇ 3 ⁇ 2 (time t 2 )
  • Fixed stereo is a technique in which two cameras are arranged with an interval between them.
  • the pairing of the left camera image at time t i and the right camera image at time t j corresponds to fixed stereo.
  • the motion stereo is a method of shooting from different shooting positions by flying a camera. Pairing of the camera image at time t i and the camera image at time t j corresponds to motion stereo.
  • the configuration using the left camera 12L and the right camera 12R has been shown, but a single camera may be used. In this case, a pair of a camera image at time t i and a camera image at time t j may be used.
  • the unknown parameter is one of the three parameters of the attitude angle for each time, but may be six parameters including the three-dimensional position coordinates of the aircraft 2, such as the focal length f.
  • the internal parameters may be included.
  • the observation system 1 pays attention to the fact that the coordinates of corresponding points between images captured at different imaging positions are shifted depending on the attitude of the aircraft 2, and the difference between these coordinates.
  • the estimated value of the unknown posture angle can be corrected so that the size of the angle becomes smaller. Therefore, the attitude of the aircraft 2 can be estimated with high accuracy without using an IMU or a stabilizer.
  • the coordinate calculation is executed by setting the initial value of the estimated value of the rotation angle ⁇ as 0 degree.
  • the approximate solution of the rotation angle ⁇ is the time series of the positioning coordinates measured by the GNSS positioning unit 14. You can also get from Therefore, the initial value of the estimated value of the rotation angle ⁇ may be set as the approximate solution.
  • a memory 17 that is a portable recording medium is mounted on the aircraft 2 and used.
  • the attitude angle of the aircraft 2 can be estimated after the flight is completed, and the survey result is corrected using the estimated attitude angle. You can also.
  • FIG. 30 is a block diagram showing a schematic configuration of an observation system 1A according to the second embodiment of the present invention.
  • this observation system 1A includes an aircraft 2A including an observation device 10A, a memory 17, a flight control device 21, and a thrust generation mechanism 22, an attitude estimation device 30A, and a flight route setting device 40A. Configured.
  • the configuration of the observation device 10A mounted on the aircraft 2A is the same as the configuration of the observation device 10 of the first embodiment except that the observation device 10A includes the wireless communication unit 18.
  • the wireless communication unit 18 has a function of transmitting and receiving data such as route data and observation data by performing wireless communication with the attitude estimation device 30A and the flight route setting device 40A.
  • FIG. 31 is a block diagram illustrating a schematic configuration of the posture estimation apparatus 30A according to the second embodiment.
  • the configuration of the posture estimation device 30A is the same as that of the posture estimation device 30 of the first embodiment except that it includes a wireless interface unit (wireless I / F unit) 31WL instead of the memory I / F unit 31 of FIG. Same as the configuration. Since the wireless I / F unit 31WL has a function of performing wireless communication with the wireless communication unit 18 of the observation apparatus 10A illustrated in FIG. 30, the wireless I / F unit 31WL receives data such as the above observation data from the wireless communication unit 18, The attitude data generated by the estimation unit 35 can be transmitted to the wireless communication unit 18.
  • wireless I / F unit 31WL has a function of performing wireless communication with the wireless communication unit 18 of the observation apparatus 10A illustrated in FIG. 30
  • the wireless I / F unit 31WL receives data such as the above observation data from the wireless communication unit 18,
  • the attitude data generated by the estimation unit 35 can be transmitted to the wireless communication unit 18.
  • FIG. 32 is a block diagram showing a schematic configuration of the flight route setting device 40A of the second embodiment.
  • the configuration of the flight route setting device 40A is the same as that of the first embodiment except that it has a wireless interface unit (wireless I / F unit) 44WL instead of the memory I / F unit 44 of FIG.
  • the configuration is the same as that of 40.
  • the wireless I / F unit 44WL has a function of performing wireless communication with the wireless communication unit 18 of the observation apparatus 10A illustrated in FIG. 30, and thus wirelessly communicates route data and period data generated by the route data generation unit 43. It can be transmitted to the unit 18.
  • the observation control unit 16 can control the imaging unit 11, the laser ranging unit 13, the GNSS positioning unit 14, and the attitude sensor 15 using the periodic data received by the wireless communication unit 18.
  • the observation control unit 16 stores the route data received by the wireless communication unit 18 in the memory 17.
  • the flight control device 21 can control the speed, course, and attitude of the aircraft 2 according to the route data. Therefore, the flight route setting device 40A can remotely control the aircraft 2 by supplying route data to the aircraft 2A in flight in real time without using the memory 17.
  • the attitude estimation apparatus, observation system, and attitude estimation method according to the present invention can estimate the attitude of the flying object equipped with the observation equipment with high accuracy. Applicable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

姿勢推定装置（３０）は、観測データを取得するデータ取得部（３２）と、測位データ、測距データ、実姿勢データ及び飛行体の姿勢を示す未知のパラメータの推定値を用いて、測地座標系における測距点の測地座標を算出する測距点座標算出部（３３Ａ）と、測地座標系から画像座標系への投影変換を測地座標に施して投影点座標を算出する画像座標算出部（３３Ｂ）と、撮像画像群から選択された第１の撮像画像と第２の撮像画像との間の画像マッチングを実行して第１の撮像画像に現れる当該測距点の画像座標を検出する画像マッチング部（３４）と、投影点座標と画像座標との間の差分の大きさが小さくなるように推定値を補正する姿勢推定部（３５）とを備える。

Description

姿勢推定装置、姿勢推定方法及び観測システム
　本発明は、観測機器を搭載した航空機などの飛行体の飛行姿勢を推定する技術に関する。
　上空から地表面または構造物などの地物（地上にある物）の測量または調査を行うために、撮像カメラ及びレーザ測距計などの観測機器を搭載した飛行体を使用することがある。この種の飛行体を使用した測量システムは、たとえば、特許文献１（特開２０１４－１４５７６２号公報）に開示されている。
　航空レーザ測量の場合には、飛行体の現在位置を取得する技術と、飛行体の飛行姿勢（たとえば、ローリング方向、ピッチング方向、ヨーイング方向の角度）を検出する技術とが必要である。飛行体の現在位置は、たとえば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：全地球的航法衛星システム）装置を用いて取得することができる。ＧＮＳＳ装置は、飛行体に搭載された状態でＧＮＳＳ衛星から電波を一定周期ごとに受信し、その受信電波を解析して当該飛行体の現在位置を検出することができる。また、飛行体の飛行姿勢は、慣性計測装置（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ，ＩＭＵ）を用いて検出することができる。しかしながら、ＩＭＵは、非常に高価であるうえ、その持ち運びに一定の制限があり、その取り扱いに注意が必要であることから、ＩＭＵを搭載可能な飛行体の種類が限定されてしまうという課題がある。高い測定精度を維持するように構成されたＩＭＵの場合、その重量が比較的重い（たとえば４ｋｇ～２０ｋｇ程度）ことから、積載可能重量（たとえば積載可能重量２．５ｋｇ～３．５ｋｇ程度）が制限された飛行体（たとえば、無線遠隔操縦される小型無人ヘリコプター）にそのＩＭＵを搭載することが難しい。
　特許文献１に開示されている測量システムは、ＩＭＵを使用せずに、２以上の異なる位置から撮像された複数の撮像画像を用いたバンドル計算を実行することによって飛行姿勢を推定する。この測量システムにおける測量用カメラは、スタビライザーと呼ばれる姿勢安定化機構によって支持されるので、飛行中の飛行体の姿勢に依らずに撮影方向を鉛直下向きに保つことができる。
特開２０１４－１４５７６２号公報（たとえば、図１，図３及び図２０、並びに段落０１５２～０１６０）
　特許文献１に開示されている測量システムでは、測量用カメラの撮影方向を常に鉛直下向きに維持する姿勢安定化機構を飛行体に搭載することが必要であるため、測量システムの構成が複雑化するという課題がある。また、撮像画像のみを用いて飛行体の姿勢が推定されるので、その推定精度には限界がある。
　上記に鑑みて本発明の目的は、簡単な構成で飛行体の姿勢を高精度に推定することができる姿勢推定装置、姿勢推定方法及び観測システムを提供することである。
　本発明の一態様による姿勢推定装置は、測地座標系における飛行体の位置を示す測位データを出力する測位部と、前記飛行体から地上の測距点までの距離と当該測距点に対する角度方向とを計測して測距データを出力する測距部と、前記飛行体に搭載された状態で複数の撮像位置から当該測距点を撮像して撮像画像群を出力する撮像部と、重力方向を基準とした当該飛行体の姿勢を検出して実姿勢データを出力する姿勢センサとを含む観測装置と連携して動作する姿勢推定装置であって、前記測位データ、前記測距データ、前記実姿勢データ及び前記撮像画像群を前記観測装置から取得するデータ取得部と、前記測位データ、前記測距データ、前記実姿勢データ及び前記飛行体の姿勢を示す未知のパラメータの推定値を用いて、前記測地座標系における当該測距点の位置を示す測地座標を算出する測距点座標算出部と、前記測地座標系から画像座標系への投影変換を前記測地座標に施して投影点座標を算出する画像座標算出部と、前記撮像画像群から選択された第１の撮像画像と第２の撮像画像との間の画像マッチングを実行して前記第１の撮像画像に現れる当該測距点の画像座標を検出する画像マッチング部と、前記投影点座標と前記画像座標との間の差分の大きさが小さくなるように前記推定値を補正する姿勢推定部とを備えることを特徴とする。
　本発明の他の態様による観測システムは、前記観測装置と前記姿勢推定装置とを備えることを特徴とする。
　本発明によれば、簡単な構成で飛行体の姿勢を高精度に推定することができる。
本発明に係る実施の形態１である観測システムの概略構成を示すブロック図である。 実施の形態１の飛行体の一例を示す概略斜視図である。 実施の形態１の飛行ルート設定装置の概略構成を示すブロック図である。 図４Ａ及び図４Ｂは、実施の形態１の飛行ルート設定装置のハードウェア構成例を概略的に示すブロック図である。 実施の形態１に係る飛行ルート設定処理の手順の一例を示すフローチャートである。 実施の形態１に係るルートデータの一例をテーブル形式で示す図である。 ルートデータで定められた飛行ルートを説明するための図である。 飛行ルートの他の例を説明するための図である。 実施の形態１の観測装置におけるレーザ測距部、右カメラ及び左カメラの構成例の斜視図である。 図１０Ａは、図９に示した観測装置の正面図であり、図１０Ｂは、図９に示した観測装置の上面図であり、図１０Ｃは、図９に示した観測装置の右側面図である。 時刻ｔ＝０，１，２，３におけるレーザ測距部の照射基準点ＲＰの３次元座標の例をテーブル形式で示す図である。 図１２Ａ～図１２Ｃは、時刻ｔ＝０におけるレーザ測距部、右カメラ及び左カメラの位置座標を示すグラフである。 図１３Ａ～図１３Ｃは、時刻ｔ＝１におけるレーザ測距部、右カメラ及び左カメラの位置座標を示すグラフである。 図１４Ａ～図１４Ｃは、時刻ｔ＝２におけるレーザ測距部、右カメラ及び左カメラの位置座標を示すグラフである。 図１５Ａ～図１５Ｃは、時刻ｔ＝３におけるレーザ測距部、右カメラ及び左カメラの位置座標を示すグラフである。 図１６Ａは、レーザ測距部によって得られた照射角度及び測定距離の数値例をテーブル形式で示す図であり、図１６Ｂは、図１６Ａに示した照射角度と測定距離との間の関係を示すグラフである。 時刻ｔ＝０，１，２における右カメラ画像及び左カメラ画像の例を示す図である。 実施の形態１の姿勢推定装置の概略構成を示すブロック図である。 図１９Ａ及び図１９Ｂは、実施の形態１の姿勢推定装置のハードウェア構成例を概略的に示すブロック図である。 実施の形態１に係る姿勢推定処理の手順の一例を概略的に示すフローチャートである。 図２１Ａは、時刻ｔ＝ｔ０，ｔ１における実施の形態１の観測装置の配置を概略的に示す図であり、図２１Ｂは、時刻ｔ＝ｔ０，ｔ１にそれぞれ取得された撮像画像の例を示す図であり、図２１Ｃは、時刻ｔ＝ｔ０，ｔ１における観測装置と測距点との間の位置関係を概略的に示す図である。 図２２Ａは、時刻ｔ＝ｔ０，ｔ１にそれぞれ取得された撮像画像の他の例を示す図であり、図２２Ｂは、時刻ｔ＝ｔ０，ｔ１における観測装置と測距点との間の位置関係を概略的に示す図である。 図２３Ａ及び図２３Ｂは、実施の形態１に係る観測結果及び計算結果の数値例をテーブル形式で示す図である。 実施の形態１に係る他の観測結果及び計算結果の数値例をテーブル形式で示す図である。 画像座標の数値例をテーブル形式で示す図である。 誤差ベクトルの計算例を示す図である。 計画行列の一例を示す図である。 補正ベクトルの計算例を示す図である。 時刻ｔ＝０．００～３．００における姿勢角の計算結果をテーブル形式で示す図である。 本発明に係る実施の形態２である観測システムの概略構成を示すブロック図である。 実施の形態２の姿勢推定装置の概略構成を示すブロック図である。 実施の形態２の飛行ルート設定装置の概略構成を示すブロック図である。
　以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
実施の形態１．
　図１は、本発明に係る実施の形態１である観測システム１の概略構成を示すブロック図である。図１に示されるようにこの観測システム１は、飛行体である航空機２に搭載された状態で使用される観測装置１０と、この観測装置１０で得られた観測データが記憶されるメモリ１７と、当該観測データに基づいて航空機２の飛行姿勢（飛行中の姿勢）を推定する姿勢推定装置３０と、航空機２の飛行ルートを設定する飛行ルート設定装置４０とを備えて構成されている。或る瞬間の航空機２の姿勢状態は、重力方向を基準とした３つの回転角の組み合わせによって特定可能である。たとえば、航空機２のローリング方向、ピッチング方向及びヨーイング方向の姿勢角であるロール角、ピッチ角及びヨー角という３つの回転角の組み合わせによって航空機２の姿勢状態を特定することができる。
　なお、本実施の形態の姿勢推定装置３０及び飛行ルート設定装置４０は、航空機２とは物理的に分離して別に設けられているが、これに限定されるものではない。姿勢推定装置３０及び飛行ルート設定装置４０の一方または双方が航空機２に搭載されていてもよい。
　航空機２は、当該航空機２の推力（推進力）を発生させる推力発生機構２２と、メモリ１７と、このメモリ１７に記憶されているデータを用いて推力発生機構２２の動作を制御する飛行制御装置２１とを備えている。航空機２は、当該航空機２に搭乗したパイロットによって操縦される有人航空機でもよいし、あるいは、無人航空機（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ：ＵＡＶ）であってもよい。推力発生機構２２は、固定翼機または回転翼機を構成するためのプロペラ、ロータまたはジェットエンジンなどの推力発生源を有する。飛行制御装置２１は、推力発生機構２２を制御することにより機体の位置及び姿勢を自動的にコントロールすることができ、メモリ１７に記憶されているルートデータ（飛行ルートを定めるデータ）に従って推力発生機構２２を制御することにより機体の速度、進路及び姿勢を制御することができる。ルートデータは、飛行ルート設定装置４０によって設定される。飛行ルート設定装置４０の構成については後述する。
　メモリ１７としては、たとえば、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカードなどの携帯型の不揮発性メモリである可搬記録媒体が使用可能である。メモリ１７は、ルートデータだけでなく、観測装置１０で得られる観測データ（撮像画像群、測距データ、測位データ及び実姿勢データ）、及び観測装置１０におけるデータ取得周期を記憶するために使用される。
　図２は、航空機２の構成例を示す斜視図である。図２に示される航空機２は、機体２０と、この機体２０の周縁部に取り付けられた複数の推力発生器２２Ａ～２２Ｆとを有する無人航空機（ＵＡＶ）である。機体２０には、図示されていないが、図１に示した観測装置１０、メモリ１７及び飛行制御装置２１が取り付けられている。推力発生器２２Ａ～２２Ｆの各々は回転翼（ロータ）で構成されている。飛行制御装置２１は、メモリ１７から読み出されたルートデータで定められた飛行ルートに沿って航空機２を飛行させることができる。すなわち、飛行制御装置２１は、そのルートデータに従って推力発生器２２Ａ～２２Ｆの動作を個別に制御することにより、航空機２を図２のＺ軸方向に沿って上昇または下降させたり、Ｘ－Ｙ面における任意の方向に沿って、指定された飛行速度で水平移動させたり、あるいは、指定された時間だけ空中で静止（ホバリング）させたりすることが可能である。観測装置１０は、鉛直下方（Ｚ軸正方向）を観測することができるように機体２０の下部に取り付けられている。
　観測装置１０は、図１に示されるように、地上を撮像する撮像部１１と、航空機２から地上の単数または複数の測距点までの距離及びこれらの角度方向を測定するレーザ測距部１３と、複数のＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星を利用して観測装置１０の現在位置を測位するＧＮＳＳ測位部１４と、重力方向を基準とした航空機２の姿勢を検出して実姿勢データを出力する姿勢センサ１５と、これら撮像部１１，レーザ測距部１３、ＧＮＳＳ測位部１４及び姿勢センサ１５のそれぞれの動作を制御する観測制御部１６とを備えて構成されている。
　撮像部１１は、第１撮像部である左カメラ１２Ｌと、第２撮像部である右カメラ１２Ｒとを有する。左カメラ１２Ｌ及び右カメラ１２Ｒの各々は、たとえば、光学レンズと固体撮像素子とを有するディジタルカメラで構成されていればよい。固体撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが挙げられる。右カメラ１２Ｒ及び左カメラ１２Ｌの配置例については後述する。観測制御部１６は、撮像部１１で撮像された各撮像画像を観測日時（撮像日時）と関連付けてメモリ１７に格納する。
　観測制御部１６は、左カメラ１２Ｌ及び右カメラ１２Ｒを制御して、メモリ１７に記憶されている予め定められたデータ取得周期すなわち撮像周期ごとに（たとえば、１秒ごとに）地表面の撮像を実行させることができる。撮像周期については、航空機２の実際の飛行前にユーザが飛行ルート設定装置４０を用いてその撮像周期の値を設定することができる。
　レーザ測距（Ｌａｓｅｒ　Ｒａｎｇｉｎｇ）部１３は、照射角度を変えながらレーザ光を測量対象である地表面に向けて照射し、当該地表面の単数または複数の測距点から反射レーザ光をそれぞれ受光する。レーザ測距部１３は、その受光結果に基づいて、観測装置１０の基準点（具体的には、レーザ測距部１３の照射基準点）から各測距点までの距離Ｌを計測し、且つ当該各測距点に対する角度方向を示す照射角度θを計測することができる。レーザ測距部１３は、たとえば、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式に従って、レーザ光を各測距点に向けて出射した時点から反射レーザ光が戻ってきた時点までの伝播時間を計測し、その計測結果に基づいて各測距点までの距離Ｌ及び照射角度θを計測すればよい。照射角度θは、予め定められた特定方向からの角度が計測される。観測制御部１６は、各測距点までの距離Ｌ及び照射角度θを示す測距データを観測日時（測距日時）と関連付けてメモリ１７に格納する。
　ＧＮＳＳ測位部１４は、ＧＮＳＳ（全地球航法衛星システム）による航法信号を複数のＧＮＳＳ衛星から受信し、当該航法信号に基づいて測地座標系における観測装置１０の現在位置（具体的には、レーザ測距部１３の照射基準点の現在位置）を測位する。その測位結果を示す測位データは観測制御部１６に出力される。測地座標系には、たとえば、ＷＧＳ（Ｗｏｒｌｄ　Ｇｅｏｄｅｔｉｃ　Ｓｙｓｔｅｍ）－８４座標系あるいはＩＴＲＦ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｒｒｅｓｔｒｉａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｆｒａｍｅ）座標系が使用可能であるが、これに限定されるものではない。ＧＮＳＳとしては、たとえば、米国により運用されるＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ロシア連邦により運用されるＧＬＯＮＡＳＳ（ＧＬＯｂａｌ　ＮＡｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）、欧州連合により運用されるＧａｌｉｌｅｏシステム、または日本により運用されるＱＺＳＳ（Ｑｕａｓｉ－Ｚｅｎｉｔｈ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ：準天頂衛星システム）を利用することができる。観測制御部１６は、その測位データを観測時刻（測位時刻）と関連付けてメモリ１７に格納する。
　観測制御部１６は、ＧＮＳＳ測位部１４を制御して、メモリ１７に記憶されている予め定められたデータ取得周期すなわち測位周期ごとに（たとえば、１秒ごとに）測位を実行させることができる。測位周期については、航空機２の実際の飛行前にユーザが飛行ルート設定装置４０を用いて測位周期の値を設定することができる。観測制御部１６は、上記の撮像周期と同期した測位周期でＧＮＳＳ測位部１４に測位を実行させてもよい。
　なお、ＧＮＳＳ測位部１４の測位基準点とレーザ測距部１３の照射基準点との間の差は、ＧＮＳＳ測位部１４の測定精度に対して許容範囲内にあるものとする。すなわち、ＧＮＳＳ測位部１４の測位基準点は、レーザ測距部１３の照射基準点と同一の位置に配置されているとみなされる。本実施の形態では、レーザ測距部１３の照射基準点の位置は、観測装置１０の位置とみなされている。
　姿勢センサ１５は、静加速度である重力加速度の方向すなわち重力方向を検出し、当該重力方向と当該姿勢センサ１５の基準方向との間の角度情報を実姿勢データとして検出する。具体的には、姿勢センサ１５は、航空機２の進行方向（すなわちＸ軸方向）の周りの回転角であるロール角と、当該進行方向及び重力方向（すなわちＺ軸方向）の双方に垂直なＹ軸方向の周りの回転角であるピッチ角との組み合わせを実姿勢データとして検出することができる。このような姿勢センサ１５は、たとえば、単体で２つの回転角を検出可能な２軸式重力方向センサでもよいし、あるいは、２個の１軸式重力方向センサの組み合わせであってもよい。ここで、２軸式加速度センサの２本の基準軸、または２個の１軸式加速度センサの組み合わせの２本の基準軸は、互いに９０度で交差するように配置される。また、２軸式重力方向センサまたは１軸式重力方向センサは、たとえば、ピエゾ抵抗型または静電容量型の加速度センサで構成可能であり、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）デバイスとして構成されてもよい。
　本実施の形態の航空機２は、予め設定されたルートデータで定められる周期ごとにホバリングする。このホバリング時に、姿勢センサ１５は、航空機２のロール角及びピッチ角の組み合わせを実姿勢データとして検出する。観測制御部１６は、その実姿勢データを観測日時（検出日時）と関連付けてメモリ１７に格納する。航空機２が水平状態から傾いたとき、Ｘ軸方向周りのロール角、Ｙ軸方向周りのピッチ角及びＺ軸方向周りのヨー角という３種類の姿勢角のうちの少なくとも１つの姿勢角が非零の値となる。或る時刻における航空機２の完全な姿勢状態を特定するには、ロール角及びピッチ角だけでなく、ヨー角を取得する必要がある。このヨー角は、後述するように姿勢推定装置３０によって推定される。
　次に、飛行ルート設定装置４０の構成について説明する。図３は、本発明に係る実施の形態１の飛行ルート設定装置４０の概略構成を示すブロック図である。
　図３に示されるように飛行ルート設定装置４０は、入出力インタフェース部（入出力Ｉ／Ｆ部）４１、入力データ処理部４２、ルートデータ生成部４３及びメモリインタフェース部（メモリＩ／Ｆ部）４４を有する。入出力Ｉ／Ｆ部４１は、操作入力部４６及び表示部４７と接続されている。メモリＩ／Ｆ部４４には、可搬記録媒体であるメモリ１７が着脱自在に装着される。
　操作入力部４６は、ユーザによる操作入力を検出し、当該検出された操作入力を入出力Ｉ／Ｆ部４１に出力する。操作入力部４６は、ユーザによる操作入力を受け付ける入力ボタンまたは入力キーを有する入力デバイスである。たとえば、キーボード、あるいは、マウスもしくはタッチパネルなどのポインティングデバイスを操作入力部４６として使用可能である。入出力Ｉ／Ｆ部４１は、その操作入力を、航空機２の飛行ルートまたは上述のデータ取得周期を指示する設定データとして入力データ処理部４２に供給することができる。また、入力データ処理部４２は、設定用画面を表示部４７に表示させることもできる。ユーザは、その設定用画面を視認しつつ操作入力部４６を操作して設定データを入力することが可能である。表示部４７は、たとえば、液晶表示パネルまたは有機ＥＬ表示パネルなどの画像表示デバイスで構成されればよい。
　入力データ処理部４２は、飛行ルートまたはデータ取得周期を指示する設定データを受け付けると、当該設定データを解釈してその解釈結果をルートデータ生成部４３に出力する。ルートデータ生成部４３は、その解釈結果に基づき、航空機２の飛行ルートを定めるルートデータを生成し、またはデータ取得周期を定める周期データを生成する。メモリＩ／Ｆ部４４は、当該ルートデータまたは当該周期データをメモリ１７に格納する。メモリ１７にルートデータまたは周期データが格納された後は、ユーザは、このメモリ１７を飛行ルート設定装置４０から取り外して当該航空機２に装着することができる。
　上記飛行ルート設定装置４０のハードウェア構成は、たとえば、ワークステーションまたはメインフレームなどのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）内蔵のコンピュータで実現可能である。あるいは、飛行ルート設定装置４０のハードウェア構成は、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはこれらの組み合わせなどのＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）により実現されてもよい。
　図４Ａは、飛行ルート設定装置４０のハードウェア構成例である情報処理装置４０Ｓの概略構成を示すブロック図である。図４Ａに示されるように情報処理装置４０Ｓは、ＣＰＵ６０ｃを含むプロセッサ６０と、メモリインタフェース回路（メモリＩ／Ｆ回路）６１と、プロセッサ６０の作業用メモリとして使用されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６２と、ソフトウェア及びファームウェアの一方または双方のコンピュータ・プログラムが格納される不揮発性メモリ６３と、操作入力部４６に接続される入力インタフェース回路（入力Ｉ／Ｆ回路）６４Ａと、表示部４７に接続される表示インタフェース回路（表示Ｉ／Ｆ回路）６４Ｂとを備えて構成されている。この情報処理装置４０Ｓの構成要素６０～６３，６４Ａ，６４Ｂは、バス回路などの信号路６５を介して相互に接続されている。メモリＩ／Ｆ回路６１は、図３のメモリＩ／Ｆ部４４の機能を実現する回路であり、入力Ｉ／Ｆ回路６４Ａ及び表示Ｉ／Ｆ回路６４Ｂは、図３の入出力Ｉ／Ｆ部４１の機能を実現する回路である。
　プロセッサ６０は、不揮発性メモリ６３から、ソフトウェアもしくはファームウェアまたはこれらの組み合わせであるコンピュータ・プログラムを読み出して実行することにより、図３の入力データ処理部４２及びルートデータ生成部４３の機能を実現することができる。不揮発性メモリ６３としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）、磁気ディスクまたは光ディスクを使用することができるが、これらに限定されるものではない。
　図４Ｂは、飛行ルート設定装置４０の他のハードウェア構成例である情報処理装置４０Ｈの概略構成を示すブロック図である。図４Ｂに示されるように情報処理装置４０Ｈは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどの専用ハードウェアの処理回路６６と、メモリインタフェース回路（メモリＩ／Ｆ回路）６７と、操作入力部４６に接続される入力インタフェース回路（入力Ｉ／Ｆ回路）６８Ａと、表示部４７に接続される表示インタフェース回路（表示Ｉ／Ｆ回路）６８Ｂとを備えて構成されている。この情報処理装置４０Ｈの構成要素６６，６７，６８Ａ，６８Ｂは、バス回路などの信号路６９を介して相互に接続されている。メモリＩ／Ｆ回路６７は、図３のメモリＩ／Ｆ部４４の機能を実現する回路であり、入力Ｉ／Ｆ回路６８Ａ及び表示Ｉ／Ｆ回路６８Ｂは、図３の入出力Ｉ／Ｆ部４１の機能を実現する回路である。処理回路６６は、入力データ処理部４２及びルートデータ生成部４３の機能を実現する。
　次に、図５を参照しつつ、上記飛行ルート設定装置４０の動作例を以下に説明する。図５は、実施の形態１に係る飛行ルート設定処理の手順の一例を概略的に示すフローチャートである。
　図５を参照すると、入力データ処理部４２は、操作入力部４６から入出力Ｉ／Ｆ部４１を介して設定データが入力されるまで待機している（ステップＳＴ１のＮＯ）。設定データが入力されると（ステップＳＴ１のＹＥＳ）、入力データ処理部４２は、当該入力された設定データを解釈する（ステップＳＴ２）。当該解釈結果は、ルートデータ生成部４３に供給される。ユーザは、所定のフォーマットによる設定コマンドを設定データとして入力することができる。入力データ処理部４２は、設定終了コマンドが入力されていないと解釈した場合には（ステップＳＴ３のＮＯ）、「次の設定データを入力してください」などの、更なる入力を促すメッセージを表示部４７に表示させる（ステップＳＴ４）。その後、入力データ処理部４２は、ステップＳＴ１を実行する。
　たとえば、日付「２０１５年１２月２４日」の時刻「２１時５６分３０秒」において緯度「３５度２１分１４．５７２秒」及び経度「１３９度３１分５２．６７６秒」で指定される地点の通過を指示する場合、ユーザは、以下の例１の通過コマンド（ダブルクォーテーションマークを除く。）を設定コマンドとして入力することができる。緯度及び経度の表記は、ＷＧＳ－８４座標系によるものである。
　　例１："35.354048,139.531299, 2015/12/24/21:56:30"
　また、日付「２０１５年１２月２４日」の時刻「２１時５６分３０秒」において緯度「３５度２１分１４．５７２秒」及び経度「１３９度３１分５２．６７６秒」で指定される地点での「１０秒間」のホバリングを指示する場合、ユーザは、以下の例２のホバリングコマンド（ダブルクォーテーションマークを除く。）を設定コマンドとして入力することができる。
　　例２："35.354048,139.531299, 2015/12/24/21:56:30 10secHov"
　また、右カメラ画像のデータ取得周期（取得間隔）を１秒間に設定する場合、ユーザは、以下の例３のデータ取得間隔設定コマンド（ダブルクォーテーションマークを除く。）を入力することができる。
　　例３："Set RightCamera Interval 1sec"
　そして、ユーザは、以下の例４の設定終了コマンド（ダブルクォーテーションマークを除く。）を入力することができる。
　　例４："END"
　入力データ処理部４２が設定終了コマンドが入力されたと解釈した場合（ステップＳＴ３のＹＥＳ）、ルートデータ生成部４３は、設定終了コマンド以外の入力済み設定コマンドに基づいてルートデータを生成し（ステップＳＴ５）、このルートデータをメモリＩ／Ｆ部４４を介してメモリ１７に格納する（ステップＳＴ６）。なお、データ取得間隔設定コマンドが入力された場合には、ステップＳＴ５で周期データが生成され、ステップＳＴ６でこの周期データがメモリ１７に格納される。以上で飛行ルート設定処理は完了する。
　図６は、ルートデータの内容の一例をテーブル形式で示す図である。図６に示されるように、ルートデータは、１件当たり、「地点ＩＤ（地点識別子）」、「緯度」、「経度」、「日付」及び「時刻」からなるレコードの集合である。図７は、図６のテーブルに示した地点Ａ１から地点Ａ５までの飛行ルートを説明するための図である。図７の例では、航空機２は、２０１６年ｙｙ月ｚｚ日の１０時３０分３０秒に地点Ａ１の上空を出発する。その後、航空機２は、１０時３１分３０秒に地点Ａ２の上空に到着し、１０時３１分３０秒から１０時３２分００秒までの３０秒間だけホバリングする。次に、航空機２は、１０時３２分００秒に地点Ａ２の上空を出発する。その後、航空機２は、１０時３４分００秒に地点Ａ３の上空を通過し且つ旋回して地点Ａ４の上空に向けて飛行する。航空機２は、１０時３６分００秒に地点Ａ４の上空を通過し且つ旋回して地点Ａ５の上空に向けて飛行する。そして、航空機２は、１０時３８分００秒に地点Ａ５の上空に到着する。地点Ａ１～Ａ５の各地点は、「緯度」及び「経度」で指定される点である。
　また、ルートデータ生成部４３は、指定された飛行ルートに基づいて地点間の各区間における航空機２の飛行速度を自動で計算する。ルートデータ生成部４３は、各区間における当該飛行速度を指定するデータをルートデータの一部としてメモリ１７に格納することができる。
　なお、図７の例では、航空機２の飛行経路は直線経路であるが、これに限定されるものではない。たとえば、ルートデータ生成部４３は、複数地点を結ぶ曲線経路を多項式近似で算出してもよい。曲線経路を設定することで航空機２の急旋回を防ぐことができるので、航空機２の姿勢制御にかかる負荷の軽減が可能となる。
　また、ルートデータ生成部４３は、ユーザにより、複数の地点を示す座標データと計測開始時間とが入力されれば、当該座標データと当該計測開始時間とに基づいてルートデータを自動で生成することもできる。この場合、ルートデータ生成部４３は、最短時間で計測が完了し且つ高い計測精度が実現されるようにそのルートデータを生成することが望ましい。図８は、自動生成されたルートデータで定められる飛行ルートの一例を概略的に示す図である。このルートデータは、図面右下の計測開始地点ＳＰ、図面左下の通過地点、図面右上の通過地点及び図面左上の計測終了地点ＥＰという４つの地点を示す座標データと計測開始時間とが入力された場合に自動生成されるものである。
　図８の例では、飛行ルートは、矢印付きの太線で示されている。図８に示されるように、航空機２は、計測開始地点ＳＰと図面左側（西側）の通過地点との間の第１の飛行ルートを東側から西側へ一軸方向に沿って飛行した後に、この第１の飛行ルートと並行して北側に隣接する第２の飛行ルートを西側から東側へ一軸方向に沿って飛行する。ここで、航空機２が第１の飛行ルートと第２の飛行ルートとをそれぞれ飛行する際の測距用レーザ光の走査範囲は、互いに異なるパターンのハッチングで示されている。図８に示されるように、航空機２が第１の飛行ルートを飛行する際の測距用レーザ光の走査範囲と、航空機２が第１の飛行ルートを飛行する際の測距用レーザ光の走査範囲とは、互いにオーバラップする。これにより、レーザ測距部１３は高い計測精度で測距データを生成することができる。
　また、航空機２は、図８に示されるように、計測開始地点ＳＰに近い通過地点と図面上側（北側）の通過地点との間の第３の飛行ルートを南側から北側へ一軸方向に沿って飛行した後に、この第３の飛行ルートと並行し西側に隣接する第４の飛行ルートを北側から南側へ一軸方向に沿って飛行する。その後、航空機２は、第４の飛行ルートと並行し西側に隣接する第５の飛行ルートを南側から北側へ一軸方向に沿って飛行し、この第５の飛行ルートと並行し西側に隣接する第６の飛行ルートを北側から南側へ一軸方向に沿って飛行する。そして、航空機２は、第６の飛行ルートと並行し西側に隣接する第７の飛行ルートを南側から北側へ一軸方向に沿って計測終了地点ＥＰまで飛行する。このとき、航空機２が第３及び第４の飛行ルートを飛行する際の測距用レーザ光の走査範囲は、互いにオーバラップし、航空機２が第４及び第５の飛行ルートを飛行する際の測距用レーザ光の走査範囲も、互いにオーバラップし、航空機２が第５及び第６の飛行ルートを飛行する際の測距用レーザ光の走査範囲も、互いにオーバラップする。
　このようにルートデータ生成部４３は、互いに隣接する飛行ルートにそれぞれ対応する測距用レーザ光の走査範囲が互いにオーバラップするようにルートデータを生成するので、レーザ測距部１３は、オーバラップする走査範囲における各測距点までの距離Ｌ及び角度方向θを複数回測定することができる。これにより、レーザ測距部１３は、当該測定結果に基づいて、たとえば当該測定結果を平均化することにより、誤差の小さな測距データを生成することが可能である。また、図８に示されるように、東西方向にオーバラップする走査範囲と南北方向にオーバラップする走査範囲とが生成されることから、東西方向の誤差の小さな測距データの生成が可能であり、南北方向の誤差の小さな測距データの生成も可能である。特に、東西方向及び南北方向の双方にオーバラップする走査範囲内の測距点については、東西方向及び南北方向の双方において誤差の小さな測距データを生成することができる。
　次に、図１に示した観測装置１０の構成について説明する。図９は、観測装置１０のうちのレーザ測距部１３及び撮像部１１からなるユニットの構成例を概略的に示す斜視図である。
　図９に示されるようにレーザ測距部１３は、照射基準点ＲＰを有し、鉛直下方（Ｚ軸正方向）の地上面に向けてレーザ光を出射する。本実施の形態のレーザ測距部１３は、航空機２の進行方向（すなわちＸ軸方向）とＺ軸方向との双方に垂直なＹ軸方向にレーザ光を走査させることができる。右カメラ１２Ｒ及び左カメラ１２Ｌは、照射基準点ＲＰに関して幾何学的に互いに対称な位置に配置され、且つ鉛直下方の地上面を撮像できるように配置されている。右カメラ１２Ｒは、レーザ測距部１３からＹ軸負方向に延びるアーム１９Ｒの一端部と接続されており、左カメラ１２Ｌは、レーザ測距部１３からＹ軸正方向に延びるアーム１９Ｌの一端部と接続されている。たとえば、右カメラ１２Ｒは、レーザ測距部１３の照射基準点ＲＰからＹ軸負方向に１メートル離れた位置に配置され、左カメラ１２Ｌは、照射基準点ＲＰからＹ軸正方向に１メートル離れた位置に配置されればよい。
　図１０Ａは、Ｘ軸正方向から視たときのレーザ測距部１３及び撮像部１１からなるユニットの概略構成図であり、図１０Ｂは、Ｚ軸負方向から視たときの当該ユニットの概略構成図であり、図１０Ｃは、Ｙ軸正方向から視たときの当該ユニットの概略構成図である。図１０Ａに示されるレーザ測距部１３は、地上の測距点Ｋｐにレーザ光を照射し、当該測距点Ｋｐから反射レーザ光を受光する。レーザ測距部１３は、照射基準点ＲＰと測距点Ｋｐとの間の距離Ｌを計測し、且つ、照射基準点ＲＰと測距点Ｋｐとの間の線分がＹ軸正方向となす角度を照射角度θとして計測することができる。レーザ測距部１３は、Ｘ軸正方向から視たときに照射基準点ＲＰを中心とした照射角度θを時計回りに１８度刻みで変化させてレーザ光で地上を走査することができる。なお、照射基準点ＲＰから鉛直下方（Ｙ軸正方向）にレーザ光が照射されたときの照射角度θは、９０度である。
　本実施の形態では、航空機２の位置は、照射基準点ＲＰの位置と同じであると仮定する。よって、航空機２がＸ軸正方向に飛行するとき、レーザ測距部１３、右カメラ１２Ｒ及び左カメラ１２Ｌも、Ｘ軸正方向に飛行する。図１１は、航空機２の飛行に伴うレーザ測距部１３の照射基準点ＲＰの位置座標（ＸＯ，ＹＯ，ＺＯ）の一例をテーブル形式で示す図である。図１１のテーブルは、航空機２がＸ軸正方向に沿って一定速度で３秒間の飛行をしたときの位置を示すものである。図１１のテーブルでは、時刻ｔ＝０，１，２，３（単位：秒）でのそれぞれの照射基準点ＲＰの位置座標（ＸＯ，ＹＯ，ＺＯ）の座標値が示されている。なお、位置座標（ＸＯ，ＹＯ，ＺＯ）は、ＧＮＳＳ測位部１４の測位結果に基づいて算出されるべき測位座標であるが、図１１のテーブルに示される座標値ＸＯ，ＹＯ，ＺＯは、説明の便宜上、時刻ｔ＝０での位置座標を基準とする値（単位：メートル）である。
　図１２Ａ，図１２Ｂ及び図１２Ｃは、図１１に示した時刻ｔ＝０での照射基準点ＲＰの位置座標に対応する右カメラ１２Ｒ、左カメラ１２Ｌ及びレーザ測距部１３のそれぞれの位置を表すグラフである。また、図１３Ａ，図１３Ｂ及び図１３Ｃは、図１１に示した時刻ｔ＝１での照射基準点ＲＰの位置座標に対応する右カメラ１２Ｒ、左カメラ１２Ｌ及びレーザ測距部１３のそれぞれの位置を表すグラフであり、図１４Ａ，図１４Ｂ及び図１４Ｃは、図１１に示した時刻ｔ＝２での照射基準点ＲＰの位置座標に対応する右カメラ１２Ｒ、左カメラ１２Ｌ及びレーザ測距部１３のそれぞれの位置を表すグラフであり、図１５Ａ，図１５Ｂ及び図１５Ｃは、図１１に示した時刻ｔ＝２での照射基準点ＲＰの位置座標に対応する右カメラ１２Ｒ、左カメラ１２Ｌ及びレーザ測距部１３のそれぞれの位置を表すグラフである。図１２Ａ，図１３Ａ，図１４Ａ及び図１５Ａは、Ｘ－Ｚ面における位置座標を表し、図１２Ｂ，図１３Ｂ，図１４Ｂ及び図１５Ｂは、Ｙ－Ｚ面における位置座標を表し、図１２Ｃ，図１３Ｃ，図１４Ｃ及び図１５Ｃは、Ｘ－Ｙ面における位置座標を表している。ここで、右カメラ１２Ｒの位置は、右カメラ１２Ｒの投影中心の位置であり、三角形の記号で示されている。左カメラ１２Ｌの位置は、左カメラ１２Ｌの投影中心の位置であり、四角形の記号で示されている。そして、レーザ測距部１３の位置は、照射基準点ＲＰの位置であり、丸印で示されている。
　時刻ｔ＝０では、図１２Ａ～図１２Ｃに示されるように、右カメラ１２Ｒ、レーザ測距部１３及び左カメラ１２Ｌは、Ｙ軸方向に沿って配列されている。時刻ｔ＝１では、図１３Ａ～図１３Ｃに示されるように、右カメラ１２Ｒ、レーザ測距部１３及び左カメラ１２Ｌは、Ｘ軸正方向に１メートルだけ進行すると同時に、Ｙ軸正方向に０．５メートルだけシフトしている。時刻ｔ＝２では、図１４Ａ～図１４Ｃに示されるように、右カメラ１２Ｒ、レーザ測距部１３及び左カメラ１２Ｌは、Ｘ軸正方向に更に１メートルだけ進行すると同時に、Ｚ軸負方向に０．５メートルだけシフトしている。そして、時刻ｔ＝３では、図１５Ａ～図１５Ｃに示されるように、右カメラ１２Ｒ、レーザ測距部１３及び左カメラ１２Ｌは、Ｘ軸正方向に更に１メートルだけ進行すると同時に、Ｙ軸負方向に０．５メートルだけシフトし、且つＺ軸負方向に０．５メートルだけシフトしている。よって、時刻ｔ＝３でのＺ軸方向の位置は、時刻ｔ＝０でのＺ軸方向の位置に戻っている。
　実際の飛行環境では、Ｘ－Ｙ面に沿った水平飛行を意図していても、航空機２は、風などの外的要因の影響によって水平飛行することは難しい。たとえば、航空機２は、Ｘ軸周りのローリング方向、Ｙ軸周りのピッチング方向、及びＺ軸周りのヨーイング方向にそれぞれに傾いた状態で飛行し得る。
　次に、図１６Ａ及び図１６Ｂは、航空機２の飛行に伴うレーザ測距部１３の測定結果（距離Ｌ及び照射角度θ）の例を示す図である。図１６Ａは、時刻ｔ＝０．００～２．１５（単位：秒）の期間におけるレーザ測距部１３の測定結果の変化をテーブル形式で示す図であり、図１６Ｂは、時刻ｔ＝０．００～２．１５の期間におけるレーザ測距部１３の測定結果の変化をグラフで示す図である。図１６Ｂにおいて、白色三角形の記号は、時刻ｔ＝０．００～０．１５に計測された距離Ｌ及び照射角度θを示し、黒色三角形の記号は、時刻ｔ＝１．００～１．１５に計測された距離Ｌ及び照射角度θを示し、白色四角形の記号は、時刻ｔ＝２．００～２．１５に計測された距離Ｌ及び照射角度θを示している。
　図１６Ａに示されるようにレーザ測距部１３の測定結果は、１回の測定ごとに、測定された時刻ｔ、照射角度θ及び距離Ｌの組み合わせを１レコードとしてメモリ１７に記憶される。図１６Ａの例では、１秒間に４回の測定が行われている。
　右カメラ１２Ｒ及び左カメラ１２Ｌの各々は、たとえば、１秒ごとに鉛直下方の地上の矩形範囲を撮像範囲として撮像することができる。図１７は、時刻ｔ＝０，１，２（単位：秒）における撮像画像群の例を示す図である。時刻ｔ＝０では、右カメラ画像Ｒ０及び左カメラ画像Ｌ０が撮像され、時刻ｔ＝１では、右カメラ画像Ｒ１及び左カメラ画像Ｌ１が撮像され、時刻ｔ＝２では、右カメラ画像Ｒ２及び左カメラ画像Ｌ２が撮像されている。このような撮像画像群がメモリ１７に記憶される。
　次に、図１に示した姿勢推定装置３０の構成について説明する。図１８は、本発明に係る実施の形態１の姿勢推定装置３０の概略構成を示すブロック図である。
　図１８に示されるように姿勢推定装置３０は、メモリインタフェース部（メモリＩ／Ｆ部）３１、データ取得部３２、座標算出部３３、画像マッチング部３４及び姿勢推定部３５を備えている。座標算出部３３は、測距点座標算出部３３Ａ及び画像座標算出部３３Ｂを有する。メモリＩ／Ｆ部３１には、可搬記録媒体であるメモリ１７が着脱自在に装着される。
　データ取得部３２は、メモリ１７から、メモリＩ／Ｆ部３１を介して、測位データ、測距データ、実姿勢データ及び撮像画像群を含む観測データを取得する。本実施の形態では、姿勢推定装置３０は観測装置１０と直接接続されていない。このため、データ取得部３２が観測データを取得するために、ユーザは、航空機２からメモリ１７を取り外し、この取り外されたメモリ１７を姿勢推定装置３０に装着する必要がある。なお、後述する実施の形態２の姿勢推定装置３０Ａは、観測装置１０Ａから観測データを無線通信で取得することが可能である。
　測距点座標算出部３３Ａは、当該観測データのうちの測位データ、測距データ及び実姿勢データと、航空機２の姿勢を示す未知パラメータの推定値とを用いて、ＷＧＳ－８４座標系などの測地座標系における単数または複数の測距点の位置座標（以下「測地座標」ともいう。）を算出することができる。今、ｐ番目の測距点の測地座標の３次元ベクトルをＱ（ｐ）＝［ＸＧ，ＹＧ，ＺＧ］Ｔで表すものとする。ここで、上付き添え字Ｔは、行列の転置を示す記号である。測距点座標算出部３３Ａは、たとえば、次式（１）に従ってｐ番目の測距点の測地座標Ｑ（ｐ）を算出することができる。
Figure JPOXMLDOC01-appb-I000001
　ここで、［ＸＯ，ＹＯ，ＺＯ］Ｔは、測位データを基に算出される照射基準点ＲＰの位置座標を示す３次元位置ベクトルである。また、Ｄは、照射基準点ＲＰを基準として測距データを基に算出される測距点の相対位置ベクトルである。言い換えれば、相対位置ベクトルＤは、照射基準点ＲＰを原点とする測距点の位置座標を表すベクトルである。測距点座標算出部３３Ａは、たとえば、次式（２）に従って相対位置ベクトルＤを算出することができる。
Figure JPOXMLDOC01-appb-I000002
　また、上式（１）において、Ｍ（ω）は、３次元座標をＸ軸方向周りに回転角ωだけ回転させる回転行列であり、Ｍ（φ）は、３次元座標をＹ軸方向周りに回転角φだけ回転させる回転行列であり、Ｍ（κ）は、３次元座標をＺ軸方向周りに回転角κだけ回転させる回転行列である。これら回転行列Ｍ（ω），Ｍ（φ），Ｍ（κ）は、たとえば、次式（３）で表現される。
Figure JPOXMLDOC01-appb-I000003
　測位座標Ｑ（ｐ）を算出するための時刻ｔにおける回転角ω，φ，κが存在しない場合は、測距点座標算出部３３Ａは、撮像時刻ｔ＝ｔｉにおける回転角ωｉ，φｉ，κｉと、別の撮像時刻ｔ＝ｔｊ（ｉ≠ｊ）における回転角ωｊ，φｊ，κｊとを用いて、撮像時刻ｔｉ，ｔｊ間の時刻ｔにおける回転角ω，φ，κを補間する。たとえば、測距点座標算出部３３Ａは次式（３ａ）により回転角ω，φ，κを補間することができる。
Figure JPOXMLDOC01-appb-I000004
　上式（３ａ）において、ｒは、補間係数であり、たとえば次式（３ｂ）で与えられる。
Figure JPOXMLDOC01-appb-I000005
　ここで、Δｔは、サンプリング間隔（＝｜ｔｉ－ｔｊ｜）であり、ｆｌｏｏｒ（ｘ）は、実数ｘに対してｘ以下の最大の整数を与える床関数である。
　回転角ωはＸ軸方向周りのロール角に対応し、回転角φはＹ軸周りのピッチ角に対応し、回転角κはＺ軸周りのヨー角に対応する。航空機２が傾いたとき、Ｘ軸方向周りのロール角、Ｙ軸周りのピッチ角及びＺ軸周りのヨー角という３種類の姿勢角のうちの少なくとも１つの姿勢角が非零の値となる。この航空機２の傾きに起因して、測距データを基に算出される相対位置ベクトルＤに誤差が発生する。回転行列Ｍ（ω），Ｍ（φ），Ｍ（κ）は、航空機２の傾きに起因する相対位置ベクトルＤの誤差を補正するものである。
　上述のとおり、本実施の形態の姿勢センサ１５は、航空機２の姿勢を示すロール角とピッチ角との組み合わせを実姿勢データとして検出することができるが、ヨー角を検出しない。よって、一定精度の実姿勢データが検出されている場合、測距点座標算出部３３Ａは、その実姿勢データから、回転行列Ｍ（ω），Ｍ（φ）を定める回転角ω，φを知ることができるが、回転行列Ｍ（κ）を定める回転角κは未知のパラメータである。この場合、測距点座標算出部３３Ａは、回転角κの推定値の初期値を０度に設定する。これにより、測距点座標算出部３３Ａは、上式（１）に従って各測距点の測地座標Ｑ（ｐ）を算出することができる。
　一方、実姿勢データが検出されていない場合、あるいは、実姿勢データの検出精度が低い場合には、回転角ω，φ，κのすべてが未知のパラメータとなる。実姿勢データが検出されていない場合、測距点座標算出部３３Ａは、回転角ω，φ，κの推定値の初期値をすべて０度に設定する。一方、実姿勢データの検出精度が低い場合には、測距点座標算出部３３Ａは、回転角ω，φの推定値の初期値を当該実姿勢データに基づく値に設定し、回転角κの推定値の初期値を０度に設定する。これにより、測距点座標算出部３３Ａは、上式（１）に従って各測距点の測地座標Ｑ（ｐ）を算出することができる。後述するように、これら未知のパラメータの推定値に対する補正値が、非線形最小自乗法に基づいて算出される。
　画像座標算出部３３Ｂは、各測距点について測地座標系から右カメラ１２Ｒの投影面座標系（画像座標系）への第１の投影変換を測地座標Ｑ（ｐ）に施して２次元の画像座標である第１の投影点座標ＳＲを算出するとともに、各測距点について測地座標系から左カメラ１２Ｌの投影面座標系（画像座標系）への第２の投影変換を測地座標Ｑ（ｐ）に施して２次元の画像座標である第２の投影点座標ＳＬを算出する。これら第１及び第２の投影変換の詳細については後述する。
　画像マッチング部３４は、撮像画像群から選択された２つの撮像画像（第１の撮像画像及び第２の撮像画像）間の画像マッチングを実行してそれら２つの撮像画像のうちの一方に現れる測距点の画像座標を検出する。
　姿勢推定部３５は、画像マッチング部３４で検出された画像座標とこれに対応する投影点座標ＳＬまたはＳＲとの間の差分の大きさが小さくなるように上記の未知のパラメータの推定値に対する補正量を算出する。ここで、姿勢推定部３５は、後述する非線形最小自乗法に基づいて当該補正量を算出することが可能である。姿勢推定部３５は、当該補正量を用いて未知パラメータの推定値を補正することができる。
　上記姿勢推定装置３０のハードウェア構成は、たとえば、ワークステーションまたはメインフレームなどのＣＰＵ内蔵のコンピュータで実現可能である。あるいは、姿勢推定装置３０のハードウェア構成は、ＤＳＰ、ＡＳＩＣもしくはＦＰＧＡまたはこれらの組み合わせなどのＬＳＩにより実現されてもよい。
　図１９Ａは、姿勢推定装置３０のハードウェア構成例である情報処理装置３０Ｓの概略構成を示すブロック図である。図１９Ａに示されるように情報処理装置３０Ｓは、ＣＰＵ５０ｃを含むプロセッサ５０と、メモリインタフェース回路（メモリＩ／Ｆ回路）５１と、プロセッサ５０の作業用メモリとして使用されるＲＡＭ５２と、ソフトウェア及びファームウェアの一方または双方のコンピュータ・プログラムが格納される不揮発性メモリ５３とを備えて構成されている。この情報処理装置３０Ｓの構成要素５０～５３は、バス回路などの信号路５４を介して相互に接続されている。メモリＩ／Ｆ回路５１は、図１８のメモリＩ／Ｆ部３１の機能を実現する回路である。プロセッサ５０は、不揮発性メモリ５３から、ソフトウェアもしくはファームウェアまたはこれらの組み合わせであるコンピュータ・プログラムを読み出して実行することにより、図１８のデータ取得部３２，座標算出部３３、画像マッチング部３４及び姿勢推定部３５の機能を実現することができる。不揮発性メモリ５３としては、たとえば、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気ディスクまたは光ディスクを使用することができるが、これらに限定されるものではない。
　図１９Ｂは、姿勢推定装置３０の他のハードウェア構成例である情報処理装置３０Ｈの概略構成を示すブロック図である。図１９Ｂに示されるように情報処理装置３０Ｈは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどの専用ハードウェアの処理回路５６と、メモリインタフェース回路（メモリＩ／Ｆ回路）５７とを備えている。これら処理回路５６とメモリＩ／Ｆ回路５７とは、バス回路などの信号路５８を介して相互に接続されている。メモリＩ／Ｆ回路５７は、図１８のメモリＩ／Ｆ部３１の機能を実現する回路である。処理回路５６は、図１８のデータ取得部３２，座標算出部３３、画像マッチング部３４及び姿勢推定部３５の機能を実現する。
　なお、データ取得部３２，座標算出部３３、画像マッチング部３４及び姿勢推定部３５の機能の一部が専用のハードウェアで実現されるとともに、その機能の他の一部がソフトウェアまたはファームウェアで実現されてもよい。たとえば、データ取得部３２の機能が専用ハードウェアの処理回路で実現されるとともに、座標算出部３３、画像マッチング部３４及び姿勢推定部３５の機能がＣＰＵを含むプロセッサで実現されてもよい。
　次に、図２０を参照しつつ、上記姿勢推定装置３０の動作例を以下に説明する。図２０は、実施の形態１に係る姿勢推定処理の手順の一例を概略的に示すフローチャートである。
　図２０を参照すると、先ず、データ取得部３２は、測位データ、測距データ、実姿勢データ及び撮像画像群を含む観測データを取得する（ステップＳＴ１１）。実姿勢データは、上述のとおり、航空機２が傾いたときに非零の姿勢角を示すデータである。図２１Ａ～図２１Ｃは、航空機２が傾いていないときの撮像画像ＩＭＧ０，ＩＭＧ１と測距点Ｋｐとの間の関係の例を示す図であり、図２２Ａ及び図２２Ｂは、航空機２が傾いたときの撮像画像ＩＭＧ０，ＩＭＧ１と測距点Ｋｐとの間の関係の例を示す図である。図２１Ａは、時刻ｔ０，ｔ１における右カメラ１２Ｒ及び左カメラ１２Ｌの配置例を示し、図２１Ｂは、時刻ｔ０に左カメラ１２Ｌで撮像された左カメラ画像ＩＭＧ０と、時刻ｔ１に右カメラ１２Ｒで撮像された右カメラ画像ＩＭＧ１とを示している。図２１Ｃは、時刻ｔ０，ｔ１における右カメラ１２Ｒ及び左カメラ１２Ｌと測距点Ｋｐとの間の位置関係を概略的に示す図である。航空機２が傾いていないとき、図２１Ｂに示されるように左カメラ画像ＩＭＧ０及び右カメラ画像ＩＭＧ１には同一測距点Ｋｐを表す測距点像８０，８１が現れている。一方、図２２Ｂに示されるように時刻ｔ１で航空機２が傾いたとき、右カメラ画像ＩＭＧ１には、図２２Ａに示されるように、図２１Ｂの測距点像８１の位置から右方へΔｕだけシフトした位置に、測距点像８２が現れる。
　ステップＳＴ１１の後、座標算出部３３における測距点座標算出部３３Ａは、未知のパラメータである未知の姿勢角を特定し、当該未知の姿勢角の推定値に対する補正量を初期化する（ステップＳＴ１２）。具体的には、測距点座標算出部３３Ａは、未知の姿勢角の推定値をすべて０度に初期化することができる。たとえば、時刻ｔ０では、ロール角、ピッチ角及びヨー角のうちヨー角のみが未知であり、時刻ｔ１では、ロール角、ピッチ角及びヨー角のすべてが未知である場合、時刻ｔ０でのヨー角と、時刻ｔ１でのロール角、ピッチ角及びヨー角とが未知の姿勢角となるので、測距点座標算出部３３Ａは、これら未知の姿勢角の推定値を初期値（０度）に設定することができる。
　次に、測距点座標算出部３３Ａは、測位データ、測距データ、実姿勢データ及び未知の姿勢角の推定値に基づいて、測地座標系における各測距点の位置座標である測地座標Ｑ（ｐ）を算出する（ステップＳＴ１３）。測地座標Ｑ（ｐ）の算出方法は、上述したとおりである。
　次に、画像座標算出部３３Ｂは、各測距点の測地座標Ｑ（ｐ）に対して、測地座標系から右カメラ１２Ｒの投影面座標系への第１の投影変換を実行して２次元の画像座標である第１の投影点座標を算出し（ステップＳＴ１４）、更に、各測距点の測地座標Ｑ（ｐ）に対して、測地座標系から左カメラ１２Ｌの投影面座標系への第２の投影変換を実行して２次元の画像座標である第２の投影点座標を算出する（ステップＳＴ１５）。
　ステップＳＴ１４，ＳＴ１５において、具体的には、画像座標算出部３３Ｂは、先ず、撮像画像群の中から、撮像時刻ｔ＝ｔｉに撮像された左カメラ画像と、撮像時刻ｔ＝ｔｊ（ｉ≠ｊ）に撮像された右カメラ画像とのペアを選択する。撮像時刻ｔｉ，ｔｊは、撮像画像のサンプリング間隔（データ取得周期）だけ互いに離れている。以下、このペアの選択をペアリングと呼ぶ。また、その右カメラ画像を第１の撮像画像と呼び、その左カメラ画像を第２の撮像画像と呼ぶこととする。説明の便宜上、本実施の形態では、撮像部１１は、１秒間隔で測距点を撮像するものとする。本実施の形態では、撮像時刻ｔｉ，ｔｊは互いに異なる時刻であるが、これに限定されず、同一の時刻であってもよい。また、本実施の形態では、左カメラ画像と右カメラ画像とのペアが選択されているが、これに限定されるものではなく、互いに異なる時刻に異なる位置から撮像された２枚の左カメラ画像のペア、あるいは、互いに異なる時刻に異なる位置から撮像された２枚の右カメラ画像のペアが選択されてもよい。このような撮像画像のペアを用いることで、航空機２の姿勢に応じた画像上の被写体の変化を航空機２の姿勢推定に利用することができる。言い換えれば、航空機２の姿勢に応じた画像上の被写体の変化が航空機２の姿勢推定に利用されるため、左カメラ１２Ｌと右カメラ１２Ｒとの視野安定化のためのスタビライザーを使用せずに済む。
　次に、画像座標算出部３３Ｂは、次式（４Ｌ）に従って、測地座標Ｑ（ｐ）を、左カメラ１２Ｌの投影中心を基準とする相対位置ベクトルＣＬｉ （ｐ）に変換し、次式（４Ｒ）に従って、測地座標Ｑ（ｐ）を、右カメラ１２Ｒの投影中心を基準とする相対位置ベクトルＣＲｊ （ｐ）に変換する。
Figure JPOXMLDOC01-appb-I000006

Figure JPOXMLDOC01-appb-I000007
　ここで、回転行列Ｍ（－ωｉ），Ｍ（－φｉ），Ｍ（－κｉ）を定める－ωｉ，－φｉ，－κｉは、それぞれ、撮像時刻ｔ＝ｔｉでのロール角，ピッチ角及びヨー角（未知の姿勢角の推定値を含む。）に対応する量である。また、ＱＬ（ｔｉ）は、撮像時刻ｔｉにおける左カメラ１２Ｌの投影中心座標であり、ＱＲ（ｔｊ）は、時刻ｔｊにおける右カメラ１２Ｒの投影中心座標である。投影中心座標ＱＬ（ｔｉ），ＱＲ（ｔｊ）は、次式（５Ｌ），（５Ｒ）で与えられる。
Figure JPOXMLDOC01-appb-I000008

Figure JPOXMLDOC01-appb-I000009
　ここで、ＲＬＣは、左カメラ１２Ｌの投影中心の相対位置ベクトルであり、ＲＲＣは、右カメラ１２Ｒの投影中心の相対位置ベクトルである。たとえば、相対位置ベクトルＲＬＣ，ＲＲＣは次式（６）で与えられる。
Figure JPOXMLDOC01-appb-I000010
　そして、画像座標算出部３３Ｂは、上記相対位置ベクトルＣＬｉ （ｐ），ＣＲｊ （ｐ）を用いて、次式（７）に従って第１の投影点座標ＳＲ （ｐ）及び第２の投影点座標ＳＬ （ｐ）を算出する。
Figure JPOXMLDOC01-appb-I000011
　ここで、ｆは、左カメラ１２Ｌ及び右カメラ１２Ｒの焦点距離である。
　上記したステップＳＴ１４，ＳＴ１５の後は、画像マッチング部３４は、ペアをなす第１の撮像画像（右カメラ画像）と第２の撮像画像（左カメラ画像）との間で画像マッチングを実行して、第１の撮像画像に現れる各測距点の画像座標を検出する（ステップＳＴ１６）。具体的には、画像マッチング部３４は、第２の撮像画像から第２の投影点座標で指定される局所領域画像をテンプレート画像として抽出し、このテンプレート画像と第１の撮像画像との間で周知のテンプレートマッチング法を実行することにより、第１の撮像画像に現れる各測距点の画像座標を検出すればよい。
　以下、ｐ番目の測距点の画像座標のｘ座標値をＳＣＡＮｘ（ｘＬｉ （ｐ），ｙＬｉ （ｐ））と表し、当該画像座標のｙ座標値をＳＣＡＮｙ（ｘＬｉ （ｐ），ｙＬｉ （ｐ））と表すものとする。ここで、（ｘＬｉ （ｐ），ｙＬｉ （ｐ））は、ｐ番目の測距点の第２の投影点座標である。
　次に、姿勢推定部３５は、未知の姿勢角の推定値に対して、第１の投影点座標と画像座標との間の差分の大きさを小さくする補正量を算出する（ステップＳＴ１７）。具体的には、非線形最小自乗法を用いて補正量が算出されればよい。非線形最小自乗法については後述する。次いで、姿勢推定部３５は、補正量を用いて未知の姿勢角の推定値を補正する（ステップＳＴ１８）。そして、ステップＳＴ１２～ＳＴ１８の繰り返し回数が所定回数に到達していない場合には（ステップＳＴ１９のＮＯ）、姿勢推定部３５は、ステップＳＴ１２に処理を移行させる。ステップＳＴ１２～ＳＴ１８が一定回数繰り返されると、未知の姿勢角の推定値は補正により収束する。ステップＳＴ１２～ＳＴ１８の繰り返し回数が所定回数に到達した場合には（ステップＳＴ１９のＹＥＳ）、姿勢推定部３５は、未知の姿勢角の推定値と実姿勢データとを含む姿勢データをメモリＩ／Ｆ部３１に出力する（ステップＳＴ２０）。メモリＩ／Ｆ部３１は、その姿勢データをメモリ１７に格納する。以上で姿勢推定処理は終了する。
　次に、実施の形態１に係る非線形最小自乗法について説明する。未知の姿勢角α０，α１，…，αＮがＮ＋１個あるとき、未知の姿勢角ベクトルαは、次式（８）で与えられる。
Figure JPOXMLDOC01-appb-I000012
　ここで、αＣは、未知の姿勢角の推定値からなる推定値ベクトルである。また、Δαは、推定値ベクトルαＣに対する補正量（補正ベクトル）であり、次式（９）で与えられるものとする。
Figure JPOXMLDOC01-appb-I000013
　ここで、ｐ番目の測距点についての画像座標と第１の投影点座標との間の差分を示す観測関数Ｆｘｉｊ （ｐ）（α），Ｆｙｉｊ （ｐ）（α）を次式（１０），（１１）で定義する。
Figure JPOXMLDOC01-appb-I000014

Figure JPOXMLDOC01-appb-I000015
　このとき、非線形最小自乗法により次式（１２），（１３）の１組の観測方程式を構成することができる。
Figure JPOXMLDOC01-appb-I000016

Figure JPOXMLDOC01-appb-I000017
　ここで、右辺第１項に付された下付き添え字αＣは、推定値ベクトルαＣの値を代入することを意味する。また、左辺のｖｘｉｊ （ｐ），ｖｙｉｊ （ｐ）は残差である。
　第１の撮像画像及び第２の撮像画像のペアは（ｉ，ｊ）の組で指定可能である。よって、（ｉ，ｊ）＝（０，１），（１，２），（２，３），…の各々について観測方程式（１０），（１１）を構成することができる。今、残差ベクトルＶを次式（１４）で定義し、誤差ベクトルｗを次式（１５）で定義することができる。
Figure JPOXMLDOC01-appb-I000018

Figure JPOXMLDOC01-appb-I000019
　また、推定値ベクトルαＣにおける計画行列Φを次式（１６）で定義することができる。

Figure JPOXMLDOC01-appb-I000020
　このとき、観測方程式の組は、次式（１７）で表現可能である。
Figure JPOXMLDOC01-appb-I000021
　残差ベクトルＶの二乗和ＶＴ・Ｖを最小にする補正ベクトルΔαは、次式（１８）のとおりである。
Figure JPOXMLDOC01-appb-I000022
　したがって、姿勢推定部３５は、上記ステップＳＴ１７では、式（１８）に従って補正ベクトルΔαを算出し、上記ステップＳＴ１８では、上式（８）に従って推定値を補正することが可能である。
　たとえば、未知の姿勢角として、α０＝κ１（時刻ｔ１），α１＝ω２（時刻ｔ２），α２＝φ２（時刻ｔ２），α３＝κ２（時刻ｔ２）が与えられたとき、補正ベクトルΔαは、次式（１９）で表現される。
Figure JPOXMLDOC01-appb-I000023
　このとき、未知の姿勢角ベクトルαは、次式（２０）で与えられる。
Figure JPOXMLDOC01-appb-I000024
　ここで、＜κ１＞，＜ω２＞，＜φ２＞，＜κ２＞は、推定値ベクトルαＣの要素である。また、このときの観測方程式は、次式（２１），（２２）のとおりである。
Figure JPOXMLDOC01-appb-I000025

Figure JPOXMLDOC01-appb-I000026
　更に、これら観測方程式（２１），（２２）に基づいて次式（２３）の計画行列Φを構成することができる。

Figure JPOXMLDOC01-appb-I000027
　図２３Ａは、上式（１）に基づいて算出された０番目～１１番目の測距点の各測距点の測地座標（ＸＧ，ＹＧ，ＺＧ）の数値例（ｐは測距点番号）を表すテーブルであり、図２３Ｂは、上式（５Ｌ），（５Ｒ）に基づいて算出された投影中心座標（ＸＬ，ＹＬ，ＺＬ），（ＸＲ，ＹＲ，ＺＲ）の数値例を表すテーブルである。時刻ｔ０＝０．０，ｔ１＝１．０，ｔ２＝２．０，ｔ３＝３．０のそれぞれの時刻で、右カメラ画像及び左カメラ画像が撮像される。また、図２４は、上式（７）に基づいて算出された第１の投影点座標及（ｘＲ，ｙＲ）び第２の投影点座標（ｘＬ，ｙＬ）の数値例を表すテーブルである。そして、図２５は、画像座標（ＳＣＡＮｘ（ｘＬｉ，ｙＬｉ）、ＳＣＡＮｙ（ｘＬｉ，ｙＬｉ））の数値例を表す図である。α０＝κ１（時刻ｔ１），α１＝ω２（時刻ｔ２），α２＝φ２（時刻ｔ２），α３＝κ２（時刻ｔ２）が与えられたとき、これら図２３Ａ，２３Ｂ、図２４及び図２５に示す数値を用いて、図２６の誤差ベクトルｗ、図２７の計画行列Φ、図２８の補正ベクトルΔαをそれぞれ算出することができた。また、図２９に示すように、時刻ｔ＝０．００，１．００，２．００，３．００での姿勢データが得られることが確認された。
　なお、異なる位置のカメラにより撮像された画像間で対応点を探索して観測対象までの距離及び奥行き情報などの３次元情報を取得するステレオ画像処理には、固定ステレオと呼ばれる方法と、モーションステレオと呼ばれる方法とがある。固定ステレオは、２つのカメラを間隔を空けて配置して撮像する手法である。時刻ｔｉでの左カメラ画像と時刻ｔｊの右カメラ画像のペアリングは、固定ステレオに相当する。また、モーションステレオでは、カメラを飛行させて異なる撮影位置から撮影する方法である。時刻ｔｉでのカメラ画像と時刻ｔｊでのカメラ画像とのペアリングは、モーションステレオに相当する。
　また、これまでの説明では、左カメラ１２Ｌと右カメラ１２Ｒとを利用する構成を示したが、１台のカメラであってもよい。この場合、時刻ｔｉのカメラ画像と時刻ｔｊのカメラ画像とのペアが用いられればよい。
　更に、上記では、未知のパラメータは、時刻ごとの姿勢角の３つのパラメータのいずれかであったが、航空機２の３次元位置座標を加えた６つのパラメータとされてもよく、焦点距離ｆなどの内部パラメータを含んでもよい。
　以上に説明したように実施の形態１に係る観測システム１は、異なる撮像位置でそれぞれ撮像された画像間の対応する点の座標が航空機２の姿勢によってずれることに着目し、これらの座標の差分の大きさが小さくなるように未知の姿勢角の推定値を補正することができる。したがって、ＩＭＵやスタビライザーを使用しなくても航空機２の姿勢を高精度に推定することができる。
　なお、実施の形態１では、回転角κの推定値の初期値を０度として座標計算が実行されたが、回転角κの近似解は、ＧＮＳＳ測位部１４によって測定された測位座標の時系列から得ることもできる。よって、回転角κの推定値の初期値をその近似解に設定してもよい。
　更に、実施の形態１に係る観測システム１では、可搬記録媒体であるメモリ１７が航空機２に搭載されて使用される。このように航空機２の飛行中にメモリ１７に蓄積された観測データを用いることで、航空機２の姿勢角を飛行終了後に推定することができ、推定された姿勢角を用いて測量結果を補正することもできる。
実施の形態２．
　次に、本発明に係る実施の形態２について説明する。図３０は、本発明に係る実施の形態２の観測システム１Ａの概略構成を示すブロック図である。図３０に示されるように、この観測システム１Ａは、観測装置１０Ａ，メモリ１７，飛行制御装置２１及び推力発生機構２２を含む航空機２Ａと、姿勢推定装置３０Ａと、飛行ルート設定装置４０Ａとを備えて構成されている。
　航空機２Ａに搭載される観測装置１０Ａの構成は、無線通信部１８を有する点を除いて、上記実施の形態１の観測装置１０の構成と同じである。無線通信部１８は、姿勢推定装置３０Ａ及び飛行ルート設定装置４０Ａとの間で無線通信を実行してルートデータや観測データなどのデータを送受信する機能を有する。
　図３１は、実施の形態２の姿勢推定装置３０Ａの概略構成を示すブロック図である。この姿勢推定装置３０Ａの構成は、図１８のメモリＩ／Ｆ部３１に代えて無線インタフェース部（無線Ｉ／Ｆ部）３１ＷＬを有する点を除いて、上記実施の形態１の姿勢推定装置３０の構成と同じである。無線Ｉ／Ｆ部３１ＷＬは、図３０に示した観測装置１０Ａの無線通信部１８との間で無線通信する機能を有するので、無線通信部１８から上記の観測データなどのデータを受信し、姿勢推定部３５で生成された姿勢データを無線通信部１８に送信することができる。
　図３２は、実施の形態２の飛行ルート設定装置４０Ａの概略構成を示すブロック図である。この飛行ルート設定装置４０Ａの構成は、図３のメモリＩ／Ｆ部４４に代えて無線インタフェース部（無線Ｉ／Ｆ部）４４ＷＬを有する点を除いて、上記実施の形態１の飛行ルート設定装置４０の構成と同じである。無線Ｉ／Ｆ部４４ＷＬは、図３０に示した観測装置１０Ａの無線通信部１８との間で無線通信する機能を有するので、ルートデータ生成部４３で生成されたルートデータ及び周期データを無線通信部１８に送信することができる。観測制御部１６は、無線通信部１８で受信された当該周期データを用いて撮像部１１、レーザ測距部１３、ＧＮＳＳ測位部１４及び姿勢センサ１５を制御することができる。
　また、観測制御部１６は、無線通信部１８で受信された当該ルートデータをメモリ１７に格納する。飛行制御装置２１は、当該ルートデータに従って航空機２の速度、進路及び姿勢を制御することができる。したがって、飛行ルート設定装置４０Ａは、メモリ１７を使用せずに、飛行中の航空機２Ａにルートデータをリアルタイムに供給して航空機２を遠隔制御することが可能である。
　以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態１，２の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　本発明に係る姿勢推定装置、観測システム及び姿勢推定方法は、観測機器を搭載した飛行体の姿勢を高精度に推定することができるので、たとえば、測量システム及びＵＡＶ用の航法（ナビゲーション）システムに適用可能である。
　１，１Ａ　観測システム、２，２Ａ　航空機、１０，１０Ａ　観測装置、１１　撮像部、１２Ｌ　左カメラ、１２Ｒ　右カメラ、１３　レーザ測距部、１４　ＧＮＳＳ測位部、１５　姿勢センサ、１６　観測制御部、１７　メモリ、１８　無線通信部、１９Ｒ，１９Ｌ　アーム、２０　機体、２１　飛行制御装置、２２　推力発生機構、２２Ａ～２２Ｆ　推力発生器、３０，３０Ａ　姿勢推定装置、３０Ｓ　情報処理装置、３０Ｈ　情報処理装置、３１　メモリインタフェース部（メモリＩ／Ｆ部）、３１ＷＬ　無線インタフェース部（無線Ｉ／Ｆ部）、３２　データ取得部、３３　座標算出部、３３Ａ　測距点座標算出部、３３Ｂ　画像座標算出部、３４　画像マッチング部、３５　姿勢推定部、４０，４０Ａ　飛行ルート設定装置、４０Ｓ　情報処理装置、４０Ｈ　情報処理装置、４１　入出力インタフェース部（入出力Ｉ／Ｆ部）、４２　入力データ処理部、４３　ルートデータ生成部、４４　メモリインタフェース部（メモリＩ／Ｆ部）、４４ＷＬ　無線インタフェース部（無線Ｉ／Ｆ部）、４６　操作入力部、４７　表示部、５０　プロセッサ、５０ｃ　ＣＰＵ、５１　メモリインタフェース回路（メモリＩ／Ｆ回路）、５２　ＲＡＭ、５３　不揮発性メモリ、５４　信号路、５６　処理回路、５７　メモリインタフェース回路（メモリＩ／Ｆ回路）、５８　信号路、６０　プロセッサ、６０ｃ　ＣＰＵ、６１　メモリインタフェース回路（メモリＩ／Ｆ回路）、６１　メモリＩ／Ｆ回路、６２　ＲＡＭ、６３　不揮発性メモリ、６４Ａ　入力インタフェース回路（入力Ｉ／Ｆ回路）、６４Ｂ　表示インタフェース回路（表示Ｉ／Ｆ回路）、６５　信号路、６６　処理回路、６７　メモリＩ／Ｆ回路、６８Ａ　入力インタフェース回路（入力Ｉ／Ｆ回路）、６８Ｂ　表示インタフェース回路（表示Ｉ／Ｆ回路）、６９　信号路。

Claims (18)

  1. 　測地座標系における飛行体の位置を示す測位データを出力する測位部と、前記飛行体から地上の測距点までの距離と当該測距点に対する角度方向とを計測して測距データを出力する測距部と、前記飛行体に搭載された状態で複数の撮像位置から当該測距点を撮像して撮像画像群を出力する撮像部と、重力方向を基準とした当該飛行体の姿勢を検出して実姿勢データを出力する姿勢センサとを含む観測装置と連携して動作する姿勢推定装置であって、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記撮像画像群を前記観測装置から取得するデータ取得部と、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記飛行体の姿勢を示す未知のパラメータの推定値を用いて、前記測地座標系における当該測距点の位置を示す測地座標を算出する測距点座標算出部と、
    　前記測地座標系から画像座標系への投影変換を前記測地座標に施して投影点座標を算出する画像座標算出部と、
    　前記撮像画像群から選択された第１の撮像画像と第２の撮像画像との間の画像マッチングを実行して前記第１の撮像画像に現れる当該測距点の画像座標を検出する画像マッチング部と、
    　前記投影点座標と前記画像座標との間の差分の大きさが小さくなるように前記推定値を補正する姿勢推定部と
    を備えることを特徴とする姿勢推定装置。
  2. 　請求項１記載の姿勢推定装置であって、前記測距点座標算出部、前記画像座標算出部、前記画像マッチング部及び前記姿勢推定部は、非線形最小自乗法に基づき、前記測地座標を算出する処理と、前記投影点座標を算出する処理と、前記画像座標を検出する処理と、前記推定値を補正する処理とを反復して実行することを特徴とする姿勢推定装置。
  3. 　請求項２記載の姿勢推定装置であって、前記第１の撮像画像及び前記第２の撮像画像は、互いに異なる第１の撮像時刻及び第２の撮像時刻にそれぞれ撮像された画像であることを特徴とする姿勢推定装置。
  4. 　請求項３記載の姿勢推定装置であって、前記撮像部は、互いに異なる位置に配置された第１撮像部及び第２撮像部を有し、前記第１撮像部が前記第１の撮像画像を出力し、前記第２撮像部が前記第２の撮像画像を出力することを特徴とする姿勢推定装置。
  5. 　請求項１記載の姿勢推定装置であって、前記測位部は、全地球的航法衛星システムを構成する複数の衛星から航法信号を受信し、当該航法信号を解析して前記測位データを生成することを特徴とする姿勢推定装置。
  6. 　請求項１記載の姿勢推定装置であって、前記測距部は、前記測距点にレーザ光を照射し、前記測距点から反射レーザ光を受光して前記距離及び前記角度方向を測定することを特徴とする姿勢推定装置。
  7. 　測地座標系における飛行体の位置を示す測位データを出力する測位部と、前記飛行体から地上の測距点までの距離と当該測距点に対する角度方向とを計測して測距データを出力する測距部と、前記飛行体に搭載された状態で複数の撮像位置から当該測距点を撮像して撮像画像群を出力する撮像部と、重力方向を基準とした当該飛行体の姿勢を検出して実姿勢データを出力する姿勢センサとを含む観測装置と、
    　前記観測装置と連携して動作する姿勢推定装置と
    を備え、
    　前記姿勢推定装置は、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記撮像画像群を前記観測装置から取得するデータ取得部と、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記飛行体の姿勢を示す未知のパラメータの推定値を用いて、前記測地座標系における当該測距点の位置を示す測地座標を算出する測距点座標算出部と、
    　前記測地座標系から画像座標系への投影変換を前記測地座標に施して投影点座標を算出する画像座標算出部と、
    　前記撮像画像群から選択された第１の撮像画像と第２の撮像画像との間の画像マッチングを実行して前記第１の撮像画像に現れる当該測距点の画像座標を検出する画像マッチング部と、
    　前記投影点座標と前記画像座標との間の差分の大きさが小さくなるように前記推定値を補正する姿勢推定部と
    を含むことを特徴とする観測システム。
  8. 　請求項７記載の観測システムであって、前記測距点座標算出部、前記画像座標算出部、前記画像マッチング部及び姿勢推定部は、非線形最小自乗法に基づき、前記測地座標を算出する処理と、前記投影点座標を算出する処理と、前記画像座標を検出する処理と、前記推定値を補正する処理とを反復して実行することを特徴とする観測システム。
  9. 　請求項７記載の観測システムであって、前記飛行体の飛行ルートを設定するための飛行ルート設定装置を更に備え、
    　前記飛行ルート設定装置は、
    　前記飛行ルートを指示する入力データを受け付ける入力データ処理部と、
    　前記入力データ処理部で受け付けられた当該入力データに基づき、前記飛行ルートを定めるルートデータを生成するルートデータ生成部と
    を含み、
    　前記飛行体は、前記ルートデータで定められた当該飛行ルートに沿って前記飛行体を飛行させる飛行制御装置を備える
    ことを特徴とする観測システム。
  10. 　請求項９記載の観測システムであって、
    　前記飛行ルート設定装置は、ユーザによる操作入力を検出する操作入力部と接続された入力インタフェース部を更に含み、
    　前記入力インタフェース部は、前記操作入力部で検出された操作入力を前記入力データとして前記入力データ処理部に供給する
    ことを特徴とする観測システム。
  11. 　請求項９記載の観測システムであって、前記飛行ルート設定装置は、前記ルートデータを記録媒体に格納するメモリインタフェース部を更に備えることを特徴とする観測システム。
  12. 　請求項９記載の観測システムであって、
    　前記飛行ルート設定装置は、前記ルートデータを無線で送信する無線インタフェース部を更に備え、
    　前記飛行体は、
    　前記無線インタフェース部から前記ルートデータを受信する無線通信部と、
    　前記無線通信部で受信された当該ルートデータで定められた当該飛行ルートに沿って前記飛行体を飛行させる飛行制御装置とを備える
    ことを特徴とする観測システム。
  13. 　請求項７記載の観測システムであって、
    　前記観測装置は、前記測位データ、前記測距データ、前記実姿勢データ及び前記撮像画像群を含む観測データを無線で送信する無線通信部を更に備え、
    　前記姿勢推定装置は、前記無線通信部から当該観測データを受信する無線インタフェース部を更に備える
    ことを特徴とする観測システム。
  14. 　請求項９記載の観測システムであって、前記測距部は、レーザ光で前記地上を走査し前記測距点から反射レーザ光を受光して前記距離及び前記角度方向を測定することを特徴とする観測システム。
  15. 　請求項１４記載の観測システムであって、
    　前記飛行制御装置は、前記ルートデータで定められた第１の飛行ルートを所定方向に沿って前記飛行体に自動で飛行させた後に、前記第１の飛行ルートと並行する第２の飛行ルートを前記所定方向とは逆方向に沿って前記飛行体に自動で飛行させ、
    　前記飛行体が前記第１の飛行ルートを飛行する際の前記レーザ光の走査範囲と、前記飛行体が前記第２の飛行ルートを飛行する際の前記レーザ光の走査範囲とは、互いにオーバラップすることを特徴とする観測システム。
  16. 　請求項１５記載の観測システムであって、前記所定方向は一軸方向であることを特徴とする観測システム。
  17. 　測地座標系における飛行体の位置を示す測位データを出力する測位部と、前記飛行体から地上の測距点までの距離と当該測距点に対する角度方向とを計測して測距データを出力する測距部と、前記飛行体に搭載された状態で複数の撮像位置から当該測距点を撮像して撮像画像群を出力する撮像部と、重力方向を基準とした当該飛行体の姿勢を検出して実姿勢データを出力する姿勢センサとを含む観測装置と連携して動作する姿勢推定装置において実行される姿勢推定方法であって、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記撮像画像群を前記観測装置から取得するステップと、
    　前記測位データ、前記測距データ、前記実姿勢データ及び前記飛行体の姿勢を示す未知のパラメータの推定値を用いて、前記測地座標系における当該測距点の位置を示す測地座標を算出するステップと、
    　前記測地座標系から画像座標系への投影変換を前記測地座標に施して投影点座標を算出するステップと、
    　前記撮像画像群から選択された第１の撮像画像と第２の撮像画像との間の画像マッチングを実行して前記第１の撮像画像に現れる当該測距点の画像座標を検出するステップと、
    　前記投影点座標と前記画像座標との間の差分の大きさが小さくなるように前記推定値を補正するステップと
    を備えることを特徴とする姿勢推定方法。
  18. 　請求項１７記載の姿勢推定方法であって、前記測地座標を算出する当該ステップと、前記投影点座標を算出する当該ステップと、前記画像座標を検出する当該ステップと、前記推定値を補正する当該ステップとは、非線形最小自乗法に基づいて反復して実行されることを特徴とする姿勢推定方法。
PCT/JP2016/066444 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム WO2017208424A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/099,805 US11099030B2 (en) 2016-06-02 2016-06-02 Attitude estimation apparatus, attitude estimation method, and observation system
CN201680086109.9A CN109477716A (zh) 2016-06-02 2016-06-02 姿态估计装置、姿态估计方法和观测系统
JP2018520304A JP6430073B2 (ja) 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム
PCT/JP2016/066444 WO2017208424A1 (ja) 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066444 WO2017208424A1 (ja) 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム

Publications (1)

Publication Number Publication Date
WO2017208424A1 true WO2017208424A1 (ja) 2017-12-07

Family

ID=60479233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066444 WO2017208424A1 (ja) 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム

Country Status (4)

Country Link
US (1) US11099030B2 (ja)
JP (1) JP6430073B2 (ja)
CN (1) CN109477716A (ja)
WO (1) WO2017208424A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880661A (zh) * 2021-01-11 2021-06-01 北京中科宇航技术有限公司 一种垂直降落飞行器的位置姿态测量方法及装置
CN115016524A (zh) * 2022-08-10 2022-09-06 东方空间技术(北京)有限公司 一种飞行器控制方法、系统、计算机设备及可读存储介质
CN116430427A (zh) * 2023-06-12 2023-07-14 湖南中车时代通信信号有限公司 铁路区间信号设备坐标自动获取方法、系统及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6707098B2 (ja) * 2018-01-31 2020-06-10 田中　成典 三次元モデル生成システム
CN108399641B (zh) * 2018-03-12 2019-10-11 北京华捷艾米科技有限公司 重新检测地面的判定方法及装置
US11426059B2 (en) * 2018-06-02 2022-08-30 Ankon Medical Technologies (Shanghai) Co., Ltd. Control system for capsule endoscope
CN112128055B (zh) * 2019-09-27 2022-09-20 青岛航天半导体研究所有限公司 基于陀螺仪自动导航系统的发电控制方法
CN114839196B (zh) * 2022-07-01 2022-10-14 中国标准化研究院 一种基于计算机视觉的无接触式质量测量研究方法的系统
CN115218928B (zh) * 2022-08-11 2023-05-26 湖南科天健光电技术有限公司 校准方法、测量待测目标的方法、装置、系统及飞行系统
CN116576850B (zh) * 2023-07-12 2023-10-20 北京集度科技有限公司 一种位姿确定方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225706A (ja) * 2011-04-18 2012-11-15 Aero Asahi Corp 航空レーザ測量システム
JP2013030851A (ja) * 2011-07-26 2013-02-07 Kokusai Kogyo Co Ltd 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
US20160076892A1 (en) * 2014-03-24 2016-03-17 SZ DJI Technology Co., Ltd Methods and systems for determining a state of an unmanned aerial vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08268393A (ja) 1995-03-29 1996-10-15 Toshiba Tesco Kk 駐機位置指示装置のキャリブレーション方法
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
JP2003075152A (ja) * 2001-09-07 2003-03-12 Starlabo Corp 航空機搭載撮像装置および航空撮像データ処理装置
JP2004177252A (ja) 2002-11-27 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 姿勢計測装置および方法
JP2007240506A (ja) 2006-03-06 2007-09-20 Giyourin Cho ３次元形状と３次元地形計測法
EP2511781A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH System und Verfahren zur Steuerung eines unbemannten Fluggeräts
JP2013096745A (ja) 2011-10-28 2013-05-20 Hokuriku Kosoku Co Ltd 三次元モデルの作成方法
GB2501684B (en) * 2012-04-30 2018-12-12 2D3 Ltd Collaborative sighting
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP6135972B2 (ja) 2012-10-29 2017-05-31 国際航業株式会社 標定方法、標定プログラム、及び標定装置
JP2014089113A (ja) * 2012-10-30 2014-05-15 Yamaha Corp 姿勢推定装置及びプログラム
JP5561843B1 (ja) 2013-01-07 2014-07-30 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 制御装置、測量システム、プログラム及び記録媒体並びに計測方法
EP3159122A4 (en) * 2014-06-17 2018-05-30 Yujin Robot Co., Ltd. Device and method for recognizing location of mobile robot by means of search-based correlation matching
KR101708659B1 (ko) * 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225706A (ja) * 2011-04-18 2012-11-15 Aero Asahi Corp 航空レーザ測量システム
JP2013030851A (ja) * 2011-07-26 2013-02-07 Kokusai Kogyo Co Ltd 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
US20160076892A1 (en) * 2014-03-24 2016-03-17 SZ DJI Technology Co., Ltd Methods and systems for determining a state of an unmanned aerial vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112880661A (zh) * 2021-01-11 2021-06-01 北京中科宇航技术有限公司 一种垂直降落飞行器的位置姿态测量方法及装置
CN112880661B (zh) * 2021-01-11 2022-11-11 北京中科宇航技术有限公司 一种垂直降落飞行器的位置姿态测量方法及装置
CN115016524A (zh) * 2022-08-10 2022-09-06 东方空间技术(北京)有限公司 一种飞行器控制方法、系统、计算机设备及可读存储介质
CN115016524B (zh) * 2022-08-10 2022-10-21 东方空间技术(北京)有限公司 一种飞行器控制方法、系统、计算机设备及可读存储介质
CN116430427A (zh) * 2023-06-12 2023-07-14 湖南中车时代通信信号有限公司 铁路区间信号设备坐标自动获取方法、系统及存储介质
CN116430427B (zh) * 2023-06-12 2023-08-25 湖南中车时代通信信号有限公司 铁路区间信号设备坐标自动获取方法、系统及存储介质

Also Published As

Publication number Publication date
JP6430073B2 (ja) 2018-11-28
CN109477716A (zh) 2019-03-15
US20190293450A1 (en) 2019-09-26
US11099030B2 (en) 2021-08-24
JPWO2017208424A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6430073B2 (ja) 姿勢推定装置、姿勢推定方法及び観測システム
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
JP6560337B2 (ja) 遠隔画像の安定化及び表示
KR100556103B1 (ko) 자동촬영시스템을 이용한 항공촬영방법
JP6878567B2 (ja) ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6029794B1 (ja) 航法装置および測量システム
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP7251474B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
JP2008304260A (ja) 画像処理装置
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP2018021865A (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
WO2019230604A1 (ja) 検査システム
CN110296688A (zh) 一种基于被动地理定位技术的侦测一体倾斜航测吊舱
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
US20210229810A1 (en) Information processing device, flight control method, and flight control system
EP4246088A1 (en) Surveying system, surveying method, and surveying program
JP2004245741A (ja) 空中写真測量方法
JP2019191888A (ja) 無人飛行体、無人飛行方法及び無人飛行プログラム
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
JP6681101B2 (ja) 検査システム
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
Jia et al. Modeling image motion in airborne three-line-array (TLA) push-broom cameras
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520304

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904049

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16904049

Country of ref document: EP

Kind code of ref document: A1