WO2018198634A1 - 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム Download PDF

Info

Publication number
WO2018198634A1
WO2018198634A1 PCT/JP2018/012289 JP2018012289W WO2018198634A1 WO 2018198634 A1 WO2018198634 A1 WO 2018198634A1 JP 2018012289 W JP2018012289 W JP 2018012289W WO 2018198634 A1 WO2018198634 A1 WO 2018198634A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
imaging
sensor
moving body
Prior art date
Application number
PCT/JP2018/012289
Other languages
English (en)
French (fr)
Inventor
浩史 森
佐野　洋之
秀宇 宮牧
雅人 辻永
洋一郎 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019515165A priority Critical patent/JP7251474B2/ja
Priority to US16/607,006 priority patent/US11341608B2/en
Priority to CN201880026201.5A priority patent/CN110537365B/zh
Priority to AU2018259895A priority patent/AU2018259895B2/en
Priority to EP18790277.0A priority patent/EP3618417B1/en
Priority to CN202210934986.4A priority patent/CN115361482A/zh
Publication of WO2018198634A1 publication Critical patent/WO2018198634A1/ja
Priority to US17/724,181 priority patent/US11756158B2/en
Priority to JP2022198842A priority patent/JP2023039993A/ja
Priority to US18/362,466 priority patent/US20230419445A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present technology relates to an information processing device, an information processing method, an information processing program, an image processing device, and an image processing system.
  • Patent Document 1 There is a method of performing imaging at a fixed interval with a camera that has been used.
  • the feature points are extracted from each image and superposed while collating the feature points that are common to the overlapping portions of the adjacent images. To do.
  • the present technology has been made in view of such problems, and is an information processing device that can be used for image processing by associating position information of a moving body with an image captured by an imaging device mounted on the moving body, An information processing method, an information processing program, an image processing apparatus, and an image processing system are provided.
  • the first technique acquires an image captured in accordance with an imaging instruction by an imaging apparatus mounted on a moving body, and outputs a signal transmitted from the imaging apparatus in accordance with the imaging instruction. Accordingly, the information processing apparatus acquires sensor information including position information of the moving body from the sensor apparatus, and associates the acquired sensor information with the acquired image.
  • the second technique acquires an image captured in accordance with an imaging instruction by an imaging apparatus mounted on a moving body, and moves from the sensor apparatus in accordance with a signal transmitted from the imaging apparatus in response to the imaging instruction.
  • This is an information processing method for acquiring sensor information including body position information and associating the acquired sensor information with the acquired image.
  • the third technique acquires an image captured in accordance with an imaging instruction by an imaging apparatus mounted on a moving body, and moves from the sensor apparatus in accordance with a signal transmitted from the imaging apparatus in response to the imaging instruction.
  • An information processing program for acquiring sensor information including body position information and causing a computer to execute an information processing method for associating the acquired sensor information with the acquired image.
  • the fourth technique receives a plurality of images associated with sensor information including position information of a moving body acquired according to a signal transmitted from an imaging device in response to an imaging instruction, and receives a plurality of images.
  • the image processing apparatus generates a composite image by arranging the images of the image based on the sensor information.
  • the fifth technique is a method of obtaining position information of a moving body in accordance with a moving body, an imaging device mounted on the moving body, and a signal mounted on the moving body and transmitted from the imaging device in response to an imaging instruction.
  • An image processing system includes a sensor device that detects sensor information including an information processing device that associates sensor information with an image captured by the imaging device.
  • the position information of the moving body can be associated with the image captured by the imaging device mounted on the moving body and used for image processing.
  • the effect described here is not necessarily limited, and may be any effect described in the specification.
  • FIG. 2A is a plan view showing the external configuration of the moving body
  • FIG. 2B is a side view showing the external configuration of the moving body.
  • It is a figure for demonstrating matching with an image and sensor information.
  • FIG. 18A is a block diagram illustrating a configuration of a sensor device including a LiDAR sensor
  • FIG. 18B is a side view illustrating an external configuration of a moving body to which the LiDAR sensor is attached. It is a figure for demonstrating matching with an image, GPS data, and altitude data. It is explanatory drawing of the calculation method of the altitude of the ground surface at the time of using LiDAR. It is a flowchart which shows a composite image creation process. It is explanatory drawing of a ground orthogonal coordinate system and a synthetic
  • First Embodiment> [1-1. Configuration of image processing system] [1-2. Configuration of moving body] [1-3. Configuration of imaging device] [1-4. Configuration of sensor device] [1-5. Configuration of terminal device and cloud] [1-6. Processing performed by the image processing system] [1-7. Imaging and sensor information association processing] [1-8. Composite image creation process] ⁇ 2.
  • Second Embodiment> [2-1. Overview of Composite Image Creation in Second Embodiment] [2-2. Overall processing in the second embodiment] [2-3.
  • Composite image creation process] ⁇ 3. Modification>
  • the image processing system 1000 includes a moving body 100, an imaging device 200, a sensor device 300, a terminal device 400, and a cloud 500.
  • the moving body 100 is an electric small aircraft (unmanned aerial vehicle) called a drone.
  • the imaging device 200 is mounted on the moving body 100 and captures an image of the ground surface during the flight of the moving body 100.
  • the sensor device 300 includes various sensors, is mounted on the moving body 100, and supplies sensor information acquired by the various sensors to the imaging device 200. Note that the imaging of the ground surface includes not only the land on the earth but also artificial objects and natural objects such as buildings built on the land as well as roads provided on the ground surface.
  • the terminal device 400 is a computer or the like used by a user who uses the image processing system 1000 on the ground, and performs a composite image creation process using an image captured by the imaging device 200.
  • the cloud is configured by a server such as a cloud service provider, and performs a composite image creation process using an image captured by the image capturing apparatus 200.
  • the composite image creation process a plurality of images captured during the movement of the moving body 100 by the imaging device 200 mounted on the moving body 100 are used to superimpose and arrange a part of adjacent images. Creates a large composite image. Therefore, the image captured by the imaging device 200 is supplied to the terminal device 400 and / or the cloud 500.
  • the cloud 500 may not perform the composite image creation process.
  • the terminal device 400 performs the composite image creation process
  • the terminal device 400 performs the composite image creation process. It does not have to be.
  • the composite image creation process may be performed in both the terminal device 400 and the cloud 500.
  • the cloud 500 may store the composite image created by the terminal device 400 without supplying the composite image creation process, and supply the composite image in response to a request from the user.
  • the flight plan (altitude, speed, trajectory) of the moving body 100 in consideration of the combination of the characteristic specifications (horizontal / vertical lens angle of view) and the operation settings (shutter cycle) of the imaging apparatus 200, and constant An imaging plan indicating where (imaging position) and what range (imaging range) is to be imaged is set in advance.
  • the moving body 100 flies according to the flight plan, and the imaging device 200 performs imaging according to the imaging plan.
  • FIG. 2A is a plan view of the moving body 100
  • FIG. 2B is a front view of the moving body 100.
  • the fuselage is composed of, for example, a cylindrical or rectangular tube-shaped body portion 1 as a central portion and support shafts 2a to 2f fixed to the upper portion of the body portion 1.
  • the body portion 1 has a hexagonal cylindrical shape, and six support shafts 2a to 2f extend radially from the center of the body portion 1 at equiangular intervals.
  • the body portion 1 and the support shafts 2a to 2f are made of a light material having high strength.
  • each component is designed so that the fuselage unit 1 and the support shafts 2a to 2f have a center of gravity on a vertical line passing through the centers of the support shafts 2a to 2f. Further, a circuit unit 5 and a battery 6 are provided in the body 1 so that the center of gravity is on the vertical line.
  • the number of rotor blades and motors is six. However, a configuration having four rotor blades and a motor, or a configuration having eight or more rotor blades and a motor may be used.
  • Motors 3a to 3f as drive sources for the rotor blades are attached to the tip portions of the support shafts 2a to 2f, respectively.
  • Rotor blades 4a to 4f are attached to the rotation shafts of the motors 3a to 3f.
  • a circuit unit 5 including a control unit for controlling each motor is attached to a central portion where the support shafts 2a to 2f intersect.
  • the motor 3a and the rotor blade 4a, and the motor 3d and the rotor blade 4d constitute a pair.
  • (motor 3b, rotor blade 4b) and (motor 3e, rotor blade 4e) constitute a pair
  • (motor 3c, rotor blade 4c) and (motor 3f, rotor blade 4f) constitute a pair.
  • a battery 6 as a power source is disposed on the bottom of the body 1.
  • the battery 6 includes, for example, a lithium ion secondary battery and a battery control circuit that controls charging / discharging.
  • the battery 6 is detachably attached to the inside of the body portion 1. By making the center of gravity of the battery 6 coincide with the center of gravity of the airframe, the stability of the center of gravity increases.
  • An electric small aircraft generally called a drone enables desired navigation by controlling the output of a motor.
  • the tilt is detected using a gyro sensor mounted on the aircraft, and the motor output on the side where the aircraft is lowered is increased and the motor output on the side where it is raised is decreased. This keeps the aircraft level.
  • the motor output in the traveling direction is reduced and the motor output in the reverse direction is increased, so that a forward leaning posture is taken and a propulsive force in the traveling direction is generated.
  • the installation position of the battery 6 as described above can balance the stability of the aircraft and the ease of control.
  • FIG. 3 is a block diagram showing the configuration of the moving body 100.
  • the moving body 100 includes a control unit 101, a GPS (Global Positioning System) module 102, an IMU (inertial measurement unit) module 103, an altimeter 104, an azimuth meter 105, a communication unit 106, a battery 6, and motors 3a to 3f. ing. Note that the support shaft, the rotor blades, and the like described in the external configuration of the moving body 100 are omitted. It is assumed that the control unit 101, the GPS module 102, the IMU module 103, the altimeter 104, the azimuth meter 105, and the communication unit 106 are included in the circuit unit 5 shown in the external view of the moving body 100 in FIG.
  • GPS Global Positioning System
  • IMU intial measurement unit
  • the control unit 101 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the ROM stores a program that is read and operated by the CPU.
  • the RAM is used as a work memory for the CPU.
  • the CPU executes various processes in accordance with programs stored in the ROM and issues commands, thereby controlling the entire moving body 100, setting the timing of imaging by the imaging device 200, and outputting an imaging instruction signal to the imaging device 200. Send and so on.
  • the control unit 101 controls the flight of the moving body 100 by controlling the outputs of the motors 3a to 3f.
  • the GPS module 102 acquires the current position (latitude / longitude information) and current time of the moving body 100 and supplies them to the control unit 101.
  • the IMU module 103 is an inertial measurement device, and obtains a three-dimensional angular velocity and acceleration by an acceleration sensor, an angular velocity sensor, a gyro sensor, or the like with respect to two or three axes directions.
  • the attitude information of the angular velocity at the time and the angular velocity around the Y-axis direction is detected and supplied to the control unit 101.
  • the altimeter 104 measures the altitude at which the moving body 100 is located and supplies altitude data to the control unit 101, and includes a barometric altimeter, a radio altimeter, and the like.
  • the barometric altimeter detects atmospheric pressure, and the radio altimeter emits radio waves to the ground surface vertically below, measures the reflected waves from the ground surface, and calculates the altitude from the time from radio emission to arrival of the reflected waves. .
  • the azimuth meter 105 detects the traveling direction of the moving body 100 using the action of a magnet and supplies it to the control unit 101.
  • the communication unit 106 is various communication terminals or a communication module for transmitting and receiving data to and from the imaging device 200.
  • An imaging instruction signal that triggers imaging is transmitted from the moving body 100 to the imaging apparatus 200.
  • Communication with the terminal device 400 may be wired communication such as USB (Universal Serial Bus) communication, wireless LAN such as Wi-Fi (Local Area Network), Bluetooth (registered trademark), or wireless communication such as ZigBee. .
  • the communication unit 106 also performs communication with an external device (such as a personal computer, a tablet terminal, or a smartphone) that functions as a device (referred to as a base station) for controlling the mobile body 100 from the ground.
  • the mobile unit 100 transmits the state of the mobile unit 100 in flight to the base station via communication by the communication unit 106. It also receives instructions from the base station. Since the mobile body 100 is a flying body that flies in the air, communication with the base station is performed by wireless communication.
  • the imaging device 200 is mounted on the lower portion of the moving body 100
  • the sensor device 300 is mounted on the upper portion of the moving body 100.
  • the sensor device 300 is not limited to be mounted on the upper part of the moving body 100, but is preferably mounted on the upper part of the moving body 100 so that information such as GPS can be easily obtained.
  • the imaging apparatus 200 is mounted on the bottom surface of the body portion 1 of the moving body 100 so as to be suspended via a camera mount 50 having a function as a gimbal.
  • the image pickup apparatus 200 can pick up an image by directing the lens in any direction of 360 degrees from the horizontal direction to the vertical direction by driving the camera mount 50.
  • the operation control of the camera mount 50 is performed by the control unit 101 based on the imaging plan.
  • the configuration of the imaging apparatus 200 will be described with reference to the block diagram of FIG.
  • the imaging apparatus 200 includes a control unit 201, an optical imaging system 202, a lens driving driver 203, an imaging element 204, an image signal processing unit 205, an image memory 206, a storage unit 207, a communication unit 208, an IMU module 209, an azimuth meter 210, and information.
  • a processing unit 250 is provided.
  • the control unit 201 includes a CPU, a RAM, a ROM, and the like.
  • the CPU controls the entire imaging apparatus 200 by executing various processes in accordance with programs stored in the ROM and issuing commands.
  • the control unit 201 also functions as the information processing unit 250.
  • the information processing unit 250 performs processing for associating sensor information transmitted from the sensor device 300 with the image obtained by the imaging as metadata and storing it in the storage unit 207. Details of the processing by the information processing unit 250 will be described later.
  • the information processing unit 250 is configured by a program, and the program may be installed in the imaging apparatus 200 in advance, or may be distributed by download, a storage medium, or the like and installed by the user. . Further, the information processing unit 250 may be configured independently from the control unit 201. Furthermore, the information processing unit 250 is not only realized by a program, but may be realized by a combination of a dedicated device, a circuit, and the like using hardware having the function.
  • the optical imaging system 202 includes an imaging lens for condensing light from a subject on the imaging device 204, a driving mechanism for moving the imaging lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. Yes. These are driven based on control signals from the control unit 201 and the lens driving driver 203 of the imaging apparatus 200.
  • the optical image of the subject obtained through the optical imaging system 202 is formed on the imaging element 204 provided in the imaging device 200.
  • the lens drive driver 203 is configured by, for example, a microcomputer, and performs autofocus so as to focus on a target subject by moving the imaging lens by a predetermined amount along the optical axis direction according to the control of the control unit 201. Further, in accordance with control from the control unit 201, the operation of the drive mechanism, shutter mechanism, iris mechanism, and the like of the optical imaging system 202 is controlled. Thereby, adjustment of exposure time (shutter speed), aperture value (F value), etc. are made.
  • the image sensor 204 photoelectrically converts incident light from a subject to convert it into a charge amount, and outputs a pixel signal. Then, the image sensor 204 outputs a pixel signal to the image signal processing unit 205.
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the image signal processing unit 205 performs a sample hold for maintaining a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing on the image signal output from the image sensor 204, and AGC (Auto Gain Control). ) Processing, A / D (Analog / Digital) conversion, etc. are performed to create an image signal.
  • the image signal processing unit 205 performs predetermined signal processing such as demosaic processing, white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, AE (Auto-Exposure) processing, resolution conversion processing, etc. May be applied to.
  • predetermined signal processing such as demosaic processing, white balance adjustment processing, color correction processing, gamma correction processing, Y / C conversion processing, AE (Auto-Exposure) processing, resolution conversion processing, etc. May be applied to.
  • the image memory 206 is a volatile memory, for example, a buffer memory composed of DRAM (Dynamic Random Access Memory).
  • the image memory 206 temporarily stores image data that has been subjected to predetermined processing by the image signal processing unit 205.
  • the storage unit 207 is a large-capacity storage medium such as a hard disk, USB flash memory, or SD memory card.
  • the captured image is stored in a compressed state or an uncompressed state based on a standard such as JPEG (Joint Photographic Experts Group).
  • EXIF Exchangeable Image File Format
  • IMU data obtained by the IMU module 209 is associated with an image as XMP (Extensible Metadata Platform).
  • the image is stored in the storage unit 207 in a state where the sensor information is associated as metadata by the information processing unit 250.
  • the communication unit 208 is various communication terminals or communication modules for transmitting / receiving data to / from the moving body 100 and the sensor device 300.
  • an imaging instruction signal is received from the moving body 100.
  • an exposure notification signal for notifying the sensor device 300 of a predetermined timing from the start to the end of exposure is transmitted, and sensor information transmitted from the sensor device 300 is received.
  • Communication with the mobile unit 100 and the sensor device 300 may be either wired communication such as USB communication, wireless LAN such as Wi-Fi, wireless communication such as Bluetooth (registered trademark), ZigBee, or the like.
  • the imaging apparatus 200 can be supplied with power from the battery 6 of the moving body 100.
  • the IMU module 209 and the azimuth meter 210 are the same as those provided in the moving body 100.
  • the IMU module 209 detects the orientation and inclination of the imaging apparatus 200, and the compass 210 detects the imaging direction of the imaging apparatus 200.
  • the configuration of the sensor device 300 will be described with reference to the block diagram of FIG.
  • the sensor device 300 includes a control unit 301, a GPS module 302, an IMU module 303, an altimeter 304, an azimuth meter 305, an illuminance sensor 306, and a communication unit 307.
  • the sensor control unit 301 includes a CPU, a RAM, a ROM, and the like.
  • the CPU controls the entire sensor device 300 by executing various processes in accordance with programs stored in the ROM and issuing commands.
  • the GPS module 302, the IMU module 303, the altimeter 304, and the azimuth meter 305 are the same as those provided in the moving body 100.
  • the sensor device 300 includes a plurality of sensors, and supplies sensor information obtained by them to the imaging device 200.
  • the GPS module 302 is for detecting the horizontal position coordinates of the moving body 100 during the flight of the moving body 100.
  • the IMU module 303 is for detecting the inclination of the moving body 100 during the flight of the moving body 100.
  • the altimeter 304 is for detecting the altitude of the moving body 100 during the flight of the moving body 100.
  • the compass 305 is for detecting the traveling direction of the moving body 100 during the flight of the moving body 100.
  • the moving body 100 also includes a GPS module 102, an IMU module 103, an altimeter 104, and an azimuth meter 105.
  • the moving body 100 is provided for the flight of the moving body 100 itself, and the sensor device 300 is provided. Is for acquiring sensor information associated with an image.
  • the illuminance sensor 306 includes a light receiving element, detects brightness by converting light incident on the light receiving element into an electric current, and supplies the light to the sensor control unit 301. Since the imaging environment and the brightness of the image change depending on the imaging time and weather, the brightness is detected by the illuminance sensor 306. Further, by providing the illuminance sensor 306 with sensitivity characteristics divided into a plurality of wavelength regions, the spectral distribution of sunlight falling on the mobile object 100 and the ground at the time when the image is captured or the energy in a plurality of specific wavelength bands. You can also specify the ratio.
  • the communication unit 307 is various communication terminals or communication modules for transmitting and receiving data to and from the imaging device 200.
  • the communication unit 307 receives an exposure notification signal from the imaging device 200 and transmits sensor information obtained by the sensor device 300 to the imaging device 200.
  • the communication with the imaging apparatus 200 may be any of wired communication such as USB communication, wireless LAN such as Wi-Fi, wireless communication such as Bluetooth (registered trademark) and ZigBee.
  • USB communication wireless LAN
  • Wi-Fi wireless LAN
  • wireless communication such as Bluetooth (registered trademark) and ZigBee.
  • the moving body 100, the imaging device 200, and the sensor device 300 are configured as described above.
  • a drone that is a moving body 100 equipped with an imaging device 200 can perform not only manual operation by a pilot but also automatic flight and automatic imaging using GPS data and IMU data.
  • imaging information such as route information, imaging position, imaging direction, and imaging time of a flight route is set in advance, and the control unit 110 of the mobile object 100 controls flight of the mobile object 100 according to the setting contents.
  • the imaging instruction to the imaging device 200 is performed. Further, the route information and the imaging information may be acquired from the base station by wireless communication.
  • the terminal device 400 is a personal computer or the like, and performs a composite image creation process using an image captured by the imaging device 200 and sensor information.
  • the image and sensor information captured by the imaging device 200 are transferred from the imaging device 200 to the terminal device 400 via a portable storage medium such as a USB flash memory or an SD memory card from the storage unit 207 of the imaging device 200.
  • the image capturing apparatus 200 may store the image and sensor information directly in the portable storage medium without using the storage unit 207.
  • an image may be transferred by communication between the communication unit 208 of the imaging device 200 and the terminal device 400.
  • the terminal device 400 may be a notebook computer or a stationary personal computer, or may be a tablet terminal, a smartphone, a game machine, or the like as long as it has sufficient processing capability and can execute a composite image creation process.
  • the cloud 500 also performs a composite image creation process using an image captured by the image capturing apparatus 200 and sensor information.
  • the cloud is one form of computer use and is built on a server of a cloud service provider.
  • a cloud service is a service provided by a server that exists on a network, and is one of the use forms of a computer based on the Internet. All necessary processing is basically performed on the server side.
  • the user saves the data on a server on the Internet, not on his personal computer, smartphone, mobile phone or the like. Therefore, it is possible to use services, view, edit, and upload data in various environments such as home, office, Internet cafe, school, and on the go.
  • the composite image creation process according to the present technology may be executed in the cloud 500 and provided to the consumer as a cloud service.
  • the image and sensor information are transmitted from the terminal device 400 to the cloud 500 via the Internet.
  • the imaging apparatus 200 has an Internet connection function
  • the image and sensor information may be transmitted from the imaging apparatus 200 to the cloud 500 via the Internet.
  • the composite image created by the cloud 500 may be stored only in the cloud 500, or may be transferred to the terminal device 400 and / or the imaging device 200.
  • step S ⁇ b> 11 is uploaded to the control unit 101 of the moving body 100, and the imaging plan programmed in advance is uploaded to the control unit 201 of the imaging apparatus 200. This upload is performed, for example, by user operation input or automatic transfer from the base station.
  • the flight of the moving body 100 is started in step S12.
  • step S13 imaging by the imaging device 200 is performed during the flight of the moving body 100.
  • sensor information is acquired by the sensor device 300 in parallel with imaging by the imaging device 200.
  • step S ⁇ b> 14 the captured image is stored in the storage unit 207 of the imaging device 200 in association with the sensor information.
  • step S15 sensor information associated as an image and metadata is transmitted from the storage unit 207 of the imaging device 200 to the terminal device 400 and / or the cloud 500.
  • step S16 it is determined whether or not the terminal device 400 has imaged at all imaging positions in the imaging plan, and steps S13 to S16 are repeated until imaging is performed at all imaging positions (No in step S15). .
  • step S ⁇ b> 17 a composite image creation process is performed in the terminal device 400 and / or the cloud 500. Details of each process will be described later.
  • FIG. 7 is a diagram for explaining a flight route and an imaging position of the moving body 100.
  • the synthesized image finally created by the synthesized image creating process is an image including the entire imaging range.
  • the moving body 100 has the GPS module 102 and the IMU module 103 for grasping its own position and posture, the aircraft 100 flies on a flight route according to the flight plan after takeoff, and the imaging plan for the imaging device 200
  • the imaging instruction signal is transmitted based on the above, and imaging is performed at each imaging position.
  • a method of performing imaging at a fixed interval there are a method of automatically repeating imaging at a fixed distance interval based on GPS data, and a method of automatically repeating imaging at a fixed time interval, but it is limited to either Is not to be done.
  • an imaging instruction is transmitted from the moving body 100 to the imaging device 200. This is because the GPS module 102 included in the moving body 100 acquires the positions of the moving body 100 and the imaging apparatus 200 and issues an imaging instruction based on GPS data indicating the positions.
  • the moving body 100 or the imaging apparatus 200 having a time measuring function can issue an imaging instruction.
  • the flight plan and the imaging plan have overlapping portions of the imaging range in the traveling direction of the moving body 100 and the direction between the flight routes. Is set to By performing imaging so that overlapping portions are generated in the imaging range in this way, gaps and omissions are prevented when a composite image is created from a plurality of images acquired by imaging.
  • flight plan and imaging plan shown in FIG. 7 are set for convenience of explanation of the present technology, and the present technology is not limited to such a flight route and imaging position.
  • step S ⁇ b> 21 an imaging instruction signal based on the imaging plan is transmitted from the moving body 100 to the imaging apparatus 200.
  • the imaging apparatus 200 that has received the imaging instruction signal in step S22 starts exposure, and after the image is acquired in step S23, the exposure ends after a predetermined exposure time elapses in step S24.
  • the imaging apparatus 200 transmits an exposure notification signal that notifies the sensor apparatus 300 that the exposure is completed.
  • step S26 sensor information is transmitted from the sensor device 300 that has received the exposure notification signal from the imaging device 200 to the imaging device 200.
  • the imaging apparatus 200 stores the sensor information in the storage unit 207 in association with the image acquired by imaging as metadata.
  • the above processing is performed on all images acquired by imaging.
  • sensor information transmitted from the sensor device 300 to the imaging device 200 is GPS data obtained by the GPS module 302 (corresponding to position information in claims), an IMU module 303. Is IMU data (corresponding to inclination information in the claims).
  • the sensor information may include altitude data obtained by the altimeter 304 (equivalent to altitude information in the claims).
  • the imaging apparatus 200 When the imaging instruction signal is transmitted from the moving body 100 to the imaging apparatus 200, the imaging apparatus 200 starts receiving the signal, and after a predetermined exposure time elapses, the exposure ends and an image is acquired.
  • the sensor device 300 periodically acquires GPS data by the GPS module 302 at a predetermined time interval asynchronously with the imaging instruction and exposure timing, and further periodically acquires IMU data by the IMU module 303 at a predetermined time interval. Have acquired.
  • the timing at which the GPS module 302 acquires GPS data and the timing at which the IMU module 303 acquires IMU data may be asynchronous or synchronized. Note that it is preferable to save all of the GPS data and IMU data without deleting the past data when new data is acquired.
  • the imaging apparatus 200 starts exposure.
  • an image is acquired and the imaging apparatus 200 detects a sensor.
  • An exposure notification signal for notifying the timing of completion of exposure is transmitted to the apparatus 300.
  • the sensor device 300 When the sensor device 300 receives the exposure notification signal, the sensor device 300 transmits GPS data obtained at a timing closest to the timing at which the exposure notification signal is received to the imaging device 200. Similarly, when the sensor device 300 receives the exposure notification signal, the sensor device 300 transmits IMU data obtained at a timing closest to the timing at which the exposure notification signal is received to the imaging device 200.
  • the exposure timing of the imaging apparatus 200 and the GPS data and IMU data acquisition timing in the sensor apparatus 300 are asynchronous. Therefore, the timing at which the sensor apparatus 300 receives an exposure notification signal from the imaging apparatus 200; The timing at which the sensor device 300 acquires GPS data and IMU data does not necessarily match. Therefore, the sensor device 300 transmits the (latest) GPS data and IMU data acquired at the timing closest to the timing at which the exposure notification signal is received to the imaging device 200.
  • GPS data A is acquired when the sensor device 300 receives an exposure notification signal for notifying exposure for acquiring image data A. Therefore, when the acquisition of GPS data A is completed, the sensor The device 300 transmits the GPS data A to the imaging device 200.
  • the IMU data A is acquired when the sensor device 300 receives an exposure notification signal for notifying exposure for acquiring the image data A
  • the sensor device 300 is completed. Transmits IMU data A to the imaging apparatus 200. As described above, the GPS data A and the IMU data A acquired at the timing closest to the timing of receiving the exposure notification signal are transmitted from the sensor device 300 to the imaging device 200.
  • the information processing unit 250 associates GPS data A and IMU data A as metadata with the image A and stores them in the storage unit 207.
  • the imaging apparatus 200 When the moving body 100 transmits the next imaging instruction signal to the imaging apparatus 200, the imaging apparatus 200 performs exposure in the same manner.
  • the image B is acquired by imaging and an exposure notification signal is sent to the sensor apparatus 300.
  • Sent In the case of FIG. 9, since the GPS data B is acquired when the sensor device 300 receives an exposure notification signal for notifying exposure for acquiring the image data B, the sensor is acquired when the acquisition of the GPS data B is completed.
  • the device 300 transmits the GPS data B to the imaging device 200.
  • the IMU data B is acquired when the sensor apparatus 300 receives an exposure notification signal for notifying exposure for acquiring the image data B, when the acquisition of the IMU data B is completed, the sensor apparatus 300 is completed. Transmits IMU data B to the imaging apparatus 200.
  • the GPS data B and the IMU data B acquired at timing closest to the exposure notification signal reception timing are transmitted from the sensor device 300 to the imaging device 200. Then, the information processing unit 250 associates GPS data B and IMU data B as metadata with the image B and stores them in the storage unit 207.
  • All images captured in this way are stored in the storage unit 207 in association with sensor information.
  • the transmission of the exposure notification signal that triggers the association between the image and the sensor information may be performed at some timing between the timing when the imaging instruction is given and the timing when the exposure ends.
  • the transmission of the exposure notification signal may be performed at any timing between the timing when the imaging apparatus 200 starts preparation for exposure and the exposure end timing. This is effective when there is a time lag between receiving the imaging instruction signal and preparing for exposure.
  • the exposure notification signal may be transmitted at any timing between the exposure start timing and the exposure end timing of the imaging apparatus 200. In this case, GPS information acquired at a timing closer to the captured image can be obtained.
  • the exposure start timing and the exposure end timing there is a timing at the start of exposure or a timing at the end of exposure.
  • GPS data closer to the exposure timing can be acquired, so that more accurate GPS data can be given to the image.
  • the GPS data and IMU data associated with the images are related with high time accuracy. Therefore, it is possible to connect images by relying only on GPS data and IMU data. Therefore, a faster composite image creation process is possible.
  • new GPS data is calculated from GPS data A and GPS data B acquired before and after the timing of receiving the exposure notification signal for acquiring image A, and is associated with image A as GPS data. Also good.
  • the exposure notification signal reception timing is intermediate between the GPS data A acquisition timing and the GPS data B acquisition timing (a ratio of 5: 5)
  • the intermediate value between the GPS data A and the GPS data B is obtained by a weighted average or the like.
  • the new GPS data is represented as GPS data N.
  • the new GPS data N is transmitted from the sensor device 300 to the imaging device 200 after the GPS data B is acquired.
  • the calculation of new sensor information from the plurality of sensor information is not limited to GPS data, but can be applied to all sensor information handled by the present technology such as IMU data and altitude data.
  • timing used as a reference for associating the image with GPS data and IMU data is not limited to the end of exposure. It may be the timing of an imaging instruction by the moving body 100 or the imaging apparatus 200 itself, or the timing of the start of exposure.
  • step S31 a correction process is performed on one image used for creating a composite image.
  • the correction process is a process for correcting an image based on sensor information associated with the image as metadata. Details of the correction processing will be described later.
  • step S32 a process of arranging the corrected image for creating a composite image is performed. Details of the arrangement processing will be described later.
  • step S33 it is determined whether or not arrangement processing has been performed for all images. If all the images are not arranged, the process proceeds to step S31, and steps S31 to S33 are repeated until all the images are arranged (No in step S33).
  • step S33 If it is determined in step S33 that all the images have been arranged, the process ends and the composite image is completed (Yes in step S33).
  • FIG. 12 shows a composite image created by arranging a plurality of adjacent images while overlapping a part of adjacent images.
  • the composite image is a map image of farmland created using a plurality of images obtained by imaging farmland from the sky.
  • FIG. 12 for convenience of explanation, a part of the plurality of images (images A to I) constituting the created map image is framed, and the shading is further changed.
  • the points on the images A to I are the positions of the latitude and longitude indicated by the GPS data associated with each image, and the broken lines indicate the latitude and longitude of each image.
  • the position of the image is corrected based on GPS data associated with each image as metadata, and the image is arranged.
  • the imaging positions are arranged in a straight line as shown in FIG. 7 and the imaging range is set in advance, and it is ideal that the imaging is performed as it is.
  • the imaging position and imaging range often deviate from the imaging plan due to the influence of wind and the like.
  • images are arranged based on GPS data.
  • an image arrangement method based on GPS data a method of arranging the latitude and longitude in the map data associated with the latitude and longitude information so that the latitude and longitude indicated by the GPS data associated with the image coincide with each other.
  • map data map data associated with latitude and longitude data issued by the Geographical Survey Institute, or map data associated with latitude and longitude data provided by a map service on the Internet can be used.
  • imaging by the imaging device 200 mounted on the moving body 100 is based on the flight plan and the imaging plan in advance, and in which position (imaging position) and in which range (imaging range) an image is to be captured in advance. It has been decided. Correction is performed using GPS data when the predetermined imaging position and imaging range deviate from the actually captured image.
  • the images A, B, and C have the same longitude, so that they are arranged along the latitude direction without a shift in longitude. Since the image D is deviated from the imaging position in the imaging plan, the longitude of the image C and the image D is deviated along the latitude direction. Therefore, as shown in FIG. 13A, the image arrangement position when the map image is created by performing parallel movement of the image from the imaging position in the imaging plan to the position of the GPS data associated with the image is corrected. Since the GPS data is the latitude and longitude information of the imaging position, the image is arranged so that the GPS data as the metadata of the image matches the actual latitude and longitude.
  • the subject when the image is captured at a position higher than the height of the moving object 100 in the flight plan, as shown in FIG. 13B, the subject is smaller and the angle of view is smaller than when captured according to the flight plan and the imaging plan. Become wider.
  • correction is performed by performing enlargement processing so as to match the size of the subject when images are captured in accordance with the flight plan and the imaging plan. Then, the composite image is created by arranging the corrected images.
  • the image capturing apparatus 200 captures images in parallel with the farmland.
  • the moving body 100 or the imaging apparatus 200 is tilted during imaging, an error occurs in the imaging range as shown in FIG. 13D.
  • the trapezoidal correction and the clipping process are performed so as to match the subject when the image is captured substantially in parallel to the land. Then, the composite image is created by arranging the corrected images.
  • a correction for adjusting the brightness, color balance, etc. of the image may be performed based on the illuminance sensor data. It should be noted that correction processing need not be performed for images that do not require correction.
  • a composite image is created by arranging all images while correcting them based on sensor information associated with the images as metadata.
  • the position which a user pays attention in a synthetic image can be easily specified based on GPS data or the like.
  • a composite image is created by arranging the second and subsequent images with reference to the latitude and longitude indicated in the GPS data of the first arranged image without using the map data associated with the latitude and longitude information. May be.
  • a composite image can be created faster than before, and a composite image can be created even by an inexpensive computer that does not have high processing capability.
  • This technology does not require image feature point extraction and verification in order to create a composite image.
  • this technology is useful for creating composite images in a range that does not have large, conspicuous features such as farmland. It is.
  • an area where the image and the image are superimposed for creating a composite image can be small. This makes it possible to create a composite image with a smaller number of images than in the conventional method. Further, the time required for creating a composite image can be shortened as compared with the conventional method.
  • the fact that the area where the image and the image are overlapped in order to create the composite image is small means that the moving body 100 can widen the interval between the reciprocating flight routes for imaging, and the imaging efficiency can be improved. When the imaging efficiency is increased, the area that can be imaged in one flight can be increased under the same battery condition as compared with the conventional case.
  • the fact that a composite image can be created with a smaller number of images than in the prior art means that the number of times of imaging can be less than that in the prior art, thus saving battery power.
  • the present technology Since the imaging apparatus 200 and the sensor apparatus 300 are mounted on the moving body 100, the present technology has the imaging apparatus 200 and the sensor on the moving body 100 such as an ordinary drone that does not have a special function for the commercially available technology. This can be realized by mounting the device 300. Therefore, it is easy to introduce products related to the present technology to the market and to introduce users.
  • the created composite image has metadata associated with the image constituting the composite image, in the case of a map image of farmland, there are problems such as poor growth, illness, and pests depending on the GPS data. It can be grasped as position information. Therefore, it is also possible to use a tractor equipped with a GPS function to spray water, fertilize, pesticides, etc., in the specified area.
  • the present technology does not exclude the creation of a composite image by extracting feature points of an image, collating them, and overlaying the images.
  • a composite image may be created using a method of extracting feature points and collating them.
  • Second Embodiment> [2-1. Overview of Composite Image Creation in Second Embodiment]
  • a second embodiment of the present technology will be described.
  • the altitude is the height of the ground surface from the reference plane when the average sea level of the reference sea (Tokyo Bay in Japan) is the 0 m reference plane.
  • an outline of composite image creation in the second embodiment will be described with reference to FIGS. 14 and 15.
  • FIG. 14 shows the relationship between the height of the imaging apparatus 200 (the flying height of the moving object 100), the ground surface, the image, and the image arrangement result when the change in the altitude of the ground surface is not reflected in the composite image creation. is there.
  • a composite image is created by projecting and arranging a plurality of images obtained by imaging on a virtual plane different from the ground surface.
  • the plane on which this image is arranged is a plane common to all images. It is assumed that the height of the imaging device 200 (the flying height of the moving body 100) is constant.
  • the image when the altitude of the ground surface is lower than the surface on which the image is arranged, the image is synthesized with a size smaller than the actual image size.
  • the image when the altitude of the ground surface is higher than the surface on which the image is arranged, the image is synthesized with a size larger than the actual image size.
  • the altitude of the imaging range of the image is acquired and the image is arranged on a surface according to the altitude as shown in FIG. Arrange them as they are to create a composite image. As a result, a more accurate and highly accurate composite image can be created.
  • description will be made assuming that the flying altitude of the moving body 100 is constant.
  • the Geospatial Information Authority that maps the elevation to the position indicated by latitude and longitude, or the map data that maps the elevation provided by the map service on the Internet. be able to.
  • the altitude can also be obtained by a distance measuring sensor.
  • FIG. 16 is a flowchart showing the flow of the entire process from flight of the moving body 100 to imaging, acquisition of the altitude of the ground surface, and composite image creation processing.
  • the same processes as those in the flowchart of FIG. 6 are denoted by the same step numbers, and detailed description thereof is omitted.
  • the flight plan programmed in advance in step S11 is uploaded to the control unit 101 of the moving body 100, and the imaging plan programmed in advance is uploaded to the control unit 201 of the imaging apparatus 200.
  • the flight of the moving body 100 is started in step S12.
  • the sensor device 300 periodically acquires sensor information such as GPS data and IMU data at predetermined time intervals.
  • Step S13 to Step S16 are repeated, and when image capturing and sensor information acquisition are performed at all image capturing positions, the process proceeds to Step S41 (Yes in Step S16).
  • Steps S41 to S43 are processing performed by the terminal device 400 and / or the cloud 500 that performs the composite image creation processing after the flight of the mobile object 100 is completed.
  • step S ⁇ b> 41 the terminal device 400 and / or the cloud 500 that performs the composite image creation process obtains GPS data indicating the position of the moving body 100 during the flight from the GPS module 302 of the sensor device 300. It can be said that this GPS data indicates the flight trajectory of the moving body 100.
  • the GPS data is acquired by the GPS module 302 during the flight of the moving body 100, and can be acquired by reading out the memory function in the sensor device 300 or the data stored in the storage unit 207 of the imaging device 200 after the flight ends.
  • the GPS data may be GPS data acquired by the GPS module 102 included in the moving body 100.
  • step S42 elevation data in the imaging range of the ground surface is acquired.
  • This altitude data is also included in the sensor information.
  • the terminal device 400 and / or the cloud 500 that performs the image composition processing acquires altitude data in the imaging range of the imaging device 200 based on the position indicated by the GPS data acquired in step S41. This can be done by confirming the altitude at the latitude and longitude indicated by the GPS data acquired in step S41, using map data or the like issued by the Geographical Survey Institute in which the position such as latitude and longitude is associated with the altitude.
  • the acquired altitude data of the ground surface is numbered in the order of the position where the GPS data is acquired as shown in FIG. 17, and is associated with the position indicated by the latitude and longitude and is made into a database.
  • the data acquisition position, the position indicated by the latitude and longitude, and the altitude data associated with each other are referred to as an altitude database.
  • an image captured by the imaging apparatus 200 is stored in association with sensor information such as GPS data and IMU data. Therefore, it is possible to associate the altitude data with the image by referring to the latitude and longitude associated with the altitude data.
  • step S43 When the acquisition of elevation data is completed, a composite image creation process is performed in step S43.
  • a distance measuring sensor a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) sensor is used.
  • LiDAR is one of the remote sensing technologies using light. By measuring scattered light against laser irradiation that emits light in pulses, measurement of the distance to an object at a long distance and analysis of the properties of the object are performed. It is a technique that can be performed.
  • the sensor device 300 includes a LiDAR sensor 310 as shown in FIG. 18A.
  • the laser irradiation unit 311 and the laser reception unit 312 of the LiDAR sensor 310 are located on the bottom surface of the body unit 1 of the moving body 100 in the direction directly below. It is provided so that laser irradiation and reception toward the surface can be performed. Note that the laser irradiation unit 311 and the laser reception unit 312 of the LiDAR sensor 310 may be provided on the side surface of the body unit 1 of the moving body 100 as long as laser irradiation and reception toward the ground surface are possible.
  • the mobile object 100 equipped with the sensor device 300 including the LiDAR sensor 310 is caused to fly in the same range as the imaging range to obtain altitude data of the imaging range. Is preferred.
  • the calculation of the altitude data from the information acquired by LiDAR is performed after the flight of the moving body 100 is completed. However, altitude data may be calculated from information acquired by the LiDAR sensor 310 in parallel with the flight of the mobile object 100 and the imaging of the ground surface.
  • the calculation of the altitude data from the information acquired by the LiDAR sensor 310 is described as being performed by the information processing unit 250, but may be performed by either the terminal device 400 or the cloud 500.
  • the interval of the altitude data acquisition timing by the LiDAR sensor 310 is preferably shorter than the interval of the imaging timing by the imaging device 200. This is because if the altitude data acquisition timing interval is longer than the imaging timing interval, it is difficult to associate accurate altitude data with each captured image. Furthermore, the shorter the interval between the altitude data acquisition timings, the more accurate the altitude of the ground surface can be obtained.
  • the timing at which the elevation data is acquired by the LiDAR sensor 310 may or may not be synchronized with the timing at which the sensor device 300 acquires sensor information such as GPS data.
  • the acquisition timing can be associated with GPS data included in the sensor information acquired at the same timing as the altitude data acquired by the LiDAR sensor 310.
  • the image, sensor information, and elevation data may be associated with each other on the basis of timing related to image capturing, such as timing of imaging instruction and timing of receiving an exposure notification signal from the imaging apparatus 200. .
  • this association is described as being performed by the information processing unit 250, it may be performed by either the terminal device 400 or the cloud 500.
  • the altitude data A is acquired when the sensor device 300 receives an exposure notification signal for notifying exposure for acquiring the image data A
  • the altitude data A is acquired. Is completed, the sensor device 300 transmits the altitude data A to the imaging device 200.
  • the altitude data A acquired at the timing closest to the timing of receiving the exposure notification signal is transmitted from the sensor device 300 to the imaging device 200.
  • the information processing unit 250 associates the image A with GPS data A and IMU data A as metadata, and further stores the altitude data A in the storage unit 207.
  • the elevation data can be used when the images are arranged to create a composite image.
  • the altitude data acquisition position information is included in the information. Based on the altitude data, the GPS data included in the sensor information can be associated with each other.
  • the altitude data is obtained from the map data in parallel with the flight of the moving body 100, the imaging by the imaging device 200, and the acquisition of GPS data and IMU data by the sensor device 300.
  • the image, sensor information, and altitude data may be associated in this way.
  • FIG. 19 shows GPS data and altitude data, but the associated data is not limited to them, and includes IMU data obtained by the IMU module 303, altitude data obtained by the altimeter 304, and the like. May be.
  • the calculation of the altitude data may be performed by any one of the information processing unit 250, the terminal device 400, and the cloud 500, or may be performed by the LiDAR sensor 310 itself.
  • the distance measurement direction of LiDAR has an angle of ⁇ with respect to the direction of gravity and the measurement distance is d L
  • the altitude hground of the ground surface is assumed if the altitude of the moving body 100 at the time of distance measurement obtained from GPS data is Z GPS. Is obtained by the following equation 1.
  • the position of the distance measurement target point P L having the altitude hground is determined by using the GPS data and IMU data indicating the position and orientation of the moving body 100 and the distance measurement result of the LiDAR sensor 310 to determine the position (P GPS ) and P L and the azimuth angle.
  • a specific calculation method for calculating the latitude and longitude of P L using the distance and azimuth from P GPS is described in a known reference [Geographical Survey Institute Technical Document B5-No19], and uses it. be able to.
  • the altitude calculated in this way is used as altitude data for image composition processing.
  • the coordinate system to be defined includes a ground orthogonal coordinate system ⁇ G in which the imaging range of the imaging device 200 accompanying the movement of the moving body 100 is expressed in an orthogonal coordinate system, and a composite image coordinate system ⁇ that is an arrangement destination of images for image composition I.
  • ⁇ G in which the imaging range of the imaging device 200 accompanying the movement of the moving body 100 is expressed in an orthogonal coordinate system
  • composite image coordinate system ⁇ that is an arrangement destination of images for image composition I.
  • ground orthogonal coordinate system sigma G the composite image coordinate system sigma I shown in FIG. 22.
  • the origin of the terrestrial orthogonal coordinate system ⁇ G is expressed in meters as an arbitrary point in the imaging range at an altitude of 0 m.
  • Orientation of the XYZ axes of the ground orthogonal coordinate system sigma G is, + X direction east, + Y direction north, the + Z direction is vertically upward.
  • Composite image coordinate system sigma I become pixels for a coordinate system of the image, covering the imaging range throughout and, so as not to image from protruding. However, the pixel width and pixel height of the image can be set to arbitrary resolutions.
  • step S52 it converts the latitude and longitude in the altitude database shown in FIG. 17 on the ground orthogonal coordinate system sigma G.
  • This conversion method is shown in FIG. First, from the origin P G of the ground orthogonal coordinate system ⁇ G and the latitude and longitude of an arbitrary position P hi among a plurality of positions corresponding to the altitude data and latitude and longitude shown in FIG. The azimuth angle ⁇ is obtained.
  • a method for calculating the distance d between two points and the azimuth angle ⁇ from the latitude and longitude is described in a known reference [Geographical Survey Institute Technical Document B5-No19], and can be used.
  • step S52 by using the altitude database converted to the ground orthogonal coordinate system sigma G, to create the mesh structure shown in FIG. 24.
  • the mesh structure is created by creating a triangle by connecting each position included in the elevation database at adjacent points.
  • Each triangular mesh information configured here is used in calculation of projection positions of four corners of the image, which will be described later.
  • step S53 it converts the position of the moving body 100 shown GPS data acquired by GPS module 102 of the moving body 100, the posture of the moving body 100 indicated by the IMU data acquired by the IMU module 103 to the ground orthogonal coordinate system sigma G To do. Since the position of the moving body 100 is output as latitude and longitude information by GPS data, it is necessary to convert the position to the ground orthogonal coordinate system ⁇ G.
  • the conversion method is to the ground orthogonal coordinate system ⁇ G of the elevation database in step S52. This is the same as the conversion.
  • step S54 it calculates the projection position of the four corners of the image on the ground surface on the ground orthogonal coordinate system sigma G.
  • the four corners of the image refer to the vertices of four corners of the image configured in a square shape.
  • FIG. 25 illustrates the vectors to the four corners of the image extending from the imaging device 200 mounted on the moving body 100 and the altitude (mesh structure) of the ground surface. The points where the vectors extending to the four corners of the image and the mesh plane intersect are the projection positions of the four corners of the image to be calculated.
  • a plane ABC of a triangular mesh that is the minimum unit of elevation data is considered. Assuming that the unit normal vector of the plane ABC is n and the center coordinate of ABC is P 0 , n is obtained from the outer product using Equation 2 as shown in FIG.
  • the position of the imaging device 200 of the moving body 100 is P d
  • the unit vector extending from the focal point of the imaging device 200 to the four corner points of the image is L.
  • the projection position on the ground surface at the four corners of the image can be calculated by performing this process on all the vectors at the four corners of the image.
  • step S55 it converts the projection position of the four corners of the image calculated in step S54 in the composite image coordinate system sigma I.
  • the ground orthogonal coordinate system ⁇ G and the composite image coordinate system ⁇ I defined in step S51 are used.
  • Figure 28 is a conceptual view of the arrangement of the conversion and the image of the ground orthogonal coordinate system sigma G synthetic image coordinate system sigma I.
  • the image is arranged to be projected in the composite image coordinate system sigma I as shown in FIG. 28.
  • the image is arranged with the actual image size as described with reference to FIG. 15, and the image is arranged with a size different from the actual captured image size as described with reference to FIG. There is no.
  • step S56 placing the image based on the projection position of the synthetic image coordinate system sigma I of the four corners of the image calculated in step S55.
  • projective transformation is performed on the four corners of the image calculated in step S55.
  • the elevation data at each position within the imaging range shown in the elevation database indicates the elevation at all positions on the ground surface. Therefore, the altitude indicated in the altitude data does not always indicate the altitude at the four corners of the image.
  • the position on the ground orthogonal coordinate system sigma G of the four corners of the image are calculated respectively, it performs the arrangement of an image by projecting convert it to synthetic image coordinate system sigma I. Thereby, it is possible to create a composite image by arranging the images with an accurate size.
  • step S57 it is determined whether or not the processing of steps S53 to S56 has been performed on all the images to place the images. If not, the process proceeds to step S53, and steps S53 to S57 are repeated until all the images are arranged (No in step S57). When all the images are arranged, the process ends and one composite image composed of a plurality of captured images is completed (Yes in step S57).
  • the composite image creation processing in the second embodiment is performed.
  • the LiDAR sensor is used as the distance measuring sensor, but any sensor that can measure the distance may be used.
  • the altitude on the ground surface may be acquired by other methods. For example, parallax is obtained from two images (stereo images) obtained by imaging the same scene with the imaging device 200 mounted on the moving body 100, and the distance to the target (the ground surface) is calculated using trigonometry. There is also a method of calculating the difference between the altitude of the moving body 100 and the distance to the ground surface as the altitude of the ground surface. Any method can be adopted as long as the altitude of the ground surface can be obtained.
  • the image arrangement may be performed assuming that the altitude data at the position closest to the position indicated by the GPS data associated with the image is the altitude at all four corners of the image.
  • the size of each image to be arranged differs depending on the altitude of the ground surface. Therefore, when a composite image is created by arranging a plurality of images, a gap may be generated between the images.
  • the gap between the images is increased by increasing the overlap between the images by shortening the interval between the imaging. Can be prevented. Further, in the direction of the distance between flight routes of the moving body 100 shown in FIG. 7, it is possible to prevent the gap between the images by increasing the overlap between the images by shortening the distance between the flight routes.
  • the altitude of the ground surface is acquired in real time in parallel with the flight and imaging of the mobile object 100 by a distance measuring sensor such as LiDAR, and the flight program of the mobile object 100 is changed in real time based on the altitude, so that the overlap portion May be increased.
  • the flight altitude of the moving body 100 is assumed to be constant. However, it is conceivable that the flight altitude changes in the actual flight of the moving body 100. Therefore, the correction may be performed according to a change in the altitude of the moving body 100 obtained by the GPS module 102 of the moving body 100.
  • the drone as the moving body 100 is not limited to the one provided with the rotary blade as described in the embodiment, and may be a so-called fixed wing type.
  • the moving body 100 of the present technology is not limited to a drone, and may be an automobile, a ship, a robot, or the like that moves automatically without receiving human operation.
  • the image capturing apparatus 200 and the sensor apparatus 300 are mounted on a ship as a moving body, and an underwater image is captured while moving on the ship, and the composite image is the sea bottom. It is also applicable to creating a map of
  • the imaging device 200 and the sensor device 300 are mounted on a vehicle as a moving body, and a landscape is captured by the imaging device 200 facing the side, and a panoramic photograph of the landscape along the road is created as a composite image. Applicable.
  • any one of the moving body 100, the sensor device 300, and the imaging device 200 may include the IMU module.
  • the attitude of the imaging device 200 can be estimated by interlocking with the angle control of the camera mount.
  • any one of the moving body 100, the sensor device 300, and the imaging device 200 may include the IMU module.
  • the image capturing apparatus 200 is not limited to the one including one image sensor, and may include two or more plural image sensors.
  • the first image sensor can be a visible light image sensor
  • the second image sensor can be an infrared image sensor.
  • a plurality of types of composite images can be created by one imaging.
  • the imaging apparatus 200 may be a multispectral camera that acquires images of a plurality of different wavelength regions (wavelength bands), and may be used for checking vegetation indices such as NDVI (NormalizedNDifference Vegetation Index). it can.
  • NDVI NormalizedNDifference Vegetation Index
  • the imaging device 200 and the sensor device 300 are configured as separate devices and mounted on the moving body 100.
  • the imaging device 200 and the sensor device 300 are configured as an integrated device and mounted on the moving body 100. May be.
  • the terminal device 400 and / or the cloud 500 may receive the image captured by the imaging device 200 and the sensor information acquired by the sensor device 300, and associate the image with the sensor information.
  • any device that has an imaging function and can be mounted on the moving body 100 such as a digital camera, a smartphone, a mobile phone, a portable game machine, a notebook computer, or a tablet terminal, is used. Also good.
  • the imaging apparatus 200 may include an input unit, a display unit, and the like. Further, the imaging device 200 may be a device that can be used alone as an imaging device when not connected to the moving body 100.
  • the imaging device 200 may also include a battery, and power may be supplied from the battery 6 of the imaging device 200 to the moving body 100 and the sensor device 300.
  • all of the moving body 100, the imaging device 200, and the sensor device 300 may include a battery.
  • the present technology can also have the following configurations.
  • (1) Obtain an image captured according to the imaging instruction by the imaging device mounted on the moving body, In response to a signal transmitted from the imaging device in response to the imaging instruction, sensor information including position information of the moving body is acquired from a sensor device, An information processing apparatus that associates the acquired sensor information with the acquired image.
  • (2) The information processing apparatus according to (1), wherein the sensor information further includes altitude information of the moving body.
  • the sensor information further includes tilt information of the moving body.
  • the information processing apparatus according to any one of (1) to (4), wherein the sensor information is latest sensor information at the time of the exposure timing. (6) Calculate new sensor information from a plurality of the sensor information, The information processing apparatus according to any one of (1) to (5), wherein the new sensor information is associated with the image. (7) The information processing apparatus according to (4), wherein the exposure timing is an end timing of exposure performed for the imaging apparatus to capture the image. (8) The information processing apparatus according to (4), wherein the exposure timing is a start timing of exposure performed for the imaging apparatus to capture the image. (9) The information processing apparatus according to (4), wherein the exposure timing is a timing at which an imaging instruction for the imaging apparatus to capture the image is performed.
  • the information processing apparatus according to any one of (1) to (9), wherein a composite image is created by arranging a plurality of the images based on the sensor information.
  • the information processing apparatus according to (10), wherein the plurality of images are arranged with positions corrected based on the sensor information.
  • the sensor information further includes altitude information of the moving body, The information processing apparatus according to (10), wherein the image is enlarged or reduced based on the altitude information.
  • the sensor information further includes tilt information of the moving body, The information processing apparatus according to (10), wherein the image is arranged by performing trapezoidal correction and / or clipping processing based on the tilt information.
  • the information processing apparatus according to any one of (1) to (13), wherein altitude data indicating an altitude of a ground surface imaged by the imaging apparatus is acquired and the altitude data is associated with information included in the sensor information.
  • the information processing apparatus according to (14), wherein the elevation data is associated with the image.
  • the altitude data is acquired from map data having position and altitude information based on the position information of the mobile object.
  • the altitude data is the information processing apparatus according to (14) or (15), wherein the altitude data is acquired based on distance information acquired by a distance measuring sensor mounted on the moving body.
  • the elevation data is acquired by the distance measuring sensor in response to a signal transmitted from the imaging device in response to the imaging instruction, and the acquired elevation data is associated with information included in the sensor information.
  • Information processing device (19) Obtain an image captured according to the imaging instruction by the imaging device mounted on the moving body, In response to a signal transmitted from the imaging device in response to the imaging instruction, sensor information including position information of the moving body is acquired from a sensor device, An information processing method for associating the acquired sensor information with the acquired image.
  • the image processing device Furthermore, the image processing device according to (21), wherein the composite image is created by arranging a plurality of the images based on altitude data indicating the altitude of the ground surface imaged by the imaging device. (23) Defining a first coordinate system corresponding to the imaging range of the imaging device accompanying the movement of the moving body, and a second coordinate system corresponding to the surface on which the image is arranged; Based on the sensor information and the elevation data, the projection position of the image on the ground surface is calculated in the first coordinate system, The image processing apparatus according to (22), wherein the image is arranged by converting the projection position into the second coordinate system. (24) The image processing apparatus according to (23), wherein the projection position of the image is calculated for each of the four corners of the quadrangular image.
  • a moving object An imaging device mounted on the moving body; A sensor device that is mounted on the movable body and detects sensor information including position information of the movable body; An image processing system comprising: an information processing apparatus that associates the sensor information with an image captured by the imaging apparatus.
  • An image processing apparatus is provided that receives a plurality of the images captured by the imaging apparatus and associated with the sensor information, and creates a composite image by arranging the plurality of images based on the sensor information.

Abstract

移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される信号に応じて、センサ装置から移動体の位置情報を含むセンサ情報を取得し、取得した画像に、取得したセンサ情報を対応づける情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
　本技術は、情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システムに関する。
　従来から、前後、左右に隣り合った画像のオーバーラップ部分の共通する特徴点を抽出し、それらを照合しながら画像をつなぎ合わせていくことで広範囲の合成画像を得るための、移動体に搭載したカメラで一定の間隔で撮像を行う方法がある（特許文献１）。
特開平８－１５９７６２号公報
この方法においては、１枚１枚の画像からその特徴点を抽出し、隣接ずる画像のオーバーラップ部分に共通する特徴点を照合しながら重ね合わせていくために、膨大な演算処理能力を必要とする。
　また、安定して特徴点を抽出するためには、隣接する画像間のオーバーラップが多い方が好ましく、一定の面積の合成画像を構成するために必要な画像枚数が多くなるため、データストレージのコストも上昇する。加えて、移動体の移動経路も、隣接する軌跡間の画像の重なりを多く確保するために、間隔の狭い往復動作を必要とするため、バッテリ容量が制約される中で、一回の飛行で撮像できる面積を拡大しにくいという欠点もある。
　本技術はこのような問題点に鑑みなされたものであり、移動体に搭載された撮像装置により撮像された画像に移動体の位置情報を対応付けて画像処理に用いることができる情報処理装置、情報処理方法情報処理プログラム、画像処理装置および画像処理システムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される信号に応じて、センサ装置から移動体の位置情報を含むセンサ情報を取得し、取得した画像に、取得したセンサ情報を対応づける情報処理装置である。
　また、第２の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される信号に応じて、センサ装置から移動体の位置情報を含むセンサ情報を取得し、取得した画像に、取得したセンサ情報を対応づける情報処理方法である。
　また、第３の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される信号に応じて、センサ装置から移動体の位置情報を含むセンサ情報を取得し、取得した画像に、取得したセンサ情報を対応づける情報処理方法をコンピュータに実行させる情報処理プログラムである。
　また、第４の技術は、撮像指示に応じて撮像装置から送信される信号に応じて取得された移動体の位置情報を含むセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
画像処理装置である。
　さらに、第５の技術は、移動体と、移動体に搭載された撮像装置と、移動体に搭載され、撮像指示に応じて撮像装置から送信される信号に応じて、移動体の位置情報を含むセンサ情報を検出するセンサ装置と、撮像装置により撮像された画像にセンサ情報を対応付ける情報処理装置とからなる画像処理システムである。
　本技術によれば、移動体に搭載された撮像装置により撮像された画像に移動体の位置情報を対応付けて画像処理に用いることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
[規則91に基づく訂正 02.04.2018]　
画像処理システムの構成を示す図である。 図２Ａは移動体の外観構成を示す平面図であり、図２Ｂは移動体の外観構成を示す側面図である。 移動体の構成を示すブロック図である。 撮像装置の構成を示すブロック図である。 センサ装置の構成を示すブロック図である。 画像処理システムにより行われる処理の流れを示すフローチャートである。 飛行計画と撮像計画を説明するための図である。 画像処理システムにより行われる処理のシーケンス図である。 画像とセンサ情報の対応付けを説明するための図である。 画像とセンサ情報の対応付けを説明するための図である。 合成画像作成処理の流れを示すフローチャートである。 合成画像作成処理により作成される合成画像の例を示す図である。 センサ情報に基づいた画像の補正処理を説明するための図である。 標高を用いない場合における合成画像作成の概要を説明する図である。 第２の実施の形態における合成画像作成の概要を説明する図である 第２の実施の形態における全体処理を示すフローチャートである。 標高データベースの構成を示す図である。 図１８ＡはＬｉＤＡＲセンサを備えるセンサ装置の構成を示すブロック図であり、図１８ＢはＬｉＤＡＲセンサが取り付けられた移動体の外観構成を示す側面図である。 画像とＧＰＳデータと標高データの対応付けを説明するための図である。 ＬｉＤＡＲを用いた場合の地表面の標高の算出方法の説明図である。 合成画像作成処理を示すフローチャートである。 地上直交座標系と合成画像座標系の説明図である。 緯度経度の地上直交座標系への変換の説明図である。 メッシュ構造の説明図である。 画像の四隅へのベクトルと、メッシュ構造を示す図である。 画像の隅の投影位置を算出する方法を説明する図である。 画像の隅の投影位置を算出する方法を説明する図である。 画像の四隅の投影位置の合成画像座標系への変換を説明する図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．画像処理システムの構成］
［１－２．移動体の構成］
［１－３．撮像装置の構成］
［１－４．センサ装置の構成］
［１－５．端末装置およびクラウドの構成］
［１－６．画像処理システムにより行なわれる処理］
［１－７．撮像およびセンサ情報対応付け処理］
［１－８．合成画像作成処理］
＜２．第２の実施の形態＞
［２－１．第２の実施の形態における合成画像作成の概要］
［２－２．第２の実施の形態における全体処理］
［２－３．合成画像作成処理］
＜３．変形例＞
＜１．実施の形態＞
［１－１．画像処理システムの構成］
　まず図１を参照して画像処理システム１０００の構成について説明する。画像処理システム１０００は、移動体１００、撮像装置２００、センサ装置３００、端末装置４００およびクラウド５００から構成されている。
　本実施の形態において、移動体１００はドローンと称される電動小型飛行体（無人航空機）である。撮像装置２００は移動体１００に搭載され、移動体１００の飛行中に地表面の画像を撮像するものである。センサ装置３００は、種々のセンサを備えており、移動体１００に搭載され、種々のセンサにより取得したセンサ情報を撮像装置２００に供給するものである。なお、地表面の撮像とは、地球上の土地と、土地そのものだけでなく土地の上に建設された建物、地表に設けられた道路などの人工物や自然物も含むものであるとする。
　端末装置４００は地上において画像処理システム１０００を利用するユーザなどが使用するコンピュータなどであり、撮像装置２００により撮像された画像を用いて合成画像作成処理を行うものである。
　クラウドはクラウドサービス提供会社などのサーバによって構成されるものであり、撮像装置２００により撮像された画像を用いて合成画像作成処理を行うものである。
　合成画像作成処理は、移動体１００に搭載された撮像装置２００により移動体１００の移動中に撮像された複数の画像を用いて、隣接する画像の一部を重ね合わせて配置することにより１つの大きな合成画像を作成するものである。したがって、撮像装置２００により撮像された画像は端末装置４００および／またはクラウド５００に供給される。
　なお、端末装置４００が合成画像作成処理を行う場合、クラウド５００で合成画像作成処理を行わなくてもよいし、クラウド５００で合成画像作成処理を行う場合、端末装置４００で合成画像作成処理を行わなくてもよい。また、端末装置４００およびクラウド５００の双方で合成画像作成処理を行ってもよい。クラウド５００は合成画像作成処理を行なわずに、端末装置４００により作成された合成画像を保存して、ユーザからの要求に応じてその合成画像を供給するものであってもよい。
　本実施の形態においては、撮像装置２００の特性仕様(水平・垂直のレンズ画角)および動作設定(シャッターサイクル)の組合せを考慮した移動体１００の飛行計画(高度、速度、軌跡)および、一定の間隔を開けてどこで（撮像位置）どの範囲（撮像範囲）を撮像するかを示す撮像計画は予め定められている。移動体１００はその飛行計画に従って飛行し、撮像装置２００はその撮像計画に従って撮像を行う。
［１－２．移動体の構成］
　図２および図３を参照して移動体１００の構成について説明する。図２Ａは移動体１００の平面図であり、図２Ｂは移動体１００の正面図である。中心部としての例えば円筒状または角筒状の胴体部１と、胴体部１の上部に固定された支持軸２ａ～２ｆとから機体が構成される。一例として、胴体部１が６角筒状とされ、胴体部１の中心から６本の支持軸２ａ～２ｆが等角間隔で放射状に延びるようになされている。胴体部１および支持軸２ａ～２ｆは、軽量で強度の高い材料から構成されている。
　さらに、胴体部１および支持軸２ａ～２ｆからなる機体は、その重心が支持軸２ａ～２ｆの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部１内に回路ユニット５およびバッテリ６が設けられている。
　図２の例では、回転翼およびモータの数が６個とされている。しかしながら、４個の回転翼およびモータを有する構成、或いは８個以上の回転翼およびモータを有する構成でもよい。
　支持軸２ａ～２ｆの先端部には、回転翼の駆動源としてのモータ３ａ～３ｆがそれぞれ取り付けられている。モータ３ａ～３ｆの回転軸に回転翼４ａ～４ｆが取り付けられている。各モータを制御するための制御部を含む回路ユニット５が支持軸２ａ～２ｆが交わる中心部に取り付けられている。
　モータ３ａおよび回転翼４ａと、モータ３ｄおよび回転翼４ｄとが対を構成する。同様に、（モータ３ｂ，回転翼４ｂ）と（モータ３ｅ，回転翼４ｅ）とが対を構成し、（モータ３ｃ，回転翼４ｃ）と（モータ３ｆ，回転翼４ｆ）とが対を構成する。
　胴体部１内に底面に動力源としてのバッテリ６が配置されている。バッテリ６は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ６は、胴体部１の内部に着脱自在に取り付けられている。バッテリ６の重心と機体の重心とを一致させることによって、重心の安定性が増加する。
　一般的にドローンと称される電動小型飛行体は、モータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のモータ出力を増加させ、上がった側のモータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のモータ出力を低下、逆方向のモータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ６の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。
　図３は、移動体１００の構成を示すブロック図である。移動体１００は、制御部１０１、ＧＰＳ（Global Positioning System）モジュール１０２、ＩＭＵ（inertial measurement unit）モジュール１０３、高度計１０４、方位計１０５、通信部１０６、バッテリ６、モータ３ａ～３ｆを備えて構成されている。なお、上述の移動体１００の外観構成で説明した支持軸、回転翼などは省略する。制御部１０１、ＧＰＳモジュール１０２、ＩＭＵモジュール１０３、高度計１０４、方位計１０５、通信部１０６は図１の移動体１００の外観図に示される回路ユニット５に含まれているものとする。
　制御部１０１はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体１００全体の制御および撮像装置２００による撮像のタイミングの設定、撮像装置２００に対する撮像指示信号の送信などを行う。
　また、制御部１０１は、モータ３ａ～３ｆの出力を制御することにより移動体１００の飛行を制御するものである。
　ＧＰＳモジュール１０２は、移動体１００の現在位置（緯度経度情報）、現在時刻を取得して制御部１０１に供給するものである。
　ＩＭＵモジュール１０３は、慣性計測装置であり、２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどによって、３次元の角速度と加速度を求めることにより、移動体１００の姿勢、傾き、旋回時の角速度やＹ軸方向周りの角速度の姿勢情報を検出して制御部１０１に供給する。
　高度計１０４は、移動体１００が位置する高度を計測して高度データを制御部１０１に供給するものであり、気圧高度計、電波高度計などがある。気圧高度計は大気の圧力を検出し、電波高度計は、鉛直下方の地表面に電波を発射し、その地表面からの反射波を測定し、電波発射から反射波到達までの時間から高度を算出する。
　方位計１０５は磁石の作用を用いて移動体１００の進行方角を検出し制御部１０１に供給するものである。
　通信部１０６は、撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。移動体１００から撮像装置２００に対しては撮像のきっかけとなる撮像指示信号が送信される。端末装置４００との通信は、ＵＳＢ（Universal Serial Bus）通信などの有線通信、Wi-Fiなどの無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ZigBeeなどの無線通信どちらであってもよい。また通信部１０６は、地上から移動体１００を制御するため機器（ベースステーションと称する）として機能する外部機器（パーソナルコンピュータ、タブレット端末、スマートフォンなど）との通信も行うものである。移動体１００は通信部１０６による通信を介して飛行中の移動体１００の状態をベースステーションに送信する。また、ベースステーションからの指示などを受信する。移動体１００は空中を飛行する飛行体であるため、ベースステーションとの通信は無線通信により行われる。
　本実施の形態においては、移動体１００の下部に撮像装置２００が搭載され、移動体１００の上部にセンサ装置３００が搭載されている。なお、センサ装置３００は移動体１００の上部に搭載されることに限定されないが、ＧＰＳなどの情報を取得しやすいように移動体１００の上部に搭載されることが好ましい。
［１－３．撮像装置の構成］
　撮像装置２００は、図２Ｂに示すように、移動体１００の胴体部１の底面にジンバルとしての機能を有するカメラマウント５０を介して吊り下げられるように搭載されている。撮像装置２００はカメラマウント５０の駆動により３６０度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。なお、カメラマウント５０の動作制御は撮像計画に基づいて制御部１０１により行われる。
　図４のブロック図を参照して撮像装置２００の構成について説明する。撮像装置２００は、制御部２０１、光学撮像系２０２、レンズ駆動ドライバ２０３、撮像素子２０４、画像信号処理部２０５、画像メモリ２０６、記憶部２０７、通信部２０８、ＩＭＵモジュール２０９、方位計２１０および情報処理部２５０を備えて構成されている。
　制御部２０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。
　また、制御部２０１は情報処理部２５０としても機能する。情報処理部２５０は撮像により得られた画像にセンサ装置３００から送信されるセンサ情報をメタデータとして対応付けて記憶部２０７に保存する処理を行うものである。情報処理部２５０による処理の詳細については後述する。
　なお、情報処理部２５０はプログラムで構成され、そのプログラムは、予め撮像装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、情報処理部２５０は制御部２０１から独立した構成であってもよい。さらに、情報処理部２５０は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
　光学撮像系２０２は、被写体からの光を撮像素子２０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置２００の制御部２０１、レンズ駆動ドライバ２０３からの制御信号に基づいて駆動される。光学撮像系２０２を介して得られた被写体の光画像は、撮像装置２００が備える撮像素子２０４上に結像される。
　レンズ駆動ドライバ２０３は、例えばマイコンなどにより構成され、制御部２０１の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部２０１からの制御に従い、光学撮像系２０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子２０４は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子２０４は画素信号を画像信号処理部２０５に出力する。撮像素子２０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
　画像信号処理部２０５は撮像素子２０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。
　また、画像信号処理部２０５は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施してもよい。
　画像メモリ２０６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２０６は画像信号処理部２０５によって所定の処理が施された画像データを一時的に蓄えておくものである。
　記憶部２０７は、例えば、ハードディスク、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの大容量記憶媒体である。撮像された画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。また、ＩＭＵモジュール２０９に得られるＩＭＵデータはＸＭＰ(Extensible Metadata Platform)として画像に対応付けられる。画像は情報処理部２５０によりセンサ情報がメタデータとして対応付けられた状態で記憶部２０７に保存される。
　通信部２０８は、移動体１００およびセンサ装置３００とデータの送受信を行なうための各種通信用端子または通信モジュールである。移動体１００との通信においては移動体１００から撮像指示信号を受信する。センサ装置３００との通信においてはセンサ装置３００へ露光の開始から終了における所定のタイミングを通知する露光通知信号を送信するとともに、センサ装置３００から送信されたセンサ情報を受信する。移動体１００およびセンサ装置３００との通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth（登録商標）、ZigBeeなどの無線通信どちらであってもよい。なお、撮像装置２００と移動体１００との通信をＵＳＢ通信で行う場合、撮像装置２００は移動体１００のバッテリ６から電力供給をうける事が可能である。
　ＩＭＵモジュール２０９、方位計２１０は移動体１００が備えるものと同様のものである。ＩＭＵモジュール２０９は撮像装置２００の姿勢、傾きを検出し、方位計２１０は撮像装置２００の撮像方角を検出する。
［１－４．センサ装置の構成］
　図５のブロック図を参照してセンサ装置３００の構成について説明する。センサ装置３００は、制御部３０１、ＧＰＳモジュール３０２、ＩＭＵモジュール３０３、高度計３０４、方位計３０５、照度センサ３０６および通信部３０７を備えている。
　センサ制御部３０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによってセンサ装置３００全体の制御を行う。
　ＧＰＳモジュール３０２、ＩＭＵモジュール３０３、高度計３０４、方位計３０５は移動体１００が備えるものと同様のものである。このように、センサ装置３００は複数のセンサを備えており、それらにより得られるセンサ情報を撮像装置２００に供給するものである。
　ＧＰＳモジュール３０２は、移動体１００の飛行中における移動体１００の水平位置座標を検出するためのものである。ＩＭＵモジュール３０３は、移動体１００の飛行中における移動体１００の傾きを検出するためのものである。高度計３０４は、移動体１００の飛行中における移動体１００の高度を検出するためのものである。方位計３０５は、移動体１００の飛行中における移動体１００の進行方角を検出するためのものである。なお、移動体１００もＧＰＳモジュール１０２、ＩＭＵモジュール１０３、高度計１０４、方位計１０５を備えているが、移動体１００が備えるのは移動体１００自身の飛行のためであり、センサ装置３００が備えるのは画像に対応付けるセンサ情報を取得するためである。
　照度センサ３０６は、受光素子を備え、その受光素子に入射した光を電流に変換することにより明るさを検知してセンサ制御部３０１に供給するものである。撮像時間、天気などによって撮像環境および画像の明るさが変わるので照度センサ３０６でその明るさを検知する。また、照度センサ３０６に複数の波長域に分割した感度特性を持たせることで、画像が撮像された時点における移動体１００および地上に降り注いでいる太陽光のスペクトル分布または複数の特定波長帯におけるエネルギー比率を特定することもできる。
　通信部３０７は、撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信部３０７は撮像装置２００からの露光通知信号を受信するとともに、撮像装置２００に対してセンサ装置３００が得たセンサ情報を送信する。撮像装置２００との通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth（登録商標）、ZigBeeなどの無線通信どちらであってもよい。なお、センサ装置３００と撮像装置２００との通信をＵＳＢ通信で行う場合、センサ装置３００は撮像装置２００を経由して移動体１００のバッテリ６から電力供給を受ける事が可能である。
　移動体１００、撮像装置２００およびセンサ装置３００は以上のようにして構成されている。撮像装置２００を搭載した移動体１００であるドローンは操縦者によるマニュアル操作のみではなくＧＰＳデータ、ＩＭＵデータを利用した自動飛行および自動撮像を行うことができる。自動飛行および自動撮像を行う場合、飛行ルートの経路情報、撮像位置、撮像方向、撮像時間などの撮像情報を予め設定し、移動体１００の制御部１１０がその設定内容に従い移動体１００の飛行制御および撮像装置２００への撮像指示を行う。また、経路情報、撮像情報は、ベースステーションから無線通信により取得してもよい。
［１－５．端末装置およびクラウドの構成］
　端末装置４００は、パーソナルコンピュータなどであり、撮像装置２００により撮像された画像およびセンサ情報を用いて合成画像作成処理を行うものである。撮像装置２００が撮像した画像とセンサ情報は撮像装置２００の記憶部２０７からＵＳＢフラッシュメモリ、ＳＤメモリカードなどの携帯型記憶媒体を介して撮像装置２００から端末装置４００に転送される。なお、撮像装置２００が記憶部２０７を介さずに直接携帯型記憶媒体に画像およびセンサ情報を保存するようにしてもよい。また、撮像装置２００の通信部２０８と端末装置４００間の通信により画像が転送されてもよい。端末装置４００はノートパソコン、据え置き型パソコンであってもよいし、十分な処理能力を備え、合成画像作成処理を実行することができるものであれば、タブレット端末、スマートフォン、ゲーム機などでもよい。端末装置４００など、合成画像作成処理を行う装置または処理部が特許請求の範囲の画像処理装置に相当するものである。
　クラウド５００も撮像装置２００により撮像された画像およびセンサ情報を用いて合成画像作成処理を行うものである。クラウドとはコンピュータの利用形態の１つであり、クラウドサービス提供会社のサーバに構築される。クラウドサービスとは、ネットワーク上に存在するサーバによって提供するサービスであり、インターネットをベースとしたコンピュータの利用形態の一つである。必要な処理は基本的に全てサーバ側で行われる。ユーザはデータを自分のパソコン、スマートフォン、携帯電話機などではなく、インターネット上のサーバに保存する。よって、自宅、会社、ネットカフェ、学校、外出先など、さまざまな環境においてもサービスの利用、データを閲覧、編集、アップロードなどを行うことができる。本技術に係る合成画像作成処理はクラウド５００で実行して、クラウドサービスとして需要者に提供されてもよい。
　クラウド５００に対しては端末装置４００からインターネットを介して画像およびセンサ情報が送信される。また、撮像装置２００がインターネット接続機能を備える場合には撮像装置２００からインターネットを介してクラウド５００に画像およびセンサ情報を送信してもよい。クラウド５００により作成された合成画像はクラウド５００にのみ保存してもよいし、端末装置４００および／または撮像装置２００に転送してもよい。
［１－６．画像処理システムにより行なわれる処理］
　次に、図６のフローチャートを参照して画像処理システム１０００により行なわれる処理の概要について説明する。まず、ステップＳ１１で予めプログラミングされた飛行計画が移動体１００の制御部１０１にアップロードされるとともに、予めプログラミングされた撮像計画が撮像装置２００の制御部２０１にアップロードされる。このアップロードは例えばユーザの操作入力やベースステーションからの自動転送などにより行なわれる。次にステップＳ１２で、移動体１００の飛行が開始される。次にステップＳ１３で、移動体１００の飛行中に撮像装置２００による撮像が行なわれる。また、撮像装置２００による撮像と並行してセンサ装置３００によるセンサ情報の取得が行われる。次にステップＳ１４で、撮像された画像はセンサ情報と対応付けられて撮像装置２００の記憶部２０７に保存される。
　次に処理はステップＳ１５に進み、撮像装置２００の記憶部２０７から端末装置４００および／またはクラウド５００に画像およびメタデータとして対応付けられたセンサ情報が送信される。次にステップＳ１６で、端末装置４００により撮像計画にある全ての撮像位置で撮像されたか否かが判断され、全ての撮像位置で撮像するまでステップＳ１３乃至ステップＳ１６が繰り返される（ステップＳ１５のＮｏ）。そしてステップＳ１７で端末装置４００および／またはクラウド５００で合成画像作成処理が行なわれる。各処理の詳細については後述する。
［１－７．撮像およびセンサ情報対応付け処理］
　次に図７乃至図１０を参照して本実施の形態における撮像およびセンサ情報対応付け処理について説明する。図７は、移動体１００の飛行ルートおよび撮像位置を説明するための図である。
　図７中の破線は撮像計画で設定されている、撮像装置２００により撮像を行う地表面の全撮像範囲を示している。最終的に合成画像作成処理により作成される合成画像はこの全撮像範囲を含んだ画像となる。
　図７中の実線は全撮像範囲を撮像するように設定された移動体１００の飛行ルートを示しており、実線上の複数の点は撮像装置２００による撮像を行う撮像位置を示している。移動体１００は自身の位置や姿勢を把握するためのＧＰＳモジュール１０２、ＩＭＵモジュール１０３を有しているため、離陸後は飛行計画に従った飛行ルートで飛行し、撮像装置２００に対して撮像計画に基づいて撮像指示信号を送信することにより各撮像位置で撮像を行う。
　なお、一定間隔で撮像を行う方法としては、ＧＰＳデータに基づいて一定の距離間隔で自動的に撮像を繰り返す方法、一定の時間間隔で自動的に撮像を繰り返す方法があるが、いずれかに限定されるものではない。一定の距離間隔で撮像を行う場合、移動体１００から撮像装置２００に対して撮像指示が送信される。移動体１００が備えているＧＰＳモジュール１０２により移動体１００および撮像装置２００の位置を取得してその位置を示すＧＰＳデータに基づいて撮像指示を行うからである。一方、一定の時間間隔で撮像を行う場合、移動体１００または撮像装置２００のうち計時機能を備えているものが撮像指示を行うことができる。
　図７中の撮像位置Ａ、Ｂ、Ｃ、Ｄを抜き出した部分拡大図に示すように、飛行計画と撮像計画は、移動体１００の進行方向および飛行ルート間方向に撮像範囲の重複部分が生じるように設定されている。このように撮像範囲に重複部分が生じるように撮像を行うことにより、撮像で取得された複数の画像で合成画像を作成した場合に隙間や抜けが生じることを防止する。
　なお、図７に示す飛行計画および撮像計画は本技術の説明のために便宜上設定したものであり、本技術がそのような飛行ルート、撮像位置に限定されるものではない。
　次に図８のシーケンス図を参照して、移動体１００、撮像装置２００およびセンサ装置３００間における処理の流れについて説明する。まずステップＳ２１で、移動体１００から撮像装置２００に対して撮像計画に基づいた撮像指示信号が送信される。
　次にステップＳ２２で撮像指示信号を受けた撮像装置２００は露光を開始し、ステップＳ２３で画像取得の後ステップＳ２４で所定の露光時間経過後露光が終了する。次にステップＳ２５で露光時間が経過して露光が終了した時点で撮像装置２００からセンサ装置３００に対して露光が終了したことを通知する露光通知信号が送信される。
　次にステップＳ２６で、撮像装置２００から露光通知信号を受けたセンサ装置３００から撮像装置２００にセンサ情報が送信される。そして、ステップＳ２７で撮像装置２００は撮像により取得した画像に対してセンサ情報をメタデータとして対応付けて記憶部２０７に保存する。
　以上の処理が撮像で取得される画像全てにおいて行なわれる。
　次に図９を参照して撮像装置２００により撮像された画像にセンサ装置３００で取得されたセンサ情報をメタデータとして対応付ける処理について説明する。図７に示した飛行計画および撮像計画に基づいて撮像された全ての画像はセンサ装置３００で取得されたセンサ情報がメタデータとして対応付けられて記憶部２０７に保存される。なお、図９を参照した以下の説明においては、センサ装置３００から撮像装置２００に送信されるセンサ情報はＧＰＳモジュール３０２により得られるＧＰＳデータ（特許請求の範囲における位置情報に相当）、ＩＭＵモジュール３０３により得られるＩＭＵデータ（特許請求の範囲における傾き情報に相当）であるとする。なお、センサ情報には、高度計３０４により得られる高度データ（特許請求の範囲における高度情報に相当）などが含まれてもよい。
　移動体１００から撮像装置２００に対して撮像指示信号が送信されると、それを受けて撮像装置２００は露光を開始し、所定の露光時間経過後に露光が終了して画像が取得される。また、撮像指示および露光のタイミングとは非同期にセンサ装置３００は所定の時間間隔でＧＰＳモジュール３０２でＧＰＳデータを定期的に取得し、さらに所定の時間間隔でＩＭＵモジュール３０３でＩＭＵデータを定期的に取得している。ＧＰＳモジュール３０２がＧＰＳデータを取得するタイミングとＩＭＵモジュール３０３がＩＭＵデータを取得するタイミングも非同期であってもよいし、同期していてもよい。なお、ＧＰＳデータおよびＩＭＵデータは新たなデータを取得した際に過去のデータは消去せずに全ての保存しておくのが好ましい。
　まず、移動体１００から撮像装置２００に撮像指示信号が送信されると、撮像装置２００が露光を開始し、所定の露光時間経過後に露光が終了すると画像が取得されるとともに、撮像装置２００からセンサ装置３００に対して、露光終了のタイミングを通知する露光通知信号が送信される。
　センサ装置３００は露光通知信号を受信すると、露光通知信号を受信したタイミングに最も近いタイミングで得たＧＰＳデータを撮像装置２００に送信する。また、同様にセンサ装置３００は露光通知信号を受信すると、露光通知信号を受信したタイミングに最も近いタイミングで得たＩＭＵデータを撮像装置２００に送信する。
　上述したように撮像装置２００の露光のタイミングとセンサ装置３００におけるＧＰＳデータおよびＩＭＵデータ取得のタイミングは非同期となっている、よって、センサ装置３００が撮像装置２００から露光通知信号を受信するタイミングと、センサ装置３００がＧＰＳデータおよびＩＭＵデータを取得するタイミングは必ずしも一致しない。したがって、センサ装置３００は露光通知信号を受信したタイミングに最も近いタイミングで取得した（最新の）ＧＰＳデータおよびＩＭＵデータを撮像装置２００に送信する。
　図９の場合、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＧＰＳデータＡの取得が行なわれているため、ＧＰＳデータＡの取得が完了するとセンサ装置３００はＧＰＳデータＡを撮像装置２００に送信する。同様に、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＩＭＵデータＡの取得が行なわれているため、ＩＭＵデータＡの取得が完了するとセンサ装置３００はＩＭＵデータＡを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得されたＧＰＳデータＡとＩＭＵデータＡとがセンサ装置３００から撮像装置２００に送信される。
　そして、情報処理部２５０は、画像ＡにメタデータとしてＧＰＳデータＡおよびＩＭＵデータＡを対応づけて記憶部２０７に保存する。
　移動体１００が次の撮像指示信号を撮像装置２００に対して送信すると、同様に撮像装置２００が露光を行ない、露光が終了すると画像Ｂが撮像により取得されると共に露光通知信号がセンサ装置３００に送信される。図９の場合、画像データＢを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＧＰＳデータＢの取得が行なわれているため、ＧＰＳデータＢの取得が完了するとセンサ装置３００はＧＰＳデータＢを撮像装置２００に送信する。同様に、画像データＢを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＩＭＵデータＢの取得が行なわれているため、ＩＭＵデータＢの取得が完了するとセンサ装置３００はＩＭＵデータＢを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得されたＧＰＳデータＢとＩＭＵデータＢとがセンサ装置３００から撮像装置２００に送信される。そして、情報処理部２５０が画像ＢにメタデータとしてＧＰＳデータＢとＩＭＵデータＢを対応付けて記憶部２０７に保存する。
　このようにして撮像された全ての画像はセンサ情報が対応付けられて記憶部２０７に保存される。
　なお、画像とセンサ情報の対応付けのトリガとなる露光通知信号の送信は、撮像装置２００が、撮像指示が行われたタイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。また、露光通知信号の送信は、撮像装置２００が露光のための準備を開始するタイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。これは撮像指示信号を受信してから露光準備までにタイムラグがある場合に有効である。また、露光通知信号の送信は、撮像装置２００の露光開始タイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。この場合、撮像された画像により近いタイミングで取得されたＧＰＳ情報を得ることができる。露光開始タイミングから露光終了タイミングまでの間の具体例としては、露光開始時のタイミングまたは露光終了時のタイミングがある。
　このように、撮像装置２００の露光タイミングをトリガにＧＰＳデータを取得することによって、より露光のタイミングに近いＧＰＳデータを取得できるため、画像に対してより正確なＧＰＳデータを付与することができる。例えば画像の特徴点を抽出し、それらを照合しながら画像をつなぎ合わせて合成画像する場合と比較すると、画像に対応付けられたＧＰＳデータ、ＩＭＵデータは時間精度が高い状態で関係づけられているため、ＧＰＳデータ、ＩＭＵデータのみを頼りに画像のつなぎ合わせが可能である。よって、より高速な合成画像作成処理が可能となる。このように本技術では画像の特徴点を抽出してそれらを照合するという処理を必要とせずに合成画像を作成することができる。
　ここで、図１０を参照して、露光タイミングの前後で取得したＧＰＳデータＡとＧＰＳデータＢとから、より精度の高い新たなＧＰＳデータを算出する場合について説明する。図１０の例の場合、画像Ａ取得のための露光の通知信号受信のタイミング前後で取得したＧＰＳデータＡとＧＰＳデータＢとから新たなＧＰＳデータを算出してそれを画像Ａに対応付けるＧＰＳデータとしてもよい。
　例えば、露光通知信号受信のタイミングがＧＰＳデータＡ取得のタイミングとＧＰＳデータＢ取得のタイミング間の中間（５：５の割合）である場合、加重平均などによりＧＰＳデータＡとＧＰＳデータＢの中間値を算出し、それを画像Ａに対応付ける新たなＧＰＳデータ（センサ情報）とする。図１０においてその新たなＧＰＳデータはＧＰＳデータＮと表している。なお、この場合、その新たなＧＰＳデータＮはＧＰＳデータＢの取得後にセンサ装置３００から撮像装置２００に送信される。この複数のセンサ情報から新たなセンサ情報を算出するのは、ＧＰＳデータに限られるものではなく、ＩＭＵデータ、高度データなど本技術で扱う全てのセンサ情報に適用することができる。
　なお、画像とＧＰＳデータおよびＩＭＵデータの対応付けの基準となるタイミングは露光終了時に限られない。移動体１００または撮像装置２００自身による撮像指示のタイミングでもよいし、露光開始のタイミングでもよい。
［１－８．合成画像作成処理］
　次に撮像装置２００により撮像された複数の画像から合成画像を作成する処理について説明する。合成画像作成処理は外部の端末装置４００および／またはクラウド５００において行なわれる。ただし、撮像装置２００の情報処理部２５０が合成画像作成処理を実行するのに十分な処理能力を有している場合には撮像装置２００により行なわれてもよい。
　まず図１１のフローチャートを参照して合成画像作成処理の流れについて説明する。ステップＳ３１で合成画像作成に用いる一の画像に対して補正処理が施される。補正処理は画像にメタデータとして対応付けられたセンサ情報に基づいて画像を補正する処理である。補正処理の詳細については後述する。
　次にステップＳ３２で、補正された画像を合成画像作成のために配置する処理が行われる。配置処理の詳細については後述する。次にステップＳ３３で全ての画像に対して配置処理を行ったか否かが判定される。全ての画像の配置処理がなされていない場合処理はステップＳ３１に進み、全ての画像の配置するまでステップＳ３１乃至ステップＳ３３が繰り返される（ステップＳ３３のＮｏ）。
　そして、ステップＳ３３で全ての画像の配置処理を行ったと判定された場合、処理は終了となり合成画像が完成する（ステップＳ３３のＹｅｓ）。
　図１２は複数の画像を用いて隣接する画像の一部を重ねながら配置することにより作成された合成画像を示すものである。なお、図１２の例では、合成画像は農地を上空から撮像した複数の画像を用いて作成された農地のマップ画像であるものとする。
　図１２においては、説明の便宜上、作成されたマップ画像を構成する複数の画像の中の一部の画像（画像Ａ乃至画像Ｉ）に枠を付し、さらに濃淡を変えている。画像Ａ乃至画像Ｉ上の点は各画像に対応付けられたＧＰＳデータが示す緯度経度の位置であり、破線は各画像の緯度と経度を示すものである。
　合成画像作成処理では各画像にメタデータとして対応付けられたＧＰＳデータに基づいて画像の位置を補正して画像を配置する。飛行計画および撮像計画では撮像位置は図７に示したように一直線状に配置して、撮像範囲も予め設定されており、そのとおりに撮像がなされるのが理想である。ただし、実際の撮像では風の影響などで撮像位置、撮像範囲は撮像計画からずれることが多いと考えられる。
　そこで、本技術では、ＧＰＳデータを基準として画像を配置する。ＧＰＳデータを基準とした画像の配置方法としては、緯度経度情報が対応付けられた地図データにおける緯度経度と、画像に対応付けられたＧＰＳデータが示す緯度経度を一致させて配置していくという方法がある。地図データとしては、国土地理院発行の緯度経度データが対応付けられた地図データや、インターネット上における地図サービスが提供している緯度経度データが対応付けられた地図データを用いることができる。
　上述したように移動体１００に搭載された撮像装置２００による撮像は予め飛行計画と撮像計画とに基づいており、どの位置（撮像位置）でどの範囲（撮像範囲）の画像を撮像するかが予め決められている。その予め決められた撮像位置および撮像範囲と実際に撮像された画像がずれている場合にＧＰＳデータを用いて補正を行う。
　図１２のマップ画像においては、画像Ａ、画像Ｂ、画像Ｃは経度が一致しているため緯度方向に沿って経度ずれることなく配置されている。画像Ｄは撮像計画における撮像位置からずれているため、画像Ｃと画像Ｄとでは緯度方向に沿って経度がずれている。よって、図１３Ａに示すように撮像計画における撮像位置から画像に対応付けられたＧＰＳデータの位置に画像の並行移動を行ってマップ画像を作成する際の画像の配置位置を補正する。ＧＰＳデータは撮像位置の緯度経度情報であるため、画像のメタデータとしてのＧＰＳデータと実際の緯度経度が一致するように画像を配置する。
　また、画像が飛行計画における移動体１００の高さよりも高い位置で撮像された場合、図１３Ｂに示すように、飛行計画および撮像計画通りに撮像した場合と比較して被写体は小さくなり画角は広くなる。この場合、飛行計画および撮像計画通りに撮像した場合の被写体のサイズに一致するように拡大処理を施して補正を行う。そして、補正処理を施した画像を配置して合成画像を作成する。
　一方、画像が飛行計画における移動体１００の高さよりも低い位置で撮像された場合、図１３Ｃに示すように、飛行計画および撮像計画通りに撮像した場合と比較して被写体は大きくなり画角は狭くなる。この場合、飛行計画および撮像計画通りに撮像した場合の被写体のサイズに一致するように縮小処理を施して補正を行う、そして、補正処理を施した画像を配置して合成画像を作成する。
　また、画像を用いて２次元の合成画像を作成する場合、撮像装置２００による撮像は農地に対して略並行に撮像するのが望ましい。しかし、撮像時に移動体１００または撮像装置２００が傾いていた場合、図１３Ｄに示すように撮像範囲に誤差が生じる。この場合、飛行計画および撮像計画通りに、土地に対して略並行に撮像した場合の被写体に一致するように台形補正および切り出し処理を施して補正を行う。そして、補正処理を施した画像を配置して合成画像を作成する。
　さらに、メタデータとして照度センサデータが画像に対応付けられている場合、照度センサデータに基づいて画像の明度、色バランスなどを調整する補正を行ってもよい。なお、補正が必要ない画像に対しては補正処理を行わなくてもよい。
　このようにして、画像にメタデータとして対応付けられたセンサ情報に基づいて全ての画像を補正しながら配置して合成画像を作成する。なお、作成された合成画像にその合成画像を構成する画像のそれぞれに対応付けられたメタデータを対応付けたままにしておくとよい。これにより、合成画像中においてユーザが注目する位置をＧＰＳデータなどに基づいて容易に特定することができる。
　なお、緯度経度情報が対応付けられた地図データを用いずに、１つ目に配置した画像のＧＰＳデータに示される緯度経度を基準として２つ目以降の画像を配置することにより合成画像を作成してもよい。
　本技術によれば、合成画像を作成するために画像の特徴点の抽出および照合という処理が必要ないため、合成画像作成に必要な演算処理量を低減させることができる。これにより、従来よりも速く合成画像を作成でき、また、処理能力が高くない安価なコンピュータでも合成画像を作成することができる。
　本技術では合成画像を作成するために画像の特徴点の抽出および照合という処理が必要ないため、例えば、農地のように広大で目立つ特徴となる建造物などがない範囲の合成画像の作成に有用である。
　また、飛行計画と撮像計画に基づいて撮像された画像を用いるため、合成画像作成のために画像と画像を重ね合わせる領域が小さくて済む。これにより、従来の手法と比べて少ない枚数の画像で合成画像を作成することができる。また、従来の手法と比べて合成画像作成に要する時間を短縮することができる。合成画像作成のために画像と画像の重ね合わせる領域が小さくて済むということは、移動体１００は撮像のために往復飛行ルートの間隔を広げることができ、撮像効率を高めることができる。撮像効率が高まると、同一バッテリ条件下では従来に比べて一回の飛行で撮像できる面積を拡大することができる。また、従来技術より少ない枚数の画像で合成画像を作成することができるということは、撮像回数も従来技術より少なくて済むのでバッテリを節約することができる。
　移動体１００に撮像装置２００とセンサ装置３００を搭載するという構成であるため、本技術は市販の本技術のための特別な機能を備えない通常のドローンなどの移動体１００に撮像装置２００とセンサ装置３００を搭載することにより実現できる。よって、本技術に係る製品の市場への投入およびユーザの導入も容易である。
　作成された合成画像は、その合成画像を構成する画像に対応付けられたメタデータを具備しているため、農地のマップ画像の場合、ＧＰＳデータを頼りに生育不良、病気、害虫など問題箇所が位置情報として把握できる。よって、ＧＰＳ機能を搭載したトラクターを活用して、特定された領域に散水、施肥、農薬散布などを行うことも可能である。
　なお、本技術は、画像の特徴点を抽出し、それらを照合して画像を重ね合わせていくことにより合成画像を作成することを除外するものではない。特徴点を抽出してそれらを照合する方法を併用して合成画像を作成してもよい。
＜２．第２の実施の形態＞
［２－１．第２の実施の形態における合成画像作成の概要］
　次に本技術の第２の実施の形態について説明する。第２の実施の形態は撮像範囲の地表面の標高を用いることで高精度な合成画像作成を行うものである。標高とは、基準となる海（日本においては東京湾）の平均海面を０ｍの基準面とした場合の、その基準面からの地表面の高さのことである。まず、図１４および図１５を参照して第２の実施の形態における合成画像作成の概要について説明する。
　図１４は、地表面の標高の変化を合成画像作成に反映させない場合の撮像装置２００の高さ（移動体１００の飛行の高さ）、地表面、画像、画像配置結果の関係を示すものである。図１４に示すように、撮像により得られた複数の画像は、地表面とは異なる仮想的な面に投影されて配置されることにより合成画像が作成される。この画像が配置される面は全ての画像に対して共通の面である。なお、撮像装置２００の高さ（移動体１００の飛行の高さ）は一定であるものとする。
　地表面の標高を反映させずに、撮像により得た全ての画像の配置先の標高が同一の高さであると仮定して、画像を予め定めた同一のサイズで配置して合成画像を作成する場合を考える。この場合、地表面の標高に変化があると、配置後の画像サイズに誤差が出てしまい、実際の画像サイズよりも大きく（もしくは小さく）配置されることになる。
　図１４Ａに示すように、地表面の標高が画像を配置する面よりも低い場合には、実際の画像のサイズより小さいサイズで画像が合成されることになる。また、図１４Ｃに示すように、地表面の標高が画像を配置する面よりも高い場合には、実際の画像のサイズよりも大きいサイズで画像が合成されることになる。このように地表面の標高に変化がある場合、合成画像作成における画像の配置において誤差が生じる。この誤差は、地表面と画像を配置する面が近い場合には小さいが、地表面と画像を配置する面とが遠ければ遠くなるほど大きくなる。
　これに対し、第２の実施の形態においては、画像の撮像範囲の標高を取得して図１５に示すように、その標高に応じた面に画像を配置することにより、画像を正確なサイズのまま配置して合成画像を作成する。これにより、より正確で高精度な合成画像を作成することができる。なお、第２の実施の形態においては、移動体１００の飛行高度は一定であるとして説明を行う。
　地表面の標高は国土地理院が発行する、緯度経度などで示される位置に標高が対応付けられた地図データや、インターネット上における地図サービスが提供している標高が対応付けられた地図データを用いることができる。また、標高は測距センサにより得ることもできる。
［２－２．第２の実施の形態における全体処理］
　次に第２の実施の形態における移動体１００の飛行、撮像装置２００による撮像から画像合成処理までの全体処理の概要を説明する。画像処理システム１０００を構成する、移動体１００、撮像装置２００、センサ装置３００、端末装置４００およびクラウド５００は第１の実施の形態と同様であるため、その説明を省略する。
　図１６は、移動体１００の飛行から撮像、地表面の標高の取得、合成画像作成処理までの全体処理の流れを示すフローチャートである。図６のフローチャートと同一の処理については同一のステップ番号を付して詳細な説明は省略する。
　まず、ステップＳ１１で予めプログラミングされた飛行計画が移動体１００の制御部１０１にアップロードされるとともに、予めプログラミングされた撮像計画が撮像装置２００の制御部２０１にアップロードされる。次にステップＳ１２で、移動体１００の飛行が開始される。なお、飛行中においては、第１の実施の形態で上述したのと同様に、センサ装置３００は、ＧＰＳデータとＩＭＵデータなどのセンサ情報をそれぞれ所定の時間間隔で定期的に取得している。
　そして、ステップＳ１３乃至ステップＳ１６を繰り返し全ての撮像位置で撮像および、センサ情報の取得が行われると処理はステップＳ４１に進む（ステップＳ１６のＹｅｓ）。なお、ステップＳ４１乃至ステップＳ４３は、移動体１００の飛行終了後に合成画像作成処理を行う端末装置４００および／またはクラウド５００により行われる処理である。
　次にステップＳ４１で、合成画像作成処理を行う端末装置４００および／またはクラウド５００は、センサ装置３００のＧＰＳモジュール３０２から飛行中における移動体１００の位置を示すＧＰＳデータを取得する。このＧＰＳデータは移動体１００の飛行軌跡を示したものであるといえる。ＧＰＳデータは移動体１００の飛行中にＧＰＳモジュール３０２が取得し、センサ装置３００内のメモリ機能や撮像装置２００の記憶部２０７に保存されたものを飛行終了後に読み出すことにより取得可能である。なお、ＧＰＳデータは、移動体１００が備えるＧＰＳモジュール１０２が取得したＧＰＳデータであってもよい。
　次にステップＳ４２で、地表面の撮像範囲における標高データを取得する。この標高データもセンサ情報に含まれるものである。まず、緯度経度および標高が対応付けられた地図データなどを用いて標高データを取得する方法について説明する。
　この場合、画像合成処理を行う端末装置４００および／またはクラウド５００は、ステップＳ４１で取得したＧＰＳデータが示す位置に基づいて撮像装置２００の撮像範囲における標高データを取得する。これは国土地理院発行の、緯度経度などの位置と標高が対応付けられた地図データなどを用いて、ステップＳ４１で取得したＧＰＳデータが示す緯度経度における標高を確認することにより行うことができる。
　取得した地表面の標高データは、図１７に示すようにＧＰＳデータを取得した位置の順に番号を付し、緯度経度で示される位置と対応付けられてデータベース化される。この、データ取得位置、緯度経度で示される位置および標高データが対応付けられたものを標高データベースと称する。なお、第１の実施の形態で図９を参照して説明したように、撮像装置２００により撮像された画像はＧＰＳデータおよびＩＭＵデータなどのセンサ情報と対応付けられた保存される。よって、標高データに対応付けられた緯度経度を参照することにより標高データと画像とを対応付けることができる。
　標高データの取得が完了すると次にステップＳ４３で合成画像作成処理が行われる。
　ここで、図１６のフローチャートのステップＳ４２において、測距センサを用いて地表面の撮像範囲における標高データを取得する方法について説明する。測距センサとしては、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサを用いるものとする。ＬｉＤＡＲとは、光を用いたリモートセンシング技術の一つであり、パルス状に発光するレーザ照射に対する散乱光を測定することにより、遠距離にある対象までの距離の測定や対象の性質の分析を行うことができる技術である。
　第２の実施の形態においては、図１８Ａに示すように、センサ装置３００がＬｉＤＡＲセンサ３１０を備えている。ただし、ＬｉＤＡＲはレーザ照射による距離の測定を行うため、図１８Ｂに示すようにＬｉＤＡＲセンサ３１０のレーザ照射部３１１とレーザ受信部３１２とは移動体１００の胴体部１の底面において、直下方向の地表面に向けたレーザの照射と受信が可能となるように設けられている。なお、地表面に向けたレーザの照射と受信が可能であれば、ＬｉＤＡＲセンサ３１０のレーザ照射部３１１とレーザ受信部３１２は移動体１００の胴体部１の側面に設けられていてもよい。
　ＬｉＤＡＲを使用する場合、地表面の撮像を行う前に、ＬｉＤＡＲセンサ３１０を備えるセンサ装置３００を搭載した移動体１００を撮像範囲と同じ範囲を飛行させて、撮像範囲の標高データを取得しておくのが好ましい。ＬｉＤＡＲで取得した情報からの標高データの算出は、移動体１００の飛行終了後に行われる。ただし、移動体１００の飛行および地表面の撮像と並行して、ＬｉＤＡＲセンサ３１０で取得した情報から標高データを算出するようにしてもよい。ＬｉＤＡＲセンサ３１０で取得した情報からの標高データの算出は、情報処理部２５０が行うものとして説明を行うが、端末装置４００、クラウド５００のいずれかで行ってもよい。
　なお、ＬｉＤＡＲセンサ３１０による標高データ取得タイミングの間隔は、撮像装置２００による撮像タイミングの間隔よりも短いほうが好ましい。撮像タイミングの間隔よりも標高データ取得のタイミングの間隔が長いと各撮像画像に対して正確な標高データを対応付けることが難しくなるからである。さらに、標高データの取得タイミングの間隔は短ければ短いほど地表面の正確な標高を得ることができるからである。
　ＬｉＤＡＲにより地表面の標高データを取得し、緯度経度で示される位置と標高データを対応付けてデータベース化するのは、地図データから標高データを取得する場合と同様である。
　なお、ＬｉＤＡＲセンサ３１０で標高データを取得するタイミングはセンサ装置３００がＧＰＳデータなどのセンサ情報を取得するタイミングと同期していてもよいし、していなくてもよい。取得タイミングが同期している場合、ＬｉＤＡＲセンサ３１０で取得した標高データと同じタイミングで取得された、センサ情報に含まれるＧＰＳデータなどに対応付けることができる。取得タイミングが同期していない場合、撮像指示のタイミングや撮像装置２００からの露光通知信号を受けたタイミングなど、画像の撮像に関連したタイミングを基準として画像とセンサ情報と標高データとを対応付けるとよい。この対応付けは、情報処理部２５０が行うものとして説明を行うが、端末装置４００、クラウド５００のいずれかで行ってもよい。
　例えば、図１９に示すように、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点で標高データＡの取得が行なわれている場合、標高データＡの取得が完了するとセンサ装置３００は標高データＡを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得された標高データＡをセンサ装置３００から撮像装置２００に送信する。そして、情報処理部２５０は、画像ＡにメタデータとしてＧＰＳデータＡおよびＩＭＵデータＡ、さらに標高データＡを対応づけて記憶部２０７に保存する。このようにして画像とＧＰＳデータとＩＭＵデータと標高データを対応付けることにより、画像を配置して合成画像を作成する際に標高データを用いることができる。なお、ＬｉＤＡＲセンサ３１０で標高データを取得する位置を予め定めている、ＬｉＤＡＲセンサ３１０で標高データを取得する位置をＧＰＳデータで取得しているというような場合には、標高データ取得位置の情報に基づいて標高データとセンサ情報に含まれるＧＰＳデータなどを対応付けることも可能である。
　なお、地図データを参照して標高データを取得する場合も、移動体１００の飛行、撮像装置２００による撮像、センサ装置３００のよるＧＰＳデータおよびＩＭＵデータの取得と並行して地図データから標高データを取得する場合には、このように画像とセンサ情報と標高データの対応付けを行ってもよい。なお、図１９においては説明の便宜上、ＧＰＳデータと標高データを示しているが、対応付けられるデータはそれらに限られず、ＩＭＵモジュール３０３により得られるＩＭＵデータ、高度計３０４により得られる高度データなどが含まれてもよい。
　次に図２０を参照して、ＬｉＤＡＲを用いた場合における、地表面の標高を示す標高データの算出方法を説明する。この標高データの算出は、情報処理部２５０、端末装置４００、クラウド５００のいずれかで行ってもよいし、ＬｉＤＡＲセンサ３１０自体が行ってもよい。ＬｉＤＡＲの測距方向が重力方向に対してθの角度を持ち、測定距離がｄLの場合、ＧＰＳデータから得られる測距時の移動体１００の高度をＺGPSとすると、地表面の標高ｈgroundは下記の式１で求められる。
［式１］
ｈground＝ＺGPS－ｄLcosθ
　また、標高ｈgroundを持つ測距の対象地点ＰLの位置は、移動体１００の位置および姿勢を示すＧＰＳデータおよびＩＭＵデータと、ＬｉＤＡＲセンサ３１０の測距結果を用いて、移動体の位置（ＰGPS）とＰL間の距離と方位角から求めることができる。ＰGPSからの距離と方位角を用いてＰLの緯度・経度を求める具体的な計算方法は、公知の参考文献[国土地理院技術資料Ｂ５－Ｎｏ１９]に記述されており、それを利用することができる。このようにして算出された標高が標高データとして画像合成処理に用いられる。
［２－３．合成画像作成処理］
　次に、図２１のフローチャートを参照して合成画像作成処理の詳細について説明する。合成画像作成処理は、地表面の標高データを地図データから取得した場合、ＬｉＤＡＲで取得した場合どちらにおいても同様である。
　まずステップＳ５１で、合成画像作成処理に使用する二つの座標系を定義する。定義する座標系は、移動体１００の移動に伴う撮像装置２００の撮像範囲を直交座標系で表した地上直交座標系ΣGと、画像合成のための画像の配置先となる合成画像座標系ΣIである。地上直交座標系ΣGが特許請求の範囲における第１の座標系に相当するものであり、合成画像座標系ΣIが第２の座標系に相当するものである。
　地上直交座標系ΣGと、合成画像座標系ΣIを図２２に示す。地上直交座標系ΣGの原点は標高０ｍの撮像範囲の任意の地点としてメートル単位で表す。地上直交座標系ΣGのＸＹＺ軸の向きは、＋Ｘ方向を東、＋Ｙ方向を北、＋Ｚ方向は鉛直上向きとする。合成画像座標系ΣIは画像の座標系であるためピクセル単位となり、撮像範囲全域を網羅し、かつ、画像がはみ出ることのないようにする。ただし、画像のピクセル幅とピクセル高さは任意の解像度に設定できる。
　次にステップＳ５２で、図１７に示す標高データベース中の緯度経度を地上直交座標系ΣGに変換する。この変換方法を図２３に示す。まず、地上直交座標系ΣGの原点ＰGと、図１７に示す標高データと緯度経度が対応した複数の位置の中の任意の位置Ｐhiの緯度経度から、この二点間の距離dと方位角θを求める。緯度経度から、二点間の距離d、方位角θを算出する方法は、公知である参考文献[国土地理院技術資料Ｂ５－Ｎｏ１９]に記載されており、これを使用することができる。
　距離dと方位角θが求まると、地上直交座標系ΣGにおける任意の位置Ｐhiの座標（x,y）は、（d?cosθ, d?sinθ）と定まる。さらに元の標高データの高さをＰhiの高さとすれば、地上直交座標系ΣGにおけるＰhiの値が決定できる。
　さらにステップＳ５２では、地上直交座標系ΣGへ変換した標高データベースを用いて、図２４に示すメッシュ構造を作成する。メッシュ構造は、標高データベースに含まれる各位置を隣接点で連結して三角形を作成していくことで作成する。ここで構成した各三角メッシュ情報は、後述する、画像の四隅の投影位置の算出において用いられる。
　次にステップＳ５３で、移動体１００のＧＰＳモジュール１０２で取得したＧＰＳデータが示す移動体１００の位置、ＩＭＵモジュール１０３で取得したＩＭＵデータが示す移動体１００の姿勢を地上直交座標系ΣGに変換する。移動体１００の位置はＧＰＳデータにより緯度経度の情報として出力されるため、地上直交座標系ΣGに変換する必要があるが、その変換方法はステップＳ５２における標高データベースの地上直交座標系ΣGへの変換と同様である。
　次にステップＳ５４で、地表面への画像の四隅の投影位置を地上直交座標系ΣGで算出する。画像の四隅とは、四角形状に構成された画像が有する４つの角の頂点をいうものである。図２５は、移動体１００に搭載された撮像装置２００から伸びる画像の四隅へのベクトルと、地表面の標高（メッシュ構造）を図示したものである。画像の四隅へ伸びるベクトルとメッシュ平面の交差する点が、算出すべき画像の四隅の投影位置となる。
　ここで、画像の四隅の投影位置の算出方法について説明する。なお、以下の説明は画像の四隅のうちの１つの隅の投影位置を算出する方法である。この方法を四隅の全てに対して行うことにより画像の四隅全ての投影位置を算出することができる。
　まず、図２６に示すように、標高データの最小単位となる三角メッシュの平面ＡＢＣを考える。平面ＡＢＣの単位法線ベクトルをｎ、ＡＢＣの中心座標をＰ0とすると、ｎは図２６に示すように式２を用いて外積から求められる。
［式２］
Figure JPOXMLDOC01-appb-I000001
　次に図２７Ａに示すように、移動体１００の撮像装置２００の位置をＰd、撮像装置２００の焦点から画像の四隅の点へ伸びる単位ベクトルをＬとする。なお、実際は４本の単位ベクトルＬが存在するが、説明の便宜上図２７Ａでは１本のみ記載している。平面ＡＢＣと、撮像装置２００の位置Ｐdから伸びるベクトルが交点を持つと仮定した場合、そのベクトルはスカラ値ｄを用いてｄＬと表すことができる。
　ここで、平面ＡＢＣ上にある任意の点Ｐが、(Ｐ－Ｐ0)・ｎ＝０、と表されることを利用すると、ベクトルｄＬと平面ＡＢＣが交差する点Ｌiは下記の式３を用いて求めることができる。
［式３］
Figure JPOXMLDOC01-appb-I000002
　そして、平面ＡＢＣとベクトル（Ｌ0,ｄＬ）の交点Ｌiが平面ＡＢＣ内に含まれているかを調べる。図２７Ｂに示すように、交点Ｌｉが平面ＡＢＣ内に含まれている場合は、Ｌｉを画像の１つの隅の投影位置とする。
　この処理を画像の四隅へのベクトル全てに対して行うことで画像の四隅の地表面への投影位置を算出することができる。
　図２１のフローチャートの説明に戻る。次にステップＳ５５で、ステップＳ５４で算出した画像の四隅の投影位置を合成画像座標系ΣIに変換する。変換にはステップＳ５１で定義した地上直交座標系ΣGと合成画像座標系ΣIを用いる。図２８は、地上直交座標系ΣGと合成画像座標系ΣIの変換および画像の配置の概念図である。地上直交座標系ΣGにおける画像の四隅それぞれの投影位置を合成画像座標系ΣIへ変換することにより、画像は図２８に示すように合成画像座標系ΣIに投影されて配置される。これにより、図１５を参照して説明したように実際の画像サイズのまま画像が配置され、図１４で説明したように実際の撮像画像のサイズと異なるサイズで配置されて合成されてしまうということがない。
　次にステップＳ５６で、ステップＳ５５で算出した画像の四隅の合成画像座標系ΣIへの投影位置に基づいて画像を配置する。画像を配置する際には、ステップＳ５５で算出した画像の四隅へ射影変換を行う。画像を正確に配置するためには、画像の四隅を正確に投影させる必要があるが、標高データベースに示される撮像範囲内の各位置の標高データは地表面の全ての位置の標高を示しているのではないため、標高データに示される標高が画像の四隅の標高を示しているとは限らない。よって、このように画像の四隅の地上直交座標系ΣGにおける位置をそれぞれ算出し、それを合成画像座標系ΣIに変換して投影することにより画像の配置を行う。これにより、画像を正確なサイズで配置して合成画像を作成することができる。
　そしてステップＳ５７で、全ての画像に対してステップＳ５３乃至ステップＳ５６の処理を行い画像の配置を行ったか否かを判定する。全ての画像に対して行っていない場合には処理はステップＳ５３に進み、全ての画像を配置するまでステップＳ５３乃至ステップＳ５７を繰り返す（ステップＳ５７のＮｏ）。そして、全ての画像を配置した場合、処理は終了となり複数の撮像画像から構成された１つの合成画像が完成する（ステップＳ５７のＹｅｓ）。
　以上のようにして第２の実施の形態における合成画像作成処理が行われる。なお、本実施の形態では測距センサとしてＬｉＤＡＲセンサを使用したが、距離を測定することができるセンサであればどのようなものを用いてもよい。また、本実施の形態では地表面の標高を地図データから取得する場合と、測距センサで取得する場合について説明したが、他の方法により地表面の標高を取得してもよい。例えば、移動体１００に搭載した撮像装置２００で同一の景色を撮像して得られた２つの画像（ステレオ画像）から視差を求め、三角法を用いて対象（地表面）までの距離を算出し、移動体１００の高度と地表面までの距離の差分を地表面の標高として算出する方法もある。地表面の標高を求めることができればどのような手法も採用することができる。
　なお、画像に対応付けられたＧＰＳデータで示される位置に最も近い位置における標高データをその画像の四隅全ての標高と仮定して画像の配置を行ってもよい。
　上述したように、第２の実施の形態では地表面の標高に応じて、配置する各画像のサイズが異なるものとなる。よって、複数枚の画像を配置して合成画像を作成する場合に画像と画像の間に隙間が生じるおそれがある。これに対して、図７に示す、撮像位置間距離の方向（移動体１００の進行方向）においては、撮像と撮像の間隔を短くすることにより画像間のオーバーラップを増やして隙間が生じることを防止することができる。また、図７に示す、移動体１００の飛行ルート間距離の方向においては、飛行ルート間の距離を短くすることにより画像間のオーバーラップを増やして隙間が生じることを防止することができる。これは、撮像用の移動体１００の飛行の前に、予め地図データ参照して飛行計画に組み込んでおいてもよい。また、ＬｉＤＡＲなどの測距センサで移動体１００の飛行および撮像と並行してリアルタイムに地表面の標高を取得し、標高に基づいてリアルタイムで移動体１００の飛行プログラムを変更して、オーバーラップ部分を増やすようにしてもよい。
　実施の形態では移動体１００の飛行高度は一定であるとして説明を行っている。しかし、実際の移動体１００の飛行では飛行高度が変化することが考えられる。よって、移動体１００のＧＰＳモジュール１０２で得られる移動体１００の高度の変化に応じて補正を行うようにしてもよい。
＜３．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　移動体１００としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。
　本技術の移動体１００はドローンに限られず、人の操縦を受けずに自動で移動する自動車、船舶、ロボットなどであってもよい。
　ドローンを飛行させて上空から撮像を行う場合に限られず、移動体としての船舶に撮像装置２００とセンサ装置３００とを搭載して、船舶で移動しながら海中の画像を撮像し、合成画像として海底の地図を作成することにも適用可能である。
　また、移動体としての自動車に撮像装置２００とセンサ装置３００とを搭載して、側面を向けた撮像装置２００で風景を撮像し、合成画像として道路沿いの風景のパノラマ写真を作成することにも適用可能である。
　撮像装置２００がジンバルとしての機能を有するカメラマウントを介して移動体１００に搭載されておらず、一定の状態に固定されて搭載されている場合、移動体１００の姿勢と撮像装置２００の姿勢は等しくなる。この場合、移動体１００の傾きと撮像装置２００の傾きは等しくなるため、移動体１００、センサ装置３００、撮像装置２００のいずれか１つがＩＭＵモジュールを備えていればよい。なお、ジンバルとしての機能を有するカメラマウントを用いる場合であっても、例えば、カメラマウントの角度制御と連動させることで撮像装置２００の姿勢を推定することが可能である。この場合には、移動体１００、センサ装置３００、撮像装置２００のいずれか１つがＩＭＵモジュールを備えていればよい。
　撮像装置２００は撮像素子を１つ備えるものに限られず２つ以上の複数の撮像素子を備えていてもよい。例えば、第１の撮像素子を可視光用の撮像素子とし、第２の撮像素子を赤外線用の撮像素子とすることができる。これにより、一度の撮像で複数種類の合成画像を作成することができる。例えば、赤外線画像を用いて農地を上空から撮像したマップ画像を作成した場合、そのマップ画像から農作物のクロロフィルを確認することにより農作物の状態を確認することができる。また、撮像装置２００は、異なる複数の波長領域（波長帯）の画像を取得するマルチスペクトラムカメラであってもよく、ＮＤＶＩ（Normalized Difference Vegetation Index）等の植生指標を確認する用途にも用いることができる。
　実施の形態では、撮像装置２００とセンサ装置３００とを別個の装置として構成して移動体１００に搭載したが、撮像装置２００とセンサ装置３００とを一体の装置として構成して移動体１００に搭載してもよい。また、移動体１００が撮像装置２００とセンサ装置３００の機能を予め備えているように構成してもよい。
　端末装置４００および／またはクラウド５００が撮像装置２００により撮像された画像とセンサ装置３００により取得されたセンサ情報とを受信し、画像とセンサ情報との対応付けを行ってもよい。
　撮像装置２００としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体１００に搭載させることができる機器であればどのようなものを用いてもよい。
　撮像装置２００は入力部、表示部などを備えていてもよい。また、撮像装置２００は移動体１００と接続しない場合には単体で撮像装置として使用できるものであってもよい。
　撮像装置２００もバッテリを備え、撮像装置２００のバッテリ６から移動体１００およびセンサ装置３００に電力供給を行うようにしてもよい。または、移動体１００、撮像装置２００、センサ装置３００の全てがバッテリを備えていてもよい。
　本技術は以下のような構成も取ることができる。
（１）
　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
　取得した前記画像に、取得した前記センサ情報を対応づける
　情報処理装置。
（２）
　前記センサ情報は、前記移動体の高度情報をさらに含む（１）記載の情報処理装置。
（３）
　前記センサ情報は、前記移動体の傾き情報をさらに含む（１）または（２）に記載の情報処理装置。
（４）
　前記信号は、前記撮像装置による画像の撮像に関連した露光タイミングを示すものである（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記センサ情報は、前記露光タイミングの時点における最新のセンサ情報である
（１）から（４）のいずれかに記載の情報処理装置。
（６）
　複数の前記センサ情報から新たなセンサ情報を算出し、
前記画像に、前記新たなセンサ情報を対応づける（１）から（５）のいずれかに記載の情報処理装置。
（７）
　前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の終了のタイミングである（４）に記載の情報処理装置。
（８）
　前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の開始のタイミングである（４）に記載の情報処理装置。
（９）
　前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである（４）に記載の情報処理装置。
（１０）
　複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する（１）から（９）のいずれかに記載の情報処理装置。
（１１）
　複数の前記画像を前記センサ情報に基づいて位置を補正して配置する（１０）に記載の情報処理装置。
（１２）
　前記センサ情報は、前記移動体の高度情報をさらに含み、
　前記画像を前記高度情報に基づいて拡大または縮小して配置する（１０）に記載の情報処理装置。
（１３）
　前記センサ情報は、前記移動体の傾き情報をさらに含み、
　前記画像を前記傾き情報に基づいて台形補正および／または切り出し処理を施して配置する（１０）に記載の情報処理装置。
（１４）
　前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける
（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
　前記標高データを前記画像に対応付ける（１４）に記載の情報処理装置。
（１６）
　前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データから取得される（１４）または（１５）に記載の情報処理装置。
（１７）
　前記標高データは、前記移動体に搭載された測距センサにより取得される距離情報に基づき取得される（１４）または（１５）に記載の情報処理装置。
（１８）
　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、前記測距センサにより標高データを取得し、取得した前記標高データを前記センサ情報に含まれる情報に対応づける（１７）に記載の情報処理装置。
（１９）
　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
　取得した前記画像に、取得した前記センサ情報を対応づける
情報処理方法。
（２０）
　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
　取得した前記画像に、取得した前記センサ情報を対応づける
情報処理方法をコンピュータに実行させる
情報処理プログラム。
（２１）
　撮像指示に応じて撮像装置から送信される信号に応じて取得された移動体の位置情報を含むセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
画像処理装置。
（２２）
　さらに、前記撮像装置により撮像された地表面の標高を示す標高データに基づいて、複数の前記画像を配置することにより前記合成画像を作成する（２１）に記載の画像処理装置。
（２３）
　前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第１の座標系と、前記画像を配置する面に対応した第２の座標系を定義し、
　前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第１の座標系で算出し、
　前記投影位置を前記第２の座標系に変換することにより前記画像の配置を行う（２２）に記載の画像処理装置。
（２４）
　前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される（２３）に記載の画像処理装置。
（２５）
　前記画像の四隅の前記投影位置を前記第２の座標系に変換することにより、前記画像の配置を行う（２４）に記載の画像処理装置。
（２６）
　前記標高データは、位置および標高の情報を有する地図データから取得される（２２）から（２５）のいずれかに記載の画像処理装置。
（２７）
　前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データを参照することにより取得される（２６）に記載の画像処理装置。
（２８）
　前記標高データは、前記移動体に搭載された測距センサにより取得される（２２）から（２５）のいずれかに記載の画像処理装置。
（２９）
　移動体と、
　前記移動体に搭載された撮像装置と、
　前記移動体に搭載され、前記移動体の位置情報を含むセンサ情報を検出するセンサ装置と、
　前記撮像装置により撮像された画像に前記センサ情報を対応付ける情報処理装置と
からなる画像処理システム。
（３０）
　前記情報処理装置は、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する（２９）に記載の画像処理システム。
（３１）
　前記撮像装置により撮像され、前記センサ情報が対応付けられた複数の前記画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する画像処理装置を備える（２９）または（３０）に記載の画像処理システム。
１００・・・移動体
２００・・・撮像装置
３００・・・センサ装置
２５０・・・情報処理部
１０００・・画像処理システム

Claims (31)

  1. 　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
    　取得した前記画像に、取得した前記センサ情報を対応づける
    　情報処理装置。
  2. 　前記センサ情報は、前記移動体の高度情報をさらに含む
    　請求項１に記載の情報処理装置。
  3. 　前記センサ情報は、前記移動体の傾き情報をさらに含む
    　請求項１に記載の情報処理装置。
  4. 　前記信号は、前記撮像装置による画像の撮像に関連した露光タイミングを示すものである
    　請求項１に記載の情報処理装置。
  5. 　前記センサ情報は、前記露光タイミングの時点における最新のセンサ情報である
    請求項１に記載の情報処理装置。
  6. 　複数の前記センサ情報から新たなセンサ情報を算出し、前記画像に、前記新たなセンサ情報を対応づける
    請求項１に記載の情報処理装置。
  7. 　前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の終了のタイミングである
    請求項４に記載の情報処理装置。
  8. 　前記露光タイミングは、前記撮像装置が前記画像を撮像するために行った露光の開始のタイミングである
    請求項４に記載の情報処理装置。
  9. 　前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである
    請求項４に記載の情報処理装置。
  10. 　複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
    請求項１に記載の情報処理装置。
  11. 　複数の前記画像を前記センサ情報に基づいて位置を補正して配置する
    請求項１０に記載の情報処理装置。
  12. 　前記センサ情報は、前記移動体の高度情報をさらに含み、
    　前記画像を前記高度情報に基づいて拡大または縮小して配置する
    請求項１０に記載の情報処理装置。
  13. 　前記センサ情報は、前記移動体の傾き情報をさらに含み、
    　前記画像を前記傾き情報に基づいて台形補正および／または切り出し処理を施して配置する
    請求項１０に記載の情報処理装置。
  14. 　前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける
    請求項１に記載の情報処理装置。
  15. 　前記標高データを前記画像に対応付ける
    請求項１４に記載の情報処理装置。
  16. 　前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データから取得される
    請求項１４に記載の情報処理装置。
  17. 　前記標高データは、前記移動体に搭載された測距センサにより取得される距離情報に基づき取得される
    請求項１４に記載の情報処理装置。
  18. 　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、前記測距センサにより標高データを取得し、取得した前記標高データを前記センサ情報に含まれる情報に対応づける
    請求項１７に記載の情報処理装置。
  19. 　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
    　取得した前記画像に、取得した前記センサ情報を対応づける
    情報処理方法。
  20. 　移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    　前記撮像指示に応じて前記撮像装置から送信される信号に応じて、センサ装置から前記移動体の位置情報を含むセンサ情報を取得し、
    　取得した前記画像に、取得した前記センサ情報を対応づける
    情報処理方法をコンピュータに実行させる
    情報処理プログラム。
  21. 　撮像指示に応じて撮像装置から送信される信号に応じて取得された移動体の位置情報を含むセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
    画像処理装置。
  22. 　さらに、前記撮像装置により撮像された地表面の標高を示す標高データに基づいて、複数の前記画像を配置することにより前記合成画像を作成する
    請求項２１に記載の画像処理装置。
  23. 　前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第１の座標系と、前記画像を配置する面に対応した第２の座標系を定義し、
    　前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第１の座標系で算出し、
    　前記投影位置を前記第２の座標系に変換することにより前記画像の配置を行う
    請求項２２に記載の画像処理装置。
  24. 　前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される
    請求項２３に記載の画像処理装置。
  25. 　前記画像の四隅の前記投影位置を前記第２の座標系に変換することにより、前記画像の配置を行う
    請求項２４に記載の画像処理装置。
  26. 　前記標高データは、位置および標高の情報を有する地図データから取得される
    請求項２２に記載の画像処理装置。
  27. 　前記標高データは、前記移動体の前記位置情報に基づいて、位置および標高の情報を有する地図データを参照することにより取得される
    請求項２６に記載の画像処理装置。
  28. 　前記標高データは、前記移動体に搭載された測距センサにより取得される
    請求項２２に記載の画像処理装置。
  29. 　移動体と、
    　前記移動体に搭載された撮像装置と、
    　前記移動体に搭載され、撮像指示に応じて前記撮像装置から送信される信号に応じて、前記移動体の位置情報を含むセンサ情報を検出するセンサ装置と、
    　前記撮像装置により撮像された画像に前記センサ情報を対応付ける情報処理装置と
    からなる画像処理システム。
  30. 　前記情報処理装置は、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
    請求項２９に記載の画像処理システム。
  31. 　前記撮像装置により撮像され、前記センサ情報が対応付けられた複数の前記画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する画像処理装置を備える
    請求項２９に記載の画像処理システム。
PCT/JP2018/012289 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム WO2018198634A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2019515165A JP7251474B2 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
US16/607,006 US11341608B2 (en) 2017-04-28 2018-03-27 Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
CN201880026201.5A CN110537365B (zh) 2017-04-28 2018-03-27 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
AU2018259895A AU2018259895B2 (en) 2017-04-28 2018-03-27 Information processing device, information processing method, information processing program, image processing device, and image processing system
EP18790277.0A EP3618417B1 (en) 2017-04-28 2018-03-27 Information processing device, information processing method, information processing program, image processing device, and image processing system
CN202210934986.4A CN115361482A (zh) 2017-04-28 2018-03-27 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
US17/724,181 US11756158B2 (en) 2017-04-28 2022-04-19 Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
JP2022198842A JP2023039993A (ja) 2017-04-28 2022-12-13 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
US18/362,466 US20230419445A1 (en) 2017-04-28 2023-07-31 Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-090763 2017-04-28
JP2017090763 2017-04-28
JP2018-024840 2018-02-15
JP2018024840 2018-02-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/607,006 A-371-Of-International US11341608B2 (en) 2017-04-28 2018-03-27 Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
US17/724,181 Continuation US11756158B2 (en) 2017-04-28 2022-04-19 Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images

Publications (1)

Publication Number Publication Date
WO2018198634A1 true WO2018198634A1 (ja) 2018-11-01

Family

ID=63918279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012289 WO2018198634A1 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム

Country Status (6)

Country Link
US (3) US11341608B2 (ja)
EP (1) EP3618417B1 (ja)
JP (2) JP7251474B2 (ja)
CN (2) CN110537365B (ja)
AU (1) AU2018259895B2 (ja)
WO (1) WO2018198634A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088821A (ja) * 2018-11-30 2020-06-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像生成装置、画像生成方法、プログラム、及び記録媒体
JP2021023224A (ja) * 2019-08-06 2021-02-22 ヤンマーパワーテクノロジー株式会社 生育値算出方法、および生育値算出システム
JPWO2021038733A1 (ja) * 2019-08-27 2021-03-04
WO2021153198A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 撮像制御装置および撮像制御方法
WO2023175833A1 (ja) * 2022-03-17 2023-09-21 日本電気株式会社 画像処理装置、システム、方法、及びコンピュータ可読媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537365B (zh) * 2017-04-28 2022-09-02 索尼公司 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
US11544899B2 (en) * 2019-10-15 2023-01-03 Toyota Research Institute, Inc. System and method for generating terrain maps
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159762A (ja) 1994-12-01 1996-06-21 Asahi Koyo Kk ３次元データ抽出方法及び装置並びにステレオ画像形成装置
JPH09298686A (ja) * 1996-05-08 1997-11-18 Nec Corp 航空写真作成装置
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2016033754A1 (zh) * 2014-09-03 2016-03-10 深圳市大疆创新科技有限公司 Uav及其清洁墙体的方法、采用该uav的墙体清洁系统
JP2016085100A (ja) * 2014-10-24 2016-05-19 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 測量システム、設定装置、設定プログラム及び記録媒体
JP2016223935A (ja) * 2015-06-01 2016-12-28 株式会社Ｎｔｔファシリティーズ 画像処理システム、画像処理方法及びプログラム
WO2017026337A1 (ja) * 2015-08-07 2017-02-16 株式会社プロドローン 飛行制御装置およびこれを備える無人航空機
JP2017059861A (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2791151A (en) * 1953-05-06 1957-05-07 John T Pennington Method of and apparatus for aerotriangulation with convergent photography
US3251283A (en) * 1964-02-11 1966-05-17 Itek Corp Photographic system
US3992707A (en) * 1974-09-13 1976-11-16 Vereinigte Flugtechnische Werke-Fokker Gesellschaft Mit Beschrankter Haftung Reproduction of a field of view as scanned by a remote controlled aircraft
CA2484422A1 (en) * 2004-10-08 2006-04-08 Furgro Airborne Surveys Unmanned airborne vehicle for geophysical surveying
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US20100026822A1 (en) * 2008-07-31 2010-02-04 Itt Manufacturing Enterprises, Inc. Multiplexing Imaging System for Area Coverage and Point Targets
JP2010136302A (ja) * 2008-12-08 2010-06-17 Sony Corp 撮像装置、撮像方法、およびプログラム
US8462209B2 (en) * 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
US8624959B1 (en) * 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
CN102255259A (zh) * 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
US8913784B2 (en) * 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
CA2930989C (en) * 2013-11-25 2018-11-13 First Resource Management Group Inc. Apparatus for and method of forest-inventory management
US9751639B2 (en) 2013-12-02 2017-09-05 Field Of View Llc System to control camera triggering and visualize aerial imaging missions
US20150187390A1 (en) * 2013-12-30 2015-07-02 Lyve Minds, Inc. Video metadata
EP3145811A4 (en) * 2014-05-23 2018-05-23 LR Acquisition, LLC Unmanned aerial copter for photography and/or videography
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
WO2016003555A2 (en) * 2014-07-01 2016-01-07 Scanifly, LLC Device, method, apparatus, and computer-readable medium for solar site assessment
US9948898B2 (en) * 2014-08-22 2018-04-17 Verizon Patent And Licensing Inc. Using aerial imaging to provide supplemental information about a location
US9876954B2 (en) * 2014-10-10 2018-01-23 Iec Infrared Systems, Llc Calibrating panoramic imaging system in multiple dimensions
US10752378B2 (en) * 2014-12-18 2020-08-25 The Boeing Company Mobile apparatus for pest detection and engagement
WO2016131005A1 (en) * 2015-02-13 2016-08-18 Unmanned Innovation, Inc. Unmanned aerial vehicle sensor activation and correlation
JP6494386B2 (ja) * 2015-04-10 2019-04-03 キヤノン株式会社 撮像装置およびその制御方法
US9576373B2 (en) * 2015-04-30 2017-02-21 Harris Corporation Geospatial imaging system providing segmentation and classification features and related methods
CN104853112B (zh) * 2015-05-06 2018-01-09 青岛海信移动通信技术股份有限公司 一种控制长曝光时间的方法及装置
CN104853113A (zh) 2015-05-15 2015-08-19 零度智控（北京）智能科技有限公司 自适应调节相机曝光时间的装置及方法
JP6326009B2 (ja) * 2015-06-29 2018-05-16 株式会社オプティム 無線航空機、位置情報出力方法及び無線航空機用プログラム。
JP6594180B2 (ja) * 2015-11-25 2019-10-23 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
US10217283B2 (en) * 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
CN108474661A (zh) * 2016-01-13 2018-08-31 威拓股份有限公司 用于多光谱数据的几何参照的方法和系统
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US20170294002A1 (en) * 2016-04-07 2017-10-12 Qualcomm Incorporated Systems and methods for adjusting an image
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
KR102268151B1 (ko) * 2016-06-20 2021-06-23 코그넥스코오포레이션 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
US9911189B1 (en) * 2016-06-30 2018-03-06 Kitty Hawk Corporation Navigation based on downward facing sensors
WO2018022864A1 (en) * 2016-07-28 2018-02-01 The Texas A&M University System Method and apparatus for radiometric calibration and mosaicking of aerial images
US10926875B2 (en) * 2016-12-14 2021-02-23 Sanmina Corporation Devices and methods for facilitating capture of unmanned aerial vehicles
CN110537365B (zh) * 2017-04-28 2022-09-02 索尼公司 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
JP7152137B2 (ja) * 2017-08-28 2022-10-12 株式会社トプコン 写真測量システム及び写真測量方法
US10364027B2 (en) * 2017-10-24 2019-07-30 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for UAV scanning and imaging

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159762A (ja) 1994-12-01 1996-06-21 Asahi Koyo Kk ３次元データ抽出方法及び装置並びにステレオ画像形成装置
JPH09298686A (ja) * 1996-05-08 1997-11-18 Nec Corp 航空写真作成装置
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2016033754A1 (zh) * 2014-09-03 2016-03-10 深圳市大疆创新科技有限公司 Uav及其清洁墙体的方法、采用该uav的墙体清洁系统
JP2016085100A (ja) * 2014-10-24 2016-05-19 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 測量システム、設定装置、設定プログラム及び記録媒体
JP2016223935A (ja) * 2015-06-01 2016-12-28 株式会社Ｎｔｔファシリティーズ 画像処理システム、画像処理方法及びプログラム
WO2017026337A1 (ja) * 2015-08-07 2017-02-16 株式会社プロドローン 飛行制御装置およびこれを備える無人航空機
JP2017059861A (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088821A (ja) * 2018-11-30 2020-06-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像生成装置、画像生成方法、プログラム、及び記録媒体
JP2021023224A (ja) * 2019-08-06 2021-02-22 ヤンマーパワーテクノロジー株式会社 生育値算出方法、および生育値算出システム
JP7288632B2 (ja) 2019-08-06 2023-06-08 ヤンマーパワーテクノロジー株式会社 生育値算出方法、および生育値算出システム
JPWO2021038733A1 (ja) * 2019-08-27 2021-03-04
WO2021038733A1 (ja) * 2019-08-27 2021-03-04 日本電信電話株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP7206530B2 (ja) 2019-08-27 2023-01-18 日本電信電話株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
WO2021153198A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 撮像制御装置および撮像制御方法
WO2023175833A1 (ja) * 2022-03-17 2023-09-21 日本電気株式会社 画像処理装置、システム、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
US11756158B2 (en) 2023-09-12
US20230419445A1 (en) 2023-12-28
US11341608B2 (en) 2022-05-24
AU2018259895B2 (en) 2021-05-06
EP3618417A1 (en) 2020-03-04
JP2023039993A (ja) 2023-03-22
US20200134783A1 (en) 2020-04-30
CN110537365B (zh) 2022-09-02
CN110537365A (zh) 2019-12-03
JP7251474B2 (ja) 2023-04-04
EP3618417A4 (en) 2020-05-06
CN115361482A (zh) 2022-11-18
AU2018259895A1 (en) 2019-08-15
US20220237738A1 (en) 2022-07-28
EP3618417B1 (en) 2023-12-13
JPWO2018198634A1 (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
WO2018198634A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
CN107504957B (zh) 利用无人机多视角摄像快速进行三维地形模型构建的方法
US9007461B2 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
Kim et al. Feasibility of employing a smartphone as the payload in a photogrammetric UAV system
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
Adams et al. Unmanned aerial vehicle data acquisition for damage assessment in hurricane events
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
CN106043723A (zh) 一种固定翼无人机摇摆式倾斜摄影系统及方法
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
JPWO2017203646A1 (ja) 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム
Starek et al. Application of unmanned aircraft systems for coastal mapping and resiliency
WO2020012632A1 (ja) Ｕａｖ制御装置およびｕａｖ制御方法
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
Darwin et al. Light weight rotarywing UAV for large scale mapping applications
Udin et al. Large scale mapping using digital aerial imagery of unmanned aerial vehicle
TWI819569B (zh) 架構於無人機群飛之零時差巨幅空照圖拍攝裝置
CN110073403A (zh) 输出影像生成方法、设备及无人机
Hlotov et al. The analysis of the results of aerial photography experiments on the basis of a developed UAV model
Udin et al. The potential use of rotor wing unmanned aerial vehicle for large scale stream mapping
정호현 Development and Accuracy Evaluation of Customized UAV for Photogrammetry
Xuan et al. A combined sensor system of digital camera with LiDAR
Hongxia et al. Virtual Image Generation from Low Altitude Unmanned Aerial Vehicle Digital Aerial Camera
Darwin et al. CAPABILITIES OF LOW COST AND FAST IMAGE ACQUISITION USING MICRO FIXED-WING UNMANNED AERIAL VEHICLE SYSTEM

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18790277

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019515165

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018259895

Country of ref document: AU

Date of ref document: 20180327

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018790277

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018790277

Country of ref document: EP

Effective date: 20191128