WO2020090406A1 - 撮像システム及び撮像方法 - Google Patents

撮像システム及び撮像方法 Download PDF

Info

Publication number
WO2020090406A1
WO2020090406A1 PCT/JP2019/040012 JP2019040012W WO2020090406A1 WO 2020090406 A1 WO2020090406 A1 WO 2020090406A1 JP 2019040012 W JP2019040012 W JP 2019040012W WO 2020090406 A1 WO2020090406 A1 WO 2020090406A1
Authority
WO
WIPO (PCT)
Prior art keywords
flight
imaging
camera
imaging step
image
Prior art date
Application number
PCT/JP2019/040012
Other languages
English (en)
French (fr)
Inventor
西本　晋也
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Publication of WO2020090406A1 publication Critical patent/WO2020090406A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Definitions

  • the present invention relates to an imaging system and an imaging method, and more particularly to an imaging system and an imaging method for imaging a vertically long structure with a camera mounted on a flight device.
  • Patent Document 1 discloses that a three-dimensional image is generated from an image of an object captured by a camera mounted on a flight device.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging system and an imaging method that can image an object easily and efficiently.
  • an imaging system is an imaging system in which a camera mounted on a flight device images a long structure in a vertical direction.
  • the flying device autonomously orbits around the structure at the height position to fly and displaces the camera below the structure to move the camera in the first imaging step. It is characterized by comprising a flight control unit that executes a second imaging step of imaging a structure by changing an imaging angle.
  • the flying device flies a plurality of times around the structure at an arbitrary height position of the structure, and when the flying device shifts to the next round flight, the camera is moved to the structure. It is characterized in that it is displaced downward to change the image pickup angle of the structure by the camera.
  • an arbitrary height position of the structure that shifts from the first imaging step to the second imaging step is set based on the height positions of peripheral structures existing around the structure. I am trying.
  • the flight device autonomously executes the first imaging step and the second imaging step under the control of the flight control unit, so that the flight device is further controlled from the upper side to the lower side of the structure.
  • the flight device can easily and efficiently capture an image of the structure below the arbitrary height position set based on the height position of the surrounding structures existing around the structure. You can
  • the first imaging step of the imaging system is characterized in that the camera is positioned downwardly of the structure with respect to the height position of the structure corresponding to the flight altitude of the flying device.
  • an arbitrary distance from the center position of the structure is set as a radius, and based on the radius and the height of the structure, the structure is modeled into a substantially cylindrical shape surrounding all side surfaces of the structure. It has a feature.
  • the flight device can easily set the orbit flight.
  • the flying device in the first imaging step, goes around the structure and flies around the structure, and in the second imaging step, the flying device goes around the structure and flies. It is characterized in that it is the same as the area of the airspace grasped by the flight trajectory.
  • the image quality of the captured image can be improved because the image quality of the captured image captured in the first imaging step and the image quality of the captured image captured in the second imaging step can be made uniform.
  • the flight control unit of the imaging system is configured such that the flying device makes a plurality of orbits over the structure and flies, and when the flying device shifts to the next orbit flight, the camera is displaced below the structure and It is characterized in that the image capturing angle of the structure is changed to perform the sky image capturing step of capturing the structure.
  • the flight control section of this imaging system is characterized by executing the sky imaging step before executing the first imaging step.
  • the first imaging step, the second imaging step, and the sky imaging step described above may be performed in this order, or may be performed in another order.
  • this sky imaging step it is possible to obtain a captured image from the upper side to the lower side of the structure, and also including the surrounding environment of the structure such as peripheral structures existing around the structure.
  • the flying device when the flying device reaches a preset flight condition, the flight of the flying device and the imaging of the structure executed by the flying device are interrupted, and the flight of the structure is stopped.
  • the flight device returns to the stored position on the structure when the flight condition is canceled, and the orbiting flight and the imaging of the structure are started from the position on the returned structure. I am trying.
  • the imaging method according to the present invention is an imaging method for imaging a structure elongated in the up-down direction by a camera mounted in the flight device, in which the flight device moves from the upper side to the lower side of the structure.
  • the flight device flies around the structure and displaces the camera below the structure to change the imaging angle of the camera in the first imaging step.
  • a second imaging step of imaging a structure is an imaging method for imaging a structure elongated in the up-down direction by a camera mounted in the flight device, in which the flight device moves from the upper side to the lower side of the structure.
  • FIGS. 1 to 16 An imaging system according to an embodiment of the present invention will be described based on FIGS. 1 to 16.
  • the structure imaged by the imaging system is a steel tower, tower, high-rise building, etc. that is vertically long and stands upright on the ground will be described as an example.
  • FIG. 1 is a diagram for explaining the outline of the configuration of the imaging system according to the present embodiment.
  • the imaging system 10 includes a flight device 20 and a server 30 communicably connected to the flight device 20 via a communication network 40.
  • the imaging system 10 creates a three-dimensional model of the steel tower 1 based on a plurality of picked-up images of the tower 1 picked up by the flight device 20, analyzes the picked-up image to detect an abnormal point, and detects the detected abnormal point. Is to be mapped on a three-dimensional model.
  • FIG. 2 is a block diagram illustrating the hardware configuration of the flight device 20 according to this embodiment.
  • the flight device 20 includes a transmission / reception unit 21, a flight controller 22 connected to the transmission / reception unit 21, a battery 23 that supplies power via the flight controller 22, and a speed control unit (Electronic) controlled by the flight controller 22. It is provided with a Speed Controller (ESC) 24, a motor 25, and four propellers 26 driven by the motor 25.
  • ESC Speed Controller
  • the flight device 10 includes a camera 27 fixed to the airframe to take a picture of a part or the whole of the steel tower 1.
  • the transmission / reception unit 21 is a communication interface configured to transmit / receive data from a plurality of external devices such as a transceiver (propo), an information terminal, a display device, or another remote controller, and is used in the present embodiment. In the form, it mainly communicates with the server 30.
  • the transmission / reception unit 21 is, for example, a local area network (Local Area Network: LAN), a wide area network (Wide Area Network: WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication. , And so on.
  • LAN Local Area Network
  • WAN Wide Area Network
  • P2P point-to-point
  • the transmission / reception unit 21 executes transmission / reception of various data such as various kinds of acquired data, processing results generated by the flight controller 22, various kinds of control data, user commands from a terminal or a remote controller.
  • the flight controller 22 includes a processor 22A, a memory 22B, and sensors 22C as main components.
  • the processor 22A is composed of, for example, a CPU (Central Processing Unit), controls the operation of the flight controller 22, controls the transmission and reception of data between each element, and performs the processing necessary for executing the program. ..
  • a CPU Central Processing Unit
  • the memory 22B includes a main storage device configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage device configured by a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). ..
  • a volatile storage device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary storage device configured by a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). ..
  • the memory 22B is used as a work area of the processor 22A, and also stores various setting information such as logic, code, or program instructions executable by the flight controller 22.
  • the data acquired from the camera 27, the sensors 22C and the like may be directly transmitted to and stored in the memory 22B.
  • the sensors 22C are composed of a GPS sensor 22Ca that receives radio waves from GPS satellites, an atmospheric pressure sensor 22Cb that measures atmospheric pressure, a temperature sensor 22Cc that measures temperature, and an acceleration sensor 22Cd.
  • the camera 27 can change the image capturing angle by the gimbal according to the image capturing direction of the steel tower 1.
  • an RGB image capturing visible light is captured.
  • a thermal image capturing infrared rays may be captured, or both the RGB image and the thermal image may be captured simultaneously or sequentially.
  • FIG. 3 is a block diagram illustrating the software configuration of the flight controller 22 of the flight device 20 according to the present embodiment.
  • the flight controller 22 includes an instruction receiving unit 22Ba, a body control unit 22Bb, a position / orientation information acquisition unit 22Bc, an imaging processing unit 22Bd, an imaging information transmission unit 22Be, a position / orientation information storage unit 22Bf, and an imaging information storage unit 22Bg. Equipped with.
  • the instruction receiving unit 22Ba, the machine body control unit 22Bb, the position / orientation information acquisition unit 22Bc, the imaging processing unit 22Bd, and the imaging information transmission unit 22Be are realized by the processor 22A executing a program stored in the memory 22B.
  • the position / orientation information storage unit 22Bf and the imaging information storage unit 22Bg are realized as storage areas provided by the memory 22B.
  • the instruction receiving unit 22Ba receives various commands instructing the operation of the flying device 20 (hereinafter, referred to as "flight operation command").
  • flight operation command is received from the server 30 in the present embodiment, the flight operation command may be received from a transceiver such as a radio transmitter.
  • the machine body control unit 22Bb controls the operation of the flying device 20 according to the flight operation command received by the instruction receiving unit 22Ba, and has, for example, 6 degrees of freedom (translational motion x, y, and A motor 25 is controlled via ESC 24 to adjust z, and the spatial arrangement, velocity, and / or acceleration of flight device 20 having rotational motions ⁇ x, ⁇ y, and ⁇ z).
  • the motor 25 is driven by the control of the airframe control unit 22Bb and the propeller 26 rotates, so that lift force for flying the flying device 20 is generated.
  • the airframe controller 22Bb can also execute various controls so that the flying device 20 can fly autonomously without depending on the flight operation command.
  • the position / orientation information acquisition unit 22Bc acquires information indicating the current position and attitude of the flying device 20 (hereinafter referred to as “position / orientation information”).
  • position / orientation information includes the position of the flying device 20 on the map expressed in latitude and longitude, the flight altitude of the flying device 20, and the inclinations of the x, y, and z axes of the flying device 20. included.
  • the position / orientation information acquisition unit 22Bc calculates the position of the flying device 20 on the map from the radio waves received by the GPS sensor 22Ca from the GPS satellites.
  • the position / orientation information acquisition unit 22Bc is an atmospheric pressure measured by the atmospheric pressure sensor 22Cb before flight (hereinafter referred to as “reference atmospheric pressure”) and an atmospheric pressure measured by the atmospheric pressure sensor 22Cb during flight (hereinafter referred to as “current atmospheric pressure”). ) And the air temperature measured by the temperature sensor 22Cc during flight, the flight altitude of the flight device 20 is calculated.
  • the position / orientation information acquisition unit 22Bc determines the attitude of the flying device 20 based on the output from the acceleration sensor 22Cd, and determines the optical axis (viewpoint axis) of the camera 27 from the attitude of the flying device 20.
  • the position of the flying device 20 on the map, the flight altitude of the flying device 20, and the attitude of the flying device 20 (the inclination of the optical axis of the camera 27) are stored in the position / orientation information storage unit 22Bf.
  • the image capturing processing unit 22Bd controls the camera 27 to capture an image of part or all of the steel tower 1, and acquires a captured image captured by the camera 27.
  • the image pickup processing unit 22Bd takes an image at a preset timing, and it is possible to take an image at an arbitrarily designated time such as 5 seconds or 30 seconds. is there.
  • the image capturing may be performed based on the instruction from the server 30.
  • the acquired imaged image is acquired by the image capturing processing unit 22Bd from the image capturing date / time, the latitude / longitude (image capturing position) on the map of the flight device 20 at the time of image capturing, the flight altitude (image capturing altitude) of the flight device 20 at the time of image capturing, Imaging information is generated by associating the orientation (the inclination of the optical axis of the camera 27), and this imaging information is stored in the imaging information storage unit 22Bg.
  • the imaging information transmission unit 22Be transmits the image captured by the camera 27 to the server 30.
  • image pickup information in which the image pickup date and time, the image pickup position, the image pickup height, and the tilt are associated with the picked up image is transmitted to the server 30.
  • FIG. 4 is a block diagram illustrating the hardware configuration of the server 30 according to this embodiment.
  • the server 30 includes a CPU 31, a memory 32, a storage device 33, a communication device 34, an input device 35, and an output device 36.
  • the CPU 31 controls the operation of the server 30, controls transmission / reception of data between the respective elements configuring the server 30, and performs processing necessary for executing programs.
  • the memory 32 includes a main storage device composed of a volatile storage device such as a DRAM and an auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD.
  • the storage device 33 is a storage medium that stores various types of data and programs, and is implemented by, for example, an HDD, SSD (Solid State Drive), flash memory, or the like.
  • the communication device 34 communicates with other devices via the communication network 40, and in the present embodiment, communicates with the flight device 20.
  • the communication device 34 is, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone line network, a wireless communication device for performing wireless communication, a USB connector for serial communication, or an RS232C connector. It is composed by including.
  • the input device 35 is an interface capable of inputting data, such as a keyboard, a mouse, a touch panel, buttons, and a microphone
  • the output device 36 is capable of outputting data, such as a display, a printer, and a speaker. It is a possible device. ..
  • FIG. 5 is a block diagram illustrating the software configuration of the server 30 according to this embodiment.
  • the server 30 includes a flight control unit 33A, an imaging information receiving unit 33B, a three-dimensional model creating unit 33C, an abnormality detecting unit 33D, a three-dimensional model display unit 33E, a captured image display unit 33F, and an imaging information storage unit 33G.
  • a three-dimensional model storage unit 33H and an abnormality information storage unit 33I is a flight control unit 33A, an imaging information receiving unit 33B, a three-dimensional model creating unit 33C, an abnormality detecting unit 33D, a three-dimensional model display unit 33E, a captured image display unit 33F, and an imaging information storage unit 33G.
  • a three-dimensional model storage unit 33H and an abnormality information storage unit 33I is an abnormality information storage unit 33I.
  • the CPU 31 included in the server 30 is stored in the storage device 33. It is realized by reading the stored program into the memory 32 and executing it.
  • the imaging information storage unit 33G, the three-dimensional model storage unit 33H, and the abnormality information storage unit 33I are realized as a part of the storage area provided by the storage device 33 included in the server 30.
  • the flight control unit 33A is a module that controls the flight of the flight device 20, and in the present embodiment, the flight device 20 is controlled based on a preset program (data) regarding autonomous flight of the flight device 20. Let it fly autonomously. The outline of the processing in the flight control unit 33A will be described later.
  • the imaging information receiving unit 33B receives the imaging information transmitted from the flying device 20 and stores the received imaging information in the imaging information storage unit 33G.
  • the three-dimensional model creation unit 33C creates a three-dimensional model that represents a three-dimensional structure from a plurality of captured images.
  • the world coordinate system of the three-dimensional model is latitude and longitude.
  • the altitude, and the imaging position, the imaging altitude, and the tilt of the optical axis included in the imaging information can indicate the position of the camera 27 in the world coordinate system and the viewpoint direction.
  • the three-dimensional model creation unit 33C extracts feature points from the image data included in the imaging information, and the feature points extracted from the plurality of image data based on the imaging position, the imaging altitude, and the tilt included in the imaging information. To obtain a three-dimensional point cloud in the world coordinate system, which is also called a point cloud.
  • the three-dimensional model (three-dimensional point cloud in this embodiment) created in this way is stored in the three-dimensional model storage unit 33H.
  • the abnormality detection unit 33D analyzes an image captured by the flight device 20 to detect an abnormality in the tower 1.
  • an abnormality is determined based on a captured image captured by the flight device 20, or an image of the steel tower 1 in a normal state and a captured image are acquired.
  • the abnormality of the steel tower 1 is detected by using a method such as comparing the above to determine an abnormality.
  • the abnormality detection unit 33D specifies the position of the world coordinate system with respect to the detected abnormal portion on the captured image.
  • an image obtained when an image is taken in the direction indicated by the tilt included in the imaging information from a camera installed at the imaging position and the imaging altitude included in the imaging information The position on the specified image is determined, and whether or not this position constitutes an abnormal place is determined by whether or not the position on the specified image is included in the area detected as the abnormal place.
  • the coordinates of are specified as the position of the abnormal place.
  • abnormality information Information on the detected abnormality (hereinafter, referred to as “abnormality information”) is stored in the abnormality information storage unit 33I.
  • the three-dimensional model display unit 33E displays an image obtained by projecting the three-dimensional model created by the three-dimensional model creation unit 33C on a plane (hereinafter referred to as "three-dimensional projection image"). May be displayed using a point cloud (point cloud data), or the captured image may be mapped to a three-dimensional model.
  • the captured image display unit 33F displays the captured image on a display connected to the server 30, for example.
  • FIG. 6 is a block diagram illustrating an outline of processing executed by the flight control unit 33A according to the present embodiment. As illustrated, the flight control unit 33A executes the sky imaging step S1, the first imaging step S2, the second imaging step S3, and the flight condition processing step S4 based on a preset flight program.
  • FIG. 7 is a diagram for explaining the outline of the sky imaging step S1.
  • the flight device 20 makes a plurality of orbits over the tower 1 while maintaining a constant height position from the ground surface E based on a preset flight program.
  • the camera 27 images the tower 1.
  • the flight device 20 is set to execute, for example, the first orbiting flight indicated by the flight trajectory f1 to the third orbiting flight indicated by the flight trajectory f3, and performs a plurality of orbiting flights. When performing, it is set to image the tower 1 while changing the imaging angle of the camera 27 with the gimbal.
  • the flying device 20 performs the first orbiting flight indicated by the flight trajectory f1 and, after the first orbiting flight, widens the orbiting radius with respect to the first orbiting flight.
  • the orbiting flight f3 in which the orbiting flight is expanded with respect to the second orbiting flight It is set so as to shift to the third orbiting flight shown (orbiting flight setting S1a).
  • the camera 27 is positioned by the gimbal at a position where the camera 27 of the flying device 20 can image the upper side of the steel tower 1 at the time of the first orbiting flight, and the second time
  • the camera 27 of the flight device 20 is displaced below the steel tower 1 by the gimbal to change the imaging angle of the steel tower 1 by the camera 27, and the camera is positioned at a position where the middle part of the steel tower 1 is imaged.
  • the camera 27 of the flight device 20 is displaced further below the tower 1 by the gimbal to change the imaging angle of the tower 1 by the camera 27, and the lower side of the tower 1 is imaged. Is set to be performed (imaging angle setting S1b).
  • the imaging angle when the imaging angle of the tower 1 is changed by the camera 27, the imaging angle is set so that at least a part of the imaging area is continuously overlapped in the vertical direction of the tower 1.
  • the imaging interval when the flight device 20 takes an image of the tower 1 with the camera 27 while flying around the tower 1 is such that at least a part of the imaging regions overlap in the orbiting direction. Is set to (imaging interval setting S1c).
  • the surrounding environment of the steel tower 1 such as trees 2 and houses 3, which are peripheral structures existing around the steel tower 1 from the upper side to the lower side of the steel tower 1, is acquired as a captured image.
  • FIG. 8 is a diagram for explaining the outline of the first imaging step S2.
  • the first imaging step S2 is executed subsequent to the sky imaging step S1 and, as shown in the figure, the flight device 20 moves downward from the upper side of the steel tower 1 to the lower limit position based on a preset flight program. While descending to L, it flies around the tower 1 and at this time, the camera 27 takes an image of the tower 1.
  • the flight device 20 performs the orbiting flight indicated by the flight trajectory f4 to the orbiting flight indicated by the flight trajectory f10 while descending from the upper side to the lower side of the steel tower 1 to the lower descent lower limit position L.
  • the camera 27 fixed to the gimbal at an arbitrary image capturing angle is used to capture an image of the steel tower 1 when the orbiting flight is performed.
  • the lower limit lower limit position L is set to the height position of the peripheral structure having the highest height position among the trees 2 and the houses 3 which are the peripheral structures existing around the steel tower 2. , An arbitrary distance d1 is added and set in the height direction (lower limit lower limit position setting S2a).
  • the interval in the up-down direction in the tower 1 at the time of transitioning to the next orbital flight before the orbital flight is such that the flight device 20 orbits around the tower 1 while descending from the upper side to the lower side of the tower 1.
  • the intervals are set such that at least a part of the imaging regions overlaps each other in the vertical direction so that continuous imaging can be performed (circling flight setting S2b).
  • the camera 27 moves downward of the tower 1 with respect to the height position of the tower 1 corresponding to the flight altitude when the flying device 20 makes a round flight indicated by the flight trajectory f4, for example. It is positioned and is set to be fixed by the gimbal in this state (imaging angle setting S2c).
  • the image capturing angle is an angle formed by the center of the captured image and the upper end of the captured image, and is set to an optimal angle calculated according to the situation in the present embodiment. Accordingly, when unnecessary information exists when creating a three-dimensional model such as a cloud floating above the tower 1 above the frame of the captured image captured in the first imaging step S2, It is possible to prevent unnecessary information from being reflected in the frame of the captured image.
  • the imaging interval when the flight device 20 takes an image of the tower 1 with the camera 27 while flying around the tower 1 is such that at least a part of the imaging regions overlaps in the orbiting direction. Is set to (imaging interval setting S2d).
  • FIG. 9 is a diagram illustrating an outline of the second imaging step S3.
  • the second imaging step S3 is executed when the flying device 20 descends to the lower descent lower limit position L in the first imaging step S1.
  • the flight device 20 flies a plurality of times around the tower 1 at the lower limit lower limit position L based on a preset flight program, and at this time, the camera 27 takes the tower. 1 is imaged.
  • the flying device 20 is set to perform the round flight shown by the flight locus f11 to the round flight shown by the flight locus f14 at the lower limit position L, for example. (Orbital flight setting S3a).
  • the camera 27 of the flying device 20 is displaced downward from the position positioned in the first imaging step S2 by the gimbal, and the camera 27 is moved.
  • the imaging angle of the steel tower 1 is changed so that the steel tower 1 is positioned in the imaging direction a1.
  • the camera 27 of the flying device 20 is displaced further downward from the imaging direction a1 by the gimbal to change the imaging angle of the tower 1 by the camera 27. Then, it is set so as to be positioned at a position in the imaging direction a2.
  • the camera 27 of the flying device 20 is displaced further downward from the imaging direction a2 by the gimbal to change the imaging angle of the tower 1 by the camera 27. Then, it is set so as to be positioned at the position in the imaging direction a3.
  • the camera 27 of the flight device 20 is displaced further downward from the imaging direction a3 by the gimbal, and the imaging angle of the tower 1 by the camera 27 is changed. It is set so as to be changed and positioned at a position in the imaging direction a4.
  • the imaging angle of the steel tower 1 by the camera 27 when the imaging angle of the steel tower 1 by the camera 27 is set to be changed to the imaging directions a1 to a4, at least a part of the imaging area is continuously overlapped in the vertical direction of the steel tower 1.
  • the image capturing angle is set so that the image can be captured.
  • the imaging interval when the flight device 20 takes an image of the tower 1 with the camera 27 while flying around the tower 1 is such that at least a part of the imaging regions overlaps in the orbiting direction. Is set to (imaging interval setting S3c).
  • FIG. 10 is a diagram for explaining the outline of the first imaging step S2 and the second imaging step S3.
  • the flight device 20 goes around the tower 1 and flies around the flight track f4 to f10.
  • the area s2 of the air space grasped by the flight trajectories f11 to f14 that fly around the steel tower 1 is the same.
  • the image quality of the captured image captured in the first imaging step S2 and the image quality of the captured image captured in the second imaging step S3 can be made uniform, the quality of the captured image is improved.
  • the flight condition processing step S4 when the flight device 20 reaches a preset flight condition, one of the steps (the sky imaging step S1 and the first imaging step S2) being executed by the flight device 20 when the flight device 20 reaches the preset flight condition.
  • the second imaging step S3) is interrupted, and the position on the tower 1 at which any step is interrupted is stored in the memory (not shown) of the server 30 of the flying device 20.
  • flight condition processing step S4 in the present embodiment, for example, “when the remaining amount of the battery 23 of the flight device 20 reaches 20%” or “the flight time of the flight device 20 exceeds 20 minutes. "When” is set as the flight condition (flight condition setting S4a).
  • the ground surface E on which the steel tower 1 to be imaged is erected is the flyable site E1 in which the flight device 20 is allowed to fly above it. However, if the site is the flyable site E1, it is confirmed whether or not surrounding structures exist around the steel tower 1.
  • the flight device 20 when there are trees 2 and houses 3 which are peripheral structures around the steel tower 1, the flight device 20 is operated to position the flight device 20 at the height of the peripheral structure.
  • the flight altitude of the flight device 20 is adjusted, and the height position of the peripheral structure is acquired based on the flight altitude of the flight device 20 displayed on the operation screen or the like.
  • the flight altitude of the flight device 20 is adjusted so that the flight device 20 is located at the height position of the tower 1, and the height of the tower 1 is adjusted based on the flight altitude of the flight device 20 displayed on the operation screen or the like. Get the position. At this time, if the height of the steel tower 1 is known in advance, the height can be used, but if the height is unknown, the flight device 20 is used as in the present embodiment. You can do that.
  • the height position of the acquired peripheral structure and the height position of the steel tower 1 are input to the server 30 in the present embodiment.
  • the distance from the central position O of the steel tower 1 to the measured corner portion of the steel tower 1 is acquired, and the acquired distance is input to the server 30 as the radius r.
  • the peripheral structure When the height position of the peripheral structure is input to the server 30, as shown in FIG. 12, the peripheral structure is set above the flyable site E1 in the flyable airspace A in which the flying device 20 can fly.
  • the steel tower 1 is modeled into a substantially cylindrical shape surrounding all the side surfaces of the steel tower 1, and the steel tower model M is generated.
  • the flying device 20 is arranged at the center position O of the steel tower 1, the position where the flying device 20 is arranged is acquired by the GPS sensor 22Ca as GPS coordinates, and the acquired GPS coordinates are obtained by the server 30. Entered in.
  • the GPS coordinates input to the server 30 are grasped as coordinates indicating the central position O of the tower 1, and the flight when the flight device 20 autonomously flies above or around the tower 1 is controlled.
  • the flying device 20 cannot be arranged at the central position O of the steel tower 1, the flying device 20 is arranged at a diagonal position of the steel tower 1 in the plane direction, GPS coordinates of the position are acquired, and GPS coordinates are calculated. It is also possible to grasp the center position of the connecting diagonal line as the center position O of the steel tower 1.
  • the setting of the sky imaging step S1 is made.
  • the orbiting flight setting S1a, the imaging angle setting S1b, and the imaging interval setting S1c are performed.
  • the radius of the flight trajectory f3 during the third orbital flight is set to be the height of the tower 1, and the flight device 20 flies over the tower 1.
  • the height position from the surface E was compared to 1.5 times the height of the tower 1 and the height of the tower with a desired height to ensure a safe flying height.
  • the higher time is set to the flight altitude.
  • the orbital flight setting S1a is set to perform three orbital flights, but the number of orbital flights can be set as appropriate, and the radius of the flight trajectory of the orbital flight can be further set. It is also possible to set such that all orbital flights of a plurality of orbits have flight trajectories of the same radius without widening.
  • settings for the first imaging step S2 are made.
  • the orbiting flight setting S2b, the imaging angle setting S2c, and the imaging interval setting S2d are performed.
  • the lowering lower limit position setting S2a is executed by inputting the height position of the peripheral structure to the server 30, so that the labor of setting in the setting of the first imaging step S2 is omitted.
  • the flight device 20 is set to execute the orbiting flight indicated by the flight trajectory f4 to the orbiting flight indicated by the flight trajectory f10 with the flight radius fr added.
  • the flying device 20 in the orbiting flight setting S2b, the flying device 20 is set to perform seven orbiting flights, but the number of orbiting flights can be set appropriately.
  • the flight device 20 in the orbiting flight setting S3a, has the same flight radius fr as the flight radius fr set in the orbiting flight setting S2b in the first imaging step S2. It is set to execute the orbiting flight indicated by the flight trajectory f14.
  • the flight device 20 is set to perform four orbital flights in the orbital flight setting S3a, but the number of orbital flights can be set appropriately.
  • the flight condition processing step S4 is set.
  • the flight condition setting S4a is set, and in the present embodiment, "when the remaining amount of the battery 23 of the flight device 20 reaches 20%" is set as the flight condition. ..
  • the flight control unit 33A causes the sky imaging step S1, the first imaging step S2, and the second imaging step S3. In some cases, the flight condition processing step S4 is executed.
  • the flight device 20 makes a round flight shown by a flight trajectory f1 and the camera 27 is positioned by the gimbal at a position where the upper side of the tower 1 can be imaged.
  • the upper side of the steel tower 1 is imaged by, and the imaging angle of the steel tower 1 by the camera 27 is changed to change the imaging angle of the steel tower 1 by the camera 27 as the orbiting flight indicated by the flight trajectory f2 and the orbiting flight indicated by the flight trajectory f3 are changed. Take an image.
  • the surrounding environment of the steel tower 1 such as the trees 2 and the houses 3, which are the peripheral structures existing around the steel tower 1, is acquired as a captured image. It is possible to create a three-dimensional model that is close to the actual environment of the steel tower 1.
  • the process proceeds to the first imaging step S2.
  • the flight device 20 By performing the first imaging step S2, while descending to the lower limit descent position L, the flight device 20 performs the orbital flight indicated by the flight trajectory f4 to the orbital flight indicated by the flight trajectory f10 from the upper side to the lower side of the tower 1.
  • the steel tower 1 is imaged at the imaging angle of the camera 27 set in the imaging angle setting S2c.
  • the flight condition processing step S4 interrupts the first imaging step S2 executed by the flying device 20 in the orbit flight indicated by the flight trajectory f7, and the tower 1 Imaging is also interrupted.
  • the GPS sensor 22Ca acquires, as GPS coordinates, the position on the steel tower 1 at which the orbiting flight f7 and the imaging of the steel tower 1 are interrupted, and the acquired GPS coordinates are stored in the memory (not shown) of the server 30. To be done.
  • the flying device 20 When the flight condition is canceled, the flying device 20 returns to the position on the tower 1 at which the orbiting flight f7 and the imaging of the tower 1 are interrupted based on the GPS coordinates stored in the memory of the server 30. As shown in FIG. 16, the orbital flight indicated by flight trajectory f8 to the orbital flight indicated by flight trajectory f10 is performed from the position on the restored steel tower 1 and the imaging angle setting S2c is set from the position on the restored steel tower 1. The imaging of the tower 1 is restarted at the captured imaging angle of the camera 27.
  • the process proceeds to the second image capturing step S3.
  • the flight device 20 makes the orbital flight indicated by the flight trajectory f11 or the orbital flight indicated by the flight trajectory f14, and the orbital flight or the flight trajectory f14 indicated by the flight trajectory f11.
  • the imaging angle of the tower 1 by the camera 27 is changed, and the tower 1 is imaged from the positions in the imaging directions a1 to a4.
  • this second imaging step S3 it is possible to capture an image by capturing an image of the steel tower 1 below the lower limit lowering position L at which the flying device 20 cannot descend further.
  • the orbital flight indicated by the flight trajectory f11 to the flight trajectory f14 of the flying device 20 in the second imaging step S3 and the orbital flight indicated by the flight trajectory f10 of the flying device 20 in the first imaging step S2 are the present implementation.
  • the lower limit position L which is the same height position, is executed.
  • the flight device 20 autonomously executes the first imaging step S2 and the second imaging step S3 under the control of the flight control unit 33A of the server 30 of the imaging system 10, the upper side of the tower 1 to the lower side of the tower 1 , Furthermore, the flight device 20 cannot descend further, and an image of the tower 1 below the lower limit lowering position L set based on the height positions of the trees 2 and houses 3 around the tower 1, Imaging can be performed simply and efficiently.
  • the flight control unit 33A continuously executes the sky imaging step S1, the first imaging step S2, and the second imaging step S3, so that peripheral structures such as trees 2 and houses 3 existing around the steel tower 1 It is possible to accurately image all directions of the steel tower 1 including.
  • the present invention is not limited to the above-mentioned embodiments, and various modifications can be made without departing from the spirit of the invention.
  • the structure is the steel tower 1
  • the structure is a vertically long structure, for example, a high-rise apartment, a chimney, an antenna tower, a lighthouse, a windmill, trees, and even a Kannon image. It is also possible to take an image even with the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

【課題】簡便かつ効率的に対象物を撮像することができる撮像システム及び撮像方法を提供する。 【解決手段】飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、飛行装置が自律的に構造物の上側から下側に向かって下降しながら構造物の周囲を周回して飛行して構造物を予め固定された任意の撮像角度においてカメラで撮像する第１撮像ステップと、第１撮像ステップにおいて前飛行装置が構造物の任意の高さ位置に下降した際に高さ位置で飛行装置が構造物の周囲を自律的に周回して飛行してカメラを構造物の下方に変位させて第１撮像ステップにおけるカメラの撮像角度を変更して構造物を撮像する第２撮像ステップと、を実行する飛行制御部を備える。

Description

撮像システム及び撮像方法
　本発明は、撮像システム及び撮像方法、特に、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システム及び撮像方法に関する。
　対象物を高所から観察したり、上空から地上を空撮したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行装置が用いられることがある。特許文献１には、飛行装置に搭載したカメラで対象物を撮像した画像から、三次元の画像を生成することが開示されている。
特開２０１８－１０６３０公報
　ところで、上記の特許文献１のように、飛行装置に搭載したカメラで対象物を撮像する場合は、操作者が飛行装置を操作してカメラで撮像を行うところ、飛行装置の飛行及び飛行装置からの対象物の撮像を自動的に制御することができれば、簡便かつ効率的に対象物を撮像した画像を取得することができる。
　本発明は、上記事情に鑑みてなされたものであり、簡便かつ効率的に対象物を撮像することができる撮像システム及び撮像方法を提供することを課題とするものである。
　上記課題を達成するための、本発明に係る撮像システムは、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、飛行装置が自律的に構造物の上側から下側に向かって下降しながら構造物の周囲を周回して飛行して構造物を予め固定された任意の撮像角度においてカメラで撮像する第１撮像ステップと、第１撮像ステップにおいて飛行装置が構造物の任意の高さ位置に下降した際に高さ位置で飛行装置が構造物の周囲を自律的に周回して飛行してカメラを構造物の下方に変位させて第１撮像ステップにおけるカメラの撮像角度を変更して構造物を撮像する第２撮像ステップと、を実行する飛行制御部を備えることを特徴としている。
　この撮像システムの第２撮像ステップは、飛行装置が構造物の任意の高さ位置で構造物の周囲を複数周回して飛行し、飛行装置が次の周回飛行に移行する際にカメラを構造物の下方に変位させてカメラによる構造物の撮像角度を変更することを特徴としている。
　さらに、撮像システムでは、第１撮像ステップから第２撮像ステップに移行する構造物の任意の高さ位置が構造物の周囲に存在する周辺構造物の高さ位置に基づいて設定されることを特徴としている。
　この撮像システムによれば、飛行制御部の制御によって、飛行装置が自律的に第１撮像ステップ及び第２撮像ステップを実行することから、構造物の上側から下側、さらには飛行装置がそれ以上は下降することができない、構造物の周囲に存在する周辺構造物の高さ位置に基づいて設定された任意の高さ位置の下側の構造物の画像を、簡便かつ効率的に撮像することができる。
　さらに、撮像システムの第１撮像ステップは、カメラが飛行装置の飛行高度に対応する構造物の高さ位置に対して構造物の下方に向かって位置決めされることを特徴としている。
　これにより、第１撮像ステップで撮像される撮像画像のフレームの上側となる位置に不要な情報が存在する場合において、このような不要な情報が撮像画像のフレーム内に写り込むことを抑制することができる。
　この撮像システムでは、構造物の中心位置からの任意の距離を半径とし、半径と構造物の高さとに基づいて、構造物を構造物の全側面を包囲する略円柱形状にモデル化することを特徴としている。
　したがって、構造物が複雑な形状を呈する場合であっても、構造物を簡易な形状で把握できることから、飛行装置による周回飛行の設定を容易に行うことができる。
　この撮像システムでは、第１撮像ステップで飛行装置が構造物の周囲を周回して飛行する飛行軌跡によって把握される空域の面積と第２撮像ステップで飛行装置が構造物の周囲を周回して飛行する飛行軌跡によって把握される空域の面積とが同一となることを特徴としている。
　したがって、第１撮像ステップで撮像される撮像画像の画質と第２撮像ステップで撮像される撮像画像の画質とを均一化することができることから、撮像画像の品質が向上する。
　さらに、この撮像システムの飛行制御部は、飛行装置が構造物の上空を複数周回して飛行し、飛行装置が次の周回飛行に移行する際にカメラを構造物の下方に変位させてカメラによる構造物の撮像角度を変更して構造物を撮像する上空撮像ステップを実行することを特徴としている。
　しかも、この撮像システムの飛行制御部は、第１撮像ステップを実行する前に上空撮像ステップを実行することを特徴としている。しかしながら、上述した第１撮像ステップ、第２撮像ステップ、上空撮像ステップは、この順番に行うこととしてもよいし、他の順番で行うこととしてもよい。
　この上空撮像ステップによって、構造物の上側から下側に亘って、さらに構造物の周囲に存在する周辺構造物といった構造物の周辺環境も含めて撮像画像として取得することができる。
　この撮像システムでは、飛行装置が予め設定された飛行条件に到達した際に飛行装置の周回飛行及び飛行装置によって実行されている構造物の撮像を中断させるとともに周回飛行及び撮像を中断した構造物上の位置を記憶し、飛行条件が解除された際に飛行装置が記憶された構造物上の位置に復帰するとともに復帰した構造物上の位置から周回飛行及び構造物の撮像を開始することを特徴としている。
　上記課題を達成するための、本発明に係る撮像方法は、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像方法において、飛行装置が構造物の上側から下側に向かって下降しながら構造物の周囲を周回して飛行して構造物を予め固定された任意の撮像角度においてカメラで撮像する第１撮像ステップと、第１撮像ステップにおいて飛行装置が構造物の任意の高さ位置に下降した際に高さ位置で飛行装置が構造物の周囲を周回して飛行してカメラを構造物の下方に変位させて第１撮像ステップにおけるカメラの撮像角度を変更して構造物を撮像する第２撮像ステップと、を備えることを特徴としている。
　この発明によれば、構造物の画像を、自律的に飛行する飛行装置を用いて簡便かつ効率的に撮像することができる。
本発明の実施の形態に係る撮像システムの構成の概略を説明する図である。 同じく、本実施の形態に係る飛行装置のハードウェア構成を説明するブロック図である。 同じく、本実施の形態に係る飛行装置のフライトコントローラのソフトウェア構成を説明するブロック図である。 同じく、本実施の形態に係る撮像システムのサーバのハードウェア構成を説明するブロック図である。 同じく、本実施の形態に係る撮像システムのサーバのソフトウェア構成を説明するブロック図である。 同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される処理の概略を説明するブロック図である。 同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される上空撮像ステップの概略を説明する図である。 同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第１撮像ステップの概略を説明する図である。 同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第２撮像ステップの概略を説明する図である。 同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第１撮像ステップ及び第２撮像ステップの概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。 同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
　次に、図１～図１６に基づいて、本発明の実施の形態に係る撮像システムについて説明する。
　なお、本実施の形態において、撮像システムで撮像される構造物が、上下方向に長尺であって地上に立設された鉄塔、タワー、高層建造物等である場合を例として説明する。
　図１は、本実施の形態に係る撮像システムの構成の概略を説明する図である。図示のように、撮像システム１０は、飛行装置２０及び飛行装置２０と通信ネットワーク４０を介して相互に通信可能に接続されるサーバ３０を備える。
　この撮像システム１０は、飛行装置２０によって撮像された鉄塔１の複数の撮像画像に基づいて鉄塔１の三次元モデルを作成するとともに、撮像画像を解析して異常箇所を検出し、検出した異常箇所を三次元モデル上にマッピングするものである。
　図２は、本実施の形態に係る飛行装置２０のハードウェア構成を説明するブロック図である。図示のように、飛行装置２０は、送受信部２１、送受信部２１と接続されるフライトコントローラ２２、フライトコントローラ２２を介して電力を供給するバッテリ２３、フライトコントローラ２２によって制御される速度制御部（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ：ＥＳＣ）２４及びモータ２５、モータ２５によって駆動される４基のプロペラ２６を備える。
　さらに、飛行装置１０は、機体に固定されて鉄塔１の一部または全部を撮影するカメラ２７を備える。
　送受信部２１は、例えば、送受信機（プロポ）や情報端末、表示装置あるいは他の遠隔の制御器といった複数の外部機器からのデータを送受信するように構成された通信インターフェースであって、本実施の形態では、主にサーバ３０と通信を行うものである。
　この送受信部２１は、例えば、ローカルエリアネットワーク（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ：ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ：ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等といった複数の通信網を利用することができる。
　さらに、送受信部２１は、取得した各種のデータ、フライトコントローラ２２が生成した処理結果、各種の制御データ、端末または遠隔の制御器からのユーザコマンド等の複数のデータの送受信を実行する。
　フライトコントローラ２２は、プロセッサ２２Ａ、メモリ２２Ｂ、及びセンサ類２２Ｃを主要構成として備える。
　プロセッサ２２Ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成され、フライトコントローラ２２の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う。
　メモリ２２Ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
　このメモリ２２Ｂは、プロセッサ２２Ａの作業領域として使用される一方、フライトコントローラ２２が実行可能であるロジック、コード、あるいはプログラム命令といった各種の設定情報等が格納される。
　さらに、このメモリ２２Ｂに、カメラ２７やセンサ類２２Ｃ等から取得したデータが直接的に伝達されて記憶されるように構成してもよい。
　センサ類２２Ｃは、本実施の形態では、ＧＰＳ衛星から電波を受信するＧＰＳセンサ２２Ｃａ、大気圧を測定する気圧センサ２２Ｃｂ、温度を測定する温度センサ２２Ｃｃ及び加速度センサ２２Ｃｄによって構成される。
　カメラ２７は、ジンバルによって、鉄塔１を撮像する撮像方向に応じて撮像角度を変更することが可能であって、本実施の形態では、可視光線を捉えたＲＧＢ画像を撮像する。その一方で、赤外線を捉えたサーマル画像を撮像するようにしてもよいし、ＲＧＢ画像とサーマル画像の両方を同時にあるいは順次、撮像するようにしてもよい。
　図３は、本実施の形態に係る飛行装置２０のフライトコントローラ２２のソフトウェア構成を説明するブロック図である。図示のように、フライトコントローラ２２は、指示受信部２２Ｂａ、機体制御部２２Ｂｂ、位置姿勢情報取得部２２Ｂｃ、撮像処理部２２Ｂｄ、撮像情報送信部２２Ｂｅ、位置姿勢情報記憶部２２Ｂｆ及び撮像情報記憶部２２Ｂｇを備える。
　これら指示受信部２２Ｂａ、機体制御部２２Ｂｂ、位置姿勢情報取得部２２Ｂｃ、撮像処理部２２Ｂｄ及び撮像情報送信部２２Ｂｅは、プロセッサ２２Ａがメモリ２２Ｂに格納されているプログラムを実行することにより実現される。
　一方、位置姿勢情報記憶部２２Ｂｆ及び撮像情報記憶部２２Ｂｇは、メモリ２２Ｂの提供する記憶領域として実現される。
　指示受信部２２Ｂａは、飛行装置２０の動作を指示する各種のコマンド（以下、「飛行操作コマンド」という。）を受け付ける。本実施の形態では、サーバ３０から飛行操作コマンドを受信するが、プロポなどの送受信機からの飛行操作コマンドを受信するように構成してもよい。
　機体制御部２２Ｂｂは、本実施の形態では、指示受信部２２Ｂａが受信した飛行操作コマンドに応じて飛行装置２０の動作を制御するものであって、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置２０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ２４を経由してモータ２５を制御する。
　機体制御部２２Ｂｂの制御によりモータ２５が駆動してプロペラ２６が回転することで、飛行装置２０が飛行する揚力が発生する。
　その一方で、機体制御部２２Ｂｂは、飛行操作コマンドによらないで飛行装置２０が自律的に飛行するように各種の制御を実行することもできる。
　位置姿勢情報取得部２２Ｂｃは、飛行装置２０の現在位置及び姿勢を示す情報（以下、「位置姿勢情報」という。）を取得する。本実施の形態では、位置姿勢情報には、緯度・経度で表される飛行装置２０の地図上の位置、飛行装置２０の飛行高度、飛行装置２０のｘ、ｙ、ｚ軸のそれぞれの傾きが含まれる。
　この位置姿勢情報取得部２２Ｂｃは、ＧＰＳセンサ２２ＣａがＧＰＳ衛星から受信した電波から、飛行装置２０の地図上の位置を算出する。
　位置姿勢情報取得部２２Ｂｃは、飛行前に気圧センサ２２Ｃｂにより測定した大気圧（以下、「基準気圧」という。）と飛行中に気圧センサ２２Ｃｂにより測定した大気圧（以下、「現在気圧」という。）との差分と、飛行中に温度センサ２２Ｃｃにより測定した気温とに基づいて、飛行装置２０の飛行高度を算出する。
　さらに、位置姿勢情報取得部２２Ｂｃは、加速度センサ２２Ｃｄからの出力に基づいて、飛行装置２０の姿勢を求めるとともに、飛行装置２０の姿勢からカメラ２７の光軸（視点軸）を決定する。
　これら飛行装置２０の地図上の位置、飛行装置２０の飛行高度、飛行装置２０の姿勢（カメラ２７の光軸の傾き）は、位置姿勢情報記憶部２２Ｂｆに格納される。
　撮像処理部２２Ｂｄは、カメラ２７を制御して鉄塔１の一部または全部を撮像させ、カメラ２７が撮像した撮像画像を取得する。
　この撮像処理部２２Ｂｄは、本実施の形態では、事前に設定されたタイミングで撮像を行うものであり、例えば、５秒、３０秒など任意に指定された時間ごとに撮像を行うことが可能である。一方で、サーバ３０からの指示に基づいて撮像するように構成してもよい。
　取得した撮像画像は、撮像処理部２２Ｂｄによって、撮像日時、撮像時の飛行装置２０の地図上の緯度経度（撮像位置）、撮像時の飛行装置２０の飛行高度（撮像高度）、飛行装置２０の姿勢（カメラ２７の光軸の傾き）が関連づけられることによって撮像情報が生成され、この撮像情報が撮像情報記憶部２２Ｂｇに格納される。
　撮像情報送信部２２Ｂｅは、カメラ２７が撮影した画像をサーバ３０に送信する。本実施の形態では、撮像日時、撮像位置、撮像高度及び傾きを撮像画像に関連づけた撮像情報をサーバ３０に送信する。
　図４は、本実施の形態に係るサーバ３０のハードウェア構成を説明するブロック図である。図示のように、サーバ３０は、ＣＰＵ３１、メモリ３２、記憶装置３３、通信装置３４、入力装置３５及び出力装置３６を備える。
　ＣＰＵ３１は、サーバ３０の動作を制御し、サーバ３０を構成する各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う。
　メモリ３２は、ＤＲＡＭ等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ等の不揮発性記憶装置で構成される補助記憶装置を備える。
　記憶装置３３は、各種のデータやプログラムを記憶する記憶媒体であって、例えばＨＤＤやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、あるいはフラッシュメモリ等によって実装される。
　通信装置３４は、通信ネットワーク４０を介して他の装置と通信を行うものであって、本実施の形態では、飛行装置２０と通信を行う。この通信装置３４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。
　入力装置３５は、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォン等といった、データを入力することが可能なインターフェースであり、出力装置３６は、例えばディスプレイやプリンタ、スピーカ等といった、データを出力することが可能なデバイスである。　
　図５は、本実施の形態に係るサーバ３０のソフトウェア構成を説明するブロック図である。図示のように、サーバ３０は、飛行制御部３３Ａ、撮像情報受信部３３Ｂ、三次元モデル作成部３３Ｃ、異常検出部３３Ｄ、三次元モデル表示部３３Ｅ、撮像画像表示部３３Ｆ、撮像情報記憶部３３Ｇ、三次元モデル記憶部３３Ｈ及び異常情報記憶部３３Ｉを備える。
　これら飛行制御部３３Ａ、撮像情報受信部３３Ｂ、三次元モデル作成部３３Ｃ、異常検出部３３Ｄ、三次元モデル表示部３３Ｅ及び撮像画像表示部３３Ｆは、サーバ３０が備えるＣＰＵ３１が記憶装置３３に記憶されているプログラムをメモリ３２に読み出して実行することにより実現される。
　一方、撮像情報記憶部３３Ｇ、三次元モデル記憶部３３Ｈ及び異常情報記憶部３３Ｉは、サーバ３０の備える記憶装置３３が提供する記憶領域の一部として実現される。
　飛行制御部３３Ａは、飛行装置２０の飛行を制御するモジュールであって、本実施の形態では、予め設定された飛行装置２０の自律的な飛行に関するプログラム（データ）に基づいて、飛行装置２０を自律的に飛行させる。この飛行制御部３３Ａにおける処理の概略については、後述する。
　撮像情報受信部３３Ｂは、飛行装置２０から送信される撮像情報を受信して、受信した撮像情報を撮像情報記憶部３３Ｇに格納する。
　三次元モデル作成部３３Ｃは、複数の撮像画像から三次元の構造体を表現する三次元モデルを作成するものであって、本実施の形態では、三次元モデルのワールド座標系は、緯度、経度および高度で表現され、撮像情報に含まれる撮像位置、撮像高度および光軸の傾きにより、カメラ２７のワールド座標系における位置及び視点方向を示すことができる。
　この三次元モデル作成部３３Ｃでは、撮像情報に含まれている画像データから特徴点を抽出し、撮像情報に含まれる撮像位置、撮像高度及び傾きに基づいて複数の画像データから抽出された特徴点の対応づけを行い、ポイントクラウドとも称されるワールド座標系における三次元点群を取得する。
　このように作成された三次元モデル（本実施の形態では三次元点群）は、三次元モデル記憶部３３Ｈに記憶される。
　異常検出部３３Ｄは、飛行装置２０で撮像した撮像画像を解析して、鉄塔１の異常を検出する。
　具体的には、ニューラルネットワーク等の機械学習により生成された学習済みモデルを用いて、飛行装置２０で撮像した撮像画像に基づいて異常を判定したり、鉄塔１の正常時の画像と撮像画像とを対比して異常を判定したりといった手法を用いて、鉄塔１の異常を検出する。
　この異常検出部３３Ｄは、検出した撮像画像上の異常箇所について、ワールド座標系の位置を特定する。
　例えば、三次元点群に含まれる点のそれぞれについて、撮像情報に含まれている撮像位置および撮像高度に設置したカメラから、撮像情報に含まれている傾きが示す方向に撮像した場合の画像上の位置を特定し、特定した画像上の位置が、異常箇所として検出した領域に含まれているか否かにより、この位置が異常箇所を構成するか否かを判定し、異常箇所を構成する点の座標を異常箇所の位置として特定する。
　このように検出した異常に関する情報（以下、「異常情報」という。）は、異常情報記憶部３３Ｉに記憶される。
　三次元モデル表示部３３Ｅは、三次元モデル作成部３３Ｃが作成した三次元モデルを平面に投影した画像（以下、「三次元投影画像」という。）を表示するものであり、この三次元投影画像を点群（点群データ）を用いて表示するようにしてもよいし、撮像画像を三次元モデルにマッピングしてもよい。
　撮像画像表示部３３Ｆは、例えば、撮像画像をサーバ３０に接続されたディスプレイに表示する。
　図６は、本実施の形態に係る飛行制御部３３Ａで実行される処理の概略を説明するブロック図である。図示のように、飛行制御部３３Ａは、予め設定された飛行プログラムに基づいて、上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３及び飛行条件処理ステップＳ４を実行する。
　図７は、上空撮像ステップＳ１の概略を説明する図である。図示のように、上空撮像ステップＳ１では、予め設定された飛行プログラムに基づいて、地表Ｅからの高さ位置を一定に保持しながら、飛行装置２０が鉄塔１の上空を複数周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
　本実施の形態では、飛行装置２０は、例えば、飛行軌跡ｆ１で示す第１回目の周回飛行乃至飛行軌跡ｆ３で示す第３回目の周回飛行を実行するように設定され、複数周回の周回飛行を行う際にカメラ２７の撮像角度をジンバルで変更しながら鉄塔１を撮像するように設定される。
　この上空撮像ステップＳ１では、飛行装置２０は、飛行軌跡ｆ１で示す第１回目の周回飛行を行い、第１回目の周回飛行の後、第１回目の周回飛行に対して周回する半径を広げて周回飛行する飛行軌跡ｆ２で示す第２回目の周回飛行に移行し、第２回目の周回飛行の後、第２回目の周回飛行に対して周回飛行する半径を広げて周回飛行する飛行軌跡ｆ３で示す第３回目の周回飛行に移行するように設定される（周回飛行の設定Ｓ１ａ）。
　周回飛行の設定と併せて、第１回目の周回飛行の際に飛行装置２０のカメラ２７で鉄塔１の上側を撮像することが可能となる位置にカメラ２７がジンバルで位置決めされ、第２回目の周回飛行の際に飛行装置２０のカメラ２７を鉄塔１の下方にジンバルで変位させてカメラ２７による鉄塔１の撮像角度を変更して、鉄塔１の中腹部分を撮像する位置に位置決めされ、かつ第３回目の周回飛行の際に飛行装置２０のカメラ２７を鉄塔１の更に下方にジンバルで変位させてカメラ２７による鉄塔１の撮像角度を変更して、鉄塔１の下側を撮像する位置に位置決めされるように設定される（撮像角度の設定Ｓ１ｂ）。
　この撮像角度の設定において、カメラ２７による鉄塔１の撮像角度の変更が設定される場合は、撮像領域の少なくとも一部が鉄塔１の上下方向において重なるように連続させて撮像できる撮像角度に設定される。
　一方、飛行装置２０が鉄塔１の上空を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ１ｃ）。
　この上空撮像ステップＳ１では、鉄塔１の上側から下側に亘って、さらに鉄塔１の周囲に存在する周辺構造物である樹木２や家屋３といった鉄塔１の周辺環境が撮像画像として取得される。
　図８は、第１撮像ステップＳ２の概略を説明する図である。この第１撮像ステップＳ２は、上空撮像ステップＳ１に続いて実行され、図示のように、予め設定された飛行プログラムに基づいて、飛行装置２０が鉄塔１の上側から下側に向かって下降下限位置Ｌまで下降しながら鉄塔１の周囲を周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
　本実施の形態では、飛行装置２０は、例えば、鉄塔１の上側から下側に向かって下降下限位置Ｌまで下降する間に、飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行を実行するように設定され、周回飛行を行う際に任意の撮像角度にジンバルで固定されたカメラ２７で鉄塔１を撮像する。
　第１撮像ステップＳ２の実行に際しては、下降下限位置Ｌは、鉄塔２の周囲に存在する周辺構造物である樹木２や家屋３のうち最も高い高さ位置を有する周辺構造物の高さ位置に、任意の距離ｄ１が高さ方向に付加されて設定される（下降下限位置の設定Ｓ２ａ）。
　本実施の形態では、説明の便宜上、樹木２と家屋３との高さ位置が同程度の高さ位置である場合を想定する。
　第１撮像ステップＳ２における、飛行装置２０による飛行軌跡ｆ４で示す周回飛行と飛行軌跡ｆ５で示す周回飛行との鉄塔１の上下方向の間隔、及び飛行軌跡ｆ５で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行までの間で次の周回飛行に移行する際の鉄塔１における上下方向の間隔は、飛行装置２０が鉄塔１の上側から下側に向かって下降しながら鉄塔１の周囲を周回飛行して撮像領域の少なくとも一部が上下方向において重なるように連続させて撮像できる間隔に設定される（周回飛行の設定Ｓ２ｂ）。
　第１撮像ステップＳ２では、カメラ２７は、例えば飛行装置２０が飛行軌跡ｆ４で示す周回飛行を行っている場合の飛行高度に対応する鉄塔１の高さ位置に対して鉄塔１の下方に向かって位置決めされており、この状態においてジンバルで固定されるように設定される（撮像角度の設定Ｓ２ｃ）。
　撮像角度は、撮像画像の中心と撮像画像の上端とがなす角度であって、本実施の形態では状況に応じて算出される最適な角度に設定される。これにより、第１撮像ステップＳ２で撮像される撮像画像のフレームの上側に、例えば鉄塔１の上空に浮遊する雲といった三次元モデルを作成する際に不要な情報が存在する場合において、このような不要な情報が撮像画像のフレーム内に写り込むことを抑制することができる。
　一方、飛行装置２０が鉄塔１の周囲を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ２ｄ）。
　図９は、第２撮像ステップＳ３の概略を説明する図である。この第２撮像ステップＳ３は、第１撮像ステップＳ１において飛行装置２０が下降下限位置Ｌまで下降した際に実行される。
　図示のように、第２撮像ステップＳ３では、予め設定された飛行プログラムに基づいて、飛行装置２０が下降下限位置Ｌで鉄塔１の周囲を複数周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
　この第２撮像ステップＳ３では、飛行装置２０は、例えば、下降下限位置Ｌにおいて、飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行を実行するように設定される。（周回飛行の設定Ｓ３ａ）。
　一方、飛行軌跡ｆ１１で示す周回飛行から飛行軌跡ｆ１２で示す周回飛行に移行する際、及び飛行軌跡ｆ１２で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行までの間で次の周回飛行に移行する際に、カメラ２７の撮像角度をジンバルで変更しながら鉄塔１を撮像するように設定される（撮像角度の設定Ｓ３ｂ）。
　具体的には、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、第１撮像ステップＳ２において位置決めされた位置から下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ１となる位置に位置決めされるように設定されている。
　続いて、飛行装置２０が飛行軌跡ｆ１２で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ１から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ２となる位置に位置決めされるように設定されている。
　続いて、飛行装置２０が飛行軌跡ｆ１３で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ２から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ３となる位置に位置決めされるように設定されている。
　さらに続いて、飛行装置２０が飛行軌跡ｆ１２で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ３から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ４となる位置に位置決めされるように設定されている。
　この撮像角度の設定において、カメラ２７による鉄塔１の撮像角度が撮像方向ａ１～ａ４と変更されるように設定される場合は、撮像領域の少なくとも一部が鉄塔１の上下方向において重なるように連続させて撮像できる撮像角度に設定される。
　一方、飛行装置２０が鉄塔１の周囲を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ３ｃ）。
　図１０は、第１撮像ステップＳ２及び第２撮像ステップＳ３の概略を説明する図である。図示のように、第１撮像ステップＳ２で飛行装置２０が鉄塔１の周囲を周回して飛行する飛行軌跡ｆ４～ｆ１０で把握される空域の面積ｓ１と、第２撮像ステップＳ３で飛行装置２０が鉄塔１の周囲を周回して飛行する飛行軌跡ｆ１１～ｆ１４で把握される空域の面積ｓ２とは、本実施の形態では同一となる。
　したがって、第１撮像ステップＳ２で撮像される撮像画像の画質と第２撮像ステップＳ３で撮像される撮像画像の画質とを均一化することができることから、撮像画像の品質が向上する。
　飛行条件処理ステップＳ４では、飛行装置２０が予め設定された飛行条件に到達した際に、到達した時点において飛行装置２０が実行しているいずれかのステップ（上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３）が中断され、いずれかのステップが中断された鉄塔１上の位置が飛行装置２０のサーバ３０のメモリ（図示せず）に記憶される。
　この飛行条件処理ステップＳ４の実行に際しては、本実施の形態では、例えば「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」、あるいは「飛行装置２０の飛行時間が２０分を超えたとき」等が飛行条件として設定される（飛行条件の設定Ｓ４ａ）。
　次に、図１１～図１６に基づいて、本実施の形態に係る撮像システム１０を用いて鉄塔１を撮像する手順について説明する。
　図１１で示すように、まず、撮像の対象となる鉄塔１が立設されている地表Ｅが、その上空を飛行装置２０が飛行することが許容されている飛行可能敷地Ｅ１であるかを確認し、飛行可能敷地Ｅ１である場合には、鉄塔１の周囲に周辺構造物が存在するか否かを確認する。
　図示のように、鉄塔１の周囲に周辺構造物である樹木２や家屋３等が存在する場合には、飛行装置２０を操作して、周辺構造物の高さ位置に飛行装置２０が位置するように飛行装置２０の飛行高度を調整し、操作画面等に表示される飛行装置２０の飛行高度に基づいて、周辺構造物の高さ位置を取得する。
　同様に、鉄塔１の高さ位置に飛行装置２０が位置するように飛行装置２０の飛行高度を調整し、操作画面等に表示される飛行装置２０の飛行高度に基づいて、鉄塔１の高さ位置を取得する。この際、予め鉄塔１の高さが判明している場合には当該高さを利用することができるが、当該高さが不明な場合には本実施の形態のように飛行装置２０を利用することとすればよい。
　取得された周辺構造物の高さ位置及び鉄塔１の高さ位置は、本実施の形態ではサーバ３０に入力される。
　続いて、図１１で示すように、鉄塔１の中心位置Ｏから測定される鉄塔１の角部までの距離を取得し、この取得した距離が半径ｒとしてサーバ３０に入力される。
　周辺構造物の高さ位置がサーバ３０に入力されると、図１２で示すように、飛行可能敷地Ｅ１の上空に設定される、飛行装置２０が飛行可能な飛行可能空域Ａにおいて、周辺構造物の高さ位置に任意の距離ｄ１が高さ方向に付加された、第１撮像ステップＳ２における下降下限位置Ｌが設定される（下降下限位置の設定Ｓ２ａ）。
　一方、鉄塔１の高さ位置及び半径ｒがサーバ３０に入力されると、鉄塔１が、鉄塔１の全側面を包囲する略円柱形状にモデル化されて、鉄塔モデルＭが生成される。
　これにより、複数の腕金等といった構成部材を有して複雑な形状を呈する鉄塔１を簡易な形状で把握できることから、飛行装置２０による周回飛行の設定を容易に行うことができる。
　続いて、図１３で示すように、飛行装置２０を鉄塔１の中心位置Ｏに配置し、飛行装置２０が配置された位置をＧＰＳセンサ２２ＣａがＧＰＳ座標として取得し、取得したＧＰＳ座標がサーバ３０に入力される。
　サーバ３０に入力されたＧＰＳ座標は、鉄塔１の中心位置Ｏを示す座標として把握され、飛行装置２０が鉄塔１の上空や周囲を自律的に飛行する際の飛行が制御される。
　なお、飛行装置２０を鉄塔１の中心位置Ｏに配置できないような場合は、平面方向における鉄塔１の対角線上の位置に飛行装置２０を配置してその位置のＧＰＳ座標を取得し、ＧＰＳ座標を結ぶ対角線の中心位置を鉄塔１の中心位置Ｏとして把握することも可能である。
　その後、上空撮像ステップＳ１の設定がなされる。上空撮像ステップＳ１の設定では、周回飛行の設定Ｓ１ａ、撮像角度の設定Ｓ１ｂ、及び撮像間隔の設定Ｓ１ｃがなされる。
　本実施の形態では、周回飛行の設定Ｓ１ａにおいて、第３回目の周回飛行の際の飛行軌跡ｆ３の半径が鉄塔１の高さとなるように設定され、飛行装置２０が鉄塔１の上空を飛行する地表Ｅからの高さ位置（飛行高度）が、鉄塔１の高さの１.５倍の高さと鉄塔の高さに安全な飛行高度を確保できる所望の高さを付加した高さとを比較したときの高いほうの高さが飛行高度となるように設定される。
　なお、本実施の形態では、周回飛行の設定Ｓ１ａにおいて、３回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能であり、さらに、周回飛行の飛行軌跡の半径を広げることなく、複数周回の周回飛行が全て同一の半径の飛行軌跡となるように設定することも可能である。
　次に、第１撮像ステップＳ２の設定がなされる。第１撮像ステップＳ２の設定では、周回飛行の設定Ｓ２ｂ、撮像角度の設定Ｓ２ｃ、及び撮像間隔の設定Ｓ２ｄがなされる。
　なお、下降下限位置の設定Ｓ２ａは、周辺構造物の高さ位置がサーバ３０に入力されることによって実行されることから、第１撮像ステップＳ２の設定において設定する手間が省略される。
　本実施の形態では、周回飛行の設定Ｓ２ｂにおいて、図１４で示すように、鉄塔モデルＭの半径Ｍｒに、周回飛行の際に鉄塔１との間で安全な飛行距離を確保できる所望の距離ｄ２を付加した飛行半径ｆｒで、飛行装置２０が飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行を実行するように設定される。
　なお、本実施の形態では、周回飛行の設定Ｓ２ｂにおいて、飛行装置２０が７回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能である。
　次に、第２撮像ステップＳ３の設定がなされる。第２撮像ステップＳ３の設定では、周回飛行の設定Ｓ３ａ、撮像角度の設定Ｓ３ｂ、及び撮像間隔の設定Ｓ３ｃがなされる。
　本実施の形態では、周回飛行の設定Ｓ３ａにおいて、第１撮像ステップＳ２の周回飛行の設定Ｓ２ｂで設定された飛行半径ｆｒと同じ飛行半径ｆｒで、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行を実行するように設定される。
　なお、本実施の形態では、周回飛行の設定Ｓ３ａにおいて、飛行装置２０が４回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能である。
　次に、飛行条件処理ステップＳ４の設定がなされる。飛行条件処理ステップＳ４の設定では、飛行条件の設定Ｓ４ａの設定がなされ、本実施の形態では、「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」が飛行条件として設定される。
　これら上記の各設定がなされることで、飛行プログラムの設定が完了し、設定された飛行プログラムに基づいて、飛行制御部３３Ａによって、上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３、場合によっては飛行条件処理ステップＳ４が実行される。
　図１５で示すように、上空撮像ステップＳ１の実行によって、飛行装置２０が飛行軌跡ｆ１で示す周回飛行をし、鉄塔１の上側を撮像することが可能となる位置にジンバルで位置決めされたカメラ２７で鉄塔１の上側を撮像し、飛行軌跡ｆ２で示す周回飛行及び飛行軌跡ｆ３で示す周回飛行に移行するに従って、カメラ２７による鉄塔１の撮像角度を変更して鉄塔１の中腹部分及び下側を撮像する。
　これにより、鉄塔１の上側から下側に亘って、さらに鉄塔１の周囲に存在する周辺構造物である樹木２や家屋３といった鉄塔１の周辺環境も含めて撮像画像として取得されることから、鉄塔１の実際の環境に近い三次元モデルを作成することができる。
　上空撮像ステップＳ１の完了後、第１撮像ステップＳ２に移行する。第１撮像ステップＳ２の実行によって、下降下限位置Ｌまで下降する間に、鉄塔１の上側から下側に向かって飛行装置２０が飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行をし、周回飛行を行う際に、撮像角度の設定Ｓ２ｃで設定されたカメラ２７の撮像角度で鉄塔１を撮像する。
　ここで、本実施の形態では、飛行装置２０が飛行軌跡ｆ７で示す周回飛行をしている際に、飛行条件の設定Ｓ４ａの設定で設定された飛行条件に到達（「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」）したことから、飛行条件処理ステップＳ４によって、飛行装置２０によって実行されている第１撮像ステップＳ２が飛行軌跡ｆ７で示す周回飛行において中断され、鉄塔１の撮像も中断される。
　このとき、飛行軌跡ｆ７で示す周回飛行及び鉄塔１の撮像を中断した鉄塔１上の位置をＧＰＳセンサ２２ＣａがＧＰＳ座標として取得し、取得したＧＰＳ座標がサーバ３０のメモリ（図示せず）に記憶される。
　その後、飛行装置２０は予め設定された飛行装置２０の帰還位置に帰還し、充電が完了しているバッテリ２３と交換されると、飛行条件が解除される。
　飛行条件が解除されると、飛行装置２０は、サーバ３０のメモリに記憶されたＧＰＳ座標に基づいて、飛行軌跡ｆ７で示す周回飛行及び鉄塔１の撮像を中断した鉄塔１上の位置に復帰し、図１６で示すように、復帰した鉄塔１上の位置から飛行軌跡ｆ８で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行をし、復帰した鉄塔１上の位置から、撮像角度の設定Ｓ２ｃで設定されたカメラ２７の撮像角度で鉄塔１の撮像を再開する。
　飛行装置２０が下降下限位置Ｌまで下降し、第１撮像ステップＳ２か完了すると、第２撮像ステップＳ３に移行する。第２撮像ステップＳ３では、飛行装置２０が下降下限位置Ｌにおいて、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行をし、飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行に移行するに従って、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ１～ａ４となる位置から鉄塔１を撮像する。
　この第２撮像ステップＳ３によって、飛行装置２０がそれ以上は下降することができない下降下限位置Ｌよりも下側の鉄塔１を撮像して、撮像画像を取得することができる。
　この第２撮像ステップＳ３における飛行装置２０の飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行と、第１撮像ステップＳ２における飛行装置２０の飛行軌跡ｆ１０で示す周回飛行とは、本実施の形態では同じ高さ位置である下降下限位置Ｌにおいて実行される。
　このように、撮像システム１０のサーバ３０の飛行制御部３３Ａの制御によって、飛行装置２０が自律的に第１撮像ステップＳ２及び第２撮像ステップＳ３を実行することから、鉄塔１の上側から下側、さらには飛行装置２０がそれ以上は下降することができない、鉄塔１の周囲の樹木２や家屋３の高さ位置に基づいて設定された下降下限位置Ｌの下側の鉄塔１の画像を、簡便かつ効率的に撮像することができる。
　特に、飛行制御部３３Ａによって、上空撮像ステップＳ１、第１撮像ステップＳ２及び第２撮像ステップＳ３が連続して実行されることによって、鉄塔１の周囲に存在する樹木２や家屋３といった周辺構造物を含めて、鉄塔１の全方位を精密に撮像することができる。
　なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、構造物が鉄塔１である場合を説明したが、上下方向に長尺な構造物であれば、例えば高層マンション、煙突、アンテナ塔、灯台、風車、樹木、さらには観音像等でも撮像することが可能である。
１　　鉄塔（構造物）
２　　樹木（周辺構造物）
３　　家屋（周辺構造物）
１０　　撮像システム
２０　　飛行装置
２２　　フライトコントローラ
２２Ｂ　　メモリ
２２Ｃａ　　ＧＰＳセンサ
３０　　サーバ
３３Ａ　　飛行制御部
ｆ１～ｆ１４　　飛行軌跡
Ｌ　　下降下限位置
Ｍ　　鉄塔モデル
Ｏ　　中心位置
ｒ　　半径
Ｓ１　　上空撮像ステップ
Ｓ２　　第１撮像ステップ
Ｓ３　　第２撮像ステップ
Ｓ４　　飛行条件処理ステップ

Claims (10)

  1. 　飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、
    　前記飛行装置が自律的に前記構造物の上側から下側に向かって下降しながら前記構造物の周囲を周回して飛行して前記構造物を予め固定された任意の撮像角度において前記カメラで撮像する第１撮像ステップと、
    　該第１撮像ステップにおいて前記飛行装置が前記構造物の任意の高さ位置に下降した際に該高さ位置で前記飛行装置が前記構造物の周囲を自律的に周回して飛行して前記カメラを前記構造物の下方に変位させて前記第１撮像ステップにおける前記カメラの前記撮像角度を変更して前記構造物を撮像する第２撮像ステップと、
    　を実行する飛行制御部を備えることを特徴とする撮像システム。
  2. 　前記第２撮像ステップは、
    　前記飛行装置が前記構造物の任意の前記高さ位置で前記構造物の周囲を複数周回して飛行し、前記飛行装置が次の周回飛行に移行する際に前記カメラを前記構造物の下方に変位させて前記カメラによる前記構造物の撮像角度を変更することを特徴とする請求項１に記載の撮像システム。
  3. 　前記第１撮像ステップから前記第２撮像ステップに移行する前記構造物の任意の高さ位置が前記構造物の周囲に存在する周辺構造物の高さ位置に基づいて設定されることを特徴とする請求項１または２に記載の撮像システム。
  4. 　前記第１撮像ステップは、
    　前記カメラが前記飛行装置の飛行高度に対応する前記構造物の高さ位置に対して前記構造物の下方に向かって位置決めされることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
  5. 　前記構造物の中心位置からの任意の距離を半径とし、該半径と前記構造物の高さとに基づいて、前記構造物を該構造物の全側面を包囲する略円柱形状にモデル化することを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
  6. 　前記第１撮像ステップで前記飛行装置が前記構造物の周囲を周回して飛行する飛行軌跡によって把握される空域の面積と前記第２撮像ステップで前記飛行装置が前記構造物の周囲を周回して飛行する飛行軌跡によって把握される空域の面積とが同一となることを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
  7. 　前記飛行制御部は、
    　前記飛行装置が前記構造物の上空を複数周回して飛行し、前記飛行装置が次の周回飛行に移行する際に前記カメラを前記構造物の下方に変位させて前記カメラによる前記構造物の撮像角度を変更して前記構造物を撮像する上空撮像ステップを実行することを特徴とする請求項１乃至６のいずれか１項に記載の撮像システム。
  8. 　前記飛行制御部は、
    　前記第１撮像ステップを実行する前に前記上空撮像ステップを実行することを特徴とする請求項７に記載の撮像システム。
  9. 　前記飛行装置が予め設定された飛行条件に到達した際に前記飛行装置の周回飛行及び該飛行装置によって実行されている前記構造物の撮像を中断させるとともに周回飛行及び撮像を中断した前記構造物上の位置を記憶し、前記飛行条件が解除された際に前記飛行装置が記憶された前記構造物上の位置に復帰するとともに復帰した前記構造物上の位置から周回飛行及び前記構造物の撮像を開始することを特徴とする請求項１乃至８のいずれか１項に記載の撮像システム。
  10. 　飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像方法において、
    　前記飛行装置が自律的に前記構造物の上側から下側に向かって下降しながら前記構造物の周囲を周回して飛行して前記構造物を予め固定された任意の撮像角度において前記カメラで撮像する第１撮像ステップと、
    　該第１撮像ステップにおいて前記飛行装置が前記構造物の任意の高さ位置に下降した際に該高さ位置で前記飛行装置が前記構造物の周囲を自律的に周回して飛行して前記カメラを前記構造物の下方に変位させて前記第１撮像ステップにおける前記カメラの前記撮像角度を変更して前記構造物を撮像する第２撮像ステップと、
    　を備えることを特徴とする撮像方法。
PCT/JP2019/040012 2018-10-31 2019-10-10 撮像システム及び撮像方法 WO2020090406A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-204811 2018-10-31
JP2018204811A JP6515367B1 (ja) 2018-10-31 2018-10-31 撮像システム及び撮像方法

Publications (1)

Publication Number Publication Date
WO2020090406A1 true WO2020090406A1 (ja) 2020-05-07

Family

ID=66625595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040012 WO2020090406A1 (ja) 2018-10-31 2019-10-10 撮像システム及び撮像方法

Country Status (2)

Country Link
JP (1) JP6515367B1 (ja)
WO (1) WO2020090406A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020072465A (ja) * 2019-03-19 2020-05-07 株式会社センシンロボティクス 撮像システム及び撮像方法
JP2020201850A (ja) * 2019-06-12 2020-12-17 九州旅客鉄道株式会社 飛行体の制御方法
JP2020201849A (ja) * 2019-06-12 2020-12-17 九州旅客鉄道株式会社 飛行体の制御方法
JP6890156B2 (ja) * 2019-06-20 2021-06-18 ソフトバンク株式会社 画像生成装置、画像生成方法および画像生成プログラム
JP7166225B2 (ja) * 2019-07-08 2022-11-07 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
JP6810498B1 (ja) * 2020-09-01 2021-01-06 株式会社センシンロボティクス 飛行体の飛行経路作成方法及び管理サーバ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186145A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
JP2014186567A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd ３次元点群解析方法
JP2015106840A (ja) * 2013-11-29 2015-06-08 キヤノンマーケティングジャパン株式会社 撮像システム及び撮像システムの撮像方法
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
JP2017138162A (ja) * 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法
WO2018073879A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186145A (ja) * 2007-01-29 2008-08-14 Mitsubishi Electric Corp 空撮画像処理装置および空撮画像処理方法
JP2014186567A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd ３次元点群解析方法
JP2015106840A (ja) * 2013-11-29 2015-06-08 キヤノンマーケティングジャパン株式会社 撮像システム及び撮像システムの撮像方法
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
JP2017138162A (ja) * 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法
WO2018073879A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2020072366A (ja) 2020-05-07
JP6515367B1 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
WO2020090406A1 (ja) 撮像システム及び撮像方法
US10156854B2 (en) UAV and UAV landing control device and method
US10712739B1 (en) Feedback to facilitate control of unmanned aerial vehicles (UAVs)
JP6478329B2 (ja) 構造物の点検システムおよび点検方法
CN109074168B (zh) 无人机的控制方法、设备和无人机
US20190235531A1 (en) Systems and methods for surveillance with a visual marker
CN202494448U (zh) 一种航拍数据同步获取装置
US10725479B2 (en) Aerial vehicle landing method, aerial vehicle, and computer readable storage medium
US11423790B2 (en) Tether management systems and methods
JP2024069229A (ja) 撮像システム及び撮像方法
CN112789672A (zh) 控制和导航系统、姿态优化、映射和定位技术
WO2021168819A1 (zh) 无人机的返航控制方法和设备
CN112363176B (zh) 电梯井道巡检及建模方法、装置和巡检建模系统
JP6611146B1 (ja) 撮像システム及び撮像方法
WO2019093504A1 (ja) ドローンを操作するための端末、方法及びそのためのプログラム
JP6737521B2 (ja) 高さ位置取得システム及び撮像システム、高さ位置取得方法、撮像方法
JP6611152B1 (ja) 撮像システム及び撮像方法
CN112478968B (zh) 电梯井道巡检控制方法、装置、系统和存储介质
US20220221857A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP6611148B1 (ja) 撮像システム及び撮像方法
JP6611149B1 (ja) 撮像システム及び撮像方法
JP6611147B1 (ja) 撮像システム及び撮像方法
WO2021124579A1 (ja) 飛行体の撮像方法及び情報処理装置
US20240329664A1 (en) Automated Pre-Flight Unmanned Aerial Vehicle Inspection
WO2023187891A1 (ja) 判定システム、及び判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879484

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19879484

Country of ref document: EP

Kind code of ref document: A1