WO2024018691A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2024018691A1
WO2024018691A1 PCT/JP2023/012978 JP2023012978W WO2024018691A1 WO 2024018691 A1 WO2024018691 A1 WO 2024018691A1 JP 2023012978 W JP2023012978 W JP 2023012978W WO 2024018691 A1 WO2024018691 A1 WO 2024018691A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
imaging
flight
imaging device
image
Prior art date
Application number
PCT/JP2023/012978
Other languages
English (en)
French (fr)
Inventor
一央 岩見
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024018691A1 publication Critical patent/WO2024018691A1/ja

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the technology of the present disclosure relates to a control device, a control method, and a program.
  • JP 2021-96865A discloses an information processing device that instructs flight control of an aircraft.
  • the information processing device includes a processing section.
  • the processing unit acquires illuminance around the flying object detected by an illuminance sensor included in the flying object, and obtains relational information indicating a relationship between the illuminance and an upper limit value of the flight speed of the flying object.
  • the processing unit derives the upper limit value of the flight speed of the aircraft corresponding to the obtained illuminance based on the related information, and controls the flight speed so that the flight speed is less than or equal to the upper limit value of the flight speed of the aircraft. instruct.
  • JP 2020-50261A discloses an information processing device that instructs flight control of an aircraft.
  • the information processing device includes a processing section.
  • the processing unit acquires information on a shutter speed for imaging by the flying object, and acquires information on a distance in real space per pixel in a captured image taken by the flying object.
  • the processing unit determines the upper limit of the flight speed of the aircraft based on the shutter speed and the distance in real space per pixel, and adjusts the flight speed so that the flight speed is less than or equal to the upper limit of the flight speed of the aircraft. Direct speed control.
  • the map creation unit creates a map of a moving range, which is a range in which a moving object including an imaging device takes pictures while moving.
  • the shape extraction unit extracts shapes existing within the map.
  • the composition setting section sets the composition of an image to be photographed by the imaging device.
  • the route determining unit determines a moving route within a moving range of the moving object based on the shape and composition.
  • Japanese Translation of PCT Publication No. 2018-535487 discloses a method of controlling a movable object.
  • the method includes the steps of: estimating a reference point of the movable object and one or more movement characteristics of the movable object at the reference point based on a target orientation; and generating a movement path of the movable object from the position of the movable object to the reference point based on the plurality of movement characteristics.
  • PCT Publication No. 2019-507924 discloses a system that changes the autonomous flight of an unmanned aircraft.
  • the system includes a first user interface and a second user interface.
  • the first user interface is a first user interface configured to receive a first user input, the first user input providing one or more instructions for autonomous flight of the UAV. do.
  • the second user interface is a second user interface configured to receive a second user input, the second user input generating one or more instructions for modifying autonomous flight of the UAV. provide.
  • the shape generation method includes the step of acquiring information regarding a plurality of imaging positions of an aircraft having a plurality of imaging devices.
  • the shape generation method includes the step of selecting an imaging device to be used for imaging for each of the plurality of imaging positions from among the plurality of imaging devices.
  • the shape generation method includes the step of capturing images at each imaging position using a selected imaging device.
  • the shape generation method includes the step of restoring the shape of the subject based on the captured image for each imaging device.
  • the shape generation method includes a step of synthesizing shapes restored for each imaging device.
  • the step of selecting an imaging device includes the step of selecting at least one imaging device from the plurality of imaging devices based on a proportion of a portion of the imaging region having a predetermined amount of light or less at the imaging position.
  • JP 2019-87073 A describes a moving device for moving from a first position to a second position, a manipulator connected to the moving device, a controller that controls the moving device and the manipulator, and a controller for controlling the moving device.
  • a mobile manipulator is disclosed that includes an environmental acquisition sensor that acquires environmental data in association with a position. The controller moves based on environmental data acquired by the environment acquisition sensor and associated with the destination position or any point on the movement route between the first position and the second position.
  • the device is configured to control at least one of the device and the manipulator.
  • one embodiment of the technology of the present disclosure provides an imaging device that uses a shutter speed that corresponds to the brightness of an imaging target area while moving the first moving body at a moving speed that corresponds to the shutter speed at a target position.
  • a control device that uses a shutter speed that corresponds to the brightness of an imaging target area while moving the first moving body at a moving speed that corresponds to the shutter speed at a target position.
  • a control device that uses a shutter speed that corresponds to the brightness of an imaging target area while moving the first moving body at a moving speed that corresponds to the shutter speed at a target position.
  • a first aspect according to the technology of the present disclosure includes a first processor, and the first processor is configured to move the image capturing apparatus from the target position to the target position at a timing before the first moving body equipped with the image capturing apparatus reaches the target position. Obtaining the brightness of the imaging target area to be imaged, obtaining a shutter speed corresponding to the brightness and a moving speed corresponding to the shutter speed, and moving the first moving body at the moving speed at the target position, This is a control device that causes an imaging device to image a region to be imaged at a shutter speed.
  • a second aspect according to the technology of the present disclosure is that in the control device according to the first aspect, the first processor adjusts brightness based on relationship information representing a relationship between brightness, shutter speed, and movement speed. This is a control device that obtains a corresponding shutter speed and a moving speed that corresponds to the shutter speed.
  • a third aspect according to the technology of the present disclosure is a control device according to the second aspect, which further includes a memory storing related information.
  • a fourth aspect of the technology of the present disclosure is a control device according to any one of the first to third aspects, wherein the brightness is brightness detected from a target position using a sensor. It is a certain control device.
  • a fifth aspect according to the technology of the present disclosure is the control device according to the fourth aspect, in which the sensor is a control device mounted on the second moving body.
  • the target position is set on the moving route, and the brightness is set at a speed higher than the moving speed of the second moving body.
  • the brightness detected while moving along the moving route is the control device.
  • the brightness is determined using an overhead camera that overlooks a subject including an imaging target area. This is the control device that controls the brightness detected.
  • An eighth aspect according to the technology of the present disclosure is a control device according to the seventh aspect, in which the subject is a control device including a plurality of imaging target regions.
  • a ninth aspect of the technology of the present disclosure is the control device according to any one of the first to eighth aspects, wherein the target position is set on a moving route, and the brightness is The control device detects the brightness at a timing before the first moving object starts moving along the moving route.
  • a tenth aspect of the technology of the present disclosure is the control device according to any one of the first to eighth aspects, wherein the target position is set on a moving route, and the brightness is In the control device, the brightness is detected at a timing after the first moving body starts moving along the movement route and before the first moving body reaches the target position.
  • An eleventh aspect according to the technology of the present disclosure is that in the control device according to any one of the first to tenth aspects, a plurality of target positions are set as destinations to which the first moving body moves.
  • the first processor is a control device that causes the imaging device to image the imaging target area at a constant aperture value at a plurality of target positions.
  • a twelfth aspect according to the technology of the present disclosure is a control device according to any one of the first to tenth aspects, in which a plurality of target positions are set as destinations to which the first moving body moves.
  • the first processor is a control device that causes the imaging device to image the imaging target region at an aperture value corresponding to brightness and/or shutter speed for each target position.
  • a thirteenth aspect according to the technology of the present disclosure is a control device according to any one of the first to twelfth aspects, in which a plurality of target positions are set as destinations to which the first moving body moves.
  • the first processor acquires, for each target position, a composite image obtained by causing the imaging device to image the imaging target area, and the composite image is configured such that adjacent composite images partially overlap each other.
  • a control device that is an image to wrap.
  • a fourteenth aspect according to the technology of the present disclosure is a control device according to the thirteenth aspect, further comprising a second processor that generates a composite image by combining adjacent images for composition, and the second processor This is a control device that performs specific processing on a composite image based on the
  • a fifteenth aspect according to the technology of the present disclosure is a control device according to the fourteenth aspect, in which the specific process includes a correction process for correcting the brightness of the composite image.
  • a sixteenth aspect according to the technology of the present disclosure is a control device according to the fifteenth aspect, in which the correction process includes a process of correcting a difference in brightness between images for synthesis.
  • a seventeenth aspect according to the technology of the present disclosure is the control device according to the fifteenth aspect or the sixteenth aspect, wherein the correction process includes a process of correcting the brightness distribution of the composite image based on the brightness distribution. It is a control device.
  • An 18th aspect according to the technology of the present disclosure is that in the control device according to any one of the 14th to 17th aspects, the specifying process is such that the difference in brightness between the imaging target areas is set to a predetermined value.
  • This is a control device that includes notification processing to notify when the limit is exceeded.
  • a nineteenth aspect of the technology of the present disclosure is to obtain the brightness of the imaging target area imaged by the imaging device from the target position at a timing before the first moving body equipped with the imaging device reaches the target position. acquiring a shutter speed corresponding to the brightness and a movement speed corresponding to the shutter speed; and capturing an image with an imaging device at the shutter speed while moving the first moving body at the movement speed at the target position.
  • This is a control method including imaging a target area.
  • a 20th aspect of the technology of the present disclosure acquires the brightness of the imaging target area imaged by the imaging device from the target position at a timing before the first moving body equipped with the imaging device reaches the target position. acquiring a shutter speed corresponding to the brightness and a movement speed corresponding to the shutter speed; and capturing an image with an imaging device at the shutter speed while moving the first moving body at the movement speed at the target position.
  • This is a program for causing a computer to execute processing including capturing an image of a target area.
  • FIG. 2 is a front view showing an example of a plurality of imaging target areas and an imaging system according to the first embodiment.
  • FIG. 1 is a block diagram illustrating an example of the hardware configuration of the flight imaging device according to the first embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration of an imaging device according to a first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration for realizing flight imaging processing according to the first embodiment.
  • FIG. 2 is an explanatory diagram illustrating an example of the operation of a data requesting unit and a brightness obtaining unit according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating an example of the operation of the brightness acquisition section and the imaging condition acquisition section according to the first embodiment.
  • FIG. 1 is a block diagram illustrating an example of the hardware configuration of the flight imaging device according to the first embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration of an imaging device according to a first embodiment.
  • FIG. 2 is a block diagram
  • FIG. 2 is an explanatory diagram illustrating an example of the operation of an imaging condition acquisition unit and a flight speed control unit according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating an example of operations of an imaging condition acquisition unit, an arrival determination unit, and an imaging control unit according to the first embodiment. It is a flowchart which shows an example of the flow of flight imaging processing concerning a 1st embodiment.
  • FIG. 7 is an explanatory diagram illustrating an example of the operation of a data requesting unit and a brightness obtaining unit according to the second embodiment.
  • FIG. 7 is an explanatory diagram illustrating an example of the operation of a data requesting unit and a brightness acquiring unit according to a third embodiment.
  • FIG. 7 is an explanatory diagram illustrating an example of the operation of a data requesting unit and a brightness acquiring unit according to a fourth embodiment.
  • FIG. 7 is a block diagram showing an example of a functional configuration for realizing composite image generation processing according to a fifth embodiment.
  • FIG. 12 is an explanatory diagram illustrating an example of operations of an image synthesis section, a brightness information acquisition section, and a correction processing section according to a fifth embodiment.
  • 13 is a flowchart illustrating an example of the flow of composite image generation processing according to the fifth embodiment.
  • I/F is an abbreviation for "Interface”.
  • RAM is an abbreviation for "Random Access Memory.”
  • CPU is an abbreviation for "Central Processing Unit.”
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • SSD is an abbreviation for “Solid State Drive.”
  • DRAM is an abbreviation for "Dynamic Random Access Memory.”
  • SRAM is an abbreviation for "Static Random Access Memory.”
  • GNSS is an abbreviation for “Global Navigation Satellite System.”
  • GPS is an abbreviation for “Global Positioning System.”
  • LiDAR is an abbreviation for "light detection and ranging.”
  • NVM is an abbreviation for "Non-Volatile Memory.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • FPGA is an abbreviation for “Field-Programmable Gate Array.”
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • RGB is an abbreviation for “Red Green Blue.”
  • CIE is an abbreviation for "Commission Internationale de l'Eclairage”.
  • TPU is an abbreviation for "Tensor Processing Unit”.
  • USB is an abbreviation for "Universal Serial Bus.”
  • SoC is an abbreviation for "System-on-a-Chip.”
  • IC is an abbreviation for "Integrated Circuit.”
  • the term “vertical direction” refers to not only a complete vertical direction but also a vertical direction that is generally accepted in the technical field to which the technology of the present disclosure belongs, and which is within the spirit of the technology of the present disclosure. Refers to the vertical direction, including a certain amount of error.
  • the term “horizontal direction” refers to not only a completely horizontal direction but also a horizontal direction that is generally accepted in the technical field to which the technology of the present disclosure belongs, and which is within the spirit of the technology of the present disclosure. Refers to the horizontal direction, including a degree of error that does not deviate.
  • a quadrilateral refers to a perfect quadrilateral as well as a quadrilateral that is generally accepted in the technical field to which the technology of the present disclosure belongs, to the extent that it does not go against the spirit of the technology of the present disclosure. Refers to a rectangle that includes the error of .
  • vertical means not only completely vertical but also perpendicular to a degree that is generally accepted in the technical field to which the technology of the present disclosure belongs and does not go against the spirit of the technology of the present disclosure. It refers to vertical in the sense of including the error of.
  • constant means not only a complete constant but also a constant that is generally accepted in the technical field to which the technology of the present disclosure belongs, and that does not go against the spirit of the technology of the present disclosure. It refers to a constant in the sense of including the error of.
  • the imaging system S includes a flight imaging device 10 and an overhead camera 160.
  • the flight imaging device 10 has a flight function and an imaging function, and images the wall surface 2A of the object 2 while flying.
  • the wall surface 2A is, for example, a flat surface.
  • a plane refers to a two-dimensional surface (that is, a surface along a two-dimensional direction). Furthermore, in the description of this specification, the concept of "plane" does not include the meaning of mirror surface.
  • the wall surface 2A is a plane defined in the horizontal direction and the vertical direction (that is, a surface extending in the horizontal direction and the vertical direction).
  • the wall surface 2A includes unevenness.
  • the unevenness referred to here includes, for example, unevenness due to the material forming the wall surface 2A, as well as unevenness due to defects and/or defects.
  • the object 2 having the wall surface 2A is a pier provided on a bridge.
  • the piers are made of reinforced concrete, for example.
  • a bridge pier is mentioned here as an example of the target object 2, the target object 2 may be an object other than a bridge pier (for example, a tunnel or a dam).
  • the flight imaging device 10 includes a flying object 20 and an imaging device 60.
  • the flying object 20 is, for example, an unmanned aircraft such as a drone.
  • the flight function of the flight imaging device 10 is realized by the flying object 20.
  • the flying object 20 has a plurality of propellers 42, and flies as the plurality of propellers 42 rotate. Flying the flying object 20 is synonymous with flying the flying imaging device 10.
  • the flying object 20 is an example of a "mobile object" according to the technology of the present disclosure.
  • the imaging device 60 is, for example, a digital camera or a video camera.
  • the imaging function of the flight imaging device 10 is realized by the imaging device 60.
  • the imaging device 60 is mounted on the flying object 20. As an example, the imaging device 60 is provided at the bottom of the flying object 20.
  • the imaging device 60 is an example of an "imaging device" according to the technology of the present disclosure.
  • a flight route 4 is set for the object 2.
  • the flight route 4 is set on a virtual plane facing the wall surface 2A.
  • the flight route 4 is set in a zigzag shape in which a horizontal route extending in the horizontal direction and a vertical route extending in the vertical direction are connected.
  • the flight imaging device 10 stores flight route information 116 (see FIG. 8) indicating a flight route 4 as described later, and responds to a flight instruction signal from a transmitter (not shown) or a base station (not shown), etc. It is possible to autonomously fly the flight route 4 without depending on the vehicle.
  • the flight imaging device 10 By flying along the flight route 4, the flight imaging device 10 moves in a zigzag pattern by alternately repeating movement in the horizontal direction and movement in the vertical direction. A plurality of waypoints 5 are set on the flight route 4. At each waypoint 5, the flight imaging device 10 images the wall surface 2A.
  • the flight route 4 is an example of a "travel route” according to the technology of the present disclosure
  • the waypoint 5 is an example of a "target position" according to the technology of the present disclosure.
  • the flight imaging device 10 autonomously flies the flight route 4
  • the flight imaging device 10 flies the flight route 4 based on a flight instruction signal from a transmitter, a base station, etc. You may fly 4.
  • the flight imaging device 10 sequentially images a plurality of imaging target regions 3 of the wall surface 2A by imaging the wall surface 2A at each waypoint 5. Each imaging target area 3 corresponds to each waypoint 5.
  • the imaging target area 3 is an area determined by the angle of view of the flight imaging device 10. In the example shown in FIG. 1, a rectangular area is shown as an example of the imaging target area 3. In the example shown in FIG. By moving the flight imaging device 10 in a zigzag pattern by alternately repeating movement in the horizontal direction and movement in the vertical direction, a plurality of imaging target areas 3 connected in a zigzag pattern are sequentially imaged.
  • a plurality of images for synthesis 132 are obtained by sequentially capturing images of the plurality of imaging target regions 3 by the imaging device 60.
  • a composite image 130 is generated by combining a plurality of images for composition 132.
  • the plurality of images for synthesis 132 are synthesized such that adjacent images for synthesis 132 partially overlap each other.
  • An example of the composite image 130 is a two-dimensional panoramic image.
  • the two-dimensional panoramic image is just an example, and a three-dimensional image (for example, a three-dimensional panoramic image) is generated as the composite image 130 in the same manner as a two-dimensional panoramic image is generated as the composite image 130. You may also do so.
  • the composite image 130 may be generated each time each composite image 132 from the second frame onward is obtained, or may be generated after a plurality of composite images 132 are obtained for the wall surface 2A. Further, the process of generating the composite image 130 may be executed by the flight imaging device 10, or may be executed by an external device (not shown) communicably connected to the flight imaging device 10. The composite image 130 is used, for example, to inspect or survey the wall surface 2A of the object 2.
  • FIG. 1 shows a mode in which each imaging target area 3 is imaged by the imaging device 60 in a state where the optical axis OA (see FIG. 2) of the imaging device 60 is perpendicular to the wall surface 2A.
  • the following description will be given on the premise that each imaging target area 3 is imaged by the imaging device 60 in a state where the optical axis OA of the imaging device 60 is perpendicular to the wall surface 2A.
  • the plurality of imaging target regions 3 are imaged so that adjacent imaging target regions 3 partially overlap each other.
  • the plurality of imaging target areas 3 are imaged so that the adjacent imaging target areas 3 partially overlap each other, based on the feature points included in the overlapping parts of the adjacent imaging target areas 3. This is to synthesize the synthesis image 132 corresponding to No. 3.
  • partially overlapping of adjacent imaging target regions 3 and partially overlapping of adjacent compositing images 132 may be respectively referred to as "overlap.”
  • the overhead camera 160 is a digital camera or video camera with a wider angle than the imaging device 60.
  • the bird's-eye camera 160 is placed facing the wall surface 2A.
  • the bird's-eye view camera 160 is installed at a position farther from the wall surface 2A than the flight imaging device 10.
  • the bird's-eye camera 160 has an angle of view that allows it to image the entire wall surface 2A.
  • the bird's-eye camera 160 includes an imaging lens, an image sensor, a processor, a storage, a RAM, and the like, although all are not shown in the drawings.
  • the bird's-eye view camera 160 is an example of a "bird's-eye camera" according to the technology of the present disclosure.
  • the flying object 20 includes a flight device 22, an input/output I/F 24, a computer 26, a positioning unit 28, an acceleration sensor 30, and a communication device 32.
  • the computer 26 is an example of a “control device” and a “computer” according to the technology of the present disclosure.
  • the computer 26 includes a processor 34, a storage 36, and a RAM 38.
  • the processor 34, storage 36, and RAM 38 are interconnected via a bus 40, and the bus 40 is connected to the input/output I/F 24. Further, the positioning unit 28, the acceleration sensor 30, and the communication device 32 are also connected to the input/output I/F 24.
  • the processor 34 includes, for example, a CPU, and controls the entire flight imaging device 10. Although an example in which the processor 34 includes a CPU is given here, this is just an example.
  • processor 34 may include a CPU and a GPU. In this case, for example, the GPU operates under the control of the CPU and is responsible for executing image processing.
  • the processor 34 is an example of a "first processor" according to the technology of the present disclosure.
  • the storage 36 is a nonvolatile storage device that stores various programs, various parameters, and the like. Examples of the storage 36 include an HDD and an SSD. Note that the HDD and SSD are just examples, and flash memory, magnetoresistive memory, and/or ferroelectric memory may be used instead of or in conjunction with the HDD and/or SSD. .
  • the RAM 38 is a memory in which information is temporarily stored, and is used by the processor 34 as a work memory. Examples of the RAM 38 include DRAM and/or SRAM.
  • the communication device 32 is connected to the bird's-eye view camera 160 so as to be communicable by wire or wirelessly.
  • the communication device 32 is in charge of exchanging information with the overhead camera 160.
  • the communication device 32 transmits information in response to a request from the processor 34 to the overhead camera 160.
  • the communication device 32 receives data transmitted from the overhead camera 160 and outputs the received data to the processor 34 via the bus 40.
  • the flight device 22 has multiple propellers 42, multiple motors 44, and a motor driver 46.
  • the motor driver 46 is connected to the processor 34 via the input/output I/F 24 and the bus 40. Motor driver 46 individually controls multiple motors 44 according to instructions from processor 34 .
  • the number of multiple motors 44 is the same as the number of multiple propellers 42.
  • a propeller 42 is fixed to the rotating shaft of each motor 44. Each motor 44 rotates a propeller 42 .
  • the aircraft 20 flies as the plurality of propellers 42 rotate. Note that the number of the plurality of propellers 42 (in other words, the number of the plurality of motors 44) provided in the aircraft 20 is four, as an example, but this is just an example, and the number of the plurality of propellers 42 is , for example, there may be three or five or more.
  • the positioning unit 28 is a device that detects the position of the flying object 20.
  • the position of the aircraft 20 is detected using, for example, GNSS (eg, GPS).
  • the positioning unit 28 has a GNSS receiver (not shown).
  • a GNSS receiver receives, for example, radio waves transmitted from multiple satellites.
  • the positioning unit 28 detects the position of the flying object 20 based on the radio waves received by the GNSS receiver, and outputs positioning data 48 (for example, data indicating latitude, longitude, and altitude) according to the detected position. .
  • the acceleration sensor 30 detects the acceleration of the aircraft 20 in the pitch, yaw, and roll axis directions.
  • the acceleration sensor 30 outputs acceleration data 50 corresponding to the acceleration of the flying object 20 in each axial direction.
  • Processor 34 obtains the position of aircraft 20 based on positioning data 48 and/or acceleration data 50.
  • the acceleration sensor 30 may be omitted.
  • positioning unit 28 may be omitted.
  • the processor 34 obtains the position of the flying object 20 based on the positioning data 48, the position in the absolute coordinate system is derived based on the positioning data 48.
  • the processor 34 acquires the imaging position based on the acceleration data 50, the amount of change in position with respect to the reference position defined in the relative coordinate system is derived based on the acceleration data 50.
  • the flying object 20 also includes other devices for detecting the position of the flying object 20 instead of or in addition to the positioning unit 28 and/or the acceleration sensor 30. You can leave it there.
  • Other devices include, for example, a LiDAR scanner, a stereo camera, a magnetic compass, a barometric altimeter, or an ultrasonic sensor.
  • the imaging device 60 includes an imaging lens 62, an aperture 64, an aperture actuator 66, a mechanical shutter 68, a shutter actuator 70, a controller 72, an image sensor 74, and an image sensor driver 76.
  • the controller 72 and the image sensor driver 76 are connected to the processor 34 via the input/output I/F 24 and the bus 40.
  • the imaging lens 62 includes, for example, an objective lens (not shown), a focus lens (not shown), and the like.
  • the imaging device 60 also includes a zoom lens (not shown). The imaging lens 62 is arranged on the object side with respect to the aperture 64, and the zoom lens is arranged between the aperture 64 and the mechanical shutter 68.
  • the aperture actuator 66 has a power transmission mechanism (not shown) and an aperture motor (not shown).
  • the diaphragm 64 has an aperture 64A, and the size of the aperture 64A is variable.
  • the opening 64A is formed by a plurality of blades (not shown).
  • the plurality of blades are connected to a power transmission mechanism.
  • An aperture motor is connected to the power transmission mechanism, and the power transmission mechanism transmits the power of the aperture motor to the plurality of blades.
  • the plurality of blades change the size of the opening 64A by operating in response to power transmitted from the power transmission mechanism.
  • the aperture 64 adjusts exposure by changing the size of the aperture 64A.
  • the aperture value is defined by the size of the aperture 64A.
  • Aperture actuator 66 is connected to controller 72 .
  • the controller 72 is, for example, a device that includes a computer including a CPU, NVM, RAM, and the like. Note that although a computer is illustrated here, this is just one example, and a device including an ASIC, an FPGA, and/or a PLD may also be applied. Further, as the controller 72, for example, a device realized by a combination of a hardware configuration and a software configuration may be used. Controller 72 controls aperture actuator 66 according to instructions from processor 34 .
  • the image sensor 74 includes a photoelectric conversion element 78 and a signal processing circuit 80.
  • the image sensor 74 is, for example, a CMOS image sensor.
  • a CMOS image sensor is exemplified as the image sensor 74, but the technology of the present disclosure is not limited to this.
  • the image sensor 74 may be another type of image sensor such as a CCD image sensor.
  • the technology of the present disclosure is realized.
  • the photoelectric conversion element 78 is connected to the image sensor driver 76.
  • the image sensor driver 76 controls the photoelectric conversion element 78 according to instructions from the processor 34.
  • the photoelectric conversion element 78 has a light receiving surface 78A on which a plurality of pixels (not shown) are provided.
  • the photoelectric conversion element 78 outputs the electrical signals output from the plurality of pixels to the signal processing circuit 80 as image data 82.
  • the signal processing circuit 80 digitizes analog imaging data 82 input from the photoelectric conversion element 78.
  • the signal processing circuit 80 is connected to the input/output I/F 24.
  • the digitized image data 82 is image data representing the composite image 132, and is stored in the storage 36 after being subjected to various processing by the processor 34.
  • the mechanical shutter 68 is, for example, a focal plane shutter, and is arranged between the aperture 64 and the light receiving surface 78A.
  • the mechanical shutter 68 includes a front curtain 68A and a rear curtain 68B.
  • each of the front curtain 68A and the rear curtain 68B includes a plurality of blades (not shown).
  • the front curtain 68A is arranged closer to the subject than the rear curtain 68B.
  • the shutter actuator 70 includes a link mechanism (not shown), a leading curtain solenoid (not shown), and a trailing curtain solenoid (not shown).
  • the front curtain solenoid is a drive source for the front curtain 68A, and is mechanically connected to the front curtain 68A via a link mechanism.
  • the trailing curtain solenoid is a drive source for the trailing curtain 68B, and is mechanically connected to the trailing curtain 68B via a link mechanism.
  • Shutter actuator 70 is connected to controller 72 . Controller 72 controls shutter actuator 70 according to instructions from processor 34 .
  • the front curtain solenoid generates power under the control of the controller 72, and selectively winds up and lowers the front curtain 68A by applying the generated power to the front curtain 68A.
  • the trailing curtain solenoid generates power under the control of the controller 72, and selectively winds up and lowers the trailing curtain 68B by applying the generated power to the trailing curtain 68B.
  • the opening/closing of the front curtain 68A and the opening/closing of the rear curtain 68B are controlled by the processor 34, thereby adjusting the amount of exposure to the image sensor 74.
  • the shutter speed of the mechanical shutter 68 is defined by the time period during which the front curtain 68A and the rear curtain 68B are open.
  • the mechanical shutter 68 may be a lens shutter.
  • the explanation has been given as an example in which the shutter speed of the mechanical shutter 68 is derived and set, this is merely an example.
  • the shutter speed of an electronic shutter for example, an electronic front curtain shutter or a fully electronic shutter
  • a common computer 26 is used for the flying object 20 and the imaging device 60, but the computer 26 is connected to the first computer provided in the flying object 20 and the imaging device 60.
  • the computer may be configured by a second computer installed in the computer.
  • the computer 26 is mounted on the aircraft 20, it may also be mounted on the imaging device 60. Further, the computer 26 may be mounted on a transmitter or a base station.
  • An example of the hardware configuration of the flight imaging device 10 has been described above.
  • the flying object 20 on which the imaging device 60 is mounted reaches the target waypoint 5 (hereinafter referred to as "target waypoint 5")
  • the imaging target area 3 corresponding to the target waypoint 5 is captured by the imaging device.
  • the following technology is assumed as the technology for imaging the camera 60.
  • an area corresponding to the flight position of the aircraft 20 (hereinafter referred to as , referred to as a “flight position corresponding area”) is imaged, and the brightness of the flight position corresponding area is detected based on the image obtained by being imaged. Subsequently, a shutter speed corresponding to the detected brightness and a flight speed corresponding to the shutter speed are calculated. Then, at the target waypoint 5, the imaging target area 3 is imaged by the imaging device 60 at the calculated shutter speed while the flying object 20 is flying at the calculated flight speed.
  • the flight position corresponding area is imaged by the imaging device 60 at a timing before the aircraft 20 reaches the target waypoint 5, and the flight position corresponding area is imaged based on the image obtained by the imaging. Brightness is detected.
  • the flight position corresponding area imaged by the imaging device 60 is an area located in front of the imaging target area 3 corresponding to the target waypoint 5. Therefore, the flight position corresponding area imaged by the imaging device 60 may have a brightness different from that of the imaging target area 3 corresponding to the target waypoint 5.
  • the imaging target area 3 cannot be imaged at a shutter speed corresponding to the brightness of the imaging target area 3.
  • the following method can be considered. That is, when the flying object 20 reaches the target waypoint 5, the flying object 20 is temporarily stopped at the target waypoint 5, and the imaging device 60 images the imaging target area 3 in this state.
  • a possible countermeasure method is to detect the brightness of the imaging target area 3 based on the detected image and calculate the shutter speed corresponding to the detected brightness.
  • the flying object 20 is temporarily stopped at the target waypoint 5
  • the imaging device 60 cannot image the imaging target area 3 while the flying object 20 is flying. Therefore, in the first embodiment, while the flying object 20 is flying at the flight speed corresponding to the shutter speed at the target waypoint 5, the imaging device 60 is directed to the imaging target area at a shutter speed corresponding to the brightness of the imaging target area 3. 3 is imaged.
  • the processor 34 performs flight imaging processing (see FIGS. 4 to 9) described below.
  • a flight imaging program 90 is stored in the storage 36.
  • the processor 34 reads the flight imaging program 90 from the storage 36 and executes the read flight imaging program 90 on the RAM 38.
  • the processor 34 performs flight imaging processing for imaging the imaging target area 3 while the flight imaging device 10 is flying, according to the flight imaging program 90 executed on the RAM 38 .
  • the processor 34 operates as a data requesting section 92, a brightness acquisition section 94, an imaging condition acquisition section 96, a flight speed control section 98, an arrival determination section 100, and an imaging control section 102 according to a flight imaging program 90. This is achieved by
  • the bird's-eye view camera 160 may be used for multiple The entire wall surface 2A including the imaging target area 3 is imaged.
  • an image 162 (hereinafter referred to as "wall surface image 162") including the entire wall surface 2A as an image is obtained.
  • the overhead camera 160 derives the brightness of each imaging target area 3 corresponding to each waypoint 5 based on the wall image 162.
  • the wall image 162 is an RGB image formed by the three primary colors of light
  • the overhead camera 160 generates the image 164 based on the RGB image.
  • the image 164 is an image in which the color space of an RGB image is converted to a color space different from RGB.
  • the image 164 will be referred to as the "converted image 164.”
  • the converted image 164 includes a brightness component indicating the degree of brightness. Examples of the color space of the converted image 164 include Lab color space, Lch color space, and HSV color space.
  • the overhead camera 160 derives the brightness of each imaging target region 3 corresponding to each waypoint 5 based on the brightness component included in the converted image 164.
  • the brightness of the imaging target area 3 may be derived based on a standard light source (for example, D50 or D65) defined by CIE. Further, the brightness of the imaging target region 3 may be a representative value (for example, the lowest value, the highest value, or the center value) of the entire brightness of the imaging target region 3, or the average brightness of the entire imaging target region 3. It can also be a value. Further, the brightness of the imaging target area 3 may be the brightness of the entire imaging target area 3 or the brightness of a part of the imaging target area 3. The brightness of a part of the imaging target area 3 may be the brightness of the center of the imaging target area 3 or may be the brightness of a part of the imaging target area 3 that is different from the central part.
  • a standard light source for example, D50 or D65
  • the brightness of the imaging target region 3 may be a representative value (for example, the lowest value, the highest value, or the center value) of the entire brightness of the imaging target region 3, or the average brightness of the entire imaging target region 3. It can also be a
  • the overhead camera 160 generates information regarding the brightness of each imaging target area 3 corresponding to each waypoint 5 as brightness information 166, and stores the generated brightness information 166.
  • the brightness information 166 is information representing the relationship between a number indicating the order of each waypoint 5 (hereinafter referred to as a "waypoint number") and the brightness of the imaging target area 3.
  • FIG. 5 shows, as an example of the brightness information 166, an example of a specific value of the brightness of the imaging target area 3 corresponding to each waypoint number. Brightness is expressed, for example, by brightness, which indicates the degree of brightness.
  • the data requesting unit 92 transmits a request signal 104 for requesting brightness data 168 to the overhead camera 160 via the communication device 32.
  • the brightness data 168 is data indicating the brightness of the imaging target area 3 corresponding to the target waypoint 5.
  • the request signal 104 includes information indicating the waypoint number corresponding to the target waypoint 5.
  • the overhead camera 160 When the overhead camera 160 receives the request signal 104, it extracts the brightness corresponding to the waypoint number indicated by the request signal 104 from the brightness information 166, and sends brightness data 168 indicating the extracted brightness to the communication device 32. Send to.
  • the waypoint number indicated by the request signal 104 is "NO.1”
  • the brightness data 168 indicating "20” which is the degree of brightness corresponding to "NO.1”
  • the brightness acquisition unit 94 acquires the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness data 168 received by the communication device 32.
  • the brightness acquired by the brightness acquisition unit 94 is the brightness detected at a timing before the flying object 20 starts moving along the flight route 4.
  • a table 110 is stored in the storage 36.
  • the table 110 is an example of "related information" according to the technology of the present disclosure
  • the storage 36 is an example of "memory” according to the technology of the present disclosure.
  • Table 110 has a first table 112 and a second table 114.
  • the first table 112 shows the relationship between brightness, shutter speed, and aperture value
  • the second table 114 shows the relationship between shutter speed and flight speed.
  • FIG. 6 shows examples of specific values of brightness, shutter speed, and aperture value for the first table 112, and examples of specific values of the shutter speed and flight speed for the second table 114.
  • An example is shown.
  • the unit of shutter speed is "second (s)” and the unit of flight speed is "meter per second (m/s)."
  • the shutter speed is set, for example, to a value that allows image blurring that occurs during exposure on the light receiving surface 78A to fall within an allowable range.
  • Image blur is defined, for example, by the moving distance of the image on the light-receiving surface 78A (for example, the moving distance corresponding to the number of pixels).
  • the allowable range is set, for example, based on the image quality required for the composite image 132 (for example, image quality that allows feature points to be identified).
  • the aperture value is set based on brightness and/or shutter speed.
  • the flight speed is set to a value that keeps image blur within an acceptable range for each shutter speed.
  • the table 110 includes a first table 112 and a second table 114, but it may also be a single table showing the relationship between brightness, shutter speed, aperture value, and flight speed.
  • the first table 112 and the second table 114 are stored in the storage 36, and the first relational expression indicating the relationship between brightness, shutter speed, and aperture value is stored in the first table. 112, and a second relational expression indicating the relationship between shutter speed and flight speed may be stored instead of second table 114.
  • the first table 112 stores aperture values that vary depending on brightness and shutter speed, the aperture value may be constant.
  • the imaging condition acquisition unit 96 acquires imaging conditions based on the brightness acquired by the brightness acquisition unit 94.
  • the imaging conditions include shutter speed, aperture value, and flight speed.
  • the imaging condition acquisition unit 96 acquires the shutter speed and aperture value corresponding to the brightness acquired by the brightness acquisition unit 94 based on the first table 112. Further, the imaging condition acquisition unit 96 acquires the flight speed corresponding to the shutter speed acquired based on the first table 112 based on the second table 114.
  • the flight speed control section 98 controls the plurality of motors 44 via the motor driver 46 based on the flight speed acquired by the imaging condition acquisition section 96, thereby controlling the flight object 20.
  • the flight speed is set to the flight speed acquired by the imaging condition acquisition unit 96.
  • the rotational speed of the plurality of propellers 42 is adjusted, and the flight speed of the flying object 20 is set to the flight speed acquired by the imaging condition acquisition unit 96.
  • flight route information 116 indicating flight route 4 is stored in storage 36.
  • the flight route information 116 includes position information indicating the positions of a plurality of waypoints 5 set on the flight route 4.
  • the arrival determination unit 100 acquires the position of the flying object 20 based on the positioning data 48 input from the positioning unit 28 and/or the acceleration data 50 input from the acceleration sensor 30. Then, the arrival determination unit 100 determines whether the aircraft 20 has reached the target waypoint 5 based on the acquired position of the aircraft 20 and the position of the target waypoint 5 indicated by the flight route information 116. judge.
  • the imaging control unit 102 sets the target waypoint to the imaging device 60 using the shutter speed and aperture value acquired by the imaging condition acquisition unit 96.
  • the imaging target area 3 corresponding to No. 5 is imaged.
  • the imaging control unit 102 opens and closes the front curtain 68A and the rear curtain 68B at a time corresponding to the shutter speed acquired by the imaging condition acquisition unit 96 by controlling the shutter actuator 70 via the controller 72. let Furthermore, by controlling the aperture actuator 66 via the controller 72, the size of the aperture 64A of the aperture 64 is adjusted to a size corresponding to the aperture value acquired by the imaging condition acquisition unit 96. Furthermore, the imaging control unit 102 causes the image sensor 74 to output imaging data 82 by controlling the image sensor 74 via the image sensor driver 76 .
  • the imaging data 82 is image data indicating a composite image 132 obtained by imaging the imaging target region 3, and is stored in the storage 36 after being subjected to various processing by the processor 34 (see FIG. 2). .
  • the flight speed of the flying object 20 is maintained at the flight speed acquired by the imaging condition acquisition unit 96 until the imaging target region 3 is imaged by the imaging control unit 102. After the imaging control unit 102 images the imaging target area 3, the flight speed of the flying object 20 remains unchanged until the flight speed is controlled again by the flight speed control unit 98 corresponding to the next target waypoint 5.
  • the flight speed may be changed to a higher flight speed than the flight speed acquired by the condition acquisition unit 96.
  • FIG. 9 shows an example of the flow of flight imaging processing according to the first embodiment.
  • step ST10 the data requesting unit 92 sends a request signal 104 for requesting brightness data 168 indicating the brightness of the imaging target area 3 corresponding to the target waypoint 5. , is transmitted to the bird's-eye camera 160 via the communication device 32 (see FIG. 5). After the process of step ST10 is executed, the flight imaging process moves to step ST12.
  • step ST12 the brightness acquisition unit 94 acquires the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness data 168 transmitted from the overhead camera 160 and received by the communication device 32. (See Figure 5). After the process of step ST12 is executed, the flight imaging process moves to step ST14.
  • step ST14 the imaging condition acquisition unit 96 acquires the shutter speed and aperture value corresponding to the brightness acquired in step ST12 based on the first table 112 stored in the storage 36 (see FIG. 6). .
  • the imaging condition acquisition unit 96 also acquires the flight speed corresponding to the shutter speed acquired based on the first table 112 based on the second table 114 stored in the storage 36 (see FIG. 6). After the process of step ST14 is executed, the flight imaging process moves to step ST16.
  • step ST16 the flight speed control unit 98 sets the flight speed of the flying object 20 to the flight speed acquired in step ST14 by controlling the plurality of motors 44 via the motor driver 46 (see FIG. 7). ). Thereby, the rotational speed of the plurality of propellers 42 is adjusted, and the flight speed of the flying object 20 is set to the flight speed acquired in step ST14.
  • step ST18 the flight imaging process moves to step ST18.
  • step ST18 the arrival determination unit 100 acquires the position of the flying object 20 based on the positioning data 48 input from the positioning unit 28 and/or the acceleration data 50 input from the acceleration sensor 30 (see FIG. 8). Then, the arrival determination unit 100 determines whether the aircraft 20 has reached the target waypoint 5 based on the acquired position of the aircraft 20 and the position of the waypoint 5 indicated by the flight route information 116 stored in the storage 36. (See FIG. 8). In step ST18, if the flying object 20 has reached the target waypoint 5, the determination is affirmative and the flight imaging process moves to step ST20. In step ST18, if the flying object 20 has not reached the target waypoint 5, the determination is negative and the flight imaging process executes the process of step ST18 again.
  • step ST20 the imaging control unit 102 causes the imaging device 60 to image the imaging target area 3 corresponding to the target waypoint 5 using the shutter speed and aperture value acquired in step ST14 (see FIG. 8). After the process of step ST20 is executed, the flight imaging process moves to step ST22.
  • step ST22 the processor 34 determines whether a condition for terminating the flight imaging process (termination condition) is satisfied.
  • termination condition is that the imaging device 60 has captured an image of the imaging target area 3 corresponding to the final waypoint 5, or that the user has given an instruction to the flight imaging device 10 to end the flight imaging process. Examples of such conditions include: In step ST22, if the termination condition is not satisfied, the determination is negative and the flight imaging process moves to step ST10. In step ST22, if the termination condition is satisfied, the determination is affirmative and the flight imaging process is terminated.
  • the control method described as the operation of the flight imaging device 10 described above is an example of a "control method" according to the technology of the present disclosure.
  • the processor 34 causes the imaging device 60 to capture an image from the target waypoint 5 at a timing before the flying object 20 reaches the target waypoint 5.
  • the brightness of the imaging target area 3 is acquired (see FIG. 5).
  • the processor 34 also obtains a shutter speed corresponding to the obtained brightness and a flight speed corresponding to the shutter speed (see FIG. 6).
  • the processor 34 causes the imaging device 60 to image the imaging target area 3 at the acquired shutter speed (see FIG. 8) while flying the flying object 20 at the acquired flight speed (see FIG. 7). ). Therefore, at the target waypoint 5, it is possible to cause the imaging device 60 to image the imaging target area 3 at a shutter speed corresponding to the brightness of the imaging target area 3 while flying the flying object 20 at a flight speed corresponding to the shutter speed. can.
  • the processor 34 obtains the shutter speed corresponding to the brightness and the flight speed corresponding to the shutter speed based on the table 110 representing the relationship between brightness, shutter speed, and flight speed (see FIG. 6). ). Therefore, the shutter speed and flight speed predefined by table 110 can be obtained based on brightness.
  • the computer 26 also includes a storage 36 that stores the table 110 (see FIG. 6). Therefore, for example, the shutter speed and flight speed can be obtained based on the table 110 stored in the storage 36 directly connected to the processor 34.
  • the brightness is the brightness detected using the overhead camera 160 (see FIG. 5). Therefore, for example, the brightness of a plurality of imaging target regions 3 can be detected from a position farther from the wall surface 2A than the flying imaging device 10.
  • the bird's-eye camera 160 images the entire wall surface 2A including the plurality of imaging target areas 3 (see FIG. 5). Therefore, for example, the number of times of imaging is reduced compared to the case where the brightness of each imaging target area 3 is detected individually based on images obtained by imaging a plurality of imaging target areas 3 one by one. Therefore, the workability when detecting the brightness of a plurality of imaging target areas 3 can be improved.
  • the brightness is the brightness detected at the timing before the flying object 20 starts flying on the flight route 4 (see FIG. 5).
  • a shutter speed corresponding to the brightness and a flight speed corresponding to the shutter speed are acquired. Therefore, for example, compared to the case where the brightness is detected at the timing when the flight imaging device 10 reaches the target waypoint 5, it is possible to set an appropriate shutter speed and flight speed at the target waypoint 5 (for example, a shutter speed that does not cause image blur). and flight speed) are set, the flight imaging device 10 can be caused to perform imaging.
  • a plurality of waypoints 5 are set on the flight route 4, and the processor 34 sets the imaging device at an aperture value (see FIG. 6) corresponding to the brightness and/or shutter speed for each waypoint 5. 60 to image the imaging target area 3. Therefore, even if the conditions regarding brightness and/or shutter speed differ for each waypoint 5, it is possible to image the imaging target area 3 with an aperture value that corresponds to the brightness and/or shutter speed.
  • the imaging target area 3 is captured by the imaging device 60, thereby obtaining a composite image 132 (see FIG. 8).
  • the composite image 132 is an image in which adjacent composite images 132 partially overlap. Therefore, based on the feature points included in the overlapping portions of the adjacent imaging target regions 3, it is possible to combine the images 132 for composition corresponding to the adjacent imaging target regions 3.
  • the processor 34 may cause the imaging device 60 to image the imaging target area 3 at a constant aperture value at a plurality of waypoints 5. In this case, the process for operating the aperture 64 for each waypoint 5 can be omitted.
  • the bird's-eye camera 160 images the entire wall surface 2A, including the plurality of imaging target areas 3, at a timing before the flying object 20 starts flying along the flight route 4.
  • the timing at which the wall surface 2A is imaged by the bird's-eye camera 160 is different from that in the first embodiment. This will be explained in detail below.
  • the data requesting unit 92 sends the brightness data 168 at a timing after the aircraft 20 starts moving along the flight route 4 and before the aircraft 20 reaches the target waypoint 5.
  • a request signal 104 for making a request is transmitted to the overhead camera 160 via the communication device 32.
  • the brightness data 168 is data indicating the brightness of the imaging target area 3 corresponding to the target waypoint 5.
  • the request signal 104 includes information indicating the waypoint number corresponding to the target waypoint 5.
  • the overhead camera 160 When the overhead camera 160 receives the request signal 104, it images the entire wall surface 2A including the plurality of imaging target areas 3. As a result, a wall image 162 is obtained. Further, the overhead camera 160 converts the wall image 162 into a converted image 164, and derives the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness component included in the converted image 164. The method for deriving the brightness of the imaging target area 3 is the same as in the first embodiment. Then, the overhead camera 160 transmits brightness data 168 indicating the derived brightness to the communication device 32.
  • the bird's-eye camera 160 may extract an image that includes only the imaging target area 3 corresponding to the waypoint number indicated by the request signal 104 from the wall surface image 162 obtained by imaging the entire wall surface 2A. good. Then, the overhead camera 160 converts the extracted image into a converted image 164, and derives the brightness of only the imaging target area 3 corresponding to the target waypoint 5 based on the brightness component included in the converted converted image 164. You may.
  • the overhead camera 160 may image only the imaging target area 3 corresponding to the waypoint number indicated by the request signal 104. Then, the bird's-eye camera 160 converts the image obtained by imaging into a converted image 164, and based on the brightness component included in the converted converted image 164, only the imaging target area 3 corresponding to the target waypoint 5 is used. You may also derive the brightness of .
  • the brightness acquisition unit 94 acquires the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness data 168 received by the communication device 32.
  • the brightness acquired by the brightness acquisition unit 94 is determined by the brightness acquired by the brightness acquisition unit 94 when the flying object 20 reaches the target waypoint 5 after the flying object 20 starts moving along the flight route 4. This is the brightness detected at the previous timing.
  • the shutter speed corresponding to the brightness is determined based on the brightness detected at a timing after the flying object 20 starts moving along the flight route 4 and before the flying object 20 reaches the target waypoint 5. A flight speed corresponding to the shutter speed is obtained.
  • the flight imaging device 10 can be caused to perform imaging.
  • the changed brightness can be detected at a timing before the flying object 20 reaches the target waypoint 5. Can be done. As a result, brightness detection accuracy can be improved, for example, compared to a case where brightness is detected before the flying object 20 starts moving along the flight route 4.
  • the brightness of each imaging target region 3 corresponding to each waypoint 5 is detected based on the wall image 162 obtained by imaging with the overhead camera 160.
  • the third embodiment differs from the first embodiment in the method of detecting the brightness of each imaging target area 3 corresponding to each waypoint 5. This will be explained in detail below.
  • a flight imaging device 210 different from the flight imaging device 10 is used instead of the bird's-eye camera 160.
  • the flight imaging device 10 will be referred to as the "first flight imaging device 10" and the flight imaging device 210 will be referred to as the "second flight imaging device 210.”
  • the second flight imaging device 210 has the same hardware configuration as the first flight imaging device 10. Specifically, the second flight imaging device 210 includes a flying object 220 and an imaging device 260. The flying object 220 has the same configuration as the flying object 20 included in the first flight imaging device 10 , and the imaging device 260 has the same configuration as the imaging device 60 included in the first flight imaging device 10 .
  • the flying object 220 provided in the second flight imaging device 210 is an example of a "second moving object" according to the technology of the present disclosure.
  • the imaging device 260 provided in the second flight imaging device 210 is an example of a "sensor" according to the technology of the present disclosure.
  • the second flight imaging device 210 performs a flight at a timing before the first flight imaging device 10 reaches the target waypoint 5 (for example, a timing before the first flight imaging device 10 starts flying on the flight route 4). While flying along the route 4, each time a waypoint 5 is reached, an image of the imaging target area 3 corresponding to each waypoint 5 is captured. By imaging each imaging target area 3, an image 262 (hereinafter referred to as "imaging target area image 262”) including the imaging target area 3 as an image is obtained.
  • the second flight imaging device 210 flies the flight route 4 at a flight speed higher than the flight speed when the first flight imaging device 10 flies the flight route 4.
  • the flight speed may be calculated, for example, as the average value of the flight speeds from the start to the end of the flight on the flight route 4.
  • the second flight imaging device 210 derives the brightness of each imaging target area 3 corresponding to each waypoint 5 based on the imaging target area image 262 obtained each time the waypoint 5 is reached.
  • the imaging target area image 262 is an RGB image formed by the three primary colors of light
  • the second flying imaging device 210 converts the RGB image into the image 264.
  • the image 264 will be referred to as a "converted image 264.”
  • the converted image 264 is similar to the converted image 164 (see FIG. 5) of the first embodiment.
  • the second flight imaging device 210 derives the brightness of each imaging target region 3 corresponding to each waypoint 5 based on the brightness component included in the converted image 264.
  • the method of deriving the brightness for each imaging target region 3 is the same as in the first embodiment.
  • the second flight imaging device 210 generates information regarding the brightness of each imaging target area 3 corresponding to each waypoint 5 as brightness information 266, and stores the generated brightness information 266.
  • the brightness information 266 is similar to the brightness information 166 (see FIG. 5) of the first embodiment.
  • FIG. 11 shows, as an example of the brightness information 266, an example of a specific brightness value of the imaging target area 3 corresponding to each waypoint number.
  • the data requesting unit 92 transmits a request signal 104 for requesting brightness data 268 to the second flight imaging device 210 via the communication device 32.
  • the brightness data 268 is data indicating the brightness of the imaging target area 3 corresponding to the target waypoint 5.
  • the request signal 104 includes information indicating the waypoint number corresponding to the target waypoint 5.
  • the second flight imaging device 210 When receiving the request signal 104, the second flight imaging device 210 extracts the brightness corresponding to the waypoint number indicated by the request signal 104 from the brightness information 266, and transfers the brightness data 268 indicating the extracted brightness to the second flight imaging device 210. 1 is transmitted to the communication device 32 of the flight imaging device 10.
  • the waypoint number indicated by the request signal 104 is "NO.1”
  • the brightness data 268 indicating "20" which is the degree of brightness corresponding to "NO.1”
  • is the waypoint number indicated by the request signal 104. 2 is transmitted by the flight imaging device 210 to the communication device 32.
  • the brightness acquisition unit 94 acquires the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness data 268 received by the communication device 32.
  • the brightness acquired by the brightness acquisition unit 94 is the brightness detected at the timing before the first flight imaging device 10 starts moving along the flight route 4. be.
  • a shutter speed corresponding to the brightness and a flight speed corresponding to the shutter speed are acquired. Therefore, for example, compared to the case where the brightness is detected at the timing when the flight imaging device 10 reaches the target waypoint 5, it is possible to set an appropriate shutter speed and flight speed at the target waypoint 5 (for example, a shutter speed that does not cause image blur). and flight speed) are set, the flight imaging device 10 can be caused to perform imaging.
  • the brightness acquired by the brightness acquisition unit 94 is the brightness detected from the target waypoint 5 using the imaging device 60 of the second flight imaging device 210. Therefore, for example, brightness detection accuracy can be improved compared to brightness detected using the imaging device 60 from a position farther from the target waypoint 5 with respect to the wall surface 2A.
  • the imaging device 60 is mounted on the second flight imaging device 210. Therefore, the brightness of the imaging target region 3 can be detected at each waypoint 5 while the second flying imaging device 210 is flying.
  • the second flight imaging device 210 flies on the flight route 4 at a higher flight speed than the first flight imaging device 10. Therefore, the time required for the second flight imaging device 210 to fly the flight route 4 can be made shorter than the time required for the first flight imaging device 10 to fly the flight route 4.
  • the imaging device 260 is used to detect the brightness of the imaging target region 3, but an illuminance sensor (not shown) may be used instead of the imaging device 260.
  • the illuminance sensor is an example of a "sensor" according to the technology of the present disclosure.
  • a second flight imaging device 210 that is different from the first flight imaging device 10 is used, but the first flight imaging device 10 is used instead of the second flight imaging device 210.
  • the flying object 20 provided in the first flight imaging device 10 is an example of a "first moving object” and a "second moving object” according to the technology of the present disclosure.
  • the second flight imaging device 210 flies the flight route 4 at a timing before the first flight imaging device 10 starts flying on the flight route 4, and each time the second flight imaging device 210 reaches the waypoint 5. , images the imaging target area 3 corresponding to each waypoint 5.
  • the timing at which the imaging target area 3 corresponding to each waypoint 5 is imaged by the second flight imaging device 210 is different from that in the third embodiment. This will be explained in detail below.
  • the second flying imaging device 210 flies ahead of the first flying imaging device 10.
  • the distance between the centers of the first flight imaging device 10 and the second flight imaging device 210 along the flight route 4 may be set to be shorter than the distance between the centers of adjacent waypoints 5, and The distance may be set to be longer than the distance between points 5.
  • the second flight imaging device 210 flies the flight route 4 in advance of the first flight imaging device 10 and images the imaging target area 3 corresponding to each waypoint 5 each time it reaches a waypoint 5. do. By imaging each imaging target area 3, an imaging target area image 262 is obtained.
  • the second flight imaging device 210 converts the imaging target area image 262 obtained each time it reaches a waypoint 5 into a converted image 264, and corresponds to each waypoint 5 based on the brightness component included in the converted image 264.
  • the brightness of each imaging target area 3 is derived.
  • the method of deriving the brightness for each imaging target region 3 is the same as in the third embodiment.
  • the second flight imaging device 210 generates information regarding the brightness of each imaging target area 3 corresponding to each waypoint 5 as brightness information 266, and stores the generated brightness information 266.
  • Brightness information 266 is the same as in the third embodiment.
  • FIG. 12 shows, as an example of the brightness information 266, an example of a specific brightness value of the imaging target area 3 corresponding to each waypoint number.
  • the data requesting unit 92 requests the brightness data 268 after the first flight imaging device 10 starts moving along the flight route 4 and before the first flight imaging device 10 reaches the target waypoint 5.
  • a request signal 104 is transmitted to the second flight imaging device 210 via the communication device 32.
  • the brightness data 268 is data indicating the brightness of the imaging target area 3 corresponding to the target waypoint 5.
  • the request signal 104 includes information indicating the waypoint number corresponding to the target waypoint 5.
  • the second flight imaging device 210 When receiving the request signal 104, the second flight imaging device 210 extracts the brightness corresponding to the waypoint number indicated by the request signal 104 from the brightness information 266, and transfers the brightness data 268 indicating the extracted brightness to the second flight imaging device 210. 1 is transmitted to the communication device 32 of the flight imaging device 10.
  • the waypoint number indicated by the request signal 104 is "NO.3”
  • the brightness data 268 indicating "60" which is the degree of brightness corresponding to "NO.3” is the waypoint number indicated by the request signal 104. 2 is transmitted by the flight imaging device 210 to the communication device 32.
  • the brightness acquisition unit 94 acquires the brightness of the imaging target area 3 corresponding to the target waypoint 5 based on the brightness data 268 received by the communication device 32.
  • the brightness acquired by the brightness acquisition unit 94 is determined by the brightness acquired by the brightness acquisition unit 94 after the first flight imaging device 10 starts moving along the flight route 4. This is the brightness detected before reaching waypoint 5.
  • the shutter speed corresponding to the brightness is determined based on the brightness detected at a timing after the flying object 20 starts moving along the flight route 4 and before the flying object 20 reaches the target waypoint 5.
  • a flight speed corresponding to the shutter speed is obtained. Therefore, for example, compared to the case where the brightness is detected at the timing when the flight imaging device 10 reaches the target waypoint 5, it is possible to set an appropriate shutter speed and flight speed at the target waypoint 5 (for example, a shutter speed that does not cause image blur). and flight speed) are set, the flight imaging device 10 can be caused to perform imaging.
  • the changed brightness can be detected at a timing before the flying object 20 reaches the target waypoint 5. Can be done. As a result, brightness detection accuracy can be improved, for example, compared to a case where brightness is detected before the flying object 20 starts moving along the flight route 4.
  • a processor 34 included in the flight imaging device 10 obtains a plurality of images for synthesis 132 and generates a synthesized image 130 by synthesizing adjacent images for synthesis 132.
  • the processor 34 also performs correction processing on the composite image 130.
  • the correction process will be specifically described below as a "specific process" according to the technology of the present disclosure.
  • a composite image generation program 120 is stored in the storage 36.
  • the processor 34 reads the composite image generation program 120 from the storage 36 and executes the read composite image generation program 120 on the RAM 38.
  • the processor 34 performs composite image generation processing according to the composite image generation program 120 executed on the RAM 38.
  • the composite image generation process is realized by the processor 34 operating as an image composition section 122, a brightness information acquisition section 124, and a correction processing section 126 according to the composite image generation program 120.
  • the processor 34 is an example of a "second processor" according to the technology of the present disclosure.
  • the image synthesis unit 122 combines adjacent images for synthesis 132 with respect to a plurality of images for synthesis 132 obtained by capturing each imaging target area 3.
  • a composite image 130 is generated.
  • the brightness information acquisition unit 124 acquires brightness information 166 generated by the overhead camera 160.
  • the brightness information 166 is information generated based on the brightness component included in the converted image 164, and calculates the brightness of each imaging target area 3 corresponding to each waypoint 5. This is the information shown.
  • the correction processing unit 126 performs correction processing on the composite image 130 synthesized by the image composition unit 122.
  • the correction process is a process of correcting the brightness of the composite image 130 based on the brightness information 166 acquired by the brightness information acquisition unit 124.
  • the brightness is corrected for areas of the composite image 130 excluding areas indicating feature points.
  • a correction process a process of lowering the brightness of an area of the composite image 130 with the highest brightness (for example, an area where overexposure occurs) is executed. Further, for example, as a correction process, a process of correcting a difference in brightness between adjacent images for synthesis 132 is executed. Further, for example, as a correction process, a process of correcting the difference in brightness between the composite images 132 located at separate positions is executed. Examples of the composite images 132 located at separate positions include composite images 132 or composite images 130 in a positional relationship in which one composite image 132 is placed between composite images 132 located at separate positions. An example of this is the composition image 132 positioned at two of the four corners of the image.
  • An example of the process for correcting the difference in brightness between the images for synthesis 132 is a process for bringing the brightness between the images for synthesis 132 closer together. Further, for example, as a correction process, a process of correcting the brightness distribution of the composite image 130 based on the brightness distribution of the plurality of imaging target areas 3 is executed. Examples of the process for correcting the brightness distribution of the composite image 130 include a process for correcting uneven brightness. The above correction processing is performed on the composite image 130.
  • the correction process is an example of a "specific process” and a "correction process" according to the technology of the present disclosure.
  • the composite image generation process may be executed, for example, after all the composite images 132 are obtained for the wall surface 2A, or may be executed every time the composite images 132 from the second frame onwards are obtained. good.
  • FIG. 15 shows an example of the flow of composite image generation processing according to the fifth embodiment.
  • step ST30 the image composition unit 122 selects adjacent composite images 132 for a plurality of composite images 132 obtained by capturing each imaging target region 3.
  • a composite image 130 is generated by combining images 132.
  • step ST32 the brightness information acquisition unit 124 acquires the brightness information 166 generated by the overhead camera 160. After the process of step ST32 is executed, the composite image generation process moves to step ST34.
  • step ST34 the correction processing unit 126 corrects the brightness of the composite image 130 generated in step ST30 by executing a correction process based on the brightness information 166 acquired in step ST32. As a result, a composite image 130 whose brightness has been corrected is obtained. After the process of step ST34 is executed, the composite image generation process ends.
  • the composite image 130 is generated by combining adjacent composite images 132. Then, the brightness of the composite image 130 is corrected by performing a correction process on the composite image 130 based on the brightness information 166 indicating the brightness of each imaging target area 3. Therefore, for example, it is possible to suppress the appearance of the composite image 130 from worsening due to uneven brightness caused by combining adjacent composite images 132.
  • the correction process includes a process of correcting the difference in brightness between the images for synthesis 132. Therefore, it is possible to obtain a composite image 130 in which the difference in brightness between the composite images 132 is corrected based on the brightness of each imaging target region 3.
  • the correction process includes a process of correcting the brightness distribution of the composite image 130 based on the brightness distribution of the plurality of imaging target areas 3. Therefore, it is possible to obtain a composite image 130 in which the brightness distribution is corrected based on the brightness distribution of the plurality of imaging target regions 3.
  • the composite image generation process is executed in the flight imaging device 10, but it may be executed in an external device (not shown) that is communicably connected to the flight imaging device 10.
  • the specific processing may include a notification process for notifying when the difference in brightness between the imaging target regions 3 exceeds a predetermined value.
  • the default value is set, for example, to the upper limit of the difference in brightness that does not affect when inspecting or surveying the wall surface 2A based on the composite image 130.
  • a process of emitting a warning sound may be executed.
  • the notification process is an example of the "specific process” and the "notification process” according to the technology of the present disclosure. In this way, when the notification process is performed to notify when the difference in brightness between the imaging target areas 3 exceeds the default value, the user etc. are informed that the difference in brightness between the imaging target areas 3 exceeds the default value. It can make you realize that you have surpassed it.
  • the flying imaging device 10 is illustrated as an example of a moving object, but any moving object may be used as long as it moves on a moving route.
  • the moving object include a car, motorcycle, bicycle, trolley, gondola, airplane, flying object, or ship.
  • the plurality of waypoints 5 refers to all the waypoints 5 set on the flight route 4, but some of the waypoints 5 set on the flight route 4 You may point to waypoint 5. Moreover, the number of waypoints 5 may be any number.
  • the waypoint 5 set on the flight route 4 is used as an example of the target position, but a target position that is a position with a different concept from the waypoint 5 may also be used. .
  • the imaging device 60 images the imaging target region 3 in order to obtain the composite image 132, but it may also image the imaging target region 3 for purposes other than obtaining the composite image 132. .
  • the processor 34 is illustrated, but in place of the processor 34 or together with the processor 34, at least one other CPU, at least one GPU, and/or at least one TPU is used. You can do it like this.
  • the flight imaging program 90 and the composite image generation program 120 are stored in the storage 36, but the technology of the present disclosure is not limited to this.
  • the flight imaging program 90 and/or the composite image generation program 120 are stored on a portable, non-transitory, computer-readable storage medium (hereinafter simply referred to as a "non-transitory storage medium") such as an SSD or a USB memory. may have been done.
  • the flight imaging program 90 and/or the composite image generation program 120 stored in a non-transitory storage medium may be installed on the computer 26 of the flight imaging device 10.
  • the flight imaging program 90 and/or the composite image generation program 120 may be stored in a storage device such as another computer or a server device connected to the flight imaging device 10 via a network, and the flight imaging program 90 and/or the composite image generation program 120 may be stored in response to requests from the flight imaging device 10. Accordingly, the flight imaging program 90 and/or the composite image generation program 120 may be downloaded and installed on the computer 26.
  • flight imaging program 90 and/or composite image generation program 120 it is not necessary to store all of the flight imaging program 90 and/or composite image generation program 120 in a storage device such as another computer or server device connected to the flight imaging device 10, or in the storage 36; Part of the program 90 and/or the composite image generation program 120 may be stored.
  • the flight imaging device 10 has a built-in computer 26, the technology of the present disclosure is not limited to this, and for example, the computer 26 may be provided outside the flight imaging device 10.
  • the computer 26 including the processor 34, the storage 36, and the RAM 38 is illustrated, but the technology of the present disclosure is not limited to this, and instead of the computer 26, an ASIC, an FPGA, and/or A device including a PLD may also be applied. Further, instead of the computer 26, a combination of hardware configuration and software configuration may be used.
  • processors can be used as hardware resources for executing the various processes described in the above embodiments.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource that executes various processes by executing software, that is, a program.
  • the processor include a dedicated electronic circuit such as an FPGA, a PLD, or an ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in memory or is connected to it, and each processor uses the memory to perform various processes.
  • Hardware resources that execute various processes may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or a CPU and FPGA). Furthermore, the hardware resource that executes various processes may be one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes various processes.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

制御装置は、第１プロセッサを備える。第１プロセッサは、撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、対象位置から撮像装置によって撮像される撮像対象領域の明るさを取得し、明るさに対応するシャッタースピードと、シャッタースピードに対応する移動速度とを取得し、対象位置において、第１移動体を上記移動速度で移動させながら、上記シャッタースピードで撮像装置に撮像対象領域を撮像させる。

Description

制御装置、制御方法、及びプログラム
　本開示の技術は、制御装置、制御方法、及びプログラムに関する。
　特開２０２１－９６８６５号公報には、飛行体による飛行の制御を指示する情報処理装置が開示されている。情報処理装置は、処理部を備える。処理部は、飛行体が備える照度センサにより検出された飛行体の周囲の照度を取得し、照度と、飛行体の飛行速度の上限値と、の関係を示す関係情報を取得する。処理部は、関係情報に基づいて、取得された照度に対応する飛行体の飛行速度の上限値を導出し、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示する。
　特開２０２０－５０２６１号公報には、飛行体による飛行の制御を指示する情報処理装置が開示されている。情報処理装置は、処理部を備える。処理部は、飛行体が撮像するためのシャッタースピードの情報を取得し、飛行体が撮像する撮像画像における１画素あたりの実空間での距離の情報を取得する。処理部は、シャッタースピードと１画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定し、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示する。
　国際公開第２０２１／０１４７５２号パンフレットには、マップ作成部と、形状抽出部と、構図設定部と、経路決定部とを備える情報処理装置が開示されている。マップ作成部は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成する。形状抽出部は、マップ内に存在する形状を抽出する。構図設定部は、撮像装置で撮影する画像の構図を設定する。経路決定部は、形状と構図に基づいて移動体の移動範囲における移動経路を決定する。
　特表２０１８－５３５４８７号公報には、可動物体を制御する方法が開示されている。方法は、ターゲット方向に基づいて、可動物体の基準点及び基準点での可動物体の１つ又は複数の移動特性を推定するステップと、可動物体の位置及び基準点での可動物体の１つ又は複数の移動特性に基づいて、可動物体の位置から基準点への可動物体の移動経路を生成するステップと含む。
　特表２０１９－５０７９２４号公報には、無人航空機の自律飛行を変更するシステムが開示されている。システムは、第１のユーザインタフェースと、第２のユーザインタフェースとを備える。第１のユーザインタフェースは、第１のユーザ入力を受信するように構成される第１のユーザインタフェースであって、第１のユーザ入力は、ＵＡＶの自律飛行を行う１つ又は複数の命令を提供する。第２のユーザインタフェースは、第２のユーザ入力を受信するように構成される第２のユーザインタフェースであって、第２のユーザ入力は、ＵＡＶの自律飛行を変更する１つ又は複数の命令を提供する。
　国際公開第２０１８／１６７８９３号パンフレットには、形状生成方法が開示されている。形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップを有する。形状生成方法は、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップを有する。形状生成方法は、各撮像位置において選択された撮像装置により撮像するステップを有する。形状生成方法は、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップを有する。形状生成方法は、撮像装置ごとに復元された形状を合成するステップを有する。撮像装置を選択するステップは、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む。
　特開２０１９－８７０７３号公報には、第１の位置から第２の位置へ移動するための移動装置と、移動装置に接続されるマニピュレータと、移動装置及びマニピュレータを制御するコントローラと、移動装置の位置と関連付けて環境データを取得する環境取得センサと、を備える移動式マニピュレータが開示されている。コントローラは、環境取得センサによって取得されて、移動先の位置、または、第１の位置と第２の位置との間の移動経路上の何れかの地点に関連付けられた環境データに基づいて、移動装置又はマニピュレータの少なくともいずれか一方を制御するように構成されている。
　本開示の技術に係る一つの実施形態は、一例として、対象位置において、シャッタースピードに対応する移動速度で第１移動体を移動させながら、撮像対象領域の明るさに対応するシャッタースピードで撮像装置に撮像対象領域を撮像させることができる制御装置、制御方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、第１プロセッサを備え、第１プロセッサは、撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、対象位置から撮像装置によって撮像される撮像対象領域の明るさを取得し、明るさに対応するシャッタースピードと、シャッタースピードに対応する移動速度とを取得し、対象位置において、第１移動体を移動速度で移動させながら、シャッタースピードで撮像装置に撮像対象領域を撮像させる制御装置である。
　本開示の技術に係る第２の態様は、第１の態様に係る制御装置において、第１プロセッサは、明るさと、シャッタースピードと、移動速度との関係を表す関係情報に基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する移動速度とを取得する制御装置である。
　本開示の技術に係る第３の態様は、第２の態様に係る制御装置において、関係情報を記憶しているメモリをさらに備える制御装置である。
　本開示の技術に係る第４の態様は、第１の態様から第３の態様の何れか一つの態様に係る制御装置において、明るさは、対象位置からセンサを用いて検出された明るさである制御装置である。
　本開示の技術に係る第５の態様は、第４の態様に係る制御装置において、センサは、第２移動体に搭載されている制御装置である。
　本開示の技術に係る第６の態様は、第５の態様に係る制御装置において、対象位置は、移動ルート上に設定されており、明るさは、第２移動体が移動速度よりも高い速度で移動ルートを移動しながら検出された明るさである制御装置である。
　本開示の技術に係る第７の態様は、第１の態様から第３の態様の何れか一つの態様に係る制御装置において、明るさは、撮像対象領域を含む被写体を俯瞰する俯瞰カメラを用いて検出された明るさである制御装置である。
　本開示の技術に係る第８の態様は、第７の態様に係る制御装置において、被写体は、複数の撮像対象領域を含む制御装置である。
　本開示の技術に係る第９の態様は、第１の態様から第８の態様の何れか一つの態様に係る制御装置において、対象位置は、移動ルート上に設定されており、明るさは、第１移動体が移動ルートに対する移動を開始する前のタイミングで検出された明るさである制御装置である。
　本開示の技術に係る第１０の態様は、第１の態様から第８の態様の何れか一つの態様に係る制御装置において、対象位置は、移動ルート上に設定されており、明るさは、第１移動体が移動ルートに対する移動を開始した後、第１移動体が対象位置に到達する前のタイミングで検出された明るさである制御装置である。
　本開示の技術に係る第１１の態様は、第１の態様から第１０の態様の何れか一つの態様に係る制御装置において、第１移動体が移動する移動先として複数の対象位置が設定されており、第１プロセッサは、複数の対象位置において、一定の絞り値で撮像装置に撮像対象領域を撮像させる制御装置である。
　本開示の技術に係る第１２の態様は、第１の態様から第１０の態様の何れか一つの態様に係る制御装置において、第１移動体が移動する移動先として複数の対象位置が設定されており、第１プロセッサは、対象位置毎に、明るさ及び／又はシャッタースピードに対応する絞り値で撮像装置に撮像対象領域を撮像させる制御装置である。
　本開示の技術に係る第１３の態様は、第１の態様から第１２の態様の何れか一つの態様に係る制御装置において、第１移動体が移動する移動先として複数の対象位置が設定されており、第１プロセッサは、対象位置毎に、撮像装置に撮像対象領域を撮像させることによって得られた合成用画像を取得し、合成用画像は、隣接する合成用画像同士の一部がオーバーラップする画像である制御装置である。
　本開示の技術に係る第１４の態様は、第１３の態様に係る制御装置において、隣接する合成用画像を合成することにより合成画像を生成する第２プロセッサをさらに備え、第２プロセッサは、明るさに基づいて、合成画像に対して特定処理を行う制御装置である。
　本開示の技術に係る第１５の態様は、第１４の態様に係る制御装置において、特定処理は、合成画像の輝度を補正する補正処理を含む制御装置である。
　本開示の技術に係る第１６の態様は、第１５の態様に係る制御装置において、補正処理は、合成用画像間の輝度の差を補正する処理を含む制御装置である。
　本開示の技術に係る第１７の態様は、第１５の態様又は第１６の態様に係る制御装置において、補正処理は、明るさの分布に基づいて、合成画像の輝度分布を補正する処理を含む制御装置である。
　本開示の技術に係る第１８の態様は、第１４の態様から第１７の態様の何れか一つの態様に係る制御装置において、特定処理は、撮像対象領域間の明るさの差が既定値を超えた場合に報知する報知処理を含む制御装置である。
　本開示の技術に係る第１９の態様は、撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、対象位置から撮像装置によって撮像される撮像対象領域の明るさを取得すること、明るさに対応するシャッタースピードと、シャッタースピードに対応する移動速度とを取得すること、及び、対象位置において、第１移動体を移動速度で移動させながら、シャッタースピードで撮像装置に撮像対象領域を撮像させることを含む制御方法である。
　本開示の技術に係る第２０の態様は、撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、対象位置から撮像装置によって撮像される撮像対象領域の明るさを取得すること、明るさに対応するシャッタースピードと、シャッタースピードに対応する移動速度とを取得すること、及び、対象位置において、第１移動体を移動速度で移動させながら、シャッタースピードで撮像装置に撮像対象領域を撮像させることを含む処理をコンピュータに実行させるためのプログラムである。
第１実施形態に係る複数の撮像対象領域及び撮像システムの一例を示す正面図である。 第１実施形態に係る飛行撮像装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る撮像装置のハードウェア構成を示すブロック図である。 第１実施形態に係る飛行撮像処理を実現するための機能的な構成の一例を示すブロック図である。 第１実施形態に係るデータ要求部及び明るさ取得部の動作の一例を説明する説明図である。 第１実施形態に係る明るさ取得部及び撮像条件取得部の動作の一例を説明する説明図である。 第１実施形態に係る撮像条件取得部及び飛行速度制御部の動作の一例を説明する説明図である。 第１実施形態に係る撮像条件取得部、到達判定部、及び撮像制御部の動作の一例を説明する説明図である。 第１実施形態に係る飛行撮像処理の流れの一例を示すフローチャートである。 第２実施形態に係るデータ要求部及び明るさ取得部の動作の一例を説明する説明図である。 第３実施形態に係るデータ要求部及び明るさ取得部の動作の一例を説明する説明図である。 第４実施形態に係るデータ要求部及び明るさ取得部の動作の一例を説明する説明図である。 第５実施形態に係る合成画像生成処理を実現するための機能的な構成の一例を示すブロック図である。 第５実施形態に係る画像合成部、明るさ情報取得部、及び補正処理部の動作の一例を説明する説明図である。 第５実施形態に係る合成画像生成処理の流れの一例を示すフローチャートである。
　以下、添付図面に従って本開示の技術に係る制御装置、制御方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
Ｉ／Ｆとは、“Interface”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＧＮＳＳとは、“Global Navigation Satellite System”の略称を指す。ＧＰＳとは、“Global Positioning System”の略称を指す。ＬｉＤＡＲとは、“light detection and ranging”の略称を指す。ＮＶＭとは、“Non-Volatile Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＲＧＢとは、“Red Green Blue”の略称を指す。ＣＩＥとは、“Commission Internationale de l'Eclairage”の略称を指す。ＴＰＵとは、“Tensor Processing Unit”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＳｏＣとは、“System-on-a-Chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。
　本明細書の説明において、「鉛直方向」とは、完全な鉛直方向の他に、本開示の技術が属する技術分野で一般的に許容される鉛直方向であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの鉛直方向を指す。本明細書の説明において、「水平方向」とは、完全な水平方向の他に、本開示の技術が属する技術分野で一般的に許容される水平方向であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの水平方向を指す。本明細書の説明において、「四角形」とは、完全な四角形の他に、本開示の技術が属する技術分野で一般的に許容される四角形であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの四角形を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される垂直であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「一定」とは、完全な一定の他に、本開示の技術が属する技術分野で一般的に許容される一定であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一定を指す。
　［第１実施形態］
　はじめに、第１実施形態について説明する。
　一例として図１に示すように、撮像システムＳは、飛行撮像装置１０と、俯瞰カメラ１６０とを備える。飛行撮像装置１０は、飛行機能及び撮像機能を備えており、飛行しながら対象物２の壁面２Ａを撮像する。
　壁面２Ａは、一例として、平面である。平面とは、二次元状の面（すなわち、二次元方向に沿う面）を指す。また、本明細書の説明において、「平面」の概念には、鏡面の意味は含まれない。本実施形態において、例えば、壁面２Ａは、水平方向及び鉛直方向で規定された平面（すなわち、水平方向及び鉛直方向に延びる面）である。壁面２Ａには、凹凸が含まれている。ここで言う凹凸には、例えば、壁面２Ａを形成する材料に起因する凹凸に加えて、欠損及び／又は欠陥に伴う凹凸が含まれる。一例として、壁面２Ａを有する対象物２は、橋梁に設けられた橋脚である。橋脚は、例えば鉄筋コンクリート製である。ここでは、対象物２の一例として、橋脚が挙げられているが、対象物２は、橋脚以外の物体（例えば、トンネル又はダム等）でもよい。
　飛行撮像装置１０は、飛行体２０及び撮像装置６０を備える。飛行体２０は、例えばドローン等の無人航空機である。飛行撮像装置１０の飛行機能は、飛行体２０によって実現される。飛行体２０は、複数のプロペラ４２を有しており、複数のプロペラ４２が回転することによって飛行する。飛行体２０が飛行することは、飛行撮像装置１０が飛行することと同義である。飛行体２０は、本開示の技術に係る「移動体」の一例である。
　撮像装置６０は、例えば、デジタルカメラ又はビデオカメラである。飛行撮像装置１０の撮像機能は、撮像装置６０によって実現される。撮像装置６０は、飛行体２０に搭載されている。一例として、撮像装置６０は、飛行体２０の下部に設けられている。撮像装置６０は、本開示の技術に係る「撮像装置」の一例である。
　対象物２に対しては、飛行ルート４が設定されている。図１に示す例では、飛行ルート４は、壁面２Ａと対向する仮想面上に設定されている。一例として、飛行ルート４は、水平方向に延びる水平ルートと、鉛直方向に延びる鉛直ルートとが連なるジグザグ状に設定されている。飛行撮像装置１０は、後述するように飛行ルート４を示す飛行ルート情報１１６（図８参照）を記憶しており、送信機（図示省略）又は基地局（図示省略）等からの飛行指示信号に依存せずに、飛行ルート４を自律して飛行することが可能である。
　飛行撮像装置１０は、飛行ルート４を飛行することにより、水平方向への移動と鉛直方向への移動とを交互に繰り返すことでジグザグに移動する。飛行ルート４上には、複数のウェイポイント５が設定されている。各ウェイポイント５では、飛行撮像装置１０が壁面２Ａを撮像する。飛行ルート４は、本開示の技術に係る「移動ルート」の一例であり、ウェイポイント５は、本開示の技術に係る「対象位置」の一例である。
　なお、ここでは、飛行撮像装置１０が飛行ルート４を自立して飛行する例が挙げられているが、飛行撮像装置１０は、送信機又は基地局等からの飛行指示信号に基づいて、飛行ルート４を飛行してもよい。
　飛行撮像装置１０は、各ウェイポイント５で壁面２Ａを撮像することにより、壁面２Ａのうちの複数の撮像対象領域３を順次に撮像する。各撮像対象領域３は、各ウェイポイント５に対応している。撮像対象領域３は、飛行撮像装置１０による画角によって定まる領域である。図１に示す例では、撮像対象領域３の一例として、四角形の領域が示されている。飛行撮像装置１０が水平方向への移動と鉛直方向への移動を交互に繰り返すことでジグザグに移動することにより、ジグザグ状に連なる複数の撮像対象領域３が順次に撮像される。
　複数の撮像対象領域３が撮像装置６０によって順次に撮像されることで複数の合成用画像１３２が得られる。複数の合成用画像１３２が合成されることにより合成画像１３０が生成される。複数の合成用画像１３２は、隣接する合成用画像１３２同士の一部が重なり合うように合成される。合成画像１３０の一例としては、２次元パノラマ画像が挙げられる。２次元パノラマ画像は、あくまでも一例に過ぎず、合成画像１３０として２次元パノラマ画像が生成されるのと同様の要領で、合成画像１３０として３次元画像（例えば、３次元パノラマ画像等）が生成されるようにしてもよい。
　合成画像１３０は、２フレーム目以降の各合成用画像１３２が得られる毎に生成されてもよく、壁面２Ａに対して複数の合成用画像１３２が得られてから生成されてもよい。また、合成画像１３０を生成する処理は、飛行撮像装置１０によって実行されてもよく、飛行撮像装置１０に通信可能に接続された外部装置（図示省略）によって実行されてもよい。合成画像１３０は、例えば、対象物２の壁面２Ａを点検したり測量したりするために利用される。
　図１に示す例では、壁面２Ａに対して撮像装置６０の光軸ＯＡ（図２参照）が垂直な状態で各撮像対象領域３が撮像装置６０によって撮像される態様が示されている。以下、壁面２Ａに対して撮像装置６０の光軸ＯＡが垂直な状態で各撮像対象領域３が撮像装置６０によって撮像される例を前提に説明する。
　複数の撮像対象領域３は、隣接する撮像対象領域３同士の一部が重なり合うように撮像される。隣接する撮像対象領域３同士の一部が重なり合うように複数の撮像対象領域３を撮像するのは、隣接する撮像対象領域３のうち重なり合う部分に含まれる特徴点に基づいて、隣接する撮像対象領域３に対応する合成用画像１３２を合成するためである。以下、隣接する撮像対象領域３同士の一部が重なり合うこと、及び、隣接する合成用画像１３２同士の一部が重なり合うことを、それぞれ「オーバーラップ」と称する場合がある。
　俯瞰カメラ１６０は、撮像装置６０よりも広角のデジタルカメラ又はビデオカメラである。俯瞰カメラ１６０は、例えば、壁面２Ａと対向して配置される。また、俯瞰カメラ１６０は、壁面２Ａに対して飛行撮像装置１０よりも遠い位置に設置される。俯瞰カメラ１６０は、壁面２Ａの全体を撮像し得る画角を有している。俯瞰カメラ１６０は、いずれも図示を省略するが、撮像レンズ、イメージセンサ、プロセッサ、ストレージ、及びＲＡＭ等を備える。俯瞰カメラ１６０は、本開示の技術に係る「俯瞰カメラ」の一例である。
　一例として図２に示すように、飛行体２０は、飛行装置２２、入出力Ｉ／Ｆ２４、コンピュータ２６、測位ユニット２８、加速度センサ３０、及び通信装置３２を備える。コンピュータ２６は、本開示の技術に係る「制御装置」及び「コンピュータ」の一例である。
　コンピュータ２６は、プロセッサ３４、ストレージ３６、及びＲＡＭ３８を備える。プロセッサ３４、ストレージ３６、及びＲＡＭ３８は、バス４０を介して相互に接続されており、バス４０は、入出力Ｉ／Ｆ２４に接続されている。また、測位ユニット２８、加速度センサ３０、及び通信装置３２も、入出力Ｉ／Ｆ２４に接続されている。
　プロセッサ３４は、例えば、ＣＰＵを有しており、飛行撮像装置１０の全体を制御する。ここでは、プロセッサ３４がＣＰＵを有する例を挙げているが、これは、あくまでも一例に過ぎない。例えば、プロセッサ３４は、ＣＰＵ及びＧＰＵを有していてもよい。この場合、例えば、ＧＰＵは、ＣＰＵの制御下で動作し、画像処理の実行を担う。プロセッサ３４は、本開示の技術に係る「第１プロセッサ」の一例である。
　ストレージ３６は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ３６としては、例えば、ＨＤＤ及びＳＳＤ等が挙げられる。なお、ＨＤＤ及びＳＳＤは、あくまでも一例に過ぎず、ＨＤＤ及び／又はＳＳＤに代えて、或いは、ＨＤＤ及び／又はＳＳＤと共に、フラッシュメモリ、磁気抵抗メモリ、及び／又は強誘電体メモリを用いてもよい。
　ＲＡＭ３８は、一時的に情報が記憶されるメモリであり、プロセッサ３４によってワークメモリとして用いられる。ＲＡＭ３８としては、例えば、ＤＲＡＭ及び／又はＳＲＡＭ等が挙げられる。
　通信装置３２は、俯瞰カメラ１６０と有線又は無線により通信可能に接続されている。通信装置３２は、俯瞰カメラ１６０との間の情報の授受を司る。例えば、通信装置３２は、プロセッサ３４からの要求に応じた情報を俯瞰カメラ１６０に送信する。また、通信装置３２は、俯瞰カメラ１６０から送信されたデータを受信し、受信したデータを、バス４０を介してプロセッサ３４に出力する。
　飛行装置２２は、複数のプロペラ４２、複数のモータ４４、及びモータドライバ４６を有する。モータドライバ４６は、入出力Ｉ／Ｆ２４及びバス４０を介してプロセッサ３４と接続されている。モータドライバ４６は、プロセッサ３４からの指示に従って、複数のモータ４４を個別に制御する。複数のモータ４４の数は、複数のプロペラ４２の数と同じである。
　各モータ４４の回転軸には、プロペラ４２が固定されている。各モータ４４は、プロペラ４２を回転させる。複数のプロペラ４２が回転することにより、飛行体２０が飛行する。なお、飛行体２０が備える複数のプロペラ４２の数（換言すれば、複数のモータ４４の数）は、一例として４つであるが、これはあくまでも一例に過ぎず、複数のプロペラ４２の数は、例えば、３つでもよく、５つ以上でもよい。
　測位ユニット２８は、飛行体２０の位置を検出する装置である。飛行体２０の位置は、例えば、ＧＮＳＳ（例えば、ＧＰＳ）を用いて検出される。測位ユニット２８は、ＧＮＳＳ受信機（図示省略）を有する。ＧＮＳＳ受信機は、例えば、複数の衛星から送信された電波を受信する。測位ユニット２８は、ＧＮＳＳ受信機で受信された電波に基づいて飛行体２０の位置を検出し、検出した位置に応じた測位データ４８（例えば、緯度、経度、及び高度を示すデータ）を出力する。
　加速度センサ３０は、飛行体２０のピッチ軸、ヨー軸、及びロール軸の各軸方向の加速度を検出する。加速度センサ３０は、飛行体２０の各軸方向の加速度に応じた加速度データ５０を出力する。プロセッサ３４は、測位データ４８及び／又は加速度データ５０に基づいて飛行体２０の位置を取得する。
　なお、プロセッサ３４が測位データ４８のみに基づいて飛行体２０の位置を取得する場合には、加速度センサ３０が省かれてもよい。一方、プロセッサ３４が加速度データ５０のみに基づいて飛行体２０の位置を取得する場合には、測位ユニット２８が省かれてもよい。
　プロセッサ３４が測位データ４８に基づいて飛行体２０の位置を取得する場合には、絶対座標系における位置が測位データ４８に基づいて導出される。一方、プロセッサ３４が加速度データ５０に基づいて撮像位置を取得する場合には、相対座標系に定められた基準位置に対する位置の変化量が加速度データ５０に基づいて導出される。
　また、飛行体２０は、測位ユニット２８及び／又は加速度センサ３０に代えて、又は、測位ユニット２８及び／又は加速度センサ３０に加えて、飛行体２０の位置を検出するための他の装置を備えていてもよい。他の装置としては、例えば、ＬｉＤＡＲスキャナ、ステレオカメラ、磁気コンパス、気圧高度計、又は超音波センサ等が挙げられる。
　一例として図３に示すように、撮像装置６０は、撮像レンズ６２、絞り６４、絞りアクチュエータ６６、メカニカルシャッタ６８、シャッタアクチュエータ７０、コントローラ７２、イメージセンサ７４、及びイメージセンサドライバ７６を備える。
　コントローラ７２及びイメージセンサドライバ７６は、入出力Ｉ／Ｆ２４及びバス４０を介してプロセッサ３４と接続されている。撮像レンズ６２は、例えば、対物レンズ（図示省略）及びフォーカスレンズ（図示省略）等を有する。また、撮像装置６０は、ズームレンズ（図示省略）を有する。撮像レンズ６２は、絞り６４に対する物体側に配置されており、ズームレンズは、絞り６４とメカニカルシャッタ６８との間に配置されている。
　絞りアクチュエータ６６は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を有する。絞り６４は、開口６４Ａを有しており、開口６４Ａの大きさが可変な絞りである。開口６４Ａは、複数枚の羽根（図示省略）によって形成されている。複数枚の羽根は、動力伝達機構に連結されている。動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の羽根に伝達する。複数枚の羽根は、動力伝達機構から伝達される動力を受けて作動することで開口６４Ａの大きさを変化させる。絞り６４は、開口６４Ａの大きさを変化させることで露出を調節する。開口６４Ａの大きさによって絞り値が規定される。絞りアクチュエータ６６は、コントローラ７２に接続されている。
　コントローラ７２は、いずれも図示を省略するが、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。なお、ここでは、コンピュータを例示しているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ７２として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。コントローラ７２は、プロセッサ３４からの指示に従って、絞りアクチュエータ６６を制御する。
　イメージセンサ７４は、光電変換素子７８及び信号処理回路８０を備えている。イメージセンサ７４は、一例として、ＣＭＯＳイメージセンサである。本実施形態では、イメージセンサ７４としてＣＭＯＳイメージセンサが例示されているが、本開示の技術はこれに限定されず、例えば、イメージセンサ７４がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。光電変換素子７８は、イメージセンサドライバ７６と接続されている。イメージセンサドライバ７６は、プロセッサ３４からの指示に従って、光電変換素子７８を制御する。
　光電変換素子７８は、複数の画素（図示省略）が設けられた受光面７８Ａを有する。光電変換素子７８は、複数の画素から出力された電気信号を撮像データ８２として信号処理回路８０に対して出力する。信号処理回路８０は、光電変換素子７８から入力されたアナログの撮像データ８２をデジタル化する。信号処理回路８０は、入出力Ｉ／Ｆ２４に接続されている。デジタル化された撮像データ８２は、合成用画像１３２を示す画像データであり、プロセッサ３４によって各種処理が施されてから、ストレージ３６に記憶される。
　メカニカルシャッタ６８は、一例として、フォーカルプレーンシャッタであり、絞り６４と受光面７８Ａとの間に配置されている。メカニカルシャッタ６８は、先幕６８Ａ及び後幕６８Ｂを備えている。一例として、先幕６８Ａ及び後幕６８Ｂの各々は、複数枚の羽根（図示省略）を備えている。先幕６８Ａは、後幕６８Ｂよりも被写体側に配置されている。
　シャッタアクチュエータ７０は、リンク機構（図示省略）、先幕用ソレノイド（図示省略）、及び後幕用ソレノイド（図示省略）を有する。先幕用ソレノイドは、先幕６８Ａの駆動源であり、リンク機構を介して先幕６８Ａに機械的に連結されている。後幕用ソレノイドは、後幕６８Ｂの駆動源であり、リンク機構を介して後幕６８Ｂに機械的に連結されている。シャッタアクチュエータ７０は、コントローラ７２に接続されている。コントローラ７２は、プロセッサ３４からの指示に従って、シャッタアクチュエータ７０を制御する。
　先幕用ソレノイドは、コントローラ７２の制御下で動力を生成し、生成した動力を先幕６８Ａに付与することで先幕６８Ａの巻き上げ及び引き下ろしを選択的に行う。後幕用ソレノイドは、コントローラ７２の制御下で動力を生成し、生成した動力を後幕６８Ｂに付与することで後幕６８Ｂの巻き上げ及び引き下ろしを選択的に行う。撮像装置６０では、先幕６８Ａの開閉と後幕６８Ｂの開閉とがプロセッサ３４によって制御されることで、イメージセンサ７４に対する露光量が調節される。また、先幕６８Ａ及び後幕６８Ｂが開いている時間によって、メカニカルシャッタ６８のシャッタースピードが規定される。
　なお、ここでは、メカニカルシャッタ６８の一例としてフォーカルプレーンシャッタを挙げて説明したが、これは、あくまでも一例に過ぎず、メカニカルシャッタ６８は、レンズシャッタであってもよい。また、メカニカルシャッタ６８のシャッタースピードが導出されて設定される例に挙げて説明したが、これは、あくまでも一例に過ぎない。例えば、エレクトロニックシャッタ（例えば、電子先幕シャッタ又は完全電子式シャッタ等）のシャッタースピードが上記と同様の要領で導出されて設定されるようにしてもよい。
　また、図２及び図３に示す例では、飛行体２０及び撮像装置６０に共通のコンピュータ２６が用いられているが、コンピュータ２６は、飛行体２０に設けられた第１コンピュータと、撮像装置６０に設けられた第２コンピュータによって構成されていてもよい。コンピュータ２６は、飛行体２０に搭載されているが、撮像装置６０に搭載されてもよい。また、コンピュータ２６は、送信機又は基地局に搭載されてもよい。以上、飛行撮像装置１０のハードウェア構成の一例について説明した。
　続いて、第１実施形態の課題について説明する。撮像装置６０が搭載された飛行体２０が、目標とするウェイポイント５（以下、「目標ウェイポイント５」と称する）に到達した場合に、目標ウェイポイント５に対応する撮像対象領域３を撮像装置６０に撮像させる技術としては、次の技術が想定される。
　すなわち、想定される技術（以下、「想定技術」と称する）では、飛行体２０が目標ウェイポイント５に到達する前のタイミングで、撮像装置６０によって飛行体２０の飛行位置に対応する領域（以降、「飛行位置対応領域」と称する）が撮像され、撮像されることで得られた画像に基づいて飛行位置対応領域の明るさが検出される。続いて、検出された明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とが算出される。そして、目標ウェイポイント５において、算出された飛行速度で飛行体２０が飛行しながら、算出されたシャッタースピードで撮像装置６０によって撮像対象領域３が撮像される。
　上記想定技術では、飛行体２０が目標ウェイポイント５に到達する前のタイミングで、撮像装置６０によって飛行位置対応領域が撮像され、撮像されることで得られた画像に基づいて飛行位置対応領域の明るさが検出される。撮像装置６０によって撮像された飛行位置対応領域は、目標ウェイポイント５に対応する撮像対象領域３よりも手前の位置にある領域である。このため、撮像装置６０によって撮像された飛行位置対応領域は、目標ウェイポイント５に対応する撮像対象領域３とは明るさが異なる場合がある。このように飛行位置対応領域の明るさと撮像対象領域３の明るさとが異なる場合、撮像対象領域３の明るさに対応するシャッタースピードで撮像対象領域３を撮像することができない。
　そこで、撮像対象領域３の明るさに対応するシャッタースピードで撮像対象領域３を撮像するために、次の対応方法が考えられる。すなわち、飛行体２０が目標ウェイポイント５に到達した場合に、飛行体２０を目標ウェイポイント５で一旦停止させた状態とし、この状態で撮像装置６０によって撮像対象領域３が撮像されることで得られた画像に基づいて撮像対象領域３の明るさを検出し、検出した明るさに対応するシャッタースピードを算出するという対応方法が考えられる。
　しかしながら、上記対応方法では、飛行体２０を目標ウェイポイント５で一旦停止させるため、飛行体２０を飛行させながら撮像装置６０に撮像対象領域３を撮像させることができないという課題がある。そこで、第１実施形態では、目標ウェイポイント５において、シャッタースピードに対応する飛行速度で飛行体２０を飛行させながら、撮像対象領域３の明るさに対応するシャッタースピードで撮像装置６０に撮像対象領域３を撮像させるようにしている。これを実現するために、第１実施形態では、プロセッサ３４によって以下に説明する飛行撮像処理（図４～図９参照）が行われる。
　一例として図４に示すように、ストレージ３６には、飛行撮像プログラム９０が記憶されている。プロセッサ３４は、ストレージ３６から飛行撮像プログラム９０を読み出し、読み出した飛行撮像プログラム９０をＲＡＭ３８上で実行する。プロセッサ３４は、ＲＡＭ３８上で実行する飛行撮像プログラム９０に従って、飛行撮像装置１０が飛行しながら撮像対象領域３を撮像するための飛行撮像処理を行う。飛行撮像処理は、プロセッサ３４が飛行撮像プログラム９０に従って、データ要求部９２、明るさ取得部９４、撮像条件取得部９６、飛行速度制御部９８、到達判定部１００、及び撮像制御部１０２として動作することで実現される。
　一例として図５に示すように、俯瞰カメラ１６０は、飛行体２０が目標ウェイポイント５に到達する前のタイミング（例えば、飛行体２０が飛行ルート４に対する飛行を開始する前のタイミング）で、複数の撮像対象領域３を含む壁面２Ａの全体を撮像する。俯瞰カメラ１６０によって壁面２Ａの全体が撮像されることにより、壁面２Ａの全体を像として含む画像１６２（以下、「壁面画像１６２」と称する）が得られる。
　俯瞰カメラ１６０は、壁面画像１６２に基づいて、各ウェイポイント５に対応する撮像対象領域３毎の明るさを導出する。例えば、壁面画像１６２は、光の三原色によって形成されたＲＧＢ画像であり、俯瞰カメラ１６０は、ＲＧＢ画像に基づいて画像１６４を生成する。画像１６４は、ＲＧＢ画像の色空間がＲＧＢとは異なる色空間に変換された画像である。以下、画像１６４を「変換画像１６４」と称する。変換画像１６４は、明るさの度合いを示す明度の成分を含む。変換画像１６４の色空間としては、Ｌａｂ色空間、Ｌｃｈ色空間、又はＨＳＶ色空間等が挙げられる。俯瞰カメラ１６０は、変換画像１６４に含まれる明度の成分に基づいて、各ウェイポイント５に対応する撮像対象領域３毎の明るさを導出する。
　なお、撮像対象領域３の明るさは、ＣＩＥで定められる標準光源（例えば、Ｄ５０又はＤ６５）を基準として導出されてもよい。また、撮像対象領域３の明るさは、撮像対象領域３の全体の明るさの代表値（例えば、最低値、最高値、又は中心値）でもよく、撮像対象領域３の全体の明るさの平均値でもよい。また、撮像対象領域３の明るさは、撮像対象領域３の全体の明るさでもよく、撮像対象領域３の一部の明るさでもよい。撮像対象領域３の一部の明るさは、撮像対象領域３の中心部の明るさでもよく、撮像対象領域３の中心部とは異なる部分の明るさでもよい。
　そして、俯瞰カメラ１６０は、各ウェイポイント５に対応する撮像対象領域３毎の明るさに関する情報を明るさ情報１６６として生成し、生成した明るさ情報１６６を記憶する。例えば、明るさ情報１６６は、各ウェイポイント５の順番を示す番号（以下、「ウェイポイント番号」と称する）と、撮像対象領域３の明るさとの関係を表す情報である。図５には、明るさ情報１６６の一例として、各ウェイポイント番号に対応する撮像対象領域３の明るさの具体的な値の一例が示されている。明るさは、例えば、明るさの度合いを示す明度によって表される。
　データ要求部９２は、明るさデータ１６８を要求するための要求信号１０４を、通信装置３２を介して俯瞰カメラ１６０に対して送信する。明るさデータ１６８は、目標ウェイポイント５に対応する撮像対象領域３の明るさを示すデータである。要求信号１０４には、目標ウェイポイント５に対応するウェイポイント番号を示す情報が含まれる。
　俯瞰カメラ１６０は、要求信号１０４を受信した場合、要求信号１０４が示すウェイポイント番号に対応する明るさを明るさ情報１６６から抽出し、抽出した明るさを示す明るさデータ１６８を通信装置３２に対して送信する。図５に示す例では、要求信号１０４が示すウェイポイント番号は、「ＮＯ．１」であり、「ＮＯ．１」に対応する明るさの度合いである「２０」を示す明るさデータ１６８が俯瞰カメラ１６０によって通信装置３２に対して送信されている。
　明るさ取得部９４は、通信装置３２によって受信された明るさデータ１６８に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを取得する。図５に示す例では、明るさ取得部９４によって取得された明るさは、飛行体２０が飛行ルート４に対する移動を開始する前のタイミングで検出された明るさである
　一例として図６に示すように、ストレージ３６には、テーブル１１０が記憶されている。テーブル１１０は、本開示の技術に係る「関係情報」の一例であり、ストレージ３６は、本開示の技術に係る「メモリ」の一例である。テーブル１１０は、第１テーブル１１２及び第２テーブル１１４を有する。第１テーブル１１２は、明るさと、シャッタースピードと、絞り値との関係を示しており、第２テーブル１１４は、シャッタースピードと飛行速度との関係を示している。
　図６には、第１テーブル１１２について、明るさ、シャッタースピード、及び絞り値の具体的な値の一例が示されており、第２テーブル１１４について、シャッタースピード及び飛行速度の具体的な値の一例が示されている。シャッタースピードの単位は、「秒（ｓ）」であり、飛行速度の単位は、「メートル毎秒（ｍ／ｓ）」である。
　シャッタースピードは、例えば、受光面７８Ａでの露光中に生じる像ぶれが許容範囲に収まる値に設定される。像ぶれは、例えば、受光面７８Ａ上での像の移動距離（例えば、画素の個数分に相当する移動距離）によって定義される。許容範囲は、例えば、合成用画像１３２に対して要求される画質（例えば、特徴点を識別し得る画質）に基づいて設定される。絞り値は、明るさ及び／又はシャッタースピードに基づいて設定される。飛行速度は、シャッタースピード毎に像ぶれが許容範囲に収まる値に設定される
　なお、図６に示す例では、テーブル１１０は、第１テーブル１１２及び第２テーブル１１４を有するが、明るさ、シャッタースピード、絞り値、及び飛行速度の関係を示す一つのテーブルでもよい。また、図６に示す例では、ストレージ３６に第１テーブル１１２及び第２テーブル１１４が記憶されているが、明るさと、シャッタースピードと、絞り値との関係を示す第１関係式が第１テーブル１１２の代わりに記憶され、シャッタースピードと飛行速度との関係を示す第２関係式が第２テーブル１１４の代わりに記憶されてもよい。また、第１テーブル１１２には、明るさ及びシャッタースピードに応じて異なる絞り値が記憶されているが、絞り値は一定でもよい。
　撮像条件取得部９６は、明るさ取得部９４によって取得された明るさに基づいて撮像条件を取得する。撮像条件は、シャッタースピード、絞り値、及び飛行速度を含む。撮像条件取得部９６は、明るさ取得部９４によって取得された明るさに対応するシャッタースピード及び絞り値を第１テーブル１１２に基づいて取得する。また、撮像条件取得部９６は、第１テーブル１１２に基づいて取得したシャッタースピードに対応する飛行速度を第２テーブル１１４に基づいて取得する。
　一例として図７に示すように、飛行速度制御部９８は、撮像条件取得部９６によって取得された飛行速度に基づいて、モータドライバ４６を介して複数のモータ４４を制御することにより、飛行体２０の飛行速度を、撮像条件取得部９６によって取得された飛行速度に設定する。これにより、複数のプロペラ４２の回転数が調節され、飛行体２０の飛行速度が、撮像条件取得部９６によって取得された飛行速度に設定される。
　一例として図８に示すように、ストレージ３６には、飛行ルート４を示す飛行ルート情報１１６が記憶されている。飛行ルート情報１１６には、飛行ルート４上に設定された複数のウェイポイント５の位置を示す位置情報が含まれる。
　到達判定部１００は、測位ユニット２８から入力された測位データ４８及び／又は加速度センサ３０から入力された加速度データ５０に基づいて飛行体２０の位置を取得する。そして、到達判定部１００は、取得した飛行体２０の位置と、飛行ルート情報１１６によって示される目標ウェイポイント５の位置とに基づいて、飛行体２０が目標ウェイポイント５に到達したか否かを判定する。
　撮像制御部１０２は、飛行体２０が目標ウェイポイント５に到達したと到達判定部１００によって判定された場合、撮像条件取得部９６によって取得されたシャッタースピード及び絞り値で撮像装置６０に目標ウェイポイント５に対応する撮像対象領域３を撮像させる。
　具体的には、撮像制御部１０２は、コントローラ７２を介してシャッタアクチュエータ７０を制御することにより、撮像条件取得部９６によって取得されたシャッタースピードに対応する時間で先幕６８Ａ及び後幕６８Ｂを開閉させる。また、コントローラ７２を介して絞りアクチュエータ６６を制御することにより、絞り６４の開口６４Ａの大きさを、撮像条件取得部９６によって取得された絞り値に対応する大きさに調節する。また、撮像制御部１０２は、イメージセンサドライバ７６を介してイメージセンサ７４を制御することにより、イメージセンサ７４から撮像データ８２を出力させる。撮像データ８２は、撮像対象領域３を撮像することで得られた合成用画像１３２を示す画像データであり、プロセッサ３４（図２参照）によって各種処理が施されてから、ストレージ３６に記憶される。
　なお、飛行体２０の飛行速度は、撮像制御部１０２によって撮像対象領域３が撮像されるまで、撮像条件取得部９６によって取得された飛行速度に維持される。飛行体２０の飛行速度は、撮像制御部１０２によって撮像対象領域３が撮像された後には、次の目標ウェイポイント５に対応して飛行速度制御部９８によって飛行速度が再び制御されるまで、撮像条件取得部９６によって取得された飛行速度よりも高い飛行速度に変更されてもよい。撮像条件取得部９６によって取得された飛行速度よりも高い飛行速度に変更されることにより、撮像作業の効率化を図ることが可能になる。
　次に、第１実施形態に係る飛行撮像装置１０の作用について図９を参照しながら説明する。図９には、第１実施形態に係る飛行撮像処理の流れの一例が示されている。
　図９に示す飛行撮像処理では、先ず、ステップＳＴ１０で、データ要求部９２は、目標ウェイポイント５に対応する撮像対象領域３の明るさを示す明るさデータ１６８を要求するための要求信号１０４を、通信装置３２を介して俯瞰カメラ１６０に対して送信する（図５参照）。ステップＳＴ１０の処理が実行された後、飛行撮像処理は、ステップＳＴ１２へ移行する。
　ステップＳＴ１２で、明るさ取得部９４は、俯瞰カメラ１６０から送信され、通信装置３２によって受信された明るさデータ１６８に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを取得する（図５参照）。ステップＳＴ１２の処理が実行された後、飛行撮像処理は、ステップＳＴ１４へ移行する。
　ステップＳＴ１４で、撮像条件取得部９６は、ステップＳＴ１２で取得された明るさに対応するシャッタースピード及び絞り値を、ストレージ３６に記憶されている第１テーブル１１２に基づいて取得する（図６参照）。また、撮像条件取得部９６は、第１テーブル１１２に基づいて取得したシャッタースピードに対応する飛行速度を、ストレージ３６に記憶されている第２テーブル１１４に基づいて取得する（図６参照）。ステップＳＴ１４の処理が実行された後、飛行撮像処理は、ステップＳＴ１６へ移行する。
　ステップＳＴ１６で、飛行速度制御部９８は、モータドライバ４６を介して複数のモータ４４を制御することにより、飛行体２０の飛行速度を、ステップＳＴ１４で取得された飛行速度に設定する（図７参照）。これにより、複数のプロペラ４２の回転数が調節され、飛行体２０の飛行速度が、ステップＳＴ１４で取得された飛行速度に設定される。ステップＳＴ１６の処理が実行された後、飛行撮像処理は、ステップＳＴ１８へ移行する。
　ステップＳＴ１８で、到達判定部１００は、測位ユニット２８から入力された測位データ４８及び／又は加速度センサ３０から入力された加速度データ５０に基づいて飛行体２０の位置を取得する（図８参照）。そして、到達判定部１００は、取得した飛行体２０の位置と、ストレージ３６に記憶された飛行ルート情報１１６によって示されるウェイポイント５の位置とに基づいて、飛行体２０が目標ウェイポイント５に到達したか否かを判定する（図８参照）。ステップＳＴ１８において、飛行体２０が目標ウェイポイント５に到達した場合には、判定が肯定されて、飛行撮像処理は、ステップＳＴ２０へ移行する。ステップＳＴ１８において、飛行体２０が目標ウェイポイント５に到達していない場合には、判定が否定されて、飛行撮像処理は、ステップＳＴ１８の処理を再度実行する。
　ステップＳＴ２０で、撮像制御部１０２は、ステップＳＴ１４で取得されたシャッタースピード及び絞り値で撮像装置６０に目標ウェイポイント５に対応する撮像対象領域３を撮像させる（図８参照）。ステップＳＴ２０の処理が実行された後、飛行撮像処理は、ステップＳＴ２２へ移行する。
　ステップＳＴ２２で、プロセッサ３４は、飛行撮像処理を終了する条件（終了条件）が成立したか否かを判定する。終了条件の一例としては、最終のウェイポイント５に対応する撮像対象領域３を撮像装置６０によって撮像したという条件、又は、ユーザが飛行撮像処理を終了させる指示を飛行撮像装置１０に対して付与したという条件等が挙げられる。ステップＳＴ２２において、終了条件が成立していない場合には、判定が否定されて、飛行撮像処理は、ステップＳＴ１０へ移行する。ステップＳＴ２２において、終了条件が成立した場合には、判定が肯定されて、飛行撮像処理は終了する。なお、上述の飛行撮像装置１０の作用として説明した制御方法は、本開示の技術に係る「制御方法」の一例である。
　以上説明したように、第１実施形態に係る飛行撮像装置１０では、プロセッサ３４は、飛行体２０が目標ウェイポイント５に到達する前のタイミングで、目標ウェイポイント５から撮像装置６０によって撮像される撮像対象領域３の明るさを取得する（図５参照）。また、プロセッサ３４は、取得した明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とを取得する（図６参照）。そして、プロセッサ３４は、目標ウェイポイント５において、取得した飛行速度で飛行体２０を飛行させながら（図７参照）、取得したシャッタースピードで撮像装置６０に撮像対象領域３を撮像させる（図８参照）。したがって、目標ウェイポイント５において、シャッタースピードに対応する飛行速度で飛行体２０を飛行させながら、撮像対象領域３の明るさに対応するシャッタースピードで撮像装置６０に撮像対象領域３を撮像させることができる。
　また、プロセッサ３４は、明るさと、シャッタースピードと、飛行速度との関係を表すテーブル１１０に基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とを取得する（図６参照）。したがって、テーブル１１０によって予め規定されたシャッタースピードと飛行速度とを明るさに基づいて取得することができる。
　また、コンピュータ２６は、テーブル１１０を記憶しているストレージ３６を備える（図６参照）。したがって、例えば、プロセッサ３４と直接的に接続されたストレージ３６に記憶されているテーブル１１０に基づいて、シャッタースピードと飛行速度とを取得することができる。
　また、明るさは、俯瞰カメラ１６０を用いて検出された明るさである（図５参照）。したがって、例えば、壁面２Ａに対して飛行撮像装置１０よりも遠い位置から複数の撮像対象領域３の明るさを検出することができる。
　また、俯瞰カメラ１６０は、複数の撮像対象領域３を含む壁面２Ａの全体を撮像する（図５参照）。したがって、例えば、複数の撮像対象領域３が一つずつ撮像されることによって得られた画像に基づいて各撮像対象領域３の明るさが個別に検出される場合に比して、撮像回数を減らすことができるので、複数の撮像対象領域３の明るさを検出する場合の作業性を向上させることができる。
　また、明るさは、飛行体２０が飛行ルート４に対する飛行を開始する前のタイミングで検出された明るさである（図５参照）。これにより、飛行体２０が飛行ルート４に対する飛行を開始する前のタイミングで検出された明るさに基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とが取得される。よって、例えば、飛行撮像装置１０が目標ウェイポイント５に到達したタイミングで明るさが検出される場合に比べ、目標ウェイポイント５で適切なシャッタースピード及び飛行速度（例えば、像ぶれが生じないシャッタースピード及び飛行速度）が設定された状態で飛行撮像装置１０に対して撮像を行わせることができる。
　また、飛行ルート４上には、複数のウェイポイント５が設定されており、プロセッサ３４は、ウェイポイント５毎に、明るさ及び／又はシャッタースピードに対応する絞り値（図６参照）で撮像装置６０に撮像対象領域３を撮像させる。したがって、ウェイポイント５毎に、明るさ及び／又はシャッタースピードに関する条件が異なる場合でも、明るさ及び／又はシャッタースピードに対応する絞り値で撮像対象領域３を撮像することができる。
　また、ウェイポイント５毎に、撮像装置６０に撮像対象領域３が撮像されることによって合成用画像１３２が得られる（図８参照）。合成用画像１３２は、隣接する合成用画像１３２同士の一部がオーバーラップする画像である。したがって、隣接する撮像対象領域３のうち重なり合う部分に含まれる特徴点に基づいて、隣接する撮像対象領域３に対応する合成用画像１３２を合成することができる。
　なお、第１実施形態において、プロセッサ３４は、複数のウェイポイント５において、一定の絞り値で撮像装置６０に撮像対象領域３を撮像させてもよい。この場合には、ウェイポイント５毎に絞り６４を作動させるための処理を省くことができる。
　［第２実施形態］
　次に、第２実施形態について説明する。
　第１実施形態では、俯瞰カメラ１６０は、飛行体２０が飛行ルート４に対する飛行を開始する前のタイミングで、複数の撮像対象領域３を含む壁面２Ａの全体を撮像する。第２実施形態では、俯瞰カメラ１６０によって壁面２Ａが撮像されるタイミングが第１実施形態とは異なる。以下、具体的に説明する。
　一例として図１０に示すように、データ要求部９２は、飛行体２０が飛行ルート４に対する移動を開始した後、飛行体２０が目標ウェイポイント５に到達する前のタイミングで、明るさデータ１６８を要求するための要求信号１０４を、通信装置３２を介して俯瞰カメラ１６０に対して送信する。明るさデータ１６８は、目標ウェイポイント５に対応する撮像対象領域３の明るさを示すデータである。要求信号１０４には、目標ウェイポイント５に対応するウェイポイント番号を示す情報が含まれる。
　俯瞰カメラ１６０は、要求信号１０４を受信した場合、複数の撮像対象領域３を含む壁面２Ａの全体を撮像する。これにより、壁面画像１６２が得られる。また、俯瞰カメラ１６０は、壁面画像１６２を変換画像１６４に変換し、変換画像１６４に含まれる明度の成分に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを導出する。撮像対象領域３の明るさを導出する手法は、第１実施形態と同様である。そして、俯瞰カメラ１６０は、導出した明るさを示す明るさデータ１６８を通信装置３２に対して送信する。
　なお、俯瞰カメラ１６０は、壁面２Ａの全体を撮像することにより得られた壁面画像１６２から、要求信号１０４が示すウェイポイント番号に対応する撮像対象領域３のみを像として含む画像を抽出してもよい。そして、俯瞰カメラ１６０は、抽出した画像を変換画像１６４に変換し、変換した変換画像１６４に含まれる明度の成分に基づいて、目標ウェイポイント５に対応する撮像対象領域３のみの明るさを導出してもよい。
　また、俯瞰カメラ１６０は、要求信号１０４が示すウェイポイント番号に対応する撮像対象領域３のみを撮像してもよい。そして、俯瞰カメラ１６０は、撮像することにより得られた画像を変換画像１６４に変換し、変換した変換画像１６４に含まれる明度の成分に基づいて、目標ウェイポイント５に対応する撮像対象領域３のみの明るさを導出してもよい。
　明るさ取得部９４は、通信装置３２によって受信された明るさデータ１６８に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを取得する。
　以上詳述した通り、第２実施形態では、明るさ取得部９４によって取得された明るさは、飛行体２０が飛行ルート４に対する移動を開始した後、飛行体２０が目標ウェイポイント５に到達する前のタイミングで検出された明るさである。これにより、飛行体２０が飛行ルート４に対する移動を開始した後、飛行体２０が目標ウェイポイント５に到達する前のタイミングで検出された明るさに基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とが取得される。よって、例えば、飛行撮像装置１０が目標ウェイポイント５に到達したタイミングで明るさが検出される場合に比べ、目標ウェイポイント５で適切なシャッタースピード及び飛行速度（例えば、像ぶれが生じないシャッタースピード及び飛行速度）が設定された状態で飛行撮像装置１０に対して撮像を行わせることができる。
　また、飛行体２０が飛行ルート４に対する移動を開始した後に、明るさが変化した場合でも、変化した後の明るさを、飛行体２０が目標ウェイポイント５に到達する前のタイミングで検出することができる。これにより、例えば、飛行体２０が飛行ルート４に対する移動を開始する前に明るさが検出される場合に比して、明るさの検出精度を向上させることができる。
　［第３実施形態］
　次に、第３実施形態について説明する。
　第１実施形態では、俯瞰カメラ１６０によって撮像されることで得られた壁面画像１６２に基づいて各ウェイポイント５に対応する撮像対象領域３毎の明るさが検出される。第３実施形態では、各ウェイポイント５に対応する撮像対象領域３毎の明るさを検出する手法が第１実施形態とは異なる。以下、具体的に説明する。
　一例として図１１に示すように、第３実施形態では、俯瞰カメラ１６０の代わりに、飛行撮像装置１０とは別の飛行撮像装置２１０が用いられる。以下、飛行撮像装置１０及び２１０を区別して説明する必要がある場合、飛行撮像装置１０を「第１飛行撮像装置１０」と称し、飛行撮像装置２１０を「第２飛行撮像装置２１０」と称する。
　第２飛行撮像装置２１０は、第１飛行撮像装置１０と同様のハードウェア構成を有する。具体的には、第２飛行撮像装置２１０は、飛行体２２０と、撮像装置２６０とを備える。飛行体２２０は、第１飛行撮像装置１０に備えられた飛行体２０と同様の構成であり、撮像装置２６０は、第１飛行撮像装置１０に備えられた撮像装置６０と同様の構成である。第２飛行撮像装置２１０に備えられた飛行体２２０は、本開示の技術に係る「第２移動体」の一例である。第２飛行撮像装置２１０に備えられた撮像装置２６０は、本開示の技術に係る「センサ」の一例である。
　第２飛行撮像装置２１０は、第１飛行撮像装置１０が目標ウェイポイント５に到達する前のタイミング（例えば、第１飛行撮像装置１０が飛行ルート４に対する飛行を開始する前のタイミング）で、飛行ルート４を飛行しながら、ウェイポイント５に到達する毎に、各ウェイポイント５に対応する撮像対象領域３を撮像する。各撮像対象領域３が撮像されることにより、撮像対象領域３を像として含む画像２６２（以下、「撮像対象領域画像２６２」と称する）が得られる。
　一例として、第２飛行撮像装置２１０は、第１飛行撮像装置１０が飛行ルート４を飛行する場合の飛行速度よりも高い飛行速度で飛行ルート４を飛行する。飛行速度は、例えば、飛行ルート４に対する飛行を開始してから終了するまでの間の飛行速度の平均値で算出されてもよい。第２飛行撮像装置２１０の飛行速度が第１飛行撮像装置１０の飛行速度よりも高く設定されることにより、第２飛行撮像装置２１０による撮像作業の効率化を図ることが可能になる。
　第２飛行撮像装置２１０は、ウェイポイント５に到達する毎に得られる撮像対象領域画像２６２に基づいて、各ウェイポイント５に対応する撮像対象領域３毎の明るさを導出する。例えば、撮像対象領域画像２６２は、光の三原色によって形成されたＲＧＢ画像であり、第２飛行撮像装置２１０は、ＲＧＢ画像を、画像２６４に変換する。以下、画像２６４を「変換画像２６４」と称する。変換画像２６４は、第１実施形態の変換画像１６４（図５参照）と同様である。そして、第２飛行撮像装置２１０は、変換画像２６４に含まれる明度の成分に基づいて、各ウェイポイント５に対応する撮像対象領域３毎の明るさを導出する。撮像対象領域３毎の明るさを導出する手法は、第１実施形態と同様である。
　また、第２飛行撮像装置２１０は、各ウェイポイント５に対応する撮像対象領域３毎の明るさに関する情報を明るさ情報２６６として生成し、生成した明るさ情報２６６を記憶する。明るさ情報２６６は、第１実施形態の明るさ情報１６６（図５参照）と同様である。図１１には、明るさ情報２６６の一例として、各ウェイポイント番号に対応する撮像対象領域３の明るさの具体的な値の一例が示されている。
　データ要求部９２は、明るさデータ２６８を要求するための要求信号１０４を、通信装置３２を介して第２飛行撮像装置２１０に対して送信する。明るさデータ２６８は、目標ウェイポイント５に対応する撮像対象領域３の明るさを示すデータである。要求信号１０４には、目標ウェイポイント５に対応するウェイポイント番号を示す情報が含まれる。
　第２飛行撮像装置２１０は、要求信号１０４を受信した場合、要求信号１０４が示すウェイポイント番号に対応する明るさを明るさ情報２６６から抽出し、抽出した明るさを示す明るさデータ２６８を第１飛行撮像装置１０の通信装置３２に対して送信する。図１１に示す例では、要求信号１０４が示すウェイポイント番号は、「ＮＯ．１」であり、「ＮＯ．１」に対応する明るさの度合いである「２０」を示す明るさデータ２６８が第２飛行撮像装置２１０によって通信装置３２に対して送信されている。
　明るさ取得部９４は、通信装置３２によって受信された明るさデータ２６８に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを取得する。
　以上詳述した通り、第３実施形態では、明るさ取得部９４によって取得された明るさは、第１飛行撮像装置１０が飛行ルート４に対する移動を開始する前のタイミングで検出された明るさである。これにより、飛行体２０が飛行ルート４に対する飛行を開始する前のタイミングで検出された明るさに基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とが取得される。よって、例えば、飛行撮像装置１０が目標ウェイポイント５に到達したタイミングで明るさが検出される場合に比べ、目標ウェイポイント５で適切なシャッタースピード及び飛行速度（例えば、像ぶれが生じないシャッタースピード及び飛行速度）が設定された状態で飛行撮像装置１０に対して撮像を行わせることができる。
　また、明るさ取得部９４によって取得された明るさは、目標ウェイポイント５から第２飛行撮像装置２１０の撮像装置６０を用いて検出された明るさである。したがって、例えば、壁面２Ａに対して目標ウェイポイント５よりも遠い位置から撮像装置６０を用いて検出された明るさに比べて、明るさの検出精度を高めることができる。
　また、撮像装置６０は、第２飛行撮像装置２１０に搭載されている。したがって、第２飛行撮像装置２１０を飛行させながら、各ウェイポイント５において、撮像対象領域３の明るさを検出することができる。
　また、第２飛行撮像装置２１０は、第１飛行撮像装置１０よりも高い飛行速度で飛行ルート４を飛行する。したがって、第２飛行撮像装置２１０が飛行ルート４を飛行するのに要する時間を、第１飛行撮像装置１０が飛行ルート４を飛行するのに要する時間よりも短くすることができる。
　なお、第３実施形態では、撮像対象領域３の明るさを検出するために撮像装置２６０が用いられているが、撮像装置２６０の代わりに照度センサ（図示省略）が用いられてもよい。照度センサは、本開示の技術に係る「センサ」の一例である。
　また、第３実施形態では、第１飛行撮像装置１０とは別の第２飛行撮像装置２１０が用いられているが、第２飛行撮像装置２１０の代わりに、第１飛行撮像装置１０が用いられてもよい。この場合、第１飛行撮像装置１０に備えられた飛行体２０は、本開示の技術に係る「第１移動体」及び「第２移動体」の一例である。
　［第４実施形態］
　次に、第４実施形態について説明する。
　第３実施形態では、第２飛行撮像装置２１０は、第１飛行撮像装置１０が飛行ルート４に対する飛行を開始する前のタイミングで、飛行ルート４を飛行しながら、ウェイポイント５に到達する毎に、各ウェイポイント５に対応する撮像対象領域３を撮像する。第４実施形態では、各ウェイポイント５に対応する撮像対象領域３が第２飛行撮像装置２１０によって撮像されるタイミングが第３実施形態とは異なる。以下、具体的に説明する。
　一例として図１２に示すように、第２飛行撮像装置２１０は、第１飛行撮像装置１０に対して先行して飛行する。飛行ルート４に沿った第１飛行撮像装置１０及び第２飛行撮像装置２１０の中心間の距離は、隣り合うウェイポイント５の中心間の距離よりも短い距離に設定されてもよく、隣り合うウェイポイント５間の距離よりも長い距離に設定されてもよい。
　第２飛行撮像装置２１０は、第１飛行撮像装置１０に対して先行して飛行ルート４を飛行しながら、ウェイポイント５に到達する毎に、各ウェイポイント５に対応する撮像対象領域３を撮像する。各撮像対象領域３が撮像されることにより、撮像対象領域画像２６２が得られる。
　第２飛行撮像装置２１０は、ウェイポイント５に到達する毎に得られる撮像対象領域画像２６２を変換画像２６４に変換し、変換画像２６４に含まれる明度の成分に基づいて、各ウェイポイント５に対応する撮像対象領域３毎の明るさを導出する。撮像対象領域３毎の明るさを導出する手法は、第３実施形態と同様である。
　また、第２飛行撮像装置２１０は、各ウェイポイント５に対応する撮像対象領域３毎の明るさに関する情報を明るさ情報２６６として生成し、生成した明るさ情報２６６を記憶する。明るさ情報２６６は、第３実施形態と同様である。図１２には、明るさ情報２６６の一例として、各ウェイポイント番号に対応する撮像対象領域３の明るさの具体的な値の一例が示されている。
　データ要求部９２は、第１飛行撮像装置１０が飛行ルート４に対する移動を開始した後、第１飛行撮像装置１０が目標ウェイポイント５に到達する前のタイミングで、明るさデータ２６８を要求するための要求信号１０４を、通信装置３２を介して第２飛行撮像装置２１０に対して送信する。明るさデータ２６８は、目標ウェイポイント５に対応する撮像対象領域３の明るさを示すデータである。要求信号１０４には、目標ウェイポイント５に対応するウェイポイント番号を示す情報が含まれる。
　第２飛行撮像装置２１０は、要求信号１０４を受信した場合、要求信号１０４が示すウェイポイント番号に対応する明るさを明るさ情報２６６から抽出し、抽出した明るさを示す明るさデータ２６８を第１飛行撮像装置１０の通信装置３２に対して送信する。図１２に示す例では、要求信号１０４が示すウェイポイント番号は、「ＮＯ．３」であり、「ＮＯ．３」に対応する明るさの度合いである「６０」を示す明るさデータ２６８が第２飛行撮像装置２１０によって通信装置３２に対して送信されている。
　明るさ取得部９４は、通信装置３２によって受信された明るさデータ２６８に基づいて、目標ウェイポイント５に対応する撮像対象領域３の明るさを取得する。
　以上詳述した通り、第４実施形態では、明るさ取得部９４によって取得された明るさは、第１飛行撮像装置１０が飛行ルート４に対する移動を開始した後、第１飛行撮像装置１０が目標ウェイポイント５に到達する前のタイミングで検出された明るさである。これにより、飛行体２０が飛行ルート４に対する移動を開始した後、飛行体２０が目標ウェイポイント５に到達する前のタイミングで検出された明るさに基づいて、明るさに対応するシャッタースピードと、シャッタースピードに対応する飛行速度とが取得される。よって、例えば、飛行撮像装置１０が目標ウェイポイント５に到達したタイミングで明るさが検出される場合に比べ、目標ウェイポイント５で適切なシャッタースピード及び飛行速度（例えば、像ぶれが生じないシャッタースピード及び飛行速度）が設定された状態で飛行撮像装置１０に対して撮像を行わせることができる。
　また、飛行体２０が飛行ルート４に対する移動を開始した後に、明るさが変化した場合でも、変化した後の明るさを、飛行体２０が目標ウェイポイント５に到達する前のタイミングで検出することができる。これにより、例えば、飛行体２０が飛行ルート４に対する移動を開始する前に明るさが検出される場合に比して、明るさの検出精度を向上させることができる。
　［第５実施形態］
　次に、第５実施形態について説明する。
　第５実施形態では、飛行撮像装置１０に備えられたプロセッサ３４は、複数の合成用画像１３２を取得し、隣接する合成用画像１３２を合成することにより合成画像１３０を生成する。また、プロセッサ３４は、合成画像１３０に対して補正処理を行う。補正処理は、本開示の技術に係る「特定処理」及び以下、具体的に説明する。
　一例として図１３に示すように、ストレージ３６には、合成画像生成プログラム１２０が記憶されている。プロセッサ３４は、ストレージ３６から合成画像生成プログラム１２０を読み出し、読み出した合成画像生成プログラム１２０をＲＡＭ３８上で実行する。プロセッサ３４は、ＲＡＭ３８上で実行する合成画像生成プログラム１２０に従って、合成画像生成処理を行う。合成画像生成処理は、プロセッサ３４が合成画像生成プログラム１２０に従って、画像合成部１２２、明るさ情報取得部１２４、及び補正処理部１２６として動作することで実現される。プロセッサ３４は、本開示の技術に係る「第２プロセッサ」の一例である。
　一例として図１４に示すように、画像合成部１２２は、各撮像対象領域３が撮像されることで得られた複数の合成用画像１３２に対して、隣接する合成用画像１３２を合成することにより合成画像１３０を生成する。
　明るさ情報取得部１２４は、俯瞰カメラ１６０で生成された明るさ情報１６６を取得する。明るさ情報１６６は、第１実施形態で説明した通り、変換画像１６４に含まれる明度の成分に基づいて生成された情報であり、各ウェイポイント５に対応する撮像対象領域３毎の明るさを示す情報である。
　補正処理部１２６は、画像合成部１２２によって合成された合成画像１３０に対して、補正処理を実行する。具体的には、補正処理は、明るさ情報取得部１２４によって取得された明るさ情報１６６に基づいて、合成画像１３０の輝度を補正する処理である。補正処理では、合成画像１３０のうちの特徴点を示す領域を除く領域に対して、輝度が補正される。
　例えば、補正処理として、合成画像１３０のうちの最も輝度の高い領域（例えば、白飛びが生じている領域）の輝度を下げる処理が実行される。また、例えば、補正処理として、隣接する合成用画像１３２間の輝度の差を補正する処理が実行される。また、例えば、補正処理として、離れた位置にある合成用画像１３２間の輝度の差を補正する処理が実行される。離れた位置にある合成用画像１３２としては、例えば、離れた位置にある合成用画像１３２の間に一つの合成用画像１３２が配置される位置関係にある合成用画像１３２、又は、合成画像１３０の四つの隅部のうちの２つの隅部に配置される位置関係にある合成用画像１３２等が挙げられる。
　合成用画像１３２間の輝度の差を補正する処理としては、例えば、合成用画像１３２間の輝度を近づける処理が挙げられる。また、例えば、補正処理として、複数の撮像対象領域３の明るさの分布に基づいて、合成画像１３０の輝度分布を補正する処理が実行される。合成画像１３０の輝度分布を補正する処理としては、例えば、輝度のムラを補正する処理が挙げられる。以上の補正処理は、合成画像１３０に対して実行される。補正処理は、本開示の技術に係る「特定処理」及び「補正処理」の一例である。
　なお、合成画像生成処理は、例えば、壁面２Ａに対して全ての合成用画像１３２が得られてから実行されてもよく、２フレーム目以降の合成用画像１３２が得られる毎に実行されてもよい。
　次に、第５実施形態に係る飛行撮像装置１０の作用について図１５を参照しながら説明する。図１５には、第５実施形態に係る合成画像生成処理の流れの一例が示されている。
　図１５に示す合成画像生成処理では、先ず、ステップＳＴ３０で、画像合成部１２２は、各撮像対象領域３が撮像されることで得られた複数の合成用画像１３２に対して、隣接する合成用画像１３２を合成することにより合成画像１３０を生成する。ステップＳＴ３０の処理が実行された後、合成画像生成処理は、ステップＳＴ３２へ移行する。
　ステップＳＴ３２で、明るさ情報取得部１２４は、俯瞰カメラ１６０で生成された明るさ情報１６６を取得する。ステップＳＴ３２の処理が実行された後、合成画像生成処理は、ステップＳＴ３４へ移行する。
　ステップＳＴ３４で、補正処理部１２６は、ステップＳＴ３２で取得された明るさ情報１６６に基づいて補正処理を実行することにより、ステップＳＴ３０で生成された合成画像１３０の輝度を補正する。これにより、輝度が補正された合成画像１３０が得られる。ステップＳＴ３４の処理が実行された後、合成画像生成処理は終了する。
　以上詳述した通り、第５実施形態では、隣接する合成用画像１３２が合成されることにより合成画像１３０が生成される。そして、各撮像対象領域３の明るさを示す明るさ情報１６６に基づいて、合成画像１３０に対して補正処理が行われることによって合成画像１３０の輝度が補正される。したがって、例えば、隣接する合成用画像１３２が合成されることによって生じる輝度のムラ等が原因で合成画像１３０の見た目が悪くなることを抑制することができる。
　また、補正処理は、合成用画像１３２間の輝度の差を補正する処理を含む。したがって、各撮像対象領域３の明るさに基づいて合成用画像１３２間の輝度の差が補正された合成画像１３０を得ることができる。
　また、補正処理は、複数の撮像対象領域３の明るさの分布に基づいて、合成画像１３０の輝度分布を補正する処理を含む。したがって、複数の撮像対象領域３の明るさの分布に基づいて輝度分布が補正された合成画像１３０を得ることができる。
　なお、上記説明では、合成画像生成処理は、飛行撮像装置１０において実行されるが、飛行撮像装置１０に通信可能に接続された外部装置（図示省略）において実行されてもよい。
　また、特定処理は、撮像対象領域３間の明るさの差が既定値を超えた場合に報知する報知処理を含んでいてもよい。既定値は、例えば、合成画像１３０に基づいて壁面２Ａを点検したり測量したりする場合に影響が生じない明るさの差の上限値に設定される。例えば、報知処理として、警告音が発せられる処理が実行されてもよい。報知処理は、本開示の技術に係る「特定処理」及び「報知処理」の一例である。このように、撮像対象領域３間の明るさの差が既定値を超えた場合に報知する報知処理が行われると、ユーザ等に対して撮像対象領域３間の明るさの差が既定値を超えたことを認識させることができる。
　また、上記実施形態では、移動体の一例として、飛行撮像装置１０が例示されているが、移動ルート上を移動する移動体であれば、どのような移動体でもよい。例えば、移動体としては、車、オートバイ、自転車、台車、ゴンドラ、飛行機、飛翔体、又は船等が挙げられる。
　また、上記実施形態では、複数のウェイポイント５とは、飛行ルート４上に設定された全てのウェイポイント５を指すが、飛行ルート４上に設定された全てのウェイポイント５のうちのいくつかのウェイポイント５を指してもよい。また、ウェイポイント５の数は、いくつでもよい。
　また、上記実施形態では、対象位置の一例として、飛行ルート４上に設定されたウェイポイント５が用いられているが、ウェイポイント５とは異なる概念の位置である対象位置が用いられてもよい。
　また、上記実施形態では、撮像装置６０は、合成用画像１３２を得るために撮像対象領域３を撮像するが、合成用画像１３２を得るため以外の目的で撮像対象領域３を撮像してもよい。
　また、上記実施形態では、プロセッサ３４が例示されているが、プロセッサ３４に代えて、又は、プロセッサ３４と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
　また、上記実施形態では、ストレージ３６に飛行撮像プログラム９０及び合成画像生成プログラム１２０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されている飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０は、飛行撮像装置１０のコンピュータ２６にインストールされてもよい。
　また、ネットワークを介して飛行撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０を記憶させておき、飛行撮像装置１０の要求に応じて飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０がダウンロードされ、コンピュータ２６にインストールされてもよい。
　また、飛行撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ３６に飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０の全てを記憶させておく必要はなく、飛行撮像プログラム９０及び／又は合成画像生成プログラム１２０の一部を記憶させておいてもよい。
　また、飛行撮像装置１０には、コンピュータ２６が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ２６が飛行撮像装置１０の外部に設けられるようにしてもよい。
　また、上記実施形態では、プロセッサ３４、ストレージ３６、及びＲＡＭ３８を含むコンピュータ２６が例示されているが、本開示の技術はこれに限定されず、コンピュータ２６に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ２６に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (20)

  1. 　第１プロセッサを備え、
    　前記第１プロセッサは、
    　撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、前記対象位置から前記撮像装置によって撮像される撮像対象領域の明るさを取得し、
    　前記明るさに対応するシャッタースピードと、前記シャッタースピードに対応する移動速度とを取得し、
    　前記対象位置において、前記第１移動体を前記移動速度で移動させながら、前記シャッタースピードで前記撮像装置に前記撮像対象領域を撮像させる
    　制御装置。
  2. 　前記第１プロセッサは、前記明るさと、前記シャッタースピードと、前記移動速度との関係を表す関係情報に基づいて、前記明るさに対応する前記シャッタースピードと、前記シャッタースピードに対応する前記移動速度とを取得する
    　請求項１に記載の制御装置。
  3. 　前記関係情報を記憶しているメモリをさらに備える
    　請求項２に記載の制御装置。
  4. 　前記明るさは、前記対象位置からセンサを用いて検出された明るさである
    　請求項１から請求項３の何れか一項に記載の制御装置。
  5. 　前記センサは、第２移動体に搭載されている
    　請求項４に記載の制御装置。
  6. 　前記対象位置は、移動ルート上に設定されており、
    　前記明るさは、前記第２移動体が前記移動速度よりも高い速度で前記移動ルートを移動しながら検出された明るさである
    　請求項５に記載の制御装置。
  7. 　前記明るさは、前記撮像対象領域を含む被写体を俯瞰する俯瞰カメラを用いて検出された明るさである
    　請求項１から請求項３の何れか一項に記載の制御装置。
  8. 　前記被写体は、複数の前記撮像対象領域を含む
    　請求項７に記載の制御装置。
  9. 　前記対象位置は、移動ルート上に設定されており、
    　前記明るさは、前記第１移動体が前記移動ルートに対する移動を開始する前のタイミングで検出された明るさである
    　請求項１から請求項８の何れか一項に記載の制御装置。
  10. 　前記対象位置は、移動ルート上に設定されており、
    　前記明るさは、前記第１移動体が前記移動ルートに対する移動を開始した後、前記第１移動体が前記対象位置に到達する前のタイミングで検出された明るさである
    　請求項１から請求項８の何れか一項に記載の制御装置。
  11. 　前記第１移動体が移動する移動先として複数の前記対象位置が設定されており、
    　前記第１プロセッサは、複数の前記対象位置において、一定の絞り値で前記撮像装置に前記撮像対象領域を撮像させる
    　請求項１から請求項１０の何れか一項に記載の制御装置。
  12. 　前記第１移動体が移動する移動先として複数の前記対象位置が設定されており、
    　前記第１プロセッサは、前記対象位置毎に、前記明るさ及び／又は前記シャッタースピードに対応する絞り値で前記撮像装置に前記撮像対象領域を撮像させる
    　請求項１から請求項１０の何れか一項に記載の制御装置。
  13. 　前記第１移動体が移動する移動先として複数の前記対象位置が設定されており、
    　前記第１プロセッサは、前記対象位置毎に、前記撮像装置に前記撮像対象領域を撮像させることによって得られた合成用画像を取得し、
    　前記合成用画像は、隣接する前記合成用画像同士の一部がオーバーラップする画像である
    　請求項１から請求項１２の何れか一項に記載の制御装置。
  14. 　隣接する前記合成用画像を合成することにより合成画像を生成する第２プロセッサをさらに備え、
    　前記第２プロセッサは、前記明るさに基づいて、前記合成画像に対して特定処理を行う
    　請求項１３に記載の制御装置。
  15. 　前記特定処理は、前記合成画像の輝度を補正する補正処理を含む
    　請求項１４に記載の制御装置。
  16. 　前記補正処理は、前記合成用画像間の前記輝度の差を補正する処理を含む
    　請求項１５に記載の制御装置。
  17. 　前記補正処理は、前記明るさの分布に基づいて、前記合成画像の輝度分布を補正する処理を含む
    　請求項１５又は請求項１６に記載の制御装置。
  18. 　前記特定処理は、前記撮像対象領域間の前記明るさの差が既定値を超えた場合に報知する報知処理を含む
    　請求項１４から請求項１７の何れか一項に記載の制御装置。
  19. 　撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、前記対象位置から前記撮像装置によって撮像される撮像対象領域の明るさを取得すること、
    　前記明るさに対応するシャッタースピードと、前記シャッタースピードに対応する移動速度とを取得すること、及び、
    　前記対象位置において、前記第１移動体を前記移動速度で移動させながら、前記シャッタースピードで前記撮像装置に前記撮像対象領域を撮像させること
    　を含む制御方法。
  20. 　撮像装置が搭載された第１移動体が対象位置に到達する前のタイミングで、前記対象位置から前記撮像装置によって撮像される撮像対象領域の明るさを取得すること、
    　前記明るさに対応するシャッタースピードと、前記シャッタースピードに対応する移動速度とを取得すること、及び、
    　前記対象位置において、前記第１移動体を前記移動速度で移動させながら、前記シャッタースピードで前記撮像装置に前記撮像対象領域を撮像させること
    　を含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2023/012978 2022-07-19 2023-03-29 制御装置、制御方法、及びプログラム WO2024018691A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022115112 2022-07-19
JP2022-115112 2022-07-19

Publications (1)

Publication Number Publication Date
WO2024018691A1 true WO2024018691A1 (ja) 2024-01-25

Family

ID=89617607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012978 WO2024018691A1 (ja) 2022-07-19 2023-03-29 制御装置、制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024018691A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP2017204835A (ja) * 2016-05-13 2017-11-16 株式会社リコー 撮影制御システム、制御方法、及びプログラム
JP2021027409A (ja) * 2019-07-31 2021-02-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP2017204835A (ja) * 2016-05-13 2017-11-16 株式会社リコー 撮影制御システム、制御方法、及びプログラム
JP2021027409A (ja) * 2019-07-31 2021-02-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
WO2018072657A1 (zh) 图像处理的方法、处理图像的装置、多目摄像装置以及飞行器
JP7556383B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
US11122215B2 (en) Imaging apparatus, unmanned moving object, imaging method, system, and program
US20180275659A1 (en) Route generation apparatus, route control system and route generation method
JP2017085550A (ja) 自動露光制御のために空の画像の区分を用いる前方視カメラ付きドローン
CN108780262B (zh) 一种相对于成像装置内的图像传感器移动光学器件的方法和装置
WO2017107075A1 (en) System, method, and mobile platform for supporting bracketing imaging
JP6949930B2 (ja) 制御装置、移動体および制御方法
WO2024018691A1 (ja) 制御装置、制御方法、及びプログラム
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
EP3529977B1 (en) A bundle adjustment system
WO2024047948A1 (ja) 制御装置、制御方法、及びプログラム
WO2020012632A1 (ja) Ｕａｖ制御装置およびｕａｖ制御方法
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2021117388A1 (ja) 移動体、制御装置、及び撮像方法
WO2021035749A1 (zh) 三维重建模型的优化方法、设备和可移动平台
WO2023127313A1 (ja) 撮像支援装置、撮像支援方法、及びプログラム
WO2024038647A1 (ja) 撮像支援装置、撮像装置、撮像支援方法、及びプログラム
WO2023195394A1 (ja) 撮像支援装置、移動体、撮像支援方法、及びプログラム
RU2798604C1 (ru) Бпла и способ выполнения аэрофотосъемки
RU2796697C1 (ru) Устройство и способ для формирования ортофотоплана
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23842627

Country of ref document: EP

Kind code of ref document: A1