WO2018185939A1 - 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム - Google Patents

撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム Download PDF

Info

Publication number
WO2018185939A1
WO2018185939A1 PCT/JP2017/014554 JP2017014554W WO2018185939A1 WO 2018185939 A1 WO2018185939 A1 WO 2018185939A1 JP 2017014554 W JP2017014554 W JP 2017014554W WO 2018185939 A1 WO2018185939 A1 WO 2018185939A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur amount
imaging
lens
captured
Prior art date
Application number
PCT/JP2017/014554
Other languages
English (en)
French (fr)
Inventor
明 邵
本庄　謙一
Original Assignee
エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスゼット ディージェイアイ テクノロジー カンパニー リミテッド filed Critical エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority to CN201780002652.0A priority Critical patent/CN108235815B/zh
Priority to PCT/JP2017/014554 priority patent/WO2018185939A1/ja
Priority to JP2017560332A priority patent/JPWO2018185939A1/ja
Publication of WO2018185939A1 publication Critical patent/WO2018185939A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to an imaging control device, an imaging device, an imaging system, a moving body, an imaging control method, and a program.
  • Patent Document 1 discloses an image processing apparatus that calculates distance information of a subject in an image using a plurality of images with different blurs shot with different shooting parameters. Patent Document 1 Japanese Patent No. 5932476
  • the distance to the subject When calculating the distance to the subject based on the blur amounts of a plurality of images, if the difference between the blur amounts of the plurality of images is small, the distance to the subject may not be calculated accurately.
  • the imaging control device of the present invention the first image included in the first captured image captured in a state where the imaging surface and the lens are in the first positional relationship, and the imaging surface and the lens are in the second positional relationship
  • You may provide the acquisition part which acquires the 2nd image contained in the 2nd captured image imaged by (1).
  • the imaging control apparatus may include a calculation unit that calculates the amount of blur of each of the first image and the second image. When the difference between the blur amount of the first image and the blur amount of the second image is equal to or greater than the first threshold value, the imaging control device determines whether the imaging surface and the lens are based on the blur amounts of the first image and the second image.
  • a control unit for controlling the positional relationship may be provided.
  • the acquisition unit applies the third captured image captured in a state where the imaging surface and the lens are in the third positional relationship.
  • a third image included may be further acquired.
  • the calculation unit may further calculate the blur amount of the third image.
  • the control unit determines whether the imaging surface and the lens are based on the blur amounts of the first image and the third image. The positional relationship may be controlled.
  • the acquisition unit may further acquire a fourth image included in the first captured image and a fifth image included in the second captured image.
  • the calculation unit may further calculate the blur amount of each of the fourth image and the fifth image.
  • the control unit is configured such that the difference between the blur amount of the first image and the blur amount of the second image is smaller than the first threshold value, and the difference between the blur amount of the fourth image and the blur amount of the fifth image is greater than or equal to the first threshold value.
  • the positional relationship between the imaging surface and the lens may be controlled based on the blur amounts of the fourth image and the fifth image.
  • the acquisition unit may further acquire a fourth image adjacent to the first image included in the first captured image and a fifth image adjacent to the second image included in the second captured image.
  • the calculation unit may further calculate the blur amount of each of the fourth image and the fifth image.
  • the control unit determines that the difference between the blur amount of the first image and the blur amount of the second image is equal to or greater than the first threshold value, and the difference between the blur amount of the fourth image and the blur amount of the fifth image is equal to or greater than the first threshold value.
  • the positional relationship between the imaging surface and the lens may be controlled based on the respective blur amounts of the first image, the second image, the fourth image, and the fifth image.
  • the imaging control device derives a first distance to the first object included in the first image and the second image based on the blur amount of the first image and the blur amount of the second image, and blurs the fourth image.
  • a derivation unit may be provided that derives the second distance to the second object included in the fourth image and the fifth image based on the amount and the blur amount of the fifth image.
  • the control unit may control the positional relationship between the imaging surface and the lens based on the first distance and the second distance.
  • the acquisition unit applies the third captured image captured in a state where the imaging surface and the lens are in the third positional relationship.
  • a sixth image included may be further acquired.
  • the calculation unit may further calculate the blur amount of the sixth image.
  • the control unit is configured such that the difference between the blur amount of the first image and the blur amount of the second image is equal to or greater than the first threshold value, and the difference between the blur amount of the fourth image and the blur amount of the sixth image is equal to or greater than the first threshold value.
  • the positional relationship between the imaging surface and the lens may be controlled based on the respective blur amounts of the first image, the second image, the fourth image, and the sixth image.
  • the acquisition unit may further acquire a fourth image included in the first captured image and a fifth image included in the second captured image.
  • the calculation unit may further calculate the blur amount of each of the fourth image and the fifth image.
  • the imaging control device derives a first distance to the first object included in the first image and the second image based on the blur amounts of the first image and the second image, and calculates the fourth image and the fifth image. You may provide the derivation
  • the positional relationship between the imaging surface and the lens may be controlled based on the first distance.
  • a sixth image included in the third captured image captured in a state where the lens is in the third positional relationship may be further acquired.
  • the calculation unit may further calculate the blur amount of the sixth image.
  • the control unit determines whether the imaging surface is based on the blur amount of the first image and each blur amount of the sixth image. The positional relationship with the lens may be controlled.
  • the information processing apparatus may further include a specifying unit that specifies a region of the second captured image corresponding to the first image by comparing the feature point included in the first image with the feature point of the second captured image.
  • the acquisition unit performs the first captured image and the first captured image on the second captured image. You may acquire the image of the area
  • the acquisition unit may acquire the region as the second image when the difference between the position of the first image in the first captured image and the position of the region in the second captured image is greater than the second threshold.
  • the acquisition unit acquires the image of the region as the second image when the difference between the position of the first image in the first captured image and the position of the region in the second captured image is greater than the second threshold value and less than or equal to the third threshold value. You can do it.
  • the specifying unit may specify each feature point based on the luminance of the first image and the luminance of the region of the second captured image.
  • the specifying unit may specify the center of brightness of the first image as a feature point included in the first image and specify the center of brightness of the region of the second captured image as a feature point of the second captured image.
  • the imaging surface and the lens may be changed from the first positional relationship to the second positional relationship.
  • the position of the imaging surface may be changed to change the state of the imaging surface and the lens from the first positional relationship to the second positional relationship.
  • An imaging device includes the imaging control device, an image sensor having an imaging surface, and a lens.
  • An imaging system includes the imaging device and a support mechanism that supports the imaging device.
  • a moving body according to one embodiment of the present invention moves by mounting the imaging system.
  • the first image included in the first captured image captured in a state where the imaging surface and the lens are in the first positional relationship, and the imaging surface and the lens are in the second position.
  • You may provide the step which acquires the 2nd image contained in the 2nd picked-up image imaged in the state where it is in a relation.
  • the imaging control method may include a step of calculating a blur amount of each of the first image and the second image. When the difference between the blur amount of the first image and the blur amount of the second image is greater than or equal to the first threshold value, the imaging control method is based on the respective blur amounts of the first image and the second image.
  • the step of controlling the positional relationship may be provided.
  • the first image included in the first captured image captured in a state where the imaging surface and the lens are in the first positional relationship, and the imaging surface and the lens are in the second positional relationship.
  • You may make a computer perform the step which acquires the 2nd image contained in the 2nd picked-up image imaged in a certain state.
  • the program may cause the computer to execute a step of calculating a blur amount of each of the first image and the second image.
  • the program determines the positions of the imaging surface and the lens based on the blur amounts of the first image and the second image.
  • the computer may perform the step of controlling the relationship.
  • the positional relationship between the imaging surface and the lens can be adjusted more accurately based on the amount of blur of a plurality of images.
  • FIG. 6 is a flowchart illustrating an example of a procedure of BDAF AF processing.
  • 12 is a flowchart illustrating another example of a procedure of BDAF AF processing.
  • 12 is a flowchart illustrating another example of a procedure of BDAF AF processing.
  • 12 is a flowchart illustrating another example of a procedure of BDAF AF processing.
  • It is a figure which shows another example of the functional block of an unmanned aerial vehicle.
  • a block is either (1) a stage in a process in which an operation is performed or (2) an apparatus responsible for performing the operation. May represent a “part”.
  • Certain stages and “units” may be implemented by programmable circuits and / or processors.
  • Dedicated circuitry may include digital and / or analog hardware circuitry.
  • Integrated circuits (ICs) and / or discrete circuits may be included.
  • the programmable circuit may include a reconfigurable hardware circuit.
  • Reconfigurable hardware circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc.
  • the memory element or the like may be included.
  • the computer readable medium may include any tangible device capable of storing instructions to be executed by a suitable device.
  • a computer readable medium having instructions stored thereon comprises a product that includes instructions that can be executed to create a means for performing the operations specified in the flowcharts or block diagrams.
  • Examples of computer readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically erasable programmable read only memory (EEPROM), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), Blu-ray (RTM) disc, memory stick, integrated A circuit card or the like may be included.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • EEPROM Electrically erasable programmable read only memory
  • SRAM static random access memory
  • CD-ROM compact disc read only memory
  • DVD digital versatile disc
  • RTM Blu-ray
  • the computer readable instructions may include either source code or object code written in any combination of one or more programming languages.
  • the source code or object code includes a conventional procedural programming language.
  • Conventional procedural programming languages include assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or Smalltalk, JAVA, C ++, etc. It may be an object-oriented programming language and a “C” programming language or a similar programming language.
  • Computer readable instructions may be directed to a general purpose computer, special purpose computer, or other programmable data processing device processor or programmable circuit locally or in a wide area network (WAN) such as a local area network (LAN), the Internet, etc. ).
  • WAN wide area network
  • LAN local area network
  • the Internet etc.
  • the processor or programmable circuit may execute computer readable instructions to create a means for performing the operations specified in the flowcharts or block diagrams.
  • Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
  • FIG. 1 shows an example of the external appearance of an unmanned aerial vehicle (UAV) 10 and a remote control device 300.
  • the UAV 10 includes a UAV main body 20, a gimbal 50, a plurality of imaging devices 60, and an imaging device 100.
  • the gimbal 50 and the imaging device 100 are an example of an imaging system.
  • the UAV 10 is an example of a moving body propelled by a propulsion unit.
  • the moving body is a concept including a flying body such as another aircraft moving in the air, a vehicle moving on the ground, a ship moving on the water, etc. in addition to the UAV.
  • the UAV main body 20 includes a plurality of rotor blades.
  • the plurality of rotor blades is an example of a propulsion unit.
  • the UAV main body 20 causes the UAV 10 to fly by controlling the rotation of a plurality of rotor blades.
  • the UAV main body 20 causes the UAV 10 to fly using four rotary wings.
  • the number of rotor blades is not limited to four.
  • the UAV 10 may be a fixed wing machine that does not have a rotating wing.
  • the imaging apparatus 100 is an imaging camera that images a subject included in a desired imaging range.
  • the gimbal 50 supports the imaging device 100 in a rotatable manner.
  • the gimbal 50 is an example of a support mechanism.
  • the gimbal 50 supports the imaging device 100 so as to be rotatable about the pitch axis using an actuator.
  • the gimbal 50 further supports the imaging device 100 using an actuator so as to be rotatable about the roll axis and the yaw axis.
  • the gimbal 50 may change the posture of the imaging device 100 by rotating the imaging device 100 about at least one of the yaw axis, the pitch axis, and the roll axis.
  • the plurality of imaging devices 60 are sensing cameras that image the surroundings of the UAV 10 in order to control the flight of the UAV 10.
  • Two imaging devices 60 may be provided in the front which is the nose of UAV10.
  • Two other imaging devices 60 may be provided on the bottom surface of the UAV 10.
  • the two imaging devices 60 on the front side may be paired and function as a so-called stereo camera.
  • the two imaging devices 60 on the bottom side may also be paired and function as a stereo camera. Based on images picked up by a plurality of image pickup devices 60, three-dimensional spatial data around the UAV 10 may be generated.
  • the number of imaging devices 60 included in the UAV 10 is not limited to four.
  • the UAV 10 only needs to include at least one imaging device 60.
  • the UAV 10 may include at least one imaging device 60 on each of the nose, the tail, the side surface, the bottom surface, and the ceiling surface of the UAV 10.
  • the angle of view that can be set by the imaging device 60 may be wider than the angle of view that can be set by the imaging device 100.
  • the imaging device 60 may have a single focus lens or a fisheye lens.
  • the remote operation device 300 communicates with the UAV 10 to remotely operate the UAV 10.
  • the remote operation device 300 may communicate with the UAV 10 wirelessly.
  • the remote control device 300 transmits to the UAV 10 instruction information indicating various commands related to movement of the UAV 10 such as ascending, descending, accelerating, decelerating, moving forward, moving backward, and rotating.
  • the instruction information includes, for example, instruction information for raising the altitude of the UAV 10.
  • the instruction information may indicate the altitude at which the UAV 10 should be located.
  • the UAV 10 moves so as to be located at an altitude indicated by the instruction information received from the remote operation device 300.
  • the instruction information may include an ascending command that raises the UAV 10.
  • the UAV 10 rises while accepting the ascent command. Even if the UAV 10 receives the ascending command, the UAV 10 may limit the ascent when the altitude of the UAV 10 has reached the upper limit altitude.
  • FIG. 2 shows an example of functional blocks of the UAV10.
  • the UAV 10 includes a UAV control unit 30, a memory 32, a communication interface 34, a propulsion unit 40, a GPS receiver 41, an inertial measurement device 42, a magnetic compass 43, a barometric altimeter 44, a temperature sensor 45, a gimbal 50, and the imaging device 100. .
  • the communication interface 34 communicates with other devices such as the remote operation device 300.
  • the communication interface 34 may receive instruction information including various commands for the UAV control unit 30 from the remote operation device 300.
  • the memory 32 includes a propulsion unit 40, a GPS receiver 41, an inertial measurement device (IMU) 42, a magnetic compass 43, a barometric altimeter 44, a temperature sensor 45, a gimbal 50, an imaging device 60, and the imaging device 100. Stores programs and the like necessary for controlling
  • the memory 32 may be a computer-readable recording medium and may include at least one of flash memory such as SRAM, DRAM, EPROM, EEPROM, and USB memory.
  • the memory 32 may be provided inside the UAV main body 20. It may be provided so as to be removable from the UAV main body 20.
  • the UAV control unit 30 controls the flight and imaging of the UAV 10 according to a program stored in the memory 32.
  • the UAV control unit 30 may be configured by a microprocessor such as a CPU or MPU, a microcontroller such as an MCU, or the like.
  • the UAV control unit 30 controls the flight and imaging of the UAV 10 according to a command received from the remote control device 300 via the communication interface 34.
  • the propulsion unit 40 propels the UAV 10.
  • the propulsion unit 40 includes a plurality of rotating blades and a plurality of drive motors that rotate the plurality of rotating blades.
  • the propulsion unit 40 causes the UAV 10 to fly by rotating a plurality of rotor blades via a plurality of drive motors in accordance with a command from the UAV control unit 30.
  • the GPS receiver 41 receives a plurality of signals indicating times transmitted from a plurality of GPS satellites.
  • the GPS receiver 41 calculates the position of the GPS receiver 41, that is, the position of the UAV 10 based on the received signals.
  • the IMU 42 detects the posture of the UAV 10.
  • the IMU 42 detects, as the posture of the UAV 10, acceleration in the three axial directions of the front, rear, left, and right of the UAV 10, and angular velocity in the three axial directions of pitch, roll, and yaw.
  • the magnetic compass 43 detects the heading of the UAV 10.
  • the barometric altimeter 44 detects the altitude at which the UAV 10 flies.
  • the barometric altimeter 44 detects the atmospheric pressure around the UAV 10, converts the detected atmospheric pressure into an altitude, and detects the altitude.
  • the temperature sensor 45 detects the temperature around the UAV 10.
  • the imaging apparatus 100 includes an imaging unit 102 and a lens unit 200.
  • the lens unit 200 is an example of a lens device.
  • the imaging unit 102 includes an image sensor 120, an imaging control unit 110, and a memory 130.
  • the image sensor 120 may be configured by a CCD or a CMOS.
  • the image sensor 120 outputs image data of an optical image formed through the plurality of lenses 210 to the imaging control unit 110.
  • the imaging control unit 110 may be configured by a microprocessor such as a CPU or MPU, a microcontroller such as an MCU, or the like.
  • the imaging control unit 110 may control the imaging device 100 in accordance with an operation command for the imaging device 100 from the UAV control unit 30.
  • the memory 130 may be a computer-readable recording medium and may include at least one of flash memory such as SRAM, DRAM, EPROM, EEPROM, and USB memory.
  • the memory 130 stores a program and the like necessary for the imaging control unit 110 to control the image sensor 120 and the like.
  • the memory 130 may be provided inside the housing of the imaging device 100.
  • the memory 130 may be provided so as to be removable from the housing of the imaging apparatus 100.
  • the lens unit 200 includes a plurality of lenses 210, a lens moving mechanism 212, and a lens control unit 220.
  • the plurality of lenses 210 may function as a zoom lens, a varifocal lens, and a focus lens. At least some or all of the plurality of lenses 210 are arranged to be movable along the optical axis.
  • the lens unit 200 may be an interchangeable lens that is detachably attached to the imaging unit 102.
  • the lens moving mechanism 212 moves at least some or all of the plurality of lenses 210 along the optical axis.
  • the lens control unit 220 drives the lens moving mechanism 212 in accordance with a lens control command from the imaging unit 102 to move one or a plurality of lenses 210 along the optical axis direction.
  • the lens control command is, for example, a zoom control command and a focus control command.
  • the imaging apparatus 100 configured in this manner performs an autofocus process (AF process) and images a desired subject.
  • AF process autofocus process
  • the imaging apparatus 100 determines the distance from the lens to the subject (subject distance) in order to execute the AF process.
  • a method for determining the subject distance there is a method of determining based on the blur amounts of a plurality of images captured in a state where the positional relationship between the lens and the imaging surface is different.
  • this method is referred to as a blur detection auto focus (BDAF) method.
  • BDAF blur detection auto focus
  • the blur amount (Cost) of the image can be expressed by the following equation (1) using a Gaussian function.
  • x indicates a pixel position in the horizontal direction.
  • ⁇ represents a standard deviation value.
  • FIG. 3 shows an example of a curve represented by Equation (1).
  • FIG. 4 is a flowchart illustrating an example of a distance calculation procedure of the BDAF method.
  • the imaging apparatus 100 in a state in which the lens and the image plane is in the first positional relationship, for storing the image I 1 of the first sheet in the memory 130 by photographing.
  • the imaging surface of the focusing lens or the image sensor 120 in the optical axis direction, the lens and the imaging surface in the state in the second positional relationship, captured image I 2 of the second sheet by the imaging device 100 And stored in the memory 130 (S101).
  • the focus lens or the imaging surface of the image sensor 120 is moved in the optical axis direction so as not to exceed the focal point.
  • the moving amount of the imaging surface of the focus lens or the image sensor 120 may be 10 ⁇ m, for example.
  • the imaging device 100 divides the image I 1 into a plurality of regions (S102). Calculates a feature amount for each pixel in the image I2, may divide the image I 1 into a plurality of regions of pixel groups having a feature amount that is similar as a single region. A pixel group in a range set in the AF processing frame in the image I 1 may be divided into a plurality of regions. Imaging device 100 divides the image I 2 into a plurality of regions corresponding to a plurality of areas of the image I 1. The imaging apparatus 100 includes an object included in each of the plurality of regions based on the amount of blur of each of the plurality of regions of the image I 1 and the amount of blur of each of the plurality of regions of the image I 2. Is calculated (S103).
  • the distance calculation procedure will be further described with reference to FIG.
  • the distance from the lens L (principal point) to the object 510 (object surface) is A
  • the distance from the lens L (principal point) to the position (image plane) where the object 510 forms an image on the imaging surface is B
  • the focal length is F.
  • the relationship between the distance A, the separation B, and the focal length F can be expressed by the following formula (2) from the lens formula.
  • the focal length F is specified by the lens position. Therefore, if the distance B at which the object 510 forms an image on the imaging surface can be specified, the distance A from the lens L to the object 510 can be specified using Expression (2).
  • the distance B is specified by calculating the position at which the object 510 forms an image from the blur size (the circles of confusion 512 and 514) of the object 510 projected on the imaging surface.
  • A can be specified. That is, the imaging position can be specified in consideration of the fact that the size of blur (the amount of blur) is proportional to the imaging surface and the imaging position.
  • Each image is blurred.
  • the point spread function at this time is PSF, and the images at D 1 and D 2 are I d1 and I d2 , respectively.
  • the image I 1 can be expressed by the following equation (3) by a convolution operation.
  • the value C shown in the equation (4) corresponds to the amount of change in the blur amounts of the images I d1 and I d2 , that is, the value C corresponds to the difference between the blur amount of the image I d1 and the blur amount of the image I d2n. .
  • the curve 500 as shown in FIG. 3 can be accurately identified if the difference between the two images is small. Therefore, the distance to the object may not be calculated accurately.
  • the Gaussian function curve 522 specified from (t 0 ) and the blur amount C (t 1 ) may not be an ideal curve.
  • the lens position 524 specified from the curve 522 is deviated from the ideal lens position 520 corresponding to the imaging position.
  • Figure 6B is similar, as obtained from the image I 0 blur C (t 0), the difference is smaller than the threshold value Th between the blur resulting from the image I 2 weight C (t 2).
  • the lens position 528 specified from the curve 526 of the Gaussian function specified from the blur amount C (t 0 ) and the blur amount C (t 2 ) is shifted from the ideal lens position 520.
  • FIG. 1 For example, as shown in FIG. 1
  • the lens position 532 specified from the curve 530 of the Gaussian function specified from the amount C (t 0 ) and the blur amount C (t 3 ) coincides with the ideal lens position 520.
  • x or X indicates the position of the focus lens.
  • the difference in blur amount between images to be compared is equal to or greater than a predetermined threshold.
  • the imaging control unit 110 included in the imaging device 100 includes an acquisition unit 112, a calculation unit 114, a derivation unit 116, and a focusing control unit 140, as shown in FIG.
  • the acquisition unit 112 is captured in a state where the first image included in the first captured image captured in a state where the imaging surface and the lens are in the first positional relationship, and the imaging surface and the lens are in the second positional relationship.
  • a second image included in the second captured image is acquired.
  • the acquisition unit 112 obtains an image 601 from images 601 to 605 in the AF processing frame 610 of the captured image 600 captured in a state where the imaging surface and the lens are in the first positional relationship. To get.
  • the acquisition unit 112 changes the positional relationship between the imaging surface and the lens by moving the imaging surface of the focus lens or the image sensor 120, and then the image 621 in the AF processing frame 630 of the captured image 620 that has been captured.
  • Image 621 is acquired from .about.625.
  • the acquisition unit 112 acquires an image of a region having a feature amount satisfying a predetermined condition from a plurality of regions in the AF processing frame.
  • the acquisition unit 112 may acquire an image of each region when the feature amounts of the plurality of regions in the AF processing frame satisfy a predetermined condition.
  • the calculation unit 114 calculates the blur amount of each of the first image and the second image. For example, the calculation unit 114 calculates the blur amount C (t) of each of the image 601 and the image 621.
  • the focus control unit 140 determines the imaging surface based on the blur amounts of the first image and the second image.
  • the positional relationship between the lens and the lens is controlled.
  • the focusing control unit 140 may control the positional relationship between the imaging surface and the lens by controlling the position of at least one of the imaging surface and the lens.
  • the first threshold Th1 may be determined according to the specification of the imaging device 100.
  • the first threshold Th1 may be determined based on the lens characteristics of the imaging device 100.
  • the first threshold Th1 may be determined based on the pixel pitch of the image sensor 120.
  • the focus control unit 140 is an example of a control unit that controls the positional relationship between the imaging surface and the lens.
  • the deriving unit 116 derives a first distance to the first object included in the first image and the second image based on the blur amount of the first image and the blur amount of the second image.
  • the deriving unit 116 may derive the distance to the object 650 included in the image 601 and the image 621 based on, for example, the above equation (2) and the geometric relationship illustrated in FIG.
  • the focusing control unit 140 may perform the AF process by moving the focus lens or the imaging surface of the image sensor 120 based on the distance to the object 650 derived by the deriving unit 116.
  • the acquisition unit 112 captures the third image captured in a state where the imaging surface and the lens are in the third positional relationship.
  • a third image included in the image may be further acquired.
  • the acquisition unit 112 may acquire the image 661 included in the captured image 660 captured in the third positional relationship.
  • the calculating unit 114 may further calculate the blur amount of the third image.
  • the focus control unit 140 determines the imaging surface based on the blur amounts of the first image and the third image. The positional relationship between the lens and the lens may be controlled.
  • the focusing control unit 140 focuses on the object 650 based on the blur amounts of the image 601 and the image 661. As described above, the imaging surface of the focus lens or the image sensor 120 may be moved.
  • the acquisition unit 112 may further acquire the fourth image included in the first captured image and the fifth image included in the second captured image.
  • the acquisition unit 112 may acquire an image 602 included in the captured image 600 and an image 622 included in the captured image 620.
  • the calculation unit 114 may calculate the blur amounts of the fourth image and the fifth image.
  • the calculation unit 114 may calculate the blur amounts of the image 602 and the image 622.
  • the focusing control unit 140 determines that the difference between the blur amount of the first image and the blur amount of the second image is smaller than the first threshold Th1, and the difference between the blur amount of the fourth image and the blur amount of the fifth image is the first.
  • the positional relationship between the imaging surface and the lens may be controlled based on the blur amounts of the fourth image and the fifth image.
  • the deriving unit 116 may derive the second distance to the second object included in the fourth image and the fifth image based on the blur amount of the fourth image and the blur amount of the fifth image.
  • the deriving unit 116 may derive the distance to the object 652 included in the image 602 and the image 622 based on, for example, the above equation (2) and the geometric relationship illustrated in FIG.
  • the focusing control unit 140 determines that the difference between the blur amount of the image 601 and the blur amount of the image 621 is smaller than the first threshold Th1, and the difference between the blur amount of the image 602 and the blur amount of the image 622 is the first threshold value.
  • Th1 or more the positional relationship between the imaging surface and the lens may be controlled based on the respective blur amounts of the image 602 and the image 622.
  • the focusing control unit 140 moves the imaging surface of the focus lens or the image sensor 120 so that the object 652 is focused based on the image 602 derived by the deriving unit 116 and the distance to the object 652 included in the image 622. You may let me.
  • the acquisition unit 112 may acquire a fourth image adjacent to the first image included in the first captured image and a fifth image adjacent to the second image included in the second captured image. For example, the acquisition unit 112 may acquire an image 602 adjacent to the image 601 included in the captured image 600 and an image 622 adjacent to the image 621 included in the captured image 620.
  • the calculation unit 114 may calculate the blur amounts of the fourth image and the fifth image. For example, the calculation unit 114 may calculate the blur amounts of the image 602 and the image 622.
  • the focus control unit 140 determines that the difference between the blur amount of the first image and the blur amount of the second image is greater than or equal to the first threshold Th1, and the difference between the blur amount of the fourth image and the blur amount of the fifth image is the first.
  • the threshold value is Th1 or more
  • the positional relationship between the imaging surface and the lens may be controlled based on the blur amounts of the first image, the second image, the fourth image, and the fifth image.
  • the focusing control unit 140 determines that the difference between the blur amount of the image 601 and the blur amount of the image 621 is equal to or greater than the first threshold Th1, and the difference between the blur amount of the image 602 and the blur amount of the image 622 is the first threshold value.
  • the positional relationship between the imaging surface and the lens may be controlled based on the respective blur amounts of the image 601, the image 621, the image 602, and the image 622.
  • the focus control unit 140 is based on the distance to the object 650 specified based on the blur amounts of the images 601 and 621 and the distance to the object 652 specified based on the blur amounts of the images 602 and 622.
  • the focus control unit 140 may determine the distance of the subject in the AF processing frame based on the distance of each weighted region according to the weight set in advance in each region in the AF processing frame.
  • the acquisition unit 112 captures the third image captured in a state where the imaging surface and the lens are in the third positional relationship.
  • a sixth image included in the image may be further acquired.
  • the acquisition unit 112 may further acquire the image 662 included in the captured image 660 after further changing the positional relationship between the imaging surface and the lens from the second positional relationship to the third positional relationship.
  • the calculation unit 114 may calculate the blur amount of the sixth image.
  • the calculation unit 114 may calculate the blur amount of the image 662.
  • the focus control unit 140 determines that the difference between the blur amount of the first image and the blur amount of the second image is greater than or equal to the first threshold Th1, and the difference between the blur amount of the fourth image and the blur amount of the sixth image is the first.
  • the positional relationship between the imaging surface and the lens may be controlled based on the blur amounts of the first image, the second image, the fourth image, and the sixth image.
  • the focus control unit 140 determines that the difference between the blur amount of the image 601 and the blur amount of the image 621 is equal to or greater than the first threshold Th1, and the difference between the blur amount of the image 602 and the blur amount of the image 662 is equal to or greater than the first threshold Th1.
  • the positional relationship between the imaging surface and the lens may be controlled based on the respective blur amounts of the image 601, the image 621, the image 602, and the image 662.
  • the in-focus control unit 140 satisfies the first imaging condition derived by the deriving unit 116 and the second distance derived by the deriving unit 116 does not satisfy the predetermined imaging condition.
  • the positional relationship between the imaging surface and the lens may be controlled based on the first distance.
  • the imaging condition may be a condition determined by a shooting mode such as a portrait mode or a landscape mode.
  • the imaging conditions may be conditions such as close-end priority and infinite-end priority.
  • the focusing control unit 140 has the shortest distance to the object among the distances to the objects in the respective areas within the AF processing frame derived by the deriving unit 116. May be determined as images satisfying the image capturing condition, and other images within the AF processing frame may be determined as images not satisfying the image capturing condition.
  • the first distance satisfies the imaging condition
  • the second distance does not satisfy the imaging condition
  • the difference between the blur amount of the first image and the blur amount of the second image is smaller than the first threshold Th1
  • the unit 112 may further acquire a sixth image included in the third captured image captured in a state where the imaging surface and the lens are in the third positional relationship.
  • the acquisition unit 112 may acquire the image 661 from the captured image 660.
  • the focusing control unit 140 based on the blur amount of the first image and the blur amount of the sixth image, The positional relationship between the imaging surface and the lens may be controlled.
  • the deriving unit 116 may derive the distance to the image 601 and the object 650 included in the image 661 based on the blur amount of the image 601 and the blur amount of the image 661.
  • the focus control unit 140 may move the image plane of the focus lens or the image sensor 120 so that the object 650 is focused based on the distance to the object 650 derived by the deriving unit 116.
  • the calculating unit 114 the blur of the image 601 C (t 0), the blur amount C (t 1) of the image 621, the blur amount C '(t 0) of the image 602, image 622
  • the amount of blur C ′ (t 1 ) is calculated.
  • Difference Ta between the blur amount C (t 1) of the blur amount C (t 0) and the image 621 of the image 601 at this time is smaller than the first threshold value Th1.
  • the difference Tb between 'blur amount C of (t 0) and the image 621' (t 1) blur amount C of the image 602 is the first threshold value Th1 or more.
  • the focus control unit 140 may determine that the object 652 included in the image 602 and the image 622 is focused. On the other hand, when the imaging condition is priority to the near end, the focusing control unit 140 may determine that the object 650 included in the image 601 and the image 621 is focused.
  • the difference Tb is because the first threshold value Th1 or more, the high accuracy of the curve 700 identified on the basis of the blur of the image 602 C '(t 0) and the blur amount C of the image 622' (t 1) . Therefore, the focus control unit 140 can execute the AF process with high accuracy by moving the focus lens or the imaging surface of the image sensor 120 based on the lens position 712 specified from the curve 700.
  • the difference Ta is smaller than the first threshold value Th1
  • the accuracy of the blur amount C (t 0) and the blur amount C (t 1) and curve 702 specified based on the image 621 of the image 601 is low. Therefore, when the focus control unit 140 moves the imaging surface of the focus lens or the image sensor 120 based on the lens position 714 specified based on the curve 702 in the case of close-end priority, the AF processing is performed with high accuracy. Cannot be executed. Therefore, the imaging apparatus 100 captures the captured image 660 by further moving the imaging surface of the focus lens or the image sensor 120. Then, the calculation unit 114 calculates the blur amount C (t 2 ) of the image 661 of the captured image 660.
  • Difference Tc of the blur amount C (t 2) of the blur amount C (t 0) and the image 661 of the image 601 is the first threshold value Th1 or more. Therefore, the blur amount C (t 0) and the blur amount C (t 2) and curve 704 specified based on the image 661 of the image 601, the curve 702 accuracy is high. Accordingly, the focus control unit 140 moves the imaging surface of the focus lens or the image sensor 120 based on the lens position 716 specified from the curve 704, so that the AF process can be performed with high accuracy even when the near end is prioritized. Can be executed.
  • FIG. 9 is a flowchart showing an example of the procedure of the AF process of the BDAF method.
  • the imaging apparatus 100 moves the focus lens to the X (t 0 ) position (S201). For example, the imaging apparatus 100 moves the focus lens by 10 ⁇ m in the optical axis direction.
  • the acquisition unit 112 acquires the image I (t 0 ) from the captured image captured at the X (t 0 ) position (S202).
  • the imaging control unit 110 increments the counter (S203).
  • the imaging control unit 110 moves the focus lens to the X (t n ) position via the lens control unit 220 (S204).
  • the acquisition unit 112 acquires an image I (t n ) at a position corresponding to the image I (t 0 ) from the captured image captured at the X (t n ) position (S205).
  • Calculator 114 calculates the blurring of the image I (t 0) C (t 0) and the image I blur amount (t n) C (t n ) (S206). If the difference
  • the deriving unit 116 determines the image I based on the blur amount C (t 0 ) and the blur amount C (t n ). A distance to an object included in (t 0 ) and the image I (t n ) is derived.
  • the focus control unit 140 determines the distance to the subject based on the distance (S208).
  • the focus control unit 140 moves the focus lens to the predicted focus position based on the determined distance (S209).
  • the imaging apparatus 100 moves the focus lens until the difference in blur amount between images becomes equal to or greater than the first threshold Th1. Therefore, the imaging apparatus 100 can execute AF processing by the BDAF method with higher accuracy and at high speed.
  • FIG. 10 is a flowchart showing another example of the procedure of BDAF AF processing.
  • the procedure shown in FIG. 10 may be applied in the case of a shooting mode that prioritizes the speed of AF processing.
  • the imaging apparatus 100 moves the focus lens to the X (t 0 ) position (S301). For example, the imaging apparatus 100 moves the focus lens by 10 ⁇ m in the optical axis direction.
  • the acquisition unit 112 acquires a plurality of images within the AF processing frame set in the captured image captured at the X (t 0 ) position.
  • the acquisition unit 112 divides the AF processing frame into a plurality of areas, and acquires an image for each area.
  • the acquisition unit 112 calculates the feature amount of each of the plurality of images (S302).
  • the acquisition unit 112 may calculate the feature amount based on each pixel value, luminance value, edge detection, and the like of the plurality of images. If there is no image having a feature amount equal to or greater than the threshold value among the plurality of images, the process ends without executing the AF process by the BDAF method.
  • the acquisition unit 112 acquires the image I (t 0 ) (S304).
  • the imaging control unit 110 increments the counter (S305).
  • the imaging control unit 110 moves the focus lens to the X (t n ) position via the lens control unit 220 (S306).
  • the acquiring unit 112 acquires each image I (t n ) at a position corresponding to each image I (t 0 ) from the captured image captured at the X (t n ) position (S307).
  • Calculator 114 calculates the blur amount C (t n) of the blur amount C of each image I (t 0) (t 0 ) and the respective image I (t n) (S308) . If there is no image in which the difference
  • C (t n) -C ( t 0) is if there is a first threshold value Th1 or more images, deriving unit 116, the blur amount C of the corresponding image I (t 0) and (t 0), based on the blur amount C (t n) of the image I (t n), to derive a distance to an object included in the image I (t 0) and the image I (t n).
  • the focus control unit 140 determines the distance to the subject based on the distance derived by the deriving unit 116, and moves the focus lens to the predicted focus position (S311).
  • the focus control unit 140 focuses on the predicted focus position when an image having a blur amount difference equal to or greater than the first threshold value can be acquired from a plurality of images within the AF processing frame.
  • the lens can be moved immediately.
  • FIG. 11 is a flowchart showing another example of the BDAF AF process procedure.
  • the procedure shown in FIG. 11 may be applied in the multipoint AF mode in which weighting is set for each region in the AF processing frame.
  • the imaging apparatus 100 moves the focus lens to the X (t 0 ) position (S401). For example, the imaging apparatus 100 moves the focus lens by 10 ⁇ m in the optical axis direction.
  • the acquisition unit 112 acquires a plurality of images within the AF processing frame set in the captured image captured at the X (t 0 ) position.
  • the acquisition unit 112 divides the AF processing frame into a plurality of areas, and acquires an image for each area.
  • the acquisition unit 112 calculates the feature amount of each of the plurality of images (S402). If there is no image having a feature amount equal to or greater than the threshold value among the plurality of images, the process ends without executing the AF process by the BDAF method.
  • the acquisition unit 112 acquires the image I (t 0 ) (S404).
  • the imaging control unit 110 increments the counter (S405).
  • the imaging control unit 110 moves the focus lens to the X (t n ) position via the lens control unit 220 (S406).
  • the acquisition unit 112 acquires each image I (t n ) at a position corresponding to each image I (t 0 ) from the captured image captured at the X (t n ) position (S407).
  • Calculator 114 calculates the blur amount C (t n) of the blur amount C of each image I (t 0) (t 0 ) and the respective image I (t n) (S408) .
  • the imaging control unit 110 moves the focus lens via the lens control unit 220, and In order to further acquire captured images having different positional relationships with the imaging surface, the processes in and after step S405 are repeated.
  • the imaging control unit 110 moves the focus lens via the lens control unit 220, and the positional relationship between the lens and the imaging surface In order to further acquire captured images having different values, the processes in and after step S405 are repeated.
  • the focusing control unit 140 determines the distance to the subject based on the distance (S410). For example, in the case of the AF processing frame 610 shown in FIG. 7, each image area in the AF processing frame 610 may be individually weighted.
  • the area of the center image 601 in the AF processing frame 610 is “100”, “70” is set to the images 602 and 603 adjacent to the left and right of the image 601, “70” is set to the image 604 adjacent above the image 601, and the image 601.
  • a weight of “50” may be set to the image 605 adjacent below the image 605.
  • the focus control unit 140 weights each area to the distance to the object derived for each area in the AF processing frame 610, and calculates the distance to the subject based on each weighted distance. You may decide.
  • the focus control unit 140 moves the focus lens to the predicted focus position based on the determined distance to the subject (S413).
  • FIG. 12 is a flowchart showing another example of the BDAF AF process.
  • the procedure illustrated in FIG. 12 may be applied in an imaging mode such as infinity end priority or close end priority.
  • the imaging apparatus 100 moves the focus lens to the X (t 0 ) position (S501). For example, the imaging apparatus 100 moves the focus lens by 10 ⁇ m in the optical axis direction.
  • the acquisition unit 112 acquires a plurality of images within the AF processing frame set in the captured image captured at the X (t 0 ) position.
  • the acquisition unit 112 divides the AF processing frame into a plurality of areas, and acquires an image for each area.
  • the acquisition unit 112 calculates the feature amount of each of the plurality of images (S502). If there is no image having a feature amount equal to or greater than the threshold value among the plurality of images, the process ends without executing the AF process by the BDAF method.
  • the acquisition unit 112 acquires the image I (t 0 ) (S504).
  • the imaging control unit 110 increments the counter (S505).
  • the imaging control unit 110 moves the focus lens to the X (t n ) position via the lens control unit 220 (S506).
  • the acquiring unit 112 acquires each image I (t n ) at a position corresponding to each image I (t 0 ) from the captured image captured at the X (t n ) position (S507).
  • Calculator 114 calculates the blur amount C (t n) of the blur amount C of each image I (t 0) (t 0 ) and the respective image I (t n) (S508) .
  • Deriving unit 116 on the basis of the blur amount C of each image I (t 0) (t 0 ) and the blur amount C (t n) of each image I (t n), each image I (t 0) And the distance to each object included in each image I (t n ) is derived (S509).
  • the focus control unit 140 selects an image I (t 0 ) and an image (t n ) that satisfy the imaging condition from the calculated distance (S510). For example, if the near end priority is given, the focusing control unit 140 selects the image I having the closest distance from the calculated distances. The focus control unit 140 selects the image I at the farthest distance from the calculated distances when priority is given to the infinity end.
  • Focus control section 140 the difference between the blurring amount C of the selected image I (t 0) (t 0 ) and the image blur amount of (t n) C (t n )
  • Focus control section 140 the difference between the blurring amount C of the selected image I (t 0) (t 0 ) and the image blur amount of (t n) C (t n )
  • the imaging control unit 110 moves the focus lens to the X (t n ) position via the lens control unit 220 (S513).
  • the acquiring unit 112 acquires an image I (t n ) at a position corresponding to the image I (t 0 ) selected in step S510 from the captured image captured at the X (t n ) position (S514).
  • the calculation unit 114 calculates the blur amount C (t n ) of the acquired image I (t n ) (S515).
  • the imaging control unit 110 performs step S511 until an image (t n ) in which the difference between the blur amount C (t 0 ) and the blur amount C (t 0 ) of the selected image I (t 0 ) is equal to or greater than the first threshold Th1 is obtained. Repeat the process. Thereafter, when an image (t n ) in which the difference
  • BDAF AF processing can be executed with high accuracy.
  • an object in the captured image may move within the captured image. If the amount of movement of the object is large, the imaging control unit 110 may not be able to execute AF processing with high accuracy using the BDAF method.
  • the imaging control unit 110 may execute the BDAF AF process in consideration of the amount of movement of the object in the image.
  • FIG. 13 shows an example of functional blocks of the UAV 10 according to another embodiment.
  • the UAV 10 illustrated in FIG. 13 is different from the UAV 10 illustrated in FIG. 2 in that the imaging control unit 110 includes the specifying unit 113.
  • the specifying unit 113 includes feature points included in the first image in the first captured image captured in a state where the lens and the imaging surface are in the first positional relationship, and the lens and the imaging surface are in the second positional relationship.
  • the region of the second captured image corresponding to the first image is specified by comparing with the feature point of the second captured image captured in the state.
  • the acquisition unit 112 determines that the first captured image is the same as the first captured image.
  • An image of a region of the second captured image that is in the same positional relationship as that of the first image is acquired as the second image.
  • the acquisition unit 112 may acquire the region as the second image.
  • the acquisition unit 112 determines the image in that region as the first Two images may be acquired.
  • the second threshold Th2 and the third threshold Th3 may be determined based on the pixel pitch of the image sensor 120 or the like.
  • the specifying unit 113 may divide the image into a plurality of blocks and search for feature points in units of blocks. Therefore, the second threshold Th2 and the third threshold Th3 may be determined based on the size of a block for searching for feature points.
  • the specifying unit 113 specifies the feature point 820 from the first image 812 of the AF processing frame 810 in the first captured image 800, for example, as shown in FIG.
  • the specifying unit 113 may specify the feature point 820 based on the pixel value, luminance, edge detection, and the like.
  • a feature point 821 corresponding to the feature point 820 is identified from within the second captured image 802 captured in a state where the positional relationship between the lens and the imaging surface is changed.
  • the identifying unit 113 identifies the region 814 of the second captured image 802 corresponding to the first image 812 by comparing the feature point 820 of the first captured image 800 with the feature point 821 of the second captured image 802. .
  • the acquisition unit 112 performs the following processing on the second captured image 802: An image of the area 816 of the second captured image 802 that has the same positional relationship as the positional relationship between the first captured image 800 and the first image 812 is acquired as the second image. That is, the focus control unit 140 executes the BDAF AF process without moving the AF processing frame 811 in the second captured image 802 relative to the AF processing frame 810 in the first captured image 800.
  • the identifying unit 113 identifies the feature point 822 corresponding to the feature point 820 from the third captured image 804 captured in a state where the positional relationship between the lens and the imaging surface is changed.
  • the specifying unit 113 compares the feature point 820 of the first captured image 800 with the feature point 822 of the third captured image 804, so that the region 816 of the third captured image 804 corresponding to the first image 812 is obtained. Is identified.
  • the acquisition unit 112 determines that the difference between the position of the first image 812 in the first captured image 800 and the position of the region 816 in the third captured image 804 is greater than the second threshold Th2, and uses the region 816 as the second image. Get as.
  • the focus control unit 140 moves the AF processing frame 813 in the third captured image 804 corresponding to the area 816 by the amount of movement of the feature point with respect to the AF processing frame 810 of the first captured image 800. Then, using the moved AF processing frame 813, BDAF type AF processing is executed.
  • the calculation unit 114 calculates the blur amount from the image after the change. Therefore, even if the object moves in the image, the AF process using the BDAF method can be executed with high accuracy.
  • the feature point specified by the specifying unit 113 may be specified from the gravity center of the luminance in the image.
  • an object 902 is included in the first captured image 900.
  • the specifying unit 113 divides the first captured image 900 into a plurality of blocks (for example, 8 ⁇ 8 pixels), calculates the luminance for each block, and generates a monochrome image 901 that represents the luminance in units of blocks. .
  • the specifying unit 113 specifies the position of the center of gravity 903 of the luminance from the monochrome image 901.
  • the specifying unit 113 divides the second captured image 910 into a plurality of blocks, calculates the luminance for each block, and generates a monochrome image 911.
  • the specifying unit 113 specifies the position of the luminance center of gravity 913 from the monochrome image 911.
  • the specifying unit 113 specifies that the luminance center of gravity has moved from the position of the center of gravity 903 to the position of the center of gravity 913.
  • the specifying unit 113 determines that the moving amount of the feature point is within the second threshold if the moving amount of the luminance center of gravity is within the range of one block, that is, if the moving amount of the luminance center of gravity is within 8 ⁇ 8 pixels. You can do it.
  • the specifying unit 113 may determine that the moving amount of the feature point is within the third threshold if the moving amount of the center of gravity is within the range of 2 blocks. Then, as illustrated in FIG.
  • the acquisition unit 112 is not an image of the region 931 but a region 932 as a second image acquired from the second captured image 910 with respect to the first image 930 of the first captured image 900. Get the image. Thereby, the influence of the movement of the objects 902 and 912 between images can be avoided.
  • FIG. 16 is a flowchart showing an example of a procedure for moving the AF processing frame according to the amount of movement of the object.
  • the acquisition unit 112 acquires an image I (t 0 ) from the first captured image captured in a state where the lens and the imaging surface are in the first positional relationship (S601). Next, the acquisition unit 112 acquires an image I (t 1 ) at a position corresponding to the image I (t 0 ) from the second captured image captured in a state where the lens and the imaging surface are in the second positional relationship. (S602).
  • the specifying unit 113 calculates the movement amount X of the object S in the image I (t 1 ) with respect to the object S in the image I (t 0 ) (S603). As described above, the specifying unit 113 may calculate the movement amount X by specifying the feature points based on the pixel value, the brightness, and the like, and comparing the positions of the feature points.
  • the focus control unit 140 determines whether or not the movement amount X is equal to or less than the second threshold Th2 (S604).
  • the focus control unit 140 may determine whether or not the feature point of the second captured image exists in the block corresponding to the position of the feature point of the first captured image. For example, the focus control unit 140 may determine whether or not the movement amount X is within 8 ⁇ 8 pixels. If the movement amount X is equal to or smaller than the second threshold Th2, the focusing control unit 140 does not move the AF processing frame for the second captured image, and blurs using the image I (t 1 ) acquired in step S602. A distance calculation process based on the quantity is executed (S605).
  • the focus control unit 140 determines the distance to the object S based on the blur amount of the image I (t 0 ) and the blur amount of the image I (t 1 ). Thereafter, the focus control unit 140 moves the focus lens based on the distance to the object S.
  • the focus control unit 140 determines whether or not the movement amount X is equal to or less than the third threshold Th3 (S606).
  • the focus control unit 140 may determine whether or not the feature point of the second captured image exists in a block adjacent to the block corresponding to the position of the feature point of the first captured image. For example, the focusing control unit 140 may determine whether the movement amount is within 24 ⁇ 24 pixels. If the movement amount X is equal to or smaller than the third threshold Th3, the focusing control unit 140 moves the AF processing frame of the comparison target image I (t 1 ) by the movement amount X (S607).
  • the focus control unit 140 determines the distance to the object S based on the blur amount of the image I (t 1 ) acquired from the AF processing frame after movement and the blur amount of the image I (t 0 ). (S605). Thereafter, the focus control unit 140 moves the focus lens based on the distance to the object S.
  • the BDAF AF process can be executed more accurately by adjusting the position of the comparison target image in consideration of the movement of the object in the image.
  • FIG. 17 illustrates an example of a computer 1200 in which aspects of the present invention may be embodied in whole or in part.
  • a program installed in the computer 1200 can cause the computer 1200 to function as an operation associated with the apparatus according to the embodiment of the present invention or as one or more “units” of the apparatus.
  • the program can cause the computer 1200 to execute the operation or the one or more “units”.
  • the program can cause the computer 1200 to execute a process according to an embodiment of the present invention or a stage of the process.
  • Such a program may be executed by CPU 1212 to cause computer 1200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.
  • the computer 1200 includes a CPU 1212 and a RAM 1214, which are connected to each other by a host controller 1210.
  • the computer 1200 also includes a communication interface 1222 and an input / output unit, which are connected to the host controller 1210 via the input / output controller 1220.
  • Computer 1200 also includes ROM 1230.
  • the CPU 1212 operates according to programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
  • the communication interface 1222 communicates with other electronic devices via a network.
  • a hard disk drive may store programs and data used by the CPU 1212 in the computer 1200.
  • the ROM 1230 stores therein a boot program executed by the computer 1200 at the time of activation and / or a program depending on the hardware of the computer 1200.
  • the program is provided via a computer-readable recording medium such as a CR-ROM, a USB memory, or an IC card or a network.
  • the program is installed in the RAM 1214 or the ROM 1230 that is also an example of a computer-readable recording medium, and is executed by the CPU 1212.
  • Information processing described in these programs is read by the computer 1200 to bring about cooperation between the programs and the various types of hardware resources.
  • An apparatus or method may be configured by implementing information operations or processing in accordance with the use of computer 1200.
  • the CPU 1212 executes a communication program loaded in the RAM 1214 and performs communication processing on the communication interface 1222 based on the processing described in the communication program. You may order.
  • the communication interface 1222 reads transmission data stored in a RAM 1214 or a transmission buffer area provided in a recording medium such as a USB memory under the control of the CPU 1212 and transmits the read transmission data to a network, or The reception data received from the network is written into a reception buffer area provided on the recording medium.
  • the CPU 1212 allows the RAM 1214 to read all or necessary portions of a file or database stored in an external recording medium such as a USB memory, and executes various types of processing on the data on the RAM 1214. Good. The CPU 1212 may then write back the processed data to an external recording medium.
  • the CPU 1212 describes various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, and information retrieval that are described throughout the present disclosure for data read from the RAM 1214 and specified by the instruction sequence of the program. Various types of processing may be performed, including / replacement, etc., and the result is written back to RAM 1214.
  • the CPU 1212 may search for information in files, databases, etc. in the recording medium. For example, when a plurality of entries each having an attribute value of the first attribute associated with the attribute value of the second attribute are stored in the recording medium, the CPU 1212 specifies the attribute value of the first attribute. The entry that matches the condition is searched from the plurality of entries, the attribute value of the second attribute stored in the entry is read, and thereby the first attribute that satisfies the predetermined condition is associated. The attribute value of the obtained second attribute may be acquired.
  • the program or software module described above may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
  • a recording medium such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, whereby the program is transferred to the computer 1200 via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

撮像制御装置は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部を備える。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量を算出する算出部を備える。撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する制御部を備える。

Description

撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
　本発明は、撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラムに関する。
　特許文献１には、異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する画像処理装置が開示されている。
　特許文献１　特許第５９３２４７６号公報
解決しようとする課題
　複数の画像のぼけ量に基づいて被写体までの距離を算出する場合、複数の画像のぼけ量の差が小さいと、被写体までの距離を正確に算出できない場合がある。
一般的開示
　本発明の撮像制御装置は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部を備えてよい。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量を算出する算出部を備えてよい。撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する制御部を備えてよい。
　取得部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得してよい。算出部は、第３画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第３画像のぼけ量との差が第１閾値以上の場合、第１画像及び第３画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　取得部は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さく、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上の場合、第４画像及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　取得部は、第１撮像画像に含まれる第１画像に隣接する第４画像及び第２撮像画像に含まれる第２画像に隣接する第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上で、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上である場合、第１画像、第２画像、第４画像、及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量とに基づいて、第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出し、第４画像のぼけ量と第５画像のぼけ量とに基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部を備えてよい。制御部は、第１距離及び第２距離に基づいて撮像面とレンズとの位置関係を制御してよい。
　取得部は、第４画像のぼけ量と第５画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。算出部は、第６画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上で、かつ第４画像のぼけ量と第６画像のぼけ量との差が第１閾値以上である場合、第１画像、第２画像、第４画像、及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　取得部は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量に基づいて第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出し、第４画像及び第５画像のそれぞれのぼけ量に基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部を備えてよい。制御部は、第１距離が予め定められた撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１距離に基づいて撮像面とレンズとの位置関係を制御してよい。
　取得部は、第１距離が撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。
　算出部は、第６画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第６画像のぼけ量との差が第１閾値以上の場合、第１画像のぼけ量及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　第１画像に含まれる特徴点を第２撮像画像の特徴点と比較することにより、第１画像に対応する第２撮像画像の領域を特定する特定部をさらに備えてよい。取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値以下である場合、第２撮像画像に対して、第１撮像画像と第１画像との位置関係と同一の位置関係にある第２撮像画像の領域の画像を第２画像として取得してよい。
　取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きい場合、領域を第２画像として取得してよい。
　取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きく、かつ第３閾値以下の場合、領域の画像を第２画像として取得してよい。
　特定部は、第１画像の輝度及び第２撮像画像の領域の輝度に基づいてそれぞれの特徴点を特定してよい。
　特定部は、第１画像の輝度の重心を第１画像に含まれる特徴点とし、第２撮像画像の領域の輝度の重心を第２撮像画像の特徴点として特定してよい。
　レンズに含まれるフォーカスレンズの位置が変更されることで、撮像面とレンズとが第１位置関係にある状態から第２位置関係にある状態に変更されてよい。
　撮像面の位置が変更されることで、撮像面とレンズとが第１位置関係にある状態から第２位置関係にある状態に変更されてよい。
　本発明の一態様に係る撮像装置は、上記撮像制御装置と、撮像面を有するイメージセンサと、レンズとを備える。
　本発明の一態様に係る撮像システムは、上記撮像装置と、撮像装置を支持する支持機構とを備える。
　本発明の一態様に係る移動体は、上記撮像システムを搭載して移動する。
　本発明の一態様に係る撮像制御方法は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階を備えてよい。撮像制御方法は、第１画像及び第２画像のそれぞれのぼけ量を算出する段階を備えてよい。撮像制御方法は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する段階を備えてよい。
　本発明の一態様に係るプログラムは、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階をコンピュータに実行させてよい。プログラムは、第１画像及び第２画像のそれぞれのぼけ量を算出する段階をコンピュータに実行させてよい。プログラムは、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する段階をコンピュータに実行させてよい。
　本発明の一態様によれば、複数の画像のぼけ量に基づいて撮像面とレンズとの位置関係をより精度よく調整できる。
　上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。
無人航空機及び遠隔操作装置の外観の一例を示す図である。 無人航空機の機能ブロックの一例を示す図である。 ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。 ぼけ量に基づいてオブジェクトまでの距離を算出する手順の一例を示す図である。 オブジェクトの位置、レンズの位置、及び焦点距離との関係について説明するための図である。 ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。 ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。 ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。 ぼけ量を算出する画像について説明するための図である。 ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。 ＢＤＡＦ方式のＡＦ処理の手順の一例を示すフローチャートである。 ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。 ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。 ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。 無人航空機の機能ブロックの他の一例を示す図である。 オブジェクトの移動量について説明するための図である。 輝度の重心に基づいてオブジェクトの移動量を特定する例について説明するための図である。 輝度の重心に基づいてオブジェクトの移動量を特定する例について説明するための図である。 オブジェクトの移動量に応じてＡＦ処理枠を移動させる手順の一例を示すフローチャートである。 ハードウェア構成の一例を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
　本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。
　コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
　図１は、無人航空機（ＵＡＶ）１０及び遠隔操作装置３００の外観の一例を示す。ＵＡＶ１０は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備える。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
　ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。
　撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。
　複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。
　遠隔操作装置３００は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置３００は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置３００は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置３００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。
　図２は、ＵＡＶ１０の機能ブロックの一例を示す。ＵＡＶ１０は、ＵＡＶ制御部３０、メモリ３２、通信インタフェース３４、推進部４０、ＧＰＳ受信機４１、慣性計測装置４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、ジンバル５０、及び撮像装置１００を備える。
　通信インタフェース３４は、遠隔操作装置３００などの他の装置と通信する。通信インタフェース３４は、遠隔操作装置３００からＵＡＶ制御部３０に対する各種の命令を含む指示情報を受信してよい。メモリ３２は、ＵＡＶ制御部３０が、推進部４０、ＧＰＳ受信機４１、慣性計測装置（ＩＭＵ）４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、ジンバル５０、撮像装置６０、及び撮像装置１００を制御するのに必要なプログラム等を格納する。メモリ３２は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ３２は、ＵＡＶ本体２０の内部に設けられてよい。ＵＡＶ本体２０から取り外し可能に設けられてよい。
　ＵＡＶ制御部３０は、メモリ３２に格納されたプログラムに従ってＵＡＶ１０の飛行及び撮像を制御する。ＵＡＶ制御部３０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部３０は、通信インタフェース３４を介して遠隔操作装置３００から受信した命令に従って、ＵＡＶ１０の飛行及び撮像を制御する。推進部４０は、ＵＡＶ１０を推進させる。推進部４０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部４０は、ＵＡＶ制御部３０からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、ＵＡＶ１０を飛行させる。
　ＧＰＳ受信機４１は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機４１は、受信された複数の信号に基づいてＧＰＳ受信機４１の位置、つまりＵＡＶ１０の位置を算出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢を検出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢として、ＵＡＶ１０の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス４３は、ＵＡＶ１０の機首の方位を検出する。気圧高度計４４は、ＵＡＶ１０が飛行する高度を検出する。気圧高度計４４は、ＵＡＶ１０の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ４５は、ＵＡＶ１０の周囲の温度を検出する。
　撮像装置１００は、撮像部１０２及びレンズ部２００を備える。レンズ部２００は、レンズ装置の一例である。撮像部１０２は、イメージセンサ１２０、撮像制御部１１０、及びメモリ１３０を有する。イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ２１０を介して結像された光学像の画像データを撮像制御部１１０に出力する。撮像制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部１１０は、ＵＡＶ制御部３０からの撮像装置１００の動作命令に応じて、撮像装置１００を制御してよい。メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１３０は、撮像制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１３０は、撮像装置１００の筐体から取り外し可能に設けられてよい。
　レンズ部２００は、複数のレンズ２１０、レンズ移動機構２１２、及びレンズ制御部２２０を有する。複数のレンズ２１０は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ２１０の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部２００は、撮像部１０２に対して着脱可能に設けられる交換レンズでよい。レンズ移動機構２１２は、複数のレンズ２１０の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部２２０は、撮像部１０２からのレンズ制御命令に従って、レンズ移動機構２１２を駆動して、１または複数のレンズ２１０を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
　このように構成された撮像装置１００は、オートフォーカス処理（ＡＦ処理）を実行して、所望の被写体を撮像する。
　撮像装置１００は、ＡＦ処理を実行するために、レンズから被写体までの距離（被写体距離）を決定する。被写体距離を決定するための方式として、レンズと撮像面との位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて決定する方式がある。ここで、この方式を、ぼけ検出オートフォーカス（Ｂｏｋｅｈ　Ｄｅｔｅｃｔｉｏｎ　Ａｕｔｏ　Ｆｏｕｃｕｓ：ＢＤＡＦ）方式と称する。
　例えば、画像のぼけ量（Ｃｏｓｔ）は、ガウシアン関数を用いて次式（１）で表すことができる。式（１）において、ｘは、水平方向における画素位置を示す。σは、標準偏差値を示す。
Figure JPOXMLDOC01-appb-M000001
　図３は、式（１）に表される曲線の一例を示す。曲線５００の極小点５０２に対応するレンズ位置にフォーカスレンズを合わせることで、画像Ｉに含まれるオブジェクトに焦点を合わせることができる。
　図４は、ＢＤＡＦ方式の距離算出手順の一例を示すフローチャートである。まず、撮像装置１００で、レンズと撮像面とが第１位置関係にある状態で、１枚目の画像Ｉ１を撮像してメモリ１３０に格納する。次いで、フォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させることで、レンズと撮像面とが第２位置関係にある状態にして、撮像装置１００で２枚目の画像Ｉ２を撮像してメモリ１３０に格納する（Ｓ１０１）。例えば、いわゆる山登りＡＦのように、合焦点を超えないようにフォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させる。フォーカスレンズまたはイメージセンサ１２０の撮像面の移動量は、例えば、１０μｍでよい。
　次いで、撮像装置１００は、画像Ｉ１を複数の領域に分割する（Ｓ１０２）。画像Ｉ２内の画素ごとに特徴量を算出して、類似する特徴量を有する画素群を一つの領域として画像Ｉ１を複数の領域に分割してよい。画像Ｉ１のうちＡＦ処理枠に設定されている範囲の画素群を複数の領域に分割してもよい。撮像装置１００は、画像Ｉ１の複数の領域に対応する複数の領域に画像Ｉ２を分割する。撮像装置１００は、画像Ｉ１の複数の領域のそれぞれのぼけ量と、画像Ｉ２の複数の領域のそれぞれのぼけ量とに基づいて、複数の領域ごとに複数の領域のそれぞれに含まれるオブジェクトまでの距離を算出する（Ｓ１０３）。
　図５を参照して距離の算出手順についてさらに説明する。レンズＬ（主点）からオブジェクト５１０（物面）までの距離をＡ、レンズＬ（主点）からオブジェクト５１０が撮像面で結像する位置（像面）までの距離をＢ、焦点距離をＦとする。この場合、距離Ａ、離Ｂ、及び焦点距離Ｆの関係は、レンズの公式から次式（２）で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　焦点距離Ｆはレンズ位置で特定される。したがって、オブジェクト５１０が撮像面で結像する距離Ｂが特定できれば、式（２）を用いて、レンズＬからオブジェクト５１０までの距離Ａを特定することができる。
　図５に示すように、撮像面上に投影されたオブジェクト５１０のぼけの大きさ（錯乱円５１２及び５１４）からオブジェクト５１０が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することができる。つまり、ぼけの大きさ（ぼけ量）が撮像面と結像位置とに比例することを考慮して、結像位置を特定できる。
　ここで、撮像面から近い像Ｉ１からレンズＬまでの距離をＤ１とする。撮像面から遠い像Ｉ２からレンズＬまでの距離をＤ２とする。それぞれの画像はぼけている。このときの点像分布関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）をＰＳＦ、Ｄ１及びＤ２における画像をそれぞれ、Ｉｄ１及びＩｄ２とする。この場合、例えば、像Ｉ１は、畳み込み演算により次式（３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　さらに、画像データＩｄ１及びＩｄ２のフーリエ変換関数をｆとして、画像Ｉｄ１及びＩｄ２の点像分布関数ＰＳＦ１及びＰＳＦ２をフーリエ変換した光学伝達関数（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）をＯＴＦ１及びＯＴＦ２として、次式（４）のように比をとる。
Figure JPOXMLDOC01-appb-M000004
　式（４）に示す値Ｃは、画像Ｉｄ１及びＩｄ２のそれぞれのぼけ量の変化量、つまり、値Ｃは、画像Ｉｄ１のぼけ量と画像Ｉｄ２ｎのぼけ量との差に相当する。
　ところで、ぼけ量の異なる２つの画像から２つの画像に含まれるオブジェクトまでの距離を算出する場合、２つの画像のぼけ量の差が小さいと、図３に示すような曲線５００を正確に特定できず、オブジェクトまでの距離を正確に算出できない場合がある。例えば、図６Ａに示すように、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ１から得られるぼけ量Ｃ（ｔ１）との差が閾値Ｔｈより小さいと、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ１）から特定されるガウシアン関数の曲線５２２は、理想の曲線にはならないことがある。曲線５２２から特定されるレンズ位置５２４は、結像位置に対応する理想のレンズ位置５２０からずれている。図６Ｂも同様であり、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ２から得られるぼけ量Ｃ（ｔ２）との差が閾値Ｔｈより小さい。この場合、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ２）から特定されるガウシアン関数の曲線５２６から特定されるレンズ位置５２８は、理想のレンズ位置５２０からずれている。一方、例えば、図６Ｃに示すように、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ３から得られるぼけ量Ｃ（ｔ３）との差が閾値Ｔｈ以上の場合、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ３）から特定されるガウシアン関数の曲線５３０から特定されるレンズ位置５３２は、理想のレンズ位置５２０と一致する。ｘまたはＸは、フォーカスレンズの位置を示す。
　以上の通り、ＢＤＡＦ方式でオブジェクトまでの距離を決定する場合には、比較対象となる画像同士のぼけ量の差が予め定められた閾値以上であることが望ましい。
　そこで、本実施形態に係る撮像装置１００が備える撮像制御部１１０は、図２に示すように、取得部１１２、算出部１１４、導出部１１６、及び合焦制御部１４０を有する。
　取得部１１２は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する。取得部１１２は、例えば、図７に示すように、撮像面とレンズとが第１位置関係にある状態で撮像された撮像画像６００のＡＦ処理枠６１０内の画像６０１～６０５の中から画像６０１を取得する。さらに、取得部１１２は、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、撮像面とレンズとの位置関係を変更した後、撮像された撮像画像６２０のＡＦ処理枠６３０内の画像６２１～６２５の中から画像６２１を取得する。取得部１１２は、ＡＦ処理枠内の複数の領域の中から予め定められた条件を満たす特徴量を有する領域の画像を取得する。取得部１１２は、ＡＦ処理枠内の複数の領域のそれぞれの特徴量が予め定められた条件を満たす場合には、それぞれの領域の画像を取得してよい。
　算出部１１４は、第１画像及び第２画像のそれぞれのぼけ量を算出する。算出部１１４は、例えば画像６０１及び画像６２１のそれぞれのぼけ量Ｃ（ｔ）を算出する。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する。合焦制御部１４０は、撮像面及びレンズの少なくとも一方の位置を制御することで、撮像面とレンズとの位置関係を制御してよい。第１閾値Ｔｈ１は、撮像装置１００の仕様に従って定められてよい。第１閾値Ｔｈ１は、撮像装置１００のレンズ特性に基づいて定められてよい。第１閾値Ｔｈ１は、イメージセンサ１２０の画素ピッチに基づいて定められてよい。合焦制御部１４０は、撮像面とレンズとの位置関係を制御する制御部の一例である。
　導出部１１６は、第１画像のぼけ量と第２画像のぼけ量とに基づいて、第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出する。導出部１１６は、例えば、上記の式（２）と図５に示す幾何学的関係に基づいて、画像６０１及び画像６２１に含まれるオブジェクト６５０までの距離を導出してよい。合焦制御部１４０は、導出部１１６により導出されたオブジェクト６５０までの距離に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、ＡＦ処理を実行してよい。
　取得部１１２は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得してよい。取得部１１２は、例えば、第３位置関係にある状態で撮像された撮像画像６６０に含まれる画像６６１を取得してよい。算出部１１４は、第３画像のぼけ量をさらに算出してよい。合焦制御部１４０は、第１画像のぼけ量と第３画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第１画像及び第３画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１のぼけ量と画像６６１のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０１及び画像６６１のそれぞれのぼけ量に基づいて、オブジェクト６５０に焦点が合うようにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させてよい。
　取得部１１２は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。取得部１１２は、例えば、撮像画像６００に含まれる画像６０２及び撮像画像６２０に含まれる画像６２２を取得してよい。算出部１１４は、第４画像及び第５画像のそれぞれのぼけ量を算出してよい。算出部１１４は、例えば、画像６０２及び画像６２２のそれぞれのぼけ量を算出してよい。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さく、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第４画像及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。導出部１１６は、第４画像のぼけ量と第５画像のぼけ量とに基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出してよい。導出部１１６は、例えば、上記の式（２）と図５に示す幾何学的関係に基づいて、画像６０２及び画像６２２に含まれるオブジェクト６５２までの距離を導出してよい。合焦制御部１４０は、例えば、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１より小さく、かつ画像６０２のぼけ量と画像６２２のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０２及び画像６２２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、導出部１１６により導出された画像６０２及び画像６２２に含まれるオブジェクト６５２までの距離に基づいて、オブジェクト６５２に焦点が合うようにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させてよい。
　取得部１１２は、第１撮像画像に含まれる第１画像に隣接する第４画像及び第２撮像画像に含まれる第２画像に隣接する第５画像を取得してよい。取得部１１２は、例えば、撮像画像６００に含まれる画像６０１に隣接する画像６０２及び撮像画像６２０に含まれる画像６２１に隣接する画像６２２を取得してよい。算出部１１４は、第４画像及び第５画像のそれぞれのぼけ量を算出してよい。算出部１１４は、例えば、画像６０２及び画像６２２のそれぞれのぼけ量を算出してよい。
　合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上で、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上Ｔｈ１である場合、第１画像、第２画像、第４画像、及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、例えば、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１以上で、かつ画像６０２のぼけ量と画像６２２のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０１、画像６２１、画像６０２、及び画像６２２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１及び画像６２１のぼけ量に基づいて特定されたオブジェクト６５０までの距離と、画像６０２及び画像６２２のぼけ量に基づいて特定されたオブジェクト６５２までの距離とに基づいて、像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、ＡＦ処理枠内のそれぞれの領域に予め設定された重み付けに従って、重み付けされたそれぞれの領域のそれぞれの距離に基づいてＡＦ処理枠での被写体の距離を決定してよい。
　取得部１１２は、第４画像のぼけ量と第５画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。取得部１１２は、例えば、第２位置関係から第３位置関係に撮像面とレンズとの位置関係をさらに変更した後、撮像された撮像画像６６０に含まれる画像６６２をさらに取得してよい。算出部１１４は、第６画像のぼけ量を算出してよい。算出部１１４は、画像６６２のぼけ量を算出してよい。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上で、かつ第４画像のぼけ量と第６画像のぼけ量との差が第１閾値Ｔｈ１以上である場合、第１画像、第２画像、第４画像、及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１以上で、かつ画像６０２のぼけ量と画像６６２のぼけ量との差が第１閾値Ｔｈ１以上である場合、画像６０１、画像６２１、画像６０２、及び画像６６２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
　合焦制御部１４０は、導出部１１６により導出された第１距離が予め定められた撮像条件を満たし、導出部１１６に導出された第２距離が予め定められた撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１距離に基づいて撮像面とレンズとの位置関係を制御してよい。撮像条件は、ポートレートモード、風景モードなどの撮影モードにより決定される条件でよい。撮像条件は、至近端優先、無限遠端優先などの条件でよい。撮影条件が至近端優先であれば、合焦制御部１４０は、導出部１１６の導出されたＡＦ処理枠内のそれぞれの領域のオブジェクトまでの距離の中から、最もオブジェクトまでの距離が短い領域の画像を撮像条件を満たす画像と判断し、それ以外のＡＦ処理枠内の画像を撮像条件を満たさない画像として判断してよい。ここで、第１距離が撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合には、取得部１１２は、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。取得部１１２は、例えば、撮像画像６６０から画像６６１を取得してよい。合焦制御部１４０は、第１画像のぼけ量と第６画像のぼけ量との差が第１閾値以上の場合、第１画像のぼけ量及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。導出部１１６は、画像６０１のぼけ量と画像６６１のぼけ量とに基づいて、画像６０１及び画像６６１に含まれるオブジェクト６５０までの距離を導出してよい。合焦制御部１４０は、導出部１１６により導出されたオブジェクト６５０までの距離に基づいて、オブジェクト６５０に焦点が合うように、フォーカスレンズまたはイメージセンサ１２０の像面を移動してよい。
　例えば、図８に示すように、算出部１１４が、画像６０１のぼけ量Ｃ（ｔ０）、画像６２１のぼけ量Ｃ（ｔ１）、画像６０２のぼけ量Ｃ'（ｔ０）、画像６２２のぼけ量Ｃ'（ｔ１）を算出する。このときの画像６０１のぼけ量Ｃ（ｔ０）と画像６２１のぼけ量Ｃ（ｔ１）との差Ｔａは、第１閾値Ｔｈ１より小さい。一方、画像６０２のぼけ量Ｃ'（ｔ０）と画像６２１のぼけ量Ｃ'（ｔ１）との差Ｔｂは、第１閾値Ｔｈ１以上である。この場合における撮像条件が無限遠端優先であれば、合焦制御部１４０は、画像６０２及び画像６２２に含まれるオブジェクト６５２に焦点を合わせると判断してよい。一方、撮像条件が至近端優先であれば、合焦制御部１４０は、画像６０１及び画像６２１に含まれるオブジェクト６５０に焦点を合わせると判断してよい。ここで、差Ｔｂは、第１閾値Ｔｈ１以上なので、画像６０２のぼけ量Ｃ'（ｔ０）と画像６２２のぼけ量Ｃ'（ｔ１）とに基づいて特定された曲線７００の精度は高い。よって、合焦制御部１４０は、曲線７００から特定されたレンズ位置７１２に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、精度よくＡＦ処理を実行できる。一方、差Ｔａは第１閾値Ｔｈ１より小さいので、画像６０１のぼけ量Ｃ（ｔ０）と画像６２１のぼけ量Ｃ（ｔ１）とに基づいて特定された曲線７０２の精度は低い。したがって、至近端優先の場合に、合焦制御部１４０が、曲線７０２に基づいて特定されたレンズ位置７１４に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させると、精度よくＡＦ処理を実行できない。そこで、撮像装置１００は、さらにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させて、撮像画像６６０を撮像する。そして、算出部１１４は、撮像画像６６０の画像６６１のぼけ量Ｃ（ｔ２）を算出する。画像６０１のぼけ量Ｃ（ｔ０）と画像６６１のぼけ量Ｃ（ｔ２）との差Ｔｃは、第１閾値Ｔｈ１以上である。従って、画像６０１のぼけ量Ｃ（ｔ０）と画像６６１のぼけ量Ｃ（ｔ２）とに基づいて特定された曲線７０４は、曲線７０２より精度は高い。よって、合焦制御部１４０は、曲線７０４から特定されたレンズ位置７１６に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、至近端優先の場合にも、精度よくＡＦ処理を実行できる。
　図９は、ＢＤＡＦ方式のＡＦ処理の手順の一例を示すフローチャートである。
　撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ２０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像から画像Ｉ（ｔ０）を取得する（Ｓ２０２）。撮像制御部１１０は、カウンタをインクリメントする（Ｓ２０３）。次いで、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ２０４）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像から画像Ｉ（ｔ０）に対応する位置の画像Ｉ（ｔｎ）を取得する（Ｓ２０５）。算出部１１４は、画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ２０６）。ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１より小さければ、撮像制御部１１０は、フォーカスレンズをさらに移動させるべく、ステップＳ２０３以降の処理を繰り返す。
　差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であれば、導出部１１６は、ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する。合焦制御部１４０は、その距離に基づいて被写体までの距離を決定する（Ｓ２０８）。合焦制御部１４０は、決定された距離に基づいて予測合焦位置へフォーカスレンズを移動させる（Ｓ２０９）。
　以上のように、撮像装置１００は、画像間のぼけ量の差が小さい場合には、画像間のぼけ量の差が第１閾値Ｔｈ１以上になるまでフォーカスレンズを移動させる。よって、撮像装置１００は、ＢＤＡＦ方式によるＡＦ処理をより精度よく、高速に実行することができる。
　図１０は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１０に示す手順は、ＡＦ処理の速度を優先した撮影モードの場合に適用されてよい。
　撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ３０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ３０２）。取得部１１２は、複数の画像のそれぞれの画素値、輝度値、エッジ検出などに基づいて特徴量を算出してよい。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
　一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ３０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ３０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ３０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ３０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ３０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ３０８）。ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在しなければ、撮像制御部１１０は、ステップＳ３０５以降の処理を繰り返す。
　差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在すれば、導出部１１６は、該当する画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）と、画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する。合焦制御部１４０は、導出部１１６により導出された距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ３１１）。
　以上の処理によれば、合焦制御部１４０は、ＡＦ処理枠内の複数の画像の中から、ぼけ量の差が第１閾値以上の画像が取得できた段階で、予測合焦位置へフォーカスレンズを即座に移動させることができる。
　図１１は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１１に示す手順は、ＡＦ処理枠内のそれぞれの領域に重み付けが設定されたマルチポイントＡＦモードで適用されてよい。
　撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ４０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ４０２）。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
　一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ４０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ４０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ４０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ４０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ４０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ４０８）。
　差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在しなければ、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズを移動させて、レンズと撮像面との位置関係が異なる撮像画像をさらに取得すべく、ステップＳ４０５以降の処理を繰り返す。
　差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在すれば、該当する画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）と、画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び、画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する（Ｓ４１０）。
　閾値以上の特徴量を有するすべての画像についてオブジェクトまでの距離が導出されていなければ、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズを移動させて、レンズと撮像面との位置関係が異なる撮像画像をさらに取得すべく、ステップＳ４０５以降の処理を繰り返す。
　閾値以上の特徴量を有するすべての画像についてオブジェクトまでの距離が導出されると、合焦制御部１４０は、それらの距離に基づいて被写体までの距離を決定する（Ｓ４１０）。例えば、図７に示すＡＦ処理枠６１０の場合、ＡＦ処理枠６１０内のそれぞれの画像の領域に個別に重み付けを行ってよい。ＡＦ処理枠６１０内の中央の画像６０１の領域を「１００」、画像６０１の左右に隣接する画像６０２及び画像６０３に「７０」、画像６０１の上方に隣接する画像６０４に「７０」、画像６０１の下方に隣接する画像６０５に「５０」の重み付けが設定されてよい。そして、合焦制御部１４０は、ＡＦ処理枠６１０内のそれぞれの領域について導出されたオブジェクトまでの距離にそれぞれの領域に対する重み付けを行い、重み付けされたそれぞれの距離に基づいて、被写体までの距離を決定してよい。合焦制御部１４０は、決定された被写体までの距離に基づいて、予測合焦位置へフォーカスレンズを移動させる（Ｓ４１３）。
　以上のように、複数の領域について距離を算出する場合に、複数の領域ごとにぼけ量の差が第１閾値以上となる画像を取得する。これにより、複数の領域間で導出される距離の精度にばらつきが生じることを防止できる。
　図１２は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１２に示す手順は、無限遠端優先または至近端優先などの撮像モードで適用されてよい。
　撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ５０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ５０２）。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
　一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ５０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ５０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ５０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ５０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ５０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ５０８）。導出部１１６は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）に基づいて、それぞれの画像Ｉ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）に含まれるそれぞれのオブジェクトまでの距離を導出する（Ｓ５０９）。
　合焦制御部１４０は、算出された距離の中から撮像条件を満たす画像Ｉ（ｔ０）及び画像（ｔｎ）を選択する（Ｓ５１０）。合焦制御部１４０は、例えば、至近端優先であれば、算出された距離の中から最も近い距離の画像Ｉを選択する。合焦制御部１４０は、無限遠端優先であれば、算出された距離の中から最も遠い距離の画像Ｉを選択する。
　合焦制御部１４０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像（ｔｎ）のぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であるか否かを判定する（Ｓ５１１）。差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であれば、合焦制御部１４０は、導出部１１６により導出された画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ５１６）。
　合焦制御部１４０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像（ｔｎ）のぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１より小さければ、撮像制御部１１０は、カウンタをインクリメントする（Ｓ５１２）。次いで、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ５１３）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からステップＳ５１０で選択された画像Ｉ（ｔ０）に対応する位置の画像Ｉ（ｔｎ）を取得する（Ｓ５１４）。算出部１１４は、取得された画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ５１５）。
　撮像制御部１１０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）とのぼけ量の差が第１閾値Ｔｈ１以上となる画像（ｔｎ）が得られるまで、ステップＳ５１１の処理を繰り返す。その後、差｜Ｃ（ｔｎ）－Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上になる画像（ｔｎ）が得られると、合焦制御部１４０は、導出部１１６により導出された画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ５１６）。
　以上の通り、無限遠端優先または至近端優先などの撮像モードでＡＦ処理が実行される場合でも、精度よくＢＤＡＦ方式のＡＦ処理を実行できる。
　ところで、例えば、ＵＡＶ１０などの移動体に搭載された撮像装置１００で撮像すると、撮像画像内のオブジェクトが撮像画像内で移動してしまう場合がある。オブジェクトの移動量が大きいと、撮像制御部１１０は、ＢＤＡＦ方式で精度よくＡＦ処理を実行できない場合がある。
　そこで、撮像制御部１１０は、オブジェクトの画像内での移動量を考慮して、ＢＤＡＦ方式のＡＦ処理を実行してよい。
　図１３は、他の実施形態に係るＵＡＶ１０の機能ブロックの一例を示す。図１３に示すＵＡＶ１０は、撮像制御部１１０が特定部１１３を有する点で、図２に示すＵＡＶ１０と異なる。
　特定部１１３は、レンズと撮像面とが第１位置関係にある状態で撮像された第１撮像画像内の第１画像に含まれる特徴点を、レンズと撮像面とが第２位置関係にある状態で撮像された第２撮像画像の特徴点と比較することにより、第１画像に対応する第２撮像画像の領域を特定する。取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値Ｔｈ２以下である場合、第２撮像画像に対して、第１撮像画像と第１画像との位置関係と同一の位置関係にある第２撮像画像の領域の画像を第２画像として取得する。
　取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きい場合、その領域を第２画像として取得してよい。取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値Ｔｈ２より大きく、かつ第３閾値Ｔｈ３以下の場合、その領域の画像を第２画像として取得してよい。第２閾値Ｔｈ２及び第３閾値Ｔｈ３は、イメージセンサ１２０の画素ピッチなどに基づいて定められてよい。特定部１１３は、画像を複数のブロックに分割して、ブロック単位に特徴点を探索してよい。そこで、第２閾値Ｔｈ２及び第３閾値Ｔｈ３は、特徴点を探索するブロックのサイズに基づいて定められてよい。
　特定部１１３は、例えば、図１４に示すように第１撮像画像８００内におけるＡＦ処理枠８１０の第１画像８１２から特徴点８２０を特定する。特定部１１３は、画素値、輝度、エッジ検出などに基づいて特徴点８２０を特定してよい。次いで、レンズと撮像面との位置関係が変更された状態で撮像された第２撮像画像８０２内から特徴点８２０に対応する特徴点８２１を特定する。特定部１１３は、第１撮像画像８００の特徴点８２０と、第２撮像画像８０２の特徴点８２１とを比較することにより、第１画像８１２に対応する第２撮像画像８０２の領域８１４を特定する。取得部１１２は、第１撮像画像８００における第１画像８１２の位置と第２撮像画像８０２における領域８１４の位置との差が第２閾値Ｔｈ２以下である場合、第２撮像画像８０２に対して、第１撮像画像８００と第１画像８１２との位置関係と同一の位置関係にある第２撮像画像８０２の領域８１６の画像を第２画像として取得する。すなわち、合焦制御部１４０は、第２撮像画像８０２内のＡＦ処理枠８１１を第１撮像画像８００内のＡＦ処理枠８１０に対して移動させず、ＢＤＡＦ方式のＡＦ処理を実行する。
　一方、特定部１１３が、レンズと撮像面との位置関係が変更された状態で撮像された第３撮像画像８０４内から特徴点８２０に対応する特徴点８２２を特定したとする。この場合、特定部１１３は、第１撮像画像８００の特徴点８２０と、第３撮像画像８０４の特徴点８２２とを比較することにより、第１画像８１２に対応する第３撮像画像８０４の領域８１６を特定する。取得部１１２は、第１撮像画像８００における第１画像８１２の位置と第３撮像画像８０４における領域８１６の位置との差が第２閾値Ｔｈ２より大きいと判断して、その領域８１６を第２画像として取得する。すなわち、合焦制御部１４０は、領域８１６に対応して第３撮像画像８０４内のＡＦ処理枠８１３を、第１撮像画像８００のＡＦ処理枠８１０に対して、特徴点の移動量分だけ移動させて、移動させたＡＦ処理枠８１３を用いて、ＢＤＡＦ方式のＡＦ処理を実行する。
　このように比較対象のオブジェクトが画像内で許容範囲以上移動した場合には、比較対象の画像の位置を変更して、算出部１１４が変更後の画像からぼけ量を算出する。よって、画像内でオブジェクトが移動しても精度よくＢＤＡＦ方式でのＡＦ処理を実行できる。
　特定部１１３が特定する特徴点は、画像内の輝度の重心から特定してもよい。例えば、図１５Ａに示すように、第１撮像画像９００内にオブジェクト９０２が含まれている。特定部１１３は、第１撮像画像９００を複数のブロック（例えば、８×８画素）単位に分割し、それぞれのブロックごとに輝度を算出し、ブロック単位で輝度を表したモノクロ画像９０１を生成する。特定部１１３は、モノクロ画像９０１から輝度の重心９０３の位置を特定する。同様に、特定部１１３は、第２撮像画像９１０を複数のブロックごとに分割し、それぞれのブロックごとに輝度を算出し、モノクロ画像９１１を生成する。さらに、特定部１１３は、モノクロ画像９１１から輝度の重心９１３の位置を特定する。特定部１１３は、輝度の重心が重心９０３の位置から重心９１３の位置まで移動したことを特定する。特定部１１３は、輝度の重心の移動量が１ブロックの範囲内、つまり、輝度の重心の移動量が８×８画素以内であれば、特徴点の移動量が第２閾値以内であると判断してよい。一方、特定部１１３は、重心の移動量が２ブロックの範囲内であれば、特徴点の移動量が第３閾値以内であると判断してよい。そして、取得部１１２は、図１５Ｂに示すように、第１撮像画像９００の第１画像９３０に対して、第２撮像画像９１０から取得する第２画像として、領域９３１の画像ではなく、領域９３２の画像を取得する。これにより、画像間でのオブジェクト９０２及び９１２の移動の影響を避けることができる。
　図１６は、オブジェクトの移動量に応じてＡＦ処理枠を移動させる手順の一例を示すフローチャートである。
　取得部１１２が、レンズと撮像面とが第１位置関係にある状態で撮像された第１撮像画像から、画像Ｉ（ｔ０）を取得する（Ｓ６０１）。次いで、取得部１１２は、レンズと撮像面とが第２位置関係にある状態で撮像された第２撮像画像から、画像Ｉ（ｔ０）に対応する位置にある画像Ｉ（ｔ１）を取得する（Ｓ６０２）。特定部１１３は、画像Ｉ（ｔ０）内のオブジェクトＳに対する画像Ｉ（ｔ１）のオブジェクトＳの移動量Ｘを演算する（Ｓ６０３）。特定部１１３は、上記のように、画素値、輝度などに基づいて特徴点を特定して、特徴点同士の位置を比較することで、移動量Ｘを演算してよい。
　次いで、合焦制御部１４０は、移動量Ｘが第２閾値Ｔｈ２以下か否かを判定する（Ｓ６０４）。合焦制御部１４０は、合焦制御部１４０は、第１撮像画像の特徴点の位置に対応するブロック内に第２撮像画像の特徴点が存在するか否かを判定してよい。合焦制御部１４０は、例えば、移動量Ｘが８×８画素以内か否かを判定してよい。合焦制御部１４０は、移動量Ｘが第２閾値Ｔｈ２以下であれば、第２撮像画像に対するＡＦ処理枠を移動せず、ステップＳ６０２で取得した画像Ｉ（ｔ１）を利用して、ぼけ量に基づく距離算出処理を実行する（Ｓ６０５）。すなわち、合焦制御部１４０は、画像Ｉ（ｔ０）のぼけ量と、画像Ｉ（ｔ１）のぼけ量とに基づいてオブジェクトＳまでの距離を決定する。その後、合焦制御部１４０は、オブジェクトＳまでの距離に基づいてフォーカスレンズを移動させる。
　一方、移動量Ｘが第２閾値Ｔｈ２より大きい場合、合焦制御部１４０は、移動量Ｘが第３閾値Ｔｈ３以下か否かを判定する（Ｓ６０６）。合焦制御部１４０は、第１撮像画像の特徴点の位置に対応するブロックに隣接するブロック内に第２撮像画像の特徴点が存在するか否かを判定してよい。合焦制御部１４０は、例えば、移動量が２４×２４画素以内か否かを判定してよい。移動量Ｘが第３閾値Ｔｈ３以下であれば、合焦制御部１４０は、比較対象の画像Ｉ（ｔ１）のＡＦ処理枠を移動量Ｘ分移動させる（Ｓ６０７）。次いで、合焦制御部１４０は、移動後のＡＦ処理枠から取得された画像Ｉ（ｔ１）のぼけ量と、画像Ｉ（ｔ０）のぼけ量とに基づいてオブジェクトＳまでの距離を決定する（Ｓ６０５）。その後、合焦制御部１４０は、オブジェクトＳまでの距離に基づいてフォーカスレンズを移動させる。
　以上の通り、画像内のオブジェクトの移動を考慮して、比較対象の画像の位置を調整することで、より精度よくＢＤＡＦ方式のＡＦ処理を実行できる。
　図１７は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
　本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ－ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
　また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
　様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
　請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　ＵＡＶ
２０　ＵＡＶ本体
３０　ＵＡＶ制御部
３２　メモリ
３４　通信インタフェース
４０　推進部
４１　ＧＰＳ受信機
４２　慣性計測装置
４３　磁気コンパス
４４　気圧高度計
４５　温度センサ
５０　ジンバル
６０　撮像装置
１００　撮像装置
１０２　撮像部
１１０　撮像制御部
１１２　取得部
１１３　特定部
１１４　算出部
１１６　導出部
１２０　イメージセンサ
１３０　メモリ
１４０　合焦制御部
２００　レンズ部
２１０　レンズ
２１２　レンズ移動機構
２２０　レンズ制御部
３００　遠隔操作装置
１２００　コンピュータ
１２１０　ホストコントローラ
１２１２　ＣＰＵ
１２１４　ＲＡＭ
１２２０　入力／出力コントローラ
１２２２　通信インタフェース
１２３０　ＲＯＭ

Claims (20)

  1. 　撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部と、
    　前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する算出部と、
    　前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する制御部と
    を備える撮像制御装置。
  2. 　前記取得部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得し、
    　前記算出部は、前記第３画像のぼけ量をさらに算出し、
    　前記制御部は、前記第１画像のぼけ量と前記第３画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像及び前記第３画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
  3. 　前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
    　前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
    　前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さく、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上の場合、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
  4. 　前記取得部は、前記第１撮像画像に含まれる前記第１画像に隣接する第４画像及び前記第２撮像画像に含まれる前記第２画像に隣接する第５画像をさらに取得し、
    　前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
    　前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
  5. 　前記第１画像のぼけ量と前記第２画像のぼけ量とに基づいて、前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像のぼけ量と前記第５画像のぼけ量とに基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
    　前記制御部は、前記第１距離及び前記第２距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
  6. 　前記取得部は、前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
    　前記算出部は、前記第６画像のぼけ量をさらに算出し、
    　前記制御部、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
  7. 　前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
    　前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
    　前記撮像制御装置は、
    　前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
    　前記制御部は、前記第１距離が予め定められた撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上の場合、前記第１距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
  8. 　前記取得部は、前記第１距離が前記撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
    　前記算出部は、前記第６画像のぼけ量をさらに算出し、
    　前記制御部は、前記第１画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像のぼけ量及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項７に記載の撮像制御装置。
  9. 　前記第１画像に含まれる特徴点を前記第２撮像画像の特徴点と比較することにより、前記第１画像に対応する前記第２撮像画像の領域を特定する特定部をさらに備え、
    　前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が第２閾値以下である場合、前記第２撮像画像に対して、前記第１撮像画像と前記第１画像との位置関係と同一の位置関係にある前記第２撮像画像の領域の画像を前記第２画像として取得する、請求項１に記載の撮像制御装置。
  10. 　前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きい場合、前記領域を前記第２画像として取得する、請求項９に記載の撮像制御装置。
  11. 　前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きく、かつ第３閾値以下の場合、前記領域の画像を前記第２画像として取得する、請求項９に記載の撮像制御装置。
  12. 　前記特定部は、前記第１画像の輝度及び前記第２撮像画像の前記領域の輝度に基づいてそれぞれの特徴点を特定する、請求項９に記載の撮像制御装置。
  13. 　前記特定部は、前記第１画像の輝度の重心を前記第１画像に含まれる前記特徴点とし、前記第２撮像画像の前記領域の輝度の重心を前記第２撮像画像の前記特徴点として特定する、請求項１２に記載の撮像制御装置。
  14. 　前記レンズに含まれるフォーカスレンズの位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１に記載の撮像制御装置。
  15. 　前記撮像面の位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１に記載の撮像制御装置。
  16. 　請求項１から１５の何れか１つに記載の撮像制御装置と、
    　前記撮像面を有するイメージセンサと、
    　前記レンズと
    を備える撮像装置。
  17. 　請求項１６に記載の撮像装置と、
    　前記撮像装置を支持する支持機構と
    を備える撮像システム。
  18. 　請求項１７に記載の撮像システムを搭載して移動する移動体。
  19. 　撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階と、
    　前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する段階と、
    　前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する段階と
    を備える撮像制御方法。
  20. 　撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階と、
    　前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する段階と、
    　前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する段階と
    をコンピュータに実行させるためのプログラム。
PCT/JP2017/014554 2017-04-07 2017-04-07 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム WO2018185939A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780002652.0A CN108235815B (zh) 2017-04-07 2017-04-07 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质
PCT/JP2017/014554 WO2018185939A1 (ja) 2017-04-07 2017-04-07 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP2017560332A JPWO2018185939A1 (ja) 2017-04-07 2017-04-07 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014554 WO2018185939A1 (ja) 2017-04-07 2017-04-07 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018185939A1 true WO2018185939A1 (ja) 2018-10-11

Family

ID=62645421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014554 WO2018185939A1 (ja) 2017-04-07 2017-04-07 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム

Country Status (3)

Country Link
JP (1) JPWO2018185939A1 (ja)
CN (1) CN108235815B (ja)
WO (1) WO2018185939A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6710864B1 (ja) * 2018-12-20 2020-06-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ レンズ装置、撮像装置、及び移動体
JP6690106B1 (ja) * 2019-03-26 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 決定装置、撮像システム、及び移動体
JP6798072B2 (ja) * 2019-04-24 2020-12-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、移動体、制御方法、及びプログラム
CN111932901B (zh) * 2019-05-13 2022-08-09 斑马智行网络(香港)有限公司 道路车辆跟踪检测设备、方法及存储介质
JP6874251B2 (ja) * 2019-07-23 2021-05-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 装置、撮像装置、移動体、方法、及びプログラム
JP2021032990A (ja) * 2019-08-21 2021-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像システム、制御方法、及びプログラム
CN112335227A (zh) * 2019-08-21 2021-02-05 深圳市大疆创新科技有限公司 控制装置、摄像系统、控制方法以及程序
JP7019895B2 (ja) * 2020-04-07 2022-02-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 装置、撮像装置、撮像システム、移動体、方法、及びプログラム
CN112822410B (zh) * 2021-04-19 2021-06-22 浙江华创视讯科技有限公司 聚焦方法、装置、电子装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089348A (ja) * 2007-09-11 2009-04-23 Ricoh Co Ltd 電子機器および撮像装置並びに再生装置
JP2013142882A (ja) * 2012-01-13 2013-07-22 Canon Inc 撮像装置、レンズ装置および撮像装置の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
WO2012137650A1 (ja) * 2011-04-01 2012-10-11 富士フイルム株式会社 撮影装置及びプログラム
EP2615823A3 (en) * 2012-01-13 2016-01-20 Canon Kabushiki Kaisha Imaging apparatus, lens apparatus, imaging apparatus controlling method, lens apparatus controlling method, computer program, and imaging system
DE102013210204A1 (de) * 2013-05-31 2014-12-18 Gilupi Gmbh Detektionsvorrichtung zur in vivo und/oder in vitro Anreicherung von Probenmaterial
JP6136019B2 (ja) * 2014-02-03 2017-05-31 パナソニックＩｐマネジメント株式会社 動画像撮影装置、および、動画像撮影装置の合焦方法
JP6137316B2 (ja) * 2014-02-26 2017-05-31 パナソニックＩｐマネジメント株式会社 深さ位置検出装置、撮像素子、及び深さ位置検出方法
CN106303201A (zh) * 2015-06-04 2017-01-04 光宝科技股份有限公司 影像撷取装置及对焦方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089348A (ja) * 2007-09-11 2009-04-23 Ricoh Co Ltd 電子機器および撮像装置並びに再生装置
JP2013142882A (ja) * 2012-01-13 2013-07-22 Canon Inc 撮像装置、レンズ装置および撮像装置の制御方法

Also Published As

Publication number Publication date
CN108235815B (zh) 2020-11-13
CN108235815A (zh) 2018-06-29
JPWO2018185939A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
WO2018185939A1 (ja) 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US20210120171A1 (en) Determination device, movable body, determination method, and program
JP2019110462A (ja) 制御装置、システム、制御方法、及びプログラム
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
JP2019191428A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN112292712A (zh) 装置、摄像装置、移动体、方法以及程序
JP6503607B2 (ja) 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP6543875B2 (ja) 制御装置、撮像装置、飛行体、制御方法、プログラム
JP6587006B2 (ja) 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
JP6515423B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP2019220834A (ja) 無人航空機、制御方法、及びプログラム
JP6641574B1 (ja) 決定装置、移動体、決定方法、及びプログラム
JP6696092B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP2019096965A (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
JP2019083390A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6714802B2 (ja) 制御装置、飛行体、制御方法、及びプログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP2019205047A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6413170B1 (ja) 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム
JP6696094B2 (ja) 移動体、制御方法、及びプログラム
JP2020098289A (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP2020052220A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017560332

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17904946

Country of ref document: EP

Kind code of ref document: A1