WO2019187648A1 - 撮像装置、撮像方法、プログラム及び記録媒体 - Google Patents

撮像装置、撮像方法、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2019187648A1
WO2019187648A1 PCT/JP2019/003980 JP2019003980W WO2019187648A1 WO 2019187648 A1 WO2019187648 A1 WO 2019187648A1 JP 2019003980 W JP2019003980 W JP 2019003980W WO 2019187648 A1 WO2019187648 A1 WO 2019187648A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
unit
imaging
subjects
focus
Prior art date
Application number
PCT/JP2019/003980
Other languages
English (en)
French (fr)
Inventor
智行 河合
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020510349A priority Critical patent/JP6998454B2/ja
Publication of WO2019187648A1 publication Critical patent/WO2019187648A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, a program, and a recording medium, and more particularly to a technique for performing focus bracket imaging in which a moving image is captured by sequentially moving a focus lens.
  • Patent Documents 1 and 2 Conventionally, there are devices described in Patent Documents 1 and 2 as imaging devices that capture a moving image by focus bracket imaging.
  • the imaging apparatus described in Patent Document 1 performs a scan operation for detecting a focus position (a position of the focus lens) for each of a plurality of partial regions of image data while moving the focus lens, and is obtained as a result of the scan operation. Based on the information on the in-focus positions of a plurality of partial areas, the focus lens is moved while switching the moving speed of the focus lens, and a moving image is captured and recorded.
  • the imaging apparatus described in Patent Document 1 continuously moves the focus lens by the focus bracket imaging function, but the distance between adjacent in-focus positions between adjacent in-focus positions separated by a predetermined distance or more.
  • the focus lens is moved at a higher speed than when the distance is less than a predetermined distance, thereby shortening the time for capturing a moving image with the focus bracket imaging function from close to infinity.
  • the imaging device described in Patent Document 2 captures a moving image with the focus bracket imaging function in the same manner as the imaging device described in Patent Document 1, and a focus lens at each in-focus position as a moving image shooting method.
  • the first method is a method of stopping the focus lens at each in-focus position during exposure of each frame image, and moving the focus lens to the next in-focus position after the exposure is completed.
  • the first method is set particularly when the subject is stationary, and the second method is set when the subject is not stationary.
  • the focus between adjacent in-focus positions separated by a predetermined distance or more is more focused than in the case where the distance between adjacent in-focus positions is less than the predetermined distance.
  • Move the lens at high speed As a result, the invention described in Patent Document 1 can shorten the imaging time of moving images with the focus bracket imaging function from close to infinity.
  • the invention described in Patent Document 1 always moves the focus lens even at the in-focus position. For example, even if the focus lens moves to the in-focus position of a stationary subject, the focus lens remains stationary. The focusing position of the focus lens varies during the exposure period of the subject. As a result, there is a problem in that focusing accuracy is lowered and a still image (one frame of a moving image) with high image quality cannot be captured.
  • the invention described in Patent Document 2 performs the moving image shooting while moving the focus lens at each in-focus position without stopping the focus lens and moving the image without moving the focus lens at each in-focus position.
  • a second method Accordingly, the invention described in Patent Document 2 allows the user to appropriately select the first method or the second method depending on whether or not the subject is stopped, or to detect the motion vector of the subject at the time of pre-scanning, and automatically In particular, by switching between the first method and the second method, it is possible to perform appropriate focus bracket imaging with improved synthesis accuracy.
  • the present invention has been made in view of such circumstances.
  • the subject is not limited to whether or not each subject is stationary, and is applied to all subjects.
  • An object is to provide an imaging apparatus, an imaging method, a program, and a recording medium that can perform focus bracket imaging with high focusing accuracy.
  • an imaging apparatus is an imaging apparatus that captures a moving image by sequentially focusing on a plurality of subjects, and an optical image that has passed through an imaging optical system including a focus lens.
  • An image pickup unit that receives a moving image showing an optical image, a subject specifying unit that specifies a plurality of subjects included in the optical image picked up by the image pickup unit, and a priority order for ranking the focus adjustment of the plurality of subjects
  • a control unit that sequentially performs automatic focus adjustment of the subject, and the control unit controls the automatic focus adjustment unit to move the focus lens to a focus position of one of the plurality of subjects.
  • the focusing control to continue a certain time the automatic focusing for one object, repetitively executed in the order they are ranked by the ranking unit.
  • the focusing control is performed such that the focus lens is moved to the focus position of one of the plurality of subjects and the automatic focus adjustment for one subject is continued for a certain time. Therefore, it is possible to perform focus bracket imaging with high focusing accuracy for all subjects regardless of whether or not a plurality of subjects are stationary.
  • the imaging apparatus includes an in-focus time setting unit that sets an in-focus time for one subject, and the fixed time is the in-focus time set by the in-focus time setting unit.
  • the fixed time is preferably equal to or longer than the time for completing the focusing control by the automatic focus adjustment, and can be set to, for example, about several seconds.
  • An imaging apparatus includes an imaging time setting unit that sets a total imaging time of a moving image, and the fixed time includes a total imaging time of the moving image set by the imaging time setting unit and a plurality of subjects. The time is preferably determined based on the number.
  • the predetermined time is an equal time obtained by dividing the total moving image imaging time by the number of subjects.
  • the focusing control time can be equally allocated to each subject.
  • the fixed time is a time in which the total imaging time of the moving image is assigned to each subject with a time distribution weighted for each of the plurality of subjects.
  • the fixed time allocated to each subject includes the total imaging time of the moving image, the size of each of the subjects in the moving image, and from the imaging device to each subject. It is preferably determined by at least one of the distance and the moving speed of each subject.
  • the time allocated to the subject (the focus control The time allocated to each subject can be adjusted in accordance with the distance from the imaging apparatus to each subject or the moving speed of each subject.
  • the ranking unit is based on the size of each subject in the moving image, the distance from the imaging device to each subject, or the moving speed of each subject. It is preferable to prioritize the focus adjustment of a plurality of subjects. For example, if each subject is ranked based on the distance from the imaging device to the subject, the focus lens is moved from the focus position of one subject to the focus position of the next subject when sequentially focusing on a plurality of subjects. When moving, it is possible to prevent the moving direction of the focus lens from being reversed.
  • the size of each subject in the moving image corresponds to the distance from the imaging device to each subject.
  • the imaging apparatus includes a focus position detection unit that sequentially detects the focus positions of a plurality of subjects, and the ranking unit switches the order of subjects to be focused, It is preferable that the moving direction of the focus lens when moving the focus lens from the focus position of the subject to the focus position of the next subject is a constant direction. When all or some of the plurality of subjects move, the positional relationship between the subjects may fluctuate during focus bracket imaging after determining the order of the subjects. In this case, the moving direction of the focus lens when moving the focus lens to the in-focus position of the subject can be made constant by changing the order of subjects to be focused.
  • a display unit that displays a moving image captured by the imaging unit, a subject detection unit that detects a plurality of subjects in the moving image, and a plurality of detection units detected by the subject detection unit It is preferable to include a notification unit that causes the display unit to display the focus adjustment order of a plurality of subjects ranked by the subject and the ranking unit. Thereby, the user can know which subject is subjected to focus bracket imaging, and the imaging order of each subject that is subject to focus bracket imaging.
  • a display unit that displays a moving image captured by the imaging unit, a subject detection unit that detects a plurality of subjects in the moving image, and a plurality of detection units detected by the subject detection unit
  • a notification unit that causes the display unit to display a focus adjustment order of a plurality of subjects ranked by the subject and the ranking unit, and the notification unit replaces the order of the subjects to be focused by the ranking unit, It is preferable to notify the focus adjustment order of each subject whose order has been changed. Thereby, when the imaging order of each subject to be captured by the focus bracket is switched, the user can know the imaging order of each subject after the replacement.
  • a display unit that displays a moving image captured by the imaging unit, a subject detection unit that detects a plurality of subjects in the moving image, and a plurality of detection units detected by the subject detection unit
  • a notification unit that causes the display unit to display a focus adjustment order of a plurality of subjects ranked by the subject and the ranking unit, and the notification unit performs automatic focus adjustment of the plurality of subjects to It is preferable to notify the subject for which imaging has been completed. As a result, the user can know to what order of the plurality of subjects the focus bracket imaging has been completed.
  • the subject specifying unit specifies each subject specified by an operation unit that specifies an arbitrary subject as a plurality of subjects for focus adjustment.
  • the subject specifying unit specifies each subject specified by an operation unit that specifies an arbitrary subject as a plurality of subjects for focus adjustment.
  • the imaging unit includes an image sensor having a phase difference pixel
  • the automatic focus adjustment unit is configured to focus the subject on the basis of the output of the phase difference pixel of the image sensor.
  • the focus lens is moved to the focus position of one of the plurality of subjects.
  • the image sensor is a sensor that performs accumulation and readout of signal charges for each line by light reception of an optical image that has passed through the imaging optical system. It is preferable to move the focus lens to the in-focus position of the one subject at the read timing of the line where the optical image of the one subject to be focused is received.
  • the in-focus position of one subject can be detected by the output of the phase difference pixel of the line received by the optical image of the one subject, and by performing automatic focus adjustment at the readout timing of this line, one subject The automatic focus adjustment is enabled at the earliest timing.
  • the image sensor is a sensor that performs accumulation and readout of signal charges by receiving light of an optical image of a subject for each line, and the automatic focus adjustment unit performs automatic focus adjustment. It is preferable to move the focus lens to the in-focus position of the one subject at the readout timing at the center of the exposure aperture of the line where the optical image of the one subject is received. Thus, based on the in-focus position of one subject detected at the center of one subject (the center of the exposure aperture of the line where the optical image of one subject is received), automatic focus adjustment for one subject is performed. It can be performed.
  • the imaging unit includes an image sensor having a phase difference pixel and a normal pixel for moving image capturing, and is positioned from the phase difference pixel at a first timing of one frame of the moving image.
  • the phase difference information is output, one frame image constituting the moving image is output from the normal pixel at the second timing later than the first timing, and the automatic focus adjustment unit outputs the phase difference information output at the first timing.
  • Focusing control is performed by pre-reading phase difference information from the phase difference pixel at the first timing and performing automatic focus adjustment on an image of one frame output at a second timing later than the first timing.
  • the present invention according to still another aspect is an imaging method for capturing a moving image by sequentially focusing on a plurality of subjects, the step of specifying a plurality of subjects included in an optical image captured by an imaging unit, A step of prioritizing the focus adjustment of the subject, and a step of the control unit controlling the automatic focus adjustment unit to sequentially perform the automatic focus adjustment of each subject by the automatic focus adjustment unit according to the order of the focus adjustment of the plurality of subjects.
  • the step of controlling the automatic focus adjustment unit by the control unit controls the automatic focus adjustment unit, and the focus control for continuing the automatic focus adjustment for one subject among the plurality of subjects for a predetermined time, Repeatedly execute in the order in which they are assigned.
  • the present invention according to still another aspect is a program for realizing the above imaging method by a computer in the imaging apparatus.
  • the present invention according to still another aspect is a recording medium storing a program for realizing the above-described imaging method by a computer in the imaging apparatus.
  • the focusing unit that ranks the focusing control that moves the focus lens to the in-focus position of one of the plurality of subjects and continues the automatic focus adjustment for one subject for a certain period of time is ranked by the ranking unit. Since it is repeatedly executed from the subject in the first order to the subject in the last order, it is possible to perform focus bracket imaging with high focusing accuracy for all subjects regardless of whether or not a plurality of subjects are stationary. it can.
  • FIG. 1 is a perspective view of an imaging apparatus according to the present invention as viewed obliquely from the front.
  • FIG. 2 is a rear view of the imaging apparatus.
  • FIG. 3 is a block diagram illustrating an embodiment of the internal configuration of the imaging apparatus.
  • FIG. 4 is a diagram illustrating a configuration example of the image sensor.
  • FIG. 5 is a schematic view showing a cross section of a part of the phase difference pixel row of the image sensor.
  • FIG. 6 is a diagram illustrating an example of a region where the first phase difference pixel and the second phase difference pixel are arranged in the imaging region of the image sensor.
  • FIG. 7 is a functional block diagram showing an embodiment of the main body side CPU 220 that executes focus bracket imaging.
  • FIG. 1 is a perspective view of an imaging apparatus according to the present invention as viewed obliquely from the front.
  • FIG. 2 is a rear view of the imaging apparatus.
  • FIG. 3 is a block diagram illustrating an embodiment of the internal configuration
  • FIG. 8 is a timing chart showing a vertical synchronizing signal (A) of a moving image, image sensor pixel readout (B) by a rolling shutter system, and a focus lens position (C).
  • FIG. 9 is a diagram used for explaining an example of time distribution weighted for each subject.
  • FIG. 10 is a chart showing the time distribution of each subject when the total imaging time T is 1 according to the number N of subjects and the time distribution ranking S [m].
  • FIG. 11 is a flowchart showing the first embodiment of the imaging method according to the present invention.
  • FIG. 12 is a flowchart showing a second embodiment of the imaging method according to the present invention.
  • FIG. 13 is a flowchart showing a third embodiment of the imaging method according to the present invention.
  • FIG. 14 is a flowchart showing a fourth embodiment of the imaging method according to the present invention.
  • FIG. 15 is a timing chart showing a vertical synchronizing signal (A) of a moving image, image sensor pixel readout (B) by a rolling shutter system, and a focus lens position (C).
  • FIG. 16 is an external view of a smartphone which is an embodiment of a photographing apparatus according to the present invention.
  • FIG. 17 is a block diagram showing a configuration of the smartphone.
  • FIG. 1 is a perspective view of the image pickup apparatus as viewed obliquely from the front
  • FIG. 2 is a rear view of the image pickup apparatus.
  • the imaging device 10 is a mirrorless digital single-lens camera including an interchangeable lens 100 and a camera body 200 to which the interchangeable lens 100 can be attached and detached.
  • a main body mount 260 to which the interchangeable lens 100 is attached, a finder window 20 of an optical finder, and the like are provided on the front surface of the camera main body 200.
  • the shutter release switch 22 and the shutter are mainly provided on the upper surface of the camera main body 200.
  • a speed dial 23, an exposure correction dial 24, a power lever 25, and a built-in flash 30 are provided.
  • a liquid crystal monitor 216 an optical viewfinder eyepiece 26, a MENU / OK key 27, a cross key 28, a playback button 29, and the like are mainly provided on the back of the camera body 200.
  • the liquid crystal monitor 216 functions as a display unit for displaying various menu screens in addition to displaying a live view image in the shooting mode, reproducing and displaying an image captured in the playback mode, and displaying various information to the user.
  • the MENU / OK key 27 is an operation having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 216 and a function as an OK button for instructing confirmation and execution of selection contents.
  • the cross key 28 is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a multi-function key for selecting an item from the menu screen and instructing selection of various setting items from each menu.
  • the up and down keys of the cross key 28 function as a zoom switch at the time of imaging or a playback zoom switch in the playback mode, and the left key and the right key are frame advance (forward and reverse) buttons in the playback mode. Function as. In addition, it also functions as an operation unit that designates an arbitrary subject for focus adjustment from a plurality of subjects displayed on the liquid crystal monitor 216.
  • moving image capturing for capturing a moving image. It is a kind of mode and moving image capturing mode, and various image capturing modes including a focus bracket imaging mode for capturing a moving image by sequentially focusing on a plurality of subjects can be set.
  • the playback button 29 is a button for switching to a playback mode in which the recorded still image or moving image is displayed on the liquid crystal monitor 216.
  • FIG. 3 is a block diagram illustrating an embodiment of the internal configuration of the imaging apparatus 10.
  • the interchangeable lens 100 that functions as an imaging optical system constituting the imaging apparatus 10 is manufactured in accordance with the communication standard of the camera body 200, and can communicate with the camera body 200 as described later. It is an interchangeable lens.
  • the interchangeable lens 100 includes an imaging optical system 102, a focus lens control unit 116, an aperture control unit 118, a lens side CPU (Central Processing Unit) 120, a flash ROM (Read Only Memory) 126, a lens side communication unit 150, and a lens mount. 160.
  • a lens side CPU Central Processing Unit
  • flash ROM Read Only Memory
  • the imaging optical system 102 of the interchangeable lens 100 includes a lens group 104 including a focus lens and a diaphragm 108.
  • the focus lens control unit 116 moves the focus lens according to a command from the lens side CPU 120 and controls the position (focus position) of the focus lens.
  • the diaphragm control unit 118 controls the diaphragm 108 in accordance with a command from the lens side CPU 120.
  • the lens-side CPU 120 controls the interchangeable lens 100 as a whole, and includes a ROM 124 and a RAM (Random Access Memory) 122.
  • the flash ROM 126 is a nonvolatile memory that stores programs downloaded from the camera body 200.
  • the lens-side CPU 120 performs overall control of each part of the interchangeable lens 100 using the RAM 122 as a work area according to a control program stored in the ROM 124 or the flash ROM 126.
  • the lens side communication unit 150 is connected to the camera body 200 via a plurality of signal terminals (lens side signal terminals) provided on the lens mount 160 in a state where the lens mount 160 is attached to the body mount 260 of the camera body 200. Communication. That is, the lens side communication unit 150 sends a request signal and a response signal to and from the main body side communication unit 250 of the camera body 200 connected via the lens mount 160 and the main body mount 260 in accordance with a command from the lens side CPU 120. Transmission / reception (bidirectional communication) is performed to notify the camera body 200 of lens information (focus lens position information, focal length information, aperture information, etc.) of each optical member of the imaging optical system 102.
  • lens information focus lens position information, focal length information, aperture information, etc.
  • the interchangeable lens 100 also includes a detection unit (not shown) that detects focus lens position information and aperture information.
  • the aperture information is information indicating the aperture value (F value) of the aperture 108, the aperture diameter of the aperture 108, and the like.
  • an F value is used as aperture information.
  • the lens-side CPU 120 preferably holds various lens information including the detected focus lens position information and aperture information in the RAM 122. Further, the lens information is detected when there is a request for lens information from the camera body 200, or is detected when the optical member is driven, or at a fixed period (a period sufficiently shorter than the frame period of the moving image). It is detected and the detection result can be held.
  • [Camera body] 3 includes an image sensor 201, an image sensor control unit 202, an analog signal processing unit 203, an A / D (Analog / Digital) converter 204, an image input controller 205, a digital signal.
  • the mount 260 and the built-in flash 30 (FIG. 1) are configured. It comprises: (focal-plane shutter FPS) 280 and the FPS control unit 296, Rush emitting unit 270, the flash control unit 272,
  • the image sensor 201 is composed of a complementary metal-oxide semiconductor (CMOS) type color image sensor.
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 201 is not limited to the CMOS type, but may be an XY address type or a CCD (Charge Coupled Device) type image sensor.
  • CCD Charge Coupled Device
  • the image sensor 201 has red on a plurality of pixels configured by photoelectric conversion elements (photodiodes) arranged two-dimensionally in the x direction (horizontal direction) and the y direction (vertical direction).
  • photoelectric conversion elements photodiodes
  • x direction horizontal direction
  • y direction vertical direction
  • RGB red
  • G green
  • B blue
  • the image sensor 201 includes a phase difference pixel (first phase difference pixel PA, second phase difference pixel PB) and a normal pixel for capturing a still image or moving image (a pixel other than the phase difference pixel). ing.
  • a normal pixel row in which only normal pixels are arranged in the horizontal direction (row direction) includes a pixel having an R filter (R pixel) and a pixel having a G filter (G pixel).
  • R pixel an R filter
  • G pixel a pixel having a G filter
  • the RG rows and GB rows are alternately arranged in the vertical direction (column direction).
  • the image sensor 201 has a phase difference pixel row in which the first phase difference pixel PA and the second phase difference pixel PB are provided, and a normal pixel row in which only the normal pixels are provided.
  • the phase difference pixel rows of the image sensor 201 are periodically set in a specific GB row of the Bayer array, with a pair of the first phase difference pixel PA and the second phase difference pixel PB and one normal pixel as one cycle. Arranged in the row direction. Therefore, in the phase difference pixel row, the G pixel and the B pixel are alternately arranged every two pixels (a pair of the first phase difference pixel PA and the second phase difference pixel PB) in the row direction.
  • the phase difference pixel row of this example is provided in GB row
  • the periodic color array is not limited to the Bayer array, and may be another color filter array such as an X-Trans (registered trademark) array.
  • FIG. 5 is an enlarged view of the main part showing the configuration of the first phase difference pixel PA and the second phase difference pixel PB arranged adjacent to each other in the phase difference pixel row shown in FIG.
  • a light shielding film MA is disposed on the front side (microlens ML side) of the photodiode PD of the first retardation pixel PA, while the photodiode PD of the second retardation pixel PB.
  • a light-shielding film MB is disposed on the front side.
  • the microlens ML and the light shielding films MA and MB have a pupil division function.
  • the light shielding film MA shields the left half of the light receiving surface of the photodiode PD. Therefore, only the light beam passing through the left region of the optical axis among the light beams passing through the exit pupil of the imaging optical system 102 is selectively received by the first phase difference pixel PA.
  • a G filter is disposed below the microlens ML.
  • the light shielding film MB shields the right half of the light receiving surface of the photodiode PD of the second phase difference pixel PB. Therefore, only the light beam passing through the right region of the optical axis among the light beams passing through the exit pupil of the imaging optical system 102 is selectively received by the second phase difference pixel PB.
  • the light beam passing through the exit pupil is divided into the left and right by the microlens ML having the pupil division function and the light shielding films MA and MB, and is incident on the first phase difference pixel PA and the second phase difference pixel PB, respectively. To do.
  • the pupil division direction of the first phase difference pixel PA and the second phase difference pixel PB of the image sensor 201 of this example is the horizontal direction (x direction) (left and right direction in FIG. 4).
  • FIG. 6 is a diagram illustrating an example of the arrangement of the phase difference pixel rows in the imaging region of the image sensor 201.
  • the phase difference pixel rows are arranged over the entire imaging region.
  • the optical image of the subject formed on the light receiving surface of the image sensor 201 by the imaging optical system 102 of the interchangeable lens 100 is converted into an electric signal by the image sensor 201.
  • Charges corresponding to the amount of incident light are accumulated in each pixel of the image sensor 201, and an electric signal corresponding to the amount of charge (signal charge) accumulated in each pixel is read from the image sensor 201 as an image signal.
  • the image sensor control unit 202 performs image signal readout control from the image sensor 201 in accordance with a command from the main body side CPU 220.
  • the image sensor 201 and the image sensor control unit 202 of this example sequentially perform an exposure operation for each of at least one line or each pixel (that is, sequentially reset for each line or each pixel to accumulate charges. This is a method of starting and reading out the accumulated electric charge), and can be driven by a so-called rolling shutter method, and in particular, a function of capturing a moving image or a live view image by a rolling shutter method with the FPS 280 opened.
  • the analog signal processing unit 203 performs various analog signal processing on the analog image signal obtained by imaging the subject with the image sensor 201.
  • the analog signal processing unit 203 includes a sampling hold circuit, a color separation circuit, an AGC (Automatic Gain Control) circuit, and the like.
  • the AGC circuit functions as a sensitivity adjustment unit that adjusts sensitivity at the time of imaging (ISO sensitivity (ISO: International Organization for Standardization)), adjusts the gain of an amplifier that amplifies an input image signal, and the signal level of the image signal is Try to be in the proper range.
  • the A / D converter 204 converts the analog image signal output from the analog signal processing unit 203 into a digital image signal.
  • Image data (mosaic image data) for each pixel of RGB output via the image sensor 201, the analog signal processing unit 203, and the A / D converter 204 when capturing a still image or moving image is transferred from the image input controller 205 to the RAM 207. Is temporarily stored.
  • the image sensor 201 is a CMOS type image sensor, the analog signal processing unit 203 and the A / D converter 204 are often built in the image sensor 201.
  • the digital signal processing unit 206 performs various digital signal processing on the image data stored in the RAM 207.
  • the digital signal processing unit 206 appropriately reads out image data stored in the RAM 207, and performs offset processing, gain control processing including sensitivity correction, gamma correction processing, demosaicing processing (demosaicing processing, simultaneous processing) on the read image data.
  • Digital signal processing such as RGB / YCrCb conversion processing or the like, and image data after the digital signal processing is stored in the RAM 207 again.
  • the demosaic process is a process of calculating color information of all RGB for each pixel from a mosaic image composed of RGB, for example, in the case of an image sensor composed of RGB color filters, and mosaic data (dot sequential RGB data). ) To generate the RGB 3 plane image data.
  • the RGB / YCrCb conversion process is a process of converting the synchronized RGB data into luminance data (Y) and color difference data (Cr, Cb).
  • the compression / decompression processing unit 208 performs compression processing on the uncompressed luminance data Y and the color difference data Cb and Cr once stored in the RAM 207 when recording a still image or a moving image.
  • a still image for example, it is compressed in JPEG (JointoPhotographic coding Experts Group) format, and in the case of a moving image, for example, H.264. Compress in H.264 format.
  • the image data compressed by the compression / decompression processing unit 208 is recorded on the memory card 212 via the media control unit 210.
  • the compression / decompression processing unit 208 performs decompression processing on the compressed image data obtained from the memory card 212 via the media control unit 210 in the playback mode, and generates uncompressed image data.
  • the media control unit 210 performs control to record the image data compressed by the compression / decompression processing unit 208 in the memory card 212. In addition, the media control unit 210 performs control for reading compressed image data from the memory card 212.
  • the display control unit 214 performs control to display uncompressed image data stored in the RAM 207 on the liquid crystal monitor 216.
  • the liquid crystal monitor 216 is configured by a liquid crystal display device, but may be configured by a display device such as organic electroluminescence instead of the liquid crystal monitor 216.
  • the digital image signal continuously generated by the digital signal processing unit 206 is temporarily stored in the RAM 207.
  • the display control unit 214 converts the digital image signal temporarily stored in the RAM 207 into a display signal format and sequentially outputs it to the liquid crystal monitor 216. Thereby, the captured image is displayed on the liquid crystal monitor 216 in real time, and the liquid crystal monitor 216 can be used as an electronic viewfinder.
  • the shutter release switch 22 is an imaging instruction unit for inputting an imaging instruction for a still image or a moving image, and is configured by a two-stage stroke type switch including a so-called “half press” and “full press”.
  • an S1 ON signal is output when the shutter release switch 22 is half-pressed, an S2 ON signal is output when the shutter release switch 22 is further pressed halfway down, and an S1 ON signal is output.
  • the main body side CPU 220 executes shooting preparation processing such as AF control (automatic focus adjustment) and AE control (automatic exposure control), and when the S2 ON signal is output, executes still image shooting processing and recording processing. To do.
  • AF control and AE control are automatically performed when the auto mode is set by the operation unit 222, respectively, and AF control and AE control are not performed when the manual mode is set. Needless to say.
  • the camera body 200 In the moving image capturing mode, when the S2 ON signal is output when the shutter release switch 22 is fully pressed, the camera body 200 enters a moving image recording mode in which moving image recording is started, and image processing of the moving image is performed. When the shutter release switch 22 is fully pressed again and an S2 ON signal is output, the camera body 200 enters a standby state and temporarily stops the moving image recording process.
  • the shutter release switch 22 is not limited to a two-stroke type switch consisting of half-pressing and full-pressing, and may output an S1 ON signal and an S2 ON signal in a single operation. This switch may be provided to output an S1 on signal or an S2 on signal.
  • the operation instruction may be output by touching an area corresponding to the operation instruction displayed on the screen of the touch panel as these operation means.
  • the form of the operation means is not limited to these as long as the preparation process or the imaging process is instructed.
  • the still image or moving image acquired by the imaging is compressed by the compression / decompression processing unit 208, and the compressed image data includes the required attachment of the imaging date and time, GPS information, and imaging conditions (F value, shutter speed, ISO sensitivity, etc.).
  • the information is converted into an image file added to the header, and then stored in the memory card 212 via the media control unit 210.
  • the main body side CPU 220 controls the overall operation of the camera main body 200 and the driving of the optical members of the interchangeable lens 100, etc. Based on the input from the operation unit 222 including the shutter release switch 22, the main body side CPU 220 The interchangeable lens 100 is controlled.
  • the clock unit 224 measures time based on a command from the main body CPU 220 as a timer.
  • the clock unit 224 measures the current date and time as a calendar.
  • the flash ROM 226 is a non-volatile memory that can be read and written, and stores setting information.
  • the ROM 228 stores a camera control program executed by the main body side CPU 220, a focus bracket imaging program for executing imaging in the focus bracket imaging mode according to the present invention, various information used for image sensor 201 defect information, image processing, and the like. Parameters and tables are stored.
  • the main body side CPU 220 controls each part of the camera main body 200 and the interchangeable lens 100 using the RAM 207 as a work area according to a camera control program stored in the ROM 228 or a program for focus bracket imaging.
  • the AF control unit 230 that functions as an automatic focus adjustment unit calculates a defocus amount necessary for controlling the phase difference AF, and based on the calculated defocus amount, a position (focus position) command to which the focus lens should move is calculated. Is notified to the interchangeable lens 100 via the main body side CPU 220 and the main body side communication unit 250.
  • the AF control unit 230 includes a phase difference detection unit and a defocus amount calculation unit.
  • the phase difference detection unit includes pixels from the first phase difference pixel group including the first phase difference pixel PA and the second phase difference pixel group including the second phase difference pixel PB in the AF area of the image sensor 201, respectively.
  • Data first pixel value and second pixel value
  • a phase difference is detected based on the first pixel value and the second pixel value.
  • This phase difference is obtained when the correlation between the plurality of first pixel values of the first phase difference pixel PA and the plurality of second pixel values of the second phase difference pixel PB is maximized (the plurality of first pixels And a shift amount in the pupil division direction between the first pixel value and the second pixel value (when the integrated value of the absolute difference between the value and the plurality of second pixel values is minimized).
  • the defocus amount calculation unit calculates the defocus amount by multiplying the phase difference detected by the phase difference detection unit by a coefficient corresponding to the current F value (ray angle) of the interchangeable lens 100.
  • the AF control unit 230 that functions as a focus position detection unit calculates the defocus amount of a local region (a region where a desired subject exists) in the entire imaging region of the image sensor 201 without being limited to the AF region. Can do. That is, as illustrated in FIG. 6, the first phase difference pixel group and the second phase difference pixel PB including the first phase difference pixels PA in the phase difference pixel row arranged over the entire imaging region of the image sensor 201.
  • the focus lens position command corresponding to the defocus amount calculated by the AF control unit 230 is notified to the interchangeable lens 100, and the lens side CPU 120 of the interchangeable lens 100 that receives the focus lens position command receives the focus lens control unit 116.
  • the focus lens is moved via, and the position (focus position) of the focus lens is controlled.
  • the AE control unit 232 is a part that detects the brightness of the subject (subject brightness), and is a numerical value (exposure value (exposure value) required for AE control and AWB (Auto White Balance) control corresponding to the subject brightness. )) Is calculated.
  • the AE control unit 232 calculates an EV value based on the brightness of the image acquired via the image sensor 201, the shutter speed when the brightness of the image is acquired, and the F value.
  • the main body side CPU 220 can determine the F value, shutter speed, and ISO sensitivity from a predetermined program diagram based on the EV value obtained from the AE control unit 232, and can perform AE control.
  • the white balance correction unit 234 calculates white balance gains (WB (White Balance) gain) Gr, Gg, Gb for each color data of RGB data (R data, G data, and B data). White balance correction is performed by multiplying the B data by the calculated WB gains Gr, Gg, and Gb, respectively.
  • WB White Balance gain
  • the subject is illuminated based on scene recognition (outdoor / indoor determination, etc.) based on the brightness (EV value) of the subject, the color temperature of ambient light, and the like.
  • a method of reading out a WB gain corresponding to a specified light source type from a storage unit in which an appropriate WB gain is stored in advance for each light source type is conceivable, but at least using an EV value
  • Other known methods for determining Gr, Gg, Gb are conceivable.
  • the wireless communication unit 236 is a part that performs short-range wireless communication of a standard such as Wi-Fi (Wireless Fidelity) (registered trademark), Bluetooth (registered trademark), etc., and with peripheral digital devices (mobile terminals such as smartphones) Necessary information is sent and received between the two.
  • Wi-Fi Wireless Fidelity
  • Bluetooth registered trademark
  • peripheral digital devices mobile terminals such as smartphones
  • the GPS receiving unit 238 receives GPS signals transmitted from a plurality of GPS satellites according to instructions from the main body side CPU 220, executes positioning calculation processing based on the received plurality of GPS signals, and the latitude and longitude of the camera main body 200 And GPS information consisting of altitude.
  • the acquired GPS information can be recorded in the header of the image file as attached information indicating the imaging position of the captured image.
  • the power supply control unit 240 supplies the power supply voltage supplied from the battery 242 to each unit of the camera main body 200 in accordance with a command from the main body side CPU 220.
  • the power supply control unit 240 supplies the power supply voltage supplied from the battery 242 to each unit of the interchangeable lens 100 via the main body mount 260 and the lens mount 160 in accordance with a command from the main body side CPU 220.
  • the lens power switch 244 switches on and off the power supply voltage applied to the interchangeable lens 100 via the main body mount 260 and the lens mount 160 and switches the level in accordance with a command from the main body side CPU 220.
  • the main body side communication unit 250 transmits / receives a request signal and a response signal to / from the lens side communication unit 150 of the interchangeable lens 100 connected via the main body mount 260 and the lens mount 160 in accordance with a command from the main body side CPU 220 ( (Bidirectional communication).
  • the main body mount 260 is provided with a plurality of terminals 260A as shown in FIG. 1, and when the interchangeable lens 100 is attached to the camera main body 200 (the lens mount 160 and the main body mount 260 are connected), the main body A plurality of terminals 260A (FIG. 1) provided on the mount 260 and a plurality of terminals (not shown) provided on the lens mount 160 are electrically connected, and the main body side communication unit 250 and the lens side communication unit 150 are connected. Bi-directional communication is possible.
  • the built-in flash 30 (FIG. 1) is, for example, a TTL (Through The Lens) automatic light control flash, and includes a flash light emitting unit 270 and a flash control unit 272.
  • the flash control unit 272 has a function of adjusting the light emission amount (guide number) of the flash light emitted from the flash light emitting unit 270. That is, the flash control unit 272 causes the flash light emitting unit 270 to emit light in synchronization with the flash imaging instruction from the main body side CPU 220, and the reflected light (ambient light) that is incident through the imaging optical system 102 or 102 of the interchangeable lens 100 or 100. When the photometric value reaches the standard exposure value, the flash light emission from the flash light emitting unit 270 is stopped.
  • a focal plane shutter (FPS) 280 constitutes a mechanical shutter of the imaging apparatus 10 and is disposed immediately before the image sensor 201.
  • the FPS control unit 296 controls the opening and closing of the front and rear curtains of the FPS 280 based on input information (S2 ON signal, shutter speed, etc.) from the main body CPU 220, and controls the exposure time (shutter speed) in the image sensor 201. To do.
  • FIG. 7 is a functional block diagram showing an embodiment of the main body side CPU 220 that executes focus bracket imaging, and particularly shows a portion that functions during focus bracket imaging.
  • the focus bracket imaging according to the present invention is to capture a moving image by sequentially focusing on a plurality of subjects.
  • the focus lens is moved to a focus position of one of the plurality of subjects, and the one subject is focused.
  • Focusing control that continues AF control for a certain period of time is repeatedly executed from the first subject to the last subject according to the order (AF control (focus adjustment) order) assigned to a plurality of subjects. The image is taken.
  • the main body side CPU 220 mainly controls the control for focus bracket imaging and functions as the subject specifying unit 220A and the ranking unit 220C.
  • the user When the user performs focus bracket imaging, the user operates the operation unit 222 to set the focus bracket imaging mode.
  • the focus bracket imaging mode can be set by operating the operation unit 222 to display a menu screen on the liquid crystal monitor 216 and selecting “focus bracket imaging mode” on the menu screen.
  • a menu screen for accepting a fixed time (focusing time) for continuing AF control for one subject is displayed on the liquid crystal monitor 216.
  • the user can set an arbitrary “focusing time” by using the menu screen and the cross key 28 of the operation unit 222 in an on-screen interactive manner.
  • the liquid crystal monitor 216 and the operation unit 222 function as a focusing time setting unit that sets a focusing time for one subject.
  • the focusing time is usually about several seconds.
  • the user uses the menu screen and the cross key 28 of the operation unit 222, and the total imaging time of the moving image (moving image captured by the focus bracket) in the on-screen interactive method. Can be set.
  • the liquid crystal monitor 216 and the operation unit 222 function as an imaging time setting unit that sets the total imaging time of moving images.
  • the focusing time or total imaging time set by default is not limited to the focusing time or total imaging time set by the user.
  • the main body side CPU 220 receives an imaging instruction by operating the shutter release switch 22, the main body side CPU 220 performs the following processing.
  • the main body side CPU 220 causes the interchangeable lens 100 and the image sensor 201 functioning as an imaging unit to capture a moving image indicating a subject image, and temporarily stores the moving image or one frame of the moving image when the imaging instruction is input in the RAM 207.
  • the subject specifying unit 220A of the main body CPU 220 specifies subjects (a plurality of subjects) in an image (moving image or one frame of a moving image) temporarily stored in the RAM 207.
  • the subject specifying unit 220A of this example includes a subject detection unit 220B, and the subject detection unit 220B analyzes the image temporarily stored in the RAM 207 and detects subjects (a plurality of subjects) in the image.
  • the subject specifying unit 220A specifies a plurality of subjects detected by the subject detecting unit 220B as subjects to be subject to focus bracket imaging as described above. Alternatively, the subject specifying unit 220A designates or newly adds an arbitrary subject whose focus is to be adjusted among a plurality of subjects detected by the subject detection unit 220B by operating the operation unit 222. May be specified as a subject to be subjected to focus bracket imaging. Alternatively, the subject specifying unit 220A may specify an arbitrary subject specified by the user using the operation unit 222 as a subject to be subjected to focus bracket imaging without using the subject detection unit 220B.
  • the subject detection unit 220B detects the subject that is the target of focus bracket imaging, the position of the subject in the imaging region, and the like.
  • a subject detection method in the subject detection unit 220B when the subject is a person, a technique for recognizing a person's face, a method for detecting a specific subject by extracting a feature amount of a subject having a particular feature, Alternatively, when a moving object is a subject, there is a moving object detection method for detecting the moving object.
  • the user designates what subject (for example, human body, face, moving object, etc.) is automatically detected by the operation unit 222, and the subject detection unit 220B detects the subject designated by the user. May be.
  • the subject detection unit 220B may distinguish between a subject for which AF control is continued for a certain period of time and a subject for which AF control is not continued for a certain period of time. For example, it is possible to distinguish between a subject for which AF control is continued for a certain period of time and a subject that is not continued for a certain period of time, depending on the size, speed, etc. of the subject or whether the subject is designated by the user. A subject that is not continued for a certain period of time can also be subjected to AF control, and focus bracket imaging can be performed.
  • the plurality of subjects to be subjected to focus bracket imaging for example, a player (person) during a race or swimming, a horse or jockey during a horse race, a car during a car race, and the like are conceivable, but are not limited thereto. It is not something.
  • the subject detection unit 220B can track each identified subject by detecting the subject even during focus bracket imaging.
  • an arbitrary subject to be focused is designated by operating the operation unit 222, and thereby the subject to be focused bracket imaging is specified. You may make it do.
  • the subject specifying unit 220A specifies each subject specified by the operation unit 222 as a plurality of subjects for focus bracket imaging.
  • focus bracket imaging can be performed on a plurality of subjects intended by the user.
  • the ranking unit 220C ranks a plurality of subjects specified by the subject specifying unit 220A for focusing control (focus adjustment).
  • the ranking unit 220C can rank each subject based on the size of each of the plurality of subjects specified by the subject specifying unit 220A. For example, among the plurality of subjects, the ranking unit 220C is large in the movie. The order of focus bracket imaging with respect to the subject is advanced (or delayed) for the subject.
  • the ranking unit 220C performs focus bracket imaging of a plurality of subjects based on the distance from the imaging device 10 to each subject or the moving speed of each subject, instead of the size of each of the plurality of subjects in the moving image. Ranking may be performed. For example, the closer the distance from the imaging device 10 to the subject among a plurality of subjects, the faster the order of focus bracket imaging for that subject (or slower), and the slower the subject movement speed among the plurality of subjects. The order of focus bracket imaging for the subject is advanced (or delayed).
  • the size of each subject in the moving image can be obtained from the area (size) for each subject within the imaging area detected by the subject detection unit 220B.
  • the distance from the imaging device 10 to each subject can be calculated based on the defocus amount calculated by the AF control unit 230 and the position of the focus lens when the defocus amount is calculated. It can be calculated by differentiating the distance of each subject.
  • the main body CPU 220 AF control for each subject that focuses the focus lens on one of the plurality of subjects, and AF control that is performed on the subjects for a certain period of time. In accordance with the order, the first to last subjects are repeatedly executed.
  • the main body side CPU 220 calculates a focus lens position command for focusing the focus lens on the subject in the first order, based on the defocus amount calculated by the AF control unit 230 (defocus amount for the subject in the first order).
  • the interchangeable lens 100 is notified of the calculated focus lens position command. Note that the focus lens position command may be sent from the AF control unit 230.
  • the lens-side CPU 120 of the interchangeable lens 100 that has received the focus lens position command moves the focus lens via the focus lens control unit 116 and controls the position of the focus lens.
  • the main body side CPU 220 continues the AF control for the subject in the first order of the focus lens for a predetermined time (performs focus control). Therefore, when the subject in the first order moves, the position of the focus lens is controlled following the movement of the subject.
  • the main body CPU 220 executes the focus control for the subject in the second order.
  • the focusing control is sequentially repeated until the subject in the last order.
  • FIG. 8 is a timing chart showing a vertical synchronization signal (A) of a moving image, image sensor pixel readout (B) by a rolling shutter system, and a focus lens position (C).
  • M1 indicates the position (movement) of the subject in the first rank
  • M2 indicates the position (movement) of the subject in the second rank.
  • the main body side CPU 220 executes AF control to move the focus lens to the in-focus position M1 of the subject in the first order, and after the in-focus state, AF control is performed for a certain time Tc. To continue.
  • the readout timing of this line image sensor pixel readout (B )
  • the focus lens position command is sequentially generated. Then, at the timing when the focus lens position command is generated, the focus lens position command is output and AF control is performed. As described above, the AF control is performed at the earliest timing for the subject by performing the AF control at the readout timing of the line on which the optical image of the subject is received.
  • the AF control unit 230 moves the focus lens to the in-focus position of one subject at the read timing of the line of the image sensor 201 that receives the optical image of the one subject that performs AF control as described above. More preferably, the focus lens is moved to the in-focus position of one subject at the readout timing at the center of the exposure opening of the line where the optical image of the one subject to be AF controlled is received. As a result, AF control for one subject is performed based on the in-focus position of the one subject detected at the center of the one subject (the center of the exposure aperture of the line where the optical image of the one subject is received). It can be carried out.
  • the main body CPU 220 executes AF control to move the focus lens to the focus position M2 of the subject in the second order.
  • the focus control is continued for a certain time Tc, and this focus control is sequentially performed up to the subject in the last order.
  • the moving image captured by the focus bracket as described above is appropriately subjected to image processing by the digital signal processing unit 206 and then recorded on the memory card 212 by the media control unit 210.
  • the moving image captured by the focus bracket recorded on the memory card 212 can be used to reproduce or print a still image (one frame) focused on a plurality of subjects. It can be played back as an in-focus video.
  • the fixed time Tc for performing the focus control is not only the focus time (fixed time) set by the user using the focus time setting unit, but also the video set by the user using the imaging time setting unit (moving image captured by the focus bracket). This can be determined based on the total imaging time and the number of subjects detected by the subject detection unit 220B.
  • the fixed time Tc T / N. That is, an equal time obtained by dividing the total moving image capturing time T by the number N of a plurality of subjects can be set as a certain time Tc.
  • Tc (T ⁇ Tc ⁇ N) / N.
  • the total image capturing time of the moving image is set to a plurality of subjects instead of the time when the total image capturing time T is uniformly allocated to each subject instead of the constant time Tc.
  • the time allocated to each subject by the time distribution weighted for each may be set as a fixed time.
  • FIG. 9 is a diagram used for explaining an example of time distribution weighted for each subject.
  • the time assigned to the subject that takes the least time is (2/3) ⁇ (T / N)
  • the time allotted to the subject that spends the most time is (4/3) ⁇ (T / N).
  • these times (2/3) ⁇ (T / N), T / N, (4/3) ⁇ (T / N) can be interpolated to determine the time allocation to be assigned to each subject.
  • time (Tc [m]) assigned by the time distribution weighted for each subject according to the number N of subjects can be calculated by the following equation.
  • FIG. 10 is a chart showing the time distribution of each subject when the total imaging time T is 1 according to the number of subjects N and the time distribution order S [m]. It is calculated by the equation (3).
  • the above example is merely an example of the time (fixed time) assigned to each subject by the time distribution weighted for each of the plurality of subjects for the total imaging time of the moving image.
  • the method is not limited to the above example.
  • the order in which the time distribution is large is the size of each subject in the moving image, the distance from the imaging device 10 to each subject, and each subject. Can be determined by at least one of the moving speeds.
  • the time allocated to that subject can be lengthened or shortened, and similarly, the time allocated to each subject can be adjusted according to the distance from the imaging device 10 to each subject or the moving speed of each subject.
  • the display control unit 214 displays a moving image (including a live view image) captured by the interchangeable lens 100 and the image sensor 201 functioning as an imaging unit on a liquid crystal monitor 216 functioning as a display unit.
  • the display control unit 214 functioning as a notification unit performs focus bracket imaging of a plurality of subjects in the moving image detected by the subject detection unit 220B of the main body side CPU 220 and a plurality of subjects ranked by the ranking unit 220C.
  • the ranking is related and displayed on the liquid crystal monitor 216.
  • the display control unit 214 displays a number indicating the order of focus bracket imaging of each subject adjacent to each subject displayed on the liquid crystal monitor 216, thereby notifying the user of a plurality of subjects for focus bracket imaging.
  • the order of focus bracket imaging can be notified.
  • the size of each subject in the video, the distance from the imaging device 10 to each subject, or the moving speed of each subject changes during focus bracket imaging, and the order of each subject ranked by the ranking unit 220C is changed. May change.
  • focus bracket imaging is executed according to the switched order. It is preferable.
  • focus bracket imaging may be executed from the first subject to the last subject at the time of the replacement.
  • the moving direction of the focus lens when moving the focus lens to the focus position of each subject can be made constant.
  • the display control unit 214 notifies the order of focus bracket imaging for each subject whose order has been changed.
  • the display control unit 214 notifies the subject for which the AF control is continuously performed among the plurality of subjects and the moving image capturing is completed.
  • the display control unit 214 can notify both of them in an identifiable manner by changing the display form of the numbers indicating the order of the subjects for which the moving image has been captured and the subjects that have not been captured.
  • the user can recognize a subject that has been subjected to focusing control and has finished capturing a moving image and a subject that has not yet been captured.
  • the imaging apparatus 10 includes an operation unit that designates an arbitrary subject that performs focus adjustment by focus bracket imaging from a plurality of subjects detected by the subject detection unit 220B, and the subject specifying unit 220A is designated by the operation unit. It is preferable to identify each subject as a plurality of subjects for which focus adjustment is performed.
  • An operation unit for designating an arbitrary subject for focus adjustment by focus bracket imaging includes a liquid crystal monitor 216 that displays an image including the subject to be captured by the focus bracket, and an arbitrary subject on the screen displayed on the liquid crystal monitor 216.
  • a cross key 28 to be designated, a touch panel, or other pointing device can be used. The user can designate an arbitrary subject for focus bracket imaging by operating the operation unit while viewing the image displayed on the liquid crystal monitor 216.
  • the subject specifying unit 220A can specify each subject designated by the user through the operation unit as described above as a subject for focus bracket imaging.
  • FIG. 11 is a flowchart showing the first embodiment of the imaging method according to the present invention.
  • the main body side CPU 220 accepts the setting of the total imaging time T of the focus bracket imaging by the user (step S10).
  • the total imaging time T may be a time set by default.
  • the main body side CPU 220 causes the interchangeable lens 100 and the image sensor 201 functioning as an imaging unit to capture a moving image indicating a subject image, and the subject specifying unit 220A Based on the moving image or one frame of the moving image at the time of input, the subject (a plurality of N subjects) in the image is specified (step S12).
  • step S12 the ranking unit 220C ranks a plurality of N subjects, and sets a parameter n indicating the ranking to 1. Further, in step S12, the fixed time Tc is calculated by the above-described [Equation 1] based on the total imaging time T set in step S10 and the number N of the specified subjects, and the fixed time Tc is set.
  • the main body CPU 220 moves the focus lens to focus on the nth subject (step S14), and determines whether or not the nth subject is focused (step S16). If it is determined that the focus lens is not focused on the nth subject (in the case of “No”), the focus lens continues to be driven in the focus direction on the nth subject (step S18), and the focus lens is If it is determined that the nth subject is in focus (in the case of “Yes”), the process proceeds to step S20.
  • step S20 a timer t for measuring the fixed time Tc set in step S12 is set to zero.
  • step S26 When the timer t reaches a certain time Tc (when the focusing control continues for a certain time Tc), it is determined whether or not the nth subject is in the Nth order (last order) (step S26). If it is determined that the order of the subject is not N-th (in the case of “No”), the order parameter n is incremented by 1 (step S28), the process proceeds to step S14, and the processes from step S14 to step S26 are repeated. .
  • step S26 when it is determined that the n-th subject is ranked N, focus bracket imaging for all the subjects is completed.
  • FIG. 12 is a flowchart showing a second embodiment of the imaging method according to the present invention.
  • steps that are the same as those in the first embodiment shown in FIG. 11 are given the same step numbers, and detailed descriptions thereof are omitted.
  • step S121, step S122, and step S123 are provided instead of step S12 in the first embodiment shown in FIG.
  • step S121 the subject detection unit 220B (FIG. 7) of the main body side CPU 220 determines the subject (a plurality of N subjects) in the image to be focus bracketed based on the moving image or one frame of the moving image at the time of inputting the imaging instruction. ) Is detected. At the same time, the subject detection unit 220B detects the size and position of the N subjects in the imaging area.
  • the ranking unit 220C of the main body side CPU 220 determines the focus control order (S [m]) in the focus bracket imaging of each of the N subjects based on the size of the N subjects in the imaging area.
  • the order (S [m]) of each subject indicates the order of time distribution among the N subjects as shown in the equation (3).
  • the larger the subject the greater the subject.
  • the order of focus bracket imaging (S [m]) attached to each subject is also used for weighting when assigning the total imaging time T of the moving image subject to focus bracket imaging to each subject.
  • the main body side CPU 220 obtains the time (Tc [m]) for each subject for which the focus control is performed based on the above-described [Equation 3] based on the total imaging time T and the order of the subject (S [m]) ( Step S123).
  • the time for each subject (Tc [m]) is the time allocated by assigning the total imaging time T of the moving image captured by the focus bracket to each subject according to the order of the subject (S [m]). It is. According to Equation (3), the larger the subject (the earlier the order of focus bracket imaging), the longer the focusing control time (Tc [m]) assigned to the subject.
  • step S241 is provided instead of step S24 in the first embodiment shown in FIG.
  • the focusing state for each subject is the time (Tc [m]) in which the total imaging time T of the moving image captured by the focus bracket is weighted and assigned to each subject according to the size of the subject. It is possible to perform focusing control to continue the operation.
  • the larger the subject the longer the focusing control time (Tc [m]) for the subject.
  • the larger the subject the more weighted the subject is assigned.
  • the focusing control time (Tc [m]) may be shortened.
  • the size of each subject in the moving image may change during the focus bracket imaging, and the order of each subject ranked by the ranking unit 220C may change.
  • focus bracket imaging is executed according to the switched order, and It is preferable to perform focus control at a time (Tc [m]) corresponding to the changed order.
  • FIG. 13 is a flowchart showing a third embodiment of the imaging method according to the present invention.
  • steps that are the same as those in the second embodiment shown in FIG. 12 are given the same step numbers, and detailed descriptions thereof are omitted.
  • step S124 is provided instead of step S122 in the second embodiment shown in FIG. 12.
  • step S124 the ranking unit 220C of the main body CPU 220 determines the focus control order (S [m]) in focus bracket imaging of each of the N subjects based on the distance from the imaging device 10 to each of the N subjects. )
  • the order (S [m]) of focus bracket imaging with respect to the subject is increased in the order of the closest subject distance among the N subjects.
  • FIG. 12 shows step S123 for setting the time (Tc [m]) for each subject for which the focus control is performed based on the order (S [m]) of each subject and using the above-described equation (3). This is the same as in the second embodiment.
  • the total imaging time T of the moving image captured by the focus bracket is weighted for each subject according to the distance from the imaging device 10 to each subject (Tc [m]), It is possible to perform focusing control for continuing the focused state with respect to the subject.
  • the focusing control time (Tc [m]) may be shortened.
  • the distance of each subject may change during imaging of the focus bracket, and the order ranked by the ranking unit 220C may change.
  • the focus bracket imaging is executed according to the changed order, and the order is changed. It is preferable to perform focusing control at the corresponding time (Tc [m]).
  • FIG. 14 is a flowchart showing a fourth embodiment of the imaging method according to the present invention.
  • steps that are the same as those in the second embodiment shown in FIG. 12 are given the same step numbers, and detailed descriptions thereof are omitted.
  • step S125 is provided instead of step S122 in the second embodiment shown in FIG. 14.
  • step S125 the ranking unit 220C of the main body side CPU 220 assigns the focus control order (S [m]) in focus bracket imaging of each of the N subjects based on the moving speed of each of the N subjects.
  • FIG. 12 shows step S123 for setting the time (Tc [m]) for each subject for which the focus control is performed based on the order (S [m]) of each subject and using the above-described equation (3). This is the same as in the second embodiment.
  • the total imaging time T of the moving image captured by the focus bracket is focused on each subject with a time (Tc [m]) assigned by weighting each subject according to the moving speed of each subject. It is possible to perform focusing control for continuing the state.
  • the slower the subject movement speed the longer the focusing control time (Tc [m]) for the subject.
  • the focusing control time (Tc [m]) assigned by weighting the subject may be shortened.
  • the moving speed of each subject may change during focus bracket imaging, and the order ranked by the ranking unit 220C may change.
  • focus bracket imaging is executed according to the switched order, and It is preferable to perform focusing control at a time corresponding to (Tc [m]).
  • FIG. 15 is a timing chart showing a vertical synchronization signal (A) of a moving image, image sensor pixel readout (B) by a rolling shutter system, and a focus lens position (C).
  • A vertical synchronization signal
  • B image sensor pixel readout
  • C focus lens position
  • M1 indicates the position (movement) of the subject in the first order.
  • the image sensor pixel readout (B) reads out the phase difference information from the first phase difference pixel PA and the second phase difference pixel PB of the image sensor 201 at the first timing indicated by the broken line.
  • An image of one frame constituting a moving image is read from pixels (normal pixels) other than the first phase difference pixel PA and the second phase difference pixel PB at a second timing indicated by a solid line later than the timing of 1.
  • the readout of the phase difference information from the first phase difference pixel PA and the second phase difference pixel PB can be thinned out, and thus can be performed faster than the readout of the normal pixel. Even during the readout period of the phase difference information from the phase difference pixel PA and the second phase difference pixel PB, in the normal pixel, regardless of the readout of the phase difference information from the first phase difference pixel PA and the second phase difference pixel PB. It is possible to continuously accumulate electric charges according to the amount of light incident on the first phase difference pixel PA and the second phase difference pixel PB.
  • the main body side CPU 220 executes AF control to move the focus lens to the focus position M1 of the subject in the first order, and after the focus, AF control is performed for a fixed time Tc. Continue.
  • the main body side CPU 220 reads out the phase difference between the first phase difference pixel PA and the second phase difference pixel PB read at the first timing that is faster than the second timing at which the image information of the normal pixel is read out.
  • AF control for moving the focus lens based on the phase difference information of the phase difference pixels of the line that is the information and is received by the optical image of the subject in the first rank is received.
  • the focus lens position (C) is controlled so as to follow the focus position (focus position indicated by the solid line) of the subject in the first order as indicated by the dotted line.
  • the second readout timing for reading the normal image of the image sensor 201 which is the readout timing of the line received by the optical image of the first subject (indicated by the dotted rectangle in the image sensor pixel readout (B) in FIG. 15).
  • the in-focus position of the subject in the first order and the focus lens position can be substantially matched.
  • the main body side CPU 220 sequentially detects the phase difference information of the phase difference pixels of the line received by the optical image of the subject, and moves the subject (speed of the subject focus position M1).
  • the focus lens position follows the focus position of the subject (focus position indicated by the solid line) based on the phase difference information read at the first timing and the predicted moving speed of the moving body. It is preferable to control as described above.
  • the imaging device 10 is a mirrorless digital single-lens camera, but is not limited thereto, and may be a single-lens reflex camera, a lens-integrated imaging device, a digital video camera, or the like.
  • the present invention is also applicable to mobile devices having other functions (call function, communication function, and other computer functions).
  • Other modes to which the present invention can be applied include, for example, a mobile phone or a smartphone having a camera function, a PDA (Personal Digital Assistant), and a portable game machine.
  • PDA Personal Digital Assistant
  • FIG. 16 shows the appearance of a smartphone 500 that is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 500 illustrated in FIG. 16 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the casing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited to this, and, for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 17 is a block diagram showing a configuration of the smartphone 500 shown in FIG. As shown in FIG. 17, as main components of the smartphone, a wireless communication unit 510 that performs mobile wireless communication via a base station and a mobile communication network, a display input unit 520, a call unit 530, and an operation unit 540 A camera unit 541, a recording unit 550, an external input / output unit 560, a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • GPS Global Positioning System
  • the wireless communication unit 510 performs wireless communication with a base station accommodated in the mobile communication network in accordance with an instruction from the main control unit 501. Using this wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like, and visually transmits information to the user under the control of the main control unit 501, and detects a user operation on the displayed information.
  • This is a so-called touch panel, and includes a display panel 521 and an operation panel 522.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 illustrated as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 520.
  • the arrangement is such that 522 completely covers the display panel 521.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like. Further, examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method, and any method is adopted. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 and the microphone 532 can be mounted on the same surface as the surface on which the display input unit 520 is provided.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the side surface of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the recording unit 550 transmits / receives control program, control data, application software (including a program that realizes the imaging method according to the present invention) of the main control unit 501, address data that associates the name and telephone number of the communication partner, and the like. E-mail data, Web data downloaded by Web browsing, and downloaded content data are stored, and streaming data and the like are temporarily stored.
  • the recording unit 550 includes an internal storage unit 551 built in the smartphone and an external storage unit 562 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the recording unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized by using a recording medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory) or the like.
  • a flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a recording medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory) or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or Network (for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) ( (Registered trademark), ZigBee (registered trademark), etc.) for direct or indirect connection.
  • USB universal serial bus
  • IEEE 1394 etc.
  • Network for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) ( (Registered trademark), ZigBee (registered trademark), etc.) for direct or indirect connection.
  • Examples of external devices connected to the smartphone 500 include a wired / wireless headset, wired / wireless external charger, wired / wireless data port, a memory card connected via a card socket, and a SIM (Subscriber).
  • smartphones to be connected, personal computers to be connected to / from wireless, PDAs to be connected to wireless and wireless, and earphones.
  • the external input / output unit can transmit the data transmitted from such an external device to each component inside the smartphone 500, or can transmit the data inside the smartphone 500 to the external device.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a triaxial acceleration sensor and a gyro sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the recording unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function and an application processing function for controlling each unit of the communication system in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the recording unit 550.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 560 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, a web browsing function for browsing web pages, and the present invention. There is a function of focusing on the focus bracket.
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 By executing the display control, the main control unit 501 displays an icon for starting the application software and a software key such as a scroll bar, or displays a window for creating an e-mail.
  • a software key such as a scroll bar
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, receives an operation on the icon and an input of a character string in the input field of the window through the operation panel 522, or scrolls. A request to scroll the display image through the bar is accepted.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one position from a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device), and corresponds to the imaging device 10 illustrated in FIG. Also, the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501, and records the data in the recording unit 550 or externally The data can be output through the input / output unit 560 and the wireless communication unit 510. As shown in FIG. 16, in the smartphone 500, the camera unit 541 is mounted on the same surface as the display input unit 520.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the mounting position of the camera unit 541 is not limited to this, and is mounted on the back surface of the display input unit 520.
  • a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched for shooting alone, or a plurality of camera units 541 can be used for shooting simultaneously.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor (gyro sensor). It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the position information acquired by the GPS receiver 570 to the image data of the still image or the moving image, the voice information acquired by the microphone 532 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 580 can be added and recorded in the recording unit 550 or output through the external input / output unit 560 and the wireless communication unit 510.
  • a processing unit that executes various processes such as the main body side CPU 220, the AF control unit 230, the display control unit 214, and the lens side CPU 120.
  • the hardware structure is various processors as shown below.
  • the circuit configuration can be changed after manufacturing a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that functions as various processing units by executing software (programs).
  • a dedicated electric circuit that is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) or an application specific integrated circuit (ASIC). It is.
  • PLD programmable logic device
  • ASIC application specific integrated circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the image sensor 201 of the present embodiment has a phase difference pixel and a normal pixel as shown in FIG. 4.
  • the image sensor 201 is not limited to this, and an image sensor including only a pair of phase difference pixels is used. May be used.
  • the normal pixel for still image or moving image imaging can be converted into pixel data of a normal pixel by adding a pair of phase difference pixels of the same color.
  • the automatic focus adjustment unit of the present embodiment uses an image sensor having phase difference pixels and performs phase difference AF using a phase difference image.
  • the present invention is not limited to this, and may be one that performs contrast AF, for example.
  • contrast AF a high frequency component is extracted from a G signal of a G pixel (a pixel having a G color filter) in each divided region obtained by dividing the imaging region of the image sensor into a plurality of regions, and the absolute value of the extracted high frequency component is calculated.
  • the integrated value evaluation value for evaluating contrast
  • moving the focus lens so that the evaluation value of the area (AF area) where the subject to be imaged with the focus bracket exists among the plurality of areas is maximized. Focus on the desired subject.
  • contrast AF an image sensor having no phase difference pixel can be used.
  • the present invention includes a program that functions as an imaging apparatus according to the present invention by being installed in a computer in the imaging apparatus, and a recording medium on which the program is recorded.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

複数の被写体に順次焦点を合わせて動画を撮像する際に、各被写体が静止しているか否かに限らず、全ての被写体に対して合焦精度の高いフォーカスブラケット撮像を行うことができる撮像装置、撮像方法、プログラム及び記録媒体を提供する。複数の被写体のそれぞれの合焦位置にフォーカスレンズを順次移動させながら、動画を撮像するフォーカスブラケット撮像を行う撮像装置である。被写体特定部が、撮像部により撮像される光学像に含まれる複数の被写体を特定し、順位付け部が、複数の被写体の焦点調節の順位付けを行う。制御部は、複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させ、一の被写体に対する自動焦点調節の動作を一定時間（Ｔｃ）継続させる合焦制御を、順位付け部により順位付けられた順に繰り返し実行する。

Description

撮像装置、撮像方法、プログラム及び記録媒体
　本発明は撮像装置、撮像方法、プログラム及び記録媒体に係り、特にフォーカスレンズを順次移動させて動画を撮像するフォーカスブラケット撮像を行う技術に関する。
　従来、フォーカスブラケット撮像により動画を撮像する撮像装置として、特許文献１、２に記載のものがある。
　特許文献１に記載の撮像装置は、フォーカスレンズを移動しながら画像データの複数の部分領域の各々に対する合焦位置（フォーカスレンズの位置）を検出するスキャン動作を行い、スキャン動作の結果得られた、複数の部分領域の合焦位置の情報に基づいて、フォーカスレンズの移動速度を切り換えながらフォーカスレンズを移動し、動画の撮像及び記録を行うようにしている。
　特に、特許文献１に記載の撮像装置は、フォーカスブラケット撮像機能によりフォーカスレンズを連続的に移動させるが、所定距離以上離れて隣り合う合焦位置の間では、隣り合う合焦位置の間の距離が所定距離未満の場合に比べてフォーカスレンズを速い速度で移動させ、これにより至近から無限遠までのフォーカスブラケット撮像機能での動画の撮像時間の短縮化を図っている。
　また、特許文献２に記載の撮像装置は、特許文献１に記載の撮像装置と同様にフォーカスブラケット撮像機能での動画の撮像を行うもので、動画撮影の方式として、各合焦位置でフォーカスレンズを停止させて動画撮影を行う第１方式と、各合焦位置でフォーカスレンズを停止させることなく移動させながら動画撮影を行う第２方式とを有している。
　第１方式は、各フレームの画像を露光中は、各合焦位置でフォーカスレンズを停止させ、露光完了後に次の合焦位置にフォーカスレンズを移動させる方式である。特許文献２に記載の撮像装置は、特に被写体が静止しているときは第１方式を設定し、被写体が静止していないときは第２方式を設定するようにしている。
国際公開第２０１７／０６１０９５号 国際公開第２０１７／０９０２３３号
　特許文献１に記載の発明は、フォーカスブラケット撮像を行う際に、所定距離以上離れて隣り合う合焦位置の間では、隣り合う合焦位置の間の距離が所定距離未満の場合に比べてフォーカスレンズを速い速度で移動させる。これにより、特許文献１に記載の発明は、至近から無限遠までのフォーカスブラケット撮像機能での動画の撮像時間の短縮化を図ることができる。しかし、特許文献１に記載の発明は、合焦位置においてもフォーカスレンズが常に移動しているため、例えば、静止している被写体の合焦位置にフォーカスレンズが移動しても、その静止している被写体の露光期間中にフォーカスレンズの合焦位置が変動する。これにより、合焦精度が低下し、画質のよい静止画（動画の１フレーム）を撮像することができないという問題がある。
　一方、特許文献２に記載の発明は、各合焦位置でフォーカスレンズを停止させて動画撮影を行う第１方式と、各合焦位置でフォーカスレンズを停止させることなく移動させながら動画撮影を行う第２方式とを有している。これにより、特許文献２に記載の発明は、被写体が停止しているか否かに応じて第１方式又は第２方式をユーザが適宜選択し、又はプリスキャン時に被写体の動きベクトルを検出し、自動的に第１方式又は第２方式を切り替えることで、合成精度を向上させた、適切なフォーカスブラケット撮像を可能にしている。
　しかしながら、特許文献２に記載の発明は、フォーカスブラケット撮像を第１方式で行うか又は第２方式で行うかは、ユーザが事前に選択し、又はプリスキャン時に得られる被写体の状況から自動的に選択する必要がある。すなわち、特許文献２に記載の発明は、フォーカスブラケット撮像中に第１方式と第２方式とが切り替わることがない。従って、特許文献２に記載の発明は、例えば、静止している被写体に対して第１方式を選択した場合、第１方式によるフォーカスブラケット撮像中に被写体が移動すると合焦精度が低下し、同様に動いている被写体に対して第２方式を選択した場合、第２方式によるフォーカスブラケット撮像中に被写体が静止すると、合焦精度が低下するという問題がある。
　また、同一の撮像範囲内に複数の被写体が存在し、かつ静止している被写体と動いている被写体とが混在する場合、第１方式又は第２方式では、全ての被写体に対して合焦精度の高いフォーカスブラケット撮像を行うことができないという問題がある。
　本発明はこのような事情に鑑みてなされたもので、複数の被写体に順次焦点を合わせて動画を撮像する際に、各被写体が静止しているか否かに限らず、全ての被写体に対して合焦精度の高いフォーカスブラケット撮像を行うことができる撮像装置、撮像方法、プログラム及び記録媒体を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る撮像装置は、複数の被写体に順次焦点を合わせて動画を撮像する撮像装置であって、フォーカスレンズを含む撮像光学系を通過した光学像を受光し、光学像を示す動画を撮像する撮像部と、撮像部により撮像される光学像に含まれる複数の被写体を特定する被写体特定部と、複数の被写体の焦点調節の順位付けを行う順位付け部と、複数の被写体のいずれかに合焦する合焦位置にフォーカスレンズを移動させる自動焦点調節を行う自動焦点調節部と、複数の被写体の焦点調節の順位にしたがって自動焦点調節部による各被写体の自動焦点調節を順次行わせる制御部と、を備え、制御部は、自動焦点調節部を制御し、複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させ、一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、順位付け部により順位付けられた順に繰り返し実行させる。
　本発明の一の態様によれば、複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させ、一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、順位付け部により順位付けられた順に繰り返し実行するため、複数の被写体が静止しているか否かに関わらず、全ての被写体に対して合焦精度の高いフォーカスブラケット撮像を行うことができる。
　本発明の他の態様に係る撮像装置において、一の被写体に対する合焦時間を設定する合焦時間設定部を備え、一定時間は、合焦時間設定部により設定された合焦時間であることが好ましい。一定時間は、自動焦点調節による合焦制御が完了する時間以上であることが好ましく、例えば、数秒程度に設定することが可能である。
　本発明の更に他の態様に係る撮像装置において、動画の総撮像時間を設定する撮像時間設定部を備え、一定時間は、撮像時間設定部により設定された動画の総撮像時間と複数の被写体の個数とに基づいて決定される時間であることが好ましい。
　本発明の更に他の態様に係る撮像装置において、一定時間は、動画の総撮像時間を複数の被写体の個数で除算した均等時間であることが好ましい。これにより、合焦制御の時間を、各被写体に対して均等に割り当てることができる。
　本発明の更に他の態様に係る撮像装置において、一定時間は、動画の総撮像時間を、複数の被写体毎に重み付けされた時間配分で被写体毎に割り当てた時間であることが好ましい。
　本発明の更に他の態様に係る撮像装置において、被写体毎に割り当てられる一定時間は、動画の総撮像時間と、複数の被写体の各被写体の動画中での大きさ、撮像装置から各被写体までの距離及び各被写体の移動速度のうちの少なくとも一つにより決定されることが好ましい。動画の総撮像時間を、複数の被写体毎に重み付けされた時間配分で割り当てる際に、各被写体の動画中での大きさに応じて、被写体が大きい程、その被写体に割り当てる時間（合焦制御の時間）を長く又は短くすることができ、同様に撮像装置から各被写体までの距離、あるいは各被写体の移動速度に応じて、各被写体に割り当てる時間を調整することが可能である。
　本発明の更に他の態様に係る撮像装置において、順位付け部は、複数の被写体の各被写体の動画中での大きさ、撮像装置から各被写体までの距離、又は各被写体の移動速度に基づいて複数の被写体の焦点調節の順位付けを行うことが好ましい。例えば、撮像装置から被写体までの距離に基づいて各被写体の順位付けを行うと、複数の被写体に順次焦点を合わせる際に、ある被写体の合焦位置から次の被写体の合焦位置にフォーカスレンズを移動させるときに、フォーカスレンズの移動方向が逆方向にならないようにすることができる。尚、各被写体が、例えば人物のような同種の被写体の場合、動画中での各被写体の大きさは、撮像装置から各被写体までの距離に対応する。
　本発明の更に他の態様に係る撮像装置において、複数の被写体のそれぞれの合焦位置を逐次検出する合焦位置検出部を備え、順位付け部は、焦点調節する被写体の順位を入れ替え、一の被写体の合焦位置から次の被写体の合焦位置にフォーカスレンズを移動させる際のフォーカスレンズの移動方向を一定方向にすることが好ましい。複数の被写体の全部又は一部が移動する場合、各被写体の順位を決定した後のフォーカスブラケット撮像中に、各被写体の位置関係が変動する場合がある。この場合には、焦点調節する被写体の順位を入れ替えることで、被写体の合焦位置にフォーカスレンズを移動させる際のフォーカスレンズの移動方向を一定方向にすることができる。
　本発明の更に他の態様に係る撮像装置において、撮像部により撮像された動画を表示する表示部と、動画中の複数の被写体を検出する被写体検出部と、被写体検出部により検出された複数の被写体及び順位付け部により順位付けられた複数の被写体の焦点調節の順位を表示部に表示させる通知部と、を備えることが好ましい。これにより、ユーザは、どの被写体に対してフォーカスブラケット撮像が行われるか、また、フォーカスブラケット撮像される各被写体の撮像順位を知ることができる。
　本発明の更に他の態様に係る撮像装置において、撮像部により撮像された動画を表示する表示部と、動画中の複数の被写体を検出する被写体検出部と、被写体検出部により検出された複数の被写体及び順位付け部により順位付けられた複数の被写体の焦点調節の順位を表示部に表示させる通知部と、を備え、通知部は、順位付け部により焦点調節する被写体の順位が入れ替えられると、順位が入れ替わった各被写体の焦点調節の順位を通知することが好ましい。これにより、フォーカスブラケット撮像される各被写体の撮像順位が入れ替わった場合、ユーザは、入れ替わった後の各被写体の撮像順位を知ることができる。
　本発明の更に他の態様に係る撮像装置において、撮像部により撮像された動画を表示する表示部と、動画中の複数の被写体を検出する被写体検出部と、被写体検出部により検出された複数の被写体及び順位付け部により順位付けられた複数の被写体の焦点調節の順位を表示部に表示させる通知部と、を備え、通知部は、複数の被写体のうちの自動焦点調節が行われて動画の撮像が終了した被写体を通知することが好ましい。これにより、ユーザは、複数の被写体のうちの、どの順位の被写体までフォーカスブラケット撮像が完了したかを知ることができる。
　本発明の更に他の態様に係る撮像装置において、被写体特定部は、任意の被写体を指定する操作部により指定された各被写体を、焦点調節を行う複数の被写体として特定することが好ましい。これにより、例えば、撮像範囲内に被写体となり得る複数の人物が存在する場合、フォーカスブラケット撮像される人物と、フォーカスブラケット撮像されない人物とを振り分けることができる。
　本発明の更に他の態様に係る撮像装置において、撮像部は、位相差画素を有するイメージセンサを備え、自動焦点調節部は、イメージセンサの位相差画素の出力に基づいて各被写体の合焦位置を検出し、複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させることが好ましい。イメージセンサの位相差画素の出力に基づいて各被写体の合焦位置を検出する場合、複数の被写体の合焦位置を、動画の１フレームの撮像時間に相当する時間で検出することができ、合焦制御をリアルタイムに実現することができる。
　本発明の更に他の態様に係る撮像装置において、イメージセンサは、撮像光学系を通過した光学像の受光による信号電荷の蓄積と読み出しをライン毎に行うセンサであり、自動焦点調節部は、自動焦点調節を行う一の被写体の光学像が受光するラインの読み出しタイミングにおいて、一の被写体の合焦位置にフォーカスレンズを移動させることが好ましい。一の被写体の合焦位置は、その一の被写体の光学像が受光するラインの位相差画素の出力により検出することができ、このラインの読み出しタイミングで自動焦点調節を行うことで、一の被写体に対して最も早いタイミングで自動焦点調節を可能にしている。
　本発明の更に他の態様に係る撮像装置において、イメージセンサは、被写体の光学像の受光による信号電荷の蓄積と読み出しをライン毎に行うセンサであり、自動焦点調節部は、自動焦点調節を行う一の被写体の光学像が受光するラインの露光開口の中央の読み出しタイミングにおいて、一の被写体の合焦位置にフォーカスレンズを移動させることが好ましい。これにより、一の被写体の中央（一の被写体の光学像が受光するラインの露光開口の中央）の位置で検出された、一の被写体の合焦位置に基づいて、一の被写体に対する自動焦点調節を行うことができる。
　本発明の更に他の態様に係る撮像装置において、撮像部は、位相差画素と動画撮像用の通常画素とを有するイメージセンサを備え、動画の１フレームの第１のタイミングで位相差画素から位相差情報を出力し、第１のタイミングよりも遅い第２のタイミングで通常画素から動画を構成する１フレームの画像を出力し、自動焦点調節部は、第１のタイミングで出力された位相差情報に基づいて第２のタイミングで出力される１フレームの画像に対する焦点調節を行うことが好ましい。第１のタイミングで位相差画素から位相差情報を先読みし、第１のタイミングよりも遅い第２のタイミングで出力される１フレームの画像に対して自動焦点調節を行うことで、合焦制御中に撮像される画像に対して焦点調節を適切に行うことができる。
　更に他の態様に係る本発明は、複数の被写体に順次焦点を合わせて動画を撮像する撮像方法であって、撮像部により撮像される光学像に含まれる複数の被写体を特定するステップと、複数の被写体の焦点調節の順位付けを行うステップと、制御部が自動焦点調節部を制御し、複数の被写体の焦点調節の順位にしたがって自動焦点調節部による各被写体の自動焦点調節を順次行わせるステップと、を含み、制御部が自動焦点調節部を制御するステップは、自動焦点調節部を制御し、複数の被写体のうちの一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、順位付けられた順に繰り返し実行させる。
　更に他の態様に係る本発明は、上記の撮像方法を撮像装置内のコンピュータにより実現させるプログラムである。
　更に他の態様に係る本発明は、上記の撮像方法を撮像装置内のコンピュータにより実現させるプログラムが格納された記録媒体である。
　本発明によれば、複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させ、一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、順位付け部により順位付けられた最初の順位の被写体から最後の順位の被写体まで繰り返し実行するため、複数の被写体が静止しているか否かに関わらず、全ての被写体に対して合焦精度の高いフォーカスブラケット撮像を行うことができる。
図１は本発明に係る撮像装置を斜め前方から見た斜視図である。 図２は撮像装置の背面図である。 図３は撮像装置の内部構成の実施形態を示すブロック図である。 図４はイメージセンサの構成例を示す図である。 図５はイメージセンサの位相差画素行の一部の断面を示す概略図である。 図６はイメージセンサの撮像領域における第１の位相差画素及び第２の位相差画素が配置される領域の一例を示す図である。 図７はフォーカスブラケット撮像を実行する本体側ＣＰＵ２２０の実施形態を示す機能ブロック図である。 図８は動画の垂直同期信号（Ａ）、ローリングシャッタ方式によるイメージセンサ画素読み出し（Ｂ）、及びフォーカスレンズ位置（Ｃ）を示すタイミングチャートである。 図９は被写体毎に重み付けされる時間配分の一例を説明するために用いる図である。 図１０は被写体の個数Ｎ及び時間配分の順位Ｓ［ｍ］に応じた、総撮像時間Ｔを１とした場合の各被写体の時間配分を示す図表である。 図１１は本発明に係る撮像方法の第１の実施形態を示すフローチャートである。 図１２は本発明に係る撮像方法の第２の実施形態を示すフローチャートである。 図１３は本発明に係る撮像方法の第３の実施形態を示すフローチャートである。 図１４は本発明に係る撮像方法の第４の実施形態を示すフローチャートである。 図１５は動画の垂直同期信号（Ａ）、ローリングシャッタ方式によるイメージセンサ画素読み出し（Ｂ）、及びフォーカスレンズ位置（Ｃ）を示すタイミングチャートである。 図１６は本発明に係る撮影装置の一実施形態であるスマートフォンの外観図である。 図１７はスマートフォンの構成を示すブロック図である。
　以下、添付図面にしたがって、本発明に係る撮像装置、撮像方法、プログラム及び記録媒体の好ましい実施の形態について説明する。
　＜撮像装置の外観＞
　図１は撮像装置を斜め前方から見た斜視図であり、図２は撮像装置の背面図である。
　図１に示すように撮像装置１０は、交換レンズ１００と、交換レンズ１００が着脱可能なカメラ本体２００とから構成されたミラーレスのデジタル一眼カメラである。
　図１において、カメラ本体２００の前面には、交換レンズ１００が装着される本体マウント２６０と、光学ファインダのファインダ窓２０等が設けられ、カメラ本体２００の上面には、主としてシャッタレリーズスイッチ２２、シャッタスピードダイヤル２３、露出補正ダイヤル２４、電源レバー２５、及び内蔵フラッシュ３０が設けられている。
　また、図２に示すようにカメラ本体２００の背面には、主として液晶モニタ２１６、光学ファインダの接眼部２６、ＭＥＮＵ／ＯＫキー２７、十字キー２８、再生ボタン２９等が設けられている。
　液晶モニタ２１６は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮像した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。ＭＥＮＵ／ＯＫキー２７は、液晶モニタ２１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー２８は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするマルチファンクションキーとして機能する。また、十字キー２８の上キー及び下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。また、液晶モニタ２１６に表示された複数の被写体から焦点調節を行う任意の被写体を指定する操作部としても機能する。
　また、ＭＥＮＵ／ＯＫキー２７、十字キー２８、及び液晶モニタ２１６に表示されるメニュー画面を使用することで、１枚の静止画を撮像する静止画撮像モードの他に、動画を撮像する動画撮像モード、動画撮像モードの一種であって、複数の被写体に順次焦点を合わせて動画を撮像するフォーカスブラケット撮像モードを含む各種の撮像モードの設定を行うことができる。
　再生ボタン２９は、記録した静止画又は動画を液晶モニタ２１６に表示させる再生モードに切り替えるためのボタンである。
　＜撮像装置の内部構成＞
　［交換レンズ］
　図３は、撮像装置１０の内部構成の実施形態を示すブロック図である。
　撮像装置１０を構成する撮像光学系として機能する交換レンズ１００は、カメラ本体２００の通信規格に沿って製造されたものであり、後述するようにカメラ本体２００との間で通信を行うことができる交換レンズである。この交換レンズ１００は、撮像光学系１０２、フォーカスレンズ制御部１１６、絞り制御部１１８、レンズ側ＣＰＵ（Central Processing Unit）１２０、フラッシュＲＯＭ(Read Only Memory)１２６、レンズ側通信部１５０、及びレンズマウント１６０を備える。
　交換レンズ１００の撮像光学系１０２は、フォーカスレンズを含むレンズ群１０４及び絞り１０８を含む。
　フォーカスレンズ制御部１１６は、レンズ側ＣＰＵ１２０からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。絞り制御部１１８は、レンズ側ＣＰＵ１２０からの指令にしたがって絞り１０８を制御する。
　レンズ側ＣＰＵ１２０は、交換レンズ１００を統括制御するもので、ＲＯＭ１２４及びＲＡＭ(Random Access Memory)１２２を内蔵している。
　フラッシュＲＯＭ１２６は、カメラ本体２００からダウンロードされたプログラム等を格納する不揮発性のメモリである。
　レンズ側ＣＰＵ１２０は、ＲＯＭ１２４又はフラッシュＲＯＭ１２６に格納された制御プログラムに従い、ＲＡＭ１２２を作業領域として、交換レンズ１００の各部を統括制御する。
　レンズ側通信部１５０は、レンズマウント１６０がカメラ本体２００の本体マウント２６０に装着されている状態で、レンズマウント１６０に設けられた複数の信号端子（レンズ側信号端子）を介してカメラ本体２００との通信を行う。即ち、レンズ側通信部１５０は、レンズ側ＣＰＵ１２０の指令にしたがって、レンズマウント１６０及び本体マウント２６０を介して接続されたカメラ本体２００の本体側通信部２５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行い、撮像光学系１０２の各光学部材のレンズ情報（フォーカスレンズの位置情報、焦点距離情報及び絞り情報等）を、カメラ本体２００に通知する。
　また、交換レンズ１００は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部（図示せず）を備えている。ここで、絞り情報とは、絞り１０８の絞り値（Ｆ値）、絞り１０８の開口径等を示す情報である。以下、本例では、絞り情報としてＦ値を使用する。
　レンズ側ＣＰＵ１２０は、カメラ本体２００からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をＲＡＭ１２２に保持することが好ましい。また、レンズ情報は、カメラ本体２００からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期（動画のフレーム周期よりも十分に短い周期）で検出され、検出結果を保持することができる。
　［カメラ本体］
　図３に示す撮像装置１０を構成するカメラ本体２００は、イメージセンサ２０１、イメージセンサ制御部２０２、アナログ信号処理部２０３、Ａ／Ｄ（Analog/Digital）変換器２０４、画像入力コントローラ２０５、デジタル信号処理部２０６、ＲＡＭ２０７、圧縮伸張処理部２０８、メディア制御部２１０、メモリカード２１２、表示制御部２１４、液晶モニタ２１６、本体側ＣＰＵ２２０、操作部２２２、時計部２２４、フラッシュＲＯＭ２２６、ＲＯＭ２２８、ＡＦ(Autofocus)制御部２３０、ＡＥ（Auto Exposure)制御部２３２、ホワイトバランス補正部２３４、無線通信部２３６、ＧＰＳ(Global Positioning System)受信部２３８、電源制御部２４０、バッテリ２４２、本体側通信部２５０、本体マウント２６０、内蔵フラッシュ３０（図１）を構成するフラッシュ発光部２７０、フラッシュ制御部２７２、フォーカルプレーンシャッタ（ＦＰＳ：focal-plane shutter）２８０、及びＦＰＳ制御部２９６を備える。
　＜イメージセンサの構成＞
　イメージセンサ２０１は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ２０１は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
　イメージセンサ２０１は、図４に示すようにｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタが、周期的色配列（図４に示す例では、一般的なベイヤ配列）で配設され、各フォトダイオード上にはマイクロレンズが配置されている。
　また、イメージセンサ２０１は、位相差画素（第１の位相差画素ＰＡ，第２の位相差画素ＰＢ）と、静止画撮像又は動画撮像用の通常画素（位相差画素以外の画素）が配置されている。
　ベイヤ配列を有するイメージセンサ２０１において、通常画素のみが水平方向（行方向）に配置された通常画素行は、Ｒフィルタを有する画素（Ｒ画素）とＧフィルタを有する画素（Ｇ画素）とが行方向に交互に配置されたＲＧ行と、Ｇ画素とＢフィルタを有する画素（Ｂ画素）とが行方向に交互に配置されたＧＢ行とがある。また、ＲＧ行とＧＢ行とは、垂直方向（列方向）に交互に配置されている。
　また、イメージセンサ２０１は、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢが設けられた位相差画素行と、通常画素のみが設けられている通常画素行とを有している。
　イメージセンサ２０１の位相差画素行は、ベイヤ配列の特定のＧＢ行において、一対の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢと１つの通常画素の３画素を１周期として周期的に行方向に配置されて構成されている。したがって、位相差画素行には、Ｇ画素とＢ画素とが行方向に２画素（一対の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢ）置きに交互に配置されている。尚、本例の位相差画素行は、ベイヤ配列のＧＢ行に設けられているが、これに限らず、ＲＧ行に設けるようにしてもよい。
　周期的色配列は、ベイヤ配列に限らず、Ｘ－Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。
　図５は、図４に示した位相差画素行において、それぞれ隣接して配設された第１の位相差画素ＰＡ及び第２の位相差画素ＰＢの構成を示す要部拡大図である。
　図５に示すように第１の位相差画素ＰＡのフォトダイオードＰＤの前面側（マイクロレンズＭＬ側）には、遮光膜ＭＡが配設され、一方、第２の位相差画素ＰＢのフォトダイオードＰＤの前面側には、遮光膜ＭＢが配設される。マイクロレンズＭＬ及び遮光膜ＭＡ、ＭＢは瞳分割機能を有し、図５上で、遮光膜ＭＡは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ＰＡには、撮像光学系１０２の射出瞳を通過する光束のうちの光軸の左側領域を通過する光束のみが選択的に受光される。また、カラーフィルタＣＦとして、ＧフィルタがマイクロレンズＭＬの下方に配置されている。
　一方、遮光膜ＭＢは、第２の位相差画素ＰＢのフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ＰＢには、撮像光学系１０２の射出瞳を通過する光束のうちの光軸の右側領域を通過する光束のみが選択的に受光される。このように、瞳分割機能を有するマイクロレンズＭＬ及び遮光膜ＭＡ、ＭＢにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ＰＡ及び第２の位相差画素ＰＢに入射する。
　したがって、本例のイメージセンサ２０１の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢの瞳分割方向は、水平方向（ｘ方向）（図４上の左右方向）である。
　図６は、イメージセンサ２０１の撮像領域における位相差画素行の配置の一例を示す図であり、本例では、撮像領域の全域にわたって位相差画素行が配置されている。
　図３に戻って、交換レンズ１００の撮像光学系１０２によってイメージセンサ２０１の受光面に結像された被写体の光学像は、イメージセンサ２０１によって電気信号に変換される。イメージセンサ２０１の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ２０１からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。
　イメージセンサ制御部２０２は、本体側ＣＰＵ２２０の指令にしたがってイメージセンサ２０１から画像信号の読み出し制御を行う。また、本例のイメージセンサ２０１及びイメージセンサ制御部２０２は、少なくとも１つ以上のライン毎や画素毎に順次露光動作を行う（即ち、ライン毎や画素毎に順次リセットを行い、電荷の蓄積を開始し、蓄積した電荷を読み出す方式である）、いわゆるローリングシャッタ方式にて駆動することができ、特にＦＰＳ２８０を開放した状態でローリングシャッタ方式にて動画の撮像、又はライブビュー画像の撮像を行う機能を有する。
　アナログ信号処理部２０３は、イメージセンサ２０１で被写体を撮像して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部２０３は、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器２０４は、アナログ信号処理部２０３から出力されたアナログの画像信号をデジタルの画像信号に変換する。
　静止画又は動画の撮像時にイメージセンサ２０１、アナログ信号処理部２０３、及びＡ／Ｄ変換器２０４を介して出力されるＲＧＢの画素毎の画像データ（モザイク画像データ）は、画像入力コントローラ２０５からＲＡＭ２０７に入力され、一時的に記憶される。尚、イメージセンサ２０１がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部２０３及びＡ／Ｄ変換器２０４は、イメージセンサ２０１内に内蔵されていることが多い。
　デジタル信号処理部２０６は、ＲＡＭ２０７に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部２０６は、ＲＡＭ２０７に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）、ＲＧＢ／ＹＣｒＣｂ変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びＲＡＭ２０７に記憶させる。尚、デモザイク処理とは、例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサの場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理であり、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。
　ＲＧＢ／ＹＣｒＣｂ変換処理は、同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換する処理である。
　圧縮伸張処理部２０８は、静止画又は動画の記録時に、一旦ＲＡＭ２０７に格納された非圧縮の輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す。静止画の場合には、例えばＪＰＥＧ(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばＨ．２６４形式で圧縮する。圧縮伸張処理部２０８により圧縮された画像データは、メディア制御部２１０を介してメモリカード２１２に記録される。また、圧縮伸張処理部２０８は、再生モード時にメディア制御部２１０を介してメモリカード２１２から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。
　メディア制御部２１０は、圧縮伸張処理部２０８で圧縮された画像データを、メモリカード２１２に記録する制御を行う。また、メディア制御部２１０は、メモリカード２１２から、圧縮された画像データを読み出す制御を行う。
　表示制御部２１４は、ＲＡＭ２０７に格納されている非圧縮の画像データを、液晶モニタ２１６に表示させる制御を行う。液晶モニタ２１６は、液晶表示デバイスにより構成されているが、液晶モニタ２１６の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。
　液晶モニタ２１６にライブビュー画像を表示させる場合には、デジタル信号処理部２０６で連続的に生成されたデジタルの画像信号が、ＲＡＭ２０７に一時的に記憶される。表示制御部２１４は、このＲＡＭ２０７に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ２１６に順次出力する。これにより、液晶モニタ２１６に撮像画像がリアルタイムに表示され、液晶モニタ２１６を電子ビューファインダとして使用することができる。
　シャッタレリーズスイッチ２２は、静止画や動画の撮像指示を入力するための撮像指示部であり、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。
　静止画撮像モードの場合、シャッタレリーズスイッチ２２が半押しされることによってＳ１オンの信号、半押しから更に押し込む全押しがされることによってＳ２オンの信号が出力され、Ｓ１オン信号が出力されると、本体側ＣＰＵ２２０は、ＡＦ制御（自動焦点調節）及びＡＥ制御（自動露出制御）などの撮影準備処理を実行し、Ｓ２オン信号が出力されると、静止画の撮像処理及び記録処理を実行する。
　尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部２２２によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。
　また、動画撮像モードの場合、シャッタレリーズスイッチ２２が全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ２２が再び全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、スタンバイ状態になり、動画の記録処理を一時停止する。
　尚、シャッタレリーズスイッチ２２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、1回の操作でＳ１オンの信号及びＳ２オンの信号を出力しても良く、それぞれ個別のスイッチを設けてＳ１オンの信号又はＳ２オンの信号を出力しても良い。
　また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮像処理を指示するものであれば操作手段の形態はこれらに限られない。
　撮像により取得された静止画又は動画は、圧縮伸張処理部２０８により圧縮され、圧縮された画像データは、撮像日時、ＧＰＳ情報、撮像条件（Ｆ値、シャッタスピード、ＩＳＯ感度等）の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メディア制御部２１０を介してメモリカード２１２に格納される。
　本体側ＣＰＵ２２０は、カメラ本体２００全体の動作及び交換レンズ１００の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ２２を含む操作部２２２等からの入力に基づき、カメラ本体２００の各部及び交換レンズ１００を制御する。
　時計部２２４は、タイマとして、本体側ＣＰＵ２２０からの指令に基づいて時間を計測する。また、時計部２２４は、カレンダとして、現在の年月日及び時刻を計測する。
　フラッシュＲＯＭ２２６は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。
　ＲＯＭ２２８には、本体側ＣＰＵ２２０が実行するカメラ制御プログラム、本発明に係るフォーカスブラケット撮像モードでの撮像を実行させるフォーカスブラケット撮像用のプログラム、イメージセンサ２０１の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側ＣＰＵ２２０は、ＲＯＭ２２８に格納されたカメラ制御プログラム、あるいはフォーカスブラケット撮像用のプログラムにしたがい、ＲＡＭ２０７を作業領域としながらカメラ本体２００の各部、及び交換レンズ１００を制御する。
　自動焦点調節部として機能するＡＦ制御部２３０は、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて、フォーカスレンズが移動すべき位置（合焦位置）指令を、本体側ＣＰＵ２２０及び本体側通信部２５０を介して交換レンズ１００に通知する。
　ここで、ＡＦ制御部２３０は、位相差検出部とデフォーカス量算出部とを含む。位相差検出部は、イメージセンサ２０１のＡＦ領域内の第１の位相差画素ＰＡからなる第１の位相差画素群及び第２の位相差画素ＰＢからなる第２の位相差画素群からそれぞれ画素データ（第１の画素値及び第２の画素値）を取得し、これらの第１の画素値及び第２の画素値に基づいて位相差を検出する。この位相差は、第１の位相差画素ＰＡの複数の第１の画素値と第２の位相差画素ＰＢの複数の第２の画素値の相関が最大になるとき（複数の第１の画素値と複数の第２の画素値の差分絶対値の積算値が最小になるとき）の第１の画素値と第２の画素値との間の瞳分割方向のシフト量から算出することができる。
　デフォーカス量算出部は、位相差検出部により検出された位相差と、交換レンズ１００の現在のＦ値（光線角度）に対応する係数とを乗算することによりデフォーカス量を算出する。
　また、合焦位置検出部として機能するＡＦ制御部２３０は、ＡＦ領域に限らず、イメージセンサ２０１の全撮像領域内の局所領域（所望の被写体が存在する領域）のデフォーカス量を算出することができる。即ち、図６に示したようにイメージセンサ２０１の撮像領域の全域にわたって配置された位相差画素行の第１の位相差画素ＰＡからなる第１の位相差画素群及び第２の位相差画素ＰＢからなる第２の位相差画素群の第１の画素値及び第２の画素値に基づいて、撮像領域内に存在する複数の被写体のそれぞれの合焦位置（フォーカスレンズを各被写体に合焦させるためのフォーカスレンズの移動すべき位置に対応する複数のデフォーカス量）を算出することができる。ＡＦ制御部２３０により算出される複数のデフォーカス量は、後述するフォーカスブラケット撮像に使用される。
　ＡＦ制御部２３０により算出されたデフォーカス量に対応するフォーカスレンズの位置指令は、交換レンズ１００に通知され、フォーカスレンズの位置指令を受け付けた交換レンズ１００のレンズ側ＣＰＵ１２０は、フォーカスレンズ制御部１１６を介してフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。
　ＡＥ制御部２３２は、被写体の明るさ（被写体輝度）を検出する部分であり、被写体輝度に対応するＡＥ制御及びＡＷＢ（Auto White Balance）制御に必要な数値（露出値（ＥＶ値（exposure value）））を算出する。ＡＥ制御部２３２は、イメージセンサ２０１を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びＦ値によりＥＶ値を算出する。
　本体側ＣＰＵ２２０は、ＡＥ制御部２３２から得たＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。
　ホワイトバランス補正部２３４は、ＲＧＢデータ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（White Balance）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することによりホワイトバランス補正を行う。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（屋外、屋内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されている記憶部から特定した光源種に対応するＷＢゲインを読み出す方法が考えられるが、少なくともＥＶ値を使用してＷＢゲインＧr,Ｇg,Ｇbを求める他の公知の方法が考えられる。
　無線通信部２３６は、Wi-Fi（Wireless Fidelity）（登録商標）、Bluetooth（登録商標）等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器（スマートフォン、等の携帯端末）との間で必要な情報の送受信を行う。
　ＧＰＳ受信部２３８は、本体側ＣＰＵ２２０の指示にしたがって、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、カメラ本体２００の緯度、経度、及び高度からなるＧＰＳ情報を取得する。取得されたＧＰＳ情報は、撮像された画像の撮像位置を示す付属情報として画像ファイルのヘッダに記録することができる。
　電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、バッテリ２４２から供給される電源電圧をカメラ本体２００の各部に与える。また、電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して、バッテリ２４２から供給される電源電圧を交換レンズ１００の各部に与える。
　レンズ電源スイッチ２４４は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して交換レンズ１００に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。
　本体側通信部２５０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して接続された交換レンズ１００のレンズ側通信部１５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行う。尚、本体マウント２６０には、図１に示すように複数の端子２６０Ａが設けられており、交換レンズ１００がカメラ本体２００に装着（レンズマウント１６０と本体マウント２６０とが接続）されると、本体マウント２６０に設けられた複数の端子２６０Ａ（図１）と、レンズマウント１６０に設けられた複数の端子（図示せず）とが電気的に接続され、本体側通信部２５０とレンズ側通信部１５０との間で双方向通信が可能になる。
　内蔵フラッシュ３０（図１）は、例えば、ＴＴＬ（Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部２７０と、フラッシュ制御部２７２とから構成されている。
　フラッシュ制御部２７２は、フラッシュ発光部２７０から発光するフラッシュ光の発光量（ガイドナンバー）を調整する機能を有する。即ち、フラッシュ制御部２７２は、本体側ＣＰＵ２２０からのフラッシュ撮像指示に同期してフラッシュ発光部２７０を発光させ、交換レンズ１００又は１００の撮像光学系１０２又は１０２を介して入射する反射光（周囲光を含む）の測光を開始し、測光値が標準露出値に達すると、フラッシュ発光部２７０からのフラッシュ光の発光を停止させる。
　フォーカルプレーンシャッタ（ＦＰＳ：focal-plane shutter)２８０は、撮像装置１０のメカシャッタを構成し、イメージセンサ２０１の直前に配置される。ＦＰＳ制御部２９６は、本体側ＣＰＵ２２０からの入力情報（Ｓ２オン信号、シャッタスピード等）に基づいてＦＰＳ２８０の先幕、後幕の開閉を制御し、イメージセンサ２０１における露光時間（シャッタスピード）を制御する。
　［フォーカスブラケット撮像を行う場合の撮像装置の制御］
　次に、フォーカスブラケット撮像を行う場合の撮像装置１０の制御について説明する。
　＜第１の実施形態＞
　図７は、フォーカスブラケット撮像を実行する本体側ＣＰＵ２２０の実施形態を示す機能ブロック図であり、特にフォーカスブラケット撮像の際に機能する部分に関して示している。
　本発明に係るフォーカスブラケット撮像は、複数の被写体に順次焦点を合わせて動画を撮像するもので、特に複数の被写体のうちの一の被写体の合焦位置にフォーカスレンズを移動させ、一の被写体に対するＡＦ制御を一定時間継続させる合焦制御を、複数の被写体に付された順位（ＡＦ制御（焦点調節）の順位）にしたがって最初の順位の被写体から最後の順位の被写体まで繰り返し実行させながら動画を撮像するものである。
　このフォーカスブラケット撮像を行う場合、主として本体側ＣＰＵ２２０が、フォーカスブラケット撮像用の制御を統括制御するとともに、被写体特定部２２０Ａ及び順位付け部２２０Ｃとして機能する。
　ユーザは、フォーカスブラケット撮像を行う場合、操作部２２２を操作してフォーカスブラケット撮像モードの設定を行う。例えば、操作部２２２を操作し、メニュー画面を液晶モニタ２１６に表示させ、メニュー画面上で「フォーカスブラケット撮像モード」を選択することで、フォーカスブラケット撮像モードを設定することができる。
　また、フォーカスブラケット撮像モードが設定されると、１つの被写体に対するＡＦ制御を継続させる一定時間（合焦時間）を受け付けるメニュー画面が液晶モニタ２１６に表示される。ユーザは、このメニュー画面及び操作部２２２の十字キー２８を使用し、オンスクリーン対話方式で任意の「合焦時間」を設定することができる。この場合の液晶モニタ２１６及び操作部２２２は、一の被写体に対する合焦時間を設定する合焦時間設定部として機能する。尚、合焦時間は、通常、数秒程度である。
　また、１つの被写体に対する合焦時間を設定する代わりに、ユーザは、メニュー画面及び操作部２２２の十字キー２８を使用し、オンスクリーン対話方式で動画（フォーカスブラケット撮像される動画）の総撮像時間を設定することができる。この場合の液晶モニタ２１６及び操作部２２２は、動画の総撮像時間を設定する撮像時間設定部として機能する。
　尚、ユーザにより設定された合焦時間又は総撮像時間に限らず、デフォルトで設定された合焦時間又は総撮像時間でもよい。
　続いて、本体側ＣＰＵ２２０は、シャッタレリーズスイッチ２２の操作による撮像指示を受け付けると、以下の処理を行う。
　まず、本体側ＣＰＵ２２０は、撮像部として機能する交換レンズ１００及びイメージセンサ２０１により被写体像を示す動画を撮像させ、撮像指示入力時における動画又は動画の１フレームを、ＲＡＭ２０７に一時的に記憶させる。
　本体側ＣＰＵ２２０の被写体特定部２２０Ａは、ＲＡＭ２０７に一時的に記憶された画像（動画又は動画の１フレーム）内の被写体（複数の被写体）を特定する。本例の被写体特定部２２０Ａは、被写体検出部２２０Ｂを含み、被写体検出部２２０Ｂが、ＲＡＭ２０７に一時的に記憶された画像を解析し、画像内の被写体（複数の被写体）を検出する。
　被写体特定部２２０Ａは、上記のように被写体検出部２２０Ｂにより検出された複数の被写体をフォーカスブラケット撮像の対象となる被写体として特定する。または、被写体特定部２２０Ａは、被写体検出部２２０Ｂにより検出された複数の被写体のうち、焦点調節を行う任意の被写体を、ユーザが操作部２２２を操作することで指定し、又は新たに追加することでフォーカスブラケット撮像の対象となる被写体として特定してもよい。あるいは被写体特定部２２０Ａは、被写体検出部２２０Ｂを使用せずに、ユーザが操作部２２２により指定した任意の被写体を、フォーカスブラケット撮像の対象となる被写体として特定してもよい。
　被写体検出部２２０Ｂは、フォーカスブラケット撮像の対象となる被写体と、その被写体の撮像領域内の位置等を検出する。被写体検出部２２０Ｂにおける被写体の検出方法としては、被写体が人物の場合には人物の顔認識を行う技術や、特定の特徴を有する被写体の特徴量を抽出することで特定の被写体を検出する方法、又は動体を被写体とする場合には、動体を検出する動体検出方法がある。
　また、事前にユーザが操作部２２２により何の被写体（例えば、人体、顔、動体など）を自動で検出するかを指定し、被写体検出部２２０Ｂは、ユーザにより指定された被写体を検出するようにしてもよい。
　更に、被写体検出部２２０Ｂは、ＡＦ制御を一定時間継続させる被写体と、一定時間継続させない被写体とを区別するようにしてもよい。例えば、被写体のサイズや速度等に応じて、又はユーザにより指定された被写体か否かにより、ＡＦ制御を一定時間継続させる被写体と一定時間継続させない被写体とを区別することができる。そして、一定時間継続させない被写体もＡＦ制御の対象とし、フォーカスブラケット撮像を行うことができる。
　ここで、フォーカスブラケット撮像の対象となる複数の被写体としては、例えば、徒競走や競泳中の選手（人物）、競馬中の馬又は騎手、カーレース中の自動車などが考えられるが、これに限定されるものではない。
　被写体検出部２２０Ｂは、フォーカスブラケット撮像中も被写体を検出することで、特定された各被写体をそれぞれ追尾することが可能である。
　また、被写体検出部２２０Ｂにより検出された複数の被写体のうち、焦点調節を行う任意の被写体を、ユーザが操作部２２２を操作することで指定し、これによりフォーカスブラケット撮像の対象となる被写体を特定するようにしてもよい。この場合、被写体特定部２２０Ａは、操作部２２２により指定された各被写体を、フォーカスブラケット撮像する複数の被写体として特定することになる。
　ユーザが操作部２２２を操作し、フォーカスブラケット撮像を行う被写体を特定することで、ユーザが意図した複数の被写体に対するフォーカスブラケット撮像が可能になる。
　順位付け部２２０Ｃは、被写体特定部２２０Ａにより特定された複数の被写体の、合焦制御（焦点調節）の順位を付ける。
　順位付け部２２０Ｃは、被写体特定部２２０Ａにより特定された複数の被写体のそれぞれの動画中での大きさに基づいて各被写体の順位を付けることができ、例えば、複数の被写体のうち動画中で大きい被写体ほど、その被写体に対するフォーカスブラケット撮像される順位を早く（又は遅く）する。
　また、順位付け部２２０Ｃは、動画中での複数の被写体のそれぞれの大きさの代わりに、撮像装置１０から各被写体までの距離又は各被写体の移動速度に基づいて複数の被写体のフォーカスブラケット撮像される順位付けを行うようにしてもよい。例えば、複数の被写体のうち撮像装置１０から被写体までの距離が近いほど、その被写体に対するフォーカスブラケット撮像される順位を早く（又は遅く）し、また、複数の被写体のうち被写体の移動速度が遅いほど、その被写体に対するフォーカスブラケット撮像される順位を早く（又は遅く）する。
　尚、動画中での各被写体の大きさは、被写体検出部２２０Ｂにより検出される撮像領域内の被写体毎の領域（サイズ）から求めることができる。また、撮像装置１０から各被写体までの距離は、ＡＦ制御部２３０により算出されるデフォーカス量とデフォーカス量算出時のフォーカスレンズの位置に基づいて算出することができ、各被写体の移動速度は、各被写体の距離を微分することにより算出することができる。
　フォーカスブラケット撮像される複数の被写体が、被写体特定部２２０Ａにより特定され、特定された複数の被写体のＡＦ制御（焦点調節）の順位が、順位付け部２２０Ｃにより付与されると、本体側ＣＰＵ２２０は、複数の被写体のうちの一の被写体にフォーカスレンズの焦点を合わせる被写体毎のＡＦ制御であって、このＡＦ制御を被写体毎に一定時間継続させる合焦制御を、複数の被写体に付されたＡＦ制御の順位にしたがって、最初の順位の被写体から最後の順位の被写体まで繰り返し実行させる。
　本体側ＣＰＵ２２０は、最初の順位の被写体にフォーカスレンズを合焦させる、フォーカスレンズの位置指令を、ＡＦ制御部２３０により算出されたデフォーカス量（最初の順位の被写体に対するデフォーカス量）により算出し、算出したフォーカスレンズの位置指令を交換レンズ１００に通知する。尚、ＡＦ制御部２３０からフォーカスレンズの位置指令を送出するようにしてもよい。
　フォーカスレンズの位置指令を受け付けた交換レンズ１００のレンズ側ＣＰＵ１２０は、フォーカスレンズ制御部１１６を介してフォーカスレンズを移動させ、フォーカスレンズの位置を制御する。
　本体側ＣＰＵ２２０は、このフォーカスレンズの最初の順位の被写体に対するＡＦ制御を一定時間継続させる（合焦制御を行う）。したがって、最初の順位の被写体が移動する場合には、その被写体の移動に追従してフォーカスレンズの位置も制御される。
　本体側ＣＰＵ２２０は、最初の順位の被写体に対するＡＦ制御が一定時間継続されると（最初の順位の被写体に対する合焦制御が終了すると）、２番目の順位の被写体に対する合焦制御を実行し、この合焦制御を最後の順位の被写体まで順次繰り返す。
　図８は、動画の垂直同期信号（Ａ）、ローリングシャッタ方式によるイメージセンサ画素読み出し（Ｂ）、及びフォーカスレンズ位置（Ｃ）を示すタイミングチャートである。
　図８において、Ｍ１は、最初の順位の被写体の位置（動き）を示し、Ｍ２は、２番目の順位の被写体の位置（動き）を示す。
　図８において、本体側ＣＰＵ２２０は、フォーカスブラケット撮像を開始すると、最初の順位の被写体の合焦位置Ｍ１にフォーカスレンズを移動させるＡＦ制御を実行させ、合焦後、一定時間Ｔｃの間、ＡＦ制御を継続させる。
　最初の順位の被写体の合焦位置Ｍ１は、その被写体の光学像が受光するラインの位相差画素の出力により検出することができるため、このラインの読み出しタイミング（図８のイメージセンサ画素読み出し（Ｂ）の点線の四角で示したタイミング）で、フォーカスレンズの位置指令を逐次生成する。そして、フォーカスレンズの位置指令が生成したタイミングで、フォーカスレンズの位置指令を出力し、ＡＦ制御を行う。このように、被写体の光学像が受光するラインの読み出しタイミングでＡＦ制御を行うことで、その被写体に対して最も早いタイミングでＡＦ制御を可能にしている。
　尚、ＡＦ制御部２３０は、上記のようにＡＦ制御を行う一の被写体の光学像が受光するイメージセンサ２０１のラインの読み出しタイミングにおいて、一の被写体の合焦位置にフォーカスレンズを移動させるが、より好ましくはＡＦ制御する一の被写体の光学像が受光するラインの露光開口の中央の読み出しタイミングにおいて、一の被写体の合焦位置にフォーカスレンズを移動させる。これにより、一の被写体の中央（一の被写体の光学像が受光するラインの露光開口の中央）の位置で検出された、一の被写体の合焦位置に基づいて、一の被写体に対するＡＦ制御を行うことができる。
　本体側ＣＰＵ２２０は、最初の順位の被写体に対する合焦制御を一定時間Ｔｃ継続させると、２番目の順位の被写体の合焦位置Ｍ２にフォーカスレンズを移動させるＡＦ制御を実行させ、合焦後、合焦制御を一定時間Ｔｃ継続させ、この合焦制御を最後の順位の被写体まで順次行う。
　そして、上記のようにフォーカスブラケット撮像された動画は、デジタル信号処理部２０６で適宜画像処理された後、メディア制御部２１０によりメモリカード２１２に記録される。
　メモリカード２１２に記録されたフォーカスブラケット撮像された動画は、複数の被写体にそれぞれ合焦した静止画（１つのフレーム）を再生又はプリントするために利用することができ、また、複数の被写体に順次合焦する動画として再生することができる。
　［一定時間］
　合焦制御を行う一定時間Ｔｃは、ユーザが合焦時間設定部により設定した合焦時間（一定時間）の他に、ユーザが撮像時間設定部により設定した動画（フォーカスブラケット撮像される動画）の総撮像時間と、被写体検出部２２０Ｂが検出した被写体の個数とに基づいて決定することができる。
　例えば、総撮像時間をＴ、被写体の個数をＮとすると、一定時間Ｔｃは、次式、
　［数１］
　Ｔｃ＝Ｔ／Ｎにより算出することができる。即ち、動画の総撮像時間Ｔを複数の被写体の個数Ｎで除算した均等時間を、一定時間Ｔｃとすることができる。
　尚、一定時間Ｔｃに比べて各被写体に合焦するまでの時間ΔＴが短い場合、総撮像時間Ｔは大幅に延長しないが、時間ΔＴが無視できない場合には、時間ΔＴを考慮して均等時間を算出してもよい。
　例えば、各被写体に合焦するまでの平均時間をΔＴｃとすると、一定時間Ｔｃは、次式、
　［数２］
　Ｔｃ＝（Ｔ－ΔＴｃ×Ｎ）／Ｎにより算出することができる。
　また、［数１］式又は［数２］式に示したように、総撮像時間Ｔを各被写体に均等に割り当てた時間を一定時間Ｔｃに代わりに、動画の総撮像時間を、複数の被写体毎に重み付けされた時間配分で被写体毎に割り当てた時間を一定時間としてもよい。
　図９は、被写体毎に重み付けされる時間配分の一例を説明するために用いる図である。
　図９に示すように、総撮像時間ＴをＮ個の各被写体に均等に割り当てた平均時間をＴ／Ｎとすると、最も時間をかけない被写体に割り当てる時間を（２／３）×（Ｔ／Ｎ）とし、最も時間をかける被写体に割り当てる時間を（４／３）×（Ｔ／Ｎ）とし、被写体の個数に応じて、これらの時間（２／３）×（Ｔ／Ｎ）、Ｔ／Ｎ、（４／３）×（Ｔ／Ｎ）を補間して、各被写体に割り当てる時間配分を決定することができる。
　また、上記と同様に被写体の個数Ｎに応じて総撮像時間Ｔを被写体毎に重み付けされた時間配分で割り当てる時間（Ｔｃ［ｍ］）を、次式により算出することができる。
　［数３］
　Ｔｃ［ｍ］＝２Ｔ／（３Ｎ２）×（２Ｎ－Ｓ［ｍ］＋０．５）
　［数３］式において、Ｓ［ｍ］（ｍ；被写体の個数Ｎのうち時間配分の大きい順位（１～Ｎ）を示す。また、被写体毎に重み付けして割り当てた時間（Ｔｃ［ｍ］）は、被写体毎に設定した一定時間である。
　図１０は、被写体の個数Ｎ及び時間配分の順位Ｓ［ｍ］に応じた、総撮像時間Ｔを１とした場合の各被写体の時間配分を示す図表であり、各被写体の時間配分は、［数３］式により算出されたものである。
　尚、上記の例は、動画の総撮像時間を複数の被写体毎に重み付けされた時間配分で被写体毎に割り当てた時間（一定時間）の一例に過ぎず、被写体毎に重み付けして割り当てる時間配分の方法は、上記の例に限定されない。
　また、被写体毎に重み付けして割り当てられる一定時間であって、時間配分の大きい順位は、複数の被写体の各被写体の動画中での大きさ、撮像装置１０から各被写体までの距離、及び各被写体の移動速度のうちの少なくとも一つにより決定することができる。
　即ち、動画の総撮像時間を、複数の被写体毎に重み付けされた時間配分で割り当てる際に、動画中での各被写体の大きさに応じて、被写体が大きい程、その被写体に割り当てる時間（合焦制御の時間）を長く又は短くすることができ、同様に撮像装置１０から各被写体までの距離、あるいは各被写体の移動速度に応じて、各被写体に割り当てる時間を調整することが可能である。
　［フォーカスブラケット撮像する場合の液晶モニタの表示］
　フォーカスブラケット撮像する場合．表示制御部２１４は、撮像部として機能する交換レンズ１００及びイメージセンサ２０１により撮像される動画（ライブビュー画像を含む）を、表示部として機能する液晶モニタ２１６に表示させる。
　また、通知部として機能する表示制御部２１４は、本体側ＣＰＵ２２０の被写体検出部２２０Ｂにより検出された動画中の複数の被写体と、順位付け部２２０Ｃにより順位付けられた複数の被写体のフォーカスブラケット撮像する順位とを関連付けて液晶モニタ２１６に表示させる。
　例えば、表示制御部２１４は、液晶モニタ２１６に表示される各被写体に隣接して、各被写体のフォーカスブラケット撮像する順位を示す番号を表示させ、これによりユーザにフォーカスブラケット撮像する複数の被写体を通知するとともに、フォーカスブラケット撮像する順位を通知することができる。
　また、フォーカスブラケット撮像中に動画中での各被写体の大きさ、撮像装置１０から各被写体までの距離、又は各被写体の移動速度が変化し、順位付け部２２０Ｃにより順位付けられる各被写体の順位が変化する場合がある。この場合、既にフォーカスブラケット撮像され、又はフォーカスブラケット撮像中の被写体以外の被写体の間で、例えば、動画中での被写体の大きさの順位が入れ替わると、入れ替わった順位にしたがってフォーカスブラケット撮像を実行することが好ましい。また、フォーカスブラケット撮像する各被写体の順位が入れ替えられた場合には、入れ替えられた段階での最初の被写体から最後の被写体までフォーカスブラケット撮像を実行するようにしてもよい。
　例えば、各被写体の距離の変化に伴ってフォーカスブラケット撮像する被写体の順位を入れ替える場合、各被写体の合焦位置にフォーカスレンズを移動させる際のフォーカスレンズの移動方向を一定方向にすることができる。
　また、表示制御部２１４は、順位付け部２２０Ｃによりフォーカスブラケット撮像する被写体の順位が入れ替えられると、順位が入れ替わった各被写体のフォーカスブラケット撮像する順位を通知する。
　更に、表示制御部２１４は、複数の被写体のうちの一定時間継続してＡＦ制御が行われ、動画の撮像が終了した被写体を通知することが好ましい。例えば、表示制御部２１４は、動画の撮像が終了した被写体と終了していない被写体の順位を示す番号の表示形態を変えることで、両者を識別可能に通知することができる。これにより、ユーザは、合焦制御して動画の撮像が終了した被写体と終了していない被写体とを認識することができる。
　更にまた、撮像装置１０は、被写体検出部２２０Ｂにより検出された複数の被写体からフォーカスブラケット撮像による焦点調節を行う任意の被写体を指定する操作部を備え、被写体特定部２２０Ａは、操作部により指定された各被写体を焦点調節を行う複数の被写体として特定することが好ましい。
　フォーカスブラケット撮像による焦点調節を行う任意の被写体を指定する操作部は、フォーカスブラケット撮像される被写体を含む画像を表示する液晶モニタ２１６と、液晶モニタ２１６に表示された画面上で、任意の被写体を指定する十字キー２８、タッチパネル、又は、その他のポインティングデバイスとにより構成することができる。ユーザは、液晶モニタ２１６に表示された画像を見ながら操作部を操作することでフォーカスブラケット撮像する任意の被写体を指定することができる。
　これにより、例えば、撮像範囲内に被写体となり得る複数の人物が存在する場合、フォーカスブラケット撮像される人物と、フォーカスブラケット撮像されない人物とを振り分けることができる。
　また、被写体特定部２２０Ａは、上記のように操作部によりユーザが指定した各被写体を、フォーカスブラケット撮像する被写体として特定することができる。
　［撮像方法］
　＜第１の実施形態＞
　図１１は、本発明に係る撮像方法の第１の実施形態を示すフローチャートである。
　図１１において、本体側ＣＰＵ２２０は、フォーカスブラケット撮像モードが設定されると、ユーザによるフォーカスブラケット撮像の総撮像時間Ｔの設定を受け付ける（ステップＳ１０）。尚、総撮像時間Ｔは、デフォルトで設定された時間でもよい。
　その後、シャッタレリーズスイッチ２２の操作による撮像指示を受け付けると、本体側ＣＰＵ２２０は、撮像部として機能する交換レンズ１００及びイメージセンサ２０１により被写体像を示す動画を撮像させ、被写体特定部２２０Ａは、撮像指示入力時における動画又は動画の１フレームに基づいて画像内の被写体（複数個Ｎの被写体）を特定する（ステップＳ１２）。
　また、ステップＳ１２では、順位付け部２２０Ｃにより複数個Ｎの被写体の順位付けが行われ、順位を示すパラメータｎを１にセットする。更に、ステップＳ１２では、ステップＳ１０で設定された総撮像時間Ｔと、特定された被写体の個数Ｎとに基づいて前述した［数１］式により一定時間Ｔｃが算出され、一定時間Ｔｃが設定される。
　続いて、本体側ＣＰＵ２２０は、第ｎの被写体に合焦させるべくフォーカスレンズを移動させ（ステップＳ１４）、第ｎの被写体に合焦したか否かを判別する（ステップＳ１６）。フォーカスレンズが第ｎの被写体に合焦していないと判別されると（「No」の場合）、第ｎの被写体への合焦方向にフォーカスレンズの駆動を続け（ステップＳ１８）、フォーカスレンズが第ｎの被写体に合焦したと判別されると（「Yes」の場合）、ステップＳ２０に遷移する。
　ステップＳ２０では、ステップＳ１２で設定した一定時間Ｔｃを計測するタイマｔを０に設定する。
　本体側ＣＰＵ２２０は、第ｎの被写体に対する合焦状態を継続させる合焦制御を行い（ステップＳ２２）、タイマｔが一定時間Ｔｃに達した（ｔ＝Ｔｃ）か否かを判別する（ステップＳ２４）。
　そして、タイマｔが一定時間Ｔｃに達すると（合焦制御が一定時間Ｔｃ継続すると）、第ｎの被写体の順位がＮ番目（最後の順位）か否かを判別し（ステップＳ２６）、第ｎの被写体の順位がＮ番目でないと判別されると（「No」の場合）、順位のパラメータｎを１だけインクリメントし（ステップＳ２８）、ステップＳ１４に遷移させ、ステップＳ１４からステップＳ２６の処理を繰り返す。
　そして、ステップＳ２６において、第ｎの被写体の順位がＮ番目であると判別されると全ての被写体に対するフォーカスブラケット撮像が終了する。
　＜第２の実施形態＞
　図１２は、本発明に係る撮像方法の第２の実施形態を示すフローチャートである。尚、図１２において、図１１に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
　図１２に示す第２の実施形態では、まず、図１１に示した第１の実施形態のステップＳ１２の代わりに、ステップＳ１２１、ステップＳ１２２及びステップＳ１２３を有している。
　ステップＳ１２１では、本体側ＣＰＵ２２０の被写体検出部２２０Ｂ（図７）が、撮像指示入力時における動画又は動画の１フレームに基づいて、フォーカスブラケット撮像の対象となる画像内の被写体（複数個Ｎの被写体）を検出する。同時に、被写体検出部２２０Ｂは、Ｎ個の各被写体の撮像領域内の大きさ及び位置を検出する。
　続いて、本体側ＣＰＵ２２０の順位付け部２２０Ｃは、Ｎ個の各被写体の撮像領域内の大きさに基づいて、Ｎ個の各被写体のフォーカスブラケット撮像における合焦制御の順位（Ｓ［ｍ］）を付ける（ステップＳ１２２）。各被写体の順位（Ｓ［ｍ］）は、［数３］式に示したように、Ｎ個の被写体のうちの時間配分の大きい順位を示し、本例では、被写体が大きいほど、その被写体に対するフォーカスブラケット撮像される順位を早くする。即ち、被写体が大きいほど、その被写体に対する順位（Ｓ［ｍ］）を、１～Ｎの範囲内で小さい値に設定する。また、各被写体に付されるフォーカスブラケット撮像される順位（Ｓ［ｍ］）は、本例では、フォーカスブラケット撮像される動画の総撮像時間Ｔを、各被写体に割り当てる際の重み付けにも使用される。
　本体側ＣＰＵ２２０は、総撮像時間Ｔ及び被写体の順位（Ｓ［ｍ］）に基づいて、前述した［数３］式により、合焦制御を行う被写体毎の時間（Ｔｃ［ｍ］）を求める（ステップＳ１２３）。ここで、被写体毎の時間（Ｔｃ［ｍ］）は、フォーカスブラケット撮像される動画の総撮像時間Ｔを、被写体の順位（Ｓ［ｍ］）に応じて被写体毎に重み付けして時間配分した時間である。［数３］式によれば、被写体が大きいほど（フォーカスブラケット撮像される順位が早いほど）、その被写体に重み付けして割り当てられる合焦制御の時間（Ｔｃ［ｍ］）が長くなる。
　また、図１２に示す第２の実施形態では、図１１に示した第１の実施形態のステップＳ２４の代わりに、ステップＳ２４１を有している。
　ステップＳ２４１では、本体側ＣＰＵ２２０は、第ｎの被写体に対する合焦状態を継続させる合焦制御中の時間（タイマｔ）が、ステップＳ１２３により設定した被写体毎に重み付けされた時間（Ｔｃ［ｍ］）に達した（ｔ＝Ｔｃ［ｍ］）か否かを判別する。
　第２の実施形態によれば、フォーカスブラケット撮像される動画の総撮像時間Ｔを、被写体の大きさにより被写体毎に重み付けして割り当てた時間（Ｔｃ［ｍ］）で、各被写体に対する合焦状態を継続させる合焦制御を行うことができる。
　尚、本例では、被写体が大きいほど、その被写体に対する合焦制御の時間（Ｔｃ［ｍ］）を長くしているが、これとは逆に、被写体が大きいほど、その被写体に重み付けして割り当てられる合焦制御の時間（Ｔｃ［ｍ］）を短くするようにしてもよい。
　また、フォーカスブラケット撮像中に動画中での各被写体の大きさが変化し、順位付け部２２０Ｃにより順位付けられる各被写体の順位が変化する場合がある。この場合、既にフォーカスブラケット撮像され、又はフォーカスブラケット撮像中の被写体以外の被写体の間で、動画中での被写体の大きさの順位が入れ替わると、入れ替わった順位にしたがってフォーカスブラケット撮像を実行し、また、入れ替わった順位に対応する時間（Ｔｃ［ｍ］）にて合焦制御を行うことが好ましい。
　＜第３の実施形態＞
　図１３は、本発明に係る撮像方法の第３の実施形態を示すフローチャートである。尚、図１３において、図１２に示した第２の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
　図１３に示す第３の実施形態では、図１２に示した第２の実施形態のステップＳ１２２の代わりに、ステップＳ１２４を有している。
　ステップＳ１２４では、本体側ＣＰＵ２２０の順位付け部２２０Ｃは、撮像装置１０からＮ個の各被写体までの距離に基づいて、Ｎ個の各被写体のフォーカスブラケット撮像における合焦制御の順位（Ｓ［ｍ］）を付ける。
　本例では、Ｎ個の被写体のうち被写体の距離が近い順に、その被写体に対するフォーカスブラケット撮像される順位（Ｓ［ｍ］）を早くする。
　尚、撮像装置１０からＮ個の被写体の各被写体までの距離は、ＡＦ制御部２３０により算出されるデフォーカス量とデフォーカス量算出時のフォーカスレンズの位置に基づいて算出することができる。また、各被写体の順位（Ｓ［ｍ］）に基づいて前述した［数３］式により、合焦制御を行う被写体毎の時間（Ｔｃ［ｍ］）を設定するステップＳ１２３は、図１２に示した第２の実施形態と同様である。
　第３の実施形態によれば、フォーカスブラケット撮像される動画の総撮像時間Ｔを、撮像装置１０から各被写体までの距離により被写体毎に重み付けして割り当てた時間（Ｔｃ［ｍ］）で、各被写体に対する合焦状態を継続させる合焦制御を行うことができる。
　尚、本例では、被写体が近いほど、その被写体に対する合焦制御の時間（Ｔｃ［ｍ］）を長くしているが、これとは逆に、被写体が近いほど、その被写体に重み付けして割り当てられる合焦制御の時間（Ｔｃ［ｍ］）を短くするようにしてもよい。
　また、フォーカスブラケット撮像中に各被写体の距離が変化し、順位付け部２２０Ｃにより順位付けられる順位が変化する場合がある。この場合、既にフォーカスブラケット撮像され、又はフォーカスブラケット撮像中の被写体以外の被写体の間で、被写体の距離の順位が入れ替わると、入れ替わった順位にしたがってフォーカスブラケット撮像を実行し、また、入れ替わった順位に対応する時間（Ｔｃ［ｍ］）にて合焦制御を行うことが好ましい。
　＜第４の実施形態＞
　図１４は、本発明に係る撮像方法の第４の実施形態を示すフローチャートである。尚、図１４において、図１２に示した第２の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。
　図１４に示す第４の実施形態では、図１２に示した第２の実施形態のステップＳ１２２の代わりに、ステップＳ１２５を有している。
　ステップＳ１２５では、本体側ＣＰＵ２２０の順位付け部２２０Ｃは、Ｎ個の各被写体の移動速度に基づいて、Ｎ個の各被写体のフォーカスブラケット撮像における合焦制御の順位（Ｓ［ｍ］）を付ける。
　本例では、Ｎ個の被写体のうち被写体の移動速度が遅いほど、その被写体に対するフォーカスブラケット撮像される順位（Ｓ［ｍ］）を早くする。
　尚、Ｎ個の被写体の各被写体の移動速度は、各被写体の距離を微分することにより算出することができる。また、各被写体の順位（Ｓ［ｍ］）に基づいて前述した［数３］式により、合焦制御を行う被写体毎の時間（Ｔｃ［ｍ］）を設定するステップＳ１２３は、図１２に示した第２の実施形態と同様である。
　第４の実施形態によれば、フォーカスブラケット撮像される動画の総撮像時間Ｔを、各被写体の移動速度により被写体毎に重み付けして割り当てた時間（Ｔｃ［ｍ］）で、各被写体に対する合焦状態を継続させる合焦制御を行うことができる。
　尚、本例では、被写体の移動速度が遅いほど、その被写体に対する合焦制御の時間（Ｔｃ［ｍ］）を長くしているが、これとは逆に、被写体の移動速度が遅いほど、その被写体に重み付けして割り当てられる合焦制御の時間（Ｔｃ［ｍ］）を短くするようにしてもよい。
　また、フォーカスブラケット撮像中に各被写体の移動速度が変化し、順位付け部２２０Ｃにより順位付けられる順位が変化する場合がある。この場合、既にフォーカスブラケット撮像され、又はフォーカスブラケット撮像中の被写体以外の被写体の間で、被写体の移動速度の順位が入れ替わると、入れ替わった順位にしたがってフォーカスブラケット撮像を実行し、また、入れ替わった順位に対応する時間（Ｔｃ［ｍ］）にて合焦制御を行うことが好ましい。
　［ＡＦ制御の他の実施形態］
　図１５は、動画の垂直同期信号（Ａ）、ローリングシャッタ方式によるイメージセンサ画素読み出し（Ｂ）、及びフォーカスレンズ位置（Ｃ）を示すタイミングチャートである。尚、図１５において、Ｍ１は、最初の順位の被写体の位置（動き）を示している。
　図１５に示すようにイメージセンサ画素読み出し（Ｂ）は、破線で示す第１のタイミングでイメージセンサ２０１の第１の位相差画素ＰＡ及び第２の位相差画素ＰＢから位相差情報を読み出し、第１のタイミングよりも遅い実線で示す第２のタイミングで第１の位相差画素ＰＡ及び第２の位相差画素ＰＢ以外の画素（通常画素）から動画を構成する１フレームの画像を読み出す。
　第１の位相差画素ＰＡ及び第２の位相差画素ＰＢからの位相差情報の読み出しは、間引き読み出しが可能であるため、通常画素の読み出しよりも速くすることができ、また、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢからの位相差情報の読み出し期間中も通常画素では、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢからの位相差情報の読み出しに関わらず、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢ入射する光量に応じた電荷を継続して蓄積することが可能である。
　図１５において、本体側ＣＰＵ２２０は、フォーカスブラケット撮像を開始すると、最初の順位の被写体の合焦位置Ｍ１にフォーカスレンズを移動させるＡＦ制御を実行させ、合焦後、一定時間Ｔｃの間、ＡＦ制御を継続させる。
　即ち、本体側ＣＰＵ２２０は、通常画素の画像情報を読み出す第２のタイミングよりも速いタイミングである第１のタイミングで読み出した、第１の位相差画素ＰＡ及び第２の位相差画素ＰＢの位相差情報であって、最初の順位の被写体の光学像が受光するラインの位相差画素の位相差情報に基づいてフォーカスレンズを移動させるＡＦ制御を実行させる。
　このＡＦ制御により、フォーカスレンズ位置（Ｃ）は、点線で示すように最初の順位の被写体の合焦位置（実線で示した合焦位置）に追従するように制御される。これにより、イメージセンサ２０１の通常画像を読み出す第２の読み出しタイミングであって、最初の被写体の光学像が受光するラインの読み出しタイミング（図１５のイメージセンサ画素読み出し（Ｂ）の点線の四角で示したタイミング）では、最初の順位の被写体の合焦位置とフォーカスレンズ位置とを略一致させることができる。
　また、本体側ＣＰＵ２２０は、ある被写体の合焦制御中に、その被写体の光学像が受光するラインの位相差画素の位相差情報を逐次検出し、被写体の移動速度（被写体の合焦位置Ｍ１の変化）を予測し、第１のタイミングで読み出した位相差情報と予測した移動体の移動速度とに基づいて、フォーカスレンズ位置が被写体の合焦位置（実線で示した合焦位置）に追従するように制御することが好ましい。
　本実施形態の撮像装置１０は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮像装置、デジタルビデオカメラ等でもよく、また、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
　＜スマートフォンの構成＞
　図１６は、本発明の撮影装置の一実施形態であるスマートフォン５００の外観を示すものである。図１６に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１７は、図１６に示すスマートフォン５００の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。
　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。
　表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。また、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１６に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア（本発明に係る撮像方法を実現するプログラムを含む）、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５６２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。
　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。
　アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係るフォーカスブラケット撮像する機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮像装置１０に相当する。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１６に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
　［その他］
　本実施形態において、例えば、本体側ＣＰＵ２２０、ＡＦ制御部２３０、表示制御部２１４、及びレンズ側ＣＰＵ１２０等の各種の処理を実行する処理部（processing unit）
のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本実施形態のイメージセンサ２０１は、図４に示したように位相差画素と通常画素とを有するが、これに限らず、全画素を一対の位相差画素のみで構成されたイメージセンサを使用してもよい。この場合、静止画又は動画撮像用の通常画素は、同じ色の一対の位相差画素を加算することで、通常画素の画素データとすることができる。
　更に、本実施形態の自動焦点調節部は、位相差画素を有するイメージセンサを使用し、位相差画像を使用した位相差ＡＦを行うが、これに限らず、例えば、コントラストＡＦを行うものでもよい。コントラストＡＦは、イメージセンサの撮像領域を複数の領域に分割した各分割領域内におけるＧ画素（Ｇのカラーフィルタを有する画素）のＧ信号から高周波成分を抽出し、抽出した高周波成分の絶対値の積算値（コントラストを評価する評価値）を取得し、複数の領域のうちのフォーカスブラケット撮像する被写体が存在する領域（ＡＦ領域）の評価値が最大になるように、フォーカスレンズを移動させることで、所望の被写体に合焦させる。コントラストＡＦの場合、位相差画素を有さないイメージセンサを使用することができる。
　更に本発明は、撮像装置内のコンピュータにインストールされることにより、本発明に係る撮像装置として機能させるプログラム、及びこのプログラムが記録された記録媒体を含む。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　撮像装置
２０　ファインダ窓
２２　シャッタレリーズスイッチ
２３　シャッタスピードダイヤル
２４　露出補正ダイヤル
２５　電源レバー
２６　接眼部
２７　ＭＥＮＵ／ＯＫキー
２８　十字キー
２９　再生ボタン
３０　内蔵フラッシュ
１００　交換レンズ
１０２　撮像光学系
１０４　レンズ群
１０８　絞り
１１６　フォーカスレンズ制御部
１１８　絞り制御部
１２０　レンズ側ＣＰＵ
１２２　ＲＡＭ
１２４　ＲＯＭ
１２６　フラッシュＲＯＭ
１５０　レンズ側通信部
１６０　レンズマウント
２００　カメラ本体
２０１　イメージセンサ
２０２　イメージセンサ制御部
２０３　アナログ信号処理部
２０４　Ａ／Ｄ変換器
２０５　画像入力コントローラ
２０６　デジタル信号処理部
２０７　ＲＡＭ
２０８　圧縮伸張処理部
２１０　メディア制御部
２１２　メモリカード
２１４　表示制御部
２１６　液晶モニタ
２２０　本体側ＣＰＵ
２２０Ａ　被写体特定部
２２０Ｂ　被写体検出部
２２０Ｃ　順位付け部
２２２　操作部
２２４　時計部
２２６　フラッシュＲＯＭ
２２８　ＲＯＭ
２３０　ＡＦ制御部
２３２　ＡＥ制御部
２３４　ホワイトバランス補正部
２３６　無線通信部
２３８　ＧＰＳ受信部
２４０　電源制御部
２４２　バッテリ
２４４　レンズ電源スイッチ
２５０　本体側通信部
２５１　内部記憶部
２６０　本体マウント
２６０Ａ　端子
２７０　フラッシュ発光部
２７２　フラッシュ制御部
２９６　ＦＰＳ制御部
５００　スマートフォン
５０１　主制御部
５０２　筐体
５１０　無線通信部
５２０　表示入力部
５２１　表示パネル
５２２　操作パネル
５３０　通話部
５３１　スピーカ
５３２　マイクロホン
５４０　操作部
５４１　カメラ部
５５０　記録部
５５１　内部記憶部
５５２　外部記憶部
５６０　外部入出力部
５６２　外部記憶部
５７０　ＧＰＳ受信部
５８０　モーションセンサ部
５９０　電源部
ＰＡ　第１の位相差画素
ＰＢ　第２の位相差画素
Ｓ１０～Ｓ２８、Ｓ１２１～Ｓ１２５、Ｓ２４１　ステップＴ　総撮像時間
Ｔｃ　一定時間

Claims (19)

  1. 　複数の被写体に順次焦点を合わせて動画を撮像する撮像装置であって、
    　フォーカスレンズを含む撮像光学系を通過した光学像を受光し、前記光学像を示す動画を撮像する撮像部と、
    　前記撮像部により撮像される光学像に含まれる複数の被写体を特定する被写体特定部と、
    　前記複数の被写体の焦点調節の順位付けを行う順位付け部と、
    　前記複数の被写体のいずれかに合焦する合焦位置に前記フォーカスレンズを移動させる自動焦点調節を行う自動焦点調節部と、
    　前記複数の被写体の前記焦点調節の順位にしたがって前記自動焦点調節部による各被写体の自動焦点調節を順次行わせる制御部と、を備え、
    　前記制御部は、前記自動焦点調節部を制御し、前記複数の被写体のうちの一の被写体の合焦位置に前記フォーカスレンズを移動させ、前記一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、前記順位付け部により順位付けられた順に繰り返し実行させる撮像装置。
  2. 　一の被写体に対する合焦時間を設定する合焦時間設定部を備え、
    　前記一定時間は、前記合焦時間設定部により設定された前記合焦時間である請求項１に記載の撮像装置。
  3. 　前記動画の総撮像時間を設定する撮像時間設定部を備え、
    　前記一定時間は、前記撮像時間設定部により設定された前記動画の総撮像時間と前記複数の被写体の個数とに基づいて決定される時間である請求項１に記載の撮像装置。
  4. 　前記一定時間は、前記動画の総撮像時間を前記複数の被写体の個数で除算した均等時間である請求項３に記載の撮像装置。
  5. 　前記一定時間は、前記動画の総撮像時間を、前記複数の被写体毎に重み付けされた時間配分で被写体毎に割り当てた時間である請求項３に記載の撮像装置。
  6. 　前記被写体毎に割り当てられる前記一定時間は、前記動画の総撮像時間と、前記複数の被写体の各被写体の前記動画中での大きさ、前記撮像装置から前記各被写体までの距離及び前記各被写体の移動速度のうちの少なくとも一つにより決定される請求項５に記載の撮像装置。
  7. 　前記順位付け部は、前記複数の被写体の各被写体の前記動画中での大きさ、前記撮像装置から前記各被写体までの距離、又は前記各被写体の移動速度に基づいて前記複数の被写体の焦点調節の順位付けを行う請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記複数の被写体のそれぞれの合焦位置を逐次検出する合焦位置検出部を備え、
    　前記順位付け部は、前記焦点調節する被写体の順位を入れ替え、一の被写体の合焦位置から次の被写体の合焦位置に前記フォーカスレンズを移動させる際の前記フォーカスレンズの移動方向を一定方向にする請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記撮像部により撮像された動画を表示する表示部と、
    　前記動画中の複数の被写体を検出する被写体検出部と、
    　前記被写体検出部により検出された前記複数の被写体及び前記順位付け部により順位付けられた前記複数の被写体の焦点調節の順位を前記表示部に表示させる通知部と、
    　を備えた請求項１から７のいずれか１項に記載の撮像装置。
  10. 　前記撮像部により撮像された動画を表示する表示部と、
    　前記動画中の複数の被写体を検出する被写体検出部と、
    　前記被写体検出部により検出された前記複数の被写体及び前記順位付け部により順位付けられた前記複数の被写体の焦点調節の順位を前記表示部に表示させる通知部と、を備え、
    　前記通知部は、前記順位付け部により前記焦点調節する被写体の順位が入れ替えられると、前記順位が入れ替わった前記各被写体の焦点調節の順位を通知する請求項８に記載の撮像装置。
  11. 　前記撮像部により撮像された動画を表示する表示部と、
    　前記動画中の複数の被写体を検出する被写体検出部と、
    　前記被写体検出部により検出された前記複数の被写体及び前記順位付け部により順位付けられた前記複数の被写体の焦点調節の順位を前記表示部に表示させる通知部と、を備え、
    　前記通知部は、前記複数の被写体のうちの前記自動焦点調節が行われて動画の撮像が終了した被写体を通知する請求項１から７のいずれか１項に記載の撮像装置。
  12. 　前記被写体特定部は、任意の被写体を指定する操作部により指定された各被写体を前記焦点調節を行う複数の被写体として特定する請求項１から１１のいずれか１項に記載の撮像装置。
  13. 　前記撮像部は、位相差画素を有するイメージセンサを備え、
    　前記自動焦点調節部は、前記イメージセンサの前記位相差画素の出力に基づいて前記各被写体の合焦位置を検出し、前記複数の被写体のうちの一の被写体の合焦位置に前記フォーカスレンズを移動させる請求項１から１２のいずれか１項に記載の撮像装置。
  14. 　前記イメージセンサは、前記撮像光学系を通過した光学像の受光による信号電荷の蓄積と読み出しをライン毎に行うセンサであり、
    　前記自動焦点調節部は、前記自動焦点調節を行う一の被写体の光学像が受光するラインの読み出しタイミングにおいて、前記一の被写体の合焦位置に前記フォーカスレンズを移動させる請求項１３に記載の撮像装置。
  15. 　前記イメージセンサは、前記被写体の光学像の受光による信号電荷の蓄積と読み出しをライン毎に行うセンサであり、
    　前記自動焦点調節部は、前記自動焦点調節を行う一の被写体の光学像が受光するラインの露光開口の中央の読み出しタイミングにおいて、前記一の被写体の合焦位置に前記フォーカスレンズを移動させる請求項１３に記載の撮像装置。
  16. 　前記撮像部は、位相差画素と動画撮像用の通常画素とを有するイメージセンサを備え、動画の１フレームの第１のタイミングで前記位相差画素から位相差情報を出力し、前記第１のタイミングよりも遅い第２のタイミングで前記通常画素から動画を構成する１フレームの画像を出力し、
    　前記自動焦点調節部は、前記第１のタイミングで出力された前記位相差情報に基づいて前記第２のタイミングで出力される前記１フレームの画像に対する焦点調節を行う請求項１から１５のいずれか１項に記載の撮像装置。
  17. 　複数の被写体に順次焦点を合わせて動画を撮像する撮像方法であって、
    　撮像部により撮像される光学像に含まれる複数の被写体を特定するステップと、
    　前記複数の被写体の焦点調節の順位付けを行うステップと、
    　制御部が自動焦点調節部を制御し、前記複数の被写体の前記焦点調節の順位にしたがって前記自動焦点調節部による各被写体の自動焦点調節を順次行わせるステップと、を含み、
    　前記制御部が自動焦点調節部を制御するステップは、
    　前記自動焦点調節部を制御し、前記複数の被写体のうちの一の被写体に対する自動焦点調節を一定時間継続させる合焦制御を、前記順位付けられた順に繰り返し実行させる撮像方法。
  18. 　請求項１７に記載の撮像方法を撮像装置内のコンピュータにより実現させるプログラム。
  19. 　請求項１７に記載の撮像方法を撮像装置内のコンピュータにより実現させるプログラムが格納された記録媒体。
PCT/JP2019/003980 2018-03-29 2019-02-05 撮像装置、撮像方法、プログラム及び記録媒体 WO2019187648A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020510349A JP6998454B2 (ja) 2018-03-29 2019-02-05 撮像装置、撮像方法、プログラム及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018065049 2018-03-29
JP2018-065049 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019187648A1 true WO2019187648A1 (ja) 2019-10-03

Family

ID=68059030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003980 WO2019187648A1 (ja) 2018-03-29 2019-02-05 撮像装置、撮像方法、プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP6998454B2 (ja)
WO (1) WO2019187648A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047802A1 (ja) * 2021-09-27 2023-03-30 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP7467084B2 (ja) 2019-11-26 2024-04-15 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162724A (ja) * 2004-12-03 2006-06-22 Casio Comput Co Ltd カメラ装置及び撮影制御プログラム
JP2011101345A (ja) * 2009-10-09 2011-05-19 Nikon Corp 撮像装置
JP2012123174A (ja) * 2010-12-08 2012-06-28 Canon Inc 撮像装置、その制御方法およびプログラム
JP2014048393A (ja) * 2012-08-30 2014-03-17 Nikon Corp 撮像装置
JP2016059033A (ja) * 2014-09-08 2016-04-21 パナソニックＩｐマネジメント株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162724A (ja) * 2004-12-03 2006-06-22 Casio Comput Co Ltd カメラ装置及び撮影制御プログラム
JP2011101345A (ja) * 2009-10-09 2011-05-19 Nikon Corp 撮像装置
JP2012123174A (ja) * 2010-12-08 2012-06-28 Canon Inc 撮像装置、その制御方法およびプログラム
JP2014048393A (ja) * 2012-08-30 2014-03-17 Nikon Corp 撮像装置
JP2016059033A (ja) * 2014-09-08 2016-04-21 パナソニックＩｐマネジメント株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467084B2 (ja) 2019-11-26 2024-04-15 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
WO2023047802A1 (ja) * 2021-09-27 2023-03-30 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JPWO2019187648A1 (ja) 2021-06-24
JP6998454B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP5946970B2 (ja) 撮像装置及び撮像方法
US9179059B2 (en) Image capture device and image display method
US9473725B2 (en) Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same
JP2007178576A (ja) 撮像装置及びそのプログラム
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
US8189055B2 (en) Digital photographing apparatus and method of controlling the same
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JP6911136B2 (ja) 撮像装置、情報取得方法及び情報取得プログラム
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP2007235640A (ja) 撮影装置及び方法
JP2024036370A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
JPWO2019065554A1 (ja) 撮像装置、情報取得方法及び情報取得プログラム
WO2018066454A1 (ja) 撮像装置、撮像方法、およびプログラム
US10033938B2 (en) Image pickup apparatus and method for controlling the same
JP6622945B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6410416B2 (ja) 撮像装置及び撮像装置の制御方法
JPWO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
EP3145172A1 (en) Image capturing device and still image generating method
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2023051391A (ja) 撮像装置、撮像制御方法、及び撮像制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775085

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510349

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19775085

Country of ref document: EP

Kind code of ref document: A1