WO2019188934A1 - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2019188934A1
WO2019188934A1 PCT/JP2019/012411 JP2019012411W WO2019188934A1 WO 2019188934 A1 WO2019188934 A1 WO 2019188934A1 JP 2019012411 W JP2019012411 W JP 2019012411W WO 2019188934 A1 WO2019188934 A1 WO 2019188934A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
focus
imaging
image data
Prior art date
Application number
PCT/JP2019/012411
Other languages
English (en)
French (fr)
Inventor
和田　哲
長　倫生
健介 益居
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020510051A priority Critical patent/JP6997295B2/ja
Publication of WO2019188934A1 publication Critical patent/WO2019188934A1/ja
Priority to US17/026,336 priority patent/US11290634B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present invention relates to an imaging device, an imaging method, and a program.
  • Patent Document 1 describes a technique for controlling the position of the image sensor in the optical axis direction using information on the lens side.
  • the movement of the image sensor in the optical axis direction is performed based on information on the attached lens side.
  • information for correcting spherical aberration is stored in advance in a lens to be mounted, and the information is transmitted to the camera body, whereby the image sensor The position is moved.
  • imaging may deviate from a predesigned value due to various factors.
  • the various factors include a camera manufacturing error, a camera driving mechanism operating error, a deviation from a design value due to a temperature at the time of imaging, and the like. Therefore, the information stored in advance on the lens side cannot cover the deviation from these unexpected design values, and the movement of the image sensor in the optical axis direction cannot be performed properly.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging apparatus, an imaging method, and a program capable of determining a sensor position where an image with good image quality is obtained directly from obtained image data. Is to provide.
  • an imaging apparatus includes a focus adjustment unit that performs focus adjustment by moving a focus lens of an imaging lens, an optical image that has passed through the imaging lens, and an original image.
  • An image sensor that outputs data; an image sensor movement control unit that moves the image sensor to a plurality of sensor positions in the optical axis direction of the imaging lens; and a focus adjustment unit and an image sensor movement control unit that drive the plurality of sensor positions.
  • Imaging that obtains image data of a subject focused at each of a plurality of sensor positions by the focus control unit based on the focus control unit that focuses the subject at each and the original image data output from the image sensor A control unit, and an image evaluation unit that analyzes image data of a plurality of subjects acquired by the imaging control unit and calculates an image evaluation value at each of a plurality of sensor positions.
  • the focus control unit drives the focus adjustment unit and the image sensor movement control unit, the subject is focused at each of the plurality of sensor positions, and each of the plurality of sensor positions is captured by the imaging control unit.
  • the image data of the subject is acquired.
  • the obtained image data of the plurality of subjects is analyzed to calculate an image evaluation value at each of the plurality of sensor positions.
  • the imaging apparatus includes an optimal position determination unit that determines an optimal position of the image sensor based on an image evaluation value acquired at each of the plurality of sensor positions, and the image sensor movement control unit has the image sensor at the optimal position. Move.
  • the optimal position determination unit determines the optimal position of the image sensor based on the image evaluation values acquired at each of the plurality of sensor positions, and the image sensor movement control unit determines the image sensor at the optimal position. Moved.
  • an optimum position which is a sensor position that can obtain an image with the best image quality, can be obtained, and the image sensor can be moved to the optimum position.
  • the imaging apparatus includes a memory that stores image data, and a storage determination unit that determines image data to be stored in the memory based on image evaluation values acquired at each of the plurality of sensor positions.
  • the image data is stored in the memory, and the image data stored in the memory is determined by the storage determination unit based on the image evaluation values acquired at each of the plurality of sensor positions.
  • the image data can be efficiently stored in the memory.
  • the focus adjustment unit performs focus adjustment by an inner focus method or a rear focus method.
  • the focus adjustment unit performs the focus adjustment by the inner focus method or the rear focus method.
  • the influence of aberration may increase on the back focus position error, but in this aspect, the influence of the aberration can be reduced even in the inner focus method or the rear focus method. It is possible to obtain an accurate sensor position.
  • the imaging apparatus includes a mode setting unit that sets an image evaluation mode for operating the focusing control unit, the imaging control unit, and the image evaluation unit.
  • the mode setting unit sets the image evaluation mode to be operated by the focusing control unit, the imaging control unit, and the image evaluation unit.
  • the image evaluation mode can be set and the image evaluation value can be obtained in distinction from the normal imaging, so that more accurate operation of the imaging apparatus can be performed.
  • the imaging apparatus includes a mount on which an imaging lens is mounted, and the mode setting unit automatically sets an image evaluation mode according to the type of the imaging lens mounted on the mount.
  • the image evaluation mode is automatically set according to the type of the imaging lens attached by the mode setting unit. Therefore, an image evaluation value can be efficiently obtained according to the type of the imaging lens.
  • the image evaluation unit performs an analysis and calculates an image evaluation value at at least two positions of a subject position and a peripheral position that are positions of the subject in the image data.
  • the image evaluation unit performs an analysis and calculates an image evaluation value in at least two places of the subject position and the peripheral position in the image data.
  • the peripheral position is determined based on the distance information of the subject.
  • the peripheral position is determined based on the distance information of the subject, an image evaluation value with high accuracy can be calculated.
  • the image evaluation unit calculates an image evaluation value based on the contrast of the image data.
  • the image evaluation unit calculates the image evaluation value based on the contrast of the image data.
  • an image evaluation value corresponding to, for example, spherical aberration that affects the contrast of image quality can be acquired, and a sensor position corresponding to the image evaluation value can be acquired.
  • the image evaluation unit calculates an image evaluation value based on a spatial frequency characteristic acquired from the image data.
  • the image evaluation value is calculated by the image evaluation unit based on the spatial frequency characteristics acquired from the image data.
  • an image evaluation value that affects the spatial frequency characteristics of image quality can be acquired, and a sensor position corresponding to the image evaluation value can be acquired.
  • the image evaluation unit calculates an image evaluation value based on a color shift amount acquired from the image data.
  • the image evaluation value is calculated by the image evaluation unit based on the color misregistration amount acquired from the image data. Thereby, an image evaluation value corresponding to the color misregistration amount can be obtained, and a sensor position corresponding to the image evaluation value can be obtained.
  • the image evaluation unit calculates an image evaluation value based on a shading characteristic acquired from the image data.
  • the image evaluation value is calculated by the image evaluation unit based on the shading characteristics acquired from the image data. Thereby, an image evaluation value corresponding to the shading characteristic can be acquired, and a sensor position corresponding to the image evaluation value can be obtained.
  • An imaging apparatus includes a focus adjustment unit that performs focus adjustment by moving a focus lens of an imaging lens, an image sensor that captures an optical image that has passed through the imaging lens, and outputs original image data.
  • the image sensor movement control unit that moves the image sensor to a plurality of sensor positions in the optical axis direction of the imaging lens and the image sensor movement control unit is driven when the focus adjustment unit receives a focus adjustment instruction by a manual focus operation.
  • An in-focus control unit that focuses the object at each of the plurality of sensor positions, and an object that is focused at each of the plurality of sensor positions by the in-focus control unit based on the original image data output from the image sensor.
  • An image capturing control unit that acquires image data, and an image data including in-focus images of a plurality of subjects acquired by the image capturing control unit are analyzed to generate a plurality of sets.
  • an image evaluation unit for calculating an image evaluation value at each of the service position.
  • the focus control unit drives the image sensor movement control unit to focus the subject at each of the plurality of sensor positions when the focus adjustment unit receives a focus adjustment instruction by manual focus operation.
  • the imaging control unit acquires image data of the subject at each of the plurality of sensor positions. Then, the obtained image data of the plurality of subjects is analyzed to calculate an image evaluation value at each of the plurality of sensor positions. Thereby, based on the image evaluation value obtained by directly analyzing the image data, it is possible to obtain a sensor position where an image with good image quality is obtained.
  • the imaging apparatus includes an optimal position determination unit that determines an optimal position of the image sensor based on an image evaluation value acquired at each of the plurality of sensor positions, and the image sensor movement control unit has the image sensor at the optimal position. Move.
  • the imaging apparatus includes a memory that stores image data, and a storage determination unit that determines image data to be stored in the memory based on image evaluation values acquired at each of the plurality of sensor positions.
  • the focus adjustment unit performs focus adjustment by an inner focus method or a rear focus method.
  • An imaging method includes a focus adjustment step of performing focus adjustment by moving a focus lens of an imaging lens, and an image sensor that captures an optical image that has passed through the imaging lens and outputs original image data.
  • An image sensor movement control step for moving to a plurality of sensor positions in the optical axis direction of the imaging lens; a focus control step for focusing the subject at each of the plurality of sensor positions by a focus adjustment step and an image sensor movement control step;
  • An imaging control step for acquiring image data of a subject focused at each of the plurality of sensor positions by the focusing control step based on the original image data output from the image sensor; and a plurality of the imaging control step acquired
  • An image evaluation process for analyzing image data of a subject and calculating an image evaluation value at each of a plurality of sensor positions. Tsu including and up, the.
  • An imaging method includes a focus adjustment step of performing focus adjustment by moving a focus lens of an imaging lens, and an image sensor that captures an optical image that has passed through the imaging lens and outputs original image data.
  • the image sensor movement control step for moving to a plurality of sensor positions in the optical axis direction of the imaging lens and the focus adjustment step receives a focus adjustment instruction by manual focus operation
  • the image sensor movement control step is driven to Based on the focus control step for focusing the subject at each position and the original image data output from the image sensor, the image data of the subject focused at each of the plurality of sensor positions by the focus control step is acquired.
  • a program includes a focus adjustment step of performing focus adjustment by moving a focus lens of an imaging lens, an image sensor that captures an optical image that has passed through the imaging lens, and outputs original image data.
  • An image sensor movement control step for moving the imaging lens to a plurality of sensor positions in the optical axis direction; a focus control step for focusing the subject at each of the plurality of sensor positions by a focus adjustment step and an image sensor movement control step;
  • An imaging control step for acquiring image data of a subject focused at each of a plurality of sensor positions by the focusing control step based on original image data output from the image sensor, and a plurality of subjects acquired by the imaging control step
  • Image analysis by analyzing image data and calculating image evaluation values at each of a plurality of sensor positions To execute the steps, the imaging process including the computer.
  • a program includes a focus adjustment step for adjusting a focus by moving a focus lens of an imaging lens, and an image sensor that captures an optical image that has passed through the imaging lens and outputs original image data.
  • the image sensor movement control step for moving to a plurality of sensor positions in the optical axis direction of the lens and the focus adjustment step receives a focus adjustment instruction by manual focus operation
  • the image sensor movement control step is driven to Based on the focus control step for focusing the subject at each of the above and the original image data output from the image sensor, the image data of the subject focused at each of the plurality of sensor positions by the focus control step is acquired.
  • the imaging control step and the image data of the in-focus state of the plurality of subjects acquired by the imaging control step Analyzing the data to perform the image evaluation step of calculating an image evaluation value in each of the plurality of sensor positions, the imaging process including the computer.
  • the focus control unit drives the focus adjustment unit and the image sensor movement control unit, the subject is focused at each of the plurality of sensor positions, and each of the plurality of sensor positions is captured by the imaging control unit.
  • the image data of the subject is acquired, and the image evaluation values at each of the plurality of sensor positions are calculated by analyzing the acquired image data of the plurality of subjects, and thus obtained by directly analyzing the image data. Based on the image evaluation value, it is possible to obtain a sensor position where an image with good image quality is obtained.
  • FIG. 1 is a schematic configuration diagram illustrating an embodiment of a digital camera.
  • FIG. 2 is a diagram illustrating a schematic configuration of the image sensor.
  • FIG. 3 is an enlarged view of a part of the imaging surface.
  • FIG. 4 is a diagram illustrating a schematic configuration of each pixel.
  • FIG. 5 is a block diagram of functions related to AF.
  • FIG. 6 is a block diagram illustrating a main functional configuration example of the digital signal processing unit.
  • FIG. 7 is a flowchart showing the operation of the digital camera.
  • FIG. 8 is a diagram showing the movement of the image sensor and the focal position of the interchangeable lens.
  • FIG. 9 is a diagram showing the movement of the image sensor and the focal position of the interchangeable lens.
  • FIG. 8 is a diagram showing the movement of the image sensor and the focal position of the interchangeable lens.
  • FIG. 10 is a diagram showing the movement of the image sensor and the focal position of the interchangeable lens.
  • FIG. 11 is a diagram for explaining spherical aberration.
  • FIG. 12 is a diagram for explaining spherical aberration.
  • FIG. 13 is a diagram for explaining that the shading characteristic is changed by moving the image sensor.
  • FIG. 14 is a diagram for explaining that the shading characteristic is changed by moving the image sensor.
  • FIG. 15 is a diagram for explaining that the shading characteristics are changed by moving the image sensor.
  • FIG. 16 is a diagram illustrating an example of the relationship between the image evaluation value of the focused image and the sensor position of the image sensor.
  • FIG. 17 is a diagram illustrating a functional configuration example of the camera control unit and the digital signal processing unit.
  • FIG. 18 is a flowchart showing the operation of the digital camera.
  • FIG. 19 is a diagram showing the movement of the image sensor and the focal position of the interchangeable lens.
  • FIG. 20 is a diagram illustrating an example of an imaging
  • FIG. 1 is a schematic configuration diagram showing an embodiment of a digital camera (imaging device) 1 to which the present invention is applied.
  • the digital camera 1 shown in FIG. 1 is an interchangeable lens digital camera, and includes an interchangeable lens (imaging lens) 10 and a camera body 100.
  • an interchangeable lens (imaging lens) 10 can communicate with the camera body 100, but the present invention is not limited to this.
  • the interchangeable lens 10 may not be able to communicate with the camera body 100.
  • the interchangeable lens 10 is an example of an imaging lens.
  • the interchangeable lens 10 is detachably attached to the camera body 100 via the mount 102.
  • the interchangeable lens 10 is configured by combining a plurality of lenses.
  • the interchangeable lens 10 has a focus lens 12 and a diaphragm 14.
  • the interchangeable lens 10 is focused by moving the focus lens 12 back and forth along the optical axis L. Further, the amount of light is adjusted by adjusting the aperture of the diaphragm 14.
  • the interchangeable lens 10 moves the focus lens 12 by an inner focus method or a rear focus method to perform focus adjustment.
  • the interchangeable lens 10 includes a focus lens drive unit 16 that drives the focus lens 12 and a focus lens position detection unit 18 that detects the position of the focus lens 12.
  • the focus lens driving unit 16 includes, for example, an actuator such as a linear motor and a driving circuit thereof, and moves the focus lens 12 back and forth along the optical axis L.
  • the focus lens position detection unit 18 includes, for example, a photo interrupter and an MR sensor (MR sensor: Magneto-Resistive Sensor).
  • the photo interrupter detects that the focus lens 12 is located at a predetermined origin position.
  • the MR sensor detects the amount of movement of the focus lens 12.
  • the position of the focus lens 12 with respect to the origin position can be detected by detecting that the focus lens 12 is located at the origin position by the photo interrupter and detecting the movement amount of the focus lens 12 from the origin position by the MR sensor.
  • the interchangeable lens 10 includes an aperture driving unit 20 that drives the aperture 14.
  • the diaphragm 14 is constituted by, for example, an iris diaphragm.
  • the diaphragm drive unit 20 includes a motor that drives the diaphragm blades of the iris diaphragm and a drive circuit thereof.
  • the interchangeable lens 10 includes a lens control unit 22 that controls driving of the focus lens driving unit 16 and the aperture driving unit 20.
  • the lens control unit 22 is composed of, for example, a microcomputer, and functions as a focus adjustment unit 22a (FIG. 5), an aperture drive control unit, and the like by executing a predetermined control program.
  • the focus adjusting unit 22a controls the driving of the focus lens driving unit 16.
  • the aperture drive control controls the drive of the aperture drive unit 20.
  • the lens control unit 22 is communicably connected to the camera control unit 150 of the camera body 100 via a communication terminal (not shown) provided in the mount 102.
  • the camera body 100 includes an image sensor 110, an image sensor movement drive unit 120, an image sensor position detection unit 122, an image sensor drive unit 124, an analog signal processing unit 126, and an ADC (Analog-to-digital converter / analog / digital converter) 128. , A digital signal processing unit 130, a phase difference AF processing unit 132, a memory card interface 134, a memory card 136, a display unit 138, an operation unit 140, and a camera control unit 150.
  • a digital signal processing unit 130 A phase difference AF processing unit 132, a memory card interface 134, a memory card 136, a display unit 138, an operation unit 140, and a camera control unit 150.
  • the image sensor 110 receives light passing through the interchangeable lens 10 to capture an optical image of the subject and output original image data.
  • the image sensor 110 includes a solid-state imaging device such as a CCD (ChargedCharCoupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor 110 has a plurality of phase difference detection pixels 118 on its imaging surface.
  • FIG. 2 is a diagram showing a schematic configuration of the image sensor 110.
  • the image sensor 110 has an imaging surface 112 in which a large number of pixels are two-dimensionally arranged in the x direction (row direction) and the y direction (column direction).
  • the imaging surface 112 has a plurality of AF (autofocus) areas 114.
  • the AF area 114 is an area set on the imaging surface 112 as an area that can be focused. In the example shown in FIG. 2, nine AF areas 114 are set at the center of the screen, and focusing is performed on some AF areas 114 or all areas when selected.
  • FIG. 3 is an enlarged view of a part of the imaging surface.
  • Each pixel includes a photoelectric conversion unit and outputs a signal corresponding to the amount of received light.
  • Each pixel has a color filter of any color of R (Red / Red), G (Green / Green), and B (Blue / Blue).
  • the color filter is assigned to each pixel so as to have a predetermined arrangement.
  • FIG. 3 shows an example of the Bayer array. In the figure, a letter R is attached to a pixel having an R color filter (R pixel), a letter G is attached to a pixel having a G color filter (G pixel), and a B color filter is provided. The letter B is attached to the pixel (B pixel).
  • a normal pixel 116 and a phase difference detection pixel 118 are arranged in the AF area 114.
  • the normal pixel 116 is a normal imaging pixel.
  • the phase difference detection pixel 118 is a pixel that detects a phase difference.
  • the phase difference detection pixel 118 is an example of a phase difference detection type autofocus sensor.
  • normal pixels are configured. Only normal pixels are arranged in areas other than the AF area.
  • phase difference detection pixels 118 are indicated by diagonal lines. As shown in the figure, the phase difference detection pixels 118 are regularly arranged on the imaging surface 112.
  • the phase difference detection pixel 118 includes a first phase difference detection pixel 118A and a second phase difference detection pixel 118B.
  • the first phase difference detection pixel 118A and the second phase difference detection pixel 118B are arranged close to each other.
  • the first phase difference detection pixels 118 ⁇ / b> A are arranged at regular intervals in one of two rows of the same array that are close to each other, and the second phase difference detection pixels 118 ⁇ / b> B are arranged at regular intervals in the other.
  • An example is shown. In particular, an example in which a specific G pixel in a specific row in which R pixels and G pixels are arranged is used as the phase difference detection pixel 118 is shown.
  • FIG. 4 is a diagram showing a schematic configuration of each pixel.
  • Each pixel has a light-shielding film having a predetermined opening.
  • FIG. 4 shows the opening of the light shielding film provided in each pixel in white.
  • the normal pixel 116 has a light-shielding film in which the opening coincides with the center of the photoelectric conversion unit.
  • the normal pixel 116 receives the light beam that has passed through almost all of the pupil region of the interchangeable lens 10.
  • the first phase difference detection pixel 118A has a light shielding film whose opening is eccentric to the right side with respect to the center of the photoelectric conversion unit. As a result, the first phase difference detection pixel 118A receives one of the pair of light beams that has passed through different portions of the pupil region of the interchangeable lens 10.
  • the second phase difference detection pixel 118B has a light shielding film whose opening is eccentric to the left with respect to the center of the photoelectric conversion unit. As a result, the second phase difference detection pixel 118B receives the other of the pair of light beams that have passed through different portions of the pupil region of the interchangeable lens 10.
  • the phase difference amount can be detected by acquiring the signals of the first phase difference detection pixel 118A and the second phase difference detection pixel 118B and comparing them.
  • the image sensor movement drive unit 120 moves the image sensor 110 back and forth along the optical axis L.
  • the image sensor movement drive unit 120 includes, for example, an actuator such as a piezo actuator and a drive circuit thereof.
  • the image sensor 110 moves within a movable range, and a reference position is set at the center of the movable range.
  • the reference position is set to a flange back position defined by the interchangeable lens 10.
  • the interchangeable lens 10 is optically designed based on the position of the flange back. Therefore, the optical performance of the interchangeable lens 10 can be maximized by positioning the image sensor 110 at the reference position.
  • the flange back of an interchangeable lens that employs a C mount is 17.526 mm.
  • the flange back of the interchangeable lens adopting the CS mount is 12.5 mm.
  • the image sensor position detection unit 122 detects the position (sensor position) of the image sensor 110.
  • the image sensor position detection unit 122 is configured by a displacement sensor such as an eddy current sensor, for example.
  • the image sensor driving unit 124 drives the image sensor 110 under the control of the camera control unit 150.
  • the image sensor 110 is driven by the image sensor driving unit 124 to capture an image.
  • the analog signal processing unit 126 takes in an analog image signal (original image data) for each pixel output from the image sensor 110 and performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.).
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, etc.
  • the ADC 128 converts the analog image signal output from the analog signal processing unit 126 into a digital image signal and outputs the digital image signal.
  • the digital signal processing unit 130 captures a digital image signal, performs predetermined signal processing (for example, gradation conversion processing, white balance correction processing, gamma correction processing, synchronization processing, YC conversion processing, etc.), and performs image data processing. Is generated.
  • the image data may be an image itself, or data including information when generating an image (parameters used in various signal processing and intermediate images generated during the image generation process) and the image. May be.
  • the phase difference AF (autofocus) processing unit 132 acquires the signals of the first phase difference detection pixel 118A and the second phase difference detection pixel 118B from the AF area 114 designated by the user, and performs correlation calculation processing on the acquired signals. To calculate the phase difference amount. Then, based on the calculated phase difference amount, the defocus direction and amount are calculated.
  • the memory card interface 134 reads / writes data from / to the memory card 136 installed in the card slot under the control of the camera control unit 150.
  • Display unit 138 displays various types of information including images.
  • the display unit 138 includes a display device such as a liquid crystal display and an organic EL display (EL: ElectroLuminescent), and a drive circuit thereof.
  • EL ElectroLuminescent
  • the live view is displayed on the display unit 138 in addition to the captured image.
  • the live view is a function that displays an image captured by the image sensor 110 in real time. By displaying the live view, it is possible to capture an image while confirming the image on the display unit 138.
  • the display unit 138 is also used as a user interface when performing various settings.
  • the operation unit 140 is a general operation as a digital camera such as a release button, a power switch, an imaging mode dial, a shutter speed dial, an exposure correction dial, a command dial, a menu button, a cross key, an enter button, a cancel button, and an erase button.
  • a signal corresponding to the operation is output to the camera control unit 150.
  • the release button is a so-called two-stroke button that can be half-pressed and fully-pressed, and outputs an S1 ON signal when pressed half-way and an S2 ON signal when pressed fully.
  • the camera control unit 150 is a control unit that performs overall control of the entire operation of the digital camera 1.
  • the camera control unit 150 is composed of, for example, a microcomputer, and provides various functions by executing predetermined programs.
  • FIG. 5 is a block diagram of functions related to AF realized by the camera control unit 150 and the lens control unit 22.
  • the camera control unit 150 functions as an AF (autofocus) focus control unit (focus control unit) 150b and an image sensor movement control unit 150c by executing a predetermined program.
  • the lens control unit 22 functions as a focus adjustment unit 22a by executing a predetermined program.
  • the AF focusing control unit 150b outputs a drive command to the focus adjustment unit 22a and the image sensor movement control unit 150c based on the phase difference amount obtained from the phase difference AF processing unit 132.
  • the focus adjustment unit 22a performs focus adjustment by moving the focus lens 12 based on a drive command from the AF focus control unit 150b. Specifically, based on the information on the current position of the focus lens 12 detected by the focus lens position detection unit 18, the focus lens driving unit 16 is controlled to move the focus lens 12.
  • the focus adjustment unit 22a outputs information on the current position of the focus lens 12 detected by the focus lens position detection unit 18 to the image sensor movement control unit 150c.
  • the image sensor movement control unit 150c controls the image sensor movement driving unit 120 based on the information on the current position of the focus lens 12 and the information on the current position of the image sensor 110 output from the focus adjustment unit 22a.
  • the movement of the sensor 110 is controlled. Specifically, the image sensor 110 is moved so that the focus lens 12 is in focus, and after the focus, the image sensor 110 is moved so as to follow or synchronize with the movement of the focus lens 12 to change the focus state. Let it be maintained.
  • the movement mode of the movement of the focal position of the lens and the movement of the sensor position of the image sensor 110 will be described later.
  • FIG. 6 is a block diagram illustrating a main functional configuration example of the digital signal processing unit 130.
  • the digital signal processing unit 130 includes an imaging control unit 200, an image evaluation unit 202, and an optimum position determination unit 204.
  • an image is used as an example of image data.
  • the image data including the image of the in-focus state of the subject refers to an image that shakes an area focused on the subject in the image.
  • the image may be an image that is actually captured for recording, or may be an image for a live view image in which the amount of information is less than the amount of information for actual imaging.
  • the imaging control unit 200 acquires the image of the subject at each of the plurality of sensor positions based on the original image data from the image sensor 110.
  • the image evaluation unit 202 analyzes the images of the plurality of subjects acquired by the imaging control unit 200 and calculates image evaluation values at each of the plurality of sensor positions.
  • the image evaluation unit 202 performs image analysis to calculate an image evaluation value, which is an index for evaluating the image quality of the image, and evaluates the image quality of the image. The calculation of the image evaluation value performed by the image evaluation unit 202 will be described in detail later.
  • the optimal position determination unit 204 determines the optimal position of the image sensor 110 based on the image evaluation values acquired at each of the plurality of sensor positions.
  • the optimum position is a sensor position of the image sensor 110 that can capture a high-quality image.
  • the high image quality is a high image quality in a general sense, and is, for example, an image in which aberration is suppressed or an image in which shading is suppressed.
  • the optimum position determination unit 204 determines the sensor position that has obtained the best result from the image evaluation values calculated by the image evaluation unit 202 as the optimum position.
  • FIG. 7 is a flowchart showing the operation of the digital camera 1.
  • the AF area 114 to be finally focused at the start of the AF operation is determined (step S10).
  • Information regarding the determined AF area 114 is input to the AF focusing control unit 150b.
  • the determination of the AF area 114 may be automatically determined according to the position of the subject within the shooting angle of view, or may be manually set by the user.
  • the determined AF area 114 is fixed and is focused at a plurality of sensor positions to obtain image evaluation values as described below.
  • the shutter button which is the operation unit 140 of the digital camera 1 is half-pressed, the autofocus function is activated, and the AF focusing control unit 150b is focused (step S11).
  • the focus lens 12 is moved and focused by the focus adjustment unit 22a while the position of the image sensor 110 is fixed at the initial position.
  • the initial position of the image sensor 110 may be the center of the sensor position that can be moved by the image sensor movement driving unit 150, or may be a position determined based on the determination result of the optimum position determination unit 204 in the past shooting. May be.
  • an image is acquired by the imaging control unit 200 (imaging control step), and an image evaluation value is calculated by the image evaluation unit 202 (step S12: image evaluation step).
  • Step S13 Focus). Adjustment step
  • the sensor position of the image sensor 110 is moved by the image sensor movement control unit 150c (step S14: image sensor movement control step), and focused by the AF focusing control unit 150b (step S15: focusing control step).
  • step S16 image evaluation step
  • step S16 image evaluation step
  • the image evaluation unit 202 determines whether the scanning process has been completed (step S17).
  • the scanning process means steps from Step S13 to Step S17, and means that an image evaluation value is calculated at each sensor position.
  • the optimum position is determined by the optimum position determination unit 204, and the image sensor 110 is moved to the optimum position by the image sensor movement control unit 150c (step S18).
  • the focal position of the interchangeable lens 10 is moved first and then the image sensor 110 is moved and focused has been described.
  • the image sensor 110 is moved first, and then the image sensor 110 is moved. Focusing may be performed by moving the focal position of the interchangeable lens 10.
  • FIG. 8 is a diagram showing the movement of the image sensor 110 and the focal position of the interchangeable lens 10. Note that the case shown in FIG. 8 is a case where an autofocus function for focusing using the phase difference detection pixel 118 is used.
  • the vertical axis indicates the front and rear in the optical axis direction, and the horizontal axis indicates time.
  • the sensor position is indicated by a thick line L1
  • the focal position of the interchangeable lens 10 is indicated by a thin line L2.
  • FIG. 9 is a diagram similar to FIG. 8 and shows a case where an autofocus function using a contrast method is used.
  • Auto focus starts at time T1. Thereafter, the focus position of the interchangeable lens 10 is moved by the focus adjusting unit 22a. At time T2, the sensor position and the focal position of the interchangeable lens 10 are in focus (corresponding to step S11 in FIG. 7). Here, an image is acquired in the focused state, and an image evaluation value is calculated (corresponding to step S12 in FIG. 7). Thereafter, at time T3, the focus lens driving unit 16 is driven to move the focal position of the interchangeable lens 10 (corresponding to step S13 in FIG. 7), and then the image sensor movement control unit 150c moves the sensor position of the image sensor 110. (Corresponding to step S14 in FIG. 7). Here, the image sensor 110 detects a focus by a contrast method. At time T5, focusing is performed at a sensor position different from time T2 (corresponding to step S15 in FIG. 7), and in the focused state, an image is acquired and an image evaluation value is calculated (corresponding to step S16 in FIG. 7). .
  • FIG. 10 is an example in which the focal position of the interchangeable lens 10 and the image sensor 110 operate so as to follow each other.
  • the movement amount of the sensor position when the focal position of the interchangeable lens 10 is moved is set in advance on the camera side (of the focus lens 12). It is necessary to calculate the position of the sensor by changing the focal position due to movement).
  • Auto focus starts at time T1.
  • the focus position of the interchangeable lens 10 is moved by the focus adjustment unit 22a.
  • the sensor position and the focal position of the interchangeable lens 10 are in focus, and the optical lens moves forward while maintaining the in-focus state.
  • the image sensor 110 outputs an image at each sensor position.
  • the sensor position may be a continuous position or a discrete position.
  • the image sensor 110 moves and outputs an image while maintaining focus in the front-rear direction of the preset optical axis.
  • the movement of the preset distance ends.
  • the optimum position W is determined based on the image evaluation value of the image output from the image sensor 110, and the focal point of the interchangeable lens 10 and the image sensor 110 are moved to the optimum position W and focused.
  • the autofocus function for example, the focus lens 12 and the image sensor 110 are moved as described above, and the optimum position is determined.
  • the image evaluation unit 202 calculates an image evaluation value that is an evaluation value related to the image quality of the image acquired at each sensor position.
  • the image evaluation value is a value corresponding to, for example, the amount of blur in the image or the degree of occurrence of shading in the image.
  • the blur amount used for the image evaluation value is generated according to each aberration shown below.
  • the image evaluation unit 202 calculates an image evaluation value related to the aberration of the image.
  • the aberration includes chromatic aberration (axial chromatic aberration, lateral chromatic aberration) and monochromatic aberration (Seidel's five aberrations).
  • the image evaluation unit 202 calculates an image evaluation value related to spherical aberration.
  • the spherical aberration is corrected by the distance assumed in the design. Accordingly, when the correlation between the position of the focus lens 12, the focal position of the interchangeable lens 10, and the sensor position of the image sensor 110 is different from the design value, the spherical aberration correction does not function well, and the image is blurred.
  • FIG. 11 and 12 are diagrams for explaining spherical aberration in images acquired at different sensor positions.
  • FIG. 11 shows a case where the back focus is not deviated from the design value and the spherical aberration is ideally suppressed.
  • FIG. 12 shows a case where the back focus is deviated from the design value and the spherical aberration is not suppressed.
  • an image 214 is acquired at the sensor position 212.
  • the sensor position 212 is a design value, and when the image sensor 110 is at the sensor position 212, an image 214 in which spherical aberration is suppressed can be acquired.
  • the image 214 is an image with high contrast and high sharpness of the subject image.
  • an image 218 is acquired at a sensor position 216 different from the sensor position 212 that is a design value.
  • an image in which blurring is not suppressed is acquired because spherical aberration is not suppressed.
  • the image 218 is an image with low contrast and low sharpness of the subject image.
  • the image evaluation unit 202 calculates, for example, an index indicating the contrast of the image as the image evaluation value. For example, the image evaluation unit 202 calculates the sharpness based on the spatial frequency characteristics acquired from the image, and uses the sharpness as the image evaluation value.
  • the image evaluation unit 202 calculates an image evaluation value based on the color misregistration amount acquired from the image.
  • the amount of color misregistration is an arbitrary index representing color misregistration caused by lateral chromatic aberration (magnification chromatic aberration) and longitudinal chromatic aberration (axial chromatic aberration) caused by the optical system. It can be expressed by data that is indicated manually or indirectly.
  • the calculation of the image evaluation value relating to the chromatic aberration of magnification can be performed as follows as an example.
  • a local window is set around the edge in the image to obtain a G array (pixel value of a pixel having a G filter) in the window, and an R array (R filter at a position where the window is displaced). Is obtained).
  • the difference between the unit elements of the G array and the R array Is obtained as an overlay error.
  • the displacement width that minimizes the overlay error while changing the displacement width of the R array with respect to the G array is defined as the color shift width between RGs, and the color shift width is divided by the image height to obtain a magnification difference between RGs. Calculate (detect).
  • the calculation of the image evaluation value related to the longitudinal chromatic aberration can be performed as follows as an example. Since the amount of axial chromatic aberration changes when the focus state changes, the amount of color shift due to lateral chromatic aberration between the R pixel and the G pixel appears to be different. By comparing the amount of color misregistration between images acquired at a plurality of sensor positions, the influence of chromatic aberration including axial chromatic aberration and lateral chromatic aberration can be evaluated.
  • the image evaluation unit 202 calculates an image evaluation value related to the shading characteristics of the image.
  • the shading characteristic is an arbitrary index that represents shading caused by the optical system, and is a characteristic that can be expressed by data that directly or indirectly indicates the dimming degree distribution (luminance unevenness) due to shading.
  • FIGS. 13, 14, and 15 are diagrams for explaining that the shading characteristics change by moving the image sensor 110.
  • FIG. 13 is a diagram schematically showing the positional relationship between the focus lens 12 and the image sensor 110
  • FIG. 14 is a diagram showing the incidence of the light beam M on the pixel at the sensor position 220 in FIG.
  • the incident light beam angle is shifted, and the light beam M is received by the central pixel 113b, but not received by the pixel end 113a and the pixel end 113c ( FIG. 14).
  • the incident light angle and the pixel shift amount of the interchangeable lens 10 are designed on the assumption of a combination of the interchangeable lens 10 and the image sensor 110.
  • the incident light beam The light does not reach the diode (pixel) at the pixel end without matching the corners.
  • the angle of the incident light can be changed. As shown in FIG. 13, the image sensor 110 is moved from the sensor position 220 to the sensor position 222. As shown in FIG. 15, when the image sensor 110 moves to the sensor position 222, the incident ray angle of the ray M changes, and the ray M that has passed through the microlens 111 will be received also at the pixel end 113a and the pixel end 113c. become.
  • the image evaluation unit 202 acquires the shading characteristics by, for example, comparing the value of the pixel at the edge of the image with the value of the pixel at the center of the image. Specifically, the image evaluation unit 202 calculates the light amount ratio obtained by dividing “the average of the signal values of the pixel edges at the four corners of the image” by the “signal value of the pixel at the center of the image” as the image evaluation value. To do. The light quantity ratio calculated as the image evaluation value is preferably closer to 1. Note that the image evaluation unit 202 may calculate an image evaluation value by comparing signal values of pixels in a predetermined region.
  • the image evaluation unit 202 calculates the image evaluation value of the image acquired at each sensor position by various calculation methods.
  • the image evaluation unit 202 calculates image evaluation values for one or a plurality of locations in the image.
  • the locations where the image evaluation values are calculated are the AF area 114, the AF area 114, and the peripheral position.
  • the AF area 114 is the position of the subject that the user intends to focus on, that is, the subject position.
  • the image evaluation unit 202 calculates an image evaluation value based on the contrast, color misregistration, and shading characteristics at the above-described locations.
  • the image evaluation value may be weighted according to user settings or the like. For example, an image evaluation value based on shading characteristics may be calculated at the peripheral position, and an image evaluation value based on contrast may be calculated in the AF area.
  • FIG. 16 is a diagram illustrating an example of the relationship between the image evaluation value of the focused image and the sensor position of the image sensor 110.
  • the vertical axis represents the image evaluation value
  • the horizontal axis represents the sensor position of the image sensor 110.
  • the AF area (subject position) R1 of the image is a region near the center of the image where the subject is focused and includes the phase difference detection pixel 118.
  • the peripheral position R2 of the image the subject is in focus but is an area of the peripheral position of the image.
  • the peripheral position is an area where the user wants to focus. That is, the peripheral position is an area where the distance from the digital camera 1 is the same as the subject in the AF area 114.
  • the peripheral position is a human torso portion in the vicinity area.
  • the AF area R1 of the image since the focal positions of the image sensor 110 and the interchangeable lens 10 are adjusted so as to be focused in the AF area R1, the image evaluation value does not change relatively in the AF area R1.
  • the AF area R1 is an image evaluation of the AF area determined in step S10 in FIG. 7 (in the AF area determination (step S10), an AF area to be focused is determined from among a plurality of AF areas).
  • a value has been calculated.
  • the evaluation value is calculated from the image in the AF area determined in the AF area determination (step S10).
  • a part of the AF area may be extracted to calculate the image evaluation value, or a plurality of evaluation values may be calculated.
  • the image evaluation value may be calculated in a range where the AF area is expanded.
  • the image evaluation unit 202 can calculate a plurality of types of image evaluation values. For example, the image evaluation unit 202 calculates an image evaluation value related to aberration (spherical aberration) and an image evaluation value related to color shift.
  • the optimal position determination unit 204 may determine the optimal position based on the sum of the image evaluation values, or may sum the image evaluation values by weighting according to the type of the image evaluation values. For example, since the color misregistration can be easily corrected by image processing, the optimum position determination unit 204 reduces the weight of the image evaluation value related to the color misregistration and increases the weight of the image evaluation value of the spherical aberration, thereby combining the image evaluation values. Judgment. Further, the optimum position determination unit 204 may determine which type of image evaluation value is prioritized according to a command from the user via the operation unit 140.
  • the image evaluation values at each of the plurality of sensor positions are calculated by analyzing the plurality of acquired images, the image evaluation values obtained by directly analyzing the images are used. Based on this, it is possible to obtain a sensor position where an image with good image quality can be obtained.
  • the hardware structure of a processing unit (processing unit) that executes various processes is the following various processors.
  • the circuit configuration can be changed after manufacturing a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array) that is a general-purpose processor that functions as various processing units by executing software (programs).
  • a CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • dedicated logic circuits such as programmable logic devices (Programmable Logic Devices: PLDs) and ASICs (Application Specific Specific Integrated Circuits) that have specially designed circuit configurations to execute specific processing. It is.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • an image on which an image evaluation value has been performed is stored in a memory, and a combined image is generated by combining the stored images.
  • FIG. 17 is a diagram illustrating a functional configuration example of the camera control unit 150 and the digital signal processing unit 130 of the present embodiment.
  • the camera control unit 150 includes a mode setting unit 206
  • the digital signal processing unit 130 includes an imaging control unit 200, an image evaluation unit 202, an optimal position determination unit 204, a storage determination unit 208, and a composite image generation unit 210.
  • the part already demonstrated in FIG. 6 attaches
  • the mode setting unit 206 sets an image evaluation mode in which the AF focusing control unit 150b, the imaging control unit 200, and the image evaluation unit 202 are operated. Specifically, the mode setting unit 206 sets the image evaluation mode in the digital camera 1 based on a command from the user via the operation unit 140. In the image evaluation mode, unlike normal imaging, as described above, the image sensor 110 outputs an image while moving, and an image evaluation value is calculated from the image. In other words, when the image evaluation mode is set, the AF focusing control unit 150b, the imaging control unit 200, and the image evaluation unit 202 perform operation preparation or operation. For example, when the imaging lens is attached to the mount 102 and the imaging lens is communicable with the camera body 100, the mode setting unit 206 automatically displays an image according to the type of the attached imaging lens. Set the evaluation mode.
  • the storage determination unit 208 determines an image to be stored in the memory based on the image evaluation values acquired at each of the plurality of sensor positions. Specifically, the storage determination unit 208 determines an image to be stored in the memory using a predetermined threshold value. For example, the storage determination unit 208 stores a highly evaluated image whose image evaluation value is equal to or greater than a threshold value in the memory. For example, a memory card 136 attached to a memory card I / F is used as a memory for storing images.
  • the composite image generation unit 210 synthesizes images stored in the memory.
  • Image composition performed by the composite image generation unit 210 is performed by a known technique. For example, when priority is given to suppression of spherical aberration in the center region of the image and priority is given to shading characteristics in the corners of the image, the composite image generation unit 210 performs optimum shooting related to spherical aberration by bracket shooting (imaging) described later. The image at the position and the image at the optimum position related to the shading characteristics are acquired by bracket shooting. Then, a desired synthesized image is obtained by synthesizing images acquired by bracket photography.
  • FIG. 18 is a flowchart showing the operation of the digital camera 1, and shows a case where bracket shooting is performed at various optimum positions.
  • the mode setting unit 206 determines whether the image evaluation mode is set according to a command from the user (step S20). If the image evaluation mode is not set, normal imaging is performed (step S28). Note that when bracket shooting is performed, the user inputs the type of image evaluation value. For example, the user inputs so as to perform bracket photographing at an optimal position with respect to aberration and shading.
  • the mode setting unit 206 determines that the image evaluation mode is set, the digital camera 1 shifts to an image evaluation value calculation operation.
  • the autofocus function is activated, and the focus adjusting unit 22a is operated and focused by the AF focusing control unit 150b (step S21). Thereafter, a scan process is performed (step S22) (refer to steps S13 to S17 in FIG. 7 for the scan process).
  • the optimum position determination unit 204 determines the optimum position, and the image sensor movement control unit 150c moves the image sensor 110 to the optimum position (step S23). Imaging is performed after the image sensor 110 has moved to the optimal position (step S24), and the storage determination unit 208 stores the obtained image in the memory (step S25).
  • the optimum position determination unit 204 determines whether images have been acquired at the optimum positions of all the set image evaluation values (step S26).
  • image synthesis is performed by the synthesized image generation unit 210 (step S27). For example, in the composite image, an image in which the center of the image is captured at the optimum position related to aberration is used, and an image captured in the optimal position related to shading is used around the image.
  • the focus of the interchangeable lens 10 is moved by manual focus, and the optimal position determination unit 204 sequentially determines the optimal position while the image sensor 110 moves following the focus of the interchangeable lens 10.
  • the part which has already demonstrated in FIG. 8 attaches
  • Scan processing is started at time T1. Simultaneously with the scanning process, the image evaluation unit 202 calculates the image evaluation value of each image, and the optimum position determination unit 204 sequentially determines the optimum position based on the image evaluation value. Between time T ⁇ b> 1 and time T ⁇ b> 2, the image sensor 110 uses the phase difference detection pixels 118 to follow the focus so as to assist and maintain the focus. Since the sensor is moved and focused in accordance with the movement of the focus lens 12 by the user using the data of the phase difference detection pixel 118, there is a time lag in tracking, but it is omitted in FIG.
  • the optimum position determination unit 204 determines that the optimum position is not detected in the subsequent movement direction, and moves to the optimum position based on the image evaluation value obtained so far.
  • the movement of the focus lens 12 is indicated by L2 in the manual focus operation of the user. Further, in L1 between time T2 and time T3, there is shown a form in which the tracking is stopped because the image evaluation value is in a worsening direction or the tracking is stopped within a predetermined sensor movement range.
  • the scan process is started again, and the scan process is performed until time T4.
  • the image sensor 110 follows the focus lens 12 as described above, and the optimal position determination unit 204 sequentially determines the optimal position in the same manner as the scan processing from time T1 to time T2.
  • the image sensor 110 stops following the focus lens 12 and moves to the optimum position.
  • FIG. 20 is a diagram illustrating an example of an imaging lens preferably used for the digital camera 1.
  • the first lens group 270 provided at the front is moved, and the second lens group 272 provided at the rear is fixed.
  • the focal position of the imaging lens 250 is moved.
  • the first lens group 270 provided at the front is fixed, and the second lens group 272 provided at the rear is moved. As the second lens group 272 moves, the focal position of the imaging lens 250 is moved.
  • the first lens group 270 provided in the front is fixed, the second lens group 272 provided in the middle is moved, and the third lens group 274 provided in the rear is fixed. Yes.
  • the focal position of the imaging lens 254 is moved.
  • the first lens group 270 provided at the front moves, and the second lens group 272 provided at the rear moves.
  • the first lens group 270 and the second lens group 272 have different moving speeds, and the focal position of the imaging lens 256 is changed by moving the first lens group 270 and the second lens group 272.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

得られる画像情報から直接的に、画質の良い画像が得るセンサ位置を判定することができる撮像装置、撮像方法、及びプログラムを提供する。撮像装置は、イメージセンサを撮像レンズの光軸方向の複数のセンサ位置に移動させて、複数のセンサ位置の各々で被写体を合焦させる。複数のセンサ位置の各々で合焦された被写体の画像データを取得して、その画像データを解析して複数のセンサ位置の各々における画像評価値を算出する。

Description

撮像装置、撮像方法、及びプログラム
　本発明は、撮像装置、撮像方法、及びプログラムに関する。
　従来より、イメージセンサの位置をレンズの光軸の前後方向に移動させてフランジバック又はバックフォーカスの位置を調整する技術が知られている。
　特許文献１では、レンズ側の情報を用いてイメージセンサの光軸方向の位置を制御する技術が記載されている。
特開２０１２－２２２６０２号公報
　特許文献１に記載された技術では、イメージセンサの光軸方向への移動は、装着されたレンズ側の情報に基づいて行われている。具体的には、特許文献１に記載された技術では、装着されるレンズに球面収差を補正するための情報が予め記憶されており、カメラ本体にその情報が送信されることにより、イメージセンサの位置が移動される。
　一方で、撮像においては様々な要因で予め設計された値からズレてしまう場合がある。様々な要因とは例えば、カメラの製造誤差、カメラの駆動機構の作動誤差、撮像時の温度に起因する設計値からのズレ等があげられる。したがって、レンズ側に予め記憶されている情報はこれらの想定外の設計値からズレをカバーすることはできず、イメージセンサの光軸方向の移動制御が上手く行えない場合が発生する。
　本発明はこのような事情に鑑みてなされたもので、その目的は、得られる画像データから直接的に、画質の良い画像が得るセンサ位置を判定することができる撮像装置、撮像方法、及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である撮像装置は、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節部と、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサと、イメージセンサを撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御部と、焦点調節部とイメージセンサ移動制御部を駆動し、複数のセンサ位置の各々で被写体を合焦させる合焦制御部と、イメージセンサから出力される元画像データに基づいて、合焦制御部によって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御部と、撮像制御部が取得した複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価部と、を備える。
　本態様によれば、合焦制御部により、焦点調節部とイメージセンサ移動制御部を駆動し、複数のセンサ位置の各々で被写体が合焦させられ、撮像制御部により、複数のセンサ位置の各々で被写体の画像データが取得される。そして、取得された複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値が算出される。これにより、画像データを直接的に解析して得られた画像評価値に基づいて、画質の良い画像が得られるセンサ位置を得ることができる。
　好ましくは、撮像装置は、複数のセンサ位置の各々で取得した画像評価値に基づいて、イメージセンサの最適位置を判定する最適位置判定部を備え、イメージセンサ移動制御部は、最適位置にイメージセンサを移動させる。
　本態様によれば、最適位置判定部により、複数のセンサ位置の各々で取得した画像評価値に基づいて、イメージセンサの最適位置が判定され、イメージセンサ移動制御部により、最適位置にイメージセンサが移動させられる。これにより、最も画質の良い画像を取得することができるセンサ位置である最適位置を取得することができ、イメージセンサをその最適位置に移動させることができる。
　好ましくは、撮像装置は、画像データを保存するメモリと、複数のセンサ位置の各々で取得した画像評価値に基づいて、メモリに保存する画像データを決定する保存決定部と、を備える。
　本態様によれば、メモリに画像データが保存され、保存決定部により、複数のセンサ位置の各々で取得した画像評価値に基づいて、メモリに保存される画像データが決定される。これにより、画像データをメモリに効率的に保存することができる。
　好ましくは、焦点調節部は、インナーフォーカス方式又はリアフォーカス方式により、焦点調節を行わせる。
　本態様によれば、焦点調節部はインナーフォーカス方式又はリアフォーカス方式で焦点調節が行われる。ここで、インナーフォーカス方式又はリアフォーカス方式ではバックフォーカスの位置誤差に対して収差の影響が大きくなることがあるが、本態様ではインナーフォーカス方式やリアフォーカス方式であっても収差の影響が低減可能なセンサ位置を得る事ができる。
　好ましくは、撮像装置は、合焦制御部、撮像制御部、及び画像評価部を動作させる画像評価モードを設定するモード設定部を備える。
　本態様によれば、モード設定部により、合焦制御部、撮像制御部、及び画像評価部が動作させる画像評価モードが設定される。これにより、通常の撮像とは区別して画像評価モードが設定されて画像評価値を得ることができるので、より正確な撮像装置の操作を行うことができる。
　好ましくは、撮像装置は、撮像レンズが装着されるマウントを備え、モード設定部は、マウントに装着された撮像レンズの種類に応じて自動で画像評価モードを設定する。
　本態様によれば、マウントに撮像レンズが装着されると、モード設定部により装着された撮像レンズの種類に応じて自動で画像評価モードが設定される。これにより、撮像レンズの種類に応じて、効率的に画像評価値を得ることができる。
　好ましくは、画像評価部は、画像データにおいて被写体の位置である被写体位置と周辺位置との少なくとも２箇所において、解析を行い画像評価値を算出する。
　本態様によれば、画像評価部により、画像データにおいて被写体位置と周辺位置との少なくとも２箇所において、解析が行われ画像評価値が算出される。
　好ましくは、周辺位置は、被写体の距離情報に基づいて決定される。
　本態様によれば、周辺位置が被写体の距離情報に基づいて決定されるので、精度が高い画像評価値を算出することができる。
　好ましくは、画像評価部は、画像データのコントラストに基づいて画像評価値を算出する。
　本態様によれば、画像評価部により、画像データのコントラストに基づいて画像評価値が算出される。これにより、画質のコントラストに影響を与える、例えば球面収差に対応する画像評価値を取得することができ、その画像評価値に対応するセンサ位置を得ることができる。
　好ましくは、画像評価部は、画像データから取得される空間周波数特性に基づいて画像評価値を算出する。
　本態様によれば、画像評価部により、画像データから取得される空間周波数特性に基づいて画像評価値が算出される。これにより、画質の空間周波数特性に影響を与える画像評価値を取得することができ、その画像評価値に対応するセンサ位置を得ることができる。
　好ましくは、画像評価部は、画像データから取得される色ずれ量に基づいて画像評価値を算出する。
　本態様によれば、画像評価部により、画像データから取得される色ずれ量に基づいて画像評価値が算出される。これにより、色ずれ量に対応する画像評価値を取得することができ、その画像評価値に対応するセンサ位置を得ることができる。
　好ましくは、画像評価部は、画像データから取得されるシェーディング特性に基づいて画像評価値を算出する。
　本態様によれば、画像評価部により、画像データから取得されるシェーディング特性に基づいて画像評価値が算出される。これにより、シェーディング特性に対応する画像評価値を取得することができ、その画像評価値に対応するセンサ位置を得ることができる。
　本発明の他の態様である撮像装置は、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節部と、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサと、イメージセンサを撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御部と、焦点調節部がマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、イメージセンサ移動制御部を駆動し、複数のセンサ位置の各々で被写体を合焦させる合焦制御部と、イメージセンサから出力される元画像データに基づいて、合焦制御部によって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御部と、撮像制御部が取得した複数の被写体の合焦状態の画像を含む画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価部と、を備える。
　本態様によれば、合焦制御部により、焦点調節部がマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、イメージセンサ移動制御部を駆動し、複数のセンサ位置の各々で被写体を合焦させ、撮像制御部により、複数のセンサ位置の各々で被写体の画像データが取得される。そして、取得された複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値が算出される。これにより、画像データを直接的に解析して得られた画像評価値に基づいて、画質の良い画像が得られるセンサ位置を得ることができる。
　好ましくは、撮像装置は、複数のセンサ位置の各々で取得した画像評価値に基づいて、イメージセンサの最適位置を判定する最適位置判定部を備え、イメージセンサ移動制御部は、最適位置にイメージセンサを移動させる。
　好ましくは、撮像装置は、画像データを保存するメモリと、複数のセンサ位置の各々で取得した画像評価値に基づいて、メモリに保存する画像データを決定する保存決定部と、を備える。
　好ましくは、撮像装置は、焦点調節部は、インナーフォーカス方式又はリアフォーカス方式により、焦点調節を行わせる。
　本発明の他の態様である撮像方法は、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを、撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、焦点調節ステップとイメージセンサ移動制御ステップにより、複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、イメージセンサから出力される元画像データに基づいて、合焦制御ステップによって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御ステップと、撮像制御ステップが取得した複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、を含む。
　本発明の他の態様である撮像方法は、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、焦点調節ステップがマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、イメージセンサ移動制御ステップを駆動し、複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、イメージセンサから出力される元画像データに基づいて、合焦制御ステップによって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御ステップと、撮像制御ステップが取得した複数の被写体の合焦状態の画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、を含む。
　本発明の他の態様であるプログラムは、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを、撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、焦点調節ステップとイメージセンサ移動制御ステップにより、複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、イメージセンサから出力される元画像データに基づいて、合焦制御ステップによって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御ステップと、撮像制御ステップが取得した複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、を含む撮像工程をコンピュータに実行させる。
　本発明の他の態様であるプログラムは、撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、焦点調節ステップがマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、イメージセンサ移動制御ステップを駆動し、複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、イメージセンサから出力される元画像データに基づいて、合焦制御ステップによって複数のセンサ位置の各々で合焦された被写体の画像データを取得する撮像制御ステップと、撮像制御ステップが取得した複数の被写体の合焦状態の画像データを解析して複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、を含む撮像工程をコンピュータに実行させる。
　本発明によれば、合焦制御部により、焦点調節部とイメージセンサ移動制御部を駆動し、複数のセンサ位置の各々で被写体が合焦させられ、撮像制御部により、複数のセンサ位置の各々で被写体の画像データが取得され、取得された複数の被写体の画像データを解析して複数のセンサ位置の各々における画像評価値が算出されるので、画像データを直接的に解析して得られた画像評価値に基づいて、画質の良い画像が得られるセンサ位置を得ることができる。
図１は、デジタルカメラの一実施形態を示す概略構成図である。 図２は、イメージセンサの概略構成を示す図である。 図３は、撮像面の一部を拡大した図である。 図４は、各画素の概略構成を示す図である。 図５は、ＡＦに係わる機能のブロック図である。 図６は、デジタル信号処理部の主な機能構成例に関して示すブロック図である。 図７は、デジタルカメラの動作を示すフロー図である。 図８は、イメージセンサの移動と交換レンズの焦点位置に関して示した図である。 図９は、イメージセンサの移動と交換レンズの焦点位置に関して示した図である。 図１０は、イメージセンサの移動と交換レンズの焦点位置に関して示した図である。 図１１は、球面収差について説明する図である。 図１２は、球面収差について説明する図である。 図１３は、シェーディング特性がイメージセンサを移動させることにより変わることを説明する図である。 図１４は、シェーディング特性がイメージセンサを移動させることにより変わることを説明する図である。 図１５は、シェーディング特性がイメージセンサを移動させることにより変わることを説明する図である。 図１６は、合焦した画像の画像評価値とイメージセンサのセンサ位置との関係の一例を示す図である。 図１７は、カメラ制御部とデジタル信号処理部との機能構成例を示す図である。 図１８は、デジタルカメラの動作を示すフロー図である。 図１９は、イメージセンサの移動と交換レンズの焦点位置に関して示した図である。 図２０は、撮像レンズの例を示す図である。
　以下、添付図面に従って本発明にかかる撮像装置、撮像方法、及びプログラムの好ましい実施の形態について説明する。
　図１は、本発明が適用されたデジタルカメラ（撮像装置）１の一実施形態を示す概略構成図である。
　同図に示すデジタルカメラ１は、レンズ交換式のデジタルカメラであり、交換レンズ（撮像レンズ）１０及びカメラ本体１００を備える。なお、以下の説明では、交換レンズ１０はカメラ本体１００と通信が可能であるとして説明をするが、これに限定されるものではない。交換レンズ１０は、カメラ本体１００と通信が行えないものでもよい。
　交換レンズ１０は、撮像レンズの一例である。交換レンズ１０は、マウント１０２を介してカメラ本体１００に着脱自在に装着される。交換レンズ１０は、複数枚のレンズを組み合わせて構成される。交換レンズ１０は、フォーカスレンズ１２及び絞り１４を有する。交換レンズ１０は、フォーカスレンズ１２を光軸Ｌに沿って前後移動させることにより焦点調節される。また、絞り１４の開口量を調整することにより、光量が調整される。交換レンズ１０は、フォーカスレンズ１２をインナーフォーカス方式又はリアフォーカス方式により移動させ、焦点調節を行わせる。
　交換レンズ１０は、フォーカスレンズ１２を駆動するフォーカスレンズ駆動部１６、及び、フォーカスレンズ１２の位置を検出するフォーカスレンズ位置検出部１８を備える。
　フォーカスレンズ駆動部１６は、例えば、リニアモータ等のアクチュエータ、及び、その駆動回路を備えて構成され、フォーカスレンズ１２を光軸Ｌに沿って前後移動させる。
　フォーカスレンズ位置検出部１８は、例えば、フォトインタラプタ及びＭＲセンサ（ＭＲセンサ：Magneto Resistive Sensor／磁気抵抗効果素子）で構成される。フォトインタラプタは、フォーカスレンズ１２が、あらかじめ定められた原点位置に位置したことを検出する。ＭＲセンサは、フォーカスレンズ１２の移動量を検出する。フォトインタラプタによってフォーカスレンズ１２が原点位置に位置したことを検出し、ＭＲセンサによって原点位置からのフォーカスレンズ１２の移動量を検出することにより、原点位置に対するフォーカスレンズ１２の位置を検出できる。
　交換レンズ１０は、絞り１４を駆動する絞り駆動部２０を備える。絞り１４は、例えば、虹彩絞りで構成される。絞り駆動部２０は、虹彩絞りの絞り羽根を駆動するモータ、及び、その駆動回路を備えて構成される。
　交換レンズ１０は、フォーカスレンズ駆動部１６及び絞り駆動部２０の駆動を制御するレンズ制御部２２を備える。レンズ制御部２２は、例えば、マイクロコンピュータで構成され、所定の制御プログラムを実行することにより、焦点調節部２２ａ（図５）、絞り駆動制御部等として機能する。焦点調節部２２ａは、フォーカスレンズ駆動部１６の駆動を制御する。絞り駆動制御は、絞り駆動部２０の駆動を制御する。レンズ制御部２２は、マウント１０２に備えられた通信端子（図示せず）を介して、カメラ本体１００のカメラ制御部１５０と通信可能に接続される。
　カメラ本体１００は、イメージセンサ１１０、イメージセンサ移動駆動部１２０、イメージセンサ位置検出部１２２、イメージセンサ駆動部１２４、アナログ信号処理部１２６、ＡＤＣ（Analog-to-digital converter／アナログデジタル変換器）１２８、デジタル信号処理部１３０、位相差ＡＦ処理部１３２、メモリカードインタフェース１３４、メモリカード１３６、表示部１３８、操作部１４０及びカメラ制御部１５０を備える。
　イメージセンサ１１０は、交換レンズ１０を通る光を受光して被写体の光学像を撮像し元画像データを出力する。イメージセンサ１１０は、例えば、ＣＣＤ（Charged Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子で構成される。イメージセンサ１１０は、その撮像面に複数の位相差検出画素１１８を有する。
　図２は、イメージセンサ１１０の概略構成を示す図である。
　イメージセンサ１１０は、多数の画素がｘ方向（行方向）及びｙ方向（列方向）に二次元的に配列された撮像面１１２を有する。撮像面１１２は、複数のＡＦ（autofocus）エリア１１４を有する。ＡＦエリア１１４は、焦点合わせが可能な領域として撮像面１１２に設定された領域である。図２に示す例では、画面中央部分に９つのＡＦエリア１１４を設定しており、選択されることにより一部ＡＦエリア１１４、または全てのエリアで焦点合わせが行われる。
　図３は、撮像面の一部を拡大した図である。
　撮像面１１２には、多数の画素が規則的に配置される。各画素は光電変換部を備え、受光量に応じた信号を出力する。また、各画素は、Ｒ（Red／赤）、Ｇ（Green／緑）、Ｂ（Blue／青）のいずれかの色のカラーフィルタを有する。カラーフィルタは、所定の配列となるように、各画素に割り当てられる。図３は、ベイヤ配列の例を示している。なお、同図では、Ｒのカラーフィルタを有する画素（Ｒ画素）にＲの文字を付し、Ｇのカラーフィルタを有する画素（Ｇ画素）にＧの文字を付し、Ｂのカラーフィルタを有する画素（Ｂ画素）にＢの文字を付している。
　ＡＦエリア１１４には、通常画素１１６及び位相差検出画素１１８が配置される。通常画素１１６とは、通常の撮像用の画素のことである。位相差検出画素１１８とは、位相差を検出する画素のことである。位相差検出画素１１８は、位相差検出方式のオートフォーカスセンサの一例である。位相差検出画素以外は、通常画素を構成する。ＡＦエリア以外の領域には、通常画素のみが配置される。
　図３では、位相差検出画素１１８を斜線で示している。同図に示すように、位相差検出画素１１８は、撮像面１１２に規則的に配置される。
　位相差検出画素１１８は、第１位相差検出画素１１８Ａ及び第２位相差検出画素１１８Ｂで構成される。第１位相差検出画素１１８Ａ及び第２位相差検出画素１１８Ｂは、互いに近接して配置される。図３に示す例では、互いに近接する同じ配列の２つの行の一方に一定の間隔で第１位相差検出画素１１８Ａを配置し、他方に一定の間隔で第２位相差検出画素１１８Ｂを配置した例を示している。特に、Ｒ画素及びＧ画素が配列された特定の行の特定のＧ画素を位相差検出画素１１８として利用した場合の例を示している。
　図４は、各画素の概略構成を示す図である。
　各画素は、所定の開口部を備えた遮光膜を有する。図４は、各画素に備えられる遮光膜の開口部を白抜きで示している。
　通常画素１１６は、開口部が、光電変換部の中心と一致した遮光膜を有する。通常画素１１６は、交換レンズ１０の瞳領域のほぼ全ての部分を通過した光束を受光する。
　第１位相差検出画素１１８Ａは、開口部が光電変換部の中心に対して右側に偏心した遮光膜を有する。この結果、第１位相差検出画素１１８Ａは、交換レンズ１０の瞳領域の異なる部分を通過した一対の光束のうち一方の光束が受光される。
　第２位相差検出画素１１８Ｂは、開口部が光電変換部の中心に対して左側に偏芯した遮光膜を有する。この結果、第２位相差検出画素１１８Ｂでは、交換レンズ１０の瞳領域の異なる部分を通過した一対の光束のうち他方の光束が受光される。
　以上の構成により、第１位相差検出画素１１８Ａ及び第２位相差検出画素１１８Ｂの信号を取得し、両者を比較することにより、位相差量の検出が可能となる。
　イメージセンサ移動駆動部１２０は、イメージセンサ１１０を光軸Ｌに沿って前後に移動させる。イメージセンサ移動駆動部１２０は、例えば、ピエゾアクチュエータ等のアクチュエータ、及び、その駆動回路を備えて構成される。
　イメージセンサ１１０は、可動範囲内で移動し、その可動範囲の中央に基準位置が設定される。基準位置は、交換レンズ１０で規定されるフランジバックの位置に設定される。一般に交換レンズ１０は、フランジバックの位置を基準に光学設計が行われる。したがって、イメージセンサ１１０を基準位置に位置させることにより、交換レンズ１０の光学性能を最大限に発揮させることができる。
　例えば、Ｃマウントを採用する交換レンズのフランジバックは、１７．５２６ｍｍである。また、ＣＳマウントを採用する交換レンズのフランジバックは、１２．５ｍｍである。
　イメージセンサ位置検出部１２２は、イメージセンサ１１０の位置（センサ位置）を検出する。イメージセンサ位置検出部１２２は、例えば、渦電流センサ等の変位センサで構成される。
　イメージセンサ駆動部１２４は、カメラ制御部１５０による制御の下、イメージセンサ１１０を駆動する。イメージセンサ１１０は、イメージセンサ駆動部１２４に駆動されて、画像を撮像する。
　アナログ信号処理部１２６は、イメージセンサ１１０から出力される画素ごとのアナログの画像信号（元画像データ）を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施す。
　ＡＤＣ１２８は、アナログ信号処理部１２６から出力されるアナログの画像信号をデジタルの画像信号に変換して出力する。
　デジタル信号処理部１３０は、デジタルの画像信号を取り込み、所定の信号処理（例えば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、ＹＣ変換処理等）を施して、画像データを生成する。ここで画像データとは、画像そのものであってもよいし、画像を生成する際の情報（各種信号処理で使用したパラメータや画像生成の過程で生成された中間画像）と画像を含むデータであってもよい。
　位相差ＡＦ（autofocus）処理部１３２は、ユーザによって指定されたＡＦエリア１１４から第１位相差検出画素１１８Ａ及び第２位相差検出画素１１８Ｂの信号を取得し、取得した信号に対して相関演算処理を行って位相差量を算出する。そして、算出した位相差量に基づいて、デフォーカスの方向及び量を算出する。
　メモリカードインタフェース１３４は、カメラ制御部１５０による制御の下、カードスロットに装着されたメモリカード１３６に対して、データの読み書きを行う。
　表示部１３８は、画像を含む各種情報を表示する。表示部１３８は、液晶ディスプレイ、有機ＥＬディスプレイ（EL：ElectroLuminescent）等の表示デバイス、及び、その駆動回路を備えて構成される。
　表示部１３８には、撮像済みの画像の他、ライブビューが表示される。ライブビューとは、イメージセンサ１１０がとらえた画像をリアルタイムに表示する機能である。ライブビューを表示することより、表示部１３８で画像を確認しながら撮像できる。また、表示部１３８は、各種設定を行う際のユーザインターフェースとしても利用される。
　操作部１４０は、レリーズボタン、電源スイッチ、撮像モードダイヤル、シャッタースピードダイヤル、露出補正ダイヤル、コマンドダイヤル、メニューボタン、十字キー、決定ボタン、キャンセルボタン、消去ボタン等のデジタルカメラとしての一般的な操作手段を含み、操作に応じた信号をカメラ制御部１５０に出力する。
　レリーズボタンは、いわゆる半押し及び全押しが可能な二段ストローク式のボタンで構成され、半押しでＳ１ＯＮ信号、全押しでＳ２ＯＮ信号が出力される。
　カメラ制御部１５０は、デジタルカメラ１の全体の動作を統括制御する制御部である。カメラ制御部１５０は、例えば、マイクロコンピュータで構成され、所定のプログラムを実行することにより、各種機能を提供する。
　図５は、カメラ制御部１５０及びレンズ制御部２２が実現するＡＦに係わる機能のブロック図である。
　図５に示すように、カメラ制御部１５０は、所定のプログラムを実行することにより、ＡＦ（autofocus）合焦制御部（合焦制御部）１５０ｂ及びイメージセンサ移動制御部１５０ｃとして機能する。また、レンズ制御部２２は、所定のプログラムを実行することにより、焦点調節部２２ａとして機能する。
　ＡＦ合焦制御部１５０ｂは、位相差ＡＦ処理部１３２から得られる位相差量に基づいて焦点調節部２２ａ及びイメージセンサ移動制御部１５０ｃに駆動指令を出力する。
　焦点調節部２２ａは、ＡＦ合焦制御部１５０ｂからの駆動指令に基づいて、フォーカスレンズ１２を移動させて焦点調節を行う。具体的には、フォーカスレンズ位置検出部１８で検出されるフォーカスレンズ１２の現在位置の情報に基づいて、フォーカスレンズ駆動部１６を制御し、フォーカスレンズ１２を移動させる。
　また、焦点調節部２２ａは、フォーカスレンズ位置検出部１８で検出されるフォーカスレンズ１２の現在位置の情報をイメージセンサ移動制御部１５０ｃに出力する。
　イメージセンサ移動制御部１５０ｃは、焦点調節部２２ａから出力されるフォーカスレンズ１２の現在位置の情報、及び、イメージセンサ１１０の現在位置の情報に基づいて、イメージセンサ移動駆動部１２０を制御し、イメージセンサ１１０の移動を制御する。具体的には、フォーカスレンズ１２が合焦するようにイメージセンサ１１０を移動させ、合焦後は、フォーカスレンズ１２の移動に追従ないし同調するようにイメージセンサ１１０を移動させて、合焦状態を維持させる。
　なお、レンズの焦点位置の移動とイメージセンサ１１０のセンサ位置の移動との移動態様は後で説明する。
　次に、デジタル信号処理部１３０の主な機能に関して説明する。
　＜第１の実施形態＞
　図６は、デジタル信号処理部１３０の主な機能構成例に関して示すブロック図である。デジタル信号処理部１３０は、撮像制御部２００、画像評価部２０２、及び最適位置判定部２０４から構成される。なお、以下の説明では画像データの一例として画像を使用して説明する。被写体の合焦状態の画像を含む画像データとは、画像内において、被写体に合焦した領域を揺する画像のことをいう。また画像は、記録用に本撮像され画像であってもよいし、本撮像用の情報量よりも情報量を減じたライブビュー画像用の画像でもよい。
　撮像制御部２００は、複数のセンサ位置の各々で被写体の画像をイメージセンサ１１０からの元画像データに基づいて取得する。
　画像評価部２０２は、撮像制御部２００が取得した複数の被写体の画像を解析して複数のセンサ位置の各々における画像評価値を算出する。画像評価部２０２は、画像を画像解析することにより画像の画質の評価の指標である画像評価値を算出して、画像の画質の評価を行う。なお、画像評価部２０２が行う画像評価値の算出に関しては、後で詳細に説明をする。
　最適位置判定部２０４は、複数のセンサ位置の各々で取得した画像評価値に基づいて、イメージセンサ１１０の最適位置を判定する。ここで最適位置とは、高画質の画像を撮像することができるイメージセンサ１１０のセンサ位置である。また高画質とは、一般的な意味での高画質であり、例えば収差が抑制された画像であったり、シェーディングが抑制された画像であったりする。最適位置判定部２０４は、画像評価部２０２で算出された画像評価値において最も良い結果が得られたセンサ位置を最適位置として判定する。
　＜最適位置への移動工程＞
　次に、デジタルカメラ１を使用した撮像方法に関して説明する。図７は、デジタルカメラ１の動作を示すフロー図である。
　先ず、ＡＦ動作開始時に最終的に合焦させるＡＦエリア１１４を決定する（ステップＳ１０）。決定されたＡＦエリア１１４に関する情報は、ＡＦ合焦制御部１５０ｂに入力される。ＡＦエリア１１４の決定は、撮影画角内の被写体の位置等に応じて自動的に決定されてもよいし、又はユーザにより手動で設定されてもよい。なお、決定されたＡＦエリア１１４は固定された状態で以下に説明するように、複数のセンサ位置で合焦させて画像評価値を取得する。
　次に、デジタルカメラ１の操作部１４０であるシャッターボタンが半押しされ、オートフォーカス機能が作動しＡＦ合焦制御部１５０ｂにより合焦される（ステップＳ１１）。具体的には、イメージセンサ１１０の位置は初期位置に固定された状態で焦点調節部２２ａによりフォーカスレンズ１２が移動されて合焦される。ここでイメージセンサ１１０の初期位置は、イメージセンサ移動駆動部１５０によって移動できるセンサ位置の中央であってもよいし、過去の撮影における最適位置判定部２０４の判定結果に基づいて決定した位置であってもよい。そして合焦後、撮像制御部２００により画像が取得され（撮像制御ステップ）、画像評価部２０２により画像評価値が算出される（ステップＳ１２：画像評価ステップ）。
　次に、焦点調節部２２ａによりフォーカスレンズ駆動部１６が駆動され交換レンズ１０の焦点位置が移動され、その交換レンズ１０の焦点位置の移動をＡＦ合焦制御部１５０ｂにより検出する（ステップＳ１３：焦点調節ステップ）。その後、イメージセンサ移動制御部１５０ｃによりイメージセンサ１１０のセンサ位置が移動され（ステップＳ１４：イメージセンサ移動制御ステップ）、ＡＦ合焦制御部１５０ｂにより合焦される（ステップＳ１５：合焦制御ステップ）。合焦後、撮像制御部２００により画像が取得され（撮像制御ステップ）、画像評価部２０２により画像評価値が算出される（ステップＳ１６：画像評価ステップ）。その後画像評価部２０２により、スキャン処理が終了したかが判定され（ステップＳ１７）、スキャン処理が終了していない場合にはスキャン処理が継続される。なお、ここでスキャン処理とはステップＳ１３からステップＳ１７の工程を意味し、各センサ位置において画像評価値の算出が行われることを意味する。スキャン処理が終了すると、最適位置判定部２０４により最適位置が判定され、イメージセンサ１１０はイメージセンサ移動制御部１５０ｃにより最適位置に移動する（ステップＳ１８）。なお、上述の説明では交換レンズ１０の焦点位置を先に移動させて、その後にイメージセンサ１１０を移動させて合焦させる例について説明をしたが、イメージセンサ１１０を先に移動させて、その後に交換レンズ１０の焦点位置を移動させて合焦をさせてもよい。
　＜イメージセンサのセンサ位置と交換レンズの焦点位置の移動＞
　次に、イメージセンサ１１０のセンサ位置と交換レンズ１０の焦点位置との移動に関して説明する。
　≪位相差検出方式によるオートフォーカス≫
　図８は、イメージセンサ１１０の移動と交換レンズ１０の焦点位置に関して示した図である。なお、図８に示す場合は位相差検出画素１１８を使用してフォーカスを合わせるオートフォーカス機能が使用される場合である。
　図８において、縦軸は光軸方向の前方及び後方が示されており、横軸には時間が示されている。センサ位置は太線Ｌ１で示されており、交換レンズ１０の焦点位置は細線Ｌ２で示されている。
　シャッターボタンが半押しにされることにより、オートフォーカスが時間Ｔ１で開始される。その後、焦点調節部２２ａにより、交換レンズ１０の焦点位置が移動される。そして、時間Ｔ２にてセンサ位置と交換レンズ１０の焦点位置が合焦する（図では太線Ｌ１と細線Ｌ２とが重なることで合焦を示す）（図７のステップＳ１１に相当）。ここで、合焦状態で画像を取得し画像評価値を算出する（図７のステップＳ１２に相当）。その後、時間Ｔ３において、フォーカスレンズ駆動部１６が駆動され交換レンズ１０の焦点位置が移動され（図７のステップＳ１３に相当）、次にイメージセンサ移動制御部１５０ｃによりイメージセンサ１１０のセンサ位置が移動される（図７のステップＳ１４に相当）。時間Ｔ５において、時間Ｔ２とは異なるセンサ位置において合焦し（図７のステップＳ１５に相当）、合焦状態において、画像を取得し画像評価値が算出される（図７のステップＳ１６に相当）。
　その後、時間Ｔ６までスキャンが行われ、時間Ｔ７に交換レンズ１０の焦点位置および最適位置Ｗにイメージセンサ１１０のセンサ位置は最適位置Ｗに移動する（図７のステップＳ１８に相当）。
　≪コントラスト方式によるオートフォーカス≫
　図９は、図８と同様の図であり、コントラスト方式にるオートフォーカス機能が使用される場合である。
　オートフォーカスが時間Ｔ１で開始される。その後、焦点調節部２２ａにより、交換レンズ１０の焦点位置が移動される。そして、時間Ｔ２にてセンサ位置と交換レンズ１０の焦点位置が合焦する（図７のステップＳ１１に相当）。ここで、合焦状態で画像を取得し画像評価値を算出する（図７のステップＳ１２に相当）。その後、時間Ｔ３において、フォーカスレンズ駆動部１６が駆動され交換レンズ１０の焦点位置が移動され（図７のステップＳ１３に相当）、次にイメージセンサ移動制御部１５０ｃによりイメージセンサ１１０のセンサ位置が移動される（図７のステップＳ１４に相当）。ここで、イメージセンサ１１０はコントラスト方式により焦点を検出する。時間Ｔ５において、時間Ｔ２とは異なるセンサ位置において合焦し（図７のステップＳ１５に相当）、合焦状態において、画像を取得し画像評価値が算出される（図７のステップＳ１６に相当）。
　≪変形例１：交換レンズの焦点位置とイメージセンサが追従する場合≫
　図１０は、交換レンズ１０の焦点位置とイメージセンサ１１０とが追従するように作動する例である。このように交換レンズ１０の焦点位置とイメージセンサ１１０を動作させるためには、交換レンズ１０の焦点位置が移動した場合のセンサ位置の移動量を予めにカメラ側で設定される（フォーカスレンズ１２の移動による焦点位置の変化により、センサの位置を算出することが必要となる）。
　オートフォーカスが時間Ｔ１で開始される。焦点調節部２２ａにより、交換レンズ１０の焦点位置が移動される。その後、時間Ｔ２にてセンサ位置と交換レンズ１０の焦点位置が合焦し、合焦した状態を保ちつつ光軸前方へ移動する。そして合焦しながら移動する際にイメージセンサ１１０は各センサ位置において画像を出力する。なお、センサ位置は連続的な位置であってもよいし、離散的な位置であってもよい。
　予め設定された光軸の前後方向に合焦を維持しつつ、イメージセンサ１１０は移動し画像を出力する。時間Ｔ３において、予め設定された距離の移動が終了する。その後、時間Ｔ４において、イメージセンサ１１０から出力された画像の画像評価値に基づいて最適位置Ｗが判定され、交換レンズ１０の焦点及びイメージセンサ１１０が最適位置Ｗに移動し合焦する。オートフォーカス機能が使用された場合には、例えばこのようにフォーカスレンズ１２及びイメージセンサ１１０が移動して、最適位置が判定される。
　＜画像評価値＞
　次に、画像評価部２０２が行う画像評価値の算出に関して説明する。画像評価部２０２は、各センサ位置で取得される画像の画質に関する評価値である画像評価値を算出する。画像評価値は、例えば画像におけるボケ量、又は画像におけるシェーディングの発生程度に対応する値である。例えば画像評価値に用いられるボケ量は、以下に示す各収差に応じて発生するものである。
　≪収差≫
　画像評価部２０２は、画像の収差に関する画像評価値を算出する。ここで収差とは、色収差（軸上色収差、倍率色収差）、単色収差（ザイデルの５収差）が含まれる。
　具体例として、画像評価部２０２が球面収差に関する画像評価値を算出する場合について説明する。
　通常、デジタルカメラ１において、設計で想定している距離により球面収差の補正が行われている。したがって、フォーカスレンズ１２の位置、交換レンズ１０の焦点位置、及びイメージセンサ１１０のセンサ位置の相関関係が設計値と異なる場合には、球面収差補正が上手く機能しなく画像にボケが発生する。
　図１１及び図１２は、異なるセンサ位置で取得される画像における球面収差について説明する図である。図１１は、バックフォーカスが設計値からズレていなく、球面収差が理想的に抑制されている場合を示している。図１２は、バックフォーカスが設計値からズレており球面収差の抑制されていない場合を示している。
　図１１では、センサ位置２１２において画像２１４が取得される。センサ位置２１２は設計値であり、イメージセンサ１１０がセンサ位置２１２にある場合には、球面収差が抑制された画像２１４を取得することができる。画像２１４は、コントラストが高く、被写体像の先鋭度も高い画像である。
　一方で図１２では、設計値であるセンサ位置２１２とは異なるセンサ位置２１６において画像２１８が取得されている。イメージセンサ１１０がセンサ位置２１６にある場合には、球面収差が抑制されていないためボケが抑制されていない画像が取得される。画像２１８は、コントラストが低く、被写体像の先鋭度も低い画像となる。
　画像評価部２０２は、球面収差に関する画像評価値を算出する場合には、例えば画像のコントラストを示す指標を画像評価値として算出する。例えば画像評価部２０２は、画像から取得される空間周波数特性に基づいて先鋭度を算出し、その先鋭度を画像評価値とする。
　次の具体例として、画像評価部２０２が色収差に関する画像評価値を算出する場合について説明する。
　画像評価部２０２は、画像から取得される色ずれ量に基づいて画像評価値を算出する。
　ここで色ずれ量とは、光学系に起因する横色収差（倍率色収差）と縦色収差（軸上色収差）による色ずれを表す任意の指標であり、異なる色の間で生じる画像の位置ずれを直接的又は間接的に示すデータ類によって表現可能である。
　倍率色収差に関する画像評価値の算出は一例として次のように行うことができる。画像中のエッジ部を中心として局所的なウィンドウを設定して該ウィンドウ内のＧ配列（Ｇフィルタを有する画素の画素値）を取得し、さらにウィンドウを変位させた位置にてＲ配列（Ｒフィルタを有する画素の画素値）を取得する。次に、Ｇ配列における信号レベルの平均値に対してＲ配列における信号レベルの平均値が一致するようにＲ配列の各信号レベルを調整した後、Ｇ配列とＲ配列との単位要素間の差分の絶対値の和を重ね合わせ誤差として取得する。そして、Ｇ配列に対するＲ配列の変位幅を変化させながら重ね合わせ誤差が最小となる変位幅をＲＧ間の色ずれ幅とし、該色ずれ幅を像高で除することでＲＧ間の倍率差を算出（検出）する。
　軸上色収差に関する画像評価値の算出は一例として次のように行うことができる。フォーカス状態が変化すると軸上色収差量が変化するため、Ｒ画素とＧ画素との倍率色収差による色ずれ量が異なって見える。複数のセンサ位置で取得した画像間の色ずれ量の比較することで軸上色収差量、倍率色収差を含めた色収差の影響を評価することが出来る。
　≪シェーディング≫
　また画像評価部２０２は、画像のシェーディング特性に関する画像評価値を算出する。ここで、シェーディング特性とは、光学系に起因するシェーディングを表す任意の指標であり、シェーディングによる減光度分布（輝度ムラ）を直接的又は間接的に示すデータ類によって表現可能である特性のことをいう。
　図１３、図１４、及び図１５は、シェーディング特性がイメージセンサ１１０を移動させることにより変わることを説明する図である。具体的にはイメージセンサ１１０のセンサ位置を変えることにより、イメージセンサ１１０に入射する入射光線角が変わることを説明する図である。
　図１３は、フォーカスレンズ１２とイメージセンサ１１０の位置関係を概略的に示す図であり、図１４は、図１３のセンサ位置２２０での画素への光線Ｍの入射を示す図であり、図１５は、図１３のセンサ位置２２２での画素への光線Ｍの入射を示す図である。
　イメージセンサ１１０がセンサ位置２２０にある場合には、入射光線角がずれている場合であり、光線Ｍが中心画素１１３ｂでは受光されているが、画素端１１３ａ及び画素端１１３ｃでは受光されていない（図１４）。交換レンズ１０の入射光線角と画素ずらし量とは、交換レンズ１０とイメージセンサ１１０との組合せを想定して設計されているが、一方で、想定された設計値からズレる場合には、入射光線角が合わずに画素端において光線がダイオード（画素）に届かなくなる。
　このような場合にイメージセンサ１１０を移動させると、入射光線の角度を変えることができる。図１３に示すようにイメージセンサ１１０をセンサ位置２２０からセンサ位置２２２に移動させる。図１５に示すように、イメージセンサ１１０がセンサ位置２２２に移動すると光線Ｍの入射光線角が変化し、そして、マイクロレンズ１１１を通過した光線Ｍは画素端１１３ａ及び画素端１１３ｃにおいても受光されようになる。
　画像評価部２０２は、シェーディング特性を、例えば画像の端部の画素の値と、画像の中心の画素の値とを比較することにより取得する。具体的には画像評価部２０２は、「画像の４隅の画素端の信号値の平均」を「画像の中心の画素の信号値」で除算することにより得られる光量比を画像評価値として算出する。画像評価値として算出される光量比は１に近づくほど好ましい。なお、画像評価部２０２は、所定の領域の画素の信号値を比較することにより、画像評価値を算出してもよい。
　≪画像評価値の算出方法≫
　画像評価部２０２は、様々な算出方法により、各センサ位置で取得された画像の画像評価値を算出する。画像評価部２０２は、画像において単数または複数の箇所の画像評価値を算出する。画像評価値を算出する箇所として、ＡＦエリア１１４、ＡＦエリア１１４および周辺位置である。なお、ＡＦエリア１１４は、ユーザが焦点を合わせることを意図する被写体の位置、すなわち被写体位置である。
　画像評価部２０２は、上述の箇所におけるコントラスト、色ずれ、シェーディング特性により画像評価値を算出する。なお、ユーザ設定等により、画像評価値は重み付けを行ってもよい。また、例えば周辺位置ではシェーディング特性による画像評価値を算出し、ＡＦエリアではコントラストによる画像評価値を算出してもよい。
　図１６は、合焦した画像の画像評価値とイメージセンサ１１０のセンサ位置の関係の一例を示す図である。図１６では、縦軸が画像評価値を示し、横軸がイメージセンサ１１０のセンサ位置を示している。画像のＡＦエリア（被写体位置）Ｒ１は、被写体が合焦している画像の中心付近の領域であり位相差検出画素１１８を含む領域である。画像の周辺位置Ｒ２では、被写体が合焦しているが画像の周辺位置の領域である。ここで、周辺位置とはＡＦエリア１１４の被写体と同じく、ユーザが焦点を合わせたいと思う領域である。すなわち、周辺位置は、デジタルカメラ１からの距離がＡＦエリア１１４の被写体と同じ領域である。例えば、ＡＦエリア１１４に人の顔がある場合に、周辺位置はその近傍領域の人の胴体部分のことである。画像のＡＦエリアＲ１では、ＡＦエリアＲ１で合焦するように、イメージセンサ１１０と交換レンズ１０の焦点位置を調整しているためＡＦエリアＲ１では画像評価値は比較的変化しない。ＡＦエリアＲ１は、被写体位置として、図７のステップＳ１０において決定されたＡＦエリア（ＡＦエリア決定（ステップＳ１０）では、複数あるＡＦエリアのうち、合焦するＡＦエリアが決定される)の画像評価値が算出されている。なお、図１６ではＡＦエリア決定(ステップＳ１０)で決定されたＡＦエリア内の画像により評価値を算出したが、ＡＦエリアの一部分を抽出して画像評価値を算出しても良いし、複数のＡＦエリアを拡張した範囲で画像評価値を算出しても良い。
　また画像評価部２０２は、複数の種類の画像評価値を算出することができる。例えば画像評価部２０２は、収差（球面収差）に関する画像評価値及び色ずれに関する画像評価値を算出する。この場合、最適位置判定部２０４は、画像評価値の合計により最適位置を判定しても良いし、画像評価値の種類に応じて重み付けをして画像評価値を合計しても良い。例えば、最適位置判定部２０４は、色ずれは画像処理で補正し易いため、色ずれに関する画像評価値の重み付けを軽くし、球面収差の画像評価値の重み付けを重くして、画像評価値を総合的に判定する。また、最適位置判定部２０４は、ユーザの操作部１４０を介しての指令により、どの種類の画像評価値を優先させるか決定してもよい。
　以上説明したように本形態では、取得された複数の画像を解析して複数のセンサ位置の各々における画像評価値が算出されるので、画像を直接的に解析して得られた画像評価値に基づいて、画質の良い画像が得られるセンサ位置を得ることができる。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　＜第２の実施形態＞
　次に、第２の実施形態に関して説明する。本実施形態では、画像評価値が行われた画像がメモリに保存され、保存された画像を合成して合成画像が生成される。
　図１７は、本実施形態のカメラ制御部１５０とデジタル信号処理部１３０との機能構成例を示す図である。カメラ制御部１５０はモード設定部２０６を有し、デジタル信号処理部１３０は、撮像制御部２００、画像評価部２０２、最適位置判定部２０４、保存決定部２０８、及び合成画像生成部２１０で構成されている。なお、図６で既に説明を行った箇所は、同じ符号を付し説明は省略する。
　モード設定部２０６は、ＡＦ合焦制御部１５０ｂ、撮像制御部２００、及び画像評価部２０２を動作させる画像評価モードを設定する。具体的には、モード設定部２０６は、ユーザからの操作部１４０を介しての指令に基づいて、画像評価モードをデジタルカメラ１において設定する。画像評価モードにおいては、通常撮像とは異なり、上述したようにイメージセンサ１１０が移動しつつ画像を出力し、その画像から画像評価値が算出される。すなわち、画像評価モードが設定されると、ＡＦ合焦制御部１５０ｂ、撮像制御部２００、及び画像評価部２０２が動作準備又は動作が行われる。例えばモード設定部２０６は、マウント１０２に撮像レンズが装着されると、撮像レンズがカメラ本体１００と通信可能な場合には、モード設定部２０６は装着された撮像レンズの種類に応じて自動で画像評価モードを設定する。
　保存決定部２０８は、複数のセンサ位置の各々で取得した画像評価値に基づいて、メモリに保存する画像を決定する。具体的に保存決定部２０８は、所定の閾値を用いて、メモリに保存する画像を決定する。例えば、保存決定部２０８は、画像評価値が閾値以上である高評価の画像をメモリに保存する。ここで画像が保存されるメモリとしては、例えばメモリカードＩ／Ｆに装着されたメモリカード１３６が用いられる。
　合成画像生成部２１０は、メモリに保存された画像を合成する。合成画像生成部２１０が行う画像合成は公知の技術により行われる。例えば合成画像生成部２１０は、画像の中心の領域では球面収差の抑制を優先させ、画像の隅ではシェーディング特性を優先させる場合には、後で説明するブラケット撮影（撮像）により、球面収差に関する最適位置での画像と、シェーディング特性に関する最適位置での画像とをブラケット撮影により取得する。そして、ブラケット撮影により取得した画像を合成することにより、所望の合成画像を得る。
　次に、本実施形態のデジタルカメラ１を使用した撮像方法に関して説明する。図１８は、デジタルカメラ１の動作を示すフロー図であり、各種の最適位置でブラケット撮影が行われる場合を示す。
　先ず、モード設定部２０６は、ユーザからの指令により、画像評価モードが設定されているかを判定する（ステップＳ２０）。画像評価モードが設定されていない場合には、通常撮像が行われる（ステップＳ２８）。なお、ブラケット撮影を行う場合には、画像評価値の種類をユーザは入力する。例えば、収差及びシェーディングに関しての最適位置でブラケット撮影を行うように、ユーザは入力する。
　モード設定部２０６が画像評価モードの設定がされていると判定した場合には、デジタルカメラ１は画像評価値の算出動作に遷移する。
　オートフォーカス機能が作動し、ＡＦ合焦制御部１５０ｂにより、焦点調節部２２ａが動作し合焦される（ステップＳ２１）。その後、スキャン処理が行われる（ステップＳ２２）（スキャン処理に関しては図７のステップＳ１３からステップＳ１７を参照）。スキャン処理後に各センサ位置で得られた画像評価値に基づいて、最適位置判定部２０４が最適位置を判定し、イメージセンサ移動制御部１５０ｃはイメージセンサ１１０を最適位置に移動させる（ステップＳ２３）。イメージセンサ１１０が最適位置に移動したのちに撮像が行われ（ステップＳ２４）、保存決定部２０８は得られた画像をメモリに保存する（ステップＳ２５）。その後、設定された全ての種類の画像評価値の最適位置において画像を取得したか最適位置判定部２０４で判定される（ステップＳ２６）。設定された全ての種類の画像評価値の最適位置において画像が取得された場合には、合成画像生成部２１０により、画像合成が行われる（ステップＳ２７）。例えば合成画像では、画像の中心が収差に関する最適位置で撮像された画像が使用され、画像の周辺はシェーディングに関する最適位置で撮像された画像が使用される。
　＜その他＞
　≪マニュアルフォーカス≫
　上述の説明では、オートフォーカス機能を使用して焦点を調節する場合について説明をしてきたが、マニュアルフォーカス機能（マニュアルフォーカス操作）を使用して焦点調節指示をＡＦ合焦制御部１５０ｂに変わって出力する場合においても本発明を適用することができる。
　図１９は、マニュアルフォーカスにより交換レンズ１０の焦点が移動し、イメージセンサ１１０が交換レンズ１０の焦点に追従して移動しながら、最適位置判定部２０４は逐次最適位置の判定を行う。なお、図８で既に説明を行っている箇所は同じ符号を付し説明は省略する。
　時間Ｔ１においてスキャン処理が開始される。スキャン処理と同時に、画像評価部２０２は各画像の画像評価値を算出し、最適位置判定部２０４は画像評価値に基づいて逐次最適位置を判定する。時間Ｔ１と時間Ｔ２との間では、イメージセンサ１１０が位相差検出画素１１８を使用して合焦を補助し合焦を維持するよう追従している。位相差検出画素１１８のデータを用いて、ユーザによるフォーカスレンズ１２の移動に合わせて、センサを移動し合焦させるため、追従にはタイムラグがあるが、図１９では省略されている。時間Ｔ２において、最適位置判定部２０４は、以後の移動方向には最適位置が検出されないと無いと判定し、それまで得られていた画像評価値に基づく最適位置に移動する。時間Ｔ２と時間Ｔ３との間のＬ２では、ユーザのマニュアルフォーカス操作にフォーカスレンズ１２の移動がＬ２で示されている。また、時間Ｔ２と時間Ｔ３との間のＬ１では、画像評価値が悪化方向のため追従を止める、または定められたセンサ移動範囲内で追従を止める形態が示されている。
　時間Ｔ３においてスキャン処理が再度開始され、時間Ｔ４までスキャン処理が行われる。時間Ｔ３から時間Ｔ４までの間では上述したようにフォーカスレンズ１２にイメージセンサ１１０が追従し、時間Ｔ１から時間Ｔ２のスキャン処理と同様に、最適位置判定部２０４は最適位置を逐次判定する。時間Ｔ４では、画像評価値が悪化方向のため、イメージセンサ１１０はフォーカスレンズ１２への追従をやめて、最適位置に移動する。
　≪レンズの他の例≫
　デジタルカメラ１に使用される撮像レンズとして交換レンズ１０を用いて説明をしたが、これに限定されるものではなく、交換式でないレンズを有するデジタルカメラ１においても本発明は適用される。
　また、フォーカスレンズ１２の移動方式として様々なものが用いられる。図２０は、デジタルカメラ１に好適に使用される撮像レンズの例を示す図である。
　撮像レンズ２５０では、前方に設けられた第１のレンズ群２７０が移動し、後方に設けられた第２のレンズ群２７２が固定されている。第１のレンズ群２７０が移動することにより、撮像レンズ２５０の焦点位置が移動させられる。
　撮像レンズ２５２では、前方に設けられた第１のレンズ群２７０が固定され、後方に設けられた第２のレンズ群２７２が移動する。第２のレンズ群２７２が移動することにより、撮像レンズ２５０の焦点位置が移動させられる。
　撮像レンズ２５４では、前方に設けられた第１のレンズ群２７０が固定され、中間に設けられた第２のレンズ群２７２が移動し、後方に設けられた第３のレンズ群２７４が固定されている。第２のレンズ群２７２が移動することによって、撮像レンズ２５４の焦点位置が移動させられる。
　撮像レンズ２５６では、前方に設けられた第１のレンズ群２７０が移動し、後方に設けられた第２のレンズ群２７２が移動する。第１のレンズ群２７０及び第２のレンズ群２７２は移動速度が異なり、第１のレンズ群２７０及び第２のレンズ群２７２が動くことにより、撮像レンズ２５６の焦点位置が変えられる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　　　　：デジタルカメラ
４　　　　：画像
１０　　　：交換レンズ
１２　　　：フォーカスレンズ
１４　　　：絞り
１６　　　：フォーカスレンズ駆動部
１８　　　：フォーカスレンズ位置検出部
２０　　　：絞り駆動部
２２　　　：レンズ制御部
２２ａ　　：焦点調節部
１００　　：カメラ本体
１０２　　：マウント
１１０　　：イメージセンサ
１１２　　：撮像面
１１３ａ　：画素端
１１３ｃ　：画素端
１１４　　：ＡＦエリア
１１６　　：通常画素
１１８　　：位相差検出画素
１１８Ａ　：第１位相差検出画素
１１８Ｂ　：第２位相差検出画素
１２０　　：イメージセンサ移動駆動部
１２２　　：イメージセンサ位置検出部
１２４　　：イメージセンサ駆動部
１２６　　：アナログ信号処理部
１２８　　：ＡＤＣ
１３０　　：デジタル信号処理部
１３２　　：位相差ＡＦ処理部
１３４　　：メモリカードインタフェース
１３６　　：メモリカード
１３８　　：表示部
１４０　　：操作部
１５０　　：カメラ制御部
１５０ｂ　：ＡＦ合焦制御部
１５０ｃ　：イメージセンサ移動制御部
２００　　：撮像制御部
２０２　　：画像評価部
２０４　　：最適位置判定部
２０６　　：モード設定部
２０８　　：保存決定部
２１０　　：合成画像生成部

Claims (22)

  1. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節部と、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサと、
    　前記イメージセンサを前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御部と、
    　前記焦点調節部と前記イメージセンサ移動制御部を駆動し、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御部と、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御部によって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御部と、
    　前記撮像制御部が取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価部と、
    　を備える撮像装置。
  2. 　前記複数のセンサ位置の各々で取得した前記画像評価値に基づいて、前記イメージセンサの最適位置を判定する最適位置判定部を備え、
    　前記イメージセンサ移動制御部は、前記最適位置に前記イメージセンサを移動させる請求項１に記載の撮像装置。
  3. 　前記画像データを保存するメモリと、
    　前記複数のセンサ位置の各々で取得した前記画像評価値に基づいて、前記メモリに保存する前記画像データを決定する保存決定部と、
    　を備える請求項１又は２に記載の撮像装置。
  4. 　前記焦点調節部は、インナーフォーカス方式又はリアフォーカス方式により、焦点調節を行わせる請求項１から３のいずれか１項に記載の撮像装置。
  5. 　前記合焦制御部、前記撮像制御部、及び前記画像評価部を動作させる画像評価モードを設定するモード設定部を備える請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記撮像レンズが装着されるマウントを備え、
    　前記モード設定部は、前記マウントに装着された前記撮像レンズの種類に応じて自動で前記画像評価モードを設定する請求項５に記載の撮像装置。
  7. 　前記画像評価部は、前記画像データにおいて前記被写体の位置である被写体位置と周辺位置との少なくとも２箇所において、解析を行い前記画像評価値を算出する請求項１から６のいずれか１項に記載の撮像装置。
  8. 　前記周辺位置は、前記被写体の距離情報に基づいて決定される請求項７に記載の撮像装置。
  9. 　前記画像評価部は、前記画像データのコントラストに基づいて前記画像評価値を算出する請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記画像評価部は、前記画像データから取得される空間周波数特性に基づいて前記画像評価値を算出する請求項１から９のいずれか１項に記載の撮像装置。
  11. 　前記画像評価部は、前記画像データから取得される色ずれ量に基づいて前記画像評価値を算出する請求項１から１０のいずれか１項に記載の撮像装置。
  12. 　前記画像評価部は、前記画像データから取得されるシェーディング特性に基づいて前記画像評価値を算出する請求項１から１１のいずれか１項に記載の撮像装置。
  13. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節部と、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサと、
    　前記イメージセンサを前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御部と、
    　前記焦点調節部がマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、前記イメージセンサ移動制御部を駆動し、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御部と、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御部によって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御部と、
    　前記撮像制御部が取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価部と、
    　を備える撮像装置。
  14. 　前記複数のセンサ位置の各々で取得した前記画像評価値に基づいて、前記イメージセンサの最適位置を判定する最適位置判定部を備え、
    　前記イメージセンサ移動制御部は、前記最適位置に前記イメージセンサを移動させる請求項１３に記載の撮像装置。
  15. 　前記画像データを保存するメモリと、
    　前記複数のセンサ位置の各々で取得した前記画像評価値に基づいて、前記メモリに保存する前記画像データを決定する保存決定部と、
    　を備える請求項１３又は１４に記載の撮像装置。
  16. 　前記焦点調節部は、インナーフォーカス方式又はリアフォーカス方式により、焦点調節を行わせる請求項１３から１５のいずれか１項に記載の撮像装置。
  17. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを、前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップと前記イメージセンサ移動制御ステップにより、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像方法。
  18. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップがマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、前記イメージセンサ移動制御ステップを駆動し、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像方法。
  19. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを、前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップと前記イメージセンサ移動制御ステップにより、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像工程をコンピュータに実行させるプログラム。
  20. 　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップがマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、前記イメージセンサ移動制御ステップを駆動し、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像工程をコンピュータに実行させるプログラム。
  21. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを、前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップと前記イメージセンサ移動制御ステップにより、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像工程をコンピュータに実現させる記録媒体。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　撮像レンズのフォーカスレンズを移動させて焦点調節を行う焦点調節ステップと、
    　前記撮像レンズを通過した光学像を撮像し、元画像データを出力するイメージセンサを前記撮像レンズの光軸方向の複数のセンサ位置に移動させるイメージセンサ移動制御ステップと、
    　前記焦点調節ステップがマニュアルフォーカス操作による焦点調節指示を受け付けた場合に、前記イメージセンサ移動制御ステップを駆動し、前記複数のセンサ位置の各々で被写体を合焦させる合焦制御ステップと、
    　前記イメージセンサから出力される前記元画像データに基づいて、前記合焦制御ステップによって前記複数のセンサ位置の各々で合焦された前記被写体の画像データを取得する撮像制御ステップと、
    　前記撮像制御ステップが取得した複数の前記被写体の画像データを解析して前記複数のセンサ位置の各々における画像評価値を算出する画像評価ステップと、
    　を含む撮像工程をコンピュータに実現させる記録媒体。
PCT/JP2019/012411 2018-03-30 2019-03-25 撮像装置、撮像方法、及びプログラム WO2019188934A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020510051A JP6997295B2 (ja) 2018-03-30 2019-03-25 撮像装置、撮像方法、及びプログラム
US17/026,336 US11290634B2 (en) 2018-03-30 2020-09-21 Imaging apparatus, imaging method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018068101 2018-03-30
JP2018-068101 2018-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/026,336 Continuation US11290634B2 (en) 2018-03-30 2020-09-21 Imaging apparatus, imaging method, and program

Publications (1)

Publication Number Publication Date
WO2019188934A1 true WO2019188934A1 (ja) 2019-10-03

Family

ID=68058352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012411 WO2019188934A1 (ja) 2018-03-30 2019-03-25 撮像装置、撮像方法、及びプログラム

Country Status (3)

Country Link
US (1) US11290634B2 (ja)
JP (1) JP6997295B2 (ja)
WO (1) WO2019188934A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653091B2 (en) * 2020-04-03 2023-05-16 Canon Kabushiki Kaisha Focus detecting apparatus and method using multi-AF frame, and image pickup apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140190B2 (ja) * 2018-07-20 2022-09-21 株式会社ニコン 焦点検出装置、及び、撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316032A (ja) * 2004-04-28 2005-11-10 Canon Inc 光学機器の駆動制御装置
JP2007286217A (ja) * 2006-04-14 2007-11-01 Olympus Imaging Corp 撮像装置
JP2010169882A (ja) * 2009-01-22 2010-08-05 Olympus Imaging Corp デジタルカメラ及び光学機器
JP2016020982A (ja) * 2014-07-15 2016-02-04 キヤノン株式会社 撮像装置
JP2017182054A (ja) * 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 カメラ本体及び撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5254904B2 (ja) * 2009-08-20 2013-08-07 キヤノン株式会社 撮像装置及び方法
JP2012222602A (ja) 2011-04-08 2012-11-12 Sony Corp 撮像装置及び撮像システム
JP6381434B2 (ja) * 2014-12-16 2018-08-29 キヤノン株式会社 フォーカス制御装置、光学機器およびフォーカス制御方法
US10200592B2 (en) * 2016-03-29 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Camera body and imaging device
JP6742173B2 (ja) * 2016-06-30 2020-08-19 キヤノン株式会社 焦点調節装置及び方法、及び撮像装置
WO2019058972A1 (ja) * 2017-09-20 2019-03-28 富士フイルム株式会社 撮像装置及び撮像装置の合焦制御方法
CN111133356B (zh) * 2017-09-20 2022-03-01 富士胶片株式会社 摄像装置、摄像装置主体及摄像装置的对焦控制方法
JP6856761B2 (ja) * 2017-09-20 2021-04-14 富士フイルム株式会社 撮像装置、撮像装置本体及び撮像装置の合焦制御方法
WO2019065555A1 (ja) * 2017-09-28 2019-04-04 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
JP6781859B2 (ja) * 2018-02-27 2020-11-04 富士フイルム株式会社 撮像装置、その焦点合わせ補助方法、及び、その焦点合わせ補助プログラム
WO2019167483A1 (ja) * 2018-03-01 2019-09-06 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316032A (ja) * 2004-04-28 2005-11-10 Canon Inc 光学機器の駆動制御装置
JP2007286217A (ja) * 2006-04-14 2007-11-01 Olympus Imaging Corp 撮像装置
JP2010169882A (ja) * 2009-01-22 2010-08-05 Olympus Imaging Corp デジタルカメラ及び光学機器
JP2016020982A (ja) * 2014-07-15 2016-02-04 キヤノン株式会社 撮像装置
JP2017182054A (ja) * 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 カメラ本体及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653091B2 (en) * 2020-04-03 2023-05-16 Canon Kabushiki Kaisha Focus detecting apparatus and method using multi-AF frame, and image pickup apparatus

Also Published As

Publication number Publication date
JPWO2019188934A1 (ja) 2021-05-13
US11290634B2 (en) 2022-03-29
JP6997295B2 (ja) 2022-01-17
US20210006708A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP5901246B2 (ja) 撮像装置
JP4874669B2 (ja) オートフォーカスユニット及びデジタルカメラ
US8854533B2 (en) Image capture apparatus and control method therefor
JP5000413B2 (ja) 撮像システム及び画像信号処理プログラム
JP4155280B2 (ja) 撮像装置
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
US20140139725A1 (en) Focus detection apparatus and method, and image capturing apparatus
CN111133356B (zh) 摄像装置、摄像装置主体及摄像装置的对焦控制方法
US9060119B2 (en) Image capturing apparatus and control method for image capturing apparatus
WO2019167482A1 (ja) 撮像装置、その焦点合わせ補助方法、及び、その焦点合わせ補助プログラム
US20120300083A1 (en) Image pickup apparatus and method for controlling the same
US9591203B2 (en) Image processing apparatus, image processing method, recording medium, and image pickup apparatus
US11290634B2 (en) Imaging apparatus, imaging method, and program
CN111095067B (zh) 摄像装置、摄像装置主体及摄像装置的对焦控制方法
JP2009086490A (ja) 撮像装置
JP2021157069A (ja) 像振れ補正制御装置、撮像装置およびその制御方法
JP6547742B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP7459279B2 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP7241511B2 (ja) 撮像装置およびその制御方法
JP2009038589A (ja) 撮像装置
JP2009042556A (ja) 電子カメラ
JP6902921B2 (ja) 撮像装置、制御方法、及びプログラム
JP2016006463A (ja) 撮像装置およびその制御方法
JP2015033032A (ja) 光学機器および画素ずらし画像取得方法
JP2019144462A (ja) 撮像装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774377

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020510051

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19774377

Country of ref document: EP

Kind code of ref document: A1