WO2023026702A1 - 撮像装置、撮像装置の駆動方法、及びプログラム - Google Patents

撮像装置、撮像装置の駆動方法、及びプログラム Download PDF

Info

Publication number
WO2023026702A1
WO2023026702A1 PCT/JP2022/027038 JP2022027038W WO2023026702A1 WO 2023026702 A1 WO2023026702 A1 WO 2023026702A1 JP 2022027038 W JP2022027038 W JP 2022027038W WO 2023026702 A1 WO2023026702 A1 WO 2023026702A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
distance
information
phase difference
processor
Prior art date
Application number
PCT/JP2022/027038
Other languages
English (en)
French (fr)
Inventor
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023543738A priority Critical patent/JPWO2023026702A1/ja
Publication of WO2023026702A1 publication Critical patent/WO2023026702A1/ja
Priority to US18/439,186 priority patent/US20240187732A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the technology of the present disclosure relates to an imaging device, an imaging device driving method, and a program.
  • Japanese Patent Application Laid-Open No. 2002-200000 describes focus detection means for detecting a defocus amount for each of a plurality of predetermined focus detection areas from an image signal output from an imaging device, and creates distance distribution information based on the defocus amount.
  • focus adjustment means for performing focus adjustment based on the distance distribution information and the defocus amount; and when the distance distribution information is created by the creation means, the diaphragm included in the imaging optical system is determined in advance.
  • the aperture is set to a second depth of field that is shallower than the first depth of field.
  • a control means for performing control to set a second aperture value, which is the depth of field, for photographing.
  • Patent document 2 has imaging means for generating a captured image, distance map acquisition means, distance map management means, focus range instruction means, focus possibility determination means, lens setting determination means, and display means.
  • the focusability determination means determines whether or not the range indicated by the focus range indication means is a refocusable range
  • the lens setting determination means determines whether the lens is refocusable according to the determination result of the focusability determination means.
  • An imaging apparatus is disclosed which is characterized in that it is determined whether or not to change the setting, and in which the display means displays information regarding the lens setting change according to the determination result of the lens setting determination means.
  • an image pickup device having pupil-divided pixels, a readout unit for reading signals from each pixel of the image pickup device, and a setting for setting an area for reading out signals with different parallaxes from the pupil-divided pixels by the readout unit means, first information acquiring means for acquiring first depth information for detecting a subject using a signal read from the first area set by the setting means, and second information acquiring means for acquiring second depth information for detecting the focused state of the subject using the signal read from the second area; and setting means for setting the first area.
  • An imaging apparatus is disclosed which has a control means for variably controlling the ratio of the screen to which the second area is set and the ratio of the screen to which the second area is set.
  • An embodiment according to the technology of the present disclosure provides an imaging device, a method for driving the imaging device, and a program that enable accurate tracking of a subject.
  • an imaging device of the present disclosure includes an image sensor that has a plurality of phase difference pixels and outputs phase difference information and a captured image, and at least one processor.
  • the processor acquires subject distance information representing the distance of the subject existing in the focus target area and peripheral distance information representing the distance of the object existing in the peripheral area of the focus target area based on the phase difference information. , is constructed as follows:
  • a focus lens is provided, and the processor is preferably configured to perform focus control for controlling the position of the focus lens based on subject distance information.
  • the processor detects an object existing between the subject and the imaging device based on the subject distance information and the peripheral distance information, and changes focus control when the distance within the angle of view of the object with respect to the subject approaches. It is preferably configured as follows.
  • the processor is configured to estimate the position of the subject based on the past positions of the subject when the object occludes the subject.
  • the processor is configured to move the focus target area to the estimated position of the subject, and move the focus target area to the position of the object if the subject is not detected from the focus target area after movement. is preferred.
  • the processor is preferably configured to record the captured image and the distance distribution information corresponding to the captured image, and acquire the subject distance information and the peripheral distance information based on the distance distribution information.
  • the processor is preferably configured to generate and record an image file containing the captured image and the distance distribution information.
  • the peripheral distance information included in the distance distribution information preferably includes the relative distance of the object in the peripheral area to the focus target area.
  • the processor is preferably configured to perform correction processing on at least one of the focus target area and the peripheral area of the captured image based on the distance distribution information.
  • the processor is preferably configured to change the correction processing for the object according to the relative distance.
  • the correction processing for the object is preferably chromatic aberration correction.
  • the distance distribution information includes distance information corresponding to a plurality of pixels forming the captured image, and the processor is configured to generate a composite image by synthesizing a stereoscopic image with the captured image using the distance information. It is preferable that
  • a method for driving an imaging device is a method for driving an imaging device including an image sensor that has a plurality of phase difference pixels and outputs phase difference information and a captured image, wherein the focusing is performed based on the phase difference information.
  • Subject distance information representing the distance of the subject existing in the target area and peripheral distance information representing the distance of the object existing in the peripheral area of the focusing target area are acquired.
  • a program of the present disclosure is a program that operates an imaging device that has a plurality of phase difference pixels and includes an image sensor that outputs phase difference information and a captured image, based on the phase difference information, in a focus target area
  • the imaging device is caused to execute processing for acquiring subject distance information representing the distance of an existing subject and peripheral distance information representing the distance of an object existing in the peripheral area of the focus target area.
  • FIG. 3 is a block diagram showing an example of a functional configuration of a processor;
  • FIG. 7 is a diagram conceptually showing an example of distance distribution information acquisition processing;
  • FIG. 2 is a diagram conceptually showing an example of encoding processing by the LBE method;
  • FIG. 4 is a diagram conceptually showing an example of sub-pixel interpolation processing;
  • FIG. 4 is a diagram conceptually showing an example of focus control;
  • FIG. 10 is a diagram illustrating occlusion of a subject by an object existing between the subject and the imaging device; 4 is a flowchart showing an example of AF control;
  • FIG. 10 is a diagram conceptually showing an example of moving an AF area when an object causes occlusion in a subject;
  • FIG. 10 is a diagram showing an example of moving the AF area again;
  • 9 is a flowchart showing an example of AF control according to a first modified example;
  • FIG. 10 is a diagram conceptually showing an example of correction processing according to a second modified example;
  • FIG. 4 is a diagram conceptually showing chromatic aberration correction;
  • FIG. 10 is a diagram conceptually showing an example of processing for
  • IC is an abbreviation for “Integrated Circuit”.
  • CPU is an abbreviation for "Central Processing Unit”.
  • ROM is an abbreviation for “Read Only Memory”.
  • RAM is an abbreviation for “Random Access Memory”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • FPGA is an abbreviation for "Field Programmable Gate Array”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • OPF is an abbreviation for "Optical View Finder”.
  • EVF is an abbreviation for "Electronic View Finder”.
  • JPEG is an abbreviation for "Joint Photographic Experts Group”.
  • AF is an abbreviation for "Auto Focus”.
  • LBE is an abbreviation for "Local Binary Encoding”.
  • LBP is an abbreviation for "Local Binary Pattern”.
  • AR is an abbreviation for “Augmented Reality”.
  • the technology of the present disclosure will be described by taking a lens-interchangeable digital camera as an example.
  • the technique of the present disclosure is not limited to interchangeable-lens type digital cameras, and can be applied to lens-integrated digital cameras.
  • FIG. 1 shows an example of the configuration of the imaging device 10.
  • the imaging device 10 is a lens-interchangeable digital camera.
  • the imaging device 10 is composed of a body 11 and an imaging lens 12 replaceably attached to the body 11 .
  • the imaging lens 12 is attached to the front side of the main body 11 via a camera side mount 11A and a lens side mount 12A.
  • the main body 11 is provided with an operation unit 13 including dials, a release button, and the like.
  • the operation modes of the imaging device 10 include, for example, a still image imaging mode, a moving image imaging mode, and an image display mode.
  • the operation unit 13 is operated by the user when setting the operation mode. Further, the operation unit 13 is operated by the user when starting execution of still image capturing or moving image capturing.
  • the main body 11 is provided with a finder 14 .
  • the finder 14 is a hybrid finder (registered trademark).
  • a hybrid viewfinder is, for example, a viewfinder that selectively uses an optical viewfinder (hereinafter referred to as "OVF") and an electronic viewfinder (hereinafter referred to as "EVF").
  • OVF optical viewfinder
  • EMF electronic viewfinder
  • a user can observe an optical image or a live view image of a subject projected through the viewfinder 14 through a viewfinder eyepiece (not shown).
  • a display 15 is provided on the back side of the main body 11 .
  • the display 15 displays an image based on an image signal obtained by imaging, various menu screens, and the like.
  • the body 11 and the imaging lens 12 are electrically connected by contact between an electrical contact 11B provided on the camera side mount 11A and an electrical contact 12B provided on the lens side mount 12A.
  • the imaging lens 12 includes an objective lens 30, a focus lens 31, a rear end lens 32, and an aperture 33. Each member is arranged along the optical axis A of the imaging lens 12 in the order of the objective lens 30, the diaphragm 33, the focus lens 31, and the rear end lens 32 from the objective side.
  • the objective lens 30, focus lens 31, and rear end lens 32 constitute an imaging optical system.
  • the type, number, and order of arrangement of lenses that constitute the imaging optical system are not limited to the example shown in FIG.
  • the imaging lens 12 also has a lens drive control section 34 .
  • the lens drive control unit 34 is composed of, for example, a CPU, a RAM, a ROM, and the like.
  • the lens drive control section 34 is electrically connected to the processor 40 in the main body 11 via the electrical contacts 12B and 11B.
  • the lens drive control unit 34 drives the focus lens 31 and the diaphragm 33 based on control signals sent from the processor 40 .
  • the lens drive control unit 34 performs drive control of the focus lens 31 based on a control signal for focus control transmitted from the processor 40 in order to adjust the focus position of the imaging lens 12 .
  • the processor 40 performs phase-contrast focusing.
  • the diaphragm 33 has an aperture whose aperture diameter is variable around the optical axis A.
  • the lens drive control unit 34 performs drive control of the diaphragm 33 based on the control signal for diaphragm adjustment transmitted from the processor 40.
  • an imaging sensor 20 a processor 40, and a memory 42 are provided inside the main body 11.
  • the operations of the imaging sensor 20 , the memory 42 , the operation unit 13 , the viewfinder 14 and the display 15 are controlled by the processor 40 .
  • the processor 40 is composed of, for example, a CPU, RAM, and ROM. In this case, processor 40 executes various processes based on program 43 stored in memory 42 . Note that the processor 40 may be configured by an assembly of a plurality of IC chips.
  • the imaging sensor 20 is, for example, a CMOS image sensor.
  • the imaging sensor 20 is arranged such that the optical axis A is orthogonal to the light receiving surface 20A and the optical axis A is positioned at the center of the light receiving surface 20A.
  • Light (subject image) that has passed through the imaging lens 12 is incident on the light receiving surface 20A.
  • a plurality of pixels that generate image signals by performing photoelectric conversion are formed on the light receiving surface 20A.
  • the imaging sensor 20 photoelectrically converts light incident on each pixel to generate and output an image signal.
  • the imaging sensor 20 is an example of an “image sensor” according to the technology of the present disclosure.
  • a color filter array of Bayer arrangement is arranged on the light receiving surface of the imaging sensor 20, and one of R (red), G (green), and B (blue) color filters is arranged opposite to each pixel. It is Some of the plurality of pixels arranged on the light receiving surface of the image sensor 20 are phase difference pixels for acquiring parallax information. The phase difference pixels are not provided with color filters. A pixel provided with a color filter is hereinafter referred to as a normal pixel.
  • FIG. 2 shows an example of the configuration of the imaging pixel N.
  • FIG. FIG. 3 shows an example of the configuration of the phase difference pixels P1 and P2.
  • the phase difference pixels P1 and P2 each receive one of the beams split in the X direction around the principal ray.
  • the imaging pixel N includes a photodiode PD as a photoelectric conversion element, a color filter CF, and a microlens ML.
  • a color filter CF is arranged between the photodiode PD and the microlens ML.
  • the color filter CF is a filter that transmits light of any one of R, G, and B colors.
  • the microlens ML converges the luminous flux LF incident from the exit pupil EP of the imaging lens 12 on substantially the center of the photodiode PD via the color filter CF.
  • the phase difference pixels P1 and P2 each include a photodiode PD, a light shielding layer SF, and a microlens ML.
  • the microlens ML converges the light flux LF incident from the exit pupil EP of the image pickup lens 12 on substantially the center of the photodiode PD.
  • the light shielding layer SF is formed of a metal film or the like, and is arranged between the photodiode PD and the microlens ML.
  • the light shielding layer SF shields part of the light flux LF incident on the photodiode PD via the microlens ML.
  • the light shielding layer SF shields the negative side in the X direction with the center of the photodiode PD as a reference. That is, in the phase difference pixel P1, the light shielding layer SF allows the light flux LF from the negative exit pupil EP1 to enter the photodiode PD and blocks the light flux LF from the positive exit pupil EP2 in the X direction.
  • the light shielding layer SF shields the positive side in the X direction with the center of the photodiode PD as a reference. That is, in the phase difference pixel P2, the light shielding layer SF allows the light flux LF from the positive exit pupil EP2 to enter the photodiode PD and blocks the light flux LF from the negative exit pupil EP1 in the X direction.
  • FIG. 4 shows an example of the pixel array of the imaging sensor 20.
  • FIG. "R” in FIG. 4 represents the imaging pixel N provided with the R color filter CF.
  • “G” represents an imaging pixel N provided with a G color filter CF.
  • “B” represents an imaging pixel N provided with a B color filter CF. Note that the color arrangement of the color filters CF is not limited to the Bayer arrangement, and may be another color arrangement.
  • Rows RL including phase difference pixels P1 and P2 are arranged every 10 pixels in the Y direction.
  • a pair of phase difference pixels P1 and P2 and one imaging pixel N are repeatedly arranged in the Y direction.
  • the arrangement pattern of the phase difference pixels P1 and P2 is not limited to the example shown in FIG. A pattern in which phase difference pixels are arranged may be used.
  • FIG. 5 shows an example of the functional configuration of the processor 40.
  • the processor 40 implements various functional units by executing processes according to programs 43 stored in the memory 42 .
  • the processor 40 implements a main control unit 50, an imaging control unit 51, an image processing unit 52, a distance distribution information acquisition unit 53, and an image file generation unit .
  • the main control unit 50 comprehensively controls the operation of the imaging device 10 based on instruction signals input from the operation unit 13 .
  • the imaging control unit 51 controls the imaging sensor 20 to perform an imaging process for causing the imaging sensor 20 to perform an imaging operation.
  • the imaging control unit 51 drives the imaging sensor 20 in still image imaging mode or moving image imaging mode.
  • the image processing unit 52 performs various image processing on the RAW image RD output from the imaging sensor 20 to generate a captured image 56 in a predetermined file format (eg, JPEG format, etc.).
  • a captured image 56 output from the image processing unit 52 is input to the image file generation unit 54 .
  • the captured image 56 is an image generated based on the signals output from the imaging pixels N. As shown in FIG.
  • the distance distribution information acquisition unit 53 performs shift calculation based on the signals output from the phase difference pixels P1 and P2 (see FIG. 4) in the imaging area 60 in the RAW image RD output from the imaging sensor 20. obtains the distance distribution information 58.
  • the distance distribution information 58 acquired by the distance distribution information acquisition section 53 is input to the image file generation section 54 .
  • the image file generation unit 54 generates an image file 59 including the captured image 56 and the distance distribution information 58 and records the generated image file 59 in the memory 42 .
  • FIG. 6 conceptually shows an example of distance distribution information acquisition processing by the distance distribution information acquisition unit 53.
  • the distance distribution information acquisition unit 53 acquires the first signal S1 from the plurality of phase difference pixels P1 included in the imaging area 60 based on the RAW image RD, and the plurality of pixels included in the imaging area 60.
  • a second signal S2 is acquired from the phase difference pixel P2.
  • the first signal S1 is composed of the pixel signal output from the phase difference pixel P1.
  • the second signal S2 is composed of the pixel signal output from the phase difference pixel P2.
  • the imaging area 60 includes about 2000 phase difference pixels P1 and 2000 phase difference pixels P2 in the X direction.
  • the distance distribution information acquisition unit 53 acquires the first phase difference information D1 and the second phase difference information D2 by encoding the first signal S1 and the second signal S2.
  • the distance distribution information acquisition unit 53 performs encoding using a local binary encoding (LBE) method.
  • the LBE method is a method of converting phase difference information for each pixel or each pixel group into binary number information according to a predetermined standard. Specifically, the distance distribution information acquisition unit 53 converts the first signal S1 into first phase difference information D1 by the LBE method, and converts the second signal S2 into second phase difference information D2 by the LBE method.
  • each pixel of the first phase difference information D1 and the second phase difference information D2 is represented by a binary local binary pattern (hereinafter referred to as LBP) encoded by the LBE method.
  • LBP binary local binary pattern
  • the distance distribution information acquisition unit 53 performs shift calculation using the first phase difference information D1 and the second phase difference information D2.
  • the distance distribution information acquisition unit 53 fixes the first phase difference information D1 and shifts the second phase difference information D2 by one pixel in the X direction, while the first phase difference information D1 and the second phase difference A difference sum of squares is calculated by performing a correlation operation with the information D2.
  • the shift range in which the distance distribution information acquisition unit 53 shifts the second phase difference information D2 in the shift calculation is, for example, the range of ⁇ 2 ⁇ X ⁇ 2.
  • ⁇ X represents the amount of shift in the X direction. In the shift operation, the processing speed is increased by narrowing the shift range.
  • the distance distribution information acquisition unit 53 calculates the sum of squared differences by performing a binary operation.
  • the distance distribution information acquisition unit 53 performs a binary operation on LBPs included in corresponding pixels of the first phase difference information D1 and the second phase difference information D2.
  • the distance distribution information acquisition unit 53 generates a difference map 62 by performing binary calculation each time the second phase difference information D2 is shifted by one pixel.
  • Each pixel of the difference map 62 is represented by the result of binary computation.
  • the distance distribution information acquisition unit 53 generates distance distribution information 58 by performing processing such as sub-pixel interpolation based on a plurality of difference maps 62 .
  • FIG. 7 conceptually shows an example of encoding processing by the LBE method.
  • an extraction region 64 is set in the first signal S1, and a plurality of pixel values are acquired from the set extraction region 64.
  • the pixel value is the value of the pixel signal output from the phase difference pixel P1.
  • the extraction area 64 is an area including 9 pixels arranged in the X direction. Note that the size and shape of the extraction region 64 can be changed as appropriate.
  • the distance distribution information acquisition unit 53 sets the central pixel of the extraction region 64 as the pixel of interest PI, and sets the pixel value of the pixel of interest PI as the threshold. Next, the distance distribution information acquisition unit 53 compares the value of the peripheral pixel with a threshold value, and binarizes the value as "1" if it is equal to or greater than the threshold value, and as "0" if it is less than the threshold value. Next, the distance distribution information acquisition unit 53 converts the binarized values of the eight peripheral pixels into 8-bit data to obtain LBP. Then, the distance distribution information acquisition unit 53 replaces the value of the pixel of interest PI with LBP.
  • the distance distribution information acquisition unit 53 calculates the LBP while changing the extraction region 64 pixel by pixel, and replaces the value of the target pixel PI with the calculated LBP to generate the first phase difference information D1.
  • the encoding process for generating the second phase difference information D2 is the same as the encoding process for generating the first phase difference information D1, so the description is omitted.
  • the distance distribution information acquisition unit 53 reads LBPs from corresponding pixels of the first phase difference information D1 and the second phase difference information D2, respectively, and obtains the exclusive OR (XOR) of the two read LBPs. Further, the distance distribution information acquisition unit 53 performs bit counting on the obtained exclusive OR. Bit counting is to count "1"s included in the exclusive OR represented by a binary number to obtain the number of "1"s. A value obtained by bit counting is hereinafter referred to as a bit count value. In this embodiment, the bit count value is a value in the range of 0-8.
  • FIG. 10 conceptually shows an example of sub-pixel interpolation processing.
  • the distance distribution information acquisition unit 53 reads out bit count values from corresponding pixels in a plurality of difference maps 62 generated by the shift calculation process, and plots the read out bit count values against the shift amount ⁇ X. do. Then, the distance distribution information acquiring unit 53 finds a complementary curve by interpolating the bit count values, and finds the shift amount ⁇ with respect to the minimum value of the complementary curve.
  • the shift amount ⁇ represents the defocus amount, that is, the distance from the in-focus position. The relationship between the shift amount ⁇ and the actual distance depends on the depth of field.
  • the distance distribution information 58 described above is generated.
  • Each pixel of the distance distribution information 58 is represented by a shift amount ⁇ (defocus amount).
  • the distance distribution information 58 corresponds to the captured image 56 described above and represents distance information of objects included in the imaging area from which the captured image 56 is acquired.
  • FIG. 11 conceptually shows an example of focus control by the main control unit 50.
  • the main control unit 50 based on the distance distribution information 58 acquired by the distance distribution information acquisition unit 53, the object distance information 74 representing the distance of the object existing in the AF area 70, the peripheral area Perimeter distance information 76 representing the distance of objects present within 72 is obtained.
  • the subject H exists within the AF area 70
  • the objects O1 and O2 exist within the peripheral area 72.
  • the AF area 70 is an example of a "focusing target area" according to the technology of the present disclosure.
  • the AF area 70 is, for example, an area including a subject specified using the operation unit 13. Also, the AF area 70 may be an area including a subject recognized by the main control unit 50 through subject recognition based on the captured image 56 . The main control unit 50 moves the AF area 70 so as to follow the subject H when the subject H moves.
  • Focus control Based on the subject distance information 74, the main control unit 50 performs focus control to control the position of the focus lens 31 so that the subject H is in focus. Focus control based on the subject distance information 74 is hereinafter referred to as AF control.
  • the main control unit 50 interrupts or resumes AF control during AF control based on subject distance information 74 and peripheral distance information 76 . Specifically, based on the subject distance information 74 and the peripheral distance information 76, the main control unit 50 determines which of the objects existing in the peripheral area 72 exists between the subject H and the imaging device 10 including the imaging sensor 20. detect an object that Further, the main control unit 50 determines whether or not the detected object is approaching the subject H. Detecting an object existing between the subject H and the imaging device 10 means detecting an object between the subject H and the imaging device 10 in the direction perpendicular to the imaging sensor 20 . Therefore, the main control unit 50 detects the object even if the positions of the imaging device 10 and the subject H are displaced in the direction orthogonal to the vertical direction in the plane of the imaging sensor 20 .
  • FIG. 12 explains occlusion of the subject H by an object O3 existing between the subject H and the imaging sensor 20.
  • FIG. In the example shown in FIG. 12, the subject H is moving toward the object O3. Since the object O3 exists between the subject H and the imaging device 10, if the subject H continues to move, the object O3 will shield the subject H (that is, occlusion will occur). In this case, if the main control unit 50 continues the AF control, when the object O3 shields the subject H, the in-focus position changes from the position corresponding to the subject H to the object O3 existing in front of the subject H. move to the desired position. That is, when the subject H is moving and the object O3 temporarily shields the subject H, the focus position will change. When the object H does not move and the object O3 moves, the focus position also varies when the object O3 shields the object H.
  • the main control unit 50 determines whether or not the object O3 existing between the subject H and the imaging device 10 is relatively approaching the subject H, and AF control is changed when it approaches within a certain range. Examples of changing the AF control include suspending the AF control to maintain the in-focus position before suspension, or forcibly continuing the AF control on the subject to maintain the in-focus position.
  • the position of the subject H may be estimated based on the past position of the subject H (that is, the movement history of the subject H), and the focus control may be performed on the estimated position.
  • FIG. 13 is a flowchart showing an example of AF control by the main control unit 50.
  • the main control section 50 detects the subject H from the AF area 70 (step S10). Based on the subject distance information 74, the main control section 50 starts AF control so as to bring the detected subject H into focus (step S11).
  • the main control unit 50 After starting the AF control, the main control unit 50 performs detection processing for detecting the object O3 existing between the subject H and the imaging sensor 20 based on the subject distance information 74 and the peripheral distance information 76 (step S12). . If the main control unit 50 does not detect the object O3 (step S12: NO), the main control unit 50 performs the detection process again. When the object O3 is detected (step S12: YES), the main control unit 50 determines whether or not the object O3 has approached the subject H within a certain range (step S13). When the object O3 has not approached the subject within a certain range (step S13: NO), the main control unit 50 performs determination again.
  • step S13 When the main control unit 50 determines that the object O3 has approached the subject H within a certain range (step S13: YES), it suspends the AF control (step S14). While the AF control is interrupted, the in-focus position before the interruption is maintained.
  • the main control unit 50 determines whether or not the subject H is detected again (step S15), and if the subject H is not detected (step S15: NO), returns the process to step S14. That is, the main control section 50 suspends AF control until the subject H is detected again. When the subject H is detected again (step S15: YES), the main control unit 50 resumes AF control (step S16).
  • the main control unit 50 determines whether or not the termination condition is satisfied (step S17).
  • the termination condition is, for example, a termination operation performed by the user using the operation unit 13 . If the termination condition is not satisfied (step S17: NO), the main control unit 50 returns the process to step S12. If the termination condition is satisfied (step S17: YES), the main control section 50 terminates the AF control.
  • the AF control when occlusion occurs in the subject, the AF control is interrupted and the focus position before the interruption is maintained, so that the subject can be accurately tracked. Also, the AF control of the present embodiment is preferably applied during live view display. Since the focus position does not change even if occlusion occurs in the subject to be focused, the visibility of the live view display is improved.
  • AF control is interrupted when the object O3 present in front of the subject H approaches the subject H.
  • FIG. the position of the subject H is estimated based on the past position of the subject H (that is, the movement history of the subject H) without interrupting the AF control, and the AF area 70 moves to the estimated position. to move.
  • FIG. 14 conceptually shows an example of moving the AF area 70 when the subject H is occluded by the object O3.
  • the main control unit 50 when the subject H moves toward the object O3 and it is estimated that the object O3 is blocked by the subject H, the main control unit 50, based on the movement history of the subject H, After the object H is shielded by the object O3, the position where the object H reappears is estimated. Then, the main control unit 50 moves the AF area 70 to the estimated position.
  • the main control unit 50 moves the AF area 70 again if the subject H is not detected in the AF area 70 after movement.
  • FIG. 15 shows an example of moving the AF area 70 again.
  • the main control unit 50 After moving the AF area 70 as shown in FIG. 14, if the subject H is not detected in the AF area 70 after movement, the main control unit 50 presumes that the subject H remains shielded by the object O3. . Then, as shown in FIG. 15, the main controller 50 moves the AF area 70 to the position of the object O3. As a result, the object O3 becomes the focus target.
  • FIG. 16 is a flowchart showing an example of AF control according to the first modified example. Steps S20 to S23 shown in FIG. 16 are similar to steps S10 to S13 shown in FIG. In this modification, when the main control unit 50 determines that the object O3 has approached the subject H within a certain range (step S23: YES), the main control unit 50 determines the subject H based on the past position of the subject H. position is estimated (step S24). The main controller 50 moves the AF area 70 to the estimated position (step S25).
  • the main control unit 50 determines whether or not the subject H has been detected again from the AF area 70 after movement (step S26). It is moved to the position of O3 (step S27). On the other hand, when the subject H is detected from the AF area 70 after movement (step S26: YES), the main control section 50 shifts the process to step S28.
  • the main control unit 50 determines whether or not the termination condition is satisfied (step S28).
  • the termination condition is, for example, a termination operation performed by the user using the operation unit 13 . If the termination condition is not satisfied (step S28: NO), the main control unit 50 returns the process to step S22. If the termination condition is satisfied (step S28: YES), the main control section 50 terminates the AF control.
  • FIG. 17 conceptually shows an example of correction processing according to the second modified example.
  • the image processing unit 52 performs correction processing to blur only the peripheral area 72 .
  • the objects O1 and O2 present in the peripheral area 72 are blurred, and the in-focus subject H within the AF area 70 can be highlighted impressively.
  • the peripheral distance information 76 includes the relative distances of the objects O1 and O2 in the peripheral area 72 to the AF area 70. Therefore, the image processing unit 52 may change the content of correction (for example, the blurring amount) according to the respective distances of the objects O1 and O2 in the peripheral area 72 . For example, the image processing unit 52 makes the amount of blurring for an object present on the front side of the focus position larger than the amount of blurring an object present on the back side of the focus position.
  • the correction process according to this modification is not limited to blurring correction, and may be brightness correction.
  • the image processing unit 52 distinguishes between the subject in the AF area 70 and the object in the peripheral area 72, and corrects the brightness of the subject. Further, the image processing unit 52 may distinguish between the subject in the AF area 70 and the object in the peripheral area 72, and perform correction to reduce the brightness of the peripheral object. Furthermore, the image processing section 52 may perform chromatic aberration correction on the object in the peripheral area 72 using the subject distance information 74 and the peripheral distance information 76 .
  • FIG. 18 conceptually shows chromatic aberration correction.
  • the image processing unit 52 detects the contours of the objects O1 and O2 existing within the peripheral area 72, and corrects the chromatic aberration for the detected contours.
  • Chromatic aberration correction is a process of correcting the color of edge portions such as contours for each pixel.
  • chromatic aberration correction is correction to change the color of pixels of the contour or to reduce the saturation of the edge portions.
  • the chromatic aberration correction may be correction processing such as gradation correction for applying gradation to the end portion.
  • the chromatic aberration that occurs on the contour of the object in the peripheral area 72 is mainly caused by longitudinal chromatic aberration, but may also be caused by lateral chromatic aberration.
  • This chromatic aberration is unevenness that occurs depending on the distance of the subject from the imaging device 10, and the color and magnitude of the unevenness differ. Therefore, the image processing unit 52 may change the content of chromatic aberration correction, etc., according to the distance of the object existing within the peripheral area 72 . That is, the image processing unit 52 may perform correction processing on the object as the correction processing performed on the peripheral region, and the correction processing on the object may be performed by determining the relative distance of the object in the peripheral region to the focus target region. may be changed accordingly.
  • the image processing unit 52 determines whether the object existing in the peripheral area 72 exists in front of or behind the subject in the AF area 70 (that is, whether it is front focus or rear focus). ), the content of correction for chromatic aberration correction, etc. may be changed.
  • the image processing unit 52 generates a synthetic image.
  • FIG. 19 conceptually shows an example of processing for generating a synthesized image.
  • the image processing unit 52 aligns the captured image 56 and the stereoscopic image 80 using the distance distribution information 58 when synthesizing the captured image 56 and the stereoscopic image 80 to generate a synthesized image 82 .
  • the stereoscopic image 80 is, for example, a graphic image used in AR
  • the synthesized image 82 is a so-called AR image.
  • the distance distribution information 58 includes distance information corresponding to multiple pixels forming the captured image 56 . Therefore, since the distance can be grasped in units of pixels, it is possible to reduce the deviation between the captured image 56 and the stereoscopic image 80 even when the number of subjects is large or when the shape of the subject is complicated.
  • the following various processors can be used as the hardware structure of the control unit, with the processor 40 being an example.
  • the above-mentioned various processors include CPUs, which are general-purpose processors that function by executing software (programs), as well as processors such as FPGAs whose circuit configuration can be changed after manufacture.
  • FPGAs include dedicated electric circuits, which are processors with circuitry specifically designed to perform specific processing, such as PLDs or ASICs.
  • the control unit may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). may consist of Also, the plurality of control units may be configured by one processor.
  • control unit there are multiple possible examples of configuring multiple control units with a single processor.
  • first example as typified by computers such as clients and servers, there is a mode in which one or more CPUs and software are combined to form one processor, and this processor functions as a plurality of control units.
  • second example is the use of a processor that implements the functions of the entire system including multiple control units with a single IC chip, as typified by System On Chip (SOC).
  • SOC System On Chip
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • Imaging Device 11 Main Body 11A Camera Side Mount 11B Electric Contact 12 Imaging Lens 12A Lens Side Mount 12B Electric Contact 13 Operation Unit 14 Viewfinder 15 Display 20 Image Sensor 20A Light Receiving Surface 30 Objective Lens 31 Focus Lens 32 Rear End Lens 34 Lens Drive Control Unit 40 processor 42 memory 43 program 50 main control unit 51 imaging control unit 52 image processing unit 53 distance distribution information acquisition unit 54 image file generation unit 56 captured image 58 distance distribution information 59 image file 60 imaging area 62 difference map 64 extraction region 70 AF Area 72 Peripheral region 74 Object distance information 76 Peripheral distance information 80 Stereoscopic image 82 Synthetic image ⁇ X Shift amount ⁇ Shift amount A Optical axis CF Color filter D1 First phase difference information D2 Second phase difference information EP Exit pupil EP1 First exit pupil EP2 Second exit pupil H Object LF Luminous flux ML Microlens N Imaging pixels O1, O2, O3 Object P1 First phase difference pixel P2 Second phase difference pixel PD Photodiode PI Pixel of interest RD RAW image RL

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

被写体を精度よく追従することを可能とする撮像装置、撮像装置の駆動方法、及びプログラムを提供する。撮像装置は、複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサと、少なくとも一つのプロセッサと、を備える撮像装置であって、プロセッサは、位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する、ように構成されている。

Description

撮像装置、撮像装置の駆動方法、及びプログラム
　本開示の技術は、撮像装置、撮像装置の駆動方法、及びプログラムに関する。
　特許文献１には、撮像素子から出力された画像信号から、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する焦点検出手段と、デフォーカス量に基づいて、距離分布情報を作成する作成手段と、距離分布情報およびデフォーカス量に基づいて、焦点調節を行う焦点調節手段と、作成手段により距離分布情報を作成する際には、撮像光学系に含まれる絞りを予め決められた第１の被写界深度となる第１の絞り値に設定して撮影を行い、焦点調節手段により焦点調節を行う際には、絞りを第１の被写界深度よりも浅い第２の被写界深度となる第２の絞り値に設定して撮影を行うように制御する制御手段と、を有する撮像装置が開示されている。
　特許文献２には、撮像画像を生成する撮像手段と、距離マップ取得手段と、距離マップ管理手段と、フォーカス範囲指示手段と、フォーカス可能判定手段と、レンズ設定判定手段と、表示手段を有し、フォーカス可能判定手段は、フォーカス範囲指示手段によって指示された範囲がリフォーカス可能範囲であるかを判定することを特徴とし、レンズ設定判定手段は、フォーカス可能判定手段の判定結果に応じて、レンズ設定を変えるかを判定することを特徴とし、表示手段は、レンズ設定判定手段の判定結果に応じて、レンズ設定変更に関する表示をすることを特徴とする構成とした撮像装置が開示されている。
　特許文献３には、瞳分割された画素を有する撮像素子と、撮像素子の各画素から信号を読み出す読み出し手段と、読み出し手段により瞳分割された画素から視差が異なる信号を読み出す領域を設定する設定手段と、設定手段により設定された第１の領域から読み出された信号を用いて被写体を検出するための第１の深さ情報を取得する第１の情報取得手段と、設定手段により設定された第２の領域から読み出された信号を用いて被写体の合焦状態を検出するための第２の深さ情報を取得する第２の情報取得手段と、設定手段により第１の領域が設定される画面の割合と第２の領域が設定される画面の割合を可変に制御する制御手段と、を有する撮像装置が開示されている。
特開２０１８－０１７８７６号公報 特開２０１９－０２３６７９号公報 特開２０１７－１９４６５４号公報
　本開示の技術に係る一つの実施形態は、被写体を精度よく追従することを可能とする撮像装置、撮像装置の駆動方法、及びプログラムを提供する。
　上記目的を達成するために、本開示の撮像装置は、複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサと、少なくとも一つのプロセッサと、を備える撮像装置であって、プロセッサは、位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する、ように構成されている。
　フォーカスレンズを備え、プロセッサは、被写体距離情報に基づいて、フォーカスレンズの位置を制御する合焦制御を行うように構成されていることが好ましい。
　プロセッサは、被写体距離情報及び周辺距離情報に基づいて被写体と撮像装置との間に存在する物体を検出し、被写体に対する物体の画角内の距離が近づいた場合に、合焦制御を変更する、ように構成されていることが好ましい。
　プロセッサは、物体が被写体を遮蔽した場合に、過去の被写体の位置に基づいて被写体の位置を推測するように構成されていることが好ましい。
　プロセッサは、推測した被写体の位置に合焦対象領域を移動させ、移動後の合焦対象領域から被写体が検出されない場合、物体の位置に合焦対象領域を移動させる、ように構成されていることが好ましい。
　プロセッサは、撮像画像と撮像画像に対応する距離分布情報とを記録し、距離分布情報に基づき、被写体距離情報と周辺距離情報を取得する、ように構成されていることが好ましい。
　プロセッサは、撮像画像と距離分布情報とを含む画像ファイルを生成して記録する、ように構成されていることが好ましい。
　距離分布情報に含まれる周辺距離情報は、周辺領域内の物体の合焦対象領域に対する相対的距離を含むことが好ましい。
　プロセッサは、距離分布情報に基づいて、撮像画像の合焦対象領域と周辺領域との少なくともいずれか一方に対して補正処理を行うように構成されていることが好ましい。
　プロセッサは、物体に対する補正処理を、相対的距離に応じて変更するように構成されていることが好ましい。
　物体に対する補正処理は、色収差補正であることが好ましい。
　距離分布情報には、撮像画像を構成する複数の画素に対応する距離情報が含まれ、プロセッサは、距離情報を用いて撮像画像に立体画像を合成することにより、合成画像を生成するように構成されていることが好ましい。
　本開示の撮像装置の駆動方法は、複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサを備える撮像装置の駆動方法であって、位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する。
　本開示のプログラムは、複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサを備える撮像装置を作動させるプログラムであって、位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する処理を撮像装置に実行させる。
撮像装置の内部構成の一例を示す図である。 撮像画素の構成の一例を示す図である。 位相差画素の構成の一例を示す図である。 撮像センサの画素配列の一例を示す図である。 プロセッサの機能構成の一例を示すブロック図である。 距離分布情報取得処理の一例を概念的に示す図である。 ＬＢＥ法による符号化処理の一例を概念的に示す図である。 シフト演算処理の一例を概念的に示す図であり、ΔＸ＝０としたときのシフト演算を示す。 シフト演算処理の一例を概念的に示す図であり、ΔＸ＝－１としたときのシフト演算を示す。 サブピクセル補間処理の一例を概念的に示す図である。 合焦制御の一例を概念的に示す図である。 被写体と撮像装置との間に存在する物体による被写体のオクルージョンについて説明する図である。 ＡＦ制御の一例を示すフローチャートである。 物体により被写体にオクルージョンが生じる場合にＡＦエリアを移動させる例を概念的に示す図である。 ＡＦエリアを再度移動させる場合の一例を示す図である。 第１変形例に係るＡＦ制御の一例を示すフローチャートである。 第２変形例に係る補正処理の一例を概念的に示す図である。 色収差補正を概念的に示す図である。 合成画像の生成処理の一例を概念的に示す図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　以下の説明において、「ＩＣ」は、“Integrated Circuit”の略称である。「ＣＰＵ」は、“Central Processing Unit”の略称である。「ＲＯＭ」は、“Read Only Memory”の略称である。「ＲＡＭ」は、“Random Access Memory”の略称である。「ＣＭＯＳ」は、“Complementary Metal Oxide Semiconductor”の略称である。
　「ＦＰＧＡ」は、“Field Programmable Gate Array”の略称である。「ＰＬＤ」は、“Programmable Logic Device”の略称である。「ＡＳＩＣ」は、“Application Specific Integrated Circuit”の略称である。「ＯＶＦ」は、“Optical View Finder”の略称である。「ＥＶＦ」は、“Electronic View Finder”の略称である。「ＪＰＥＧ」は、“Joint Photographic Experts Group”の略称である。「ＡＦ」は、“Auto Focus”の略称である。「ＬＢＥ」は、“Local Binary Encoding”の略称である。「ＬＢＰ」は、“Local Binary Pattern”の略称である。「ＡＲ」は、“Augmented Reality”の略称である。
　撮像装置の一実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。
　図１は、撮像装置１０の構成の一例を示す。撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａを介して本体１１の前面側に取り付けられる。
　本体１１には、ダイヤル、レリーズボタン等を含む操作部１３が設けられている。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。操作部１３は、動作モードの設定の際にユーザにより操作される。また、操作部１３は、静止画撮像又は動画撮像の実行を開始する際にユーザにより操作される。
　また、本体１１には、ファインダ１４が設けられている。ここで、ファインダ１４は、ハイブリッドファインダ（登録商標）である。ハイブリッドファインダとは、例えば光学ビューファインダ（以下、「ＯＶＦ」という）及び電子ビューファインダ（以下、「ＥＶＦ」という）が選択的に使用されるファインダをいう。ユーザは、ファインダ接眼部（図示せず）を介して、ファインダ１４により映し出される被写体の光学像又はライブビュー画像を観察することができる。
　また、本体１１の背面側には、ディスプレイ１５が設けられている。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。
　本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。
　撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸Ａに沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２は、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図１に示す例に限定されない。
　また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。
　レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の合焦位置を調節するために、プロセッサ４０から送信される合焦制御用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、位相差方式の焦点調節を行う。
　絞り３３は、光軸Ａを中心として開口径が可変である開口を有する。レンズ駆動制御部３４は、撮像センサ２０の受光面２０Ａへの入射光量を調節するために、プロセッサ４０から送信される絞り調整用の制御信号に基づいて、絞り３３の駆動制御を行う。
　また、本体１１の内部には、撮像センサ２０、プロセッサ４０、及びメモリ４２が設けられている。撮像センサ２０、メモリ４２、操作部１３、ファインダ１４、及びディスプレイ１５は、プロセッサ４０により動作が制御される。
　プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４２に格納されたプログラム４３に基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。
　撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、光軸Ａが受光面２０Ａに直交し、かつ光軸Ａが受光面２０Ａの中心に位置するように配置されている。受光面２０Ａには、撮像レンズ１２を通過した光（被写体像）が入射する。受光面２０Ａには、光電変換を行うことにより画像信号を生成する複数の画素が形成されている。撮像センサ２０は、各画素に入射した光を光電変換することにより、画像信号を生成し、かつ出力する。なお、撮像センサ２０は、本開示の技術に係る「イメージセンサ」の一例である。
　また、撮像センサ２０の受光面には、ベイヤー配列のカラーフィルタアレイが配置されており、Ｒ（赤），Ｇ（緑），Ｂ（青）いずれかのカラーフィルタが各画素に対して対向配置されている。また、撮像センサ２０の受光面に配列された複数の画素のうちの一部は、視差情報を取得するための位相差画素とされている。位相差画素にはカラーフィルタは設けられていない。以下、カラーフィルタが設けられた画素を通常画素という。
　図２は、撮像画素Ｎの構成の一例を示す。図３は、位相差画素Ｐ１，Ｐ２の構成の一例を示す。位相差画素Ｐ１，Ｐ２は、それぞれ主光線を中心としてＸ方向に分割された光束の一方を受光する。
　図２に示すように、撮像画素Ｎは、光電変換素子としてのフォトダイオードＰＤ、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。カラーフィルタＣＦは、フォトダイオードＰＤとマイクロレンズＭＬとの間に配置されている。
　カラーフィルタＣＦは、Ｒ，Ｇ，Ｂのうちのいずれかの色の光を透過させるフィルタである。マイクロレンズＭＬは、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、カラーフィルタＣＦを介してフォトダイオードＰＤのほぼ中央に集光する。
　図３に示すように、位相差画素Ｐ１，Ｐ２は、それぞれフォトダイオードＰＤ、遮光層ＳＦ、及びマイクロレンズＭＬを含んで構成されている。マイクロレンズＭＬは、撮像画素Ｎと同様に、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、フォトダイオードＰＤのほぼ中央に集光する。
　遮光層ＳＦは、金属膜等で形成され、フォトダイオードＰＤとマイクロレンズＭＬとの間に配置されている。遮光層ＳＦは、マイクロレンズＭＬを介してフォトダイオードＰＤに入射する光束ＬＦの一部を遮光する。
　位相差画素Ｐ１では、遮光層ＳＦは、フォトダイオードＰＤの中心を基準としてＸ方向に関して負側を遮光する。すなわち、位相差画素Ｐ１では、遮光層ＳＦは、負側の射出瞳ＥＰ１からの光束ＬＦをフォトダイオードＰＤに入射させ、かつ、Ｘ方向に関して正側の射出瞳ＥＰ２からの光束ＬＦを遮光する。
　位相差画素Ｐ２では、遮光層ＳＦは、フォトダイオードＰＤの中心を基準としてＸ方向に関して正側を遮光する。すなわち、位相差画素Ｐ２では、遮光層ＳＦは、正側の射出瞳ＥＰ２からの光束ＬＦをフォトダイオードＰＤに入射させ、かつ、Ｘ方向に関して負側の射出瞳ＥＰ１からの光束ＬＦを遮光する。
　図４は、撮像センサ２０の画素配列の一例を示す。図４中の「Ｒ」は、ＲのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｇ」は、ＧのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｂ」は、ＢのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。なお、カラーフィルタＣＦの色配列は、ベイヤー配列に限定されず、他の色配列であってもよい。
　位相差画素Ｐ１，Ｐ２を含む行ＲＬが、Ｙ方向に１０画素ごとに配列されている。各行ＲＬには、一対の位相差画素Ｐ１，Ｐ２と１つの撮像画素Ｎとが、Ｙ方向に繰り返し配列されている。なお、位相差画素Ｐ１，Ｐ２の配列パターンは、図４に示す例に限定されず、例えば、特開２０１８－５６７０３号に添付の図５に示された、１つのマイクロレンズＭＬに複数の位相差画素を配置したパターンであってもよい。
　図５は、プロセッサ４０の機能構成の一例を示す。プロセッサ４０は、メモリ４２に記憶されたプログラム４３にしたがって処理を実行することにより、各種機能部を実現する。図５に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、画像処理部５２、距離分布情報取得部５３、及び画像ファイル生成部５４が実現される。
　主制御部５０は、操作部１３から入力される指示信号に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。
　画像処理部５２は、撮像センサ２０から出力されるＲＡＷ画像ＲＤに対して種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の撮像画像５６を生成する。画像処理部５２から出力される撮像画像５６は、画像ファイル生成部５４に入力される。なお、撮像画像５６は、撮像画素Ｎから出力される信号に基づいて生成される画像である。
　距離分布情報取得部５３は、撮像センサ２０から出力されるＲＡＷ画像ＲＤのうち、撮像エリア６０内の位相差画素Ｐ１，Ｐ２（図４参照）から出力された信号に基づいてシフト演算を行うことにより距離分布情報５８を取得する。距離分布情報取得部５３が取得した距離分布情報５８は、画像ファイル生成部５４に入力される。
　画像ファイル生成部５４は、撮像画像５６と距離分布情報５８とを含む画像ファイル５９を生成し、生成した画像ファイル５９をメモリ４２に記録する。
　図６は、距離分布情報取得部５３による距離分布情報取得処理の一例を概念的に示す。図６に示すように、距離分布情報取得部５３は、ＲＡＷ画像ＲＤに基づき、撮像エリア６０に含まれる複数の位相差画素Ｐ１から第１信号Ｓ１を取得し、撮像エリア６０に含まれる複数の位相差画素Ｐ２から第２信号Ｓ２を取得する。第１信号Ｓ１は、位相差画素Ｐ１から出力された画素信号により構成される。第２信号Ｓ２は、位相差画素Ｐ２から出力された画素信号により構成される。撮像エリア６０には、Ｘ方向に、２０００個程度の位相差画素Ｐ１及び位相差画素Ｐ２がそれぞれ含まれる。
　距離分布情報取得部５３は、第１信号Ｓ１及び第２信号Ｓ２を符号化することにより、第１位相差情報Ｄ１及び第２位相差情報Ｄ２を取得する。距離分布情報取得部５３は、ローカルバイナリ符号化（ＬＢＥ）法を用いて符号化を行う。ＬＢＥ法とは、画素毎又は画素群毎の位相差情報を所定の基準に従って２進数の情報に変換する方法をいう。具体的には、距離分布情報取得部５３は、第１信号Ｓ１をＬＢＥ法により第１位相差情報Ｄ１に変換し、第２信号Ｓ２をＬＢＥ法により第２位相差情報Ｄ２に変換する。シフト演算では、第１位相差情報Ｄ１及び第２位相差情報Ｄ２の各画素は、ＬＢＥ法により符号化された２進数のローカルバイナリパターン（以下、ＬＢＰという。）で表される。
　距離分布情報取得部５３は、第１位相差情報Ｄ１と第２位相差情報Ｄ２とを用いてシフト演算を行う。距離分布情報取得部５３は、シフト演算において、第１位相差情報Ｄ１を固定し、第２位相差情報Ｄ２を１画素ずつＸ方向にシフトさせながら、第１位相差情報Ｄ１と第２位相差情報Ｄ２との相関演算を行うことにより差分二乗和を算出する。
　シフト演算において距離分布情報取得部５３が第２位相差情報Ｄ２をシフトさせるシフト範囲は、例えば－２≦ΔＸ≦２の範囲である。ΔＸは、Ｘ方向へのシフト量を表す。シフト演算では、シフト範囲を狭くすることにより処理の高速化を図っている。
　詳しくは後述するが、距離分布情報取得部５３は、バイナリ演算を行うことにより差分二乗和を算出する。距離分布情報取得部５３は、第１位相差情報Ｄ１と第２位相差情報Ｄ２との対応する画素に含まれるＬＢＰをバイナリ演算する。距離分布情報取得部５３は、第２位相差情報Ｄ２を１画素分シフトさせるたびに、バイナリ演算を行うことにより、差分マップ６２を生成する。この結果、ΔＸ＝２，１，０，－１，－２のそれぞれについて、差分マップ６２が生成される。差分マップ６２の各画素は、バイナリ演算の演算結果で表される。
　また、詳しくは後述するが、距離分布情報取得部５３は、複数の差分マップ６２に基づいて、サブピクセル補間等の処理を行うことにより、距離分布情報５８を生成する。
　図７は、ＬＢＥ法による符号化処理の一例を概念的に示す。図７に示すように、第１信号Ｓ１に抽出領域６４を設定し、設定した抽出領域６４から複数の画素値を取得する。画素値は、位相差画素Ｐ１から出力された画素信号の値である。例えば、抽出領域６４は、Ｘ方向に並ぶ９画素を含む領域である。なお、抽出領域６４の大きさ及び形状は、適宜変更可能である。
　距離分布情報取得部５３は、抽出領域６４の中央の画素を注目画素ＰＩとし、注目画素ＰＩの画素値を閾値とする。次に、距離分布情報取得部５３は、周辺画素の値を閾値と比較し、閾値以上であれば「１」とし、閾値未満であれば「０」として、それぞれ２値化する。次に、距離分布情報取得部５３は、８個の周辺画素の２値化された値を８ビットデータ化してＬＢＰとする。そして、距離分布情報取得部５３は、注目画素ＰＩの値をＬＢＰに置き換える。
　距離分布情報取得部５３は、抽出領域６４を１画素ずつ変更しながらＬＢＰを算出し、注目画素ＰＩの値を算出したＬＢＰで置き換えることにより、第１位相差情報Ｄ１を生成する。
　第２位相差情報Ｄ２を生成する符号化処理は、第１位相差情報Ｄ１を生成する符号化処理と同様であるので、説明は省略する。
　図８及び図９は、シフト演算処理の一例を概念的に示す。図８は、ΔＸ＝０としたときのシフト演算を示す。図９は、ΔＸ＝－１としたときのシフト演算を示す。
　距離分布情報取得部５３は、第１位相差情報Ｄ１と第２位相差情報Ｄ２との対応する画素からＬＢＰをそれぞれ読み出し、読み出した２つのＬＢＰの排他的論理和（ＸＯＲ）を求める。また、距離分布情報取得部５３は、求めた排他的論理和に対してビットカウントを行う。ビットカウントとは、２進数で表される排他的論理和に含まれる「１」を数えて、「１」の個数を求めるこという。以下、ビットカウントにより求めた値をビットカウント値という。本実施形態では、ビットカウント値は、０から８の範囲内の値である。
　距離分布情報取得部５３は、第１位相差情報Ｄ１と第２位相差情報Ｄ２との対応する全ての画素において、ΔＸ＝２，１，０，－１，－２のそれぞれについて、排他的論理和のビットカウント値を求める。これにより、ΔＸ＝２，１，０，－１，－２のそれぞれについて、差分マップ６２が生成される。差分マップ６２の各画素は、ビットカウント値で表される。
　図１０は、サブピクセル補間処理の一例を概念的に示す。図１０に示すように、距離分布情報取得部５３は、シフト演算処理により生成した複数の差分マップ６２の対応する画素からビットカウント値を読み出し、読み出したビットカウント値をシフト量ΔＸに対してプロットする。そして、距離分布情報取得部５３は、ビットカウント値を補完することにより補完曲線を求め、補完曲線の最小値に対するシフト量δを求める。シフト量δは、デフォーカス量、すなわち合焦位置からの距離を表す。シフト量δと実際の距離との関係は、被写界深度に依存する。
　差分マップ６２の全ての画素についてサブピクセル補間処理が行われることにより、上述の距離分布情報５８が生成される。距離分布情報５８の各画素は、シフト量δ（デフォーカス量）により表される。距離分布情報５８は、上述の撮像画像５６に対応し、撮像画像５６が取得される撮像エリア内に含まれる物体の距離情報を表す。
　図１１は、主制御部５０による合焦制御の一例を概念的に示す。図１１に示すように、主制御部５０は、距離分布情報取得部５３により取得された距離分布情報５８に基づき、ＡＦエリア７０内に存在する被写体の距離を表す被写体距離情報７４と、周辺領域７２内に存在する物体の距離を表す周辺距離情報７６とを取得する。図１１に示す例では、ＡＦエリア７０内には被写体Ｈが存在し、周辺領域７２内には物体Ｏ１，Ｏ２が存在している。ＡＦエリア７０は、本開示の技術に係る「合焦対象領域」の一例である。
　ＡＦエリア７０は、例えば、操作部１３を用いて指定した被写体を含む領域である。また、ＡＦエリア７０は、主制御部５０が撮像画像５６に基づいて被写体認識により認識した被写体を含む領域であってもよい。主制御部５０は、被写体Ｈが移動する場合、被写体Ｈを追従するようにＡＦエリア７０を移動させる。
　主制御部５０は、被写体距離情報７４に基づいて、被写体Ｈが合焦するようにフォーカスレンズ３１の位置を制御する合焦制御を行う。以下、被写体距離情報７４に基づく合焦制御をＡＦ制御という。
　また、主制御部５０は、被写体距離情報７４及び周辺距離情報７６に基づいて、ＡＦ制御中に、ＡＦ制御を中断又は再開させる。具体的には、主制御部５０は、被写体距離情報７４及び周辺距離情報７６に基づいて、周辺領域７２に存在する物体のうち、被写体Ｈと撮像センサ２０を含む撮像装置１０との間に存在する物体を検出する。また、主制御部５０は、検出した物体が被写体Ｈに対して近づいているか否かを判定する。被写体Ｈと撮像装置１０との間に存在する物体の検出は、撮像センサ２０の垂線方向において、被写体Ｈと撮像装置１０との間の物体を検出することを意味する。よって、主制御部５０は、撮像センサ２０の面内における垂線方向に直交する方向において、撮像装置１０と被写体Ｈの位置がずれていても、物体を検出する。
　図１２は、被写体Ｈと撮像センサ２０との間に存在する物体Ｏ３による被写体Ｈのオクルージョンについて説明する。図１２に示す例では、被写体Ｈは、物体Ｏ３に近づく方向に移動している。物体Ｏ３は、被写体Ｈと撮像装置１０との間に存在するので、被写体Ｈが移動を続けると、物体Ｏ３が被写体Ｈを遮蔽する（すなわちオクルージョンが生じる）ことになる。この場合、主制御部５０は、ＡＦ制御を続けると、物体Ｏ３が被写体Ｈを遮蔽した際に、合焦位置が、被写体Ｈに対応する位置から、被写体Ｈより手前に存在する物体Ｏ３に対応する位置へ移動する。すなわち、被写体Ｈが移動しており、物体Ｏ３が一時的に被写体Ｈを遮蔽した場合に合焦位置が変動してしまう。被写体Ｈが移動せず、物体Ｏ３が移動することにより、物体Ｏ３が被写体Ｈを遮蔽する場合についても同様に、合焦位置の変動が生じる。
　本実施形態では、主制御部５０は、被写体Ｈと撮像装置１０との間に存在する物体Ｏ３が相対的に被写体Ｈに対して近づいているか否かを判定し、物体Ｏ３が被写体Ｈに対して一定の範囲内に近づいた場合には、ＡＦ制御を変更する。ＡＦ制御の変更例として、ＡＦ制御を中断して中断前の合焦位置を維持したり、被写体に対するＡＦ制御を強制的に継続して合焦位置を維持したりする例がある。また、過去の被写体Ｈの位置（すなわち被写体Ｈの移動履歴）に基づいて被写体Ｈの位置を推測し、推測した位置を対象として合焦制御を実行してもよい。
　図１３は、主制御部５０のＡＦ制御の一例を示すフローチャートである。図１３に示すように、まず、主制御部５０は、ＡＦエリア７０から被写体Ｈを検出する（ステップＳ１０）。主制御部５０は、被写体距離情報７４に基づき、検出した被写体Ｈを合焦状態とするようにＡＦ制御を開始する（ステップＳ１１）。
　主制御部５０は、ＡＦ制御を開始すると、被写体距離情報７４及び周辺距離情報７６に基づいて、被写体Ｈと撮像センサ２０との間に存在する物体Ｏ３を検出する検出処理を行う（ステップＳ１２）。主制御部５０は、物体Ｏ３を検出しない場合には（ステップＳ１２：ＮＯ）、再度検出処理を行う。主制御部５０は、物体Ｏ３を検出した場合には（ステップＳ１２：ＹＥＳ）、物体Ｏ３が被写体Ｈに対して一定の範囲内に近づいたか否かを判定する（ステップＳ１３）。主制御部５０は、物体Ｏ３が被写体に対して一定の範囲内に近づいていない場合には（ステップＳ１３：ＮＯ）、再度判定を行う。
　主制御部５０は、物体Ｏ３が被写体Ｈに対して一定の範囲内に近づいたと判定した場合には（ステップＳ１３：ＹＥＳ）、ＡＦ制御を中断する（ステップＳ１４）。ＡＦ制御が中断されている際には、中断前の合焦位置が維持される。
　主制御部５０は、被写体Ｈが再度検出されたか否かを判定し（ステップＳ１５）、被写体Ｈが検出されない場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１４に戻す。すなわち、主制御部５０は、被写体Ｈを再度検出するまでの間、ＡＦ制御を中断する。主制御部５０は、被写体Ｈが再度検出された場合には（ステップＳ１５：ＹＥＳ）、ＡＦ制御を再開する（ステップＳ１６）。
　次に、主制御部５０は、終了条件を満たすか否かを判定する（ステップＳ１７）。終了条件は、例えば、ユーザが操作部１３を用いて行う終了操作である。主制御部５０は、終了条件を満たさない場合には（ステップＳ１７：ＮＯ）、処理をステップＳ１２に戻す。主制御部５０は、終了条件を満たす場合には（ステップＳ１７：ＹＥＳ）、ＡＦ制御を終了する。
　以上、本開示の撮像装置１０によれば、被写体にオクルージョンが生じる場合にＡＦ制御を中断して中断前の合焦位置を維持するので、被写体を精度よく追従することを可能となる。また、本実施形態のＡＦ制御は、ライブビュー表示時に適用することが好適である。合焦対象の被写体にオクルージョンが生じても合焦位置が変動しないので、ライブビュー表示の視認性が向上する。
　以下に、上記実施形態の各種変形例について示す。
　［第１変形例］
　上記実施形態では、被写体Ｈより手前に存在する物体Ｏ３が被写体Ｈに近づいた場合にＡＦ制御を中断している。これに対して、本変形例では、ＡＦ制御を中断せずに、過去の被写体Ｈの位置（すなわち被写体Ｈの移動履歴）に基づいて被写体Ｈの位置を推測し、推測した位置へＡＦエリア７０を移動させる。
　図１４は、物体Ｏ３により被写体Ｈにオクルージョンが生じる場合にＡＦエリア７０を移動させる例を概念的に示す。図１４に示すように、被写体Ｈが物体Ｏ３に近づく方向に移動し、物体Ｏ３が被写体Ｈにより遮蔽されると推測される場合には、主制御部５０は、被写体Ｈの移動履歴に基づき、被写体Ｈが物体Ｏ３に遮蔽された後、被写体Ｈが再び現れる位置を推測する。そして、主制御部５０は、ＡＦエリア７０を推測した位置へ移動させる。
　また、主制御部５０は、ＡＦエリア７０を移動させた後、移動後のＡＦエリア７０内において被写体Ｈが検出されない場合に、ＡＦエリア７０を再度移動させる。
　図１５は、ＡＦエリア７０を再度移動させる場合の一例を示す。主制御部５０は、図１４に示すようにＡＦエリア７０を移動させた後、移動後のＡＦエリア７０内において被写体Ｈが検出されない場合、被写体Ｈが物体Ｏ３に遮蔽されたままであると推測する。そして、図１５に示すように、主制御部５０は、ＡＦエリア７０を物体Ｏ３の位置へ移動させる。この結果、物体Ｏ３が合焦対象となる。
　図１６は、第１変形例に係るＡＦ制御の一例を示すフローチャートである。図１６に示すステップＳ２０～Ｓ２３は、図１３に示すステップＳ１０～Ｓ１３と同様の処理である。本変形例では、主制御部５０は、物体Ｏ３が被写体Ｈに対して一定の範囲内に近づいたと判定した場合には（ステップＳ２３：ＹＥＳ）、過去の被写体Ｈの位置に基づいて、被写体Ｈの位置を推測する（ステップＳ２４）。主制御部５０は、ＡＦエリア７０を推測位置へ移動させる（ステップＳ２５）。
　主制御部５０は、移動後のＡＦエリア７０から被写体Ｈが再度検出されたか否かを判定し（ステップＳ２６）、被写体Ｈが検出されない場合には（ステップＳ２６：ＮＯ）、ＡＦエリア７０を物体Ｏ３の位置へ移動させる（ステップＳ２７）。一方、主制御部５０は、移動後のＡＦエリア７０から被写体Ｈが検出された場合には（ステップＳ２６：ＹＥＳ）、処理をステップＳ２８へ移行させる。
　ステップＳ２８では、主制御部５０は、終了条件を満たすか否かを判定する（ステップＳ２８）。終了条件は、例えば、ユーザが操作部１３を用いて行う終了操作である。主制御部５０は、終了条件を満たさない場合には（ステップＳ２８：ＮＯ）、処理をステップＳ２２に戻す。主制御部５０は、終了条件を満たす場合には（ステップＳ２８：ＹＥＳ）、ＡＦ制御を終了する。
　［第２変形例］
　上記実施形態では、被写体距離情報７４及び周辺距離情報７６に基づくＡＦ制御について説明している。本変形例では、画像処理部５２により、撮像画像５６のＡＦエリア７０と周辺領域７２との少なくともいずれか一方に対して補正処理を行う。
　図１７は、第２変形例に係る補正処理の一例を概念的に示す。図１７に示すように、画像処理部５２は、周辺領域７２のみをぼかす補正処理を行う。これにより、周辺領域７２内に存在する物体Ｏ１，Ｏ２がぼけた状態となり、ＡＦエリア７０内の合焦状態にある被写体Ｈを印象的に浮かび上がらせることができる。
　また、周辺距離情報７６は、周辺領域７２内の物体Ｏ１，Ｏ２のＡＦエリア７０に対する相対的距離を含む。このため、画像処理部５２は、周辺領域７２内の物体Ｏ１，Ｏ２のそれぞれの距離に応じて補正内容（例えば、ぼかし量）を変更してもよい。例えば、画像処理部５２は、合焦位置よりも手前側に存在する物体に対するぼかし量を、合焦位置よりも奥側に存在する物体に対するぼかし量よりも大きくする。
　被写体距離情報７４と周辺距離情報７６とを用いて補正を行うことにより、ＡＦエリア７０内の被写体と周辺領域７２内の物体とを高速に正確に区別することができるため、補正が高速化する。本変形例に係る補正処理は、ぼかし補正に限られず、明るさ補正であってもよい。例えば、画像処理部５２は、ＡＦエリア７０内の被写体と周辺領域７２内の物体とを区別し、被写体の明るさを補正する。また、画像処理部５２は、ＡＦエリア７０内の被写体と周辺領域７２内の物体とを区別し、周辺の物体の輝度を低下させる補正を行ってもよい。さらに、画像処理部５２は、被写体距離情報７４と周辺距離情報７６とを用いて周辺領域７２内の物体に対する色収差補正を行ってもよい。
　図１８は、色収差補正を概念的に示す。図１８に示すように、画像処理部５２は、周辺領域７２内に存在する物体Ｏ１，Ｏ２の輪郭を検出し、検出した輪郭に対して色収差補正を行う。色収差補正は、輪郭等の端部の色を画素ごとに補正する処理であり、例えば、色収差補正は、輪郭の画素の色を変化させる補正や端部の彩度を低下させる補正である。また、色収差補正は、端部にグラデーションを掛けるグラデーション補正等の補正処理であってもよい。
　周辺領域７２内の物体の輪郭に生じる色収差は、主に軸上色収差が原因で生じるが、倍率色収差が原因で生じる場合もある。この色収差は、被写体の撮像装置１０に対する距離に依存して発生するムラであり、ムラの色やムラの大きさが異なる。よって、画像処理部５２は、周辺領域７２内に存在する物体の距離に応じて、色収差補正の補正内容等を変更してもよい。すなわち、画像処理部５２は、周辺領域に対して行う補正処理として、物体に対して補正処理を行ってもよく、物体に対する補正処理を、周辺領域内の物体の合焦対象領域に対する相対的距離に応じて変更してもよい。また、画像処理部５２は、周辺領域７２内に存在する物体が、ＡＦエリア７０内の被写体より手前に存在するか、又は奥側に存在するか（すなわち、前ピンであるか後ピンであるか）によって、色収差補正の補正内容等を変更してもよい。
　［第３変形例］
　本変形例では、画像処理部５２は合成画像を生成する。図１９は、合成画像の生成処理の一例を概念的に示す。画像処理部５２は、撮像画像５６と立体画像８０とを合成して合成画像８２を生成する際に、距離分布情報５８を用いて撮像画像５６と立体画像８０との位置合わせを行う。立体画像８０は、例えばＡＲで用いられるグラフィック画像であり、合成画像８２は、いわゆるＡＲ画像である。距離分布情報５８には、撮像画像５６を構成する複数の画素に対応する距離情報が含まれる。よって、画素単位で距離を把握することができるので、被写体の数が多い場合や、被写体の形状が複雑な場合でも撮像画像５６と立体画像８０とのズレを低減することができる。
　上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。
　複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０　撮像装置
１１　本体
１１Ａ　カメラ側マウント
１１Ｂ　電気接点
１２　撮像レンズ
１２Ａ　レンズ側マウント
１２Ｂ　電気接点
１３　操作部
１４　ファインダ
１５　ディスプレイ
２０　撮像センサ
２０Ａ　受光面
３０　対物レンズ
３１　フォーカスレンズ
３２　後端レンズ
３４　レンズ駆動制御部
４０　プロセッサ
４２　メモリ
４３　プログラム
５０　主制御部
５１　撮像制御部
５２　画像処理部
５３　距離分布情報取得部
５４　画像ファイル生成部
５６　撮像画像
５８　距離分布情報
５９　画像ファイル
６０　撮像エリア
６２　差分マップ
６４　抽出領域
７０　ＡＦエリア
７２　周辺領域
７４　被写体距離情報
７６　周辺距離情報
８０　立体画像
８２　合成画像
ΔＸ　シフト量
δ　シフト量
Ａ　光軸
ＣＦ　カラーフィルタ
Ｄ１　第１位相差情報
Ｄ２　第２位相差情報
ＥＰ　射出瞳
ＥＰ１　第１射出瞳
ＥＰ２　第２射出瞳
Ｈ　被写体
ＬＦ　光束
ＭＬ　マイクロレンズ
Ｎ　撮像画素
Ｏ１，Ｏ２，Ｏ３　物体
Ｐ１　第１位相差画素
Ｐ２　第２位相差画素
ＰＤ　フォトダイオード
ＰＩ　注目画素
ＲＤ　ＲＡＷ画像
ＲＬ　行
Ｓ１　第１信号
Ｓ２　第２信号
ＳＦ　遮光層

Claims (14)

  1. 　複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサと、
    　少なくとも一つのプロセッサと、
    　を備える撮像装置であって、
    　前記プロセッサは、
    　前記位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、前記合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する、ように構成されている
    　撮像装置。
  2. 　フォーカスレンズを備え、
    　前記プロセッサは、前記被写体距離情報に基づいて、前記フォーカスレンズの位置を制御する合焦制御を行うように構成されている
    　請求項１に記載の撮像装置。
  3. 　前記プロセッサは、
    　前記被写体距離情報及び前記周辺距離情報に基づいて前記被写体と前記撮像装置との間に存在する物体を検出し、
    　前記被写体に対する前記物体の画角内の距離が近づいた場合に、前記合焦制御を変更する、ように構成されている
    　請求項２に記載の撮像装置。
  4. 　前記プロセッサは、
    　前記物体が前記被写体を遮蔽した場合に、過去の前記被写体の位置に基づいて前記被写体の位置を推測するように構成されている
    　請求項３に記載の撮像装置。
  5. 　前記プロセッサは、
    　推測した前記被写体の位置に前記合焦対象領域を移動させ、
    　移動後の前記合焦対象領域から前記被写体が検出されない場合、前記物体の位置に前記合焦対象領域を移動させる、ように構成されている
    　請求項３又は請求項４に記載の撮像装置。
  6. 　前記プロセッサは、
    　前記撮像画像と前記撮像画像に対応する距離分布情報とを記録し、
    　前記距離分布情報に基づき、前記被写体距離情報と前記周辺距離情報を取得する、ように構成されている
    　請求項１から請求項５のうちいずれか１項に記載の撮像装置。
  7. 　前記プロセッサは、
    　前記撮像画像と前記距離分布情報とを含む画像ファイルを生成して記録する、ように構成されている
    　請求項６に記載の撮像装置。
  8. 　前記距離分布情報に含まれる前記周辺距離情報は、前記周辺領域内の物体の前記合焦対象領域に対する相対的距離を含む、
    　請求項６又は請求項７に記載の撮像装置。
  9. 　前記プロセッサは、
    　前記距離分布情報に基づいて、前記撮像画像の前記合焦対象領域と前記周辺領域との少なくともいずれか一方に対して補正処理を行うように構成されている
    　請求項８に記載の撮像装置。
  10. 　前記プロセッサは、
    　前記物体に対する前記補正処理を、前記相対的距離に応じて変更するように構成されている
    　請求項９に記載の撮像装置。
  11. 　前記物体に対する前記補正処理は、色収差補正である、
    　請求項１０に記載の撮像装置。
  12. 　前記距離分布情報には、前記撮像画像を構成する複数の画素に対応する距離情報が含まれ、
    　前記プロセッサは、
    　前記距離情報を用いて前記撮像画像に立体画像を合成することにより、合成画像を生成するように構成されている
    　請求項６又は請求項７に記載の撮像装置。
  13. 　複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサを備える撮像装置の駆動方法であって、
    　前記位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、前記合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する、
    　撮像装置の駆動方法。
  14. 　複数の位相差画素を有し、位相差情報及び撮像画像を出力するイメージセンサを備える撮像装置を作動させるプログラムであって、
    　前記位相差情報に基づいて、合焦対象領域に存在する被写体の距離を表す被写体距離情報と、前記合焦対象領域の周辺領域に存在する物体の距離を表す周辺距離情報とを取得する、
    　処理を前記撮像装置に実行させるプログラム。
PCT/JP2022/027038 2021-08-25 2022-07-08 撮像装置、撮像装置の駆動方法、及びプログラム WO2023026702A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023543738A JPWO2023026702A1 (ja) 2021-08-25 2022-07-08
US18/439,186 US20240187732A1 (en) 2021-08-25 2024-02-12 Imaging device, method of driving imaging device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-137514 2021-08-25
JP2021137514 2021-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/439,186 Continuation US20240187732A1 (en) 2021-08-25 2024-02-12 Imaging device, method of driving imaging device, and program

Publications (1)

Publication Number Publication Date
WO2023026702A1 true WO2023026702A1 (ja) 2023-03-02

Family

ID=85322708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027038 WO2023026702A1 (ja) 2021-08-25 2022-07-08 撮像装置、撮像装置の駆動方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240187732A1 (ja)
JP (1) JPWO2023026702A1 (ja)
WO (1) WO2023026702A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266388A (ja) * 1998-03-17 1999-09-28 Canon Inc デジタルカメラ及び撮影方法並びに記憶媒体
JP2012191553A (ja) * 2011-03-14 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP2013131996A (ja) * 2011-12-22 2013-07-04 Olympus Imaging Corp 撮像装置
JP2014202875A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 被写体追跡装置
JP2016148823A (ja) * 2015-02-13 2016-08-18 キヤノン株式会社 焦点検出装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体
WO2016203692A1 (ja) * 2015-06-18 2016-12-22 ソニー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2019045768A (ja) * 2017-09-05 2019-03-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266388A (ja) * 1998-03-17 1999-09-28 Canon Inc デジタルカメラ及び撮影方法並びに記憶媒体
JP2012191553A (ja) * 2011-03-14 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP2013131996A (ja) * 2011-12-22 2013-07-04 Olympus Imaging Corp 撮像装置
JP2014202875A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 被写体追跡装置
JP2016148823A (ja) * 2015-02-13 2016-08-18 キヤノン株式会社 焦点検出装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体
WO2016203692A1 (ja) * 2015-06-18 2016-12-22 ソニー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2019045768A (ja) * 2017-09-05 2019-03-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20240187732A1 (en) 2024-06-06
JPWO2023026702A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
US9998652B2 (en) Focusing adjustment apparatus and focusing adjustment method
US9826215B2 (en) Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures
JP5388544B2 (ja) 撮像装置およびそのフォーカス制御方法
US8203645B2 (en) Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
JP5264131B2 (ja) 撮像装置
JP6584149B2 (ja) 撮像装置
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
JP4823167B2 (ja) 撮像装置
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6137316B2 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
US11729500B2 (en) Lowpass filter control apparatus and lowpass filter control method for controlling variable lowpass filter
JP2010139563A (ja) 焦点検出装置、焦点調節装置、撮像装置
US20160261842A1 (en) Image processing apparatus, image pickup apparatus, image processing method, non-transitory computer-readable storage medium for improving quality of image
JP2009044637A (ja) 撮像装置
JP2016018012A (ja) 撮像装置及びその制御方法
JP2015194736A (ja) 撮像装置およびその制御方法
JP2001174696A (ja) カラー撮像装置
WO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
JP2009044638A (ja) 撮像装置
WO2023026702A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
US10001621B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
WO2023026701A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP2012142729A (ja) カメラ
JP5207893B2 (ja) 撮像装置及びその制御方法
US20240214677A1 (en) Detection method, imaging apparatus, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860993

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2023543738

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE