WO2016157569A1 - 撮像装置及び合焦評価装置 - Google Patents

撮像装置及び合焦評価装置 Download PDF

Info

Publication number
WO2016157569A1
WO2016157569A1 PCT/JP2015/074868 JP2015074868W WO2016157569A1 WO 2016157569 A1 WO2016157569 A1 WO 2016157569A1 JP 2015074868 W JP2015074868 W JP 2015074868W WO 2016157569 A1 WO2016157569 A1 WO 2016157569A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
image
pixel
lens
unit
Prior art date
Application number
PCT/JP2015/074868
Other languages
English (en)
French (fr)
Inventor
健人 国分
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580075486.8A priority Critical patent/CN107209346A/zh
Priority to JP2017509143A priority patent/JPWO2016157569A1/ja
Publication of WO2016157569A1 publication Critical patent/WO2016157569A1/ja
Priority to US15/716,799 priority patent/US10425574B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to an imaging apparatus and a focus evaluation apparatus.
  • an imaging device having an autofocus function is known.
  • the position of the focus lens is controlled so that the evaluation value indicating the in-focus state is high.
  • there may be a so-called false in-focus state in which it is erroneously determined that the focus has been achieved when the evaluation value reaches a maximum value that is not the maximum value.
  • an imaging device includes an ordinary pixel having a light receiving surface having a first area, and a narrowed pixel having a light receiving surface having a second area smaller than the first area. And a focus evaluation unit that compares the first image acquired by the normal pixel and the second image acquired by the narrowed-down pixel and evaluates whether or not it is in focus.
  • the focus evaluation apparatus includes: a normal pixel having a light receiving surface having a first area; and a narrowed pixel having a second area having a light receiving surface smaller than the first area.
  • a focus evaluation device that performs focus evaluation based on an image acquired by an image sensor having a first image acquired by the normal pixel and a second image acquired by the narrowed pixel
  • a focus evaluation unit is provided for evaluating whether or not the subject is in focus.
  • an imaging apparatus and a focus evaluation apparatus that can perform quick and accurate focus evaluation.
  • FIG. 1 is a block diagram illustrating an outline of a configuration example of an imaging apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram illustrating an outline of a configuration example of an image sensor including normal pixels and narrowed pixels.
  • FIG. 3 is a schematic side view showing an outline of a configuration example of the narrowed-down pixels.
  • FIG. 4 is a diagram showing an outline of a light beam when focused.
  • FIG. 5 is a diagram showing an outline of a light beam when not focused.
  • FIG. 6 is a flowchart illustrating an example of processing related to autofocus according to an embodiment.
  • FIG. 7 is a flowchart illustrating an example of the focus evaluation process according to the embodiment.
  • FIG. 1 is a block diagram illustrating an outline of a configuration example of an imaging apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram illustrating an outline of a configuration example of an image sensor including normal pixels and narrowed pixels.
  • FIG. 3 is a schematic side view showing an outline of
  • FIG. 8 is a diagram for explaining the contrast evaluation value with respect to the lens position and the change in the lens position with respect to time.
  • FIG. 9 is a schematic front view illustrating an outline of a configuration example of a narrowed-down pixel according to a modification.
  • FIG. 10 is a schematic front view illustrating an outline of a configuration example of a narrowed-down pixel according to a modification.
  • FIG. 11 is a schematic front view illustrating an outline of a configuration example of a narrowed-down pixel according to a modification.
  • FIG. 12 is a schematic front view illustrating an outline of a configuration example of a narrowed-down pixel according to a modification.
  • FIG. 13 is a schematic front view illustrating an outline of a configuration example of a narrowed-down pixel according to a modification.
  • FIG. 1 shows an outline of a configuration example of the imaging apparatus 1 according to the present embodiment.
  • the imaging device 1 includes a camera body 5 and a lens unit 10.
  • the lens unit 10 includes a lens group 12 including a plurality of lenses.
  • the lens group 12 forms a subject image on the imaging surface of the imaging element 22 provided in the camera body 5 described later.
  • the lens group 12 includes a focus lens 16 for changing the in-focus position, like a general camera lens.
  • the lens unit 10 may include a diaphragm 14 as in the case of a general camera lens.
  • the lens unit 10 is configured to be detachable from the camera body 5, for example.
  • the camera body 5 includes an imaging unit 20, a control unit 30, a storage unit 42, an operation unit 44, a display unit 46, a speaker 48, and a recording medium 50.
  • the imaging unit 20 includes an imaging element 22, an analog / digital converter (ADC) 26, and the like.
  • a subject image is formed on the imaging surface of the imaging element 22 by the lens unit 10.
  • the image sensor 22 generates a signal based on the subject image.
  • the ADC 26 generates a digital image signal based on the signal generated by the image sensor 22.
  • the generated image signal is output to the control unit 30. Note that the function of the ADC 26 may be provided in the image sensor 22.
  • a plurality of pixels are arranged on the image sensor 22.
  • the plurality of pixels are divided into normal pixels 222 and narrowed-down pixels 224. That is, in the image sensor 22 according to the present embodiment, as will be described in detail later, a part of the plurality of pixels is a narrowed pixel 224 and the other pixels are normal pixels 222.
  • the image signal is created based on the signal photoelectrically converted by the normal pixel 222.
  • the control unit 30 controls the operation of each unit of the imaging device 1.
  • the control unit 30 includes an image processing unit 31, an autofocus (AF) calculation unit 32, a lens control unit 33, and a focus evaluation unit 34.
  • AF autofocus
  • the image processing unit 31 acquires an image signal from the imaging unit 20 and performs various general image processing based on the image signal. For example, the image processing unit 31 may create a live view image to be displayed on the display unit 46 described later or a recording image to be recorded on the recording medium 50.
  • the AF calculation unit 32 performs an autofocus (AF) process. That is, the AF calculation unit 32 acquires information related to AF from the imaging unit 20, and based on the information, an evaluation value related to AF, that is, an evaluation value representing the degree of focus of the subject image formed on the imaging element. Is calculated.
  • the AF calculation unit 32 creates information for moving the focus lens 16 so that the evaluation value becomes high. For example, the AF calculation unit 32 calculates the contrast evaluation value of the image acquired by the image sensor 22.
  • the AF calculation unit 32 creates information for moving the focus lens 16 so that the contrast evaluation value becomes high.
  • the evaluation value is not limited to the contrast evaluation value, and may be an evaluation value based on a signal related to a phase difference or other evaluation values, for example.
  • the AF calculation unit 32 outputs information for moving the focus lens 16 to the lens control unit 33. When the AF calculation unit 32 determines that the in-focus state has been achieved, the AF calculation unit 32 outputs the fact to the focus evaluation unit 34.
  • the lens control unit 33 controls the position of the focus lens 16 based on the information acquired from the AF calculation unit 32.
  • the focus lens 16 operates under the control of the lens control unit 33.
  • the focus evaluation unit 34 performs a focus evaluation process when receiving a signal indicating that the focus is obtained from the AF calculation unit 32. That is, the focus evaluation unit 34 evaluates whether the current state of the focus lens 16 is a focus state or a false focus state. The focus evaluation unit 34 outputs the evaluation result to the AF calculation unit 32. Based on the evaluation result, the AF calculation unit 32 maintains the current state if it is in focus and performs autofocus processing again if it is false.
  • control unit 30 performs control related to various operations of the imaging apparatus 1 such as operation control of the imaging unit 20, operation control of the display unit 46, control related to image recording on the recording medium 50, and the like. .
  • the control unit 30 includes, for example, one or a plurality of central processing units (CPUs) or an application specific integrated circuit (ASIC) and performs various calculations. The operation of the control unit is performed according to a storage area provided in the control unit 30 or a program stored in the storage unit 42.
  • CPUs central processing units
  • ASIC application specific integrated circuit
  • the storage unit 42 stores, for example, a program for control performed by the control unit 30 and various parameters.
  • the storage unit 42 outputs various information to the control unit 30 in response to a request from the control unit 30.
  • the operation unit 44 includes an input unit for various operations.
  • the operation unit 44 includes, for example, a release button.
  • the fast switch is turned on.
  • the AF operation is started.
  • the second switch is turned on.
  • an imaging operation is performed. That is, the control unit 30 causes the imaging unit 20 to perform an imaging operation, the image processing unit 31 processes the obtained image for recording, and the processed image is recorded on the recording medium 50.
  • the display unit 46 has a general display element.
  • the display unit 46 includes, for example, a liquid crystal display panel.
  • the display unit 46 displays a live view image, a REC view image after the imaging operation, a reproduced image of an image recorded on the recording medium 50, and the like.
  • the display unit 46 displays various information related to the state and settings of the imaging device 1.
  • the speaker 48 outputs sound under the control of the control unit 30. For example, when the speaker 48 is in focus, the speaker 48 outputs a sound indicating that effect.
  • the recording medium 50 is detachably connected to the camera body 5 and records, for example, an image acquired by imaging by the imaging device 1.
  • FIG. 2 schematically shows a part of the imaging surface of the imaging element 22 of the present embodiment.
  • a plurality of pixels are provided on the imaging surface of the imaging element 22. These plural pixels are divided into two types of pixels.
  • the image sensor 22 is provided with a normal pixel 222 and a narrowed pixel 224.
  • the normal pixel 222 is a pixel used for image acquisition similarly to a pixel provided in a general image sensor.
  • the narrowed pixel 224 is a pixel in which a part of the normal pixel 222 is covered with a mask. In the masked portion of the narrowed pixel 224, incident light is blocked.
  • a hatched portion in FIG. 2 indicates a mask portion.
  • the aperture pixel 224 is configured so that only the central portion is open and incident light rays are shielded at the peripheral portion.
  • the second area of the light receiving surface which is the opening of the narrowed pixel 224 is narrower than the first area.
  • FIG. 3 is a side view illustrating an outline of a configuration example of the narrowed-down pixel 224.
  • the narrowed pixel 224 is provided with a light receiving unit 242 and a microlens 244.
  • the light beam coming from the subject enters the light receiving unit 242 including the photodiode via the microlens 244.
  • a mask 246 is provided between the microlens 244 and the light receiving unit 242.
  • the mask 246 shields a part of light rays that enter the light receiving unit 242 via the microlens 244. Note that the mask 246 is not provided in the normal pixel 222. Except for the presence or absence of the mask 246, the configuration of the normal pixel 222 and the narrowed-down pixel 224 is the same.
  • FIG. 4 shows the relationship between the light beam when correctly focused and the light receiving surface 248 of the light receiving element
  • FIG. 5 shows the relationship between the light beam when not focused and the light receiving surface 248 of the light receiving element.
  • a solid line 902 indicates the light flux of the light beam that has passed through the lens 102 and the lens 102 schematically showing the diaphragm.
  • a broken line 904 indicates a narrowed light beam that is not shielded by the mask 246 in the narrowed pixel 224 out of the light beam that has passed through the lens 102.
  • the solid line 902 indicates the light beam received by the normal pixel 222
  • the broken line 904 indicates the light beam received by the aperture pixel 224.
  • the focus evaluation unit 34 compares the image acquired by the normal pixel 222 and the image acquired by the narrowed-down pixel 224, and determines whether or not the focus is correctly determined based on whether or not there is a difference. Determine.
  • an image created based only on the output of the normal pixel 222 is referred to as a first image.
  • an image created based only on the output of the narrowed pixel 224 will be referred to as a second image.
  • the focus evaluation unit 34 evaluates whether or not the focus is correct based on the first image and the second image.
  • the processing related to autofocus is performed, for example, when the release button is pressed halfway and the first release switch is turned on.
  • the control unit 30 performs an autofocus process.
  • the autofocus process is a process for performing a generally known autofocus.
  • a contrast detection process can be performed.
  • the AF calculation unit 32 calculates a contrast evaluation value that is an evaluation value based on contrast while moving the focus lens 16 of the lens unit 10.
  • the lens control unit 33 moves the focus lens 16
  • the lens control unit 33 continues to move the focus lens 16 in the direction, and when the contrast evaluation value decreases, the lens control unit 33
  • the focus lens 16 is moved in the opposite direction. In this way, the lens control unit 33 moves the focus lens 16 to a position where the contrast evaluation value is maximized.
  • the AF calculation unit 32 determines that the in-focus state is achieved and ends the autofocus process. Thereafter, the process proceeds to step S102.
  • the autofocus processing is not limited to the above-described contrast detection method, and may be, for example, a phase difference detection method.
  • step S102 the focus evaluation unit 34 of the control unit 30 performs a focus evaluation process.
  • the focus evaluation process will be described with reference to FIG.
  • step S201 the focus evaluation unit 34 captures an image of normal pixels related to the focus target, that is, the first image.
  • step S202 the focus evaluation unit 34 captures an image of the narrowed-down pixels related to the focus target, that is, the second image.
  • the focus evaluation unit 34 determines whether there is a difference between the first image and the second image. Whether or not there is a difference between the first image and the second image is determined by using some evaluation value representing the characteristics of the first image and the second image.
  • this evaluation value for example, a contrast evaluation value can be used. In this case, if there is a difference between the contrast evaluation value of the first image and the contrast evaluation value of the second image, it is determined that there is a difference between the first image and the second image. On the other hand, if there is no difference between the contrast evaluation value of the first image and the contrast evaluation value of the second image, it is determined that there is no difference between the first image and the second image.
  • the evaluation value used for this determination is not limited to the contrast evaluation value. Other evaluation values may be used.
  • the narrowed-down pixels 224 are arranged in the image sensor 22 to such an extent that an evaluation value such as a contrast evaluation value can be acquired.
  • step S203 When it is determined in step S203 that there is a difference between the first image and the second image, the process proceeds to step S204.
  • step S204 the focus evaluation unit 34 determines that what is determined to be in focus by the autofocus process is false focus. Thereafter, the focus evaluation process ends, and the process returns to the process described with reference to FIG.
  • step S203 If it is not determined in step S203 that there is a difference between the first image and the second image, the process proceeds to step S205.
  • step S205 the focus evaluation unit 34 determines that what is determined to be in focus by the autofocus process is correct focus. Thereafter, the focus evaluation process ends, and the process returns to the process described with reference to FIG.
  • step S103 the control unit 30 determines whether or not it is evaluated as in-focus in the focus evaluation process. When the focus is not evaluated, that is, when it is determined that the focus is false, the process proceeds to step S104.
  • step S104 the control unit 30 performs a false focus avoidance operation.
  • the false focus avoidance operation for example, the following operation is performed.
  • the focus lens 16 is moved by a predetermined amount of movement in the focus direction that has fluctuated until the end of the autofocus process, that is, the direction in which the focus lens 16 has moved immediately before the contrast evaluation value becomes maximum.
  • the correct focus position or false focus estimated based on the difference amount between the evaluation value of the first image and the evaluation value of the second image calculated in step S203 of the focus evaluation process.
  • the focus lens 16 may be moved to a state in which the risk of this is low.
  • the focus lens may be moved in a direction opposite to the direction moved in the previous false focus avoidance operation. After the false focus avoidance operation, the process returns to step S101. That is, the autofocus process is performed again.
  • step S104 is not necessarily required.
  • the false focus avoidance operation in step S104 is not necessary.
  • step S103 when it is evaluated as in-focus, the process proceeds to step S105.
  • step S105 the control unit 30 outputs that the in-focus state is achieved. As a result, for example, a graphic indicating the in-focus state is displayed on the display unit 46, or a sound indicating the in-focus state is output from the speaker 48. After the process of step S105, this process ends.
  • FIG. 8A shows the lens position on the horizontal axis and the contrast evaluation value on the vertical axis.
  • 8B shows the lens position on the horizontal axis and the elapsed time on the vertical axis in the same manner as FIG. 8A.
  • the contrast evaluation value has a maximum value at the first lens position P1 and the second lens position P2.
  • the contrast evaluation value at the second lens position P2 is larger than the contrast evaluation value at the first lens position P1, and the second lens position P2 is a lens position at which correct focusing is obtained. .
  • the AF calculation unit 32 searches for the in-focus position by so-called hill-climbing AF based on the contrast evaluation value in the autofocus process in step S101.
  • the direction shown on the right side in FIG. 8 is referred to as a first direction
  • the opposite direction is referred to as a second direction.
  • the lens position is moved in the direction in which the contrast evaluation value increases. That is, first, the lens position moves in the first direction.
  • the lens movement direction changes to the second direction, and when the contrast evaluation value exceeds the first lens position P1 again, the lens movement direction is It changes in the first direction.
  • the lens position is set to the first lens position P1 at which the contrast evaluation value is maximized.
  • the autofocus process in step S101 ends, and the AF calculation unit 32 outputs a signal indicating that the focus is achieved to the focus evaluation unit 34.
  • the in-focus evaluation unit 34 determines whether in-focus or false in-focus in the in-focus evaluation process in step S102. Since correct focus is obtained at the second lens position P2, it is determined that false focus is obtained at the first lens position P1 at time t1.
  • step S104 the false focus avoidance operation in step S104 is performed. That is, the lens position is moved from the first lens position P1 to the third lens position P3 between time t1 and time t2.
  • step S101 After time t2, the autofocus process in step S101 is performed again. With this autofocus process, the lens position is set to the second lens position P2 at time t3. At time t3, the focus evaluation process in step S102 is performed again. In this focus evaluation process, it is determined that the focus is correct. As a result, in step S105, the in-focus state is output, and the processing related to autofocus is completed.
  • whether or not the determination is correct even in a state where it is determined to be in focus using an evaluation value that evaluates the degree of focus used in the autofocus operation such as a contrast evaluation value, that is, Whether the focus is correct or false is determined.
  • a contrast evaluation value that is, Whether the focus is correct or false
  • the present embodiment operates at a higher speed. Is possible.
  • the imaging apparatus 1 is a lens interchangeable digital camera including, for example, a mirrorless single-lens camera or a single-lens reflex camera has been described with reference to FIG.
  • the imaging device 1 is not limited to the interchangeable lens digital camera.
  • the imaging device 1 may be a digital camera in which a lens is fixed to a camera body, for example, called a compact digital camera.
  • the imaging device 1 may be a camera configured by a combination of a lens type camera and a portable information terminal. That is, the lens type camera has functions of the lens unit 10 and the imaging unit 20 and the like.
  • the portable information terminal is a smartphone, for example, and has functions such as a control unit 30, a storage unit 42, and a display unit 46.
  • Such a lens-type camera and a portable information terminal may communicate with each other wirelessly or via a wire, and may function as the imaging device 1 as a unit.
  • the technology according to the present embodiment can be applied to various optical devices that are used together with an image sensor including a normal pixel and a narrowed-down pixel and are provided with an autofocus mechanism.
  • an optical apparatus include a microscope, an endoscope, a telescope, and binoculars.
  • the following microscope system can be considered. That is, a camera unit including an image sensor including normal pixels and narrowed pixels is attached to a microscope. A signal output from the camera unit is input to, for example, a personal computer having the same function as the control unit 30. This personal computer performs calculations related to autofocus and operates the focus adjustment mechanism of the microscope.
  • the following endoscope system can be considered.
  • an imaging device including a normal pixel and a narrowed pixel is provided at the tip of the endoscope.
  • a signal output from the image sensor is input to the controller of the endoscope. This controller performs calculations related to autofocus and operates the focus adjustment mechanism of the endoscope.
  • each component included in the imaging device 1 may be arranged in any device.
  • the focus evaluation apparatus having a function of determining whether the autofocus is in a focused state or a false focused state may include the focus evaluation unit 34 in the control unit 30.
  • the focus evaluation apparatus having a function of controlling autofocus while determining whether the focus state is the false focus state, in addition to the focus evaluation unit 34, the AF calculation unit 32 and the lens control unit 33 may be included.
  • Such a focusing evaluation apparatus does not necessarily require the image processing unit 31 or the like.
  • the focus evaluation apparatus may not include the storage unit 42, the operation unit 44, the display unit 46, the speaker 48, and the recording medium 50.
  • the image sensor 22 including the normal pixel 222 and the narrowed-down pixel 224 that generates an image signal input to the focus evaluation device can be provided separately from the focus evaluation device. Further, the lens group 12 including the focus lens 16 to be controlled by the focus evaluation device can be provided as a separate body from the focus evaluation device. Similarly, the imaging device 1 may not include any or all of the image processing unit 31, the storage unit 42, the operation unit 44, the display unit 46, the speaker 48, the recording medium 50, and the like.
  • the focus evaluation apparatus as described above may be arranged in any apparatus. That is, as in the above-described embodiment, the focus evaluation device may be provided in the camera body 5 of the imaging device 1 or may be provided in the lens unit 10. Moreover, the focus evaluation apparatus may be provided in a lens type camera among systems including a lens type camera and a portable information terminal, or may be provided in a portable information terminal. The focus evaluation apparatus can be provided in a personal computer of the microscope system or can be provided in a controller of the endoscope system.
  • the masked area of the narrowed pixel 224 may not be the peripheral edge of the pixel as shown in FIG.
  • a pixel in which one half of the pixel is masked may be used as the narrowed pixel 224. Therefore, a pixel for phase difference detection in a so-called image plane phase difference imaging element in which pixels for detecting the defocus amount are arranged on the light receiving surface of the imaging element can be used as the narrowing pixel 224.
  • the second image is created based only on the pixels whose right half is masked.
  • the second image is created based on only the pixels whose left half is masked.
  • a narrowed pixel 224 having an opening on the right side may be used on the right side of the shooting area
  • a narrowing pixel 224 having an opening on the left side may be used on the left side of the shooting area.
  • the narrowed-down pixel 224 is not limited to a mode in which one half of the pixel is masked, and may be a mode in which one half or more or half or less is masked.
  • the opening in the narrowing pixel 224 is not limited to a rectangle, and may be a circle, for example. Further, the aperture in the narrowed down pixel 224 may be only the central region among the vertically divided regions such as the white portion of the French flag.
  • an imaging element having a pixel in which one pixel is divided into two regions of a central portion 262 and an outer peripheral portion 264 may be used.
  • the light reception signal acquired at the central portion 262 and the light reception signal acquired at the outer peripheral portion 264 can be individually acquired. Therefore, a combination of the light reception signal acquired at the central portion 262 and the light reception signal acquired at the outer peripheral portion 264 is used as a signal acquired at the normal pixel 222, and only the light reception signal acquired at the central portion 262 is used. Can be used as a signal acquired by the narrowing pixel 224.
  • a combination of the light reception signal acquired at the central portion 262 and the light reception signal acquired at the outer peripheral portion 264 is used to create the first image, and the light reception signal acquired at the central portion 262 is It can be used to create two images.
  • the signal acquired by the outer peripheral portion 264 may be used as the signal acquired by the narrowed pixel 224.
  • how to divide one pixel is not limited to the central part and the outer peripheral part as shown in FIG. 11, but may be divided into two vertically as shown in FIG. 12, for example. Moreover, it is not restricted to 2 divisions, For example, as shown in FIG. 13, it may be divided into 4 parts, and it may be divided into 3 parts and others.
  • focusing can be evaluated based on a comparison between the first image and the second image even when the aperture of the diaphragm 14 is small. Further, it may be divided using a curve such as a circle.
  • the light receiving area of the narrowed pixel is smaller than that of the normal pixel, the amount of light received is lower than that of the normal pixel. Therefore, processing for correcting the difference in the amount of received light may be performed, or the exposure time may be adjusted for each pixel.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　撮像装置（１）は、撮像素子（２２）と、合焦評価部（３４）とを備える。撮像素子（２２）は、受光面が第１の面積を有する通常画素（２２２）と、受光面が前記第１の面積よりも狭い第２の面積を有する絞り込み画素（２２４）とを有する。合焦評価部（３４）は、前記通常画素により取得される第１の画像と前記絞り込み画素により取得される第２の画像とを比較して、合焦しているか否かを評価する。

Description

撮像装置及び合焦評価装置
　本発明は、撮像装置及び合焦評価装置に関する。
　一般に、オートフォーカス機能を有する撮像装置が知られている。オートフォーカス動作では、例えば合焦の状態を表す評価値が高くなるようにフォーカスレンズの位置の制御が行われる。この場合、評価値が最大値ではない極大値となるときに合焦したと誤った判断がされる、いわゆる偽合焦の状態が生じることがある。
　例えば日本国特許第５２１９９５１号公報には、偽合焦を防ぐため、オートフォーカス動作を行っているときに、絞りを動作させて、異なる複数の絞り値において画像を取得し、それら画像を比較して、合焦の状態を判断することに係る技術が開示されている。簡単に説明すれば、合焦しているときには絞り値に関わらず同様の評価値を示す画像が得られる。一方で、偽合焦のときには絞り値によって評価値が異なる画像が得られる。このような違いから偽合焦が判断される。
　上述の日本国特許第５２１９９５１号公報に開示されている技術では、合焦の状態を判断する際に、絞りを動作させる必要がある。このため、異なる絞り値における画像を得るために、時間を要するし、その間に被写体が移動した場合には正しい評価が行えない。
　本発明は、素早く正確な合焦評価を行うことができる撮像装置及び合焦評価装置を提供することを目的とする。
　本発明の一態様によれば、撮像装置は、受光面が第１の面積を有する通常画素と、受光面が前記第１の面積よりも狭い第２の面積を有する絞り込み画素とを有する撮像素子と、前記通常画素により取得される第１の画像と前記絞り込み画素により取得される第２の画像とを比較して、合焦しているか否かを評価する合焦評価部とを備える。
　また、本発明の一態様によれば、合焦評価装置は、受光面が第１の面積を有する通常画素と、受光面が前記第１の面積よりも狭い第２の面積を有する絞り込み画素とを有する撮像素子により取得される画像に基づいて合焦評価を行う合焦評価装置であって、前記通常画素により取得される第１の画像と前記絞り込み画素により取得される第２の画像とを比較して、合焦しているか否かを評価する合焦評価部を備える。
　本発明によれば、素早く正確な合焦評価を行うことができる撮像装置及び合焦評価装置を提供できる。
図１は、一実施形態に係る撮像装置の構成例の概略を示すブロック図である。 図２は、通常画素と絞り込み画素とを含む撮像素子の構成例の概略を示す模式図である。 図３は、絞り込み画素の構成例の概略を示す側面の模式図である。 図４は、合焦している場合の光束の概略を示す図である。 図５は、合焦していない場合の光束の概略を示す図である。 図６は、一実施形態に係るオートフォーカスに係る処理の一例を示すフローチャートである。 図７は、一実施形態に係る合焦評価処理の一例を示すフローチャートである。 図８は、レンズ位置に対するコントラスト評価値及び時間に対するレンズ位置の変化について説明するための図である。 図９は、変形例に係る絞り込み画素の構成例の概略を示す正面の模式図である。 図１０は、変形例に係る絞り込み画素の構成例の概略を示す正面の模式図である。 図１１は、変形例に係る絞り込み画素の構成例の概略を示す正面の模式図である。 図１２は、変形例に係る絞り込み画素の構成例の概略を示す正面の模式図である。 図１３は、変形例に係る絞り込み画素の構成例の概略を示す正面の模式図である。
　本発明の一実施形態について図面を参照して説明する。本実施形態に係る撮像装置１の構成例の概略を図１に示す。図１に示すように、撮像装置１は、カメラボディ５と、レンズ部１０とを備える。レンズ部１０は、複数のレンズを含むレンズ群１２を備える。レンズ群１２は、被写体像を後述するカメラボディ５に設けられた撮像素子２２の撮像面に形成する。レンズ群１２は、一般的なカメラ用レンズと同様に、合焦位置を変更するためのフォーカスレンズ１６を備える。また、レンズ部１０は、一般的なカメラ用レンズと同様に、絞り１４を備えていてもよい。レンズ部１０は、例えばカメラボディ５に対して着脱自在に構成されている。
　カメラボディ５は、撮像部２０と、制御部３０と、記憶部４２と、操作部４４と、表示部４６と、スピーカ４８と、記録媒体５０とを備える。
　撮像部２０は、撮像素子２２と、アナログ／デジタル変換器（ＡＤＣ）２６等を有する。撮像素子２２の撮像面上には、レンズ部１０によって被写体像が結像される。撮像素子２２は、この被写体像に基づく信号を生成する。ＡＤＣ２６は、撮像素子２２によって生成された信号に基づいて、デジタルの画像信号を生成する。生成された画像信号は、制御部３０へと出力される。なお、ＡＤＣ２６の機能は、撮像素子２２に設けられていてもよい。
　撮像素子２２には、複数の画素が配列されている。この複数の画素は、通常画素２２２と絞り込み画素２２４とに分けられる。すなわち、本実施形態に係る撮像素子２２では、後に詳述するように、複数の画素のうち一部が絞り込み画素２２４となっており、その他の画素は通常画素２２２となっている。画像信号は、通常画素２２２によって光電変換された信号に基づいて作成される。
　制御部３０は、撮像装置１の各部の動作を制御する。制御部３０は、画像処理部３１と、オートフォーカス（ＡＦ）演算部３２と、レンズ制御部３３と、合焦評価部３４とを含む。
　画像処理部３１は、撮像部２０から画像信号を取得し、当該画像信号に基づいて、一般的な各種画像処理を行う。画像処理部３１は、例えば後述する表示部４６に表示するライブビュー画像を作成したり、記録媒体５０に記録する記録画像を作成してもよい。
　ＡＦ演算部３２は、オートフォーカス（ＡＦ）処理を行う。すなわち、ＡＦ演算部３２は、撮像部２０からＡＦに係る情報を取得し、その情報に基づいてＡＦに係る評価値、すなわち、撮像素子に結像した被写体像の合焦の程度を表す評価値を算出する。ＡＦ演算部３２は、この評価値が高くなるようにフォーカスレンズ１６を移動させるための情報を作成する。ＡＦ演算部３２は、例えば、撮像素子２２により取得された画像のコントラスト評価値を算出する。ＡＦ演算部３２は、コントラスト評価値が高くなるようにフォーカスレンズ１６を移動させるための情報を作成する。評価値は、コントラスト評価値に限らず、例えば位相差に係る信号に基づく評価値やその他の評価値であってもよい。ＡＦ演算部３２は、フォーカスレンズ１６を移動させるための情報をレンズ制御部３３へと出力する。また、ＡＦ演算部３２は、合焦したと判断したとき、その旨を合焦評価部３４へと出力する。
　レンズ制御部３３は、ＡＦ演算部３２から取得した情報に基づいて、フォーカスレンズ１６の位置を制御する。フォーカスレンズ１６は、レンズ制御部３３の制御下で動作する。
　合焦評価部３４は、ＡＦ演算部３２から合焦した旨の信号を受けたとき、合焦評価処理を行う。すなわち、合焦評価部３４は、現在のフォーカスレンズ１６の状態が合焦状態であるか偽合焦の状態であるかを評価する。合焦評価部３４は、評価の結果をＡＦ演算部３２へと出力する。ＡＦ演算部３２は、この評価結果に基づいて、合焦状態であれば現在の状態を維持し、偽合焦の状態であれば、再度、オートフォーカス処理を行う。
　制御部３０は、上述の動作の他、撮像部２０の動作制御や、表示部４６の動作制御や、記録媒体５０への画像記録に係る制御など、撮像装置１の各種動作に係る制御を行う。
　制御部３０は、例えば１つ又は複数のＣｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＣＰＵ）、又はＡｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等を含み、各種演算を行う。制御部の動作は、制御部３０内に設けられた記憶領域や、記憶部４２に記憶されたプログラムに従って行われる。
　記憶部４２は、例えば制御部３０で行われる制御のためのプログラムや、各種パラメータを記憶している。記憶部４２は、制御部３０からの要求に応じて各種情報を制御部３０へと出力する。
　操作部４４は、各種操作のための入力部を含む。操作部４４は、例えば、レリーズボタンを含む。レリーズボタンがユーザによって半分押し込まれたとき、ファーストスイッチがオンになる。ファーストスイッチがオンになったとき、ＡＦ動作が開始される。また、レリーズボタンが最後まで押し込まれたとき、セカンドスイッチがオンになる。セカンドスイッチがオンになったとき、撮像動作が行われる。すなわち、制御部３０は撮像部２０に撮像動作を行わせ、画像処理部３１は得られた画像を記録用に処理し、処理後の画像は記録媒体５０に記録される。
　表示部４６は、一般的な表示素子を有する。表示部４６は、例えば液晶表示パネルを有する。表示部４６は、ライブビュー画像や、撮像動作後のレックビュー画像や、記録媒体５０に記録された画像の再生画像等を表示する。また、表示部４６は、撮像装置１の状態や設定に係る各種情報を表示する。
　スピーカ４８は、制御部３０の制御下で音声を出力する。スピーカ４８は、例えば合焦したときに、その旨を表す音を出力する。
　記録媒体５０は、カメラボディ５に対して着脱自在に接続されており、例えば撮像装置１による撮像によって取得された画像を記録する。
　本実施形態に係る撮像素子２２の構成例について、図２及び図３を参照して説明する。図２は、本実施形態の撮像素子２２の撮像面の一部について模式的に示す。撮像素子２２の撮像面には、複数の画素が設けられている。これら複数の画素は、２種類の画素に分けられる。すなわち、撮像素子２２には、通常画素２２２と絞り込み画素２２４とが設けられている。通常画素２２２は、一般的な撮像素子に設けられている画素と同様に、画像取得に用いられる画素である。これに対して、絞り込み画素２２４は、通常画素２２２の一部がマスクで覆われた画素である。絞り込み画素２２４のマスクされている部分では、入射する光が遮光される。図２において斜線を付した部分がマスク部分を示す。絞り込み画素２２４は、中央部のみが開口しており、周縁部においては、入射する光線が遮光されるように構成されている。
　このように、通常画素２２２の受光面の面積を第１の面積としたときに、絞り込み画素２２４の開口部である受光面の第２の面積は、第１の面積よりも狭い。
　図３は、絞り込み画素２２４の構成例の概略を示す側面図である。図３に示すように、絞り込み画素２２４には、受光部２４２とマイクロレンズ２４４とが設けられている。被写体から到来する光束は、マイクロレンズ２４４を介してフォトダイオードを含む受光部２４２に入射する。絞り込み画素２２４では、マイクロレンズ２４４と受光部２４２との間にマスク２４６が設けられている。マスク２４６は、マイクロレンズ２４４を介して受光部２４２に入射する光線の一部を遮光する。なお、通常画素２２２では、マスク２４６が設けられていない。マスク２４６の有無を除いて、通常画素２２２と絞り込み画素２２４との構成は同様である。
　通常画素２２２で取得される情報と絞り込み画素２２４で取得される情報との差異について、図４及び図５を参照して説明する。図４は、正しく合焦している場合の光束と受光素子の受光面２４８との関係を示し、図５は、合焦していない場合の光束と受光素子の受光面２４８との関係を示す。図４及び図５において、実線９０２は、レンズ部１０のレンズ及び絞りを模式的に示すレンズ１０２を通過した光線の光束を示す。一方、破線９０４は、レンズ１０２を通過した光線の光束のうち、絞り込み画素２２４におけるマスク２４６によって遮光されない絞り込まれた光束を示す。言い換えると、実線９０２は、通常画素２２２によって受光される光束を示し、破線９０４は、絞り込み画素２２４によって受光される光束を示す。
　図４に示すように、正しく合焦している場合、通常画素２２２で受光される像と絞り込み画素２２４で受光される像とは一致する。これに対して、図５に示すように、合焦していない場合、通常画素２２２で受光される像と絞り込み画素２２４で受光される像とは異なるものになる。本実施形態では、合焦評価部３４が、通常画素２２２で取得される画像と絞り込み画素２２４で取得される画像とを比較して、差異があるか否かで正しく合焦しているか否かを判定する。
　本実施形態では、通常画素２２２の出力のみに基づいて作成される画像を第１の画像と称することにする。一方、絞り込み画素２２４の出力のみに基づいて作成される画像を第２の画像と称することにする。本実施形態では、合焦評価部３４によって、第１の画像と第２の画像とに基づいて、正しく合焦しているか否かの評価が行われる。
　本実施形態のオートフォーカスに係る処理について、図６に示すフローチャートを参照して説明する。このオートフォーカスに係る処理は、例えば、レリーズボタンが半押しされてファーストレリーズスイッチがオンになったときに行われる。
　ステップＳ１０１において、制御部３０は、オートフォーカス処理を行う。オートフォーカス処理は、一般的に知られているオートフォーカスを行うための処理である。例えば、コントラスト検出方式の処理が行われ得る。コントラスト検出方式では、例えば、レンズ部１０のフォーカスレンズ１６を移動させながら、ＡＦ演算部３２が、コントラストに基づく評価値であるコントラスト評価値を算出する。レンズ制御部３３がフォーカスレンズ１６を移動させたときに、コントラスト評価値が増加するときにはレンズ制御部３３は当該方向にフォーカスレンズ１６を引き続き移動させ、コントラスト評価値が減少するときにはレンズ制御部３３は反対方向にフォーカスレンズ１６を移動させる。このようにして、レンズ制御部３３は、コントラスト評価値が極大となる位置にフォーカスレンズ１６を移動させる。ＡＦ演算部３２は、コントラスト評価値が極大となったとき、合焦したと判定してオートフォーカス処理を終了する。その後、処理はステップＳ１０２に進む。なお、オートフォーカス処理は、上述したコントラスト検出方式に限らず、例えば位相差検出方式によってもよい。
　ステップＳ１０２において、制御部３０の合焦評価部３４は、合焦評価処理を行う。合焦評価処理について、図７を参照して説明する。
　ステップＳ２０１において、合焦評価部３４は、合焦対象に係る通常画素による画像、すなわち第１の画像を取り込む。
　ステップＳ２０２において、合焦評価部３４は、合焦対象に係る絞り込み画素による画像、すなわち第２の画像を取り込む。
　ステップＳ２０３において、合焦評価部３４は、第１の画像と第２の画像とに差があるか否かを判定する。第１の画像と第２の画像とに差があるか否かは、第１の画像と第２の画像との特徴を表す何らかの評価値を用いて行う。この評価値としては、例えばコントラスト評価値が用いられ得る。この場合、第１の画像のコントラスト評価値と第２の画像のコントラスト評価値とに差異があれば、第１の画像と第２の画像とに差があると判定される。一方、第１の画像のコントラスト評価値と第２の画像のコントラスト評価値とに差異がなければ、第１の画像と第２の画像とに差がないと判定される。なお、この判定に用いられる評価値は、コントラスト評価値に限らない。他の評価値が用いられてもよい。なお、コントラスト評価値等の評価値が取得され得る程度に、撮像素子２２には、絞り込み画素２２４が配置されている。
　ステップＳ２０３において、第１の画像と第２の画像とに差があると判定されたとき、処理はステップＳ２０４に進む。ステップＳ２０４において、合焦評価部３４は、オートフォーカス処理によって合焦と判断されたものは、偽合焦であると判定する。その後、合焦評価処理は終了し、処理は図６を参照して説明している処理に戻る。
　ステップＳ２０３において第１の画像と第２の画像とに差があると判定されなかったとき、処理はステップＳ２０５に進む。ステップＳ２０５において、合焦評価部３４は、オートフォーカス処理によって合焦と判断されたものは、正しい合焦であると判定する。その後、合焦評価処理は終了し、処理は図６を参照して説明している処理に戻る。
　図６に戻って説明を続ける。合焦評価処理の後、処理はステップＳ１０３に進む。
　ステップＳ１０３において、制御部３０は、合焦評価処理において合焦と評価されたか否かを判定する。合焦と評価されていないとき、すなわち、偽合焦であると判定されたとき、処理はステップＳ１０４に進む。
　ステップＳ１０４において、制御部３０は、偽合焦回避動作を行う。偽合焦回避動作では、例えば以下の動作が行われる。すなわち、オートフォーカス処理において終了間際まで変動していたフォーカス方向、すなわち、コントラスト評価値が極大となる直前にフォーカスレンズ１６が移動していた方向に、既定の移動量だけフォーカスレンズ１６を移動させる。また、それに代えて、合焦評価処理のステップＳ２０３において算出された第１の画像の評価値と第２の画像の評価値との差分量に基づいて推定される正しい合焦位置又は偽合焦の危険性が低い状態にフォーカスレンズ１６を移動させてもよい。また、偽合焦回避動作が２回以上行われている場合には、前回の偽合焦回避動作において移動させた方向と逆方向にフォーカスレンズを移動させてもよい。偽合焦回避動作の後、処理はステップＳ１０１に戻る。すなわち、再びオートフォーカス処理が行われる。
　なお、ステップＳ１０４の偽合焦回避動作は必ずしも必要ない。例えば、撮像装置１が、オートフォーカス動作後に偽合焦と判定された場合にはマニュアルフォーカスに切り替えられるように構成されているとき、ステップＳ１０４の偽合焦回避動作は不要となる。
　ステップＳ１０３において、合焦と評価されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において、制御部３０は、合焦である旨を出力する。その結果として、例えば表示部４６に合焦状態にあることを示す図形が表示されたり、スピーカ４８から合焦状態にあることを示す音が出力されたりする。ステップＳ１０５の処理の後、本処理は終了する。
　上述のオートフォーカスに係る処理で行われる動作の一例について、図８を参照して説明する。図８の上図（ａ）は、横軸にレンズ位置を示し、縦軸にコントラスト評価値を示す。図８の下図（ｂ）は、図８の上図（ａ）と同様に横軸にレンズ位置を示し、縦軸に経過時間を示す。図８の上図（ａ）に示すように、第１のレンズ位置Ｐ１と第２のレンズ位置Ｐ２において、コントラスト評価値は極大値をとる。ここで、第１のレンズ位置Ｐ１におけるコントラスト評価値よりも第２のレンズ位置Ｐ２におけるコントラスト評価値の方が大きく、第２のレンズ位置Ｐ２が、正しい合焦が得られているレンズ位置である。
　図８の下図（ｂ）に示すように、時間ｔ０において、オートフォーカスの動作が開始するものとする。まず、ＡＦ演算部３２は、ステップＳ１０１のオートフォーカス処理において、コントラスト評価値に基づくいわゆる山登りＡＦによって合焦位置の探索を行う。レンズ位置について、図８において右側で示される方向を第１の方向と称し、反対方向を第２の方向と称することにする。ＡＦ演算部３２の演算結果と、レンズ制御部３３の制御下で、まず、コントラスト評価値が上昇する方向にレンズ位置は移動される。すなわち、まず、レンズ位置は第１の方向へと移動する。コントラスト評価値が極大値となる第１のレンズ位置Ｐ１を超えたとき、レンズの移動方向は第２の方向へと変化し、再び第１のレンズ位置Ｐ１を超えたとき、レンズの移動方向は第１の方向へと変化する。このようにして、時間ｔ１において、コントラスト評価値が極大となる第１のレンズ位置Ｐ１にレンズ位置が設定される。このとき、ステップＳ１０１のオートフォーカス処理は終了し、ＡＦ演算部３２は、合焦した旨の信号を合焦評価部３４へと出力する。
　合焦評価部３４は、ステップＳ１０２の合焦評価処理において、合焦か偽合焦かの判断を行う。正しい合焦は第２のレンズ位置Ｐ２で得られるので、時間ｔ１における第１のレンズ位置Ｐ１においては、偽合焦であると判断される。
　その結果、ステップＳ１０４の偽合焦回避動作が行われる。すなわち、時間ｔ１から時間ｔ２の間において、レンズ位置は、第１のレンズ位置Ｐ１から第３のレンズ位置Ｐ３へと移動させられる。
　時間ｔ２以降において、再びステップＳ１０１のオートフォーカス処理が行われる。このオートフォーカス処理によって、時間ｔ３においてレンズ位置は第２のレンズ位置Ｐ２へと設定される。時間ｔ３において、再びステップＳ１０２の合焦評価処理が行われる。この合焦評価処理では、正しい合焦であると判定される。その結果、ステップＳ１０５において、合焦である旨が出力されてオートフォーカスに係る処理は終了する。
　本実施形態によれば、コントラスト評価値などのオートフォーカス動作で用いられる合焦の度合いを評価する評価値を用いて合焦したと判断された状態においても、その判断が正しいか否か、すなわち、正しい合焦であるか偽合焦であるかが判別される。その結果、偽合焦の状態が回避され得る。また、本実施形態では、撮像素子に埋め込まれた通常画素２２２によって取得された第１の画像と絞り込み画素２２４によって取得された第２の画像との差異に基づいて、正しい合焦であるか偽合焦であるかが判断されるので、機械的な動作が無く、高速な動作が可能である。すなわち、例えば、レンズ部１０の絞り１４の状態を開放状態と絞り込み状態とに変化させて、開放状態の画像と絞り込み状態の画像とを比較する場合と比較して、本実施形態では高速な動作が可能である。
　上述の実施形態では、図１を参照して、撮像装置１が例えばミラーレス一眼カメラや一眼レフカメラを含むレンズ交換式のデジタルカメラである場合の構成を説明した。しかしながら、撮像装置１は、レンズ交換式のデジタルカメラに限らない。撮像装置１は、例えばコンパクトデジタルカメラと呼ばれるようなカメラボディに対してレンズが固定されたデジタルカメラでもよい。
　また、撮像装置１は、レンズ型カメラと携帯情報端末との組み合わせによって構成されるカメラであってもよい。すなわち、レンズ型カメラは、レンズ部１０及び撮像部２０等の機能を有する。また、携帯情報端末は、例えばスマートフォンであり、制御部３０、記憶部４２及び表示部４６等の機能を有する。このようなレンズ型カメラと携帯情報端末とが無線又は有線で通信し、一体として撮像装置１として機能してもよい。
　また、本実施形態に係る技術は、通常画素と絞り込み画素とを含む撮像素子と共に用いられ、オートフォーカス機構が設けられる種々の光学機器にも適用され得る。このような光学機器としては、例えば顕微鏡、内視鏡、望遠鏡、双眼鏡等が挙げられる。例えば、以下のような顕微鏡システムが考えられる。すなわち、通常画素と絞り込み画素とを含む撮像素子を備えたカメラユニットが顕微鏡に取り付けられる。このカメラユニットから出力される信号が、制御部３０と同様の機能を有する例えばパーソナルコンピュータへと入力される。このパーソナルコンピュータは、オートフォーカスに係る演算を行い、顕微鏡の焦点調節機構を動作させる。同様に、以下のような内視鏡システムが考えられる。すなわち、内視鏡の先端に通常画素と絞り込み画素とを含む撮像素子が設けられる。この撮像素子から出力される信号が、内視鏡のコントローラへと入力される。このコントローラは、オートフォーカスに係る演算を行い、内視鏡の焦点調節機構を動作させる。
　このように、撮像装置１に含まれる各構成要素は、どのような装置に配置されていてもよい。
　また、オートフォーカスについて合焦状態であるか偽合焦状態であるかを判別する機能を有する合焦評価装置は、制御部３０内の合焦評価部３４を有していればよい。また、合焦状態であるか偽合焦状態であるかを判別しながらオートフォーカスを制御する機能を有する合焦評価装置は、合焦評価部３４に加えて、ＡＦ演算部３２及びレンズ制御部３３を有していればよい。これらのような合焦評価装置には、画像処理部３１等は必ずしも必要ない。また、合焦評価装置は、記憶部４２、操作部４４、表示部４６、スピーカ４８、及び記録媒体５０を備えていなくてもよい。合焦評価装置に入力される画像信号を生成する、通常画素２２２と絞り込み画素２２４とを備える撮像素子２２は、合焦評価装置とは別体として設けられ得る。また、合焦評価装置が制御対象とするフォーカスレンズ１６を含むレンズ群１２は、合焦評価装置とは別体として設けられ得る。同様に、撮像装置１は、画像処理部３１、記憶部４２、操作部４４、表示部４６、スピーカ４８、及び記録媒体５０等の何れか又は全てを備えていなくてもよい。
　また、上述のような合焦評価装置は、どのような装置に配置されていてもよい。すなわち、上述の実施形態のように合焦評価装置は、撮像装置１のカメラボディ５に設けられていてもよいし、レンズ部１０に設けられていてもよい。また、合焦評価装置は、レンズ型カメラと携帯情報端末とを含むシステムのうち、レンズ型カメラに設けられていてもよいし、携帯情報端末に設けられていてもよい。また、合焦評価装置は、顕微鏡システムのパーソナルコンピュータに設けられ得るし、内視鏡システムのコントローラに設けられ得る。
　［変形例］
　本発明の変形例について説明する。ここでは、上述の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
　絞り込み画素２２４のマスクされる領域は、図２に示すように画素の周縁部でなくてもよい。例えば、図９又は図１０に示すように、画素の片側半分がマスクされている画素を絞り込み画素２２４としてもよい。したがって、撮像素子の受光面にデフォーカス量を検出するための画素が配置された、いわゆる像面位相差撮像素子における、位相差検出用の画素が絞り込み画素２２４として用いられ得る。このとき、例えば右側半分がマスクされた画素のみに基づいて、第２の画像が作成される。あるいは、例えば左側半分がマスクされた画素のみに基づいて、第２の画像が作成される。また、例えば撮影領域の右側では、右側が開口している絞り込み画素２２４が用いられ、撮影領域の左側では、左側が開口している絞り込み画素２２４が用いられてもよい。なお、絞り込み画素２２４は、画素の片側半分がマスクされている態様に限らず、片側半分以上または片側半分以下がマスクされている態様であってもよい。
　また、絞り込み画素２２４における開口は、矩形に限らず、例えば、円形であってもよい。また、絞り込み画素２２４における開口は、例えばフランス国旗の白色部分のように、縦に３分割された領域のうち中央の領域のみとしてもよい。
　また、図１１に示すように、１つの画素が中央部２６２と外周部２６４との２つの領域に分割された画素を有する撮像素子が用いられてもよい。この撮像素子では、中央部２６２で取得された受光信号と外周部２６４で取得された受光信号とがそれぞれ個別に取得され得る。したがって、中央部２６２で取得された受光信号と外周部２６４で取得された受光信号とを合わせたものは、通常画素２２２で取得された信号として用いられ、中央部２６２で取得された受光信号のみは、絞り込み画素２２４で取得された信号として用いられ得る。すなわち、中央部２６２で取得された受光信号と外周部２６４で取得された受光信号とを合わせたものは、第１の画像の作成に用いられ、中央部２６２で取得された受光信号は、第２の画像の作成に用いられ得る。なお、外周部２６４で取得された信号が絞り込み画素２２４で取得された信号として用いられてもよい。
　また、１つの画素の分割のされ方は、図１１に示すように中央部と外周部とに分割されているに限らず、例えば図１２に示すように縦に２分割されていてもよい。また、２分割に限らず、例えば図１３に示すように４分割されていてもよいし、３分割やその他に分割されていてもよい。面積が小さい絞り込み画素が設けられていると、絞り１４の開口が小さい状態でも第１の画像と第２の画像の比較に基づいて、合焦の評価がされ得る。また、円形など、曲線を用いて分割されていてもよい。
　上述のように、種々の絞り込み画素が用いられても、上述の実施形態と同様に作用し、同様の効果が得られる。
　また、絞り込み画素では、通常画素に比べて受光面積が狭いので、通常画素に比べて受光量が低くなる。そこで、この受光量の差を補正するような処理が行われてもよいし、画素毎に露光時間が調整されるように構成されてもよい。

Claims (12)

  1. 　受光面が第１の面積を有する通常画素と、受光面が前記第１の面積よりも狭い第２の面積を有する絞り込み画素とを有する撮像素子と、
    　前記通常画素により取得される第１の画像と前記絞り込み画素により取得される第２の画像とを比較して、合焦しているか否かを評価する合焦評価部と
    　を備える撮像装置。
  2. 　前記合焦評価部は、前記第１の画像と前記第２の画像とに差異があるときは、合焦していないと評価する、請求項１に記載の撮像装置。
  3. 　前記撮像素子に被写体像を結像させるレンズ群であって、合焦状態を変化させるフォーカスレンズを含むレンズ群と、
    　前記フォーカスレンズの位置を制御するレンズ制御部と、
    　前記撮像素子に結像した前記被写体像の合焦の程度を表す評価値に基づいて、前記評価値が高くなるように前記レンズ制御部に前記フォーカスレンズの位置を制御させるＡＦ演算部と
    　をさらに備え、
    　前記合焦評価部は、前記ＡＦ演算部が算出する前記評価値が極大となる状態において、合焦しているか否かを評価する、
    　請求項１に記載の撮像装置。
  4. 　前記合焦評価部は、前記第１の画像の前記評価値と前記第２の画像の前記評価値とに差異があるときは、合焦していないと評価する、請求項３に記載の撮像装置。
  5. 　前記合焦評価部が合焦していないと評価したとき、
    　前記レンズ制御部は、前記フォーカスレンズを所定量移動させ、
    　前記ＡＦ演算部は、前記評価値が高くなるように前記レンズ制御部に前記フォーカスレンズの位置を制御させる、
    　請求項３に記載の撮像装置。
  6. 　前記合焦評価部が合焦していないと評価したとき、
    　前記レンズ制御部は、前記ＡＦ演算部が算出する前記評価値が極大となる直前に前記フォーカスレンズを移動させていた方向に、前記フォーカスレンズを移動させ、
    　前記ＡＦ演算部は、前記評価値が高くなるように前記レンズ制御部に前記フォーカスレンズの位置を制御させる、
    　請求項５に記載の撮像装置。
  7. 　前記合焦評価部が合焦していないと評価したときに前記フォーカスレンズを移動させる移動量は、前記第１の画像と前記第２の画像との差異に基づいて算出される移動量である、請求項６に記載の撮像装置。
  8. 　前記合焦評価部が合焦していないと評価したときに前記フォーカスレンズを第１の方向に移動させた後、さらに前記ＡＦ演算部が算出する前記評価値が極大となる状態において前記合焦評価部が合焦していないと評価したとき、前記レンズ制御部は、前記第１の方向と逆方向である第２の方向に前記フォーカスレンズを移動させる、請求項５に記載の撮像装置。
  9. 　前記絞り込み画素は、前記通常画素の一部が遮光された画素であり、開口部の面積が前記第２の面積である、請求項１に記載の撮像装置。
  10. 　前記撮像素子に埋め込まれた位相差検出用の画素が前記絞り込み画素として用いられる、請求項９に記載の撮像装置。
  11. 　前記絞り込み画素が配置された画素においては、前記第１の面積を有する領域が複数の領域に分割されており、前記複数の領域のうち前記第２の面積を有する前記領域が前記絞り込み画素として用いられる、請求項１に記載の撮像装置。
  12. 　受光面が第１の面積を有する通常画素と、受光面が前記第１の面積よりも狭い第２の面積を有する絞り込み画素とを有する撮像素子により取得される画像に基づいて合焦評価を行う合焦評価装置であって、
    　前記通常画素により取得される第１の画像と前記絞り込み画素により取得される第２の画像とを比較して、合焦しているか否かを評価する合焦評価部を備える合焦評価装置。
PCT/JP2015/074868 2015-03-27 2015-09-01 撮像装置及び合焦評価装置 WO2016157569A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580075486.8A CN107209346A (zh) 2015-03-27 2015-09-01 摄像装置和合焦评价装置
JP2017509143A JPWO2016157569A1 (ja) 2015-03-27 2015-09-01 撮像装置及び合焦評価装置
US15/716,799 US10425574B2 (en) 2015-03-27 2017-09-27 Imaging device and focusing evaluation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015067043 2015-03-27
JP2015-067043 2015-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/716,799 Continuation US10425574B2 (en) 2015-03-27 2017-09-27 Imaging device and focusing evaluation device

Publications (1)

Publication Number Publication Date
WO2016157569A1 true WO2016157569A1 (ja) 2016-10-06

Family

ID=57005740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074868 WO2016157569A1 (ja) 2015-03-27 2015-09-01 撮像装置及び合焦評価装置

Country Status (4)

Country Link
US (1) US10425574B2 (ja)
JP (1) JPWO2016157569A1 (ja)
CN (1) CN107209346A (ja)
WO (1) WO2016157569A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
JP7452177B2 (ja) * 2020-03-27 2024-03-19 ソニーグループ株式会社 医療用観察システム、制御装置、制御方法、および撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311412A (ja) * 1993-04-22 1994-11-04 Sanyo Electric Co Ltd オートフォーカスビデオカメラ
JP2014107593A (ja) * 2012-11-22 2014-06-09 Nikon Corp 撮像装置およびレンズユニット

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561749A (en) 1983-02-02 1985-12-31 Nippon Kogaku K.K. Focus detection apparatus
JPH02244019A (ja) 1990-02-02 1990-09-28 Nikon Corp 焦点検出装置
JP2004012815A (ja) 2002-06-06 2004-01-15 Sigma Corp オートフォーカスカメラ
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5219951B2 (ja) * 2009-07-16 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP5301414B2 (ja) * 2009-10-28 2013-09-25 京セラ株式会社 撮像装置
JP6131721B2 (ja) 2013-05-31 2017-05-24 株式会社ニコン 焦点検出装置および焦点調節装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311412A (ja) * 1993-04-22 1994-11-04 Sanyo Electric Co Ltd オートフォーカスビデオカメラ
JP2014107593A (ja) * 2012-11-22 2014-06-09 Nikon Corp 撮像装置およびレンズユニット

Also Published As

Publication number Publication date
CN107209346A (zh) 2017-09-26
US10425574B2 (en) 2019-09-24
JPWO2016157569A1 (ja) 2017-11-16
US20180020152A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
US8264592B2 (en) Image pickup apparatus having improved contrast autofocus accuracy
US10264173B2 (en) Image capturing apparatus and control method thereof, and storage medium
US10244157B2 (en) Interchangeable lens apparatus and image capturing apparatus capable of acquiring in-focus state at different image heights, and storage medium storing focusing program
JP2010113073A (ja) 撮像装置
JP2007225808A (ja) オートフォーカスユニット及びデジタルカメラ
JP5366643B2 (ja) 撮像装置
JP6154081B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
US10477101B2 (en) Focus detection apparatus, control method and storage medium
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP2012060371A (ja) 撮像システムおよび画素信号読出し方法
WO2018004001A1 (ja) カメラ
US20160173758A1 (en) Focus detection apparatus and control method for focus detection apparatus
US9906709B2 (en) Image pickup apparatus having image pickup element including a plurality of pixels, each pixel including a plurality of photodiodes corresponding to microlens, lens unit to be removably mounted on image pick up apparatus, and methods of controlling image pickup apparatus and lens unit
JP6154080B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
JP6220144B2 (ja) 焦点調節装置およびその制御方法
WO2016157569A1 (ja) 撮像装置及び合焦評価装置
US9742983B2 (en) Image capturing apparatus with automatic focus adjustment and control method thereof, and storage medium
JP2014146935A (ja) 撮像装置およびその制御プログラム
JP6765875B2 (ja) 焦点調節装置及び焦点調節方法
JP6624789B2 (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP5446720B2 (ja) 焦点検出装置、撮像装置
JP2017032874A (ja) 焦点検出装置及び方法、及び撮像装置
JP2011112731A (ja) 撮像装置
JP6902921B2 (ja) 撮像装置、制御方法、及びプログラム
JP5619227B2 (ja) 撮像装置及び該撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887711

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017509143

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887711

Country of ref document: EP

Kind code of ref document: A1