WO2017138200A1 - 撮像装置、および、撮像装置の制御方法 - Google Patents

撮像装置、および、撮像装置の制御方法 Download PDF

Info

Publication number
WO2017138200A1
WO2017138200A1 PCT/JP2016/083160 JP2016083160W WO2017138200A1 WO 2017138200 A1 WO2017138200 A1 WO 2017138200A1 JP 2016083160 W JP2016083160 W JP 2016083160W WO 2017138200 A1 WO2017138200 A1 WO 2017138200A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
image data
unit
focus lens
lines
Prior art date
Application number
PCT/JP2016/083160
Other languages
English (en)
French (fr)
Inventor
住広　博
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/063,866 priority Critical patent/US11249279B2/en
Publication of WO2017138200A1 publication Critical patent/WO2017138200A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Definitions

  • the present technology relates to an imaging device and a method for controlling the imaging device. Specifically, the present invention relates to an imaging device that detects a focus based on contrast, and a method for controlling the imaging device.
  • a contrast AF (Auto-Focus) method for detecting a focus based on contrast has been widely used in imaging apparatuses and the like.
  • This contrast AF method is classified into a method of driving the focus lens even during imaging and a method of driving the focus lens only when imaging is not performed.
  • the former method is used when focus detection is performed at high speed.
  • an imaging apparatus that captures an image by a rolling shutter system while driving a focus lens and detects a focus position of the focus lens based on a contrast evaluation value of the image (see, for example, Patent Document 1). .
  • the rolling shutter method is a method in which the exposure start and the exposure end are sequentially performed at different timings for each line in the image.
  • a method of starting and ending exposure for all the lines simultaneously is called a global shutter method.
  • the position of the focus lens at the time of exposure differs for each line.
  • the position P bottom of the bottom line L bottom with the latest exposure timing is on the far side with respect to the focus lens position P top of the top line L top with the earliest exposure timing.
  • the contrast of the bottom line L bottom is relatively strong and the contrast of the top line L top is relatively weak.
  • the contrast of the entire AF area becomes stronger than the actual value, and an error occurs in the contrast evaluation value. As a result, focus detection accuracy is degraded.
  • the above-described imaging apparatus has a problem that it is difficult to detect the focus with high accuracy and at high speed.
  • This technology has been created in view of such a situation, and aims to detect a focus at high speed with high accuracy in the contrast AF method.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology moves the position of the focus lens from one of the image side and the object side to the other over a predetermined driving period.
  • a focus lens driving unit an imaging unit that simultaneously starts exposure of a plurality of lines within the predetermined driving period and then ends exposure of the plurality of lines simultaneously to generate image data, and a contrast of the image data
  • An image pickup apparatus including a focus detection unit that detects a focus position of the focus lens based on the focus lens, and a control method thereof. This brings about the effect that exposure of a plurality of lines starts and ends simultaneously within the drive period of the focus lens.
  • the plurality of lines include a plurality of pixel blocks arranged in a predetermined direction, and each of the plurality of pixel blocks includes a floating diffusion layer, a plurality of photoelectric conversion units, And a plurality of transfer transistors that transfer charges generated by each of the plurality of photoelectric conversion units to the floating diffusion layer.
  • the plurality of transfer transistors may simultaneously transfer the charge to the floating diffusion layer at a start time and an end time of a predetermined exposure period within the driving period. This brings about the effect that the start and end of exposure of all lines are performed simultaneously.
  • some of the plurality of transfer transistors transfer the charge to the floating diffusion layer at the start time and end time of a predetermined exposure period within the driving period. Also good. This brings about the effect that the start and end of exposure of some lines are performed simultaneously.
  • the focus lens driving unit moves the focus lens to the in-focus position
  • the imaging unit has more than the plurality of lines when the focus lens moves to the in-focus position.
  • the exposure of the plurality of lines may be sequentially started and then the exposure of the plurality of lines may be sequentially ended to capture high-resolution image data having a higher resolution than the image data. This brings about the effect that the high-resolution image data is picked up after the focus lens moves to the in-focus position.
  • each of the plurality of lines includes a plurality of pixels arranged in a predetermined direction.
  • Each of the plurality of pixels includes a floating diffusion layer, a photoelectric conversion unit, and the photoelectric conversion. And a transfer transistor that transfers the charge generated by the unit to the floating diffusion layer. This brings about the effect
  • a depth map generation unit that generates a depth map from the in-focus position, and predetermined image processing is performed on new image data different from the image data based on the depth map.
  • a post-processing unit wherein the focus lens driving unit moves the focus lens to the in-focus position, and the imaging unit receives the new image data when the focus lens moves to the in-focus position. You may image.
  • predetermined image processing is performed on image data captured after the focus lens moves to the in-focus position.
  • the imaging unit may start the exposure of the plurality of lines simultaneously with the pixel array unit in which the plurality of lines are arranged, and the plurality of lines within the predetermined driving period.
  • You may provide the driver which complete
  • the signal processing may include correlated double sampling processing. This brings about the effect
  • the pixel array unit is provided on a predetermined chip among the plurality of stacked chips
  • the signal processing unit is provided on a chip different from the predetermined chip among the plurality of chips. It may be provided. This brings about the effect that the image data is picked up by the pixel array unit and the signal processing unit distributed on the plurality of stacked chips.
  • the imaging unit may include a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor. This brings about the effect that image data is imaged by the CMOS image sensor.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the exposure of a plurality of lines is started at the same time, and then the exposure of the plurality of lines is simultaneously ended to generate image data and the exposure of the plurality of lines is sequentially started.
  • the imaging unit that sequentially ends the exposure of the plurality of lines and generates high-resolution image data having a higher resolution than the image data, and determines the focus position of the focus lens based on the contrast of the image data.
  • An image pickup apparatus including an image processing unit that performs processing for detection and predetermined image processing for the high-resolution image data. As a result, an in-focus position is detected based on the contrast of the image data, and predetermined image processing is performed on the high-resolution image data.
  • the present technology it is possible to achieve an excellent effect that the focus can be detected with high accuracy and high speed in the contrast AF method.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 3 is an example of a potential diagram of a pixel circuit at the start of exposure and during exposure in the first embodiment of the present technology.
  • FIG. 3 is an example of a potential diagram of a pixel circuit at the end of exposure and during reading in the first embodiment of the present technology.
  • 3 is a timing chart illustrating an example of a pixel circuit control method according to the first embodiment of the present technology.
  • 6 is a timing chart illustrating an example of timings of exposure start, exposure end, and readout in the first embodiment of the present technology. It is a figure for demonstrating the contrast AF system in 1st Embodiment of this technique. It is a figure for demonstrating the contrast AF system in a comparative example. It is a figure for demonstrating the AF precision of a comparative example.
  • 7 is a flowchart illustrating an example of an operation of the imaging device according to the first embodiment of the present technology.
  • 3 is a flowchart illustrating an example of a focus detection process according to the first embodiment of the present technology.
  • 14 is a timing chart illustrating an example of timings of exposure start, exposure end, and readout in the second embodiment of the present technology.
  • 12 is a flowchart illustrating an example of an operation of the imaging device according to the second embodiment of the present technology. It is a block diagram showing an example of 1 composition of an image processing part in a 3rd embodiment of this art.
  • First embodiment an example of detecting the contrast of an image captured by the global shutter method
  • Second embodiment an example of detecting the contrast of an image captured by the global shutter method and capturing an image by the rolling shutter method
  • Third Embodiment Example in which the contrast of an image captured by the global shutter method is detected and a depth map is generated
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 includes an imaging lens 110, an imaging element 200, an image processing unit 120, a recording unit 130, an imaging control unit 140, and a focus lens driving unit 150.
  • the imaging lens 110 collects light from the subject and guides it to the imaging device 200.
  • This imaging lens is composed of a plurality of lenses including a focus lens.
  • the imaging element 200 generates image data in synchronization with the vertical synchronization signal VSYNC from the imaging control unit 140.
  • a CMOS (Complementary Metal Oxide Semiconductor Image) image sensor is used as the image sensor 200.
  • the image sensor 200 supplies the generated image data to the image processing unit 120 via the signal line 209.
  • the part which consists of the imaging lens 110 and the image pick-up element 200 is an example of the imaging part as described in a claim.
  • the image processing unit 120 performs various types of image processing on the image data in accordance with the control of the imaging control unit 140.
  • a mode signal MODE generated by the imaging control unit 140 is input to the image processing unit 120.
  • the mode signal MODE is a signal indicating whether the imaging apparatus 100 is in the sensing mode or the viewing mode.
  • the sensing mode is a mode for detecting the focus position of the focus lens by the contrast AF method.
  • the viewing mode is a mode in which image data is captured in a state where the focus lens has moved to the in-focus position.
  • the image processing unit 120 detects the focus position of the focus lens based on the contrast of the image data. Then, the image processing unit 120 supplies the in-focus position to the focus lens driving unit 150 via the signal line 128.
  • the image processing unit 120 performs various image processing such as demosaic processing and white balance processing on the image data. Then, the image processing unit 120 supplies the processed image data to the recording unit 130 via the signal line 129. The recording unit 130 records image data.
  • the imaging control unit 140 controls the entire imaging apparatus 100.
  • the imaging control unit 140 generates a mode signal MODE and a vertical synchronization signal VSYNC in accordance with a user operation. For example, when an operation of pressing the shutter button halfway is performed, the imaging control unit 140 sets the sensing mode in the mode signal MODE. For example, when an operation of fully pressing the shutter button is performed, the imaging control unit 140 sets the viewing mode in the mode signal MODE. Further, when the start of imaging is instructed by operating a button or the like, the imaging control unit 140 generates a periodic signal having a predetermined frequency as the vertical synchronization signal VSYNC.
  • the imaging control unit 140 supplies the vertical synchronization signal VSYNC to the imaging device 200 via the signal line 148 and supplies the mode signal MODE to the image processing unit 120 and the focus lens driving unit 150 via the signal line 149.
  • the vertical synchronization signal VSYNC is continuously supplied until the end of imaging is instructed.
  • the imaging control unit 140 may further supply a signal for controlling the exposure time to the imaging element 200 in addition to the vertical synchronization signal VSYNC.
  • the focus lens driving unit 150 drives the focus lens.
  • the focus lens drive unit 150 When the focus lens drive unit 150 is set to the sensing mode, the focus lens position is continuously changed from one of the image side (near) and the object side (fur) to the other at a constant speed over a predetermined drive period. Move to. A plurality of image data is imaged by the imaging element 200 within the driving period of the focus lens. Even during these imaging operations, the focus lens is continuously driven without stopping.
  • the focus lens driving unit 150 moves the focus lens to the in-focus position. In the viewing mode, the focus lens driving unit 150 fixes the focus lens at the in-focus position.
  • the imaging lens 110, the imaging device 200, the image processing unit 120, the recording unit 130, the imaging control unit 140, and the focus lens driving unit 150 are provided in the same device, but these are distributed in a plurality of devices. Also good.
  • the imaging lens 110 and the imaging element 200 may be provided in a camera module attached to the information processing apparatus, and the rest may be provided in the information processing apparatus.
  • FIG. 2 is a block diagram illustrating a configuration example of the image processing unit 120 according to the first embodiment.
  • the image processing unit 120 includes a switching unit 121, a demosaic processing unit 122, a contrast evaluation value calculation unit 123, and a focus detection unit 124.
  • the switching unit 121 switches the output destination of the image data according to the mode signal MODE.
  • Image data from the image sensor 200 is input to the switching unit 121 as RAW image data.
  • the switching unit 121 supplies the RAW image data to the contrast evaluation value calculation unit 123.
  • the switching unit 121 supplies the RAW image data to the demosaic processing unit 122.
  • the demosaic processing unit 122 performs demosaic processing on the raw image data by interpolating missing color information from pixels around each pixel.
  • the demosaic processing unit 122 supplies the image data after demosaic processing to the recording unit 130 as demosaic image data.
  • the image processing unit 120 performs demosaic processing, but may perform other image processing such as white balance processing, YC conversion processing, and image composition processing.
  • the image processing unit 120 may output image data that has been subjected to white balance processing or the like without performing demosaic processing.
  • the contrast evaluation value calculation unit 123 calculates a value indicating the degree of contrast intensity in the AF area in the RAW image data as the contrast evaluation value every time RAW image data is input.
  • the AF area is an area for calculating a contrast evaluation value, and a part or all of the image data is preset as the AF area.
  • the contrast evaluation value calculation unit 123 extracts a high frequency component using a high-pass filter that passes a high frequency component exceeding a predetermined cutoff frequency, and calculates the value of the component as a contrast evaluation value. Then, the contrast evaluation value calculation unit 123 supplies the calculated contrast evaluation value to the focus detection unit 124.
  • the focus detection unit 124 detects the position of the focus lens in focus as the focus position based on the contrast evaluation value.
  • the focus detection unit 124 holds the position of the focus lens and the contrast evaluation value for each RAW image data captured while the focus lens is being driven.
  • a representative position representative of the position of the focus lens at each point in time during the exposure period is held for each RAW image data. For example, when the focus lens is driven at a constant speed, the lens position at the middle of the exposure period is used as the representative position.
  • the focus detection unit 124 detects the position of the focus lens having the strongest contrast as the in-focus position from the plurality of contrast evaluation values and the lens positions corresponding to the respective contrast evaluation values. The focus detection unit 124 supplies the detected focus position to the focus lens driving unit 150.
  • FIG. 3 is a block diagram illustrating a configuration example of the image sensor 200 according to the first embodiment.
  • the image sensor 200 includes a plurality of stacked chips. These chips are composed of, for example, three layers of a pixel array chip 201, a signal processing chip 202, and a memory chip 203.
  • the pixel array chip 201 is provided with a row selection unit 210 and a pixel array unit 220, and the pixel array unit 220 has a plurality of pixel circuits 230 arranged in a two-dimensional lattice pattern.
  • a set of pixel circuits 230 arranged in a predetermined direction is hereinafter referred to as “row” or “line”, and a set of pixel circuits 230 arranged in a direction perpendicular to the direction is hereinafter referred to as “column”.
  • N is an integer
  • M is an integer
  • the nth (n is an integer from 1 to N) th row is connected to the horizontal signal line 219-n
  • the mth (m is an integer from 1 to M) th column is connected to the vertical signal line 239-m. .
  • the signal processing chip 202 is provided with a control unit 240, M AD (Analog to Digital) converters 250, a data latch unit 260, and a data processing unit 270.
  • the AD converter 250 is provided for each column.
  • a memory unit 280 is provided in the memory chip 203.
  • the control unit 240 controls the row selection unit 210, the AD converter 250, and the data latch unit 260 in synchronization with the vertical synchronization signal VSYNC.
  • the row selection unit 210 selects and exposes all rows simultaneously under the control of the control unit 240. Further, the row selection unit 210 sequentially selects the exposed rows and causes the AD converter 250 to output an analog pixel signal.
  • the AD converter 250 converts the pixel signal from the corresponding column into a digital signal.
  • the AD converter 250 supplies the AD converted signal to the data latch unit 260 as pixel data.
  • the data latch unit 260 reads pixel data from the AD converter 250 in order under the control of the control unit 240.
  • the data latch unit 260 supplies the pixel data to the memory unit 280 or the data processing unit 270.
  • the memory unit 280 holds image data including pixel data.
  • the data processing unit 270 performs CDS (Correlated Double Sampling) processing on the image data.
  • the data processing unit 270 supplies the image data after the CDS process to the image processing unit 120.
  • each of the circuits and elements in the image sensor 200 is distributed and provided on three stacked chips, it may be provided on a number of chips (such as two) other than three.
  • the memory unit 280 is provided on the signal processing chip 202 side.
  • each of the circuits and elements in the image sensor 200 may be provided on one chip.
  • FIG. 4 is a circuit diagram illustrating a configuration example of the pixel circuit 230 according to the first embodiment.
  • the pixel circuit 230 includes a photodiode 231, a transfer transistor 232, a reset transistor 233, a floating diffusion layer 234, an amplification transistor 235 and a selection transistor 236.
  • the photodiode 231 generates charges by photoelectrically converting light.
  • the photodiode 231 is an example of a photoelectric conversion unit described in the claims.
  • the transfer transistor 232 transfers the charge generated by the photodiode 231 to the floating diffusion layer 234 under the control of the row selection unit 210.
  • the floating diffusion layer 234 accumulates the charge transferred from the photodiode 231 and generates a voltage corresponding to the amount of the charge.
  • the reset transistor 233 sets the charge amount of the floating diffusion layer 234 to an initial value under the control of the row selection unit 210.
  • the amplification transistor 235 amplifies the voltage of the floating diffusion layer 234.
  • the selection transistor 236 supplies a voltage signal amplified by the amplification transistor 235 as a pixel signal to the AD converter 250 via a vertical signal line under the control of the row selection unit 210.
  • FIG. 5 is an example of a potential diagram of the pixel circuit 230 at the start of exposure and during exposure in the first embodiment.
  • the row selection unit 210 selects all the rows at the same time and controls the transfer transistors 232 to be in an ON state over a predetermined pulse period.
  • the photodiodes 231 and the floating diffusion layers 234 in all rows are collectively reset.
  • a in the figure shows a potential diagram at the start of exposure.
  • the row selection unit 210 sequentially selects rows, and sequentially controls the reset transistor 233 and the selection transistor 236 to be in an on state over the pulse period. Thereby, the noise component NKTC generated by the reset is read as the P phase.
  • B in FIG. 5 shows a potential diagram at the time of P-phase reading. The read P phase is held in the memory unit 280.
  • the signal component N sig corresponding to the exposure time is accumulated in the photodiode 231.
  • C in FIG. 5 shows a potential diagram during exposure accumulation.
  • FIG. 6 is an example of a potential diagram of the pixel circuit 230 at the end of exposure and during reading in the first embodiment.
  • the row selection unit 210 selects all rows and controls the transfer transistors 232 to be in an ON state over the pulse period.
  • the signal component N sig is transferred to the floating diffusion layer 234.
  • a in the figure shows a potential diagram at the end of exposure.
  • the row selection unit 210 sequentially selects the rows and controls the selection transistor 236 to be in an on state over the pulse period.
  • a signal composed of the noise component NKTC and the signal component N sig is read out as the D phase.
  • B in FIG. 6 shows a potential diagram at the time of D-phase reading.
  • the data processing unit 270 reads the P phase from the memory unit 280 and calculates the difference between the D phase and the P phase for each pixel. By this calculation, the noise component NKTC can be removed. This process is called a CDS process.
  • FIG. 7 is a timing chart showing an example of a control method of the pixel circuit 230 in the first embodiment.
  • the row selection unit 210 controls the transfer transistors 232 of all lines (rows) to be in an ON state over the pulse period at the start time Ts of exposure of the first image.
  • the row selection unit 210 controls the reset transistor 233 of the line L1 to be in an ON state over the pulse period.
  • the row selection unit 210 controls the selection transistor 236 on the line L1 to be in an ON state over the pulse period.
  • the P phase of the line L1 is read.
  • the P phase of the line L2 is read.
  • the P phase of each line is read in order.
  • the transfer transistors 232 of all the lines are controlled to be in an ON state over the pulse period. Thereby, the exposure of the first image is completed and the exposure of the second image is started.
  • the row selection unit 210 controls the selection transistor 236 on the line L1 to be in an ON state over the pulse period. Thereby, the D phase of the line L1 is read.
  • the row selection unit 210 controls the reset transistor 233 of the line L1 to be in an ON state over a pulse period.
  • the row selection unit 210 controls the selection transistor 236 on the line L1 to be in an ON state over the pulse period.
  • the P phase of the line L1 is read.
  • the D and P phases on the line L2 are read.
  • the D phase and the P phase of each line are read in order.
  • FIG. 8 is a timing chart showing an example of the timings of exposure start, exposure end, and readout in the first embodiment.
  • the vertical axis indicates the address of the line
  • the horizontal axis indicates time.
  • the row selection unit 210 selects all the rows simultaneously and starts exposure. Then, the row selection unit 210 sequentially selects the lines and outputs the P phase to the selected lines.
  • the row selection unit 210 selects all the rows at the same time and ends the exposure. At the same time, the second exposure is started. Then, the row selection unit 210 sequentially selects the lines and outputs the P phase and the D phase to the selected lines.
  • the row selection unit 210 simultaneously selects all lines (rows) at the start of exposure and at the end of exposure, and sequentially selects the lines when reading out P-phase and D-phase pixel signals.
  • This control method is generally called a global shutter method.
  • an image is captured by the global shutter method in both the sensing mode and the viewing mode.
  • FIG. 9 is a diagram for explaining the contrast AF method in the first embodiment.
  • a is a timing chart showing an example of timings of exposure start, exposure end, and readout.
  • the vertical axis indicates the address of the line, and the horizontal axis indicates time.
  • the gray area indicates the AF area, and the solid line indicates the signal readout timing in the AF area.
  • a plurality of images are continuously captured by the global shutter method.
  • FIG. 9B is a diagram illustrating an example of the locus of the focus lens.
  • the vertical axis in b of the figure shows the position of the focus lens, and the horizontal axis shows time.
  • the focus lens is driven from near to far at a constant speed. And a some image is imaged within the drive period.
  • C in FIG. 9 is a diagram illustrating an example of a contrast evaluation value curve.
  • the vertical axis in c of the figure shows the contrast evaluation value
  • the horizontal axis shows the position of the focus lens.
  • the black circle in c in the figure is a plot of the contrast evaluation value corresponding to each of the focus lens position P g1 to P g5.
  • the focus detection unit 124 detects the focus position P focus having the strongest contrast from the locus of these plots.
  • FIG. 10 is a diagram for explaining the contrast AF method in the comparative example.
  • a is a timing chart showing an example of timings of exposure start, exposure end, and readout.
  • the vertical axis indicates the address of the line
  • the horizontal axis indicates time.
  • a gray area indicates an AF area
  • a thick solid line indicates a signal read timing in the AF area.
  • a plurality of images are continuously captured by a rolling shutter system in which lines are sequentially selected at the start of exposure, the end of exposure, and readout.
  • FIG. 10b is a diagram showing an example of the locus of the focus lens.
  • the locus of the focus lens of the comparative example is the same as that of the first embodiment.
  • the method for detecting the focal position in the comparative example is the same as that in the first embodiment.
  • FIG. 11 is a diagram for explaining the AF accuracy of the comparative example.
  • a in the figure shows a test image 500.
  • the contrast of the bottom line is the strongest and the contrast of the top line is the weakest. And as the top line approaches the bottom line, the contrast gradually increases.
  • FIG. 11 is a timing chart showing an example of each timing of exposure start, exposure end, and readout.
  • the vertical axis indicates the address of the line
  • the horizontal axis indicates time.
  • the solid line indicates the timing when the image is captured by the rolling shutter method
  • the alternate long and short dash line indicates the timing when the image is captured by the global shutter method.
  • 11c is a diagram showing an example of the locus of the focus lens.
  • the vertical axis in b of the figure shows the position of the focus lens, and the horizontal axis shows time.
  • a solid line indicates the locus of the first embodiment or the comparative example that drives the focus lens even during the exposure period.
  • the alternate long and short dash line indicates a locus when the focus lens is stopped during exposure.
  • the focus lens position for each line is different.
  • the focus lens position P top corresponding to the top line is closer to the nearer than the focus lens position P bottom corresponding to the bottom line.
  • the actual focus position P focus of the focus lens is far from the position P bottom corresponding to the bottom line.
  • the position P bottom corresponding to the bottom line is closer to the in-focus position P focus than the position P center corresponding to the center line, so the contrast of the bottom line is stronger than the reference configuration.
  • the original contrast is weak at the top line of the test image 500, there is almost no variation compared to the reference configuration.
  • the closer to the top line the stronger the contrast than the reference, and the contrast of the entire image becomes stronger than the reference.
  • the contrast obtained in the first embodiment is almost a reference value. Strictly speaking, since the position of the focus lens is different at the start of exposure and at the end of exposure, a slight error occurs with respect to the reference configuration having the same position, but the error was imaged by the rolling shutter method. Smaller than the case.
  • the imaging apparatus 100 can detect the focus at high speed with high accuracy in the contrast AF method.
  • FIG. 12 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the first embodiment. This operation starts, for example, when the imaging apparatus 100 is turned on.
  • the imaging apparatus 100 determines whether or not the shutter button has been half-pressed (step S901). When the shutter button is not half-pressed (step S901: No), the imaging apparatus 100 repeats step S901.
  • step S901 When the shutter button is half-pressed (step S901: Yes), the imaging apparatus 100 executes a focus detection process for detecting the in-focus position (step S910). Then, the imaging apparatus 100 determines whether or not the shutter button has been fully pressed (step S902). When the shutter button is not fully pressed (step S902: No), the imaging apparatus 100 repeats step S902.
  • step S902 When the shutter button is fully pressed (step S902: Yes), the imaging apparatus 100 captures image data using the global shutter method (step S903). The imaging apparatus 100 performs various types of image processing on the image data (step S904), and ends the operation for imaging.
  • FIG. 13 is a flowchart showing an example of the focus detection process in the first embodiment.
  • the imaging apparatus 100 drives the focus lens from near to far at a constant speed (step S911). Further, the imaging apparatus 100 captures a plurality of pieces of image data by the global shutter method while the focus lens is being driven (step S912). Then, the imaging apparatus 100 calculates the contrast evaluation value of the AF area for each image data (step S913).
  • the imaging apparatus 100 detects the in-focus position from the calculated contrast evaluation value and the position of the corresponding focus lens (step S914). Then, the imaging apparatus 100 drives the focus lens to the detected in-focus position (Step S915), and ends the focus detection process.
  • the imaging apparatus 100 starts and ends the exposure of all rows at the same time while driving the focus lens over the driving period. It is possible to make all the positions of the focus lenses to be the same. Thereby, the AF accuracy can be improved as compared with the case where the exposure start and the exposure end are sequentially performed for each row. Further, the AF speed can be improved as compared with the configuration in which the exposure is performed while the focus lens is stopped.
  • Second Embodiment> image data having the same resolution is captured in the sensing mode for detecting the focus and the viewing mode in which imaging is performed in a focused state.
  • the higher the resolution of the image data the longer it takes to read out, so the AF speed may decrease in the sensing mode.
  • the imaging apparatus 100 according to the second embodiment is different from the first embodiment in that the AF speed is improved.
  • FIG. 14 is a circuit diagram illustrating a configuration example of the pixel array unit 220 according to the second embodiment.
  • pixel blocks including eight pixel circuits 230 of 4 rows ⁇ 2 columns are provided in a two-dimensional lattice pattern.
  • this pixel block only one of the pixel circuits 230 is provided with a reset transistor 233, a floating diffusion layer 234, an amplification transistor 235, and a selection transistor 236. All the pixel circuits 230 are provided with a photodiode 231 and a transfer transistor 232.
  • the transfer transistors 232 of the eight pixel circuits 230 are commonly connected to one floating diffusion layer 234.
  • one floating diffusion layer 234 is shared by the eight pixel circuits 230.
  • the reset transistor 233, the floating diffusion layer 234, the amplification transistor 235, and the selection transistor 236 may be arranged outside the pixel circuit and shared by the pixel circuits.
  • the row selection unit 210 simultaneously selects all the lines Lb made up of pixel blocks at the start of exposure and at the end of exposure in the sensing mode. As a result, all charges in the pixel block are transferred to the shared floating diffusion layer 234, and the pixel signals for eight pixels are analog-added. In reading, the row selection unit 210 sequentially selects the line Lb. Since the pixel block is 4 rows ⁇ 2 columns, the number of lines Lb formed of the pixel blocks is 1 ⁇ 4 of the line Lp formed of the pixel circuit 230. Therefore, the time required to read one image is 1 ⁇ 4 that of the first embodiment, and the AF speed can be improved. Instead, the resolution is reduced by pixel addition. However, in the contrast AF method, the influence of the reduction in resolution on the AF accuracy is small.
  • the row selection unit 210 sequentially selects and exposes the line Lp including the pixel circuit 230.
  • image data with higher resolution than that in the sensing mode can be obtained.
  • the imaging apparatus 100 captures a low-resolution image by the global shutter method in the sensing mode.
  • the imaging apparatus 100 captures a high-resolution image using a rolling shutter method.
  • the imaging apparatus 100 adds all the pixels in the pixel block in the sensing mode, but adds a part of the pixels in the pixel block (for example, four pixels arranged in the column direction). Also good. Thereby, the resolution can be improved and AF accuracy can be improved as compared with the case of adding 8 pixels.
  • it may be a pixel block made up of pixels other than 4 rows ⁇ 2 columns (2 rows ⁇ 1 column, etc.).
  • FIG. 15 is a timing chart showing an example of the timings of exposure start, exposure end, and readout in the second embodiment.
  • the vertical axis indicates an address for each line, and the horizontal axis indicates time.
  • the imaging apparatus 100 captures image data by the global shutter method at timings T v1 , T v2 , T v3, T v4, and the like, and detects a focus position from the contrast of the image data. And if it transfers to viewing mode in timing T view , the imaging device 100 will image image data with a rolling shutter system.
  • FIG. 16 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the second embodiment.
  • the operation of the imaging apparatus 100 of the second embodiment is different from that of the first embodiment in that step S905 is executed instead of step S903.
  • step S902 When the shutter button is fully pressed (step S902: Yes), the imaging apparatus 100 captures image data by the rolling shutter method (step S905), and executes step S904.
  • the imaging apparatus 100 detects a focus from the contrast of a low-resolution image, and captures a high-resolution image after focusing. This image can be taken at a high speed to improve the AF speed.
  • the image data generated in the sensing mode is used only for focus detection, but this image data can also be used in the viewing mode.
  • the imaging apparatus 100 according to the third embodiment is different from the first embodiment in that image data captured in the viewing mode is processed using image data generated in the sensing mode.
  • FIG. 17 is a block diagram illustrating a configuration example of the image processing unit 120 according to the third embodiment.
  • the image processing unit 120 of the third embodiment is different from the first embodiment in that it further includes a depth map generation unit 126 and a frame memory 127.
  • the depth map generator 126 generates a depth map based on the in-focus position detected by the focus detector 124.
  • This depth map is image data representing the distance to the subject for each pixel or for each of a plurality of blocks obtained by dividing the image. For example, a gray image in which the distance is expressed by brightness is generated as a depth map.
  • the depth map generation unit 126 stores the generated depth map in the frame memory 127.
  • the blur processing unit 125 performs blur processing on the image data based on the depth map. For example, a blurring process is performed on a portion farther than a certain distance, and a portrait image in which the subject in front is emphasized is generated. By using the depth map, it is not necessary for the user to manually specify the blur range, and convenience can be improved. Note that the blurring processing unit 125 is an example of a post-processing unit described in the claims.
  • the image processing unit 120 may perform image processing other than blur processing as long as it uses image data generated in the sensing mode.
  • the image processing unit 120 may perform a process of generating a pair of parallax images from one image data based on the depth map.
  • a low-resolution image is captured by the global shutter method when the sensing mode is set, and a high-resolution image is acquired by the rolling shutter method when the viewing mode is set. You may image.
  • the blurring process is performed using the depth map generated at the time of focus detection, it is not necessary for the user to manually specify the blurring range. , Can improve convenience.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a focus lens driving unit that moves the position of the focus lens from one of the image side and the object side to the other over a predetermined driving period;
  • An imaging unit that simultaneously starts exposure of a plurality of lines within the predetermined driving period and then simultaneously ends exposure of the plurality of lines to generate image data; and
  • An imaging apparatus comprising: a focus detection unit that detects a focus position of the focus lens based on a contrast of the image data.
  • the plurality of lines include a plurality of pixel blocks arranged in a predetermined direction, Each of the plurality of pixel blocks is A floating diffusion layer; A plurality of photoelectric conversion units;
  • the imaging apparatus according to (1) further comprising: a plurality of transfer transistors configured to transfer charges generated by the plurality of photoelectric conversion units to the floating diffusion layer.
  • some of the plurality of transfer transistors simultaneously transfer the charge to the floating diffusion layer at a start time and an end time of a predetermined exposure period within the driving period. apparatus.
  • the focus lens driving unit moves the focus lens to the in-focus position, When the focus lens moves to the in-focus position, the imaging unit sequentially starts exposure of more lines than the plurality of lines, and then ends exposure of the plurality of lines in order and has a higher resolution than the image data.
  • the imaging device according to any one of (2) to (4), which images high-resolution image data.
  • Each of the plurality of lines includes a plurality of pixels arranged in a predetermined direction, Each of the plurality of pixels is A floating diffusion layer; A photoelectric conversion unit; The imaging apparatus according to (1), further comprising: a transfer transistor that transfers the charge generated by the photoelectric conversion unit to the floating diffusion layer.
  • a depth map generating unit that generates a depth map from the in-focus position
  • a post-processing unit that performs predetermined image processing on new image data different from the image data based on the depth map
  • the focus lens driving unit moves the focus lens to the in-focus position
  • the imaging apparatus according to any one of (1) to (7), wherein the imaging unit captures the new image data when the focus lens moves to the in-focus position.
  • the imaging unit A pixel array section in which a plurality of lines are arranged; A driver that simultaneously starts exposure of the plurality of lines within the predetermined drive period and then simultaneously ends exposure of the plurality of lines to generate an image signal; and The imaging apparatus according to any one of (1) to (7), further including a signal processing unit that performs predetermined signal processing on the image signal to generate the image data.
  • the pixel array unit is provided in a predetermined chip among a plurality of stacked chips, The imaging device according to (8) or (9), wherein the signal processing unit is provided in a chip different from the predetermined chip among the plurality of chips.
  • the imaging apparatus according to any one of (1) to (10), wherein the imaging unit includes a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • An imaging unit that performs processing for generating high-resolution image data having a resolution higher than that of the image data by ending in sequence;
  • An image pickup apparatus comprising: an image processing unit that performs a process of detecting a focus position of the focus lens based on a contrast of the image data and a predetermined image process for the high-resolution image data.
  • a focus lens driving procedure for moving the position of the focus lens from one of the image side and the object side to the other over a predetermined driving period;
  • An imaging procedure for generating image data by simultaneously starting exposure of a plurality of lines within the predetermined driving period and then simultaneously ending exposure of the plurality of lines,
  • a focus detection procedure for detecting a focus position of the focus lens based on the contrast of the image data.
  • Imaging device 110 Imaging lens 120 Image processing part 121 Switching part 122 Demosaic processing part 123 Contrast evaluation value calculation part 124 Focus detection part 125 Blur processing part 126 Depth map generation part 127 Frame memory 130 Recording part 140 Imaging control part 150 Focus lens drive Unit 200 imaging device 201 pixel array chip 202 signal processing chip 203 memory chip 210 row selection unit 220 pixel array unit 230 pixel circuit 231 photodiode 232 transfer transistor 233 reset transistor 234 floating diffusion layer 235 amplification transistor 236 selection transistor 240 control unit 250 AD Converter 260 Data latch unit 270 Data processing unit 280 Memory unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

コントラストＡＦ方式において高い精度で高速に焦点を検出する。　撮像装置は、フォーカスレンズ駆動部、撮像部および焦点検出部を具備する。フォーカスレンズ駆動部は、所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させる。撮像部は、所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する。焦点検出部は、画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する。

Description

撮像装置、および、撮像装置の制御方法
　本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、コントラストに基づいて焦点を検出する撮像装置、および、撮像装置の制御方法に関する。
　従来より、コントラストに基づいて焦点を検出するコントラストＡＦ（Auto Focus）方式が撮像装置などにおいて広く用いられている。このコントラストＡＦ方式は、撮像中もフォーカスレンズを駆動する方法と、撮像していないときにのみフォーカスレンズを駆動する方法とに分類される。焦点の検出を高速に行う場合には、前者の方法が用いられる。例えば、フォーカスレンズを駆動しつつ、ローリングシャッター方式で画像を撮像し、その画像のコントラスト評価値に基づいてフォーカスレンズの合焦位置を検出する撮像装置が提案されている（例えば、特許文献１参照。）。ここで、ローリングシャッター方式は、画像内のラインのそれぞれについて、異なるタイミングで順に露光開始および露光終了させる方式である。これに対して、ラインの全てについて同時に露光開始および露光終了させる方式は、グローバルシャッター方式と呼ばれる。
特開２０１３－８０２４８号公報
　上述の撮像装置では、フォーカスレンズの駆動中において、ラインごとの露光タイミングが異なるローリングシャッター方式で撮像するため、ラインごとに露光時のフォーカスレンズの位置が異なるものとなる。例えば、フォーカスレンズをニアからファーに移動させる場合、露光タイミングの最も早いトップラインＬtopのフォーカスレンズの位置Ｐtopに対して、露光タイミングの最も遅いボトムラインＬbottomの位置Ｐbottomはファー側になる。位置Ｐtopよりも位置Ｐbottomの方が合焦位置に近い場合、ボトムラインＬbottomのコントラストは比較的強くなり、トップラインＬtopのコントラストは比較的弱くなる。ここで、ボトムラインに近いほどコントラストが強い被写体を撮像すると、ＡＦエリア全体のコントラストが実際の値よりも強めになり、コントラスト評価値に誤差が生じてしまう。この結果、焦点検出精度が低下してしまう。
　露光中にドライバがフォーカスレンズを停止する構成とすれば、ラインごとのフォーカスレンズの位置が同一になるため、焦点検出精度を向上させることができるが、その構成では焦点の検出速度が低下してしまう。このように、上述の撮像装置では、高精度で高速に焦点を検出することが困難であるという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、コントラストＡＦ方式において高精度で高速に焦点を検出することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、上記所定の駆動期間内において複数のラインの露光を同時に開始させてから上記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、上記画像データのコントラストに基づいて上記フォーカスレンズの合焦位置を検出する焦点検出部とを具備する撮像装置、および、その制御方法である。これにより、フォーカスレンズの駆動期間内に、複数のラインの露光が同時に開始および終了するという作用をもたらす。
　また、この第１の側面において、上記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、上記複数の画素ブロックのそれぞれは、浮遊拡散層と、複数の光電変換部と、上記複数の光電変換部のそれぞれにより生成された電荷を上記浮遊拡散層に転送する複数の転送トランジスタとを備えてもよい。これにより、浮遊拡散層を共有する複数の画素により、画像データが撮像されるという作用をもたらす。
　また、この第１の側面において、上記複数の転送トランジスタは、上記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて上記電荷を上記浮遊拡散層に同時に転送してもよい。これにより、全ラインの露光の開始および終了が同時に行われるという作用をもたらす。
　また、この第１の側面において、上記複数の転送トランジスタの一部のトランジスタは、上記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて上記電荷を上記浮遊拡散層に同時に転送してもよい。これにより、一部のラインの露光の開始および終了が同時に行われるという作用をもたらす。
　また、この第１の側面において、上記フォーカスレンズ駆動部は、上記フォーカスレンズを上記合焦位置に移動させ、上記撮像部は、上記フォーカスレンズが上記合焦位置に移動すると上記複数のラインより多くのラインの露光を順に開始させてから上記複数のラインの露光を順に終了させて上記画像データより解像度の高い高解像度画像データを撮像してもよい。これにより、フォーカスレンズが合焦位置に移動した後において高解像度画像データが撮像されるという作用をもたらす。
　また、この第１の側面において、上記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、上記複数の画素のそれぞれは、浮遊拡散層と、光電変換部と、上記光電変換部により生成された電荷を上記浮遊拡散層に転送する転送トランジスタとを備えてもよい。これにより、画素毎に浮遊拡散層が設けられた画素により画像データが撮像されるという作用をもたらす。
　また、この第１の側面において、上記合焦位置からデプスマップを生成するデプスマップ生成部と、上記デプスマップに基づいて上記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部とをさらに具備し、上記フォーカスレンズ駆動部は、上記フォーカスレンズを上記合焦位置に移動させ、上記撮像部は、上記フォーカスレンズが上記合焦位置に移動すると上記新たな画像データを撮像してもよい。これにより、デプスマップに基づいて、フォーカスレンズが上記合焦位置に移動してから撮像された画像データに対して所定の画像処理が実行されるという作用をもたらす。
　また、この第１の側面において、前記撮像部は、複数のラインが配列された画素アレイ部と、前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部とを備えてもよい。これにより、画像信号に対して所定の信号処理が実行されるという作用をもたらす。
　また、この第１の側面において、上記信号処理は、相関二重サンプリング処理を含んでもよい。これにより、相関二重サンプリング処理が行われた画像データが撮像されるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、上記信号処理部は、上記複数のチップのうち上記所定のチップと異なるチップに設けられてもよい。これにより、積層された複数のチップに分散された画素アレイ部および信号処理部により画像データが撮像されるという作用をもたらす。
　また、この第１の側面において、上記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えてもよい。これにより、ＣＭＯＳイメージセンサにより画像データが撮像されるという作用をもたらす。
　また、本技術の第２の側面は、複数のラインの露光を同時に開始させてから上記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから上記複数のラインの露光を順に終了させて上記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、上記画像データのコントラストに基づいて上記フォーカスレンズの合焦位置を検出する処理と上記高解像度画像データに対する所定の画像処理とを行う画像処理部とを具備する撮像装置である。これにより、画像データのコントラストに基づいて合焦位置が検出され、高解像度画像データに対して所定の画像処理が実行されるという作用をもたらす。
　本技術によれば、コントラストＡＦ方式において高精度で高速に焦点を検出することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第１の実施の形態における露光開始時および露光中の画素回路のポテンシャル図の一例である。 本技術の第１の実施の形態における露光終了時および読出し中の画素回路のポテンシャル図の一例である。 本技術の第１の実施の形態における画素回路の制御方法の一例を示すタイミングチャートである。 本技術の第１の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるコントラストＡＦ方式を説明するための図である。 比較例におけるコントラストＡＦ方式を説明するための図である。 比較例のＡＦ精度について説明するための図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における焦点検出処理の一例を示すフローチャートである。 本技術の第２の実施の形態における画素アレイ部の一構成例を示す回路図である。 本技術の第２の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。 本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第３の実施の形態における画像処理部の一構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出する例）
　２．第２の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出してローリングシャッター方式で撮像する例）
　３．第３の実施の形態（グローバルシャッター方式で撮像した画像のコントラストを検出し、デプスマップを生成する例）
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、実施の形態における第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００として、デジタルスチルカメラ、ビデオカメラやスマートフォンなどが想定される。撮像装置１００は、撮像レンズ１１０、撮像素子２００、画像処理部１２０、記録部１３０、撮像制御部１４０およびフォーカスレンズ駆動部１５０を備える。
　撮像レンズ１１０は、被写体からの光を集光して撮像素子２００に導くものである。この撮像レンズは、フォーカスレンズを含む複数のレンズから構成される。
　撮像素子２００は、撮像制御部１４０からの垂直同期信号ＶＳＹＮＣに同期して画像データを生成するものである。この撮像素子２００として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image）イメージセンサが用いられる。撮像素子２００は、生成した画像データを画像処理部１２０に信号線２０９を介して供給する。
　なお、撮像レンズ１１０および撮像素子２００からなる部分は、特許請求の範囲に記載の撮像部の一例である。
　画像処理部１２０は、撮像制御部１４０の制御に従って、画像データに対して各種の画像処理を行うものである。この画像処理部１２０には、撮像制御部１４０により生成されたモード信号ＭＯＤＥが入力される。このモード信号ＭＯＤＥは、撮像装置１００がセンシングモードであるかビューイングモードであるかを示す信号である。これらのモードのうちセンシングモードは、コントラストＡＦ方式によりフォーカスレンズの合焦位置を検出するモードである。一方、ビューイングモードは、その合焦位置にフォーカスレンズが移動した状態で、画像データを撮像するモードである。
　センシングモードにおいて画像処理部１２０は、画像データのコントラストに基づいてフォーカスレンズの合焦位置を検出する。そして、画像処理部１２０は、その合焦位置を信号線１２８を介してフォーカスレンズ駆動部１５０に供給する。
　一方、ビューイングモードにおいて画像処理部１２０は、画像データに対してデモザイク処理やホワイトバランス処理などの各種の画像処理を行う。そして、画像処理部１２０は、処理後の画像データを信号線１２９を介して記録部１３０に供給する。記録部１３０は、画像データを記録するものである。
　撮像制御部１４０は、撮像装置１００全体を制御するものである。この撮像制御部１４０は、ユーザの操作などに従ってモード信号ＭＯＤＥおよび垂直同期信号ＶＳＹＮＣを生成する。例えば、シャッターボタンを半押しする操作が行われた場合に撮像制御部１４０は、モード信号ＭＯＤＥにセンシングモードを設定する。また、例えば、シャッターボタンを全押しする操作が行われた場合に撮像制御部１４０は、モード信号ＭＯＤＥにビューイングモードを設定する。また、ボタンの操作などにより撮像の開始が指示された際に撮像制御部１４０は、所定の周波数の周期信号を垂直同期信号ＶＳＹＮＣとして生成する。そして、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣを撮像素子２００に信号線１４８を介して供給し、モード信号ＭＯＤＥを信号線１４９を介して画像処理部１２０およびフォーカスレンズ駆動部１５０に供給する。垂直同期信号ＶＳＹＮＣは、撮像の終了が指示されるまで継続して供給される。なお、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣに加えて、露光時間を制御するための信号などをさらに撮像素子２００に供給してもよい。
　フォーカスレンズ駆動部１５０は、フォーカスレンズを駆動するものである。このフォーカスレンズ駆動部１５０は、センシングモードに設定されると、所定の駆動期間に亘ってフォーカスレンズの位置を像側（ニア）および物体側（ファー）の一方から他方へ一定の速度で連続的に移動させる。このフォーカスレンズの駆動期間内において、撮像素子２００により複数の画像データが撮像される。これらの撮像中においてもフォーカスレンズは停止せずに継続して駆動する。そして、合焦位置が検出されるとフォーカスレンズ駆動部１５０は、その合焦位置にフォーカスレンズを移動させる。また、ビューイングモードにおいてフォーカスレンズ駆動部１５０は、合焦位置にフォーカスレンズを固定する。
　なお、撮像レンズ１１０、撮像素子２００、画像処理部１２０、記録部１３０、撮像制御部１４０およびフォーカスレンズ駆動部１５０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、撮像レンズ１１０および撮像素子２００を情報処理装置に取付けるカメラモジュールに設け、残りを情報処理装置に設けてもよい。
　［画像処理部の構成例］
　図２は、第１の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この画像処理部１２０は、切替部１２１、デモザイク処理部１２２、コントラスト評価値算出部１２３および焦点検出部１２４を備える。
　切替部１２１は、モード信号ＭＯＤＥに従って画像データの出力先を切り替えるものである。この切替部１２１には、撮像素子２００からの画像データがＲＡＷ画像データとして入力される。センシングモードが設定されている場合に切替部１２１は、そのＲＡＷ画像データをコントラスト評価値算出部１２３に供給する。一方、ビューイングモードが設定されている場合に切替部１２１は、そのＲＡＷ画像データをデモザイク処理部１２２に供給する。
　デモザイク処理部１２２は、ＲＡＷ画像データに対して、それぞれの画素の周囲の画素から足りない色情報を補間するデモザイク処理を行うものである。このデモザイク処理部１２２は、デモザイク処理後の画像データをデモザイク画像データとして記録部１３０に供給する。
　なお、ビューイングモードにおいて、画像処理部１２０は、デモザイク処理を行っているが、さらにホワイトバランス処理や、ＹＣ変換処理、画像合成処理などの他の画像処理を行ってもよい。また、画像処理部１２０は、デモザイク処理を行わずに、ホワイトバランス処理などを行った画像データを出力してもよい。
　コントラスト評価値算出部１２３は、ＲＡＷ画像データが入力されるたびに、そのＲＡＷ画像データにおいてＡＦエリア内のコントラストの強さの程度を示す値をコントラスト評価値として算出するものである。ここで、ＡＦエリアは、コントラスト評価値を算出するための領域であり、画像データ内の一部または全部がＡＦエリアとして予め設定される。コントラスト評価値算出部１２３は、所定の遮断周波数を超える高周波数成分を通過させるハイパスフィルタなどを用いて高周波数成分を抽出し、その成分の値をコントラスト評価値として算出する。そして、コントラスト評価値算出部１２３は、算出したコントラスト評価値を焦点検出部１２４に供給する。
　焦点検出部１２４は、コントラスト評価値に基づいて、焦点の合うフォーカスレンズの位置を焦点位置として検出するものである。焦点検出部１２４は、フォーカスレンズの駆動中に撮像されたＲＡＷ画像データのそれぞれについて、その撮像時のフォーカスレンズの位置と、コントラスト評価値とを保持する。
　ここで、撮像素子２００の露光期間においてもフォーカスレンズは継続して駆動するため、その露光期間内の各時点のフォーカスレンズの位置を代表する代表位置が、ＲＡＷ画像データごとに保持される。例えば、フォーカスレンズが一定の速度で駆動する場合には露光期間の中間の時点のレンズ位置が代表位置として用いられる。
　焦点検出部１２４は、複数のコントラスト評価値と、それぞれのコントラスト評価値に対応するレンズ位置とから、最もコントラストが強くなるフォーカスレンズの位置を合焦位置として検出する。焦点検出部１２４は、検出した合焦位置をフォーカスレンズ駆動部１５０に供給する。
　［撮像素子の構成例］
　図３は、第１の実施の形態における撮像素子２００の一構成例を示すブロック図である。この撮像素子２００は、積層された複数のチップを備える。これらのチップは、例えば、画素アレイチップ２０１、信号処理チップ２０２およびメモリチップ２０３の３層からなる。
　画素アレイチップ２０１には、行選択部２１０および画素アレイ部２２０が設けられ、画素アレイ部２２０には二次元格子状に複数の画素回路２３０が配列される。所定の方向に配列された画素回路２３０の集合を以下、「行」または「ライン」と称し、その方向に垂直な方向に配列された画素回路２３０の集合を以下、「列」と称する。例えば、Ｎ（Ｎは整数）個の行とＭ（Ｍは整数）個の列とが設けられる。ｎ（ｎは１乃至Ｎの整数）番目の行は、水平信号線２１９－ｎに接続され、ｍ（ｍは１乃至Ｍの整数）番目の列は、垂直信号線２３９－ｍに接続される。
　また、信号処理チップ２０２には、制御部２４０とＭ個のＡＤ（Analog to Digital）変換器２５０とデータラッチ部２６０とデータ処理部２７０とが設けられる。ＡＤ変換器２５０は、列ごとに設けられる。メモリチップ２０３には、メモリ部２８０が設けられる。
　制御部２４０は、垂直同期信号ＶＳＹＮＣに同期して、行選択部２１０、ＡＤ変換器２５０およびデータラッチ部２６０を制御するものである。
　行選択部２１０は、制御部２４０の制御に従って全ての行を同時に選択して露光させるものである。また、行選択部２１０は、露光の終了した行を順に選択してアナログの画素信号をＡＤ変換器２５０に出力させる。
　ＡＤ変換器２５０は、対応する列からの画素信号をデジタル信号にＡＤ変換するものである。このＡＤ変換器２５０は、ＡＤ変換した信号を画素データとしてデータラッチ部２６０に供給する。
　データラッチ部２６０は、制御部２４０の制御に従って画素データをＡＤ変換器２５０から順に読み出すものである。このデータラッチ部２６０は、画素データをメモリ部２８０またはデータ処理部２７０に供給する。
　メモリ部２８０は、画素データからなる画像データを保持するものである。データ処理部２７０は、画像データに対してＣＤＳ（Correlated Double Sampling）処理を行うものである。このデータ処理部２７０は、ＣＤＳ処理後の画像データを画像処理部１２０に供給する。
　なお、撮像素子２００内の回路や素子のそれぞれを、積層した３つのチップに分散して設けているが、３つ以外の個数（２つなど）のチップに設けてもよい。２つのチップに設ける場合には、例えば、メモリ部２８０が信号処理チップ２０２側に設けられる。また、撮像素子２００内の回路や素子のそれぞれを１つのチップに設けてもよい。
　［画素回路の構成例］
　図４は、第１の実施の形態における画素回路２３０の一構成例を示す回路図である。この画素回路２３０は、フォトダイオード２３１、転送トランジスタ２３２、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を備える。
　フォトダイオード２３１は、光を光電変換して電荷を生成するものである。なお、フォトダイオード２３１は、特許請求の範囲に記載の光電変換部の一例である。
　転送トランジスタ２３２は、行選択部２１０の制御に従って、フォトダイオード２３１で生成された電荷を浮遊拡散層２３４に転送するものである。
　浮遊拡散層２３４は、フォトダイオード２３１から転送された電荷を蓄積し、その電荷量に応じた電圧を生成するものである。リセットトランジスタ２３３は、行選択部２１０の制御に従って、浮遊拡散層２３４の電荷量を初期値にするものである。
　増幅トランジスタ２３５は、浮遊拡散層２３４の電圧を増幅するものである。選択トランジスタ２３６は、行選択部２１０の制御に従って、増幅トランジスタ２３５により増幅された電圧の信号を画素信号として、ＡＤ変換器２５０に垂直信号線を介して供給するものである。
　図５は、第１の実施の形態における露光開始時および露光中の画素回路２３０のポテンシャル図の一例である。露光開始時に行選択部２１０は、全行を同時に選択して、それらの転送トランジスタ２３２を所定のパルス期間に亘ってオン状態に制御する。これにより、全行のフォトダイオード２３１および浮遊拡散層２３４が一括してリセットされる。同図におけるａは、露光開始時のポテンシャル図を示す。
　次に、行選択部２１０は、行を順に選択して、リセットトランジスタ２３３および選択トランジスタ２３６を順にパルス期間に亘ってオン状態に制御する。これにより、リセットで生じたノイズ成分ＮＫＴＣがＰ相として読み出される。図５におけるｂは、Ｐ相読出し時のポテンシャル図を示す。読み出されたＰ相は、メモリ部２８０に保持される。
　また、フォトダイオード２３１に露光時間に応じた信号成分Ｎｓｉｇが蓄積される。図５におけるｃは、露光蓄積時のポテンシャル図を示す。
　図６は、第１の実施の形態における露光終了時および読出し中の画素回路２３０のポテンシャル図の一例である。露光終了時に行選択部２１０は、全行を選択して、それらの転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。これにより、信号成分Ｎｓｉｇが浮遊拡散層２３４に転送される。同図におけるａは、露光終了時のポテンシャル図を示す。
　全行の露光が終了すると行選択部２１０は、行を順に選択して選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ノイズ成分ＮＫＴＣおよび信号成分Ｎｓｉｇからなる信号がＤ相として読み出される。図６におけるｂは、Ｄ相読出し時のポテンシャル図を示す。
　データ処理部２７０は、メモリ部２８０からＰ相を読み出し、画素ごとにＤ相とＰ相との差分を算出する。この演算により、ノイズ成分ＮＫＴＣを除去することができる。この処理は、ＣＤＳ処理と呼ばれる。
　図７は、第１の実施の形態における画素回路２３０の制御方法の一例を示すタイミングチャートである。行選択部２１０は、１枚目の画像の露光開始時Ｔｓにおいて、全ライン（行）の転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。露光開始後のＴｒ１において行選択部２１０は、ラインＬ１のリセットトランジスタ２３３をパルス期間に亘ってオン状態に制御する。また、Ｔｒ１後のＴｐ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＰ相が読み出される。ラインＬ１のＰ相の読み出しの次にラインＬ２のＰ相が読み出される。このように、それぞれのラインのＰ相が順に読み出される。
　そして、全ラインのＰ相読出しの後の露光終了時Ｔｅにおいて、全ラインの転送トランジスタ２３２をパルス期間に亘ってオン状態に制御する。これにより、１枚目の画像の露光が終了するとともに、２枚目の画像の露光が開始される。１枚目の露光終了後のＴｄ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＤ相が読み出される。
　また、Ｔｄ１後のＴｒ１において行選択部２１０は、ラインＬ１のリセットトランジスタ２３３をパルス期間に亘ってオン状態に制御する。また、Ｔｒ１後のＴｐ１において行選択部２１０は、ラインＬ１の選択トランジスタ２３６をパルス期間に亘ってオン状態に制御する。これにより、ラインＬ１のＰ相が読み出される。ラインＬ１のＤ相およびＰ相の読み出しの次にラインＬ２のＤ相およびＰ相が読み出される。このように、それぞれのラインのＤ相およびＰ相が順に読み出される。
　図８は、第１の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図において縦軸は、ラインのアドレスを示し、横軸は時間を示す。１枚目の露光開始時Ｔｓにおいて、行選択部２１０は、全行を同時に選択して露光を開始させる。そして、行選択部２１０は、ラインを順に選択して選択したラインにＰ相を出力させる。
　１枚目の露光終了時Ｔｅにおいて、行選択部２１０は、全行を同時に選択して露光を終了させる。また、同時に２枚目の露光が開始される。そして、行選択部２１０は、ラインを順に選択して選択したラインにＰ相およびＤ相を出力させる。
　このように、行選択部２１０は、露光開始時と露光終了時とに全ライン（行）を同時に選択し、Ｐ相やＤ相の画素信号を読み出す際にラインを順に選択する。この制御方式は、一般に、グローバルシャッター方式と呼ばれる。第１の実施の形態においては、センシングモードおよびビューイングモードのいずれにおいてもグローバルシャッター方式で画像が撮像される。
　図９は、第１の実施の形態におけるコントラストＡＦ方式を説明するための図である。同図におけるａは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。また、灰色の領域は、ＡＦエリアを示し、実線は、ＡＦエリア内の信号の読出しタイミングを示す。同図におけるａに例示するように、複数枚の画像がグローバルシャッター方式で連続して撮像される。
　図９におけるｂは、フォーカスレンズの軌跡の一例を示す図である。同図のｂにおける縦軸は、フォーカスレンズの位置を示し、横軸は時間を示す。同図におけるｂに例示するように、フォーカスレンズは一定の速度でニアからファーに駆動する。そして、その駆動期間内に複数の画像が撮像される。これらのうち１枚目から５枚目までの撮像時のフォーカスレンズ位置をＰｇ１乃至Ｐｇ５とする。
　図９におけるｃは、コントラスト評価値曲線の一例を示す図である。同図のｃにおける縦軸は、コントラスト評価値を示し、横軸は、フォーカスレンズの位置を示す。また、同図のｃにおける黒丸は、フォーカスレンズ位置Ｐｇ１乃至Ｐｇ５のそれぞれに対応するコントラスト評価値をプロットしたものである。焦点検出部１２４は、それらのプロットの軌跡から、コントラストが最も強い合焦位置Ｐfocusを検出する。
　図１０は、比較例におけるコントラストＡＦ方式を説明するための図である。この比較例では、ローリングシャッター方式で画像が撮像されるものとする。同図におけるａは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。また、灰色の領域は、ＡＦエリアを示し、太い実線は、ＡＦエリア内の信号の読出しタイミングを示す。同図におけるａに例示するように、露光開始、露光終了および読出しのそれぞれにおいてラインを順に選択するローリングシャッター方式により複数の画像が連続して撮像される。
　図１０におけるｂは、フォーカスレンズの軌跡の一例を示す図である。比較例のフォーカスレンズの軌跡は、第１の実施の形態と同様である。なお、比較例の焦点位置の検出方法は、第１の実施の形態と同様である。
　このように、比較例では、フォーカスレンズの駆動中に、ローリングシャッター方式で複数枚の画像が撮像され、それらの画像のコントラストから合焦位置が検出される。
　図１１は、比較例のＡＦ精度について説明するための図である。同図におけるａは、テスト画像５００を示す。このテスト画像５００において、ボトムラインのコントラストが最も強く、トップラインのコントラストが最も弱い。そして、トップラインからボトムラインに近づくにつれて、コントラストが徐々に強くなる。
　図１１におけるｂは、露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図のａにおいて縦軸は、ラインのアドレスを示し、横軸は時間を示す。実線は、ローリングシャッター方式で撮像した際のタイミングを示し、一点鎖線は、グローバルシャッター方式で撮像した際のタイミングを示す。
　図１１におけるｃは、フォーカスレンズの軌跡の一例を示す図である。同図のｂにおける縦軸は、フォーカスレンズの位置を示し、横軸は時間を示す。実線は、露光期間中もフォーカスレンズを駆動する第１の実施の形態や比較例の軌跡を示す。一方、一点鎖線は、露光中にフォーカスレンズを停止する場合の軌跡を示す。
　図１１におけるｃの一点鎖線に例示するように露光中にフォーカスレンズを停止し、同図におけるｂの一点鎖線に例示するように、グローバルシャッター方式で撮像する構成を基準の構成として想定する。この構成では、ラインごとのフォーカスレンズ位置が同一であるため、合焦位置を正確に検出することができる。その反面、露光中はフォーカスレンズを駆動することができないため、合焦位置の検出までの時間が長くなってしまう。
　次に、図１１におけるｃの実線に例示するように露光中にフォーカスレンズを駆動し、同図におけるｂの実線に例示するように、ローリングシャッターシャッター方式で撮像する比較例について考える。この比較例では、ラインごとのフォーカスレンズ位置が異なる。例えば、トップラインに対応するフォーカスレンズの位置Ｐtopは、ボトムラインに対応するフォーカスレンズの位置Ｐbottomよりもニアに近い。
　ここで、フォーカスレンズの実際の合焦位置Ｐfocusが、ボトムラインに対応する位置Ｐbottomよりもファー側と仮定する。この場合にボトムラインに対応する位置Ｐbottomは、中央のラインに対応する位置Ｐcenterよりも合焦位置Ｐfocusに近いため、ボトムラインのコントラストは基準の構成よりも強くなる。一方、テスト画像５００のトップラインでは、もともとのコントラストが弱いため、基準の構成と比較して変動はほとんどない。このように、トップラインに近いほど、基準よりもコントラストが強くなり、画像全体のコントラストは、基準よりも強めになる。
　これに対して、第１の実施の形態では、グローバルシャッター方式で撮像するため、ラインごとのフォーカスレンズの位置が同一になる。したがって、第１の実施の形態で得られたコントラストは、ほぼ基準の値となる。厳密には、露光開始時と露光終了時とのフォーカスレンズの位置が異なるため、それらの位置が同一である基準の構成に対して若干誤差が生じるが、その誤差は、ローリングシャッター方式で撮像した場合よりも小さくなる。
　このように、グローバルシャッター方式で撮像することにより、ローリングシャッター方式の比較例と比較して、ＡＦ精度を向上させることができる。また、露光中にフォーカスレンズを駆動することにより、露光中にフォーカスレンズを停止する基準の構成と比較して、ＡＦ速度を速くすることができる。ここで、ＡＦ速度は、合焦位置の検出を開始してから、その検出が終了するまでの時間を示す。したがって、撮像装置１００は、コントラストＡＦ方式において高い精度で高速に焦点を検出することができる。
　［撮像装置の動作例］
　図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００に電源が投入されたときに開始する。撮像装置１００は、シャッターボタンが半押しされたか否かを判断する（ステップＳ９０１）。シャッターボタンが半押しされていない場合に（ステップＳ９０１：Ｎｏ）、撮像装置１００は、ステップＳ９０１を繰り返す。
　シャッターボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、合焦位置を検出するための焦点検出処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、シャッターボタンが全押しされたか否かを判断する（ステップＳ９０２）。シャッターボタンが全押しされていない場合に（ステップＳ９０２：Ｎｏ）、撮像装置１００は、ステップＳ９０２を繰り返す。
　シャッターボタンが全押しされた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、グローバルシャッター方式で画像データを撮像する（ステップＳ９０３）。撮像装置１００は、画像データに各種の画像処理を行い（ステップＳ９０４）、撮像のための動作を終了する。
　図１３は、第１の実施の形態における焦点検出処理の一例を示すフローチャートである。撮像装置１００は、フォーカスレンズをニアからファーへ一定速度で駆動する（ステップＳ９１１）。また、撮像装置１００は、フォーカスレンズの駆動中に、グローバルシャッター方式で複数枚の画像データを撮像する（ステップＳ９１２）。そして、撮像装置１００は、画像データごとに、ＡＦエリアのコントラスト評価値を算出する（ステップＳ９１３）。
　撮像装置１００は、算出したコントラスト評価値と、対応するフォーカスレンズの位置とから、合焦位置を検出する（ステップＳ９１４）。そして、撮像装置１００は、検出した合焦位置までフォーカスレンズを駆動し（ステップＳ９１５）、焦点検出処理を終了する。
　このように、本技術の第１の実施の形態によれば、撮像装置１００がフォーカスレンズを駆動期間に亘って駆動させつつ、全行の露光を同時に開始および終了させるため、行のそれぞれに対応するフォーカスレンズの位置を全て同一にすることができる。これにより、行ごとに順に露光開始および露光終了させた場合と比較して、ＡＦ精度を向上させることができる。また、フォーカスレンズが停止中に露光する構成と比較して、ＡＦ速度を向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、焦点を検出するセンシングモードと、合焦した状態で撮像を行うビューイングモードとで、同一の解像度の画像データを撮像していた。しかし、画像データの解像度が高くなるほど、読出しに時間がかかるため、センシングモードにおいてＡＦ速度が低下するおそれがある。この第２の実施の形態の撮像装置１００は、ＡＦ速度を向上させた点において第１の実施の形態と異なる。
　図１４は、第２の実施の形態における画素アレイ部２２０の一構成例を示す回路図である。第２の実施の形態の画素アレイ部２２０では、４行×２列の８個の画素回路２３０からなる画素ブロックが二次元格子状に設けられる。この画素ブロックにおいて、いずれかの画素回路２３０のみにリセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６が設けられる。また、全ての画素回路２３０にはフォトダイオード２３１および転送トランジスタ２３２が設けられる。８つの画素回路２３０のそれぞれの転送トランジスタ２３２は、１つの浮遊拡散層２３４に共通に接続される。すなわち、８つの画素回路２３０により、１つの浮遊拡散層２３４が共有される。なお、リセットトランジスタ２３３、浮遊拡散層２３４、増幅トランジスタ２３５および選択トランジスタ２３６を画素回路の外部に配置し、これらを各画素回路で共有する構成としてもよい。
　第２の実施の形態の行選択部２１０は、センシングモードにおいて露光開始時と露光終了時とにおいて、画素ブロックからなるラインＬｂの全てを同時に選択する。これにより、共有された浮遊拡散層２３４に画素ブロック内の全ての電荷が転送され、８画素分の画素信号がアナログ加算される。また、読出しにおいて行選択部２１０は、ラインＬｂを順に選択する。画素ブロックは４行×２列であるため、画素ブロックからなるラインＬｂの個数は、画素回路２３０からなるラインＬｐの１／４となる。したがって、１枚の画像の読出しに要する時間は、第１の実施の形態と比較して１／４になり、ＡＦ速度を向上させることができる。その代りに、画素加算により解像度が低下するが、コントラストＡＦ方式においては、解像度の低下がＡＦ精度に与える影響は少ない。
　一方、ビューイングモードにおいて行選択部２１０は、画素回路２３０からなるラインＬｐを順に選択して露光させる。このビューイングモードでは、画素加算を行わないため、センシングモードよりも高解像度の画像データが得られる。
　つまり、第２の実施の形態の撮像装置１００は、センシングモードにおいてグローバルシャッター方式により低解像度の画像を撮像する。一方、ビューイングモードにおいて撮像装置１００は、ローリングシャッター方式により高解像度の画像を撮像する。
　なお、撮像装置１００は、センシングモードにおいて画素ブロック内の画素全てを画素加算しているが、画素ブロック内の一部の画素（例えば、列方向に並んだ４画素）を加算する構成であってもよい。これにより、８画素を加算する場合よりも解像度が向上し、ＡＦ精度を向上させることができる。
　また、列方向に並んだ複数の画素を含むのであれば、４行×２列以外の組合せ（２行×１列など）の画素からなる画素ブロックであってもよい。
　図１５は、第２の実施の形態における露光開始、露光終了および読出しのそれぞれのタイミングの一例を示すタイミングチャートである。同図における縦軸は、ラインごとのアドレスを示し、横軸は時間を示す。
　センシングモードにおいて、撮像装置１００は、タイミングＴｖ１、Ｔｖ２、Ｔｖ３およびＴｖ４などにおいてグローバルシャッター方式で画像データを撮像し、それらの画像データのコントラストから合焦位置を検出する。そして、タイミングＴviewにおいてビューイングモードに移行すると、撮像装置１００は、ローリングシャッター方式で画像データを撮像する。
　図１６は、第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この第２の実施の形態の撮像装置１００の動作は、ステップＳ９０３の代わりにステップＳ９０５が実行される点において第１の実施の形態と異なる。
　シャッターボタンが全押しされた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置１００は、ローリングシャッター方式で画像データを撮像し（ステップＳ９０５）、ステップＳ９０４を実行する。
　このように、本技術の第２の実施の形態によれば、撮像装置１００は、低解像度の画像のコントラストから焦点を検出し、合焦後に高解像度の画像を撮像するため、焦点検出のための画像を高速で撮像してＡＦ速度を向上させることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、センシングモードで生成された画像データは、焦点検出のみに用いられていたが、この画像データをビューイングモードにおいて利用することもできる。この第３の実施の形態の撮像装置１００は、センシングモードで生成された画像データを用いてビューイングモードで撮像した画像データを処理する点において第１の実施の形態と異なる。
　図１７は、第３の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この第３の実施の形態の画像処理部１２０は、デプスマップ生成部１２６およびフレームメモリ１２７をさらに備える点において第１の実施の形態と異なる。
　デプスマップ生成部１２６は、焦点検出部１２４で検出された合焦位置に基づいてデプスマップを生成するものである。このデプスマップは、画素毎に、あるいは、画像を分割した複数のブロックのそれぞれについて、被写体までの距離を表す画像データである。例えば、距離を明るさで表したグレーの画像がデプスマップとして生成される。デプスマップ生成部１２６は、生成したデプスマップをフレームメモリ１２７に保持させる。
　ぼかし処理部１２５は、デプスマップに基づいて画像データにぼかし処理を施すものである。例えば、一定距離より遠い部分にぼかし処理が行われ、手前の被写体を強調したポートレート画像が生成される。デプスマップを用いることにより、ユーザが手動でぼかし範囲を指定する必要がなくなり、利便性を向上させることができる。なお、ぼかし処理部１２５は、特許請求の範囲に記載の後段処理部の一例である。
　なお、画像処理部１２０は、センシングモードで生成された画像データを用いるものであれば、ぼかし処理以外の画像処理を行ってもよい。例えば、画像処理部１２０は、デプスマップに基づいて、１つの画像データから、一対の視差画像を生成する処理を行ってもよい。また、第３の実施の形態において、第２の実施の形態と同様に、センシングモード設定時にグローバルシャッター方式で低解像度の画像を撮像し、ビューイングモード設定時にローリングシャッター方式で高解像度の画像を撮像してもよい。
　このように、本技術の第３の実施の形態によれば、焦点検出の際に生成されたデプスマップを用いて、ぼかし処理などを行うため、ユーザが手動でぼかし範囲を指定する必要がなくなり、利便性を向上させることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、
　前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、
　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出部と
を具備する撮像装置。
（２）前記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、
　前記複数の画素ブロックのそれぞれは、
　浮遊拡散層と、
　複数の光電変換部と、
　前記複数の光電変換部のそれぞれにより生成された電荷を前記浮遊拡散層に転送する複数の転送トランジスタと
を備える前記（１）記載の撮像装置。
（３）前記複数の転送トランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
前記（２）記載の撮像装置。
（４）前記複数の転送トランジスタの一部のトランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
前記（２）記載の撮像装置。
（５）前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
　前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記複数のラインより多くのラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを撮像する
前記（２）から（４）のいずれかに記載の撮像装置。
（６）前記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、
　前記複数の画素のそれぞれは、
　浮遊拡散層と、
　光電変換部と、
　前記光電変換部により生成された電荷を前記浮遊拡散層に転送する転送トランジスタと
を備える前記（１）に記載の撮像装置。
（７）前記合焦位置からデプスマップを生成するデプスマップ生成部と、
　前記デプスマップに基づいて前記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部と
をさらに具備し、
　前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
　前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記新たな画像データを撮像する
前記（１）から（７）のいずれかに記載の撮像装置。
（８）前記撮像部は、
　複数のラインが配列された画素アレイ部と、
　前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、
　前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部と
を備える前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記信号処理は、相関二重サンプリング処理を含む
前記（８）記載の撮像装置。
（１０）前記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、
　前記信号処理部は、前記複数のチップのうち前記所定のチップと異なるチップに設けられる
前記（８）または（９）に記載の撮像装置。
（１１）前記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備える
前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、
　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する処理と前記高解像度画像データに対する所定の画像処理とを行う画像処理部と
を具備する撮像装置。
（１３）フォーカスレンズの位置を所定の駆動期間に亘って像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動手順と、
　前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像手順と、
　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手順と
を具備する撮像装置の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　画像処理部
　１２１　切替部
　１２２　デモザイク処理部
　１２３　コントラスト評価値算出部
　１２４　焦点検出部
　１２５　ぼかし処理部
　１２６　デプスマップ生成部
　１２７　フレームメモリ
　１３０　記録部
　１４０　撮像制御部
　１５０　フォーカスレンズ駆動部
　２００　撮像素子
　２０１　画素アレイチップ
　２０２　信号処理チップ
　２０３　メモリチップ
　２１０　行選択部
　２２０　画素アレイ部
　２３０　画素回路
　２３１　フォトダイオード
　２３２　転送トランジスタ
　２３３　リセットトランジスタ
　２３４　浮遊拡散層
　２３５　増幅トランジスタ
　２３６　選択トランジスタ
　２４０　制御部
　２５０　ＡＤ変換器
　２６０　データラッチ部
　２７０　データ処理部
　２８０　メモリ部

Claims (13)

  1. 　所定の駆動期間に亘ってフォーカスレンズの位置を像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動部と、
    　前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像部と、
    　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出部と
    を具備する撮像装置。
  2. 　前記複数のラインは、所定の方向に配列された複数の画素ブロックからなり、
    　前記複数の画素ブロックのそれぞれは、
    　浮遊拡散層と、
    　複数の光電変換部と、
    　前記複数の光電変換部のそれぞれにより生成された電荷を前記浮遊拡散層に転送する複数の転送トランジスタと
    を備える請求項１記載の撮像装置。
  3. 　前記複数の転送トランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
    請求項２記載の撮像装置。
  4. 　前記複数の転送トランジスタの一部のトランジスタは、前記駆動期間内の所定の露光期間の開始時点と終了時点とにおいて前記電荷を前記浮遊拡散層に同時に転送する
    請求項２記載の撮像装置。
  5. 　前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
    　前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記複数のラインより多くのラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを撮像する
    請求項２記載の撮像装置。
  6. 　前記複数のラインのそれぞれは、所定方向に配列された複数の画素からなり、
    　前記複数の画素のそれぞれは、
    　浮遊拡散層と、
    　光電変換部と、
    　前記光電変換部により生成された電荷を前記浮遊拡散層に転送する転送トランジスタと
    を備える請求項１記載の撮像装置。
  7. 　前記合焦位置からデプスマップを生成するデプスマップ生成部と、
    　前記デプスマップに基づいて前記画像データと異なる新たな画像データに対して所定の画像処理を実行する後段処理部と
    をさらに具備し、
    　前記フォーカスレンズ駆動部は、前記フォーカスレンズを前記合焦位置に移動させ、
    　前記撮像部は、前記フォーカスレンズが前記合焦位置に移動すると前記新たな画像データを撮像する
    請求項１記載の撮像装置。
  8. 　前記撮像部は、
    　複数のラインが配列された画素アレイ部と、
    　前記所定の駆動期間内において前記複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像信号を生成させるドライバと、
    　前記画像信号に対して所定の信号処理を行って前記画像データを生成する信号処理部と
    を備える請求項１記載の撮像装置。
  9. 　前記信号処理は、相関二重サンプリング処理を含む
    請求項８記載の撮像装置。
  10. 　前記画素アレイ部は、積層された複数のチップのうち所定のチップに設けられ、
    　前記信号処理部は、前記複数のチップのうち前記所定のチップと異なるチップに設けられる
    請求項８記載の撮像装置。
  11. 　前記撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備える
    請求項１記載の撮像装置。
  12. 　複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する処理と複数のラインの露光を順に開始させてから前記複数のラインの露光を順に終了させて前記画像データより解像度の高い高解像度画像データを生成する処理とを行う撮像部と、
    　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する処理と前記高解像度画像データに対する所定の画像処理とを行う画像処理部と
    を具備する撮像装置。
  13. 　フォーカスレンズの位置を所定の駆動期間に亘って像側および物体側の一方から他方へ移動させるフォーカスレンズ駆動手順と、
    　前記所定の駆動期間内において複数のラインの露光を同時に開始させてから前記複数のラインの露光を同時に終了させて画像データを生成する撮像手順と、
    　前記画像データのコントラストに基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手順と
    を具備する撮像装置の制御方法。
PCT/JP2016/083160 2016-02-10 2016-11-09 撮像装置、および、撮像装置の制御方法 WO2017138200A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/063,866 US11249279B2 (en) 2016-02-10 2016-11-09 Imaging apparatus and control method of imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-023373 2016-02-10
JP2016023373A JP2017142356A (ja) 2016-02-10 2016-02-10 撮像装置、および、撮像装置の制御方法

Publications (1)

Publication Number Publication Date
WO2017138200A1 true WO2017138200A1 (ja) 2017-08-17

Family

ID=59563006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083160 WO2017138200A1 (ja) 2016-02-10 2016-11-09 撮像装置、および、撮像装置の制御方法

Country Status (3)

Country Link
US (1) US11249279B2 (ja)
JP (1) JP2017142356A (ja)
WO (1) WO2017138200A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11477435B2 (en) * 2018-02-28 2022-10-18 Rail Vision Ltd. System and method for built in test for optical sensors
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
JP2022083147A (ja) * 2020-11-24 2022-06-03 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004818A (ja) * 2010-06-16 2012-01-05 Olympus Corp 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP2013130643A (ja) * 2011-12-20 2013-07-04 Olympus Corp オートフォーカス装置、撮像装置、及びオートフォーカス方法
JP2015118338A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015177429A (ja) * 2014-03-17 2015-10-05 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033831A1 (en) * 1999-09-14 2006-02-16 Nikon Corporation Electronic still camera
JP4349302B2 (ja) * 2005-03-04 2009-10-21 ソニー株式会社 フォーカス制御装置、撮像装置、フォーカス制御方法
JP2007010908A (ja) * 2005-06-29 2007-01-18 Canon Inc 焦点調節方法及び装置
WO2007029443A1 (ja) * 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
JP4208904B2 (ja) * 2006-07-03 2009-01-14 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
US7893468B2 (en) * 2008-05-30 2011-02-22 International Business Machines Corporation Optical sensor including stacked photodiodes
JP5129683B2 (ja) * 2008-08-05 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法
JP5744545B2 (ja) * 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
KR101710633B1 (ko) * 2011-08-05 2017-02-27 삼성전자주식회사 자동 초점 조절 방법, 자동 초점 조절 장치, 및 이를 포함하는 디지털 촬영장치
US9332192B2 (en) * 2012-02-07 2016-05-03 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
US8981511B2 (en) * 2012-02-29 2015-03-17 Semiconductor Components Industries, Llc Multi-chip package for imaging systems
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
JP6042636B2 (ja) * 2012-05-28 2016-12-14 オリンパス株式会社 固体撮像素子および固体撮像装置
JP5697650B2 (ja) 2012-12-13 2015-04-08 キヤノン株式会社 撮像装置とその制御方法
JP5786847B2 (ja) * 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
GB2511405B (en) * 2012-12-28 2016-01-27 Canon Kk Image pickup element, image pickup apparatus, and method and program for controlling the same
JP5911445B2 (ja) * 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
TWI471677B (zh) * 2013-04-11 2015-02-01 Altek Semiconductor Corp 自動對焦方法及自動對焦裝置
JP6539015B2 (ja) * 2013-12-05 2019-07-03 キヤノン株式会社 撮像装置及びその制御方法
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
JP6476547B2 (ja) * 2014-01-28 2019-03-06 株式会社ニコン 焦点検出装置および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004818A (ja) * 2010-06-16 2012-01-05 Olympus Corp 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
JP2013130643A (ja) * 2011-12-20 2013-07-04 Olympus Corp オートフォーカス装置、撮像装置、及びオートフォーカス方法
JP2015118338A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015177429A (ja) * 2014-03-17 2015-10-05 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
US20180364451A1 (en) 2018-12-20
JP2017142356A (ja) 2017-08-17
US11249279B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP5739640B2 (ja) 撮像素子及び撮像装置
CN112040118B (zh) 摄像设备
JP6264616B2 (ja) 撮像装置及び固体撮像装置
CN108028898B (zh) 图像传感器和摄像设备
US9277113B2 (en) Image pickup apparatus and driving method therefor
JP5850680B2 (ja) 撮像装置及びその制御方法
JP5946421B2 (ja) 撮像装置及びその制御方法
JP6099904B2 (ja) 撮像装置
JP5911445B2 (ja) 撮像装置及びその制御方法
JP2007150643A (ja) 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP2015211351A5 (ja)
CN109474781B (zh) 摄像装置、摄像装置的控制方法、记录介质
JP2006217213A (ja) 物理情報取得方法および物理情報取得装置
WO2012014553A1 (ja) 撮像装置及び撮像方法
WO2017138200A1 (ja) 撮像装置、および、撮像装置の制御方法
JP2016024234A (ja) 撮像装置
JP2006108889A (ja) 固体撮像装置
JP2008015353A (ja) 撮像装置
JP6594048B2 (ja) 撮像装置及びその制御方法
TWI633790B (zh) Solid-state imaging device and driving method thereof and electronic device
JP2018050267A (ja) 撮像装置及び撮像素子の制御方法
JP5398610B2 (ja) 固体電子撮像装置およびその動作制御方法
JP6759088B2 (ja) 撮像装置とその制御方法及びプログラム
JP2009188650A (ja) 撮像装置
JP7294407B2 (ja) 撮像素子、及び、撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889901

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889901

Country of ref document: EP

Kind code of ref document: A1