WO2020137217A1 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

撮像素子、撮像装置、画像データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2020137217A1
WO2020137217A1 PCT/JP2019/044511 JP2019044511W WO2020137217A1 WO 2020137217 A1 WO2020137217 A1 WO 2020137217A1 JP 2019044511 W JP2019044511 W JP 2019044511W WO 2020137217 A1 WO2020137217 A1 WO 2020137217A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
frame rate
processor
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/044511
Other languages
English (en)
French (fr)
Inventor
仁史 桜武
長谷川　亮
智行 河合
小林　誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201980086305.XA priority Critical patent/CN113316928B/zh
Priority to JP2020562905A priority patent/JP6964806B2/ja
Publication of WO2020137217A1 publication Critical patent/WO2020137217A1/ja
Priority to US17/351,271 priority patent/US11457136B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Definitions

  • the present disclosure relates to an imaging device, an imaging device, an image data processing method, and a program.
  • Japanese Patent Laid-Open No. 2018-6993 discloses that a third image is generated by performing a process of improving the S/N (signal-to-noise) ratio of a first image among a plurality of continuously acquired images.
  • An image processing apparatus is disclosed that performs a process of improving the S/N ratio of a second image of a plurality of images to generate a fourth image.
  • the image processing apparatus synthesizes the first image and the fourth image to generate a first synthetic image, and synthesizes the second image and the third image to generate a second synthetic image.
  • an imaging device including a signal processing unit that transfers pixel data obtained by digitizing an analog pixel signal read from each pixel of a pixel array unit to a signal line at a first speed higher than a frame rate. It is disclosed.
  • the imaging device further includes a memory unit that holds the pixel data transferred from the signal processing unit, and a data processing unit that reads the pixel data from the memory unit at a second speed lower than the first speed.
  • the image pickup apparatus further includes a control unit that controls the operation of the current source connected to the signal line and the operation of the signal processing unit when reading the pixel data from the memory unit.
  • the rolling deviation of the electronic shutter refers to, for example, a phenomenon in which there is a time difference between the start of exposure of the first line of the photoelectric conversion elements and the start of exposure of the last line.
  • the subject when capturing a subject continuously, such as a moving image, it may not be possible to secure sufficient time to move the focus lens between consecutive frames, so the subject may be captured while moving the focus lens.
  • the imaging for obtaining the upper portion of the image is in focus, but the imaging for obtaining the lower portion of the image is out of focus. Therefore, a situation may occur in which the lower part of the image is more blurred than the upper part of the image. That is, when an image is captured during focus driving by the rolling shutter method, the image quality may be degraded.
  • the present disclosure provides an imaging device, an imaging device, an image data processing method, and a program that can suppress deterioration in image quality that occurs when imaging is performed during focus driving by a rolling shutter method.
  • An image sensor of the present disclosure includes a storage unit built in the image sensor and a first processor built in the image sensor.
  • the first processor reads out image data obtained by capturing an image of a subject at a first frame rate, processes the image data, and outputs the processed image data at a second frame rate. , Is configured.
  • the storage unit stores the read image data.
  • the first frame rate is a frame rate higher than the second frame rate, and the first processor has a plurality of frames within the output period of one frame of the image data defined by the second frame rate.
  • the reading of the image data is performed in parallel to acquire the focus drive speed and the rolling deviation amount, and based on the acquired focus drive speed and the rolling deviation amount, the image data of the plurality of frames stored in the storage unit.
  • the synthesizing condition is determined, the synthesizing process is performed on the image data of the plurality of frames according to the determined synthesizing condition, and the synthesized image data obtained by the synthesizing process is output.
  • the first processor may be configured to determine the range of images within a predetermined depth-of-field threshold as a combination condition, as a combination range of images by the combining process.
  • the first processor performs a combining process using a portion of the image data of the plurality of frames stored in the storage unit, which is read out in a state where the focus position is within the depth of field threshold. May be configured to do.
  • the first processor in the image data of the plurality of frames stored in the storage unit, overlaps in a case where the portions read out with the focus position within the depth of field threshold overlap.
  • the portions may be configured to perform the synthesizing process by arithmetically averaging the pixel values of the pixels corresponding to the positions or by using the pixel values of any image.
  • the first processor determines the composition range of the image by the compositing process on the basis of the focus position predicted by the predictive autofocus that predicts the focus position by autofocus as the composition condition. It may be configured as follows.
  • the first processor when flicker is detected, is configured to determine the composition range of the image by the compositing process with reference to the timing when the influence of the flicker is avoided as the composition condition. May be
  • the first processor when the first processor reads image data from a plurality of photosensors arranged in a matrix, the exposure period within the output period of one frame of image data defined by the second frame rate.
  • the number of divisions may be set to a value corresponding to the number of lines that can be AD (Analog-to-Digital) converted at the same time.
  • the first processor may be configured to set the number of divisions of the exposure period to a value equal to or less than the number of lines capable of AD conversion at the same time.
  • the first processor may be configured to set the cropped area as the target range of the combining process when the image represented by the image data is cropped.
  • At least the photoelectric conversion element and the storage unit may be integrated into one chip.
  • the image sensor of the present disclosure may be a stacked image sensor in which a storage unit is stacked on a photoelectric conversion element.
  • An imaging device of the present disclosure includes the imaging device of the present disclosure, and a second processor configured to perform control of storing image data output by a first processor included in the imaging device in a storage medium. ..
  • the second processor may be configured to control the focus driving speed according to the rolling shift amount and the depth of field.
  • the image data processing method of the present disclosure reads out image data obtained by capturing an image of a subject at a first frame rate, processes the image data, and outputs the processed image data at a second frame rate.
  • An image data processing method for an image sensor comprising: a first processor configured to perform the above; and a storage unit that stores image data read by the first processor, wherein With a frame rate higher than two frame rates, the first processor reads out image data of a plurality of frames in parallel within the output period of one frame of image data defined by the second frame rate, and performs focus drive. The speed and the rolling deviation amount are acquired, and the composition condition of the image data for the plurality of frames stored in the storage unit is determined based on the acquired focus drive speed and the rolling deviation amount. The synthesizing process is performed on the image data of the frame, and the synthesized image data obtained by the synthesizing process is output.
  • a program of the present disclosure reads image data obtained by capturing an image of a subject at a first frame rate, stores the read image data in a storage unit, processes the image data, and processes the image data.
  • the first frame rate is a frame rate higher than the second frame rate, and the image of one frame defined by the second frame rate.
  • the image data for a plurality of frames are read in parallel within the data output period, the focus drive speed and the rolling deviation amount are acquired, and stored in the storage unit based on the acquired focus drive speed and the rolling deviation amount.
  • a combination condition of the image data for the plurality of frames that have been formed, a combination process for the image data for the plurality of frames according to the determined combination condition, and an image after the combination obtained by the combination process. causes a computer to perform image data processing, which outputs data.
  • FIG. 6 is a diagram for explaining an image combining process according to the first embodiment. It is a figure for demonstrating the synthetic
  • FIG. 6 is a flowchart showing an example of the flow of an image pickup process according to the first embodiment. It is a flow chart which shows an example of the flow of the composition processing concerning each embodiment. It is a figure for demonstrating the synthetic
  • the image pickup apparatus 10 includes an image pickup apparatus main body 12 and an interchangeable lens 14 that is replaceably attached to the image pickup apparatus main body 12, and a lens interchangeable digital camera in which a reflex mirror is omitted.
  • the interchangeable lens 14 includes an imaging lens 18 having a focus lens 16 movable along the optical axis L1 direction.
  • a hybrid finder (registered trademark) 21 is provided in the image pickup apparatus main body 12.
  • the hybrid viewfinder 21 referred to here is, for example, a viewfinder in which an optical viewfinder (Optical ViewFinder, hereinafter referred to as “OVF”) and an electronic viewfinder (Electronic ViewFinder, hereinafter referred to as “EVF”) are selectively used.
  • a viewfinder switching lever provided on the imaging device main body 12 switches the display between an optical image visually recognizable by the OVF and an electronic image (live view image) visually recognizable by the EVF.
  • the live view image refers to a moving image for display obtained by being imaged by a photoelectric conversion element.
  • a focus ring 22 used in the manual focus mode is provided on the lens barrel of the interchangeable lens 14.
  • the focus lens 16 moves along the optical axis L1 in accordance with the manual rotation operation of the focus ring 22, and the subject light indicating the subject is imaged on the image sensor 20 described later at a focus position according to the subject distance. ..
  • the “focus position” refers to the position of the focus lens 16 on the optical axis L1 in the focused state.
  • a release button is provided on the upper surface of the imaging device body 12.
  • the release button functions as an image capturing preparation instruction unit and an image capturing instruction unit, and can detect a two-step pressing operation of an image capturing preparation instruction state and an image capturing instruction state.
  • the imaging preparation instruction state refers to, for example, a state of being pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state is a state of being pressed to the final pressed position (full-pressed position) beyond the intermediate position. Refers to.
  • the "state in which the standby position is pressed down to the half-pressed position” is referred to as the "half-pressed state”
  • the “state in which the standby position is pressed down to the fully-pressed position” is referred to as the "full-pressed state”.
  • an image pickup mode and a reproduction mode are selectively set as operation modes according to a user's instruction.
  • the imaging mode the manual focus mode and the auto focus mode are selectively set according to a user's instruction.
  • the autofocus mode the release button is half-pressed to adjust the imaging conditions, and then, when the full-pressed state is continued, exposure is performed. That is, when the release button is pressed halfway down, the AE (Automatic Exposure) function works and the exposure state is set, and then the AF (Auto-Focus) function works and focus control is performed, and the release button is fully pressed. Imaging is performed in the state.
  • the image pickup apparatus 10 has a still image pickup mode and a moving image pickup mode as operation modes of the image pickup system.
  • the still image capturing mode is an operation mode in which a still image obtained by capturing an image of a subject by the image capturing device 10 is recorded, and the moving image capturing mode is a movie obtained by capturing the object by the image capturing device 10. This is an operation mode for recording an image.
  • a touch panel display 30 is provided on the back surface of the imaging device body 12.
  • the touch panel display 30 includes a liquid crystal display (hereinafter, referred to as “first display”) 40 and a touch panel 42.
  • the first display 40 displays images and text information.
  • the first display 40 is used to display a live view image (through image) which is an example of continuous frame images obtained by capturing continuous frames in the image capturing mode.
  • the first display 40 is also used to display a still image, which is an example of a single-frame image obtained by capturing a single frame when a still image capturing instruction is given. Further, the first display 40 is also used to display a reproduction image in the reproduction mode, a menu screen, and the like.
  • the touch panel 42 is a transmissive touch panel, and is superimposed on the surface of the display area of the first display 40.
  • the touch panel 42 detects, for example, contact with a finger or an indicator such as a stylus pen.
  • the image pickup device 10 includes a mount 44 provided in the image pickup device main body 12 and a mount 46 corresponding to the mount 44 on the interchangeable lens 14 side.
  • the interchangeable lens 14 is replaceably attached to the image pickup apparatus main body 12 by connecting the mount 46 to the mount 44.
  • the image pickup lens 18 includes a diaphragm 47 and a motor 49.
  • the diaphragm 47 is arranged closer to the imaging device body 12 than the focus lens 16 and is connected to the motor 49.
  • the diaphragm 47 operates by receiving the power of the motor 49 to adjust the exposure.
  • the imaging lens 18 includes a slide mechanism 48 and a motor 50.
  • the slide mechanism 48 moves the focus lens 16 along the optical axis L1 by operating the focus ring 22.
  • the focus lens 16 is attached to the slide mechanism 48 so as to be slidable along the optical axis L1.
  • a motor 50 is connected to the slide mechanism 48, and the slide mechanism 48 receives the power of the motor 50 to move the focus lens 16 along the optical axis L1.
  • the motors 49 and 50 are connected to the imaging device main body 12 via mounts 44 and 46, and the drive is controlled according to a command from the imaging device main body 12.
  • a stepping motor is used as an example of the motor 49, 50. Therefore, the motors 49 and 50 operate in synchronization with the pulse power according to a command from the imaging device body 12.
  • the motors 49 and 50 are provided in the imaging lens 18, but the invention is not limited to this, and the motors 49 and 50 may be provided in the imaging device body 12. Good.
  • the image pickup apparatus main body 12 also includes an operation unit 54, an external interface (I/F) 63, and a post-stage circuit 90.
  • the post-stage circuit 90 is a circuit on the side that receives the data sent from the image sensor 20.
  • an IC Integrated Circuit
  • An example of an IC is an LSI (Large-Scale Integration).
  • the post-stage circuit 90 includes a CPU (Central Processing Unit) 52, an I/F 56, a primary storage unit 58, a secondary storage unit 60, an image processing unit 62, a first display control unit 64, a second display control unit 66, a position detection unit. 70 and a device controller 74.
  • a single CPU is illustrated as the CPU 52, but the present disclosure is not limited to this, and a plurality of CPUs may be adopted instead of the CPU 52.
  • the CPU 52 is a hardware processor and is an example of a second processor.
  • each of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by an ASIC (Application Specific Integrated Circuit).
  • ASIC Application Specific Integrated Circuit
  • the technology of the present disclosure is not limited to this.
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC, PLD, and FPGA may be adopted instead of the ASIC.
  • a computer including a CPU, a ROM (Read Only Memory), and a RAM (Random Access Memory) may be adopted.
  • the CPU may be singular or plural.
  • at least one of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by a combination of hardware configuration and software configuration. Good.
  • the CPU 52 controls the entire imaging device 10.
  • the CPU 52 drives the motor 50 to move the focus lens 16 along the optical axis L1 to the in-focus position obtained by the image plane phase difference AF method.
  • the position of the focus lens 16 along the optical axis L1 is referred to as the “focus position”.
  • the focus position is represented by a distance based on a predetermined position (a distance represented by “D” in the example of FIG. 2).
  • the “predetermined position” is, for example, the position of the end portion on the imaging device main body 12 side in the movable range of the focus lens 16.
  • the drive speed of the focus lens 16 driven in the autofocus mode that is, the movement amount of the focus lens 16 per unit time is referred to as “focus drive speed”.
  • the primary storage unit 58 means a volatile memory, for example, a RAM.
  • the secondary storage unit 60 means a non-volatile memory, and indicates, for example, a flash memory or an HDD (Hard Disk Drive).
  • An image pickup program 60A is stored in the secondary storage unit 60.
  • the CPU 52 reads the imaging program 60A from the secondary storage unit 60, and loads the read imaging program 60A in the primary storage unit 58.
  • the CPU 52 executes an image capturing process (see FIG. 17) described later according to the image capturing program 60A loaded in the primary storage unit 58.
  • the secondary storage unit 60 is an example of a “storage medium” according to the technique of the present disclosure.
  • the operation unit 54 is a user interface operated by a user when giving various instructions to the subsequent circuit 90.
  • the operation unit 54 includes the above-described release button and finder switching lever.
  • the operation unit 54 also includes a dial, a cross key, a menu key, an instruction button, and the like.
  • the various instructions received by the operation unit 54 are output to the CPU 52 as operation signals, and the CPU 52 executes processing according to the operation signal input from the operation unit 54.
  • the position detector 70 is connected to the CPU 52.
  • the position detection unit 70 is connected to the focus ring 22 via mounts 44 and 46, detects the rotation angle of the focus ring 22, and outputs rotation angle information indicating the rotation angle that is the detection result to the CPU 52.
  • the CPU 52 executes processing according to the rotation angle information input from the position detection unit 70.
  • the subject light is imaged on the light receiving surface of the color image pickup element 20 via the image pickup lens 18 and the mechanical shutter 72.
  • the device control unit 74 is connected to the CPU 52.
  • the device controller 74 is also connected to the image sensor 20 and the mechanical shutter 72. Further, the device control section 74 is connected to the motors 49 and 50 of the imaging lens 18 via the mounts 44 and 46.
  • the device control unit 74 controls the image sensor 20, the mechanical shutter 72, and the motors 49 and 50 under the control of the CPU 52.
  • the hybrid finder 21 includes an OVF 76 and an EVF 78.
  • the OVF 76 is an inverted Galileo finder having an objective lens 81 and an eyepiece lens 86
  • the EVF 78 has a second display 80, a prism 84, and an eyepiece lens 86.
  • a liquid crystal shutter 88 is provided in front of the objective lens 81, and the liquid crystal shutter 88 shields the objective lens 81 from an optical image when the EVF 78 is used.
  • the prism 84 reflects the electronic image or various information displayed on the second display 80 and guides it to the eyepiece lens 86, and at least one of the optical image and the electronic image and various information displayed on the second display 80. To synthesize.
  • the OVF mode in which the optical image can be visually recognized by the OVF 76 and the EVF mode in which the electronic image can be visually recognized by the EVF 78 are alternately switched each time the finder switching lever is rotated.
  • the second display control unit 66 controls the liquid crystal shutter 88 to be in the non-light-shielding state so that the optical image can be visually recognized from the eyepiece unit. Further, in the EVF mode, the second display control unit 66 controls the liquid crystal shutter 88 to be in a light blocking state so that only the electronic image displayed on the second display 80 can be visually recognized from the eyepiece unit.
  • the image sensor 20 is an example of a “multilayer image sensor” according to the technology of the present disclosure.
  • the image sensor 20 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 20 includes a photoelectric conversion element 92, a processing circuit 94, and a memory 96.
  • the memory 96 is an example of the “storage unit” in the present disclosure.
  • the image sensor 20 is an image sensor in which the photoelectric conversion element 92, the processing circuit 94, and the memory 96 are integrated into one chip. That is, the photoelectric conversion element 92, the processing circuit 94, and the memory 96 are packaged in one package. Further, in the image sensor 20, the processing circuit 94 and the memory 96 are stacked on the photoelectric conversion element 92. Specifically, the photoelectric conversion element 92 and the processing circuit 94 are electrically connected to each other by a conductive bump such as copper, and the processing circuit 94 and the memory 96 are also mutually connected by a conductive bump such as copper. It is electrically connected.
  • the processing circuit 94 is, for example, an LSI, and the memory 96 is, for example, a RAM.
  • the memory 96 is, for example, a RAM.
  • a DRAM Dynamic Random Access Memory
  • SRAM Static Random Access Memory
  • the processing circuit 94 is realized by an ASIC, but the technology of the present disclosure is not limited to this.
  • at least one of PLD and FPGA may be adopted instead of the ASIC.
  • at least one of ASIC, PLD, and FPGA may be adopted.
  • a computer including a CPU, a ROM, and a RAM may be adopted.
  • the CPU may be singular or plural.
  • the processing circuit 94 may be realized by a combination of a hardware configuration and a software configuration.
  • the photoelectric conversion element 92 has a plurality of photosensors arranged in a matrix.
  • a photodiode is used as an example of the photo sensor.
  • a photodiode for “4896 ⁇ 3265” pixels can be given.
  • the photoelectric conversion element 92 includes a color filter, which is a G filter corresponding to G (green) that most contributes to obtain a luminance signal, an R filter corresponding to R (red), and a B (blue). ) Corresponding to the B filter.
  • G filters, R filters, and B filters are arranged in the row direction (horizontal direction) and the column direction (vertical direction) with a predetermined periodicity for the plurality of photodiodes of the photoelectric conversion element 92. ing. Therefore, the imaging device 10 can perform processing in accordance with a repeating pattern when performing the R, G, B signal synchronization processing and the like.
  • the synchronization processing refers to processing for calculating all color information for each pixel from a mosaic image corresponding to the color filter array of the single-plate color image sensor.
  • the synchronization processing means a processing of calculating color information of all RGB for each pixel from a mosaic image of RGB.
  • CMOS image sensor is illustrated as the imaging device 20 here, the technology of the present disclosure is not limited to this, and even if the photoelectric conversion device 92 is a CCD (Charge Coupled Device) image sensor, for example, The disclosed technology is approved.
  • CCD Charge Coupled Device
  • the image sensor 20 has a so-called electronic shutter function, and controls the charge storage time of each photodiode in the photoelectric conversion element 92 by operating the electronic shutter function under the control of the device control unit 74.
  • the charge storage time refers to so-called shutter speed.
  • the image capturing apparatus 10 uses a rolling shutter method to capture a still image and a moving image. Imaging for still images is realized by activating the electronic shutter function and the mechanical shutter 72, and imaging for moving images is realized by activating the electronic shutter function without activating the mechanical shutter 72. To be done.
  • the processing circuit 94 is controlled by the device control unit 74.
  • the processing circuit 94 reads out captured image data obtained by capturing an image of the subject by the photoelectric conversion element 92.
  • the “captured image data” mentioned here refers to image data showing a subject.
  • the captured image data is the signal charge accumulated in the photoelectric conversion element 92.
  • the processing circuit 94 performs AD (Analog-to-Digital) conversion on the captured image data read from the photoelectric conversion element 92.
  • the processing circuit 94 stores the captured image data obtained by performing AD conversion on the captured image data in the memory 96.
  • the processing circuit 94 acquires the captured image data from the memory 96 and outputs the output image data, which is the image data based on the acquired captured image data, to the I/F 56 of the post-stage circuit 90.
  • output image data that is image data based on captured image data
  • output image data is simply referred to as “output image data”.
  • the processing circuit 94 performs the first processing and the second processing on the captured image data.
  • the first process refers to a process of reading captured image data from the photoelectric conversion element 92 and storing the read captured image data in the memory 96.
  • the second process refers to a process of outputting the output image data to the outside of the image sensor 20.
  • the “outside of the image pickup device 20” refers to, for example, the I/F 56 of the post-stage circuit 90.
  • the image sensor 20 images a subject at the first frame rate.
  • the processing circuit 94 performs the first processing at the first frame rate and the second processing at the second frame rate.
  • the first frame rate is a frame rate higher than the second frame rate.
  • the present disclosure is not limited to this, and the relationship of “second frame rate ⁇ first frame rate” can be used. If so, the second frame rate can be changed. Further, the first frame rate is a variable frame rate within a range higher than the second frame rate.
  • the processing circuit 94 includes a photoelectric conversion element drive circuit 94A, an AD conversion circuit 94B, an image processing circuit 94C, an output circuit 94D, and a storage circuit 94E.
  • the processing circuit 94 operates under the control of the CPU 52 via the device control unit 74.
  • the rolling shift amount 98 is stored in the storage circuit 94E. Details of the rolling deviation amount 98 will be described later.
  • the photoelectric conversion element drive circuit 94A is an example of a “reading unit”
  • the image processing circuit 94C is an example of a “processing unit”
  • the output circuit 94D is an example of an “output unit”.
  • the rolling deviation amount 98 may be stored in the secondary storage unit 60 of the imaging device body 12.
  • the photoelectric conversion element drive circuit 94A is connected to the photoelectric conversion element 92 and the AD conversion circuit 94B.
  • the memory 96 is connected to the AD conversion circuit 94B and the image processing circuit 94C.
  • the image processing circuit 94C is connected to the output circuit 94D.
  • the output circuit 94D is connected to the I/F 56 of the post-stage circuit 90.
  • the photoelectric conversion element drive circuit 94A controls the photoelectric conversion element 92 under the control of the device control unit 74, and reads the analog captured image data obtained by the photoelectric conversion element 92 at the first frame rate by capturing an image of a subject. ..
  • the AD conversion circuit 94B digitizes the captured image data read by the photoelectric conversion element drive circuit 94A, and stores the digitized captured image data in the memory 96.
  • the memory 96 is a memory that can store captured image data of a plurality of frames.
  • the image processing circuit 94C processes the captured image data.
  • the output circuit 94D outputs the captured image data processed by the image processing circuit 94C (that is, output image data) at the second frame rate.
  • the exposure period is shorter than the output period of one frame (for example, when the exposure period for capturing a moving image with a frame rate of 60 fps is 1/1000 seconds), the ratio of the exposure period in one frame Becomes smaller with respect to the output period of one frame. For this reason, in this case, the time difference of the exposure timing between the frames becomes large, and it may appear as an intermittent moving image like a frame-advancing moving image.
  • the exposure period is, for example, 1/2 or 1/4 by reading and resetting the image data from the photoelectric conversion element 92 at a timing different from the synchronization timing by the vertical synchronization signal.
  • FIG. 7 shows an example in which the exposure period within the output frame rate (that is, the second frame rate) is made equal to, 1/2 times, and 1/4 times.
  • the first frame rate is defined by the second frame rate and the number of divisions of the exposure period.
  • a plurality of captured image data corresponding to the number of divisions of the exposure period is stored in the memory 96. Then, as shown in FIG. 7, image data obtained by averaging a plurality of captured image data stored in the memory 96 for each pixel corresponding to a position is output as output image data. This makes it possible to reduce the feeling of frame advance between frames.
  • the number of divisions of this exposure period can be determined, for example, according to the number of lines of the photoelectric conversion element 92 that can simultaneously perform AD conversion. As shown in FIG. 8A, when the number of divisions of the exposure period is two, and if the number of lines that can be AD-converted at the same time is two, by overlapping a part of the two exposure periods, the captured image data The reading speed can be increased. This is because it is possible to simultaneously read captured image data from each of two different lines in the photoelectric conversion element 92 and perform AD conversion.
  • the number of lines for which AD conversion is performed at the same time may be 3. is there.
  • the number of lines that can be AD-converted at the same time is two due to restrictions on the hardware configuration.
  • the photoelectric conversion element drive circuit 94A divides the exposure period within a range in which the reading speed does not decrease. Specifically, the photoelectric conversion element drive circuit 94A sets the number of divisions of the exposure period to a value equal to or less than the number of lines capable of AD conversion at the same time (two in this embodiment). However, the number of divisions of the exposure period is not limited to two and may be three or more. Further, it may be the number of divisions of the exposure period in which the read speed of the captured image data is reduced.
  • an image of each frame is obtained by capturing an image of a subject while moving the focus lens 16 in a state in which a time for moving the focus lens 16 to an in-focus position cannot be secured between output frames. May be obtained.
  • the state of contrast may differ between the upper side and the lower side in the image due to the rolling shift.
  • the out-of-focus state contrast that is, a situation of blurring may occur. is there.
  • the image quality deteriorates as compared with the case where the entire image has the in-focus contrast.
  • the combination condition of a plurality of image data is determined based on the focus drive speed and the rolling deviation amount, and the combination process for the image data is performed according to the determined combination condition. ..
  • the functional configuration of the CPU 52 of the imaging device body 12 will be described with reference to FIG. As shown in FIG. 9, the CPU 52 executes the imaging program 60A to function as the imaging control unit 100 and the storage control unit 102.
  • the image capturing control unit 100 When the user inputs a moving image capturing instruction via the operation unit 54, the image capturing control unit 100 outputs a vertical synchronization signal to the image capturing element in accordance with the output period of one frame of image data defined by the second frame rate. Output to 20. As a result, the imaging control unit 100 gives the imaging element 20 an instruction for imaging a moving image. At this time, the imaging control unit 100 drives the motor 50 to move the focus lens 16 along the optical axis L1 at a predetermined focus drive speed to the in-focus position obtained by the image plane phase difference AF method.
  • the predetermined focus drive speed is, for example, a focus drive speed obtained by a test using an actual device as a focus drive speed capable of completing focusing control for one frame within a period shorter than the exposure period for one frame. If
  • the imaging control unit 100 generates a vertical synchronization signal corresponding to each frame and outputs the generated vertical synchronization signal to the image sensor 20.
  • the imaging control unit 100 also outputs the focus position and the focus drive speed at the timing of generating the vertical synchronization signal to the image sensor 20.
  • the imaging control unit 100 derives the front depth of field and the rear depth of field at the timing of generating the vertical synchronization signal corresponding to each frame, and outputs the derived respective depths of field to the image sensor 20.
  • the imaging control unit 100 uses the permissible circle of confusion diameter, the aperture value, the subject distance, and the focal length according to the following equations (1) and (2) to determine the front depth of field and the rear subject. Derive the depth of field.
  • the storage control unit 102 controls the storage of the image data output by the output circuit 94D of the image sensor 20 in the secondary storage unit 60.
  • the storage control unit 102 may perform control to store the image data output by the output circuit 94D of the image pickup device 20 in an external memory such as a memory card that can be attached to and detached from the image pickup apparatus main body 12.
  • the image processing circuit 94C functionally includes a first acquisition unit 110, a second acquisition unit 112, and a combination processing unit 114.
  • the first acquisition unit 110 acquires a focus position, a focus drive speed, a front depth of field, and a rear depth of field from the outside of the image sensor 20.
  • the outside of the image sensor 20 is the CPU 52.
  • the second acquisition unit 112 acquires the rolling deviation amount 98 from the storage circuit 94E inside the image sensor 20.
  • the composition processing unit 114 composes the captured image data for a plurality of frames stored in the memory 96 from the focus drive speed and the rolling deviation amount 98 (hereinafter, simply referred to as “composition condition”). ) Is determined. Then, the combining processing unit 114 performs a combining process on the captured image data of a plurality of frames according to the determined combining condition.
  • the number of divisions of the exposure period within the output period defined by the second frame rate is two. That is, as an example, as shown in FIG. 12, the photoelectric conversion element drive circuit 94A reads the image data of two frames in parallel within the output period of the image data of one frame defined by the second frame rate. To do.
  • the combining processing unit 114 uses each of the lines of the photoelectric conversion element 92 using the focus position and the focus drive speed acquired by the first acquisition unit 110 and the rolling deviation amount 98 acquired by the second acquisition unit 112. It is possible to derive the focus position at the timing when the signal reading is started.
  • FIG. 12 shows, as an example, the focus position at the timing when signal reading is started from each of the first line, the center line, and the last line in two exposures within one frame defined by the second frame rate. ing.
  • the composition processing unit 114 determines, as a composition condition, a range of images within a predetermined depth of field threshold as a composition range of images by the composition process.
  • the synthesizing processing unit 114 is within the range of the front depth of field and the rear depth of field acquired by the first acquisition unit 110, centered on a predetermined position. Be within the depth of field threshold.
  • the synthesizing unit 114 sets the range between the front depth of field and the rear depth of field as the depth of field threshold value based on the focus position assumed to focus on the subject. ..
  • the image synthesis range is not limited to within the depth of field threshold, and the synthesis range may be a range that is experimentally obtained in advance.
  • the focus positions from 1020 [ ⁇ m] to +5 [ ⁇ m] correspond to the front depth of field.
  • the focus position from [ ⁇ m] to ⁇ 5 [ ⁇ m] corresponds to the rear depth of field. That is, in the example of FIG. 12, the focus position within the range of 1015 [ ⁇ m] or more and 1025 [ ⁇ m] or less is within the depth of field threshold.
  • the portion read out in the state where the focus positions in the two images are 1015 [ ⁇ m] or more and 1025 [ ⁇ m] or less is determined as the image synthesis range. Then, of the two images, the portion read out in the state where the focus position is 1015 [ ⁇ m] or more and 1025 [ ⁇ m] or less is combined into one image.
  • the shaded area indicates the image synthesis range. Further, the fact that the shaded portion indicates the image synthesis range is the same in FIGS. 14 to 16, FIG. 19, FIG. 20, FIG. 22, and FIG. 24 described later. Note that FIG. 13 shows an example in which two images are combined, but the present invention is not limited to this. As an example, as shown in FIG.
  • the depth of field threshold when the depth of field threshold is deeper than in the example shown in FIG. 13 and the pixels within the depth of field threshold value are included in three or more images, three or more images are displayed. May be synthesized. In this case, for pixels overlapping in a plurality of images, the pixel values of the pixels corresponding to the positions may be averaged, or the pixel values of any image may be adopted.
  • the depth of field threshold is set.
  • An example is a mode in which pixels inside are combined and pixels outside the depth of field threshold are averaged. In this case, the pixel value of any image may be adopted as the pixel outside the depth of field threshold.
  • the imaging control unit 100 may control the focus driving speed according to the rolling shift amount 98 and the depth of field. Specifically, as shown in FIG. 16 as an example, a mode is exemplified in which the imaging control unit 100 controls the focus drive speed so that the pixels for at least one image are included in the depth of field threshold. .. In this case, for example, the imaging control unit 100 slows the focus driving speed as the depth of field becomes narrower, that is, as the range of the depth of field threshold becomes narrower.
  • the output circuit 94D outputs the combined image data obtained by the combining processing by the combining processing unit 114 to the CPU 52.
  • the CPU 52 executes an image capturing process according to the image capturing program 60A when the operation unit 54 receives an instruction to start capturing a moving image.
  • the image capturing process executed by the CPU 52 will be described below with reference to FIG.
  • step S10 of FIG. 17 the imaging control unit 100 drives the motor 50 to move the focus lens 16 to the in-focus position obtained by the image plane phase difference AF method at the predetermined focus drive speed and the optical axis L1. Start the process of moving along. That is, the combining process of FIG. 18, which is started by the process of step S14 described later, is executed while the focus lens 16 is moving.
  • step S12 the imaging control unit 100 uses the permissible circle of confusion diameter, the aperture value, the subject distance, and the focal length in accordance with the equations (1) and (2) to determine the front depth of field and Derive the back depth of field.
  • step S14 the image pickup control unit 100 outputs a vertical synchronization signal to the image pickup device 20 to instruct the image pickup device 20 to pick up a moving image.
  • the imaging control unit 100 outputs the focus position and the focus drive speed, and the front depth of field and the rear depth of field derived by the process of step S12 to the image sensor 20, as described above.
  • the vertical synchronization signal is input to the image pickup device 20 by the process of step S14, the image pickup device 20 performs the combining process shown in FIG.
  • step S16 the storage control unit 102 performs control to store the image data output by the output circuit 94D of the image sensor 20 in the secondary storage unit 60 by the process of step S26 of the combining process illustrated in FIG.
  • the main imaging process ends.
  • the above-described processing of steps S10 to S16 is repeatedly executed at a time interval defined by the second frame rate, so that moving image data of the second frame rate is stored in the secondary storage unit 60.
  • step S22 the first acquisition unit 110 obtains the focus position, the focus drive speed, the front depth of field, and the rear depth of field input from the CPU 52 of the imaging device body 12 by the processing in step S14 of the imaging processing. get.
  • the second acquisition unit 112 also acquires the rolling deviation amount 98 from the storage circuit 94E inside the image sensor 20.
  • the combining processing unit 114 acquires the focus position, the focus drive speed, the front depth of field, and the rear depth of field from the first acquisition unit 110. Further, the synthesis processing unit 114 acquires the rolling deviation amount 98 from the second acquisition unit 112.
  • the combination processing unit 114 acquires the focus position, the focus drive speed, the front depth of field, and the rear depth of field acquired from the first acquisition unit 110, and the rolling deviation amount 98 acquired from the second acquisition unit 112. Is used to determine the combining condition of the plurality of captured image data stored in the memory 96 by the process of step S20.
  • step S24 the combining processing unit 114 performs the combining process on the plurality of captured image data according to the combining condition determined in the process of step S22, as described above.
  • step S26 the output circuit 94D outputs the combined image data obtained by the process of step S24 to the CPU 52.
  • the main combining process ends.
  • the image data composition condition for a plurality of frames stored in the memory 96 is determined from the focus drive speed and the rolling deviation amount, and the image data is determined according to the determined composition condition. Is being combined. Therefore, it is possible to suppress the deterioration of image quality that occurs when an image is captured during focus driving by the rolling shutter method.
  • the composition processing unit 114 may determine the composition range of the image according to the amount of change in the focus drive speed. Specifically, when the focus drive speed is gradually increased toward the target speed, a mode in which the image synthesis range is widened as compared with the case of the target speed is exemplified. Similarly, when the focus drive speed is gradually decreased toward the target speed, a mode in which the image synthesis range is widened compared to the case of the target speed is exemplified.
  • the image pickup element 20 the image pickup element in which the photoelectric conversion element 92, the processing circuit 94, and the memory 96 are integrated into one chip is exemplified, but the technique of the present disclosure is not limited to this.
  • the photoelectric conversion element 92 and the memory 96 among the photoelectric conversion element 92, the processing circuit 94, and the memory 96 may be integrated into one chip.
  • the imaging control unit 100 executes predictive autofocus at the timing of generating a vertical synchronization signal corresponding to each frame.
  • Predictive autofocus refers to autofocus in which the in-focus position is predicted by activating autofocus (image plane phase difference AF in this embodiment).
  • the imaging control unit 100 further outputs the focus position obtained by the predictive autofocus (hereinafter, referred to as “predictive focus position”) to the image sensor 20.
  • the first acquisition unit 110 further acquires the predicted focus position input from the CPU 52 of the imaging device body 12.
  • the combination processing unit 114 sets an upper limit and a lower limit for the front depth of field and the rear depth of field with reference to the predicted focus position acquired by the first acquisition unit 110.
  • the range defined by is defined as the depth of field threshold value.
  • FIGS. 18 and 21 the operation of the portion of the imaging device 10 according to the technology of the present disclosure will be described. It should be noted that here, only parts different from the first embodiment will be described. Also, steps in FIG. 21 that execute the same processing as in FIG. 17 are assigned the same reference numerals and explanations thereof are omitted.
  • step S11 the imaging control unit 100 derives the predicted focus position by the predictive autofocus, as described above.
  • step S14 the predicted focus position derived in step S11 is further input to the image sensor 20.
  • step S24 of FIG. 18, as described above, the synthesis processing unit 114 sets the upper limit for the front depth of field and the rear depth of field with reference to the predicted focus position acquired by the first acquisition unit 110.
  • the range defined by the lower limit and the lower limit is set as the depth of field threshold.
  • the image synthesis range by the synthesis process is determined based on the in-focus position predicted by the predictive autofocus. Therefore, it is possible to further suppress deterioration in image quality that occurs when imaging is performed during focus driving by the rolling shutter method.
  • FIGS. 1 to 5 A third embodiment of the disclosed technology will be described.
  • the configuration of the image pickup apparatus 10 is the same as that of the first embodiment (see FIGS. 1 to 5), and thus the description thereof is omitted.
  • the image capturing control unit 100 uses a group of images obtained by capturing an image with the image sensor 20 at a predetermined frame rate (for example, a second frame rate) for a period determined as a period in which flicker can be detected. Perform detection processing.
  • the imaging control unit 100 derives the timing at which the influence of the flicker is avoided (hereinafter referred to as “flicker influence avoidance timing”) based on the flicker cycle.
  • the imaging control unit 100 derives the timing at which the brightness reaches a peak in the image group as the flicker effect avoidance timing.
  • the flicker effect avoidance timing does not necessarily have to be the timing at which the brightness of the image reaches the peak.
  • the flicker influence avoidance timing may be a timing that deviates from the peak of the brightness of the image within a range in which the flicker does not appear in the image.
  • the imaging control unit 100 further outputs the derived flicker influence avoidance timing to the imaging element 20 when outputting the vertical synchronization signal corresponding to each frame.
  • the first acquisition unit 110 further acquires the flicker influence avoidance timing input from the CPU 52 of the imaging device body 12.
  • the combination processing unit 114 sets upper and lower limits for the front depth of field and the rear depth of field with reference to the flicker effect avoidance timing acquired by the first acquisition unit 110.
  • the range defined by is defined as the depth of field threshold value.
  • step S10A of FIG. 23 the imaging control unit 100 performs flicker detection processing as described above. If no flicker is detected in step S10A, the same processes as those in the first embodiment are executed as the processes in steps S12 to S16 and the combining process shown in FIG.
  • step S10A if flicker is detected in step S10A, the flicker influence avoidance timing derived in step S10A is further input to the image sensor 20 in step S14. Then, in this case, in step S24 of FIG. 18, as described above, the combining processing unit 114 sets the upper limit and the lower limit of the front depth of field and the rear depth of field on the basis of the flicker influence avoidance timing.
  • the defined range is defined as the depth of field threshold value.
  • the synthesizing range of images by the synthesizing process is determined with a focus on the flicker effect avoidance timing. Therefore, it is possible to further suppress deterioration in image quality that occurs when imaging is performed during focus driving by the rolling shutter method.
  • the present invention is not limited to this.
  • the cropped area may be the target range of the combining process.
  • the disclosed technique is applied to a moving image
  • the present invention is not limited to this.
  • the disclosed technology may be applied to a plurality of still images obtained by continuous shooting.
  • the moving image obtained by the combining process is stored in the storage unit, but the present invention is not limited to this.
  • the moving image obtained by the combining process may be displayed on the first display 40 as a live view image.
  • processing circuit 94 in which the ASIC is realized is illustrated, but the above-described combining processing may be realized by a software configuration by a computer.
  • a program 200 for causing the computer 20A built in the image pickup device 20 to execute the above-described combining process is stored in the storage medium 210.
  • the computer 20A includes a CPU 20A1, a ROM 20A2, and a RAM 20A3.
  • the program 200 of the storage medium 210 is installed in the computer 20A, and the CPU 20A1 of the computer 20A executes the above-described combining process according to the program 200.
  • a single CPU is illustrated as the CPU 20A1, but the technique of the present disclosure is not limited to this, and a plurality of CPUs may be adopted instead of the CPU 20A1.
  • the CPU 20A1 is a hardware processor and is an example of a first processor.
  • the storage medium 210 an arbitrary portable storage medium such as an SSD (Solid State Drive) or a USB (Universal Serial Bus) memory can be cited.
  • SSD Solid State Drive
  • USB Universal Serial Bus
  • the program 200 may be stored in a storage unit such as another computer connected to the computer 20A via a communication network, and the program 200 may be downloaded in response to a request from the imaging device 10 or the like. In this case, the downloaded program 200 is executed by the computer 20A.
  • the computer 20A may be provided outside the image pickup device 20. In this case, the computer 20A may control the processing circuit 94 according to the program 200.
  • processors can be used as the hardware resources that execute the various processes described in the above embodiments.
  • the various types of processing described in each of the above embodiments include an image capturing process and a combining process.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource that executes various processes according to the technology of the present disclosure by executing software, that is, a program, as described above.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as FPGA, PLD, or ASIC, can be cited.
  • the hardware resource that executes various processes according to the technology of the present disclosure may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of processors). It may be configured by a combination of FPGAs or a combination of CPUs and FPGAs. Further, the hardware resource that executes various processes according to the technology of the present disclosure may be one processor.
  • one processor is configured with a combination of one or more CPUs and software, and the processor is disclosed.
  • the processor is disclosed.
  • SoC System-on-a-chip
  • SoC System-on-a-chip
  • the function of the entire system including a plurality of hardware resources for executing various processes according to the technique of the present disclosure can be achieved by one IC chip.
  • a processor to be realized is used.
  • various processes according to the technology of the present disclosure are realized by using one or more of the above various processors as a hardware resource.
  • the interchangeable lens type camera is illustrated as the imaging device 10, but the technology of the present disclosure is not limited to this.
  • the technology of the present disclosure may be applied to the smart device 300 shown in FIG.
  • the smart device 300 illustrated in FIG. 26 is an example of an imaging device according to the technique of the present disclosure.
  • the smart device 300 is equipped with the image sensor 20 described in each of the above embodiments. Even with the smart device 300 configured as above, the same operation and effect as those of the imaging device 10 described in each of the above embodiments can be obtained.
  • the technology of the present disclosure is applicable to not only the smart device 300 but also a PC (Personal Computer) or a wearable terminal device.
  • PC Personal Computer
  • the first display 40 and the second display 80 are illustrated as the display device, but the technology of the present disclosure is not limited to this.
  • a separate display retrofitted to the imaging device body 12 may be used as the display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

第１フレームレートは第２フレームレートよりも高いフレームレートであり、第１プロセッサは、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて複数のフレームについての画像データに対する合成処理を行い、合成処理により得られた合成後の画像データを出力する、撮像素子。

Description

撮像素子、撮像装置、画像データ処理方法、及びプログラム
　本開示は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。
　特開２０１８－６９９３号公報には、連続的に取得された複数の画像のうちの第１画像のＳ／Ｎ（信号対雑音）比を向上させる処理を行って第３画像を生成し、上記複数の画像のうちの第２画像のＳ／Ｎ比を向上させる処理を行って第４画像を生成する画像処理装置が開示されている。この画像処理装置は、第１画像と第４画像とを合成して第１合成画像を生成し、第２画像と第３画像とを合成して第２合成画像を生成する。
　ＷＯ２０１４／００７００４号公報には、画素アレイ部の各画素から信号線に読み出されるアナログ画素信号をデジタル化した画素データをフレームレートよりも速い第１速度で転送する信号処理部を備えた撮像装置が開示されている。この撮像装置は、信号処理部から転送される画素データを保持するメモリ部と、メモリ部から第１速度よりも遅い第２速度で画素データを読み出すデータ処理部とを更に備える。また、この撮像装置は、メモリ部から画素データを読み出す際に、信号線に接続されている電流源の動作及び信号処理部の動作を停止する制御を行う制御部を更に備える。
　撮像装置においてローリングシャッタ方式の撮像が行われると、電子シャッタのローリングずれが生じる。ここで、電子シャッタのローリングずれとは、例えば、光電変換素子のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差がある現象を指す。
　また、動画像のように連続的に被写体を撮像する場合、連続するフレーム間でフォーカスレンズを移動させるための時間が十分に確保できないため、フォーカスレンズを動かしながら被写体を撮像する場合がある。この場合、ローリングずれに起因して、例えば、画像における上部を得るための撮像では合焦状態であるが、画像における下部を得るための撮像では合焦状態でなくなってしまう。そのため、画像における下部が、画像における上部に比べ、ボケてしまう、といった状況が発生し得る。すなわち、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合、画質が低下してしまう場合がある。
　本開示は、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。
　本開示の撮像素子は、前記撮像素子に内蔵された記憶部と、前記撮像素子に内蔵された第１プロセッサと、を備える。前記第１プロセッサは、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する、ように構成されている。前記記憶部は、読み出された前記画像データを記憶する。前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、前記第１プロセッサは、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、前記合成処理により得られた合成後の画像データを出力する。
　本開示の撮像素子において、第１プロセッサは、合成条件として、予め定められた被写界深度閾値内の画像の範囲を合成処理による画像の合成範囲として決定するように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、記憶部に記憶された複数のフレームについての画像データのうち、フォーカス位置が被写界深度閾値内の状態で読み出された部分を用いて合成処理を行うように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、記憶部に記憶された複数のフレームについての画像データにおいて、フォーカス位置が被写界深度閾値内の状態で読み出された部分が重複する場合、重複する部分については位置が対応する画素の画素値を加算平均するか、又は何れかの画像の画素値を用いることによって合成処理を行うように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、合成条件として、オートフォーカスにより合焦位置を予測する予測オートフォーカスによって予測された合焦位置を基準にして、合成処理による画像の合成範囲を決定するように構成されていてもよい。
　本開示の撮像素子において、フリッカが検出された場合、第１プロセッサは、合成条件として、フリッカの影響が回避されるタイミングを基準にして、合成処理による画像の合成範囲を決定するように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、マトリクス状に配置された複数のフォトセンサから画像データを読み出す場合に、第２フレームレートで規定される１フレームの画像データの出力期間内における露光期間の分割数を同時にＡＤ（Analog-to-Digital）変換が可能なライン数に応じた値とするように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、露光期間の分割数を同時にＡＤ変換が可能なライン数以下の値とするように構成されていてもよい。
　本開示の撮像素子において、第１プロセッサは、画像データにより示される画像がクロップされた場合、クロップされた領域を合成処理の対象範囲とするように構成されていてもよい。
　本開示の撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化されていてもよい。
　本開示の撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子であってもよい。
　本開示の撮像装置は、本開示の撮像素子と、撮像素子に含まれる第１プロセッサにより出力された画像データを記憶媒体に記憶する制御を行うように構成されている第２プロセッサと、を含む。
　本開示の撮像装置において、第２プロセッサは、ローリングずれ量及び被写界深度に応じてフォーカス駆動速度を制御するように構成されていてもよい。
　本開示の画像データ処理方法は、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、画像データに対して処理を行い、処理された画像データを第２フレームレートで出力するように構成されている第１プロセッサと、第１プロセッサにより読み出された画像データを記憶する記憶部と、が内蔵された撮像素子の画像データ処理方法であって、第１フレームレートを第２フレームレートよりも高いフレームレートとし、第１プロセッサが、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて複数のフレームについての画像データに対する合成処理を行い、合成処理により得られた合成後の画像データを出力する。
　本開示のプログラムは、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、読み出された画像データを記憶部に記憶し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する撮像素子において、前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、前記合成処理により得られた合成後の画像データを出力する、画像データ処理をコンピュータに実行させる。
　本開示によれば、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる。
各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係るフォーカス位置を説明するための側面図である。 各実施形態に係る撮像装置にハイブリッドファインダーの構成の一例を示す概略構成図である。 各実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 各実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 ローリングずれ量を説明するための図である。 露光期間の分割を説明するための図である。 露光期間の数とＡＤ変換が可能なライン数とを説明するための図である。 露光期間の数とＡＤ変換が可能なライン数とを説明するための図である。 各実施形態に係る撮像装置のＣＰＵの機能的な構成の一例を示すブロック図である。 各実施形態に係る撮像素子に含まれる画像処理回路の機能的な構成の一例を示すブロック図である。 第１実施形態に係る画像の合成処理を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 変形例に係るフォーカス駆動速度の制御を説明するための図である。 第１実施形態に係る撮像処理の流れの一例を示すフローチャートである。 各実施形態に係る合成処理の流れの一例を示すフローチャートである。 変形例に係る画像の合成範囲を説明するための図である。 第２実施形態に係る画像の合成範囲を説明するための図である。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態に係る画像の合成範囲を説明するための図である。 第３実施形態に係る撮像処理の流れの一例を示すフローチャートである。 変形例に係る画像の合成範囲を説明するための図である。 プログラムが記憶された記憶媒体から、プログラムが各実施形態に係る撮像素子にインストールされる態様の一例を示す概念図である。 各実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
　［第１実施形態］
　図１を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたレンズ交換式のデジタルカメラである。交換レンズ１４は、光軸Ｌ１方向に沿って移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。
　また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（Ｏｐｔｉｃａｌ　ＶｉｅｗＦｉｎｄｅｒ。以下、「ＯＶＦ」という）及び電子ビューファインダー（Ｅｌｅｃｔｒｏｎｉｃ　ＶｉｅｗＦｉｎｄｅｒ。以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。撮像装置本体１２に設けられているファインダー切替えレバーによって、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で表示が切り換わる。なお、ライブビュー画像とは、光電変換素子で撮像されることにより得られた表示用の動画像を指す。
　交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６が光軸Ｌ１に沿って移動し、被写体距離に応じた合焦位置で後述の撮像素子２０に、被写体を示す被写体光が結像される。なお、本実施形態において、「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ１６の光軸Ｌ１上での位置を指す。
　また、撮像装置本体１２の上面には、レリーズボタンが設けられている。レリーズボタンは、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
　本実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタンが半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。すなわち、レリーズボタンが半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ－Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタンを全押し状態にすると撮像が行われる。
　また、撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。
　撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０が設けられている。タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２を備えている。
　第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及びメニュー画面等の表示にも用いられる。
　タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。
　撮像装置１０は、撮像装置本体１２に備えられたマウント４４と、マウント４４に対応する交換レンズ１４側のマウント４６と、を含む。交換レンズ１４は、マウント４４にマウント４６が結合されることにより撮像装置本体１２に交換可能に装着される。
　撮像レンズ１８は、絞り４７及びモータ４９を含む。絞り４７は、フォーカスレンズ１６よりも撮像装置本体１２側に配置されており、モータ４９に接続されている。絞り４７は、モータ４９の動力を受けて作動することで露出を調節する。
　撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。
　モータ４９、５０は、マウント４４、４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４９、５０の一例として、ステッピングモータを適用している。従って、モータ４９、５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図１に示す例では、モータ４９、５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ４９、５０は撮像装置本体１２に設けられていてもよい。
　また、撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。
　後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。ＣＰＵ５２は、ハードウェアプロセッサであり、第２プロセッサの一例である。
　なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。
　ＣＰＵ５２は、撮像装置１０の全体を制御する。本実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。以下では、フォーカスレンズ１６の光軸Ｌ１に沿った位置を「フォーカス位置」という。また、本実施形態では、一例として図２に示すように、フォーカス位置を、予め定められた位置を基準とした距離（図２の例では「Ｄ」で表される距離）で表す。「予め定められた位置」とは、例えば、フォーカスレンズ１６の移動可能な範囲における撮像装置本体１２側の端部の位置である。また、以下では、オートフォーカスモード時に駆動させるフォーカスレンズ１６の駆動速度、すなわち、単位時間あたりのフォーカスレンズ１６の移動量を「フォーカス駆動速度」という。
　一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）を指す。
　二次記憶部６０には、撮像プログラム６０Ａが記憶されている。ＣＰＵ５２は、二次記憶部６０から撮像プログラム６０Ａを読み出し、読み出した撮像プログラム６０Ａを一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した撮像プログラム６０Ａに従って後述の撮像処理（図１７参照）を実行する。なお、二次記憶部６０は、本開示の技術に係る「記憶媒体」の一例である。
　操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、前述したレリーズボタン及びファインダー切替えレバーを含む。また、操作部５４は、ダイヤル、十字キー、メニューキー、及び指示ボタン等も含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。
　位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４、４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。
　撮像モードが設定されると、被写体光は、撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。
　デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４、４６を介して撮像レンズ１８のモータ４９、５０に接続されている。
　デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ４９、５０を制御する。
　一例として図３に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。
　また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。
　プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、かつ、光学像と第２ディスプレイ８０に表示される電子像及び各種情報の少なくとも一方とを合成する。
　ここで、前述したファインダー切替えレバーを回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
　第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。
　撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図４に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。なお、メモリ９６は、本開示の「記憶部」の一例である。
　撮像素子２０は、光電変換素子９２と処理回路９４とメモリ９６とが１チップ化された撮像素子である。すなわち、光電変換素子９２、処理回路９４、及びメモリ９６は１パッケージ化されている。また、撮像素子２０では、光電変換素子９２に処理回路９４及びメモリ９６が積層されている。詳細には、光電変換素子９２及び処理回路９４は、銅等の導電性を有するバンプによって互いに電気的に接続されており、処理回路９４及びメモリ９６も、銅等の導電性を有するバンプによって互いに電気的に接続されている。
　処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）が採用されているが、本開示はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であってもよい。
　本実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
　光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ、Ｇ、Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
　なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。
　撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
　撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ７２を作動させずに、電子シャッタ機能を働かせることで実現される。
　処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡＤ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡＤ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路９０のＩ／Ｆ５６に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。
　処理回路９４は、撮像画像データに対して第１処理と第２処理とを行う。第１処理とは、光電変換素子９２から撮像画像データを読み出し、読み出した撮像画像データをメモリ９６に記憶する処理を指す。第２処理とは、出力用画像データを撮像素子２０の外部に出力する処理を指す。「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。
　撮像素子２０では、第１フレームレートで被写体が撮像される。処理回路９４は、第１フレームレートで第１処理を行い、第２フレームレートで第２処理を行う。第１フレームレートは、第２フレームレートよりも高いフレームレートである。
　本実施形態では、第２フレームレートの一例として、６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）が採用されているが、本開示はこれに限定されず、“第２フレームレート＜第１フレームレート” の関係性を満たしていれば、第２フレームレートは変更可能である。また、第１フレームレートは、第２フレームレートより高い範囲内で可変なフレームレートとされる。
　一例として図５に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、画像処理回路９４Ｃ、出力回路９４Ｄ、及び記憶回路９４Ｅを含む。処理回路９４は、デバイス制御部７４を介してＣＰＵ５２の制御下で動作する。記憶回路９４Ｅには、ローリングずれ量９８が記憶されている。ローリングずれ量９８の詳細については後述する。なお、光電変換素子駆動回路９４Ａは、「読出部」の一例であり、画像処理回路９４Ｃは、「処理部」の一例であり、出力回路９４Ｄは、「出力部」の一例である。また、ローリングずれ量９８は、撮像装置本体１２の二次記憶部６０に記憶されていてもよい。
　光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。
　光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で光電変換素子９２を制御し、被写体を撮像することで光電変換素子９２により得られたアナログの撮像画像データを第１フレームレートで読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。メモリ９６は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、撮像画像データに対して処理を施す。出力回路９４Ｄは、画像処理回路９４Ｃで処理された撮像画像データ（すなわち、出力用画像データ）を第２フレームレートで出力する。
　ところで、動画像用の撮像では、第２フレームレートで規定される１フレームの出力期間になるべく近い露光期間による露光に基づく撮像が行われることが好ましい。しかしながら、環境が比較的明るい場合等、例えば、１フレームの出力期間と同じ長さの露光期間によって撮像が行われると過露光になってしまう場合があるため、一例として図６に示すように、１フレームの出力期間に対して露光期間を短くする場合がある。なお、図６における１つの矩形は１つのラインに対する露光期間を表している。また、図６に示すように、本実施形態では、光電変換素子９２のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差がある現象を「ローリングずれ」といい、この時間差を「ローリングずれ量」という。前述した記憶回路９４Ｅには、撮像素子２０のローリングずれ量９８が予め記憶されている。このローリングずれ量は、フォトダイオードの読み出し速度により決定される。
　１フレームの出力期間に対して露光期間を短くした場合（例えば、フレームレートが６０ｆｐｓの動画像用の撮像での露光期間を１／１０００秒とした場合等）、１フレーム中の露光期間の割合が１フレームの出力期間に対して小さくなる。このため、この場合、フレーム間での露光タイミングの時間差が大きくなってしまうことによって、コマ送りの動画像のように断続的な動画像に見えてしまう場合がある。
　そこで、図７に示すように、垂直同期信号による同期タイミングとは異なるタイミングでも光電変換素子９２からの画像データの読み出しとリセットとを行うことによって、露光期間を、例えば１／２又は１／４のような任意の周期で分割することを考える。図７では、出力のフレームレート（すなわち、第２フレームレート）内における露光期間を等倍、１／２倍、及び１／４倍にした例を示している。この第２フレームレートと露光期間の分割数とによって第１フレームレートが規定される。
　露光期間を分割することによって、メモリ９６には露光期間の分割数に応じた複数の撮像画像データが記憶される。そして、図７に示すように、メモリ９６に記憶されている複数の撮像画像データを、位置が対応する画素毎に加算平均して得られた画像データを出力用画像データとして出力する。これにより、フレーム間でのコマ送り感を低減することが可能となる。
　なお、この露光期間の分割数は、例えば、同時にＡＤ変換が可能な光電変換素子９２のライン数に応じて決めることができる。図８Ａに示すように、露光期間の分割数を２個とした場合、同時にＡＤ変換が可能なライン数が２つであれば、２つの露光期間の一部を重複させることによって撮像画像データの読み出しを高速化することができる。これは、光電変換素子９２における異なる２つのラインそれぞれから同時に撮像画像データを読み出してＡＤ変換を行うことが可能となるためである。
　また、図８Ａに示すように、撮像画像データの読み出し速度を低下させずに、露光期間の分割数を４個とした場合、例えば、同時にＡＤ変換が行われるライン数が３つになる場合がある。しかしながら、ハードウェア構成の制約等により、同時にＡＤ変換が可能なライン数が２つの場合もある。
　この場合、図８Ｂに示すように、撮像画像データの読み出し速度を低下させて、同時に撮像画像データが読み出されるライン数を２つにすることとなる。しかしながら、この場合、読み出し速度を低下させるほど、これに伴ってローリングずれは悪化する。そこで、本実施形態では、光電変換素子駆動回路９４Ａは、読み出し速度が低下しない範囲で露光期間を分割する。詳細には、光電変換素子駆動回路９４Ａは、露光期間の分割数を同時にＡＤ変換が可能なライン数以下（本実施形態では、２個）の値とする。但し、露光期間の分割数は２個に限定されず、３個以上としてもよい。また、撮像画像データの読み出し速度を低下させた状態となる露光期間の分割数としてもよい。
　ところで、動画用の撮像では、出力フレーム間にフォーカスレンズ１６を合焦位置まで移動させるための時間を確保できない状態で、フォーカスレンズ１６を移動させながら被写体の撮像が行われることで各フレームの画像が得られる場合がある。この場合、フォーカス位置が変更されながら撮像が行われるため、ローリングずれに起因して、画像内の上側と下側とでコントラストの状態が異なってしまう場合がある。詳細には、例えば、画像内の上部の領域では合焦状態のコントラストが実現されているが、画像内の下部の領域では非合焦状態のコントラスト、すなわち、ボケるという状況が発生する場合がある。この場合、画像内の全体が合焦状態のコントラストである場合に比べ、画質が低下してしまう。
　前述した露光期間を分割して得られた複数の撮像画像データを加算平均することによって出力用画像データを合成しても、前述した画質の低下は発生する。そこで、本実施形態に係る撮像装置１０では、フォーカス駆動速度及びローリングずれ量に基づいて、複数の画像データの合成条件が決定され、決定された合成条件に応じて画像データに対する合成処理が行われる。
　図９を参照して、撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。図９に示すように、ＣＰＵ５２が撮像プログラム６０Ａを実行することによって、撮像制御部１００及び記憶制御部１０２として機能する。
　撮像制御部１００は、ユーザにより操作部５４を介して動画像の撮像指示が入力されると、第２フレームレートで規定される１フレームの画像データの出力期間に応じて垂直同期信号を撮像素子２０に出力する。これにより、撮像制御部１００は、撮像素子２０に対して動画像用の撮像の指示を与える。この際、撮像制御部１００は、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を予め定められたフォーカス駆動速度で光軸Ｌ１に沿って移動させる。予め定められたフォーカス駆動速度は、例えば、１フレーム分の露光期間よりも短い期間内に１フレーム分の合焦制御を完遂することができるフォーカス駆動速度として実機による試験によって得られたフォーカス駆動速度であればよい。
　更に、撮像制御部１００は、各フレームに対応する垂直同期信号を生成し、生成した垂直同期信号を撮像素子２０に出力する。また、撮像制御部１００は、垂直同期信号を生成するタイミングでのフォーカス位置及びフォーカス駆動速度を撮像素子２０に出力する。また、撮像制御部１００は、各フレームに対応する垂直同期信号を生成するタイミングで、前方被写界深度及び後方被写界深度を導出し、導出した各被写界深度を撮像素子２０に出力する。詳細には、撮像制御部１００は、以下の（１）式及び（２）式に従って、許容錯乱円径、絞り値、被写体距離、及び焦点距離を用いて、前方被写界深度及び後方被写界深度を導出する。なお、ここで言う「許容錯乱円径」は、光電変換素子９２の画素ピッチと等しい値である。また、（１）式及び（２）式における「＾２」は二乗を表す。
　前方被写界深度［ｍｍ］＝
（許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］＾２）
÷（焦点距離［ｍｍ］＾２＋許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］）
・・・（１）
　後方被写界深度［ｍｍ］＝
（許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］＾２）
÷（焦点距離［ｍｍ］＾２－許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］）
・・・（２）
　記憶制御部１０２は、撮像素子２０の出力回路９４Ｄにより出力された画像データを二次記憶部６０に記憶する制御を行う。なお、記憶制御部１０２は、撮像素子２０の出力回路９４Ｄにより出力された画像データを、メモリカード等の撮像装置本体１２に着脱可能な外部メモリに記憶する制御を行ってもよい。
　図１０に示すように、画像処理回路９４Ｃは、機能的には、第１取得部１１０、第２取得部１１２、及び合成処理部１１４を含む。
　第１取得部１１０は、撮像素子２０の外部からフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。図１０に示す例において、撮像素子２０の外部とは、ＣＰＵ５２である。
　第２取得部１１２は、撮像素子２０の内部の記憶回路９４Ｅからローリングずれ量９８を取得する。
　合成処理部１１４は、一例として図１１に示すように、フォーカス駆動速度及びローリングずれ量９８からメモリ９６に記憶された複数のフレームについての撮像画像データの合成条件（以下、単に「合成条件」という）を決定する。そして、合成処理部１１４は、決定した合成条件に応じて複数のフレームについての撮像画像データに対する合成処理を行う。
　図１２及び図１３を参照して合成処理の詳細について説明する。前述したように、本実施形態では第２フレームレートで規定される出力期間内の露光期間の分割数を２個とする。すなわち、一例として図１２に示すように、光電変換素子駆動回路９４Ａは、第２フレームレートで規定される１フレームの画像データの出力期間内に２つのフレーム分の画像データの読み出しを並行して行う。
　ここで、前述したように、ＣＰＵ５２から撮像素子２０へ第２フレームレートで規定される各フレームに対応する垂直同期信号が入力される際に、フォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度も入力される。従って、合成処理部１１４は、第１取得部１１０により取得されたフォーカス位置及びフォーカス駆動速度と、第２取得部１１２により取得されたローリングずれ量９８を用いて、光電変換素子９２の各ラインから信号の読み出しを開始したタイミングのフォーカス位置を導出することができる。なお、図１２では、一例として、第２フレームレートで規定される１フレーム内における２回の露光での先頭ライン、中央ライン、及び最終ラインそれぞれから信号の読み出しを開始したタイミングのフォーカス位置を示している。
　合成処理部１１４は、合成条件として、所定の被写界深度閾値内の画像の範囲を合成処理による画像の合成範囲と決定する。詳細には、図１２に示すように、合成処理部１１４は、予め定められた位置を中心に、第１取得部１１０により取得された前方被写界深度と後方被写界深度との範囲内を上記被写界深度閾値内とする。本実施形態では、合成処理部１１４は、被写体に合焦すると仮定したフォーカス位置を基準にして、前方被写界深度と後方被写界深度との範囲内を上記被写界深度閾値内とする。なお、画像の合成範囲は被写界深度閾値内に限定されず、合成範囲は予め実験的に求められた範囲でもよい。
　図１２の例では、フォーカス位置が１０２０［μｍ］の状態で被写体に合焦すると仮定した場合、１０２０［μｍ］から＋５［μｍ］のフォーカス位置が前方被写界深度に対応しており、１０２０［μｍ］から－５［μｍ］のフォーカス位置が後方被写界深度に対応している。すなわち、図１２の例では、フォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の範囲内が被写界深度閾値内とされる。
　従って、この場合、一例として、図１３に示すように、２つの画像におけるフォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の状態で読み出された部分が画像の合成範囲と決定される。そして、２つの画像のうち、フォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の状態で読み出された部分が１つの画像に合成される。図１３では、斜線部分が画像の合成範囲を示している。また、斜線部分が画像の合成範囲を示すことは、後述する図１４～図１６、図１９、図２０、図２２、及び図２４でも同様である。なお、図１３では、２つの画像を合成する例を示しているが、これに限定されない。一例として図１４に示すように、図１３に示す例に比べ被写界深度が深い場合等、被写界深度閾値内の画素が３つ以上の画像に含まれる場合は、３つ以上の画像を合成してもよい。この場合、複数の画像で重複する画素については、位置が対応する画素の画素値を加算平均してもよいし、何れかの画像の画素値を採用してもよい。
　一方、一例として図１５に示すように、図１３に示す例に比べ被写界深度が浅い場合等、被写界深度閾値内の画素が１つの画像として足りない場合は、被写界深度閾値内の画素については合成し、被写界深度閾値外の画素については加算平均する形態が例示される。この場合、被写界深度閾値外の画素については何れかの画像の画素値を採用してもよい。
　また、この場合、撮像制御部１００は、ローリングずれ量９８及び被写界深度に応じてフォーカス駆動速度を制御してもよい。詳細には、一例として図１６に示すように、撮像制御部１００は、被写界深度閾値内に少なくとも１つの画像分の画素が含まれるように、フォーカス駆動速度を制御する形態が例示される。この場合、例えば、撮像制御部１００は、被写界深度が狭くなるほど、すなわち、被写界深度閾値の範囲が狭くなるほどフォーカス駆動速度を遅くする。
　出力回路９４Ｄは、合成処理部１１４により合成処理により得られた合成後の画像データをＣＰＵ５２に出力する。
　次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。
　ＣＰＵ５２は、動画像の撮像を開始する指示が操作部５４によって受け付けられた場合に、撮像プログラム６０Ａに従って撮像処理を実行する。以下、ＣＰＵ５２によって実行される撮像処理について図１７を参照して説明する。
　図１７のステップＳ１０で、撮像制御部１００は、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を予め定められたフォーカス駆動速度で光軸Ｌ１に沿って移動させる処理を開始する。すなわち、後述するステップＳ１４の処理によって開始される図１８の合成処理は、フォーカスレンズ１６が移動している状態で実行される。
　ステップＳ１２で、撮像制御部１００は、前述したように、（１）式及び（２）式に従って、許容錯乱円径、絞り値、被写体距離、及び焦点距離を用いて、前方被写界深度及び後方被写界深度を導出する。
　ステップＳ１４で、撮像制御部１００は、垂直同期信号を撮像素子２０に出力することによって、撮像素子２０に対して動画像用の撮像を指示する。この際、撮像制御部１００は、前述したように、フォーカス位置及びフォーカス駆動速度と、ステップＳ１２の処理により導出された前方被写界深度及び後方被写界深度とを撮像素子２０に出力する。本ステップＳ１４の処理により垂直同期信号が撮像素子２０に入力されると、図１８に示す合成処理が撮像素子２０によって実行される。
　ステップＳ１６で、記憶制御部１０２は、図１８に示す合成処理のステップＳ２６の処理によって撮像素子２０の出力回路９４Ｄにより出力された画像データを二次記憶部６０に記憶する制御を行う。ステップＳ１６の処理が終了すると本撮像処理が終了する。以上のステップＳ１０からステップＳ１６の処理が、第２フレームレートで規定される時間間隔で繰り返し実行されることにより、第２フレームレートの動画像データが二次記憶部６０に記憶される。
　図１８のステップＳ２０で、光電変換素子駆動回路９４Ａは、前述したように、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行う。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。
　ステップＳ２２で、第１取得部１１０は、上記撮像処理のステップＳ１４の処理により撮像装置本体１２のＣＰＵ５２から入力されたフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。また、第２取得部１１２は、撮像素子２０の内部の記憶回路９４Ｅからローリングずれ量９８を取得する。合成処理部１１４は、第１取得部１１０からフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。また、合成処理部１１４は、第２取得部１１２からローリングずれ量９８を取得する。そして、合成処理部１１４は、第１取得部１１０から取得したフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度と、第２取得部１１２から取得したローリングずれ量９８とを用いて、ステップＳ２０の処理によりメモリ９６に記憶された複数の撮像画像データの合成条件を決定する。
　ステップＳ２４で、合成処理部１１４は、前述したように、ステップＳ２２の処理により決定された合成条件に応じて複数の撮像画像データに対する合成処理を行う。ステップＳ２６で、出力回路９４Ｄは、ステップＳ２４の処理により得られた合成後の画像データをＣＰＵ５２に出力する。ステップＳ２６の処理が終了すると本合成処理が終了する。
　以上説明したように、本実施形態によれば、フォーカス駆動速度及びローリングずれ量からメモリ９６に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて画像データに対する合成処理を行っている。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる。
　なお、本第１実施形態では、フォーカス駆動速度が等速である場合について説明したが、これに限定されない。一例として図１９に示すように、フォーカスレンズ１６の駆動開始タイミングでは、フォーカス駆動速度が徐々に速くなる場合もある。同様に、フォーカスレンズ１６の駆動終了タイミングでは、フォーカス駆動速度が徐々に遅くなる場合もある。これらの場合、図１９に示すように、合成処理部１１４は、フォーカス駆動速度の変化量に応じて画像の合成範囲を決定してもよい。詳細には、フォーカス駆動速度が目標速度に向けて徐々に速くなっている場合は、目標速度の場合と比較して画像の合成範囲を広くする形態が例示される。同様に、フォーカス駆動速度が目標速度に向けて徐々に遅くなっている場合も、目標速度の場合と比較して画像の合成範囲を広くする形態が例示される。
　また、本第１実施形態では、撮像素子２０として、光電変換素子９２、処理回路９４、及びメモリ９６が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子９２、処理回路９４、及びメモリ９６のうち、少なくとも光電変換素子９２及びメモリ９６が１チップ化されていればよい。
　［第２実施形態］
　開示の技術の第２実施形態を説明する。なお、撮像装置１０の構成は第１実施形態（図１～図５参照）と同様であるため説明を省略する。
　図９を参照して、本実施形態に係る撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。
　撮像制御部１００は、各フレームに対応する垂直同期信号を生成するタイミングで予測オートフォーカスを実行する。予測オートフォーカスとは、オートフォーカス（本実施形態では像面位相差ＡＦ）を働かせることで合焦位置を予測するオートフォーカスをいう。撮像制御部１００は、予測オートフォーカスによって得られた合焦位置（以下、「予測合焦位置」という）を更に撮像素子２０に出力する。
　図１０を参照して、本実施形態に係る撮像素子２０の画像処理回路９４Ｃの機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。
　第１取得部１１０は、更に、撮像装置本体１２のＣＰＵ５２から入力された予測合焦位置を取得する。
　合成処理部１１４は、一例として図２０に示すように、第１取得部１１０により取得された予測合焦位置を基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。
　次に、図１８及び図２１を参照して、撮像装置１０の本開示の技術に係る部分の作用について説明する。なお、ここでは、第１実施形態と異なる部分についてのみ説明する。また、図２１における図１７と同一の処理を実行するステップについては同一の符号を付して説明を省略する。
　図２１のステップＳ１０の処理が終了すると、処理はステップＳ１１に移行する。ステップＳ１１で、撮像制御部１００は、前述したように、予測オートフォーカスによって予測合焦位置を導出する。ステップＳ１４では、本ステップＳ１１で導出された予測合焦位置が撮像素子２０に更に入力される。
　図１８のステップＳ２４で、合成処理部１１４は、前述したように、第１取得部１１０により取得された予測合焦位置を基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。
　以上説明したように、本実施形態によれば、予測オートフォーカスによって予測された合焦位置を基準にして、合成処理による画像の合成範囲が決定される。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下をより抑制することができる。
　［第３実施形態］
　開示の技術の第３実施形態を説明する。なお、撮像装置１０の構成は第１実施形態（図１～図５参照）と同様であるため説明を省略する。
　図９を参照して、本実施形態に係る撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。
　撮像制御部１００は、フリッカの検出が可能な期間として定められた期間、所定のフレームレート（例えば、第２フレームレート）に従って撮像素子２０によって撮像させることによって得られた画像群を用いてフリッカの検出処理を行う。そして、撮像制御部１００は、フリッカを検出した場合、フリッカの周期に基づいて、フリッカの影響が回避されるタイミング（以下、「フリッカ影響回避タイミング」という）を導出する。本実施形態では、撮像制御部１００は、上記画像群において明るさがピークに達するタイミングをフリッカ影響回避タイミングとして導出する。なお、フリッカ影響回避タイミングは、必ずしも画像の明るさがピークに達するタイミングでなくてもよい。この場合、例えば、フリッカ影響回避タイミングは、画像内にフリッカが現れない範囲内で、画像の明るさのピークから外れたタイミングであってもよい。
　また、撮像制御部１００は、各フレームに対応する垂直同期信号を出力する際に、導出したフリッカ影響回避タイミングを、更に撮像素子２０に出力する。
　図１０を参照して、本実施形態に係る撮像素子２０の画像処理回路９４Ｃの機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。
　第１取得部１１０は、更に、撮像装置本体１２のＣＰＵ５２から入力されたフリッカ影響回避タイミングを取得する。
　合成処理部１１４は、一例として図２２に示すように、第１取得部１１０により取得されたフリッカ影響回避タイミングを基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。
　次に、図１８及び図２３を参照して、撮像装置１０の本開示の技術に係る部分の作用について説明する。なお、ここでは、第１実施形態と異なる部分についてのみ説明する。また、図２３における図１７と同一の処理を実行するステップについては同一の符号を付して説明を省略する。
　図２３のステップＳ１０Ａで、撮像制御部１００は、前述したように、フリッカの検出処理を行う。本ステップＳ１０Ａでフリッカが検出されなかった場合、ステップＳ１２～Ｓ１６の処理及び図１８に示す合成処理は第１実施形態と同じ処理が実行される。
　一方、本ステップＳ１０Ａでフリッカが検出された場合、ステップＳ１４で、本ステップＳ１０Ａで導出されたフリッカ影響回避タイミングが撮像素子２０に更に入力される。そして、この場合、図１８のステップＳ２４で、合成処理部１１４は、前述したように、フリッカ影響回避タイミングを基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。
　以上説明したように、本実施形態によれば、フリッカ影響回避タイミングを中心に、合成処理による画像の合成範囲が決定される。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下をより抑制することができる。
　なお、上記各実施形態では、画像全体を合成処理の対象範囲とする場合について説明したが、これに限定されない。一例として図２４に示すように、画像の一部がクロップされた場合、クロップされた領域を合成処理の対象範囲としてもよい。
　また、上記各実施形態では、開示の技術を動画像に適用した場合について説明したが、これに限定されない。例えば、開示の技術を連写撮像によって得られた複数の静止画像に適用する形態としてもよい。
　また、上記各実施形態では、合成処理により得られた動画像を記憶部に記憶する場合について説明したが、これに限定されない。例えば、合成処理により得られた動画像をライブビュー画像として第１ディスプレイ４０に表示する形態としてもよい。
　また、上記各実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、前述した合成処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
　この場合、例えば、図２５に示すように、前述した合成処理（図１８参照）を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム２００を記憶媒体２１０に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体２１０のプログラム２００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム２００に従って、前述した合成処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。ＣＰＵ２０Ａ１は、ハードウェアプロセッサであり、第１プロセッサの一例である。
　なお、記憶媒体２１０の一例としては、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。
　また、通信網を介してコンピュータ２０Ａに接続される他のコンピュータ等の記憶部にプログラム２００を記憶させておき、プログラム２００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム２００がコンピュータ２０Ａによって実行される。
　また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム２００に従って処理回路９４を制御するようにすればよい。
　上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、撮像処理及び合成処理が挙げられる。プロセッサとしては、例えば、前述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
　本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より詳細には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２６に示すスマートデバイス３００に対して本開示の技術を適用するようにしてもよい。一例として図２６に示すスマートデバイス３００は、本開示の技術に係る撮像装置の一例である。スマートデバイス３００には、上記各実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス３００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス３００に限らず、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
　また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを表示装置として用いるようにしてもよい。
　また、上記各実施形態で説明した撮像処理及び合成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　本願は２０１８年１２月２７日出願の日本出願第２０１８－２４５７４９号の優先権を主張すると共に、その全文を参照により本明細書に援用する。

Claims (15)

  1. 　撮像素子であって、
    　前記撮像素子に内蔵された記憶部と、
    　前記撮像素子に内蔵された第１プロセッサと、を備え、
    　前記第１プロセッサは、
    　被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、
    　前記画像データに対して処理を行い、
    　処理された前記画像データを第２フレームレートで出力する、
    　ように構成され、
    　前記記憶部は、読み出された前記画像データを記憶し、
    　前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、
    　前記第１プロセッサは、
    　前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
    　フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
    　前記合成処理により得られた合成後の画像データを出力する、
    　撮像素子。
  2. 　前記第１プロセッサは、前記合成条件として、予め定められた被写界深度閾値内の画像の範囲を前記合成処理による画像の合成範囲として決定するように構成されている、
    　請求項１に記載の撮像素子。
  3. 　前記第１プロセッサは、前記記憶部に記憶された前記複数のフレームについての前記画像データのうち、フォーカス位置が前記被写界深度閾値内の状態で読み出された部分を用いて前記合成処理を行うように構成されている、
    　請求項２に記載の撮像素子。
  4. 　前記第１プロセッサは、前記記憶部に記憶された前記複数のフレームについての前記画像データにおいて、前記フォーカス位置が前記被写界深度閾値内の状態で読み出された部分が重複する場合、重複する部分については位置が対応する画素の画素値を加算平均するか、又は何れかの画像の画素値を用いることによって前記合成処理を行うように構成されている、
    　請求項３に記載の撮像素子。
  5. 　前記第１プロセッサは、前記合成条件として、オートフォーカスにより合焦位置を予測する予測オートフォーカスによって予測された合焦位置を基準にして、前記合成処理による画像の合成範囲を決定するように構成されている、
    　請求項１から請求項４の何れか一項に記載の撮像素子。
  6. 　フリッカが検出された場合、前記第１プロセッサは、前記合成条件として、前記フリッカの影響が回避されるタイミングを基準にして、前記合成処理による画像の合成範囲を決定するように構成されている、
    　請求項１から請求項４の何れか一項に記載の撮像素子。
  7. 　前記第１プロセッサは、マトリクス状に配置された複数のフォトセンサから前記画像データを読み出す場合に、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内における露光期間の分割数を同時にＡＤ変換が可能なライン数に応じた値とするように構成されている、
    　請求項１から請求項６の何れか一項に記載の撮像素子。
  8. 　前記第１プロセッサは、前記露光期間の分割数を同時にＡＤ変換が可能なライン数以下の値とするように構成されている、
    　請求項７に記載の撮像素子。
  9. 　前記第１プロセッサは、前記画像データにより示される画像がクロップされた場合、クロップされた領域を前記合成処理の対象範囲とするように構成されている、
    　請求項１から請求項８の何れか一項に記載の撮像素子。
  10. 　少なくとも光電変換素子と前記記憶部とが１チップ化された、
    　請求項１から請求項９の何れか一項に記載の撮像素子。
  11. 　前記光電変換素子に前記記憶部が積層された積層型撮像素子である、
    　請求項１０に記載の撮像素子。
  12. 　請求項１から請求項１１の何れか一項に記載の撮像素子と、
    　前記撮像素子に含まれる前記第１プロセッサにより出力された画像データを記憶媒体に記憶する制御を行うように構成されている第２プロセッサと、
    　を含む撮像装置。
  13. 　前記第２プロセッサは、さらに、前記ローリングずれ量及び被写界深度に応じて前記フォーカス駆動速度を制御するように構成されている、
    　請求項１２に記載の撮像装置。
  14. 　被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力するように構成されている第１プロセッサと、前記第１プロセッサにより読み出された画像データを記憶する記憶部と、が内蔵された撮像素子の画像データ処理方法であって、
    　前記第１フレームレートを前記第２フレームレートよりも高いフレームレートとし、
    　前記第１プロセッサが、
    　前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
    　フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
    　前記合成処理により得られた合成後の画像データを出力する、
    　画像データ処理方法。
  15. 　被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、読み出された画像データを記憶部に記憶し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する撮像素子において、
    　前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、
    　前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
    　フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
    　前記合成処理により得られた合成後の画像データを出力する、
    　　画像データ処理をコンピュータに実行させるプログラム。
PCT/JP2019/044511 2018-12-27 2019-11-13 撮像素子、撮像装置、画像データ処理方法、及びプログラム Ceased WO2020137217A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980086305.XA CN113316928B (zh) 2018-12-27 2019-11-13 成像元件、摄像装置、图像数据处理方法及计算机可读存储介质
JP2020562905A JP6964806B2 (ja) 2018-12-27 2019-11-13 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US17/351,271 US11457136B2 (en) 2018-12-27 2021-06-18 Imaging element, imaging apparatus, image data processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018245749 2018-12-27
JP2018-245749 2018-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/351,271 Continuation US11457136B2 (en) 2018-12-27 2021-06-18 Imaging element, imaging apparatus, image data processing method, and program

Publications (1)

Publication Number Publication Date
WO2020137217A1 true WO2020137217A1 (ja) 2020-07-02

Family

ID=71128980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044511 Ceased WO2020137217A1 (ja) 2018-12-27 2019-11-13 撮像素子、撮像装置、画像データ処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11457136B2 (ja)
JP (1) JP6964806B2 (ja)
CN (1) CN113316928B (ja)
WO (1) WO2020137217A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6994665B1 (ja) * 2021-06-08 2022-01-14 パナソニックＩｐマネジメント株式会社 撮像装置
US12231780B2 (en) 2022-02-09 2025-02-18 Samsung Electronics Co., Ltd. System and method for flicker avoidance in multi-frame multi-exposure image captures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2014014069A (ja) * 2012-06-08 2014-01-23 Canon Inc 撮像装置、及びその制御方法
JP2015080179A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
JP2015177302A (ja) * 2014-03-14 2015-10-05 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050337A (ja) * 2004-08-05 2006-02-16 Sony Corp 撮像装置、撮像方法および撮像制御プログラム
JP4558830B2 (ja) * 2006-08-22 2010-10-06 パナソニック株式会社 撮像装置
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
JP2009281815A (ja) * 2008-05-21 2009-12-03 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
JP5231277B2 (ja) * 2009-02-12 2013-07-10 オリンパスイメージング株式会社 撮像装置、撮像方法
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
JP6248491B2 (ja) * 2013-09-17 2017-12-20 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置
JP6198600B2 (ja) * 2013-12-16 2017-09-20 キヤノン株式会社 画像処理装置、撮像装置、その制御方法及びプログラム
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6492532B2 (ja) * 2014-10-27 2019-04-03 セイコーエプソン株式会社 光学モジュール、電子機器、及び光学モジュールの駆動方法
JP6518452B2 (ja) * 2015-02-05 2019-05-22 オリンパス株式会社 撮像装置及び撮像方法
JP6634298B2 (ja) * 2016-01-23 2020-01-22 オリンパス株式会社 撮像装置および撮像方法
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
JP2018006993A (ja) 2016-06-30 2018-01-11 株式会社ニコン 画像処理装置、撮像システムおよび撮像装置
CN107071292A (zh) * 2017-03-10 2017-08-18 深圳市金立通信设备有限公司 一种补光方法及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014069A (ja) * 2012-06-08 2014-01-23 Canon Inc 撮像装置、及びその制御方法
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2015080179A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
JP2015177302A (ja) * 2014-03-14 2015-10-05 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US11457136B2 (en) 2022-09-27
CN113316928B (zh) 2023-03-28
US20210314483A1 (en) 2021-10-07
JP6964806B2 (ja) 2021-11-10
CN113316928A (zh) 2021-08-27
JPWO2020137217A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
CN102318335B (zh) 摄像设备
CN102652432B (zh) 图像处理设备、图像处理方法
JP2012208138A (ja) レンズ駆動制御装置およびレンズ装置
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7674422B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2013027507A1 (ja) 撮像装置
US11457136B2 (en) Imaging element, imaging apparatus, image data processing method, and program
JP7421008B2 (ja) 撮像装置、撮像方法、及びプログラム
US11122196B2 (en) Image processing apparatus
WO2021241014A1 (ja) 撮像装置、撮像方法
US11375113B2 (en) Imaging element, and imaging apparatus which changes frame rate of output image data based on derived focus evaluation value
US12335443B2 (en) Imaging element with output circuit that outputs to first and second circuits, imaging apparatus, image data output method, and program
JP7702623B1 (ja) 撮像装置
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
US12238434B2 (en) Imaging device and imaging method for autofocus control
JP2018098764A (ja) 撮像装置および画像合成方法
JP2019207350A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903222

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19903222

Country of ref document: EP

Kind code of ref document: A1