WO2018173725A1 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
WO2018173725A1
WO2018173725A1 PCT/JP2018/008398 JP2018008398W WO2018173725A1 WO 2018173725 A1 WO2018173725 A1 WO 2018173725A1 JP 2018008398 W JP2018008398 W JP 2018008398W WO 2018173725 A1 WO2018173725 A1 WO 2018173725A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
exposure
driving
rolling
imaging control
Prior art date
Application number
PCT/JP2018/008398
Other languages
English (en)
French (fr)
Inventor
秀和 倉橋
史憲 入江
善工 古田
仁史 桜武
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880020752.0A priority Critical patent/CN110463186B/zh
Priority to JP2019507506A priority patent/JP6569023B2/ja
Publication of WO2018173725A1 publication Critical patent/WO2018173725A1/ja
Priority to US16/580,840 priority patent/US10944925B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, and an imaging program.
  • the MOS type image pickup device includes a photoelectric conversion element, a charge holding unit that holds charges generated and accumulated in the photoelectric conversion element, and a voltage signal corresponding to the charge held in the charge holding unit to a signal line.
  • a pixel in which pixels including a readout circuit to be read are arranged two-dimensionally.
  • Such an image sensor can perform global shutter type driving and rolling shutter type driving.
  • the photoelectric conversion elements of all the pixels are reset at the same time, and exposure is started at all the pixels at the same time. Then, the charge accumulated in the photoelectric conversion elements of each pixel is transferred to the charge holding unit of each pixel. In this method, exposure is simultaneously completed for all the pixels by transferring simultaneously, and then the charges accumulated in the charge holding portion are sequentially converted into pixel signals for each pixel row and read out to the signal line.
  • the driving of the rolling shutter method resets the photoelectric conversion element of the pixel row and starts exposure of the pixel row, and then transfers the charge accumulated in the photoelectric conversion element of the pixel row to the charge holding unit to perform the exposure.
  • This is a system in which the driving for reading out the pixel signal corresponding to the charge held in the charge holding portion to the signal line is sequentially performed while changing the pixel row.
  • Patent Document 1 describes an imaging apparatus that drives an image sensor with a global shutter system when capturing an image for storing a still image, and drives the image sensor with a rolling shutter system when capturing an image for displaying a live view image.
  • This Patent Document 1 describes that imaging for displaying a live view image is started during a readout period of a pixel signal from a charge holding unit during imaging for storing a still image.
  • the live view image is updated at regular intervals. For this reason, the drive conditions of the image sensor are determined so as to synchronize the end timing of imaging for live view image display and the update timing of display of the live view image.
  • the number of pixel signals read from the charge holding unit is larger than that for imaging for live view image display. For this reason, in the image capturing for storing the still image, the time required for reading out the pixel signal from the charge holding unit is longer than the image capturing for displaying the live view image.
  • imaging for still image storage is completed (reading of pixel signals from all charge holding units is completed), and then imaging for live view image display is resumed. Is called.
  • the readout time of the pixel signal from the charge holding unit is the same between the global shutter driving and the rolling shutter driving. The case where the reading time becomes relatively long is not considered.
  • the present invention has been made in view of the above circumstances, and an imaging apparatus and imaging that can reduce the risk of losing a subject by speeding up the update of the display of a live view image after imaging for storage is performed. It is an object to provide a method and an imaging program.
  • the imaging apparatus of the present invention includes a plurality of pixels including a photoelectric conversion element and a charge holding unit that holds a charge transferred from the photoelectric conversion element and reads a signal corresponding to the charge by a readout circuit.
  • a plurality of pixel rows each including a plurality of the pixels arranged in one direction are provided, and the photoelectric conversion elements and the charge holding units are discharged to a charge discharge region of the readout circuit, thereby
  • An image sensor that resets each of the charge holding units, a global reset drive that simultaneously resets the photoelectric conversion elements of each of the plurality of pixels to start exposure of the plurality of pixels, and the plurality of the plurality of pixels by the exposure.
  • a global shutter drive for simultaneously transferring charges accumulated in the photoelectric conversion elements of each pixel to the charge holding unit to finish the exposure; and
  • a first rolling readout drive that sequentially reads out a signal corresponding to the electric charge held in the electric charge holding unit by shutter driving for each pixel row, and accumulated in the photoelectric conversion element of the pixel row in which exposure is started
  • Rolling shutter drive that sequentially transfers the charge to the charge holding unit and ends the exposure of the pixel row while changing the pixel row, and is held in the charge holding unit of the pixel row by the rolling shutter drive.
  • a second rolling readout drive that sequentially reads out a signal corresponding to the charge while changing the pixel row
  • the imaging control unit includes the global reset drive, the global shutter drive, and the After the first rolling readout drive is sequentially performed, the image started by the global shutter drive is performed. Exposure is performed sequentially for each pixel row by performing the rolling shutter drive, and a signal corresponding to the charge held in the charge holding portion of the pixel row for which the exposure has been completed is read by the second rolling readout. The first imaging control for reading by driving is performed.
  • the imaging method of the present invention includes a plurality of pixels including a photoelectric conversion element and a charge holding unit that holds a charge transferred from the photoelectric conversion element and a signal corresponding to the charge is read by a reading circuit, A plurality of pixel rows each including a plurality of the pixels arranged in one direction are provided, and the photoelectric conversion elements and the charge holding units are discharged to a charge discharge region of the readout circuit, thereby An imaging method using an imaging device in which each of the charge holding units is reset, and a global reset driving for simultaneously resetting the photoelectric conversion elements of each of the plurality of pixels and starting exposure of the plurality of pixels The global shutter that completes the exposure by simultaneously transferring the charges accumulated in the photoelectric conversion elements of each of the plurality of pixels to the charge holding unit by the exposure.
  • Driving first rolling readout driving for sequentially reading out a signal corresponding to the electric charge held in the electric charge holding unit by the global shutter driving for each pixel row, and the photoelectric conversion of the pixel row in which exposure is started
  • a rolling shutter drive that sequentially transfers the charge accumulated in the element to the charge holding unit and ends the exposure of the pixel row while changing the pixel row, and the charge of the pixel row by the rolling shutter drive.
  • a second rolling readout drive that sequentially reads out signals corresponding to the charges held in the holding unit while changing the pixel rows.
  • the global reset driving the global After sequentially performing the shutter drive and the first rolling readout drive, the global The exposure of the pixels started by the shutter driving is sequentially ended for each of the pixel rows by performing the rolling shutter driving, and the exposure corresponding to the charges held in the charge holding portion of the pixel rows for which the exposure has been completed is performed.
  • the first imaging control for reading out the signal by performing the second rolling readout drive is performed.
  • the imaging program of the present invention includes a plurality of pixels including a photoelectric conversion element and a charge holding unit that holds a charge transferred from the photoelectric conversion element and a signal corresponding to the charge is read by a reading circuit, A plurality of pixel rows each including a plurality of the pixels arranged in one direction are provided, and the photoelectric conversion elements and the charge holding units are discharged to a charge discharge region of the readout circuit, thereby An imaging program for causing a computer to execute an imaging method using an imaging device in which each of the charge holding units is reset, wherein the imaging method simultaneously resets the photoelectric conversion elements of each of the plurality of pixels.
  • Global reset driving for starting exposure of the plurality of pixels, and charge accumulated in the photoelectric conversion elements of the plurality of pixels by the exposure.
  • Global shutter driving for simultaneously transferring to the charge holding unit and ending the exposure, and first rolling for sequentially reading a signal corresponding to the charge held in the charge holding unit by the global shutter driving for each pixel row
  • the readout driving and the process of transferring the charges accumulated in the photoelectric conversion elements of the pixel row where exposure has been started to the charge holding unit and ending the exposure of the pixel row are sequentially performed while changing the pixel row.
  • An imaging control step for performing rolling shutter driving and second rolling readout driving for sequentially reading a signal corresponding to the charge held in the charge holding unit of the pixel row by changing the pixel row by the rolling shutter driving In the imaging control step, the global reset driving, the global shutter driving, And sequentially performing the first rolling readout driving, the pixel exposure started by the global shutter driving is sequentially performed for each pixel row by the rolling shutter driving, and the exposure is completed.
  • the first imaging control is performed in which a signal corresponding to the charge held in the charge holding unit of the pixel row is read by performing the second rolling readout drive.
  • an imaging apparatus an imaging method, and an imaging program capable of reducing the risk of losing a subject by accelerating the display update of a live view image after imaging for storage is performed. Can do.
  • FIG. 1 is a diagram illustrating a schematic configuration of a digital camera 100 that is an embodiment of an imaging apparatus of the present invention.
  • FIG. 2 is a schematic plan view showing a schematic configuration of a display surface 23 shown in FIG.
  • FIG. 2 is a schematic plan view illustrating a schematic configuration of an image sensor 5 illustrated in FIG. 1.
  • FIG. 4 is a schematic plan view illustrating a schematic configuration of a pixel 61 of the image sensor 5 illustrated in FIG. 3.
  • FIG. 6 is a schematic cross-sectional view taken along line AA of the pixel 61 of the image sensor 5 shown in FIG. 4.
  • It is a functional block diagram of the digital camera 100 shown in FIG. 2 is a timing chart illustrating an operation of the digital camera 100 illustrated in FIG. 1 in an imaging mode.
  • FIG. 6 is a timing chart illustrating a modification example of the operation of the digital camera 100 illustrated in FIG. 1 in the imaging mode.
  • 3 is a flowchart for explaining the operation of an imaging control unit 11A of the digital camera 100 shown in FIG.
  • FIG. 11 is a flowchart for explaining an operation after an imaging instruction of the digital camera shown in FIG. 10.
  • 11 is a flowchart for explaining a modified example of the operation after the imaging instruction of the digital camera shown in FIG.
  • FIG. 13 shows a timing chart when the determination in step S27 of FIG. 11 is a flowchart for explaining another modified example of the operation after the imaging instruction of the digital camera 100 shown in FIG. 10.
  • the external appearance of the smart phone 200 which is one Embodiment of the imaging device of this invention is shown. It is a block diagram which shows the structure of the smart phone 200 shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera 100 which is an embodiment of an imaging apparatus of the present invention.
  • a digital camera 100 shown in FIG. 1 includes a lens device 40 having an imaging lens 1, a diaphragm 2, a lens control unit 4, a lens driving unit 8, and a diaphragm driving unit 9.
  • the lens device 40 may be detachable from the digital camera 100 or may be integrated with the digital camera 100.
  • the imaging lens 1 and the diaphragm 2 constitute an imaging optical system, and the imaging lens 1 includes a focus lens or a zoom lens that can move in the optical axis direction.
  • the focus lens is a lens for adjusting the focus of the imaging optical system, and is composed of a single lens or a plurality of lenses. As the focus lens moves in the optical axis direction, the position of the principal point of the focus lens changes along the optical axis direction, and the focal position on the subject side is changed.
  • a liquid lens capable of adjusting the focus by changing the position of the principal point in the optical axis direction by electrical control may be used.
  • the lens control unit 4 of the lens device 40 is configured to be able to communicate with the system control unit 11 of the digital camera 100 by wire or wirelessly.
  • the lens control unit 4 changes the position of the principal point of the focus lens (changes the focal length) by controlling the focus lens included in the imaging lens 1 via the lens driving unit 8 in accordance with a command from the system control unit 11. Or the aperture amount of the diaphragm 2 is controlled via the diaphragm drive unit 9.
  • the F value of the diaphragm 2 is a value indicating the opening amount of the diaphragm 2, and the larger the F value, the smaller the opening amount.
  • the digital camera 100 further includes a MOS type image sensor 5 that images a subject through an imaging optical system.
  • the imaging device 5 has an imaging surface in which a plurality of pixels are two-dimensionally arranged, and a subject image formed on the imaging surface by an imaging optical system is converted into a pixel signal by the plurality of pixels and output. .
  • a set of pixel signals output from each pixel of the image sensor 5 is hereinafter referred to as a captured image signal.
  • the system control unit 11 that performs overall control of the entire electric control system of the digital camera 100 drives the imaging device 5 via the imaging device driving unit 10 and uses the subject image captured through the imaging optical system of the lens device 40 as a captured image signal. Output.
  • An instruction signal from a user is input to the system control unit 11 through the operation unit 14.
  • the system control unit 11 performs overall control of the entire digital camera 100, and the hardware structure is various processors that execute processing by executing programs including an imaging program.
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and perform various processes Examples include a dedicated electrical circuit that is a processor having a circuit configuration that is specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the system control unit 11 may be configured by one of various types of processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be.
  • the electric control system of the digital camera 100 includes a main memory 16 composed of a RAM (Random Access Memory), and a memory control unit 15 that controls data storage in the main memory 16 and data reading from the main memory 16.
  • a digital signal processing unit 17 that performs digital signal processing on a captured image signal output from the image sensor 5 and generates captured image data according to various formats such as JPEG (Joint Photographic Experts Group) format, and a storage medium
  • An external memory control unit 20 that controls data storage in the data storage 21 and data read from the storage medium 21, a display surface 23 formed of an organic EL (electroluminescence) panel or a liquid crystal panel, and the display surface And a display controller 22 for controlling the display of 3.
  • the display surface 23 and the display controller 22 constitute a display device.
  • the storage medium 21 is a semiconductor memory such as a flash memory built in the digital camera 100 or a portable semiconductor memory that can be attached to and detached from the digital camera 100.
  • the memory control unit 15, the digital signal processing unit 17, the external memory control unit 20, and the display controller 22 are connected to each other by a control bus 24 and a data bus 25, and are controlled by a command from the system control unit 11.
  • the digital signal processing unit 17 is the various processors exemplified above that execute processing by executing programs.
  • the display controller 22 includes various processors exemplified above for executing processing by executing a program, and a display memory for holding data of an image to be displayed.
  • FIG. 2 is a schematic plan view showing a schematic configuration of the display surface 23 shown in FIG.
  • the display surface 23 is a surface in which a plurality of display pixel rows 23B including a plurality of display pixels 23A arranged in one row direction X are arranged in a column direction Y which is an orthogonal direction orthogonal to the row direction X.
  • the display controller 22 sequentially updates the line image to be drawn on the display pixel row 23B from the display pixel row 23B at the upper end (one end) in the column direction Y of the display surface 23 toward the display pixel row 23B at the lower end (the other end). By performing the update process, a live view image composed of the same number of line images as the display pixel row 23B is displayed on the display surface 23.
  • FIG. 3 is a schematic plan view showing a schematic configuration of the image sensor 5 shown in FIG.
  • FIG. 4 is a schematic plan view showing a schematic configuration of the pixel 61 of the image sensor 5 shown in FIG.
  • FIG. 5 is a schematic sectional view taken along line AA of the pixel 61 of the image sensor 5 shown in FIG.
  • the imaging device 5 includes an imaging surface 60 in which a plurality of pixel rows 62 including a plurality of pixels 61 arranged in the row direction X are arranged in a column direction Y orthogonal to the row direction X, and pixels arranged in the imaging surface 60. And a signal processing circuit 64 that processes a pixel signal read from each pixel 61 of the pixel row 62 arranged on the imaging surface 60 to the signal line.
  • the upper end of the imaging surface 60 in the column direction Y is referred to as the upper end
  • the lower end of the imaging surface 60 in the column direction Y is referred to as the lower end.
  • the upper end constitutes one end of the imaging surface 60
  • the lower end constitutes the other end of the imaging surface 60.
  • the pixel 61 includes a photoelectric conversion element 61A, a charge holding unit 61B, a charge transfer unit 61C, a floating diffusion 61D, and a readout circuit 61E formed on a semiconductor substrate.
  • the photoelectric conversion element 61A receives the light that has passed through the imaging optical system of the lens device 40, and generates and accumulates charges corresponding to the amount of light received.
  • the photoelectric conversion element 61A is configured by a photodiode or the like.
  • the charge transfer unit 61C transfers the charge accumulated in the photoelectric conversion element 61A to the charge holding unit 61B.
  • the charge transfer unit 61C is configured by an impurity region in the semiconductor substrate and an electrode formed above the impurity region.
  • the voltage applied to the electrodes constituting the charge transfer unit 61C is controlled by the drive circuit 63, whereby the charge is transferred from the photoelectric conversion element 61A to the charge holding unit 61B.
  • the charge holding unit 61B holds the charge transferred from the photoelectric conversion element 61A by the charge transfer unit 61C.
  • the charge holding unit 61B is configured by an impurity region in the semiconductor substrate.
  • the floating diffusion 61D is for converting charges into signals, and the charges held in the charge holding unit 61B are transferred.
  • the readout circuit 61E is a circuit that reads out a signal corresponding to the potential of the floating diffusion 61D to the signal line 65 as a pixel signal.
  • the read circuit 61E is driven by the drive circuit 63.
  • a P well layer 71 is formed on the surface of the N-type substrate 70, and a photoelectric conversion element 61 ⁇ / b> A is formed on the surface portion of the P well layer 71.
  • the photoelectric conversion element 61A is composed of an N-type impurity layer 73 and a P-type impurity layer 74 formed thereon.
  • the N-type substrate 70 and the P well layer 71 constitute a semiconductor substrate.
  • a charge holding portion 61B made of an N-type impurity layer is formed a little away from the photoelectric conversion element 61A.
  • a transfer electrode 76 is formed above the region 75 of the P well layer 71 between the charge holding unit 61B and the photoelectric conversion element 61A via an oxide film (not shown).
  • the region 75 and the transfer electrode 76 constitute a charge transfer unit 61C.
  • the transfer electrode 76 is formed even above the charge holding portion 61 ⁇ / b> B, but the transfer electrode 76 may be formed at least above the region 75.
  • the transfer electrode 76 By controlling the potential of the transfer electrode 76 to form a channel in the region 75, the charge accumulated in the photoelectric conversion element 61A can be transferred to the charge holding unit 61B.
  • the potential of the transfer electrode 76 is controlled by the drive circuit 63.
  • a floating diffusion 61D made of an N-type impurity layer is formed slightly apart from the charge holding portion 61B.
  • a readout electrode 72 is formed above the P well layer 71 between the charge holding unit 61B and the floating diffusion 61D through an oxide film (not shown).
  • the charge held in the charge holding unit 61B can be transferred to the floating diffusion 61D.
  • the potential of the read electrode 72 is controlled by the drive circuit 63.
  • the readout circuit 61E includes a reset transistor 77 for resetting the potential of the floating diffusion 61D, an output transistor 78 that converts the potential of the floating diffusion 61D into a pixel signal, and outputs the pixel signal.
  • a selection transistor 79 for selectively reading out an output pixel signal to the signal line 65 is configured.
  • the configuration of the readout circuit is an example and is not limited to this.
  • the readout circuit 61E may be shared by a plurality of pixels 61.
  • the drive circuit 63 shown in FIG. 3 drives the transfer electrode 76, the readout electrode 72, and the readout circuit 61E of each pixel 61 independently for each pixel row 62, and resets each photoelectric conversion element 61A included in the pixel row 62. (Draining of charges accumulated in the photoelectric conversion elements 61A), reading out of the pixel signals corresponding to the charges accumulated in the respective photoelectric conversion elements 61A to the signal lines 65, and the like are performed.
  • the drive circuit 63 simultaneously drives the charge transfer units 61C of all the pixels 61, and simultaneously transfers charges from the photoelectric conversion element 61A of each pixel 61 to the charge holding unit 61B.
  • the drive circuit 63 is controlled by the image sensor drive unit 10.
  • the photoelectric conversion element 61A is reset by resetting the floating diffusion 61D by the reset transistor 77 in a state where the charge transfer unit 61C can transfer charges and a channel is formed in the semiconductor substrate below the readout electrode 72. Done.
  • the drain region of the reset transistor 77 constitutes a charge discharge region.
  • the photoelectric conversion element 61A that transfers the charge to the charge holding unit 61B can be reset.
  • the signal processing circuit 64 shown in FIG. 3 performs correlated double sampling processing on the pixel signal read from each pixel 61 of the pixel row 62 to the signal line 65, and digitally outputs the pixel signal after the correlated double sampling processing.
  • the signal is converted into a signal and output to the data bus 25.
  • the signal processing circuit 64 is controlled by the image sensor driving unit 10.
  • the total number M of the pixel rows 62 formed on the imaging surface 60 of the imaging element 5 is larger than the total number m of the display pixel rows 23B formed on the display surface 23.
  • the pixel row 62 set as the display target pixel row is also referred to as a display target pixel row 62.
  • the i-th display pixel row 23B counted from the upper end of the display surface 23 is managed in association with the i-th display target pixel row 62 counted from the upper end of the imaging surface 60 (i is 1 to m). Yes.
  • FIG. 6 is a functional block diagram of the digital camera 100 shown in FIG.
  • the digital camera 100 includes an imaging control unit 11A and a display control unit 11B as functional blocks.
  • the system control unit 11 functions as an imaging control unit 11A and a display control unit 11B by executing a program including an imaging program.
  • the imaging control unit 11A controls the imaging device driving unit 10 to cause the imaging device 5 to perform global reset driving, global shutter driving, rolling reset driving, rolling shutter driving, first rolling readout driving, and second rolling readout driving. Drive with each of the.
  • the global reset driving is a driving in which the photoelectric conversion elements 61A of the respective pixels 61 formed on the imaging surface 60 of the imaging element 5 are simultaneously reset and exposure of the respective pixels 61 is started simultaneously.
  • the charge accumulated in the photoelectric conversion element 61A of each pixel 61 is transferred to the charge holding unit 61B by the exposure started in each pixel 61 by the global reset drive, and the exposure is simultaneously completed in each pixel 61. To drive.
  • the rolling reset drive is a drive in which the photoelectric conversion elements 61A of the display target pixel rows 62 are reset and the exposure of the photoelectric conversion elements 61A is started sequentially while changing the display target pixel rows 62.
  • the rolling shutter drive is a process of transferring the charge from the photoelectric conversion element 61A of the display target pixel row 62 being exposed to the charge holding unit 61B of the display target pixel row 62 and ending the exposure of the display target pixel row 62.
  • the driving is performed sequentially while changing the display target pixel row 62.
  • the first rolling readout drive is a drive for sequentially reading out pixel signals corresponding to the charges held in the charge holding units 61B by the global shutter drive for each pixel row 62.
  • the second rolling readout drive is a drive in which pixel signals corresponding to the charges held in the charge holding unit 61B of the display target pixel row 62 are sequentially read out while changing the display target pixel row 62 by the rolling shutter drive.
  • the imaging control unit 11A When the digital camera 100 is set to the imaging mode, the imaging control unit 11A performs imaging for live view image display (hereinafter referred to as LV imaging) by a set of rolling reset driving, rolling shutter driving, and second rolling readout driving. Is performed continuously.
  • LV imaging live view image display
  • the imaging control unit 11A When the imaging control unit 11A receives an instruction to perform storage imaging for storage of still image data in the storage medium 21 (hereinafter referred to as an imaging instruction) during execution of this set, the global reset driving, Imaging for storage is performed by a set of global shutter driving and first rolling readout driving, and then imaging for LV is performed by first imaging control.
  • an imaging instruction an instruction to perform storage imaging for storage of still image data in the storage medium 21
  • the global reset driving, Imaging for storage is performed by a set of global shutter driving and first rolling readout driving
  • imaging for LV is performed by first imaging control.
  • the exposure of the pixels 61 started at the same time as the exposure of all the pixels 61 by the global shutter driving at the time of imaging for storage is completed, and the end of the first rolling readout driving at the time of imaging for storage is completed.
  • rolling shutter driving is performed and the processing is sequentially terminated for each display target pixel row 62, and a pixel signal corresponding to the charge held in the charge holding unit 61B of the display target pixel row 62 by the rolling shutter driving is subjected to second rolling readout. This is a control for sequentially reading by driving.
  • the digital signal processing unit 17 illustrated in FIG. 1 generates captured image data by processing the captured image signal output from the image sensor 5 by the first rolling readout drive performed by the imaging control unit 11A. It is stored in the storage medium 21.
  • the digital signal processing unit 17 processes the pixel signal group sequentially output from the display target pixel row 62 of the imaging element 5 by the second rolling readout drive performed by the imaging control unit 11A, and thereby this display target pixel row.
  • Line data corresponding to the display pixel row 23 ⁇ / b> B corresponding to 62 is generated, and the generated line data is transferred to the display controller 22.
  • This set of line data constitutes live view image data.
  • the display control unit 11B shown in FIG. 6 performs control to display the live view image based on the live view image data obtained by the second rolling readout drive on the display surface 23 via the display controller 22.
  • the display control unit 11B generates a display synchronization signal for instructing the display controller 22 to start the drawing update process, and supplies the display synchronization signal to the display controller 22.
  • the display controller 22 starts the drawing update process when the display synchronization signal input from the display control unit 11B falls.
  • the display controller 22 sequentially selects the display pixel row 23B from the upper end to the lower end of the display surface 23, and generates a line image based on the line data corresponding to the selected display pixel row 23B. Then, drawing is performed on the selected display pixel row 23B.
  • FIG. 7 is a timing chart showing the operation of the digital camera 100 shown in FIG.
  • the horizontal axis indicates time.
  • the display synchronization signal VD supplied from the display control unit 11 ⁇ / b> B to the display controller 22 is shown.
  • FIG. 7 shows the drive timing of the photoelectric conversion elements 61A and the charge holding units 61B in each pixel row 62 of the image sensor 5.
  • the vertical axis indicates the position in the column direction Y of the pixel row 62.
  • the period surrounded by the straight line RR and the straight line RS adjacent to the right indicates the exposure period (LV1, LV2, LV4) of the image sensor 5 during LV imaging.
  • the period surrounded by the straight line GR and the straight line GS indicates the exposure period EX of the image sensor 5 at the time of imaging for storage.
  • the straight line ST shown in the middle part of FIG. 7 indicates the timing at which charges are held in the charge holding unit 61B.
  • the drawing state of the display surface 23 is shown.
  • the vertical axis indicates the position in the column direction Y of the display pixel row 23 ⁇ / b> B on the display surface 23.
  • a set of a rolling reset drive indicated by a straight line RR, a rolling shutter drive indicated by a straight line RS, and a second rolling readout drive indicated by a straight line RO2 is determined in advance. Repeat at regular intervals.
  • “Lv1” shown in FIG. 7 indicates a period during which the live view image obtained in the exposure period LV1 is displayed.
  • “Lv2” shown in FIG. 7 indicates a period during which the live view image obtained in the exposure period LV2 is displayed.
  • “Lv4” shown in FIG. 7 indicates a period during which the live view image obtained in the exposure period LV4 is displayed.
  • the imaging control unit 11A indicates the straight line GR after ending the above set being executed when the imaging instruction is received.
  • the global reset driving is performed, and the photoelectric conversion elements 61 ⁇ / b> A are simultaneously reset in all the pixel rows 62. Thereby, exposure is started at the same timing in all the pixel rows 62.
  • the imaging control unit 11A performs the global shutter drive indicated by the straight line GS.
  • the imaging control unit 11A performs the first rolling readout drive indicated by the straight line RO1 after performing the global shutter drive indicated by the straight line GS.
  • the imaging control unit 11A selects the pixel rows 62 in order from the upper end to the lower end of the imaging surface 60, and reads out pixel signals from the selected pixel rows 62.
  • the captured image signal output from the image sensor 5 by the first rolling readout drive is processed by the digital signal processing unit 17 to be captured image data, which is stored in the storage medium 21.
  • the imaging control unit 11A starts rolling reset driving indicated by the straight line RS.
  • the display target pixel rows 62 are sequentially selected from the upper end to the lower end of the imaging surface 60, and charges are transferred from the photoelectric conversion elements 61A of the selected display target pixel rows 62 to the charge holding unit 61B.
  • the exposure for LV imaging started when the global shutter driving is performed is sequentially terminated for each display target pixel row 62.
  • a period surrounded by the straight line GS and the straight line RS adjacent to the right is shown as an exposure period LV3 for LV imaging.
  • the start timing of the rolling reset drive for ending the exposure period LV3 is synchronized with the fall timing of the display synchronization signal VD that first comes after the end of the first rolling readout drive indicated by the straight line RO1.
  • the second timing synchronized with the first timing is a timing that is a predetermined time before the first timing.
  • This predetermined time is the time required for the line data first generated by the digital signal processing unit 17 from the start of the rolling shutter drive to be stored in the display memory of the display controller 22. It is determined by processing capacity and data transmission time.
  • the imaging control unit 11A starts the second rolling readout drive indicated by the straight line RO2 after a short while after starting the rolling reset drive for ending the exposure period LV3.
  • the display target pixel row 62 is sequentially selected from the upper end side to the lower end side on the imaging surface 60, and the pixel signal is read from the charge holding unit 61B of the selected display target pixel row 62. It is.
  • “Lv3” shown in FIG. 7 indicates a period during which the live view image obtained in the exposure period LV3 is displayed.
  • the first imaging control is configured by a rolling shutter drive for ending the exposure period LV3 and a second rolling read drive that converts the charge transferred to the charge holding unit 61B by the rolling shutter drive into a pixel signal and reads it out. Is done.
  • the display synchronization signal VD falls during the exposure period EX, but no new live view image data is generated at this timing.
  • the display controller 22 sets the line image drawn on each display pixel row 23B of the display surface 23 at this timing as a black image. Thereby, the display surface 23 is in a blackout state between the period lv2 and the period lv3.
  • the display controller 22 may perform control to maintain the line image displayed in the period lv2 without updating the line image drawn in each display pixel row 23B of the display surface 23 at this timing.
  • the imaging control unit 11A resumes the above set for LV imaging.
  • the exposure period LV3 for LV imaging can be started simultaneously with the end of the exposure period EX for imaging for storage.
  • the time until the live view image is updated after the exposure period EX blackout time in the figure
  • the risk of losing sight of the subject can be reduced.
  • the exposure time of each pixel row 62 in the exposure period LV ⁇ b> 3 is shorter as it is closer to the upper end on the imaging surface 60.
  • the digital signal processing unit 17 of the digital camera 100 determines each line data generated from the pixel signal obtained by the second rolling readout drive of the first imaging control based on the difference in exposure period for each display target pixel row 62. Correct so that there is no difference in brightness.
  • the digital signal processing unit 17 calculates the gain (Gain (i)) calculated by the following expression from line data corresponding to the i th display target pixel row 62 counted from the upper end of the imaging surface 60. The above correction is performed by multiplying each pixel data.
  • Gain (i) [(EXP1-EXP0) ⁇ ⁇ (m ⁇ i) / m ⁇ ] / EXP0 + 1
  • EXP0 indicates the exposure time in the exposure period LV3 of the display target pixel row 62 on the uppermost side of the imaging surface 60.
  • EXP1 indicates the exposure time in the exposure period LV3 of the display target pixel row 62 on the lowermost side of the imaging surface 60.
  • M indicates the total number of display target pixel rows 62.
  • the luminance of the line data corresponding to the m-th display target pixel row 62 counted from the upper end of the imaging surface 60 is used as a reference, and the luminance of other line data is adjusted to this reference.
  • the correction method is not limited to this.
  • the brightness of the other line data is set based on the brightness of the line data corresponding to the first display target pixel row 62 counted from the upper end of the imaging surface 60. You may match this standard.
  • the imaging control unit 11A performs the second imaging control in addition to the first imaging control described above as the imaging control performed after the imaging for storage according to the imaging instruction will be described.
  • the second imaging control is to perform the above-described setting (set of rolling reset driving, rolling shutter driving, and second rolling readout driving) following the imaging for storage.
  • FIG. 8 is a timing chart showing a modified example of the operation of the digital camera 100 shown in FIG. 1 in the imaging mode. 8 are the same as those in FIG.
  • a set of a rolling reset drive indicated by a straight line RR, a rolling shutter drive indicated by a straight line RS, and a second rolling readout drive indicated by a straight line RO2 is determined in advance. Repeat at regular intervals. The operation when this setting is performed is the same as in FIG.
  • the imaging control unit 11A If an imaging instruction is given while the above set for LV imaging is being performed, the imaging control unit 11A indicates the straight line GR after ending the above set being executed when the imaging instruction is received. Global reset drive is performed. Thereafter, when a predetermined exposure time elapses, the imaging control unit 11A performs global shutter driving indicated by a straight line GS.
  • the imaging control unit 11A performs the first rolling readout drive indicated by the straight line RO1 after performing the global shutter drive indicated by the straight line GS.
  • the captured image signal output from the image sensor 5 by the first rolling readout drive is processed by the digital signal processing unit 17 to be captured image data, which is stored in the storage medium 21.
  • the imaging control unit 11A starts the rolling reset driving indicated by the straight line RR, and then performs the rolling shutter driving to end the exposure period LV3 of the LV imaging.
  • the start timing of the rolling shutter drive for ending the exposure period LV3 is synchronized with the fall timing of the display synchronization signal VD that comes the second time after the end of the first rolling readout drive indicated by the straight line RO1. Yes.
  • the imaging control unit 11A starts the rolling shutter drive indicated by the straight line RS of the second imaging control, and then performs the second rolling readout drive, and the pixel signal from the display target pixel row 62 exposed in the exposure period LV3. Is read.
  • the second imaging control is configured by the rolling reset driving that is performed for the first time after the global shutter driving, and the rolling shutter driving and the second rolling readout driving that are performed thereafter.
  • the display synchronization signal VD falls before the start of the exposure period LV3, but new live view image data is not generated at this timing.
  • the display controller 22 sets the line image drawn on each display pixel row 23B of the display surface 23 at this timing as a black image.
  • the display surface 23 is in a blackout state for two frames between the period lv2 and the period lv3.
  • the blackout time between the period lv2 and the period lv3 is longer than that in the case of performing the first imaging control, but for the LV imaging immediately after the imaging for storage.
  • Exposure exposure period LV3
  • Exposure period LV3 can be performed with appropriate exposure so that the pixel signal output from the pixel 61 of the image sensor 5 does not saturate, and an advantage that high quality of the live view image can be expected is obtained.
  • the risk of losing the subject and reducing the quality of the live view image are compatible. Can be made.
  • FIG. 9 is a flowchart for explaining the operation of the imaging control unit 11A of the digital camera 100 shown in FIG.
  • the imaging control unit 11A Upon receiving the imaging instruction, the imaging control unit 11A receives the time between the global shutter driving start timing for storage imaging and the rolling shutter driving start timing when the first imaging control is performed thereafter (see FIG. 7). LV in the case of performing the first imaging control based on the exposure time T1) and the F value of the diaphragm set during the global reset driving in the case of performing imaging for storage (hereinafter referred to as the F value during imaging). An exposure value ex during imaging is calculated (step S1).
  • the timing of the imaging instruction when the timing of the imaging instruction is determined, the timing of the straight line GR, the timing of the straight line GS, and the timing of the straight line RS immediately to the right of the straight line GS are determined.
  • the imaging control unit 11A selects and executes either the first imaging control or the second imaging control based on the exposure value ex obtained in step S1.
  • the imaging control unit 11A determines whether or not the exposure value ex is equal to or greater than a predetermined exposure threshold value TH (first exposure threshold value) (step S2).
  • the exposure threshold TH is set to the lower limit of the exposure value at which the pixel signal read from the pixel 61 of the image sensor 5 reaches the saturation level.
  • step S2 when the exposure value ex is less than the exposure threshold TH (step S2: NO), the imaging control unit 11A performs global reset driving, global shutter driving, and first rolling readout driving as illustrated in FIG. After the image pickup for storage is performed, the first image pickup control is performed (step S3).
  • step S2 when the exposure value ex is equal to or greater than the exposure threshold value TH (step S2: YES), the imaging control unit 11A performs global reset driving, global shutter driving, and first rolling readout driving as shown in FIG. After the image pickup for storage is performed, the second image pickup control is performed (step S4).
  • the imaging control unit 11A stops the LV imaging so that the LV imaging is performed at an appropriate exposure from the end of the exposure period EX to the start of the rolling reset driving.
  • the second imaging control is started after controlling the F value and the exposure time during LV imaging. Therefore, the live view image displayed in the period lv3 in FIG. 8 is obtained by imaging with appropriate exposure.
  • the digital camera 100 of FIG. 1 As described above, according to the digital camera 100 of FIG. 1, as a result of performing the first imaging control with the imaging F value determined at the time of imaging instruction, the exposure at the time of LV imaging is over and the live view image is displayed. When it is determined that there is a possibility that the quality of the image may be reduced, the second imaging control is performed. For this reason, it is possible to prevent display quality degradation of the live view image displayed immediately after imaging for storage.
  • FIG. 10 is a diagram showing a modification of the functional blocks of the digital camera 100 shown in FIG. 10, the same components as those in FIG. 6 are denoted by the same reference numerals.
  • the hardware configuration of the digital camera 100 shown in FIG. 10 differs only in that the plurality of pixels 61 of the image sensor 5 in FIG. 1 include a phase difference detection pixel and a normal pixel.
  • the phase difference detection pixel includes a first phase difference detection pixel that receives light passing through one of the two divided regions when the pupil region of the imaging optical system is divided into two in the row direction X or the column direction Y, and And a second phase difference detection pixel that receives light passing through the other of the two divided regions.
  • a normal pixel is a pixel that receives light passing through each of the two divided regions.
  • a part of the pixels 61 constituting the m display target pixel rows 62 on the imaging surface 60 are the first phase difference detection pixel and the second phase difference. This is a detection pixel.
  • a plurality of pairs of first phase difference detection pixels and second phase difference detection pixels are discretely arranged on the imaging surface 60 of the imaging element 5.
  • the photoelectric conversion elements 61A of all the pixels 61 included in the imaging element 5 are divided into, for example, two in the row direction X, and the above-described imaging optical system is formed by one area and the other area of the divided photoelectric conversion elements 61A. A configuration in which light passing through each of the two divided regions is received. In the case of this configuration, all the pixels 61 included in the image sensor 5 are phase difference detection pixels.
  • the digital camera 100 includes an imaging control unit 11A, a display control unit 11B, and a focusing control unit 11C as functional blocks.
  • the system control unit 11 functions as an imaging control unit 11A, a display control unit 11B, and a focusing control unit 11C by executing a program including an imaging program.
  • the focusing control unit 11C performs focusing control of the imaging optical system based on the pixel signal output from the phase difference detection pixel of the imaging device 5 by the second rolling readout drive performed by the imaging control unit 11A.
  • the focusing control unit 11C forms a pair with the pixel signal group output from the plurality of first phase difference detection pixels and each of the plurality of first phase difference detection pixels.
  • the phase difference is calculated by performing a correlation operation with the pixel signal group output from the phase difference detection pixels, and the focus lens is adjusted according to the defocus amount based on the phase difference.
  • FIG. 11 is a flowchart for explaining the operation after the imaging instruction of the digital camera shown in FIG.
  • the imaging control unit 11A determines whether or not the aperture F value (F value during imaging) set during the global reset driving is equal to or less than a predetermined aperture threshold value F1 (step S11).
  • the aperture threshold F1 is set to a value on the open side of the F value that can ensure the minimum calculation accuracy of the phase difference.
  • the imaging control unit 11A When the F value during imaging exceeds the aperture threshold value F1 (step S11: NO), the imaging control unit 11A performs imaging for storage by global reset driving, global shutter driving, and first rolling readout driving. After the start of the global shutter drive, the aperture F value is controlled to be equal to or less than the aperture threshold F1. Then, after the first rolling readout driving is finished, the second imaging control is performed (step S14).
  • the focusing control unit 11C performs focusing control based on the pixel signal read from the phase difference detection pixel by the second rolling readout driving. Is performed (step S15).
  • step S11 when the F value during imaging is equal to or smaller than the aperture threshold value F1 (step S11: YES), the imaging control unit 11A performs global reset driving, global shutter driving, and first rolling readout driving as shown in FIG. After performing this, the first imaging control is performed (step S12).
  • the focusing control unit 11C performs alignment based on the pixel signal read from the phase difference detection pixel by the second rolling readout drive. Focus control is performed (step S13). After step S13 and step S14, the set described above is resumed.
  • the live view image is displayed at high speed by the first imaging control.
  • high-speed focusing control can be performed based on the captured image signal obtained by the first imaging control.
  • the second imaging is performed in a state where the F value is controlled to be equal to or less than the aperture threshold F1. Control is performed, and focusing control is performed based on the captured image signal obtained by the second imaging control.
  • FIG. 12 is a flowchart for explaining a modification of the operation after the imaging instruction of the digital camera shown in FIG.
  • the imaging control unit 11A determines whether or not the F value during imaging is equal to or less than the aperture threshold value F1 (step S21).
  • the imaging control unit 11A When the F value during imaging exceeds the aperture threshold value F1 (step S21: NO), the imaging control unit 11A performs the global reset driving and the global shutter driving for imaging for storage, and then sets the F value of the aperture. The second imaging control is performed after the first rolling readout driving is completed (step S23).
  • the focusing control unit 11C focuses based on the pixel signal read from the phase difference detection pixels by the second rolling readout drive. Control is performed (step S24).
  • the imaging control unit 11A When the F value during imaging is equal to or smaller than the aperture threshold value F1 (step S21: YES), the imaging control unit 11A performs the start timing of global shutter driving for storage imaging and the subsequent first imaging control.
  • the exposure value ex at the time of LV imaging when performing the first imaging control is calculated based on the time between the start timings of the rolling shutter drive in this case (exposure time T1 shown in FIG. 7) and the F value at the time of imaging. (Step S22).
  • the imaging control unit 11A determines whether or not the exposure value ex is equal to or greater than a predetermined exposure threshold value TH1 (first exposure threshold value) (step S25).
  • the exposure threshold value TH1 is set to a lower limit value of an exposure value at which the pixel signal read from the phase difference detection pixel of the image sensor 5 reaches the saturation level.
  • the light receiving area of the photoelectric conversion element 61A is smaller than that of the normal pixel, so that the pixel signal is less likely to be saturated. Therefore, the normal pixel is saturated under the exposure condition where the phase difference detection pixel is saturated.
  • step S25 When the exposure value ex is equal to or greater than the exposure threshold value TH1 (step S25: YES), that is, when both the normal pixel and the phase difference detection pixel are saturated, the imaging control unit 11A performs global reset driving, global shutter driving, After the image capturing for storage by the first rolling readout drive is performed, the second image capturing control shown in FIG. 8 is performed in a state where the exposure time for the LV image capturing is controlled to a value at which proper exposure can be obtained ( Step S26).
  • step S24 focusing control is performed based on the captured image signal obtained by the second imaging control in step S26.
  • the imaging control unit 11A determines the exposure threshold value TH2 where the exposure value ex is determined in advance. It is determined whether or not (second exposure threshold) or more (step S27).
  • the exposure threshold TH2 is set to a lower limit value of an exposure value at which a pixel signal read from a normal pixel of the image sensor 5 reaches a saturation level.
  • the exposure threshold value TH2 is smaller than the exposure threshold value TH1.
  • step S27 YES
  • the imaging control unit 11A After performing the storage imaging by the global reset driving, the global shutter driving, and the first rolling readout driving, the first imaging control is performed (step S28).
  • the focusing control unit 11C reads out the pixels read from the phase difference detection pixels by the second rolling readout drive. Focus control is performed based on the signal (step S29).
  • the display control unit 11B stops the display on the display surface 23 for the live view image based on the captured image signal output from the image sensor 5 by the second rolling readout drive of the first imaging control in step S28. Control is performed (step S30).
  • FIG. 13 shows an example of a timing chart when the determination in step S27 of FIG. 12 is YES.
  • the “focus control” block in FIG. 13 indicates a period during which the process of step S29 in FIG. 12 is performed.
  • step S27: NO When the exposure value ex is less than the exposure threshold value TH2 (step S27: NO), that is, when both the normal pixel and the phase difference detection pixel are not saturated, the imaging control unit 11A performs global as shown in FIG. After imaging for storage by reset driving, global shutter driving, and first rolling readout driving, first imaging control is performed (step S31).
  • the focusing control unit 11C reads out the pixels read from the phase difference detection pixels by the second rolling readout drive. Focus control is performed based on the signal (step S32).
  • step S24 After step S24, step S30, and step S32, the above-described set for LV imaging is started.
  • step S21 when the F value during imaging is not suitable for phase difference calculation (step S21: NO), the F value is controlled to be equal to or less than the aperture threshold F1.
  • the second imaging control is performed, and the phase difference is calculated based on the captured image signal obtained by the second imaging control. For this reason, the possibility that the phase difference is erroneously calculated can be reduced, and the focusing performance can be improved.
  • the F value during imaging is suitable for phase difference calculation, but there is a possibility that both the phase difference detection pixel and the normal pixel may be saturated (step S25: YES).
  • the second imaging control is performed in a state in which proper exposure is ensured, and the phase difference is calculated based on the captured image signal obtained by the second imaging control.
  • the possibility that the phase difference is erroneously calculated can be reduced, and the focusing performance can be improved.
  • the F value at the time of imaging is suitable for the phase difference calculation, and when it is determined that at least the phase difference detection pixel is not saturated (step S25: NO), the first Imaging control is performed, and focusing control is performed based on the captured image signal obtained by the first imaging control. For this reason, the focusing speed can be improved.
  • the F value during imaging is suitable for phase difference calculation, and it is determined that the normal pixel is saturated but the phase difference detection pixel is not saturated (step) In S27: YES), the first imaging control is performed, and the display of the live view image by the first imaging control is stopped. For this reason, it is possible to prevent quality degradation of the live view image.
  • FIG. 14 is a flowchart for explaining another modified example of the operation after the imaging instruction of the digital camera 100 shown in FIG.
  • the imaging control unit 11A Upon receiving the imaging instruction, the imaging control unit 11A calculates the exposure value ex in the same manner as in step S1 of FIG. 9 (step S41).
  • the imaging control unit 11A determines whether or not the exposure value ex is equal to or greater than the exposure threshold value TH2 and less than the exposure threshold value TH1 (step S42).
  • the imaging control unit 11A When the exposure value ex is equal to or greater than the exposure threshold value TH2 and less than the exposure threshold value TH1 (step S42: YES), the imaging control unit 11A performs the processing when the normal pixel is saturated but the phase difference detection pixel is not saturated. As shown in FIG. 7, after the image pickup for storage is performed by the global reset drive, the global shutter drive, and the first rolling readout drive, the first image pickup control is performed (step S43).
  • the focusing control unit 11C reads out the pixels read from the phase difference detection pixels by the second rolling readout drive. Focus control is performed based on the signal (step S44).
  • the display control unit 11B also applies the live view image based on the captured image signal output from the image sensor 5 by the second rolling readout drive of the first imaging control started in step S43 to the display surface 23. Control to stop the display is performed (step S45).
  • step S42 When the exposure value ex is less than the exposure threshold TH2 (step S42: NO), that is, when neither the normal pixel nor the phase difference detection pixel is saturated, the imaging control unit 11A, as shown in FIG. After imaging for storage by global reset driving, global shutter driving, and first rolling readout driving, first imaging control is performed (step S46).
  • the live view image based on the captured image signal output from the image sensor 5 by the second rolling readout drive of the first imaging control started in step S46 is displayed on the display surface 23.
  • step S47 the focusing control unit 11C applies the pixel signal read from the phase difference detection pixel by the second rolling readout drive. Based on this, focus control is performed (step S47).
  • step S45 and step S47 the above-described set for LV imaging is started.
  • the first imaging control when it is determined that the normal pixel is saturated but the phase difference detection pixel is not saturated, the first imaging control is performed and focusing is performed. The speed is secured, and the update of the live view image by the first imaging control is stopped. For this reason, both the focusing speed and the quality improvement of the live view image can be achieved.
  • FIG. 15 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 200 shown in FIG. 15 has a flat housing 201, and a display input in which a display panel 202 as a display surface and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • Such a casing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display surface and the input unit are independent can be employed, or a configuration having a folding structure or a slide mechanism can be employed.
  • FIG. 16 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of web data or streaming data are performed.
  • the display input unit 204 displays images (still images and moving images) or character information and visually transmits information to the user, and performs user operations on the displayed information.
  • This is a so-called touch panel for detection, and includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the size of the display area and the size of the display panel 202 may be completely matched, it is not always necessary to match the two.
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • examples of the position detection method employed in the operation panel 203 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 or a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220 or wireless communication.
  • the audio data received by the unit 210 or the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface on which the display input unit 204 is provided, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 212 is a control program and control data of the main control unit 220, application software, address data that associates the name or telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, download The stored content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark) or the like
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • Examples of external devices connected to the smartphone 200 include a wired / wireless headset, wired / wireless external charger, wired / wireless data port, a memory card (Memory card) connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or causes the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes a positioning calculation process based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a triaxial acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction or acceleration of the smartphone 200 is detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication or data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 220 also has an image processing function such as displaying video on the display input unit 204 based on received data or downloaded image data such as streaming data (still image or moving image data).
  • the image processing function refers to a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 By executing the display control, the main control unit 220 displays an icon for starting the application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207, or accepts an operation on the icon and an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar is accepted.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or an outer edge part (non-display area) that does not overlap with the other display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 or the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one of a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 208 includes configurations other than the external memory control unit 20, the storage medium 21, the display controller 22, the display surface 23, and the operation unit 14 in the digital camera 100 shown in FIG.
  • the display control unit 11B included in the camera unit 208 performs control to display a live view image on the display panel 202.
  • the captured image data generated by the camera unit 208 can be stored in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited thereto, and may be mounted on the back surface of the display input unit 204. .
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or an image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the position can also be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the posture information acquired by the motion sensor unit 215 can be added and stored in the storage unit 212, or can be output through the external input / output unit 213 or the wireless communication unit 210.
  • a global reset driving for simultaneously resetting the photoelectric conversion elements of each of the plurality of pixels to start exposure of the plurality of pixels, and the photoelectric conversion of each of the plurality of pixels by the exposure.
  • a global shutter drive that simultaneously transfers the charge accumulated in the element to the charge holding unit and ends the exposure, and the global shutter drive.
  • a first rolling read drive for sequentially reading out a signal corresponding to the charge held in the charge holding unit for each pixel row; and a charge accumulated in the photoelectric conversion element of the pixel row in which exposure is started
  • Rolling shutter drive that sequentially transfers the process to the charge holding unit and ends the exposure of the pixel row while changing the pixel row, and the charge held in the charge holding unit of the pixel row by the rolling shutter drive
  • a second rolling readout drive that sequentially reads out signals corresponding to the pixel rows, the imaging control unit including the global reset drive, the global shutter drive, and the first
  • Shutter drive is performed to sequentially end each pixel row, and a signal corresponding to the charge held in the charge holding portion of the pixel row for which exposure has been completed is read by performing the second rolling read drive.
  • An imaging device that performs first imaging control.
  • the imaging apparatus wherein the plurality of pixels include phase difference detection pixels, and the imaging is performed based on a signal output from the phase difference detection pixels by the second rolling readout drive.
  • a focusing control unit that performs focusing control of an imaging optical system including a diaphragm and a focus lens disposed in front of the element, and the imaging control unit determines in advance the F value of the diaphragm during the global reset driving.
  • the aperture value is equal to or smaller than the aperture threshold value
  • the first imaging control is performed.
  • the F value exceeds the aperture threshold value the F value of the aperture is set to be equal to or less than the aperture threshold value after the global shutter driving.
  • An image pickup apparatus that performs the second image pickup control in a state where the control is performed.
  • the imaging apparatus wherein the plurality of pixels include phase difference detection pixels, and the imaging is performed based on a signal output from the phase difference detection pixels by the second rolling readout drive.
  • a focus control unit that performs focus control of a focus lens included in the optical system, and a live view image that is generated based on a signal output from the pixel of the imaging element by the second rolling readout drive
  • a display control unit that displays the image, and the imaging control unit performs the second imaging control when the exposure value is equal to or greater than the first exposure threshold, and the exposure value is the first exposure value.
  • the first imaging control is performed, and the display control unit determines the second exposure threshold value that is less than the first exposure threshold value and the exposure value is less than the first exposure threshold value. Less than To be a case, an imaging device for stopping the display to the first said live view image by said second rolling readout driving the imaging control based on the signal output from the imaging element of the display device.
  • the imaging apparatus wherein the plurality of pixels include phase difference detection pixels, and the imaging is performed based on a signal output from the phase difference detection pixels by the second rolling readout driving.
  • a focus control unit that performs focusing control of an imaging optical system including a diaphragm and a focus lens disposed in front of the element, and a signal output from the pixel of the imaging element by the second rolling readout drive
  • a display control unit that displays a generated live view image on a display device, and the imaging control unit includes a start timing of the global shutter driving and a rolling shutter driving when the first imaging control is performed.
  • the above-described case of performing the first imaging control based on the time between the start timings and the F value of the diaphragm at the time of the global reset driving The exposure value of the image sensor at the time of exposure that is started by a global shutter drive is calculated, and the display control unit is configured such that the exposure value is less than a predetermined first exposure threshold value and is lower than the first exposure threshold value.
  • the live view image is displayed on the display device based on the signal output from the imaging element by the second rolling readout drive in the first imaging control.
  • the imaging device to stop.
  • a global reset drive that simultaneously resets the photoelectric conversion elements of each of the plurality of pixels to start exposure of the plurality of pixels, and the plurality of the plurality of pixels by the exposure.
  • a global shutter drive for simultaneously transferring charges accumulated in the photoelectric conversion elements of each pixel to the charge holding unit to finish the exposure; and
  • a first rolling readout drive that sequentially reads out a signal corresponding to the electric charge held in the electric charge holding unit by shutter driving for each pixel row, and accumulated in the photoelectric conversion element of the pixel row in which exposure is started
  • Rolling shutter drive that sequentially transfers the charge to the charge holding unit and ends the exposure of the pixel row while changing the pixel row, and is held in the charge holding unit of the pixel row by the rolling shutter drive.
  • a second rolling readout drive that sequentially reads out a signal corresponding to the charge while changing the pixel row.
  • the exposure of the pixels thus performed is sequentially ended for each pixel row by performing the rolling shutter drive, and a signal corresponding to the charge held in the charge holding portion of the pixel row for which the exposure has been completed is transmitted to the first row.
  • the aperture value is equal to or smaller than the aperture threshold value
  • the first imaging control is performed.
  • the F value of the aperture is set to be equal to or less than the aperture threshold value after the global shutter driving.
  • a focus control step for performing focus control of a focus lens included in the optical system, and a live view image generated based on a signal output from the pixel of the image sensor by the second rolling readout drive A display control step for displaying the image, wherein the second imaging control is performed when the exposure value is equal to or greater than the first exposure threshold, and the exposure value is set to the first exposure value.
  • the first imaging control is performed.
  • the display control step the exposure value is less than the first exposure threshold value and the first exposure threshold value is determined.
  • the live view image based on the signal output from the imaging element by the second rolling readout drive in the first imaging control is supplied to the display device.
  • the imaging method according to (8) wherein the plurality of pixels include a phase difference detection pixel, and the imaging is performed based on a signal output from the phase difference detection pixel by the second rolling readout driving.
  • a focus control step for performing focus control of an imaging optical system including a diaphragm and a focus lens disposed in front of the element, and a signal output from the pixel of the imaging element by the second rolling readout drive
  • a display control step for displaying the generated live view image on a display device, wherein in the imaging control step, the start timing of the global shutter drive and the rolling shutter drive when the first imaging control is performed Based on the time between the start timings and the F value of the diaphragm during the global reset driving, the first imaging The exposure value of the image sensor at the time of the exposure that is started by the global shutter driving when performing the control is calculated.
  • the exposure value is less than a predetermined first exposure threshold value and the first When the second exposure threshold is smaller than one exposure threshold or more, the live view image based on the signal output from the image sensor by the second rolling readout drive in the first imaging control An imaging method for stopping display on a display device.
  • the global reset driving starts and the charge accumulated in the photoelectric conversion element of each of the plurality of pixels by the exposure is simultaneously transferred to the charge holding unit.
  • the exposure is started by the global shutter driving for ending the exposure, the first rolling readout driving for sequentially reading the signal corresponding to the charge held in the charge holding unit by the global shutter driving for each pixel row.
  • Rolling shutter drive for sequentially transferring the charge accumulated in the photoelectric conversion elements of the pixel row to the charge holding unit and ending the exposure of the pixel row while changing the pixel row; and the rolling shutter
  • An imaging control step for performing a second rolling readout drive for sequentially reading out a signal corresponding to the charge held in the charge holding unit of the pixel row by driving while changing the pixel row.
  • the global reset driving, the global shutter driving, and the first rolling reading Then, the exposure of the pixels started by the global shutter drive is sequentially performed for each pixel row by the rolling shutter drive, and the charge retention of the pixel row after the exposure is completed.
  • the imaging program which performs 1st imaging control which reads the signal according to the said electric charge hold

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供する。デジタルカメラ１００は、直線ＧＲで示すグローバルリセット駆動、直線ＧＳで示すグローバルシャッタ駆動、及び直線ＲＯ１で示す第一のローリング読み出し駆動によって撮像素子５を駆動して静止画撮像を実施すると共に、直線ＧＳで示すグローバルシャッタ駆動によってライブビュー撮像の露光を開始する。そして、このグローバルシャッタ駆動の後、直線ＲＳで示すローリングシャッタ駆動を行ってライブビュー撮像の露光を終了し、その露光で得た画素信号を直線ＲＯ２で示す第二のローリング読み出し駆動によって読み出す。

Description

撮像装置、撮像方法、及び撮像プログラム
　本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
　近年、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又はカメラ付きの携帯電話機等の撮像機能を有する電子機器の需要が急増している。なお、以上のような撮像機能を有する電子機器を撮像装置と称する。
　ＭＯＳ型の撮像素子には、光電変換素子と、この光電変換素子で発生し蓄積された電荷を保持する電荷保持部と、この電荷保持部に保持された電荷に応じた電圧信号を信号線に読み出す読み出し回路とを含む画素が二次元状に配置されたものがある。
　このような撮像素子は、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とを行うことが可能である。
　グローバルシャッタ方式の駆動は、全ての画素の光電変換素子を同時にリセットして全ての画素で同時に露光を開始し、その後、各画素の光電変換素子に蓄積された電荷を各画素の電荷保持部に同時に転送することで全ての画素で同時に露光を終了し、その後、画素行毎に順次、電荷保持部に蓄積された電荷を画素信号に変換して信号線に読み出していく方式である。
　ローリングシャッタ方式の駆動は、画素行の光電変換素子をリセットしてこの画素行の露光を開始し、その後、この画素行の光電変換素子に蓄積された電荷を電荷保持部に転送してこの露光を終了し、この電荷保持部に保持された電荷に応じた画素信号を信号線に読み出す駆動を、画素行を変えながら順次行う方式である。
　特許文献１には、静止画記憶用の撮像時には、撮像素子をグローバルシャッタ方式で駆動し、ライブビュー画像表示用の撮像時には、撮像素子をローリングシャッタ方式で駆動する撮像装置が記載されている。
　この特許文献１には、静止画記憶用の撮像時における電荷保持部からの画素信号の読み出し期間中に、ライブビュー画像表示用の撮像を開始することが記載されている。
日本国特開２０１２－１２９８１７号公報
　ライブビュー画像を表示する撮像装置では、ライブビュー画像を一定間隔で更新していく。このため、ライブビュー画像表示用の撮像の終了タイミングと、ライブビュー画像の表示の更新タイミングとを同期させるべく、撮像素子の駆動条件が決められる。
　一方、静止画記憶用の撮像は、電荷保持部から読み出す画素信号の数がライブビュー画像表示用の撮像に比べて多い。このため、静止画記憶用の撮像では、電荷保持部からの画素信号の読み出しに要する時間がライブビュー画像表示用の撮像に比べて長くなる。
　この読み出し時間の違いにより、通常は、静止画記憶用の撮像が終了（全ての電荷保持部からの画素信号の読み出しが完了）してから、ライブビュー画像表示用の撮像を再開することが行われる。
　しかし、静止画記憶用の撮像が終了してからライブビュー画像表示用の撮像を再開する方法では、ライブビュー画像を更新できない時間が長くなる場合がある。この場合、表示装置を見ながら撮像を行っているユーザにとっては、被写体を見失う可能性が高くなる。
　特許文献１に記載の撮像装置では、グローバルシャッタ方式の駆動とローリングシャッタ方式の駆動とで、電荷保持部からの画素信号の読み出し時間が同じになっており、グローバルシャッタ方式の駆動において画素信号の読み出し時間が相対的に長くなる場合のことは考慮されていない。
　本発明は、上記事情に鑑みてなされたものであり、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。
　本発明の撮像装置は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
　本発明の撮像方法は、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
　本発明の撮像プログラムは、光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行うものである。
　本発明によれば、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することのできる撮像装置、撮像方法、及び撮像プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示す表示面２３の概略構成を示す平面模式図である。 図１に示す撮像素子５の概略構成を示す平面模式図である。 図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。 図４に示す撮像素子５の画素６１のＡ－Ａ線の断面模式図である。 図１に示すデジタルカメラ１００の機能ブロック図である。 図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。 図１に示すデジタルカメラ１００の撮像モード時の動作の変形例を示すタイミングチャートである。 図１に示すデジタルカメラ１００の撮像制御部１１Ａの動作を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。 図１０に示すデジタルカメラの撮像指示後の動作を説明するためのフローチャートである。 図１０に示すデジタルカメラの撮像指示後の動作の変形例を説明するためのフローチャートである。 図１２のステップＳ２７の判定がＹＥＳとなる場合のタイミングチャートを示している。 図１０に示すデジタルカメラ１００の撮像指示後の動作の別の変形例を説明するためのフローチャートである。 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１５に示すスマートフォン２００の構成を示すブロック図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
　図１に示すデジタルカメラ１００は、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
　レンズ装置４０は、デジタルカメラ１００に着脱可能なものであってもよいし、デジタルカメラ１００と一体化されたものであってもよい。
　撮像レンズ１と絞り２は撮像光学系を構成し、撮像レンズ１は光軸方向に移動可能なフォーカスレンズ又はズームレンズ等を含む。
　フォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。
　なお、フォーカスレンズとしては、光軸方向の主点の位置を電気的な制御により変更することで焦点調節が可能な液体レンズが用いられてもよい。
　レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。
　レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更（焦点距離を変更）したり、絞り駆動部９を介して絞り２の開口量を制御したりする。本明細書において絞り２のＦ値とは、絞り２の開口量を示す値であり、Ｆ値が大きいほど、開口量は小さいことを意味する。
　デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＭＯＳ型の撮像素子５を備える。
　撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
　デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。
　システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。
　システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｓｅｓｓ　Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等で構成される表示面２３と、表示面２３の表示を制御する表示コントローラ２２と、を備える。表示面２３と表示コントローラ２２は表示装置を構成する。
　記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。
　メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　デジタル信号処理部１７は、ハードウェア的な構造は、プログラムを実行して処理を行う上記に例示した各種のプロセッサである。
　表示コントローラ２２は、プログラムを実行して処理を行う上記に例示した各種のプロセッサと、表示すべき画像のデータを保持するための表示メモリとを含む。
　図２は、図１に示す表示面２３の概略構成を示す平面模式図である。
　表示面２３は、一方向である行方向Ｘに並ぶ複数の表示画素２３Ａからなる表示画素行２３Ｂが、この行方向Ｘと直交する直交方向である列方向Ｙに複数配列された面である。
　表示コントローラ２２は、表示画素行２３Ｂに描画するライン画像を表示面２３の列方向Ｙの上端（一端）の表示画素行２３Ｂから下端（他端）の表示画素行２３Ｂに向かって順次更新する描画更新処理を行うことで、表示画素行２３Ｂと同数のライン画像からなるライブビュー画像を表示面２３に表示する。
　図３は、図１に示す撮像素子５の概略構成を示す平面模式図である。図４は、図３に示す撮像素子５の画素６１の概略構成を示す平面模式図である。図５は、図４に示す撮像素子５の画素６１のＡ－Ａ線の断面模式図である。
　撮像素子５は、行方向Ｘに配列された複数の画素６１からなる画素行６２が、行方向Ｘと直交する列方向Ｙに複数配列された撮像面６０と、撮像面６０に配列された画素６１を駆動する駆動回路６３と、撮像面６０に配列された画素行６２の各画素６１から信号線に読み出される画素信号を処理する信号処理回路６４と、を備える。
　以下では、図３において撮像面６０の列方向Ｙの上側の端部を上端といい、撮像面６０の列方向Ｙの下側の端部を下端という。この上端は撮像面６０の一端を構成し、この下端は撮像面６０の他端を構成する。
　図４に示すように、画素６１は、半導体基板に形成された光電変換素子６１Ａ、電荷保持部６１Ｂ、電荷転送部６１Ｃ、フローティングディフュージョン６１Ｄ、及び読み出し回路６１Ｅを備える。
　光電変換素子６１Ａは、レンズ装置４０の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する。光電変換素子６１Ａは、フォトダイオード等で構成される。
　電荷転送部６１Ｃは、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送する。電荷転送部６１Ｃは、半導体基板内の不純物領域と、この不純物領域の上方に形成された電極とで構成される。
　電荷転送部６１Ｃを構成する電極に印加される電圧が駆動回路６３によって制御されることで、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われる。
　電荷保持部６１Ｂは、光電変換素子６１Ａから電荷転送部６１Ｃによって転送された電荷を保持する。電荷保持部６１Ｂは、半導体基板内の不純物領域により構成される。
　フローティングディフュージョン６１Ｄは、電荷を信号に変換するためのものであり、電荷保持部６１Ｂに保持された電荷が転送されてくる。
　読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位に応じた信号を画素信号として信号線６５に読み出す回路である。読み出し回路６１Ｅは、駆動回路６３によって駆動される。
　図５に示すように、Ｎ型基板７０表面にはＰウェル層７１が形成され、Ｐウェル層７１の表面部には光電変換素子６１Ａが形成されている。
　光電変換素子６１Ａは、Ｎ型不純物層７３とこの上に形成されたＰ型不純物層７４とによって構成されている。Ｎ型基板７０とＰウェル層７１によって半導体基板が構成される。
　Ｐウェル層７１の表面部には、光電変換素子６１Ａから少し離間して、Ｎ型不純物層からなる電荷保持部６１Ｂが形成されている。
　電荷保持部６１Ｂと光電変換素子６１Ａとの間のＰウェル層７１の領域７５の上方には、図示省略の酸化膜を介して、転送電極７６が形成されている。
　領域７５と転送電極７６とが電荷転送部６１Ｃを構成する。図４の例では、転送電極７６が電荷保持部６１Ｂの上方にまで形成されているが、転送電極７６は少なくとも領域７５上方に形成されていればよい。
　転送電極７６の電位を制御して領域７５にチャネルを形成することで、光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送することができる。転送電極７６の電位は駆動回路６３によって制御される。
　Ｐウェル層７１の表面部には、電荷保持部６１Ｂから少し離間して、Ｎ型不純物層からなるフローティングディフュージョン６１Ｄが形成されている。
　電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間のＰウェル層７１の上方には、図示省略の酸化膜を介して、読み出し電極７２が形成されている。
　読み出し電極７２の電位を制御して、電荷保持部６１Ｂとフローティングディフュージョン６１Ｄとの間の領域にチャネルを形成することで、電荷保持部６１Ｂに保持された電荷をフローティングディフュージョン６１Ｄに転送することができる。読み出し電極７２の電位は駆動回路６３によって制御される。
　図５に示す例では、読み出し回路６１Ｅは、フローティングディフュージョン６１Ｄの電位をリセットするためのリセットトランジスタ７７と、フローティングディフュージョン６１Ｄの電位を画素信号に変換して出力する出力トランジスタ７８と、出力トランジスタ７８から出力される画素信号を選択的に信号線６５に読み出すための選択トランジスタ７９とによって構成されている。読み出し回路の構成は一例であり、これに限るものではない。
　なお、読み出し回路６１Ｅは、複数の画素６１で共用される場合もある。
　図３に示す駆動回路６３は、各画素６１の転送電極７６、読み出し電極７２、及び読み出し回路６１Ｅを画素行６２毎に独立に駆動して、画素行６２に含まれる各光電変換素子６１Ａのリセット（光電変換素子６１Ａに蓄積されている電荷の排出）、この各光電変換素子６１Ａに蓄積された電荷に応じた画素信号の信号線６５への読み出し等を行う。
　また、駆動回路６３は、全ての画素６１の電荷転送部６１Ｃを同時に駆動して、各画素６１の光電変換素子６１Ａから電荷保持部６１Ｂに電荷を同時に転送する。駆動回路６３は、撮像素子駆動部１０によって制御される。
　光電変換素子６１Ａのリセットは、電荷転送部６１Ｃを電荷が転送可能な状態とし、かつ、読み出し電極７２下方の半導体基板にチャネルを形成した状態で、リセットトランジスタ７７によってフローティングディフュージョン６１Ｄをリセットすることで行われる。リセットトランジスタ７７のドレイン領域が電荷排出領域を構成する。
　このため、電荷保持部６１Ｂで保持される電荷に応じた画素信号の読み出しが完了した状態であれば、その電荷保持部６１Ｂに電荷を転送する光電変換素子６１Ａのリセットは可能である。
　図３に示す信号処理回路６４は、画素行６２の各画素６１から信号線６５に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５に出力する。信号処理回路６４は、撮像素子駆動部１０によって制御される。
　撮像素子５の撮像面６０に形成されている画素行６２の総数Ｍは、表示面２３に形成されている表示画素行２３Ｂの総数ｍよりも多い。
　デジタルカメラ１００では、撮像面６０に形成されたＭ個の画素行６２のうち列方向Ｙに向かって一定間隔を空けて並ぶｍ個の画素行６２が表示対象画素行として設定されている。以下、表示対象画素行として設定された画素行６２を、表示対象画素行６２とも言う。
　撮像面６０の上端から数えてｉ番目（ｉは１～ｍ）にある表示対象画素行６２には、表示面２３の上端から数えてｉ番目にある表示画素行２３Ｂが対応付けて管理されている。
　図６は、図１に示すデジタルカメラ１００の機能ブロック図である。
　デジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、を備える。
　システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ及び表示制御部１１Ｂとして機能する。
　撮像制御部１１Ａは、撮像素子駆動部１０を制御して、撮像素子５をグローバルリセット駆動、グローバルシャッタ駆動、ローリングリセット駆動、ローリングシャッタ駆動、第一のローリング読み出し駆動、及び第二のローリング読み出し駆動のそれぞれで駆動する。
　グローバルリセット駆動は、撮像素子５の撮像面６０に形成された各画素６１の光電変換素子６１Ａを同時にリセットして、この各画素６１の露光を同時に開始する駆動である。
　グローバルシャッタ駆動は、グローバルリセット駆動によって各画素６１で開始された露光によりこの各画素６１の光電変換素子６１Ａに蓄積された電荷を電荷保持部６１Ｂに転送して、各画素６１で同時に露光を終了する駆動である。
　ローリングリセット駆動は、表示対象画素行６２の光電変換素子６１Ａをリセットしてその光電変換素子６１Ａの露光を開始する処理を、表示対象画素行６２を変えながら順次行う駆動である。
　ローリングシャッタ駆動は、露光されている表示対象画素行６２の光電変換素子６１Ａからその表示対象画素行６２の電荷保持部６１Ｂに電荷を転送してその表示対象画素行６２の露光を終了する処理を、表示対象画素行６２を変えながら順次行う駆動である。
　第一のローリング読み出し駆動は、グローバルシャッタ駆動によって各電荷保持部６１Ｂに保持された電荷に応じた画素信号を、画素行６２毎に順次読み出す駆動である。
　第二のローリング読み出し駆動は、ローリングシャッタ駆動によって表示対象画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号の読み出しを、表示対象画素行６２を変えながら順次行う駆動である。
　撮像制御部１１Ａは、デジタルカメラ１００が撮像モードに設定されると、ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動のセットによってライブビュー画像表示用の撮像（以下、ＬＶ撮像という）を連続して行う。
　そして、撮像制御部１１Ａは、このセットの実行中に、静止画像データの記憶媒体２１への記憶のための記憶用の撮像を行う指示（以下、撮像指示という）を受けると、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動のセットによって記憶用の撮像を行い、その後、第一の撮像制御によってＬＶ用の撮像を行う。
　第一の撮像制御は、記憶用の撮像時のグローバルシャッタ駆動によって全ての画素６１の露光の終了と同時に開始された画素６１の露光を、記憶用の撮像時の第一のローリング読み出し駆動の終了後にローリングシャッタ駆動を行って表示対象画素行６２毎に順次終了し、このローリングシャッタ駆動によって表示対象画素行６２の電荷保持部６１Ｂに保持された電荷に応じた画素信号を、第二のローリング読み出し駆動を行って順次読み出す制御である。
　図１に示すデジタル信号処理部１７は、撮像制御部１１Ａが行う第一のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号を処理して撮像画像データを生成し、この撮像画像データを記憶媒体２１に記憶させる。
　また、デジタル信号処理部１７は、撮像制御部１１Ａが行う第二のローリング読み出し駆動によって撮像素子５の表示対象画素行６２から順次出力される画素信号群を処理することで、この表示対象画素行６２に対応する表示画素行２３Ｂに対応したラインデータを生成し、生成したラインデータを表示コントローラ２２に転送する。このラインデータの集合がライブビュー画像データを構成する。
　図６に示す表示制御部１１Ｂは、この第二のローリング読み出し駆動によって得られるライブビュー画像データに基づくライブビュー画像を、表示コントローラ２２を介して、表示面２３に表示させる制御を行う。
　具体的には、表示制御部１１Ｂは、表示コントローラ２２による描画更新処理の開始指示を行うための表示同期信号を生成して、この表示同期信号を表示コントローラ２２に供給する。
　表示コントローラ２２は、表示制御部１１Ｂから入力される表示同期信号が立下がると描画更新処理を開始する。
　すなわち、表示同期信号が立下がると、表示コントローラ２２は、表示画素行２３Ｂを表示面２３の上端から下端に向かって順次選択し、選択した表示画素行２３Ｂに対応するラインデータに基づくライン画像を、この選択した表示画素行２３Ｂに描画する。
　図７は、図１に示すデジタルカメラ１００の撮像モード時の動作を示すタイミングチャートである。
　図７において横軸は時間を示している。図７の上段には、表示制御部１１Ｂから表示コントローラ２２に供給される表示同期信号ＶＤが示されている。
　図７の中段には、撮像素子５の各画素行６２の光電変換素子６１Ａ及び電荷保持部６１Ｂの駆動タイミングが示されている。図７の中段において、縦軸は画素行６２の列方向Ｙの位置を示している。
　図７の中段に示す直線ＲＲは、ローリングリセット駆動によって画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。
　図７の中段に示す直線ＲＳは、ローリングシャッタ駆動によって画素行６２に含まれる各光電変換素子６１Ａの露光が終了されるタイミングを示している。
　直線ＲＲとこの右隣の直線ＲＳとで囲まれる期間が、ＬＶ撮像時における撮像素子５の露光期間（ＬＶ１，ＬＶ２，ＬＶ４）を示している。
　図７の中段に示す直線ＧＲは、グローバルリセット駆動によって画素行６２に含まれる各光電変換素子６１Ａのリセットが行われるタイミングを示している。
　図７の中段に示す直線ＧＳは、グローバルシャッタ駆動によって画素行６２に含まれる各光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送されるタイミングを示している。
　直線ＧＲと直線ＧＳとで囲まれる期間が記憶用の撮像時における撮像素子５の露光期間ＥＸを示している。
　図７の中段に示す直線ＳＴは、電荷保持部６１Ｂに電荷が保持されるタイミングを示している。
　図７の中段に示す直線ＲＯ１は、電荷保持部６１Ｂに保持された電荷に応じた画素信号が第一のローリング読み出し駆動によって撮像素子５から出力されるタイミングを示している。
　図７の中段に示す直線ＲＯ２は、電荷保持部６１Ｂに保持された電荷に応じた画素信号が第二のローリング読み出し駆動によって撮像素子５から出力されるタイミングを示している。
　図７の下段には、表示面２３の描画状態が示されている。図７の下段において、縦軸は表示面２３の表示画素行２３Ｂの列方向Ｙの位置を示している。
　図７の下段に示す直線ＤＲは、表示面２３の表示画素行２３Ｂに描画が行われるタイミングを示している。
　撮像制御部１１Ａは、撮像モードに設定されると、直線ＲＲで示されるローリングリセット駆動、直線ＲＳで示されるローリングシャッタ駆動、及び直線ＲＯ２で示される第二のローリング読み出し駆動のセットを予め決められた間隔で繰り返し実行する。
　このセットの直線ＲＯ２で示される駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
　図７に示す“ｌｖ１”は、露光期間ＬＶ１で得られるライブビュー画像が表示される期間を示している。
　図７に示す“ｌｖ２”は、露光期間ＬＶ２で得られるライブビュー画像が表示される期間を示している。
　図７に示す“ｌｖ４”は、露光期間ＬＶ４で得られるライブビュー画像が表示される期間を示している。
　ＬＶ撮像のための上記のセットが行われている間に撮像指示がなされると、撮像制御部１１Ａは、撮像指示を受けた時点で実行中の上記のセットを終了した後に、直線ＧＲで示されるグローバルリセット駆動を行い、全ての画素行６２において同時に光電変換素子６１Ａのリセットを行う。これにより、全ての画素行６２で同じタイミングで露光が開始する。
　その後、所定の露光時間が経過すると、撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行う。
　この駆動により、全ての画素行６２において同時に、光電変換素子６１Ａから電荷保持部６１Ｂへの電荷の転送が行われ、直線ＳＴで示されるように電荷保持部６１Ｂにて電荷が保持される。これにより、全ての画素行６２で同じタイミングで露光が終了する。図７では、直線ＧＲと直線ＧＳとで囲まれる期間が記憶用の撮像のための露光期間ＥＸとして示されている。
　また、このグローバルシャッタ駆動が行われると、各光電変換素子６１Ａにおいて露光期間ＥＸによって発生した電荷は電荷保持部６１Ｂへと転送される。このため、このグローバルシャッタ駆動が行われるのと同時に、全ての光電変換素子６１ＡのＬＶ撮像用の露光が同時に開始される。
　撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行った後、直線ＲＯ１で示される第一のローリング読み出し駆動を行う。
　この第一のローリング読み出し駆動では、撮像制御部１１Ａは、撮像面６０の上端から下端に向かって画素行６２を順番に選択し、選択した画素行６２から画素信号を読み出す。
　この第一ローリング読み出し駆動で撮像素子５から出力された撮像画像信号は、デジタル信号処理部１７によって処理されて撮像画像データとなり、記憶媒体２１に記憶される。
　直線ＲＯ１による画素信号の読み出しが終了すると、撮像制御部１１Ａは、直線ＲＳで示されるローリングリセット駆動を開始する。このローリングリセット駆動により、撮像面６０の上端から下端に向かって表示対象画素行６２が順番に選択され、選択された表示対象画素行６２の光電変換素子６１Ａから電荷保持部６１Ｂに電荷が転送される。
　これにより、グローバルシャッタ駆動の行われた時点で開始されたＬＶ撮像のための露光が表示対象画素行６２毎に順次終了される。図７では、直線ＧＳとその右隣の直線ＲＳとで囲まれる期間がＬＶ撮像のための露光期間ＬＶ３として示されている。
　露光期間ＬＶ３を終了するためのローリングリセット駆動の開始タイミングは、直線ＲＯ１で示される第一のローリング読み出し駆動の終了後に最初に訪れる表示同期信号ＶＤの立下りタイミングに同期したタイミングとなっている。
　第一のタイミングに同期した第二のタイミングとは、第一のタイミングよりも予め決められた時間前のタイミングのことを言う。
　この予め決められた時間は、ローリングシャッタ駆動が開始されてからデジタル信号処理部１７によって最初に生成されたラインデータが表示コントローラ２２の表示メモリに記憶されるまでにかかる時間であり、各種プロセッサの処理能力及びデータの伝送時間等によって決められる。
　撮像制御部１１Ａは、露光期間ＬＶ３を終了するためのローリングリセット駆動を開始して少しすると、直線ＲＯ２で示される第二のローリング読み出し駆動を開始する。
　この第二のローリング読み出し駆動により、撮像面６０において表示対象画素行６２が上端側から下端側に向かって順番に選択され、選択された表示対象画素行６２の電荷保持部６１Ｂから画素信号が読み出される。
　この第二のローリング読み出し駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
　図７に示す“ｌｖ３”は、露光期間ＬＶ３で得られるライブビュー画像が表示される期間を示している。
　露光期間ＬＶ３を終了させるためのローリングシャッタ駆動と、このローリングシャッタ駆動によって電荷保持部６１Ｂに転送された電荷を画素信号に変換して読み出す第二のローリング読み出し駆動とにより第一の撮像制御が構成される。
　なお、図７の例では、露光期間ＥＸにおいて表示同期信号ＶＤが立ち下がっているが、このタイミングでは新たなライブビュー画像データの生成が行われていない。
　そのため、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画するライン画像を黒画像とする。これにより、表示面２３は、期間ｌｖ２と期間ｌｖ３の間はブラックアウトの状態となる。
　なお、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画されるライン画像の更新を行わず、期間ｌｖ２で表示させていたライン画像を維持する制御を行ってもよい。
　第一の撮像制御の第二のローリング読み出し駆動が開始されてから少し経過すると、撮像制御部１１Ａは、ＬＶ撮像のための上記のセットを再開する。
　以上のように、図１のデジタルカメラ１００によれば、記憶用の撮像のための露光期間ＥＸの終了と同時に、ＬＶ撮像のための露光期間ＬＶ３を開始することができる。
　このため、露光期間ＥＸの後にライブビュー画像が更新されるまでの時間（図中のブラックアウトの時間）を短縮することができ、被写体を見失うリスクを低減することができる。
　なお、図７に示すように、露光期間ＬＶ３における各画素行６２の露光時間は、撮像面６０において上端に近いものほど短くなる。
　そこで、デジタルカメラ１００のデジタル信号処理部１７は、第一の撮像制御の第二のローリング読み出し駆動によって得られる画素信号から生成した各ラインデータを、表示対象画素行６２毎の露光期間の差による輝度差がなくなるように補正する。
　具体的には、デジタル信号処理部１７は、以下の式で算出されるゲイン（Ｇａｉｎ（ｉ））を、撮像面６０の上端から数えてｉ番目にある表示対象画素行６２に対応するラインデータの各画素データに乗じることで、上記の補正を行う。
　Ｇａｉｎ（ｉ）＝［（ＥＸＰ１－ＥＸＰ０）×｛（ｍ－ｉ）／ｍ｝］／ＥＸＰ０＋１
　上記の式において、“ＥＸＰ０”は、撮像面６０の最も上端側にある表示対象画素行６２の露光期間ＬＶ３における露光時間を示す。“ＥＸＰ１”は、撮像面６０の最も下端側にある表示対象画素行６２の露光期間ＬＶ３における露光時間を示す。“ｍ”は、表示対象画素行６２の総数を示す。
　ここでは、撮像面６０の上端から数えてｍ番目にある表示対象画素行６２に対応するラインデータの輝度を基準にして、他のラインデータの輝度をこの基準に合わせるようにしている。
　しかし、補正の方法はこれに限定されず、例えば、撮像面６０の上端から数えて１番目にある表示対象画素行６２に対応するラインデータの輝度を基準にして、他のラインデータの輝度をこの基準に合わせてもよい。
　次に、撮像制御部１１Ａが、撮像指示に応じた記憶用の撮像の後に行う撮像制御として上述した第一の撮像制御に加えて、第二の撮像制御を行う例を説明する。
　第二の撮像制御は、記憶用の撮像に続けて上記のセット（ローリングリセット駆動、ローリングシャッタ駆動、及び第二のローリング読み出し駆動のセット）を行うものである。
　図８は、図１に示すデジタルカメラ１００の撮像モード時の動作の変形例を示すタイミングチャートである。図８に示す各符号及び表記は図７と同じである。
　撮像制御部１１Ａは、撮像モードに設定されると、直線ＲＲで示されるローリングリセット駆動、直線ＲＳで示されるローリングシャッタ駆動、及び直線ＲＯ２で示される第二のローリング読み出し駆動のセットを予め決められた間隔で繰り返し実行する。このセットが行われるときの動作は図７と同様である。
　ＬＶ撮像のための上記のセットが行われている間に撮像指示がなされると、撮像制御部１１Ａは、撮像指示を受けた時点で実行中の上記のセットを終了した後に、直線ＧＲで示されるグローバルリセット駆動を行う。その後、所定の露光時間が経過すると、撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行う。
　撮像制御部１１Ａは、直線ＧＳで示されるグローバルシャッタ駆動を行った後、直線ＲＯ１で示される第一のローリング読み出し駆動を行う。
　この第一のローリング読み出し駆動で撮像素子５から出力された撮像画像信号は、デジタル信号処理部１７によって処理されて撮像画像データとなり、記憶媒体２１に記憶される。
　直線ＲＯ１による画素信号の読み出しが終了すると、撮像制御部１１Ａは、直線ＲＲで示されるローリングリセット駆動を開始し、その後、ローリングシャッタ駆動を行ってＬＶ撮像の露光期間ＬＶ３を終了する。
　露光期間ＬＶ３を終了するためのローリングシャッタ駆動の開始タイミングは、直線ＲＯ１で示される第一のローリング読み出し駆動の終了後の２回目に訪れる表示同期信号ＶＤの立下りタイミングに同期したタイミングとなっている。
　撮像制御部１１Ａは、第二の撮像制御の直線ＲＳで示されるローリングシャッタ駆動を開始した後、第二のローリング読み出し駆動を行って、露光期間ＬＶ３で露光された表示対象画素行６２から画素信号を読み出す。
　この第二のローリング読み出し駆動によって表示対象画素行６２から画素信号が出力されると、この画素信号に基づいてラインデータが生成され、このラインデータに基づくライン画像が、この表示対象画素行６２に対応する表示画素行２３Ｂに描画される。
　グローバルシャッタ駆動の後に初めて行われるローリングリセット駆動と、その後に行われるローリングシャッタ駆動及び第二のローリング読み出し駆動とによって第二の撮像制御が構成される。
　なお、図８の例では、露光期間ＬＶ３の開始前に表示同期信号ＶＤが立ち下がっているが、このタイミングでは新たなライブビュー画像データの生成が行われていない。
　そのため、表示コントローラ２２は、このタイミングにおいて表示面２３の各表示画素行２３Ｂに描画するライン画像を黒画像とする。これにより、表示面２３は、期間ｌｖ２と期間ｌｖ３の間は２フレーム分、ブラックアウトの状態となる。
　図８に示す第二の撮像制御によれば、期間ｌｖ２と期間ｌｖ３の間のブラックアウトの時間が第一の撮像制御を行う場合より長くなるものの、記憶用の撮像の直後のＬＶ撮像用の露光（露光期間ＬＶ３）を、撮像素子５の画素６１から出力される画素信号が飽和しないような適正露出で実施することができ、ライブビュー画像の高品質化が期待できるといった利点を得られる。
　したがって、記憶用の撮像時の撮像条件等に合わせて第一の撮像制御と第二の撮像制御を選択的に行うことで、被写体を見失うリスクの低減と、ライブビュー画像の品質向上とを両立させることができる。
　図９は、図１に示すデジタルカメラ１００の撮像制御部１１Ａの動作を説明するためのフローチャートである。
　撮像指示を受けた撮像制御部１１Ａは、記憶用の撮像のためのグローバルシャッタ駆動の開始タイミング及びその後の第一の撮像制御を行う場合のローリングシャッタ駆動の開始タイミングの間の時間（図７に示す露光時間Ｔ１）と、記憶用の撮像を行う場合のグローバルリセット駆動時に設定される絞りのＦ値（以下、撮像時Ｆ値という）とに基づいて、第一の撮像制御を行う場合のＬＶ撮像時の露出値ｅｘを算出する（ステップＳ１）。
　図７において、撮像指示のタイミングが決まると、直線ＧＲのタイミング、直線ＧＳのタイミング、その直線ＧＳの右隣の直線ＲＳのタイミングがそれぞれ決まるため、露光時間Ｔ１を求めることができる。
　次に、撮像制御部１１Ａは、ステップＳ１で求めた露出値ｅｘに基づいて、第一の撮像制御と第二の撮像制御のいずれかを選択して実行する。
　具体的には、撮像制御部１１Ａは、露出値ｅｘが予め決められた露出閾値ＴＨ（第一の露出閾値）以上となるか否かを判定する（ステップＳ２）。
　露出閾値ＴＨは、撮像素子５の画素６１から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
　そして、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ未満となる場合（ステップＳ２：ＮＯ）には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後に、第一の撮像制御を行う（ステップＳ３）。
　一方、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ以上となる場合（ステップＳ２：ＹＥＳ）には、図８に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後に、第二の撮像制御を行う（ステップＳ４）。
　撮像制御部１１Ａは、ステップＳ４で第二の撮像制御を行う際には、露光期間ＥＸを終了してからローリングリセット駆動を開始するまでの間において、ＬＶ撮像が適正露出で行われるように絞りのＦ値及びＬＶ撮像時の露光時間等を制御した上で、第二の撮像制御を開始する。したがって、図８の期間ｌｖ３で表示されるライブビュー画像は適正露出で撮像して得られたものとなる。
　以上のように、図１のデジタルカメラ１００によれば、撮像指示時に決定されている撮像時Ｆ値で第一の撮像制御を行った結果、ＬＶ撮像時における露出がオーバーとなってライブビュー画像の品質が低下する可能性があると判断される場合には、第二の撮像制御が行われる。このため、記憶用の撮像直後に表示されるライブビュー画像の表示品質低下を防ぐことができる。
　図１０は、図１に示すデジタルカメラ１００の機能ブロックの変形例を示す図である。図１０において図６と同じ構成には同一符号を付してある。
　図１０に示すデジタルカメラ１００のハードウェア構成は、図１において、撮像素子５の複数の画素６１が位相差検出用画素と通常画素を含む点のみが異なる。
　位相差検出用画素は、撮像光学系の瞳領域を行方向Ｘ又は列方向Ｙに２分割した場合の２つの分割領域の一方を通る光を受光する第一の位相差検出用画素と、この２つの分割領域の他方を通る光を受光する第二の位相差検出用画素とを含む。
　通常画素は、上記２つの分割領域のそれぞれを通る光を受光する画素である。
　図１０に示すデジタルカメラ１００の撮像素子５は、撮像面６０にあるｍ個の表示対象画素行６２を構成する画素６１の一部が、第一の位相差検出用画素と第二の位相差検出用画素になっている。
　撮像素子５の撮像面６０には、第一の位相差検出用画素と第二の位相差検出用画素のペアが複数離散的に配置される。
　なお、撮像素子５に含まれる全ての画素６１の光電変換素子６１Ａが例えば行方向Ｘに２分割され、この分割された光電変換素子６１Ａの一方の領域と他方の領域によって、上記の撮像光学系の２つの分割領域のそれぞれを通る光が受光される構成であってもよい。この構成の場合には、撮像素子５に含まれる全ての画素６１が位相差検出用画素となる。
　デジタルカメラ１００は、機能ブロックとして、撮像制御部１１Ａと、表示制御部１１Ｂと、合焦制御部１１Ｃと、を備える。
　システム制御部１１は、撮像プログラムを含むプログラムを実行することで、撮像制御部１１Ａ、表示制御部１１Ｂ、及び合焦制御部１１Ｃとして機能する。
　合焦制御部１１Ｃは、撮像制御部１１Ａが行う第二のローリング読み出し駆動によって撮像素子５の位相差検出用画素から出力される画素信号に基づいて、撮像光学系の合焦制御を行う。
　具体的には、合焦制御部１１Ｃは、複数の第一の位相差検出用画素から出力される画素信号群と、この複数の第一の位相差検出用画素の各々とペアを組む第二の位相差検出用画素から出力される画素信号群との相関演算を行って位相差を算出し、この位相差に基づくデフォーカス量にしたがってフォーカスレンズの焦点調節を行う。
　図１１は、図１０に示すデジタルカメラの撮像指示後の動作を説明するためのフローチャートである。
　撮像指示を受けた撮像制御部１１Ａは、グローバルリセット駆動時に設定する絞りのＦ値（撮像時Ｆ値）が予め決められた絞り閾値Ｆ１以下であるか否かを判定する（ステップＳ１１）。
　複数の第一の位相差検出用画素で撮像される像と、複数の第二の位相差検出用画素で撮像される像との位相の差は、Ｆ値が小さいほど大きくなるため、Ｆ値が小さいほど位相差の算出精度が確保される。絞り閾値Ｆ１は、位相差の算出精度を最低限確保することのできるＦ値の開放側の値が設定される。
　撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１を超える場合（ステップＳ１１：ＮＯ）には、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動によって記憶用の撮像を行い、このグローバルシャッタ駆動の開始以降に絞りのＦ値を絞り閾値Ｆ１以下に制御する。そして、この第一のローリング読み出し駆動が終了した後に、第二の撮像制御を行う（ステップＳ１４）。
　この第二の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ１５）。
　一方、撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下の場合（ステップＳ１１：ＹＥＳ）には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動を行った後に、第一の撮像制御を行う（ステップＳ１２）。
　そして、この第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ１３）。ステップＳ１３及びステップＳ１４以降は、上述したセットが再開される。
　以上のように、図１０に示すデジタルカメラ１００によれば、撮像時Ｆ値が位相差算出に適したものとなっている場合には第一の撮像制御によってライブビュー画像の高速表示が行われると共に、この第一の撮像制御によって得られる撮像画像信号に基づいて高速合焦制御が可能になる。
　このため、例えば記憶用の撮像を連続して行う連写モードにおいては、被写体を見失うリスクを低減しながら、被写体にピントを高精度に合わせた連続撮像が可能になる。
　また、図１０に示すデジタルカメラ１００によれば、撮像時Ｆ値が位相差算出に適したものとなっていない場合には、Ｆ値が絞り閾値Ｆ１以下に制御された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて合焦制御がなされる。
　このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。
　図１２は、図１０に示すデジタルカメラの撮像指示後の動作の変形例を説明するためのフローチャートである。
　撮像指示を受けた撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下であるか否かを判定する（ステップＳ２１）。
　撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１を超える場合（ステップＳ２１：ＮＯ）には、記憶用の撮像のためのグローバルリセット駆動及びグローバルシャッタ駆動を行った後に、絞りのＦ値を絞り閾値Ｆ１以下に制御し、第一のローリング読み出し駆動が終了した後に第二の撮像制御を行う（ステップＳ２３）。
　そして、この第二の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ２４）。
　撮像制御部１１Ａは、撮像時Ｆ値が絞り閾値Ｆ１以下である場合（ステップＳ２１：ＹＥＳ）には、記憶用の撮像のためのグローバルシャッタ駆動の開始タイミング及びその後の第一の撮像制御を行う場合のローリングシャッタ駆動の開始タイミングの間の時間（図７に示す露光時間Ｔ１）と、撮像時Ｆ値とに基づいて、第一の撮像制御を行う場合のＬＶ撮像時の露出値ｅｘを算出する（ステップＳ２２）。
　次に、撮像制御部１１Ａは、露出値ｅｘが予め決められた露出閾値ＴＨ１（第一の露出閾値）以上となるか否かを判定する（ステップＳ２５）。
　露出閾値ＴＨ１は、撮像素子５の位相差検出用画素から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
　位相差検出用画素は、通常画素に比べると、光電変換素子６１Ａの受光面積が小さくなっているため、画素信号が飽和しにくい。したがって、位相差検出用画素が飽和する露出条件では、通常画素も飽和する。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ１以上となる場合（ステップＳ２５：ＹＥＳ）、すなわち、通常画素と位相差検出用画素が共に飽和する場合には、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、ＬＶ撮像のための露光時間を適正露出が得られる値に制御した状態で、図８に示した第二の撮像制御を行う（ステップＳ２６）。
　ステップＳ２６の後は、ステップＳ２４において、ステップＳ２６の第二の撮像制御によって得られる撮像画像信号に基づいて合焦制御が行われる。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ１未満となる場合（ステップＳ２５：ＮＯ）、すなわち、少なくとも位相差検出用画素が飽和しない場合には、露出値ｅｘが予め決められた露出閾値ＴＨ２（第二の露出閾値）以上となるか否かを判定する（ステップＳ２７）。
　露出閾値ＴＨ２は、撮像素子５の通常画素から読み出される画素信号が飽和レベルに達してしまう露出値の下限値が設定される。
　上述したように、通常画素は、位相差検出用画素よりも飽和しやすい。したがって、露出閾値ＴＨ２は露出閾値ＴＨ１よりも小さい値となる。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上となる場合（ステップＳ２７：ＹＥＳ）、すなわち、通常画素は飽和するが位相差検出用画素は飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ２８）。
　そして、ステップＳ２８で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ２９）。
　また、表示制御部１１Ｂは、ステップＳ２８の第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３への表示を停止する制御を行う（ステップＳ３０）。
　図１３は、図１２のステップＳ２７の判定がＹＥＳとなる場合のタイミングチャートの例を示している。
　このタイミングチャートでは、撮像指示の後、表示制御部１１Ｂによって生成される表示同期信号ＶＤの周期が一時的に２倍に変更されている。これにより、第一の撮像制御の第二のローリング読み出し駆動によって生成されるライブビュー画像は表示面２３に表示されなくなる。
　なお、図１３の“合焦制御”のブロックは、図１２のステップＳ２９の処理が行われる期間を示している。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２未満となる場合（ステップＳ２７：ＮＯ）、すなわち、通常画素と位相差検出用画素がともに飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ３１）。
　そして、ステップＳ３１で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ３２）。
　ステップＳ２４、ステップＳ３０、及びステップＳ３２の後は、上述したＬＶ撮像のためのセットが開始される。
　以上のように、図１２に示す動作例によれば、撮像時Ｆ値が位相差算出に適したものとなっていない場合（ステップＳ２１：ＮＯ）には、Ｆ値が絞り閾値Ｆ１以下に制御された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて位相差が算出される。このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。
　また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しているが、位相差検出用画素と通常画素がいずれも飽和する可能性がある場合（ステップＳ２５：ＹＥＳ）には、適正露出が確保された状態で第二の撮像制御が行われ、この第二の撮像制御によって得られる撮像画像信号に基づいて位相差が算出される。
　このため、位相差が誤算出される可能性を減らすことができ、合焦性能を向上させることができる。また、位相差検出用画素と通常画素が飽和した状態でのＬＶ撮像で得たライブビュー画像が表示されるのを防いで、表示品質を向上させることができる。
　また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しており、少なくとも位相差検出用画素が飽和しないと判断される場合（ステップＳ２５：ＮＯ）には、第一の撮像制御が行われ、この第一の撮像制御によって得られる撮像画像信号に基づいて合焦制御がなされる。このため、合焦速度を向上させることができる。
　また、図１２に示す動作例によれば、撮像時Ｆ値は位相差算出に適しており、かつ、通常画素は飽和してしまうが位相差検出用画素は飽和しないと判断される場合（ステップＳ２７：ＹＥＳ）には、第一の撮像制御が行われ、この第一の撮像制御によるライブビュー画像の表示が停止される。このため、ライブビュー画像の品質低下を防ぐことができる。
　図１４は、図１０に示すデジタルカメラ１００の撮像指示後の動作の別の変形例を説明するためのフローチャートである。
　撮像指示を受けた撮像制御部１１Ａは、図９のステップＳ１と同様に露出値ｅｘを算出する（ステップＳ４１）。
　次に、撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上かつ露出閾値ＴＨ１未満となるか否かを判定する（ステップＳ４２）。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２以上かつ露出閾値ＴＨ１未満となる場合（ステップＳ４２：ＹＥＳ）、すなわち、通常画素は飽和するが位相差検出用画素は飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ４３）。
　そして、ステップＳ４３で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ４４）。
　また、表示制御部１１Ｂは、ステップＳ４３で開始される第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３への表示を停止する制御を行う（ステップＳ４５）。
　撮像制御部１１Ａは、露出値ｅｘが露出閾値ＴＨ２未満となる場合（ステップＳ４２：ＮＯ）、すなわち、通常画素と位相差検出用画素がいずれも飽和しない場合には、図７に示すように、グローバルリセット駆動、グローバルシャッタ駆動、及び第一のローリング読み出し駆動による記憶用の撮像を行った後、第一の撮像制御を行う（ステップＳ４６）。
　ステップＳ４６で開始される第一の撮像制御の第二のローリング読み出し駆動によって撮像素子５から出力される撮像画像信号に基づくライブビュー画像については、表示面２３に表示される。
　ステップＳ４６で開始される第一の撮像制御の第二のローリング読み出し駆動が終了すると、合焦制御部１１Ｃは、この第二のローリング読み出し駆動によって位相差検出用画素から読み出された画素信号に基づいて合焦制御を行う（ステップＳ４７）。
　ステップＳ４５及びステップＳ４７の後は、上述したＬＶ撮像のためのセットが開始される。
　以上のように、図１４に示す動作例によれば、通常画素は飽和してしまうが位相差検出用画素は飽和しないと判断される場合には、第一の撮像制御が行われて合焦速度が確保され、この第一の撮像制御によるライブビュー画像の更新は停止される。このため、合焦速度とライブビュー画像の品質向上とを両立させることができる。
　次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
　図１５は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。
　図１５に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
　また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
　図１６は、図１５に示すスマートフォン２００の構成を示すブロック図である。
　図１６に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
　また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
　さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
　また、図１５に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図１５に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
　なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
　外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
　また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
　画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
　なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
　さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
　ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図１に示したデジタルカメラ１００又はその変形例における外部メモリ制御部２０、記憶媒体２１、表示コントローラ２２、表示面２３、及び操作部１４以外の構成を含む。また、カメラ部２０８に含まれる表示制御部１１Ｂは、表示パネル２０２にライブビュー画像を表示させる制御を行う。
　カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
　図１５に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、被写体を見失うリスクを低減することができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子と、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像装置。
（２）
　（１）記載の撮像装置であって、上記撮像制御部は、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動を行い、上記ローリングリセット駆動の開始後に、上記ローリングシャッタ駆動を開始してその露光を順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、上記第一の撮像制御とのいずれかを選択的に行う撮像装置。
（３）
　（２）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部を更に備え、上記撮像制御部は、上記グローバルリセット駆動時の上記絞りのＦ値が予め決められた絞り閾値以下である場合には上記第一の撮像制御を行い、上記Ｆ値が上記絞り閾値を超えている場合には、上記グローバルシャッタ駆動の後に上記絞りのＦ値を上記絞り閾値以下に制御した状態で上記第二の撮像制御を行う撮像装置。
（４）
　（２）記載の撮像装置であって、上記撮像制御部は、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時に設定される上記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記露出値に基づいて、上記第一の撮像制御と上記第二の撮像制御のいずれかを選択して実行する撮像装置。
（５）
　（４）記載の撮像装置であって、上記撮像制御部は、上記露出値が予め決められた第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記露出値が上記第一の露出閾値以上となる場合には上記第二の撮像制御を行う撮像装置。
（６）
　（４）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、上記撮像制御部は、上記露出値が第一の露出閾値以上となる場合には上記第二の撮像制御を行い、上記露出値が上記第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記表示制御部は、上記露出値が上記第一の露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像装置。
（７）
　（１）記載の撮像装置であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部と、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、上記撮像制御部は、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時の上記絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記表示制御部は、上記露出値が予め決められた第一露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像装置。
（８）
　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、上記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像方法。
（９）
　（８）記載の撮像方法であって、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、上記画素行の上記光電変換素子の電荷を上記電荷排出領域に排出してその光電変換素子の露光を開始する処理を上記画素行を変えながら順次行うローリングリセット駆動を行い、上記ローリングリセット駆動の開始後に、上記ローリングシャッタ駆動を開始してその露光を順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、上記第一の撮像制御とのいずれかを選択的に行う撮像方法。
（１０）
　（９）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップを更に備え、上記撮像制御ステップでは、上記グローバルリセット駆動時の上記絞りのＦ値が予め決められた絞り閾値以下である場合には上記第一の撮像制御を行い、上記Ｆ値が上記絞り閾値を超えている場合には、上記グローバルシャッタ駆動の後に上記絞りのＦ値を上記絞り閾値以下に制御した状態で上記第二の撮像制御を行う撮像方法。
（１１）
　（９）記載の撮像方法であって、上記撮像制御ステップでは、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時に設定される上記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記露出値に基づいて、上記第一の撮像制御と上記第二の撮像制御のいずれかを選択して実行する撮像方法。
（１２）
　（１１）記載の撮像方法であって、上記撮像制御ステップでは、上記露出値が予め決められた第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記露出値が上記第一の露出閾値以上となる場合には上記第二の撮像制御を行う撮像方法。
（１３）
　（１１）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、上記撮像制御ステップでは、上記露出値が第一の露出閾値以上となる場合には上記第二の撮像制御を行い、上記露出値が上記第一の露出閾値未満となる場合には上記第一の撮像制御を行い、上記表示制御ステップでは、上記露出値が上記第一の露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像方法。
（１４）
　（８）記載の撮像方法であって、上記複数の画素は、位相差検出用画素を含み、上記第二のローリング読み出し駆動によって上記位相差検出用画素から出力される信号に基づいて、上記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップと、上記第二のローリング読み出し駆動によって上記撮像素子の上記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、上記撮像制御ステップでは、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動の開始タイミング及び上記ローリングシャッタ駆動の開始タイミングの間の時間と上記グローバルリセット駆動時の上記絞りのＦ値とに基づいて、上記第一の撮像制御を行う場合の上記グローバルシャッタ駆動により開始される上記露光時の上記撮像素子の露出値を算出し、上記表示制御ステップでは、上記露出値が予め決められた第一露出閾値未満となりかつ上記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、上記第一の撮像制御における上記第二のローリング読み出し駆動によって上記撮像素子から出力される信号に基づく上記ライブビュー画像の上記表示装置への表示を停止する撮像方法。
（１５）
　光電変換素子と、上記光電変換素子から転送される電荷を保持し上記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の上記画素からなる複数の画素行を備え、上記光電変換素子及び上記電荷保持部の電荷が上記読み出し回路の電荷排出領域に排出されることで上記光電変換素子及び上記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、上記撮像方法は、記複数の画素の各々の上記光電変換素子を同時にリセットして上記複数の画素の露光を開始するグローバルリセット駆動と、上記露光によって上記複数の画素の各々の上記光電変換素子に蓄積された電荷を上記電荷保持部に同時に転送して上記露光を終了するグローバルシャッタ駆動と、上記グローバルシャッタ駆動によって上記電荷保持部に保持された上記電荷に応じた信号を上記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された上記画素行の上記光電変換素子に蓄積された電荷を上記電荷保持部に転送して上記画素行の上記露光を終了する処理を上記画素行を変えながら順次行うローリングシャッタ駆動と、上記ローリングシャッタ駆動によって上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、上記撮像制御ステップでは、上記グローバルリセット駆動、上記グローバルシャッタ駆動、及び上記第一のローリング読み出し駆動を順次行った後、そのグローバルシャッタ駆動によって開始された上記画素の露光を上記ローリングシャッタ駆動を行って上記画素行毎に順次終了させ、その露光が終了された上記画素行の上記電荷保持部に保持された上記電荷に応じた信号を上記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像プログラム。
　本発明によれば、記憶用の撮像が行われた後のライブビュー画像の表示の更新を高速化して被写体を見失うリスクを低減することができる。
　以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
　本出願は、２０１７年３月２４日出願の日本特許出願（特願２０１７－０５９６７８）に基づくものであり、その内容はここに取り込まれる。
１００　デジタルカメラ
１　撮像レンズ
２　絞り
４　レンズ制御部
５　撮像素子
６０　撮像面
６１　画素
６１Ａ　光電変換素子
６１Ｂ　電荷保持部
６１Ｃ　電荷転送部
６１Ｄ　フローティングディフュージョン
６１Ｅ　読み出し回路
６２　画素行
６３　駆動回路
６４　信号処理回路
６５　信号線
７０　Ｎ型基板
７１　Ｐウェル層
７２　読み出し電極
７３　Ｎ型不純物層
７４　Ｐ型不純物層
７５　領域
７６　転送電極
７７　リセットトランジスタ
７８　出力トランジスタ
７９　選択トランジスタ
８　レンズ駆動部
９　絞り駆動部
１０　撮像素子駆動部
１１　システム制御部
１１Ａ　撮像制御部
１１Ｂ　表示制御部
１１Ｃ　合焦制御部
１４　操作部
１５　メモリ制御部
１６　メインメモリ
１７　デジタル信号処理部
２０　外部メモリ制御部
２１　記憶媒体
２２　表示コントローラ
２３　表示面
２３Ａ　表示画素
２３Ｂ　表示画素行
２４　制御バス
２５　データバス
４０　レンズ装置
ＧＳ，ＧＲ，ＲＳ，ＲＲ，ＲＯ１，ＲＯ２，ＳＴ，ＤＲ　直線
２００　スマートフォン
２０１　筐体
２０２　表示パネル
２０３　操作パネル
２０４　表示入力部
２０５　スピーカ
２０６　マイクロホン
２０７　操作部
２０８　カメラ部
２１０　無線通信部
２１１　通話部
２１２　記憶部
２１３　外部入出力部
２１４　ＧＰＳ受信部
２１５　モーションセンサ部
２１６　電源部
２１７　内部記憶部
２１８　外部記憶部
２２０　主制御部
ＳＴ１～ＳＴｎ　ＧＰＳ衛星

Claims (15)

  1. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子と、
    　前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御部を備え、
    　前記撮像制御部は、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記撮像制御部は、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動を行い、前記ローリングリセット駆動の開始後に、前記ローリングシャッタ駆動を開始して当該露光を順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、前記第一の撮像制御とのいずれかを選択的に行う撮像装置。
  3. 　請求項２記載の撮像装置であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部を更に備え、
    　前記撮像制御部は、前記グローバルリセット駆動時の前記絞りのＦ値が予め決められた絞り閾値以下である場合には前記第一の撮像制御を行い、前記Ｆ値が前記絞り閾値を超えている場合には、前記グローバルシャッタ駆動の後に前記絞りのＦ値を前記絞り閾値以下に制御した状態で前記第二の撮像制御を行う撮像装置。
  4. 　請求項２記載の撮像装置であって、
    　前記撮像制御部は、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時に設定される前記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、前記露出値に基づいて、前記第一の撮像制御と前記第二の撮像制御のいずれかを選択して実行する撮像装置。
  5. 　請求項４記載の撮像装置であって、
    　前記撮像制御部は、前記露出値が予め決められた第一の露出閾値未満となる場合には前記第一の撮像制御を行い、前記露出値が前記第一の露出閾値以上となる場合には前記第二の撮像制御を行う撮像装置。
  6. 　請求項４記載の撮像装置であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御部と、
    　前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、
    　前記撮像制御部は、前記露出値が第一の露出閾値以上となる場合には前記第二の撮像制御を行い、前記露出値が前記第一の露出閾値未満となる場合には前記第一の撮像制御を行い、
    　前記表示制御部は、前記露出値が前記第一の露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像装置。
  7. 　請求項１記載の撮像装置であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御部と、
    　前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御部と、を更に備え、
    　前記撮像制御部は、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時の前記絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、
    　前記表示制御部は、前記露出値が予め決められた第一露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像装置。
  8. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法であって、
    　前記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、
    　前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像方法。
  9. 　請求項８記載の撮像方法であって、
    　前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、前記画素行の前記光電変換素子の電荷を前記電荷排出領域に排出して当該光電変換素子の露光を開始する処理を前記画素行を変えながら順次行うローリングリセット駆動を行い、前記ローリングリセット駆動の開始後に、前記ローリングシャッタ駆動を開始して当該露光を順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第二の撮像制御と、前記第一の撮像制御とのいずれかを選択的に行う撮像方法。
  10. 　請求項９記載の撮像方法であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップを更に備え、
    　前記撮像制御ステップでは、前記グローバルリセット駆動時の前記絞りのＦ値が予め決められた絞り閾値以下である場合には前記第一の撮像制御を行い、前記Ｆ値が前記絞り閾値を超えている場合には、前記グローバルシャッタ駆動の後に前記絞りのＦ値を前記絞り閾値以下に制御した状態で前記第二の撮像制御を行う撮像方法。
  11. 　請求項９記載の撮像方法であって、
    　前記撮像制御ステップでは、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時に設定される前記撮像素子の前方に配置される撮像光学系に含まれる絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、前記露出値に基づいて、前記第一の撮像制御と前記第二の撮像制御のいずれかを選択して実行する撮像方法。
  12. 　請求項１１記載の撮像方法であって、
    　前記撮像制御ステップでは、前記露出値が予め決められた第一の露出閾値未満となる場合には前記第一の撮像制御を行い、前記露出値が前記第一の露出閾値以上となる場合には前記第二の撮像制御を行う撮像方法。
  13. 　請求項１１記載の撮像方法であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像光学系に含まれるフォーカスレンズの合焦制御を行う合焦制御ステップと、
    　前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、
    　前記撮像制御ステップでは、前記露出値が第一の露出閾値以上となる場合には前記第二の撮像制御を行い、前記露出値が前記第一の露出閾値未満となる場合には前記第一の撮像制御を行い、
    　前記表示制御ステップでは、前記露出値が前記第一の露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像方法。
  14. 　請求項８記載の撮像方法であって、
    　前記複数の画素は、位相差検出用画素を含み、
    　前記第二のローリング読み出し駆動によって前記位相差検出用画素から出力される信号に基づいて、前記撮像素子の前方に配置される絞り及びフォーカスレンズを含む撮像光学系の合焦制御を行う合焦制御ステップと、
    　前記第二のローリング読み出し駆動によって前記撮像素子の前記画素から出力される信号に基づいて生成されるライブビュー画像を表示装置に表示させる表示制御ステップと、を更に備え、
    　前記撮像制御ステップでは、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動の開始タイミング及び前記ローリングシャッタ駆動の開始タイミングの間の時間と前記グローバルリセット駆動時の前記絞りのＦ値とに基づいて、前記第一の撮像制御を行う場合の前記グローバルシャッタ駆動により開始される前記露光時の前記撮像素子の露出値を算出し、
    　前記表示制御ステップでは、前記露出値が予め決められた第一露出閾値未満となりかつ前記第一の露出閾値よりも小さい第二の露出閾値以上となる場合には、前記第一の撮像制御における前記第二のローリング読み出し駆動によって前記撮像素子から出力される信号に基づく前記ライブビュー画像の前記表示装置への表示を停止する撮像方法。
  15. 　光電変換素子と、前記光電変換素子から転送される電荷を保持し前記電荷に応じた信号が読み出し回路によって読み出される電荷保持部と、を含む複数の画素を有し、一方向に配列された複数の前記画素からなる複数の画素行を備え、前記光電変換素子及び前記電荷保持部の電荷が前記読み出し回路の電荷排出領域に排出されることで前記光電変換素子及び前記電荷保持部の各々のリセットが行われる撮像素子を用いた撮像方法をコンピュータに実行させるための撮像プログラムであって、
    　前記撮像方法は、
    　記複数の画素の各々の前記光電変換素子を同時にリセットして前記複数の画素の露光を開始するグローバルリセット駆動と、前記露光によって前記複数の画素の各々の前記光電変換素子に蓄積された電荷を前記電荷保持部に同時に転送して前記露光を終了するグローバルシャッタ駆動と、前記グローバルシャッタ駆動によって前記電荷保持部に保持された前記電荷に応じた信号を前記画素行毎に順次読み出す第一のローリング読み出し駆動と、露光が開始された前記画素行の前記光電変換素子に蓄積された電荷を前記電荷保持部に転送して前記画素行の前記露光を終了する処理を前記画素行を変えながら順次行うローリングシャッタ駆動と、前記ローリングシャッタ駆動によって前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記画素行を変えながら順次読み出す第二のローリング読み出し駆動と、を行う撮像制御ステップを備え、
    　前記撮像制御ステップでは、前記グローバルリセット駆動、前記グローバルシャッタ駆動、及び前記第一のローリング読み出し駆動を順次行った後、当該グローバルシャッタ駆動によって開始された前記画素の露光を前記ローリングシャッタ駆動を行って前記画素行毎に順次終了させ、当該露光が終了された前記画素行の前記電荷保持部に保持された前記電荷に応じた信号を前記第二のローリング読み出し駆動を行って読み出す第一の撮像制御を行う撮像プログラム。
PCT/JP2018/008398 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム WO2018173725A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880020752.0A CN110463186B (zh) 2017-03-24 2018-03-05 摄像装置、摄像方法及存储介质
JP2019507506A JP6569023B2 (ja) 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム
US16/580,840 US10944925B2 (en) 2017-03-24 2019-09-24 Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-059678 2017-03-24
JP2017059678 2017-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/580,840 Continuation US10944925B2 (en) 2017-03-24 2019-09-24 Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program

Publications (1)

Publication Number Publication Date
WO2018173725A1 true WO2018173725A1 (ja) 2018-09-27

Family

ID=63585973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008398 WO2018173725A1 (ja) 2017-03-24 2018-03-05 撮像装置、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (1) US10944925B2 (ja)
JP (1) JP6569023B2 (ja)
CN (1) CN110463186B (ja)
WO (1) WO2018173725A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420137B2 (ja) 2019-03-29 2024-01-23 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141466A (zh) * 2021-04-21 2021-07-20 广州极飞科技股份有限公司 图像处理系统、图像处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2248069B1 (en) * 2008-02-12 2013-08-28 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
JP5446282B2 (ja) * 2009-01-21 2014-03-19 ソニー株式会社 固体撮像素子およびカメラシステム
JP2011135185A (ja) * 2009-12-22 2011-07-07 Sanyo Electric Co Ltd 撮像装置
JP2011244253A (ja) * 2010-05-19 2011-12-01 Nikon Corp 撮像装置
CN103181160B (zh) * 2010-07-28 2016-06-15 富士胶片株式会社 成像设备和成像方法
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
JP5958740B2 (ja) * 2012-03-06 2016-08-02 ソニー株式会社 固体撮像素子および駆動方法、並びに、電子機器
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
US10375300B2 (en) * 2014-04-28 2019-08-06 Lynx System Developers, Inc. Methods for processing event timing data
CN109923857B (zh) * 2016-11-14 2021-05-11 富士胶片株式会社 摄像装置、摄像方法及记录介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004819A (ja) * 2010-06-16 2012-01-05 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012010074A (ja) * 2010-06-24 2012-01-12 Olympus Corp 読出制御装置、読出制御方法、撮像装置、固体撮像装置およびプログラム
JP2012129817A (ja) * 2010-12-15 2012-07-05 Canon Inc 撮像装置及び撮像素子の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420137B2 (ja) 2019-03-29 2024-01-23 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法

Also Published As

Publication number Publication date
JPWO2018173725A1 (ja) 2019-08-08
CN110463186B (zh) 2021-11-02
JP6569023B2 (ja) 2019-08-28
CN110463186A (zh) 2019-11-15
US10944925B2 (en) 2021-03-09
US20200021756A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US10623673B2 (en) Imaging device, imaging method, and imaging program
US9380204B2 (en) Imaging device and focus control method
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
WO2019054031A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US10778880B2 (en) Imaging device, imaging method, and imaging program
US10863110B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
US20230388669A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US20240007767A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
JP2023051391A (ja) 撮像装置、撮像制御方法、及び撮像制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019507506

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18772502

Country of ref document: EP

Kind code of ref document: A1