WO2018066306A1 - 撮像装置、静止画撮像方法、及び、静止画撮像プログラム - Google Patents

撮像装置、静止画撮像方法、及び、静止画撮像プログラム Download PDF

Info

Publication number
WO2018066306A1
WO2018066306A1 PCT/JP2017/032539 JP2017032539W WO2018066306A1 WO 2018066306 A1 WO2018066306 A1 WO 2018066306A1 JP 2017032539 W JP2017032539 W JP 2017032539W WO 2018066306 A1 WO2018066306 A1 WO 2018066306A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
unit
image signal
pixel
storage unit
Prior art date
Application number
PCT/JP2017/032539
Other languages
English (en)
French (fr)
Inventor
小林 誠
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780061790.6A priority Critical patent/CN109792494B/zh
Priority to JP2018543797A priority patent/JP6539788B2/ja
Publication of WO2018066306A1 publication Critical patent/WO2018066306A1/ja
Priority to US16/374,266 priority patent/US10715737B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present invention relates to an imaging device, a still image imaging method, and a still image imaging program.
  • imaging elements such as CCD (Charge Coupled Device) image sensors or CMOS (Complementary Metal Oxide Semiconductor) image sensors.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • Patent Document 1 during the exposure period of the image sensor, signals are alternately read by odd-numbered pixels and even-numbered pixels, and the signals read by odd-numbered pixels are integrated in a memory, and even-numbered pixels
  • An image pickup apparatus is described in which the signals read out in (1) are integrated in a memory, and the integrated odd-numbered row pixel signals and even-numbered row pixel signals are combined to obtain a picked-up image signal for generating still image data.
  • the live view image can be continuously displayed during still image imaging by performing live view display based on the signals of the odd or even rows that are sequentially accumulated in the memory.
  • Patent Document 2 describes an imaging device equipped with an imaging device having a first area and a monitoring area. This image pickup apparatus displays a live view image based on a signal that is sequentially read from a monitoring area at the time of taking a still image, thereby enabling continuous display of the live view image during still image pickup.
  • this imaging apparatus generates still image data without pixel defects by interpolating and generating pixel signals corresponding to the monitoring area using signals read from the first area.
  • the imaging device described in Patent Document 1 generates a live view image based on signals that are sequentially read from and integrated with pixels in odd rows or even rows. For this reason, the brightness of the live view image is not constant, and the display quality is degraded.
  • the present invention has been made in view of the above circumstances, and an imaging apparatus and a still image imaging method capable of recording high-quality still image data while enabling continuous display of a live view image during still image imaging. It is another object of the present invention to provide a still image capturing program.
  • An image pickup apparatus includes a MOS type image pickup device having a plurality of pixels, a mechanical shutter disposed in front of the image pickup device, a drive unit for driving the image pickup device, and the mechanical shutter being opened. Control the drive unit to start exposure of the plurality of pixels at the same time, close the mechanical shutter and end the exposure of the plurality of pixels at the same time, and control the drive unit during the exposure. Then, at each of a plurality of timings during the exposure, a first readout control for reading out a first captured image signal from a first pixel that is a part of the plurality of pixels, and after the exposure, Imaging that performs second readout control for reading out a second captured image signal from at least the second pixel of the second pixel other than the first pixel and the first pixel.
  • a live view image data is generated based on the control unit and the first captured image signal sequentially read from the first pixel by the first readout control, and an image based on the live view image data is displayed on the display unit. And integrating the first captured image signal sequentially read from the first pixel by at least the first readout control of the first readout control and the second readout control.
  • a first storage unit that stores the second captured image signal read from the second pixel by the second readout control, and the first storage unit that is stored in the first storage unit.
  • An image processing unit that processes a third captured image signal composed of the second captured image signal and the second captured image signal, generates captured image data, and stores the captured image data in a storage medium.
  • the still image capturing method of the present invention includes a MOS image sensor having a plurality of pixels, a mechanical shutter disposed in front of the image sensor, and a drive unit that drives to read an image signal from the pixels.
  • a still image capturing method of an imaging apparatus wherein the driving unit is controlled in a state where the mechanical shutter is opened to start exposure of the plurality of pixels simultaneously, and the mechanical shutter is closed and the exposure of the plurality of pixels is performed.
  • a still image exposure control step for simultaneously ending the first imaging from a first pixel of a part of the plurality of pixels at each of a plurality of timings during the exposure by controlling the driving unit during the exposure.
  • the still image capturing program of the present invention includes a MOS-type image sensor having a plurality of pixels, a mechanical shutter disposed in front of the image sensor, and a drive unit that drives to read an image signal from the pixels. Still image exposure in which an image pickup device controls the drive unit with the mechanical shutter opened to start exposure of the plurality of pixels simultaneously, and closes the mechanical shutter to end the exposure of the plurality of pixels simultaneously.
  • At least based on the second readout control step of reading out the second captured image signal from the second pixel and the first captured image signal sequentially read out from the first pixel by the first readout control step.
  • a display control step for generating live view image data and displaying an image based on the live view image data on a display unit, and at least the first read control step and the second read control step.
  • the first captured image signals sequentially read from the first pixel by the readout control step are integrated and stored in the first storage unit, and read from the second pixel by the second readout control step. Storing the second captured image signal in the first storage unit; and the second stored in the first storage unit.
  • An image processing step of processing a third captured image signal composed of the captured image signal and the second captured image signal to generate captured image data and storing the captured image data in a storage medium. is there.
  • an imaging apparatus a still image imaging method, and a still image imaging program capable of recording high-quality still image data while enabling display of a live view image during still image imaging. can do.
  • FIG. 1 is a diagram illustrating a schematic configuration of a digital camera 100 as an example of an imaging apparatus for describing an embodiment of the present invention. It is a schematic diagram which shows schematic structure of the image pick-up element 5 mounted in the digital camera 100 shown in FIG.
  • FIG. 3 is a schematic plan view illustrating a configuration of a sensor unit 51 of the image sensor 5 illustrated in FIG. 2.
  • 2 is a timing chart schematically showing the operation of the digital camera 100 shown in FIG. 1 when capturing a still image.
  • 6 is a timing chart schematically showing a modification of the operation of the digital camera 100 shown in FIG. 1 when capturing a still image.
  • FIG. 1 It is a figure which shows the operation state of the mechanical shutter 3 and the sensor part 51 between the time t5 and the time t5a in the timing chart shown in FIG. It is a figure which shows the principal part structure of digital camera 100A which is a modification of the digital camera 100 shown in FIG. It is a figure which shows the principal part structure of the digital camera 100B which is a modification of the digital camera 100 shown in FIG. It is a figure which shows the principal part structure of the digital camera 100C which is a modification of the digital camera 100 shown in FIG. It is a figure which shows the principal part structure of digital camera 100D which is a modification of the digital camera 100 shown in FIG.
  • the external appearance of the smart phone 200 which is one Embodiment of the imaging device of this invention is shown. It is a block diagram which shows the structure of the smart phone 200 shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera 100 as an example of an imaging apparatus for explaining an embodiment of the present invention.
  • the digital camera 100 includes a lens device 40 that includes an imaging lens 1, an aperture 2, a mechanical shutter 3, a lens control unit 4, a shutter drive unit 6, a lens drive unit 8, and an aperture drive unit 9. .
  • the lens device 40 is described as being detachable from the digital camera 100 main body, but may be fixed to the digital camera 100 main body.
  • the imaging lens 1 and the diaphragm 2 constitute an imaging optical system, and the imaging optical system includes, for example, a focus lens.
  • the mechanical shutter 3 is a shutter mechanism that mechanically switches between a state in which light enters the imaging optical system and a state in which light does not enter the imaging optical system.
  • the mechanical shutter 3 is closer to the subject side than the imaging optical system. Has been placed.
  • the mechanical shutter 3 may be disposed in front of the image sensor 5 (subject side), and may be disposed, for example, between the image sensor 5 and the imaging optical system.
  • the lens control unit 4 of the lens device 40 is configured to be able to communicate with the system control unit 11 of the digital camera 100 main body by wire or wirelessly.
  • the lens control unit 4 opens / closes the mechanical shutter 3 via the shutter drive unit 6 or drives the focus lens included in the imaging lens 1 via the lens drive unit 8 according to a command from the system control unit 11.
  • the aperture 2 is driven via the aperture drive unit 9.
  • the main body of the digital camera 100 includes a MOS type image sensor 5 such as a CMOS image sensor that images a subject through an imaging optical system, a sensor drive unit 10 that functions as a drive unit that drives the image sensor 5, and electrical control of the digital camera 100.
  • a system control unit 11 that performs overall control of the entire system and an operation unit 14 are provided.
  • the system control unit 11 includes various processors, a RAM (Random Access Memory), and a ROM (Read Only Memory), and controls the entire digital camera 100 as a whole.
  • This ROM stores a program including a still image capturing program.
  • the electric control system of the digital camera 100 performs an interpolation operation, a gamma correction operation, an RGB / YC conversion process, and the like on the image signal group output from the image sensor 5 to the data bus 25 for recording.
  • a digital signal processing unit 17 that generates captured image data and live view image data, an external memory control unit 20 to which a removable storage medium 21 is connected, and a display unit 23 mounted on the back surface of the digital camera 100 or the like.
  • a display driver 22 to be driven.
  • the digital signal processing unit 17 includes various processors, a RAM, and a ROM, and performs various processes when the processor executes a program stored in the ROM.
  • This program includes a still image capturing program.
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and perform various processes Examples include a dedicated electrical circuit that is a processor having a circuit configuration that is specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • Each processor of the system control unit 11 and the digital signal processing unit 17 may be configured by one of various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs). Or a combination of CPU and FPGA).
  • the digital signal processing unit 17, the external memory control unit 20, and the display driver 22 are connected to each other by a control bus 24 and a data bus 25, and operate based on a command from the system control unit 11.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the image sensor 5 mounted on the digital camera 100 shown in FIG.
  • the image pickup device 5 includes a sensor unit 51, a storage unit 52, and a transfer interface (I / F) 53.
  • the sensor unit 51 images a subject and outputs a captured image signal.
  • the sensor unit 51 is driven by the sensor driving unit 10.
  • the storage unit 52 stores the imaging signal output from the sensor unit 51, and includes a first storage unit 52A and a second storage unit 52B.
  • Each of the first storage unit 52A and the second storage unit 52B controls a large number of storage elements such as capacitors or flip-flops for storing data, and controls the storage and reading of data of the large number of storage elements. And an omitted control circuit. These control circuits are controlled by the system control unit 11.
  • Each of the first storage unit 52A and the second storage unit 52B may be anything as long as it includes a rewritable storage element, and a semiconductor memory or a ferroelectric memory can be used.
  • Each of the first storage unit 52A and the second storage unit 52B includes, for example, SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), FRAM (registered trademark) (Ferroelectric Random Access, or Random Access Memory).
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • FRAM registered trademark
  • a flash memory or the like can be used.
  • the first storage unit 52A can store the same number of imaging signals as the total number of pixels included in the sensor unit 51.
  • the second storage unit 52B can store a smaller number of imaging signals than the total number of pixels included in the sensor unit 51.
  • the transfer interface 53 is an interface for transferring an imaging signal from the imaging device 5 to the data bus 25, and is controlled by the system control unit 11.
  • the transfer interface 53 is configured by an interface conforming to a standard such as SLVS (Scalable Low Voltage Signaling).
  • the imaging signals stored in the first storage unit 52A and the second storage unit 52B are output to the data bus 25 by the transfer interface 53.
  • the transfer interface 53 functions as a transfer unit.
  • the configuration of the image sensor 5 includes, for example, the following four, but is not limited thereto.
  • [2] A configuration in which a chip in which the sensor unit 51 is formed and a chip in which the storage unit 52 is formed are stacked, and the two chips are electrically connected by stud bumps.
  • the configuration [1] is most desirable, the configuration [2] is desirable next to [1], and the configuration [3] is [2].
  • the configuration of [4] is desirable next to [3]. According to the configuration of [3] and [4], it can be manufactured without using advanced technology.
  • FIG. 3 is a schematic plan view showing the configuration of the sensor unit 51 of the image sensor 5 shown in FIG.
  • the sensor unit 51 includes a light receiving surface 60 in which a plurality of pixel rows 62 including a plurality of pixels 61 arranged in a row direction X that is one direction are arranged in a column direction Y orthogonal to the row direction X, and a light receiving surface 60.
  • a drive circuit 63 that drives the arranged pixels, and a signal processing circuit 64 that processes an imaging signal read from each pixel 61 of the pixel row 62 arranged on the light receiving surface 60 are provided.
  • the upper end of the light receiving surface 60 in the column direction Y is referred to as the upper end
  • the lower end of the light receiving surface 60 in the column direction Y is referred to as the lower end.
  • the pixel 61 receives light passing through the imaging optical system of the lens device 40, generates a charge corresponding to the amount of received light, and stores the photoelectric conversion unit, and converts the charge accumulated in the photoelectric conversion unit into a voltage signal. And a readout circuit that reads out the image signal as a signal line.
  • a known configuration can be employed for the readout circuit.
  • the readout circuit outputs, for example, a transfer transistor for transferring the charge accumulated in the photoelectric conversion unit to the floating diffusion, a reset transistor for resetting the potential of the floating diffusion, and a voltage signal corresponding to the potential of the floating diffusion. And a selection transistor for selectively reading out a voltage signal output from the output transistor to a signal line. Note that the reading circuit may be shared by a plurality of photoelectric conversion units.
  • the pixel 61 in the field F1 constitutes a first pixel that is a part of all the pixels 61 included in the sensor unit 51.
  • a set of imaging signals read out from each pixel 61 in the field F1 to the signal line is referred to as a first captured image signal.
  • the region of the light receiving surface 60 where the (3N + 2) th pixel row 62 from the upper end side of the light receiving surface 60 among all the pixel rows 62 arranged on the light receiving surface 60 is referred to as a field F2.
  • the region of the light receiving surface 60 where the (3N + 3) th pixel row 62 counted from the upper end side of the light receiving surface 60 among all the pixel rows 62 arranged on the light receiving surface 60 is referred to as a field F3.
  • the pixel 61 in the region where the field F2 and the field F3 are combined constitutes a second pixel that is a pixel other than the first pixel among all the pixels 61 included in the sensor unit 51.
  • a set of image pickup signals read out from each pixel 61 in the field F2 and the field F3 to the signal line is referred to as a second image pickup image signal.
  • the drive circuit 63 drives a readout circuit connected to the photoelectric conversion unit of each pixel 61 in units of pixel rows, and resets each photoelectric conversion unit included in the pixel row 62 for each pixel row 62. A voltage signal corresponding to the charge accumulated in the conversion unit is read out to the signal line.
  • the drive circuit 63 is controlled by the sensor drive unit 10.
  • the signal processing circuit 64 performs correlated double sampling processing on the voltage signal read out from each pixel 61 of the pixel row 62 to the signal line, and converts the voltage signal after the correlated double sampling processing into a digital signal. Output from the sensor unit 51.
  • the processor of the system control unit 11 functions as an imaging control unit that performs still image exposure control, first readout control, and second readout control by executing a program including a still image imaging program.
  • Still image exposure control means that the sensor driving unit 10 is controlled by controlling the sensor driving unit 10 in a state where the mechanical shutter 3 is opened via the lens control unit 4 and the shutter driving unit 6 (light is incident on the imaging optical system). This is control that starts exposure of all the pixels 61 at the same time, and then closes the mechanical shutter 3 via the lens control unit 4 and the shutter drive unit 6 and ends exposure of all the pixels 61 of the sensor unit 51 at the same time.
  • the first readout control refers to the first imaging from all the pixels 61 in the field F1 at each of a plurality of timings during the exposure by controlling the sensor driving unit 10 during exposure performed by still image exposure control. Control that reads image signals.
  • the second storage unit 52B has a capacity capable of storing the first captured image signal.
  • the first captured image signal read by the first read control is stored in each of the first storage unit 52A and the second storage unit 52B.
  • the second storage unit 52B overwrites and stores the first captured image signal sequentially read out by the first reading control, and always stores only the latest one.
  • each captured image of the first captured image signal is stored.
  • the first captured image signal is updated by overwriting the signal with the image signal read from the same pixel 61 as the pixel 61 from which each image signal is read out of the new first image signal. Update to the ones.
  • the first storage unit 52A integrates and stores the first captured image signals sequentially read out by the first readout control.
  • each captured image of the first captured image signal is stored.
  • the signal and the image signal read from the same pixel 61 as the pixel 61 from which each image signal is read out of the new first image signal and storing the image signal after the integration
  • the first captured image signal is updated.
  • the new first captured image signal is additionally stored in the first storage unit 52A with respect to the already stored first captured image signal.
  • the second readout control is to read out the first captured image signal from all the pixels 61 in the field F1 and complete all the pixels in the field F2 and the field F3 after completion of the exposure performed by the still image exposure control.
  • a control for reading a second captured image signal from 61 is described.
  • the first storage unit 52A stores the second captured image signal read by the second readout control in an area excluding the area where the first captured image signal is stored.
  • the first storage unit 52A stores the third imaging that includes the first captured image signal and the second captured image signal. An image signal is stored.
  • the processor of the digital signal processing unit 17 functions as a display control unit and an image processing unit by executing a still image capturing program stored in a ROM built in the digital signal processing unit 17.
  • the processor of the digital signal processing unit 17 functioning as a display control unit is sequentially read out by the first read control, stored in the second storage unit 52B, and output from the transfer interface 53 to the data bus 25 from here.
  • Live view image data is generated based on the first captured image signal, and an image based on the live view image data (live view image) is displayed on the display unit 23 via the display driver 22.
  • the processor of the digital signal processing unit 17 functioning as an image processing unit is read by the first reading control and the second reading control and stored in the first storage unit 52A.
  • the third picked-up image signal output to is processed to generate picked-up image data, and this picked-up image data is stored in the storage medium 21 via the external memory control unit 20.
  • FIG. 4 is a timing chart schematically showing the operation of the digital camera 100 shown in FIG.
  • FIG. 4 the exposure timing for taking a still image performed by the sensor unit 51 is shown next to the “sensor unit”.
  • FIG. 4 the storage state of the imaging signal in the first storage unit 52A is shown next to the “first storage unit”.
  • FIG. 4 the storage state of the imaging signal in the second storage unit 52B is shown next to the “second storage unit”.
  • processing performed by the digital signal processing unit 17 is shown next to “camera side processing”.
  • the system control unit 11 issues a command to the lens control unit 4 to open the mechanical shutter 3, and in this state, the image sensor 5 displays live view images. Make an image. Thereby, the live view image is displayed on the display unit 23.
  • the system control unit 11 controls the sensor driving unit 10 to reset all the pixels 61 of the sensor unit 51 (from the photoelectric conversion unit). (Discharge of electric charge) is performed at the same time, and exposure of all the pixels 61 (exposure by still image exposure control) is started simultaneously (time t1).
  • the system control unit 11 controls the sensor driving unit 10 to read the imaging signal from each pixel 61 in the field F1 of the sensor unit 51. Read control is performed.
  • the first captured image signal read by the first read control is stored in the first storage unit 52A (step S1) and also stored in the second storage unit 52B (step S2).
  • one line of the first captured image signal stored in the second storage unit 52B is controlled by the system control unit 11.
  • the data is output from the transfer interface 53 to the data bus 25 (step S3).
  • Each line of the first captured image signal output to the data bus 25 in step S3 is sequentially stored and processed in a line memory built in the digital signal processing unit 17 so that live view image data is line by line. Generated.
  • the digital signal processing unit 17 transfers one line of the generated live view image data to the display driver 22.
  • the display driver 22 draws the received one line on the display unit 23.
  • a live view image based on the live view image data is displayed on the display unit 23 (step S4).
  • the system control unit 11 controls the sensor driving unit 10 to perform the first readout control for reading the imaging signal from each pixel 61 in the field F1 of the sensor unit 51 again. .
  • the first captured image signal read out by the first readout control is integrated with the first captured image signal stored in the first storage unit 52A in step S1, thereby the first storage unit 52A. (Step S5).
  • the first captured image signal is stored in the second storage unit 52B by being overwritten on the first captured image signal stored in the second storage unit 52B in step S2 (step S6). ).
  • step S6 When the processing of step S6 is completed, the first captured image signal overwritten and stored in the second storage unit 52B is transferred from the transfer interface 53 to the data bus 25 line by line under the control of the system control unit 11. Is output (step S7).
  • Each line of the first captured image signal output to the data bus 25 in step S7 is sequentially stored and processed in a line memory built in the digital signal processing unit 17 so that live view image data is line by line. Generated.
  • the digital signal processing unit 17 transfers one line of the generated live view image data to the display driver 22.
  • the display driver 22 draws the received one line on the display unit 23.
  • step S4 the live view image being displayed in the process of step S4 is updated for each line (step S8).
  • the system control unit 11 controls the sensor driving unit 10 to perform the first read control for reading the imaging signal from each pixel 61 in the field F1 of the sensor unit 51 again. .
  • the first captured image signal read out by the first readout control is integrated with the first captured image signal stored in the first storage unit 52A in step S5, whereby the first storage unit 52A. (Step S9).
  • the first captured image signal is stored in the second storage unit 52B by being overwritten on the first captured image signal stored in the second storage unit 52B in step S6 (step S10). ).
  • step S10 When the processing of step S10 is completed, the first captured image signal overwritten and stored in the second storage unit 52B is transferred from the transfer interface 53 to the data bus 25 line by line under the control of the system control unit 11. Is output (step S11).
  • Each line of the first captured image signal output to the data bus 25 in step S11 is sequentially stored and processed in a line memory built in the digital signal processing unit 17, so that live view image data is line by line. Generated.
  • the digital signal processing unit 17 transfers one line of the generated live view image data to the display driver 22.
  • the display driver 22 draws the received one line on the display unit 23.
  • step S8 the live view image being displayed in the process of step S8 is updated for each line (step S12).
  • the system control unit 11 controls the sensor driving unit 10 to perform the first readout control for reading the imaging signal from each pixel 61 in the field F1 of the sensor unit 51 again.
  • the first captured image signal read by the first readout control is integrated with the first captured image signal stored in the first storage unit 52A in step S9, whereby the first storage unit 52A. (Step S13).
  • the first captured image signal is stored in the second storage unit 52B by being overwritten on the first captured image signal stored in the second storage unit 52B in step S10 (step S14). ).
  • step S14 When the processing of step S14 is completed, the first captured image signal overwritten and stored in the second storage unit 52B is transferred from the transfer interface 53 to the data bus 25 line by line under the control of the system control unit 11. Is output (step S15).
  • Each line of the first captured image signal output to the data bus 25 in step S15 is sequentially stored and processed in a line memory built in the digital signal processing unit 17, so that live view image data is line by line. Generated.
  • the digital signal processing unit 17 transfers one line of the generated live view image data to the display driver 22.
  • the display driver 22 draws the received one line on the display unit 23.
  • step S12 the live view image being displayed in the process of step S12 is updated for each line (step S16).
  • the system control unit 11 controls the lens control unit 4 to close the mechanical shutter 3, thereby ending the exposure of all the pixels 61 of the sensor unit 51 started at time t1. .
  • the system control unit 11 controls the sensor driving unit 10 and firstly performs a first read control for reading the imaging signal from each pixel 61 in the field F1 of the sensor unit 51. To do.
  • the first captured image signal read by the first readout control is integrated with the first captured image signal stored in the first storage unit 52A in step S13, whereby the first storage unit 52A. (Step S17).
  • Step S1 and Step S5 the first storage image 52A obtained by the exposure between time t1 and time t2 is stored in the first storage unit 52A.
  • a first captured image signal obtained by exposure between time t2 and time t3 a first captured image signal obtained by exposure between time t3 and time t4, and between time t4 and time t5
  • An integrated value of a total of five first captured image signals that is, a first captured image signal obtained by exposure and a first captured image signal obtained by exposure between time t5 and time t6 is stored. .
  • the integrated value is a set of imaging signals corresponding to the charges accumulated in each pixel 61 in the field F1 of the sensor unit 51 by exposure between time t1 and time t6.
  • the system control unit 11 controls the sensor driving unit 10 to perform the second readout control for reading the imaging signal from each pixel 61 in the field F2 of the sensor unit 51.
  • the captured image signal read by the second read control is stored in the first storage unit 52A (step S18).
  • the system control unit 11 controls the sensor driving unit 10 to perform the second read control for reading the imaging signal from each pixel 61 in the field F3 of the sensor unit 51.
  • the captured image signal read by the second read control is stored in the first storage unit 52A (step S19).
  • the first storage unit 52A obtains the first captured image signal obtained by the exposure from time t1 to time t6 and the exposure from time t1 to time t6.
  • the second captured image signal is stored, and the first captured image signal and the second captured image signal constitute a third captured image signal.
  • This third imaged image signal is obtained by exposing all the pixels 61 of the sensor unit 51 from time t1 to time t6 without reading out the image pickup signal in the middle, and reading out from all the pixels 61 after this exposure is completed. This is equivalent to the captured image signal.
  • step S19 ends and the third captured image signal is stored in the first storage unit 52A
  • the third stored in the first storage unit 52A is controlled by the system control unit 11.
  • the captured image signal is output line by line from the transfer interface 53 to the data bus 25 (step S20).
  • the third captured image signal output to the data bus 25 is sequentially stored and processed in the line memory of the digital signal processing unit 17 to generate captured image data, and the generated captured image data is stored in the storage medium 21. (Step S21).
  • a live view image is generated based on the first captured image signal read from some of the pixels 61 of the sensor unit 51 even during exposure for capturing a still image. Since it is displayed, the display update of the live view image can be continued.
  • the first captured image signal used for generating the live view image data is overwritten and stored in the second storage unit 52B. For this reason, the quality of the live view image can be improved even when the subject during still image capturing is moving.
  • the first captured image signals used for generating the live view image data can all be obtained with the same exposure time.
  • step S4 the luminance correction of the live view image displayed in each of step S4, step S8, step S12, and step S16 in FIG. 4 is not necessary, and the processing can be simplified.
  • the digital camera 100 only the pixel 61 in the field F1 reads out the imaging signal during exposure. As described above, the pixel 61 in the field F2 and the field F3 does not read out the imaging signal until the exposure is completed, so that it is possible to reduce the power consumption required for the still image imaging, and to have the battery of the digital camera 100. Can be lengthened.
  • the first storage unit 52A stores the integrated value of the first captured image signal read in multiple times during the exposure and the second value read after the exposure is completed. Are captured image signals.
  • the third captured image signal composed of the integrated value of the first captured image signal and the second captured image signal is equivalent to that obtained by exposing all the pixels 61 with the same exposure time. For this reason, it is possible to improve the quality of captured image data generated based on the third captured image signal.
  • the image pickup device 5 has the first storage unit 52A. For this reason, it is possible to start exposure for capturing the next still image even during the output of the third captured image signal.
  • step S20 the first captured image signal stored in the first storage unit 52A in step S17 is output first, and then the second captured image signal is output.
  • the image pickup device 5 has a first storage unit 52A and a second storage unit 52B. For this reason, even if the transfer speed of the transfer interface 53 is low, the first captured image signal during exposure can be read out at high speed.
  • the first readout control is performed four times during the exposure for still image capturing. However, if the number of times is two or more, the live view display can be appropriately updated. , Can improve the quality of the live view image.
  • the pixel from which the imaging signal is read from the sensor unit 51 during the exposure is the pixel 61 in the field F1, but the imaging signal may be read from the pixel 61 in the field F2 or the pixel 61 in the field F3. .
  • the pixel 61 of the sensor unit 51 is configured to be divided into three fields, but the number of divided fields may be two or more.
  • FIG. 5 is a timing chart schematically showing a modified example of the operation when the digital camera 100 shown in FIG. 1 captures a still image.
  • the exposure for still image capturing is performed at the timing (time t5a in the drawing) at which the storage of the first captured image signal started in step S13 in the first storage unit 52A is completed.
  • 4 is the same as that shown in FIG. 4 except that the processing has been completed and the processing in step S17 performed after the exposure has been completed.
  • FIG. 6 is a diagram illustrating an operation state of the mechanical shutter 3 and the sensor unit 51 between time t5 and time t5a in the timing chart illustrated in FIG.
  • a straight line R shown in FIG. 6 indicates the timing of reading the imaging signal from the pixel 61 in the field F1, and the pixel row 62 in the field F1 moves from the upper end side to the lower end side of the light receiving surface 60 from time t5 to time t5a.
  • the imaging signals are read out sequentially from each pixel 61 of the selected pixel row 62.
  • the mechanical shutter 3 is configured to sequentially shield the light receiving surface 60 from the upper end side toward the lower end side.
  • the mechanical shutter 3 starts the closing operation at time t5, and moves the light receiving surface 60 from the upper end side toward the lower end side.
  • the mechanical shutter 3 shields the entire light receiving surface 60 from light at time t5a.
  • the time t5a shown in FIGS. 5 and 6 is the first timing at which the reading of the first captured image signal is completed immediately before the end of the exposure for still image capturing, and the mechanical shutter 3 is closed. Second timing.
  • any pixel in the field F1 between the time t5 and the time t5a is completed before reading out the imaging signal from the row 62, after reading out the imaging signal, or while reading out the imaging signal.
  • the arbitrary pixel row 62 is not exposed, and after the exposure period ends, imaging is performed from each pixel 61 of the arbitrary pixel row 62. There is no need to read out the signal.
  • the system control unit 11 controls the sensor driving unit 10 to read out an imaging signal from each pixel 61 in the field F2 of the sensor unit 51. Second read control is performed.
  • the captured image signal read by the second read control is stored in the first storage unit 52A (step S18).
  • the system control unit 11 controls the sensor driving unit 10 to perform the second read control for reading the imaging signal from each pixel 61 in the field F3 of the sensor unit 51.
  • the captured image signal read by the second read control is stored in the first storage unit 52A (step S19). The subsequent steps are as described in FIG.
  • the readout of the imaging signal from the pixel 61 in the field F ⁇ b> 1 is completed when the exposure for still image imaging is completed. For this reason, the time taken until the captured image data is stored in the storage medium 21 can be shortened. In addition, the time until the next still image can be captured can be further shortened.
  • FIG. 7 is a diagram showing a main configuration of a digital camera 100A that is a modification of the digital camera 100 shown in FIG.
  • the digital camera 100A is different from the digital camera 100A except that the storage unit 52 built in the imaging device 5 includes only the first storage unit 52A and that the imaging signal output from the sensor unit 51 is also input to the transfer interface 53.
  • the configuration is the same as that of the digital camera 100.
  • the imaging signal output from the sensor unit 51 at each of the times t2 to t5 in FIG. 4 is stored in the first storage unit 52A and output from the transfer interface 53 to the data bus 25.
  • the digital signal processing unit 17 of the digital camera 100A processes the imaging signal output to the data bus 25 to generate live view image data, and displays the live view image based on the live view image data on the display unit 23.
  • step S2 the operation of the digital camera 100A at the time of capturing a still image in FIG. 4 is that step S2, step S6, step S10, and step S14 are deleted, the start timing of step S3 is changed to time t2, and step S7
  • the start timing is changed to time t3, the start timing of step S11 is changed to time t4, the start timing of step S15 is changed to time t5, and step S4, step S8, step S12, and step are performed in accordance with this change.
  • the start timing of S16 is advanced.
  • the image sensor 5 does not include the second storage unit 52B, it is possible to store high-quality still image data while continuing to display the live view image during the exposure period. . According to this configuration, the capacity of the storage unit 52 of the image sensor 5 can be reduced and the cost of the digital camera can be reduced.
  • the imaging signal for displaying the live view image is output from the sensor unit 51 and immediately transferred by the transfer interface 53, high-speed processing is possible, and the live view image is displayed smoothly. be able to.
  • FIG. 8 is a diagram showing a main configuration of a digital camera 100B that is a modification of the digital camera 100 shown in FIG.
  • the digital camera 100B has the same configuration as the digital camera 100A of FIG. 7 except that the second storage unit 52B is provided outside the imaging device 5 and connected to the data bus 25.
  • the imaging signal output from the sensor unit 51 at each of the times t2 to t5 in FIG. 4 is stored in the first storage unit 52A, and is output from the transfer interface 53 to the data bus 25 to the second. It is stored in the second storage unit 52B. In the second storage unit 52B, the first captured image signal is sequentially overwritten.
  • the digital signal processing unit 17 of the digital camera 100B processes the first captured image signal stored in the second storage unit 52B to generate live view image data, and performs live view based on the live view image data.
  • the image is displayed on the display unit 23.
  • FIG. 9 is a diagram showing a main configuration of a digital camera 100C that is a modification of the digital camera 100 shown in FIG.
  • the digital camera 100C has the same configuration as the digital camera 100 of FIG. 1 except that the storage unit 52 is provided outside the image sensor 5 and connected to the data bus 25.
  • the first captured image signal read from the pixel 61 in the field F1 of the sensor unit 51 during the exposure is output from the transfer interface 53 to the data bus 25 and the first storage unit 52A and the first storage unit 52A. It is stored in the second storage unit 52B.
  • the first captured image signal is accumulated and stored in the first storage unit 52A, and the first captured image signal is overwritten and stored in the second storage unit 52B.
  • the first captured image signal read from the pixel 61 in the field F1 of the sensor unit 51 after the exposure is finished is output from the transfer interface 53 to the data bus 25 to be the first storage unit 52A. Is remembered.
  • the second captured image signal read from the pixels 61 in the field F2 and the field F3 of the sensor unit 51 after the exposure ends is output from the transfer interface 53 to the data bus 25 to be the first. It is stored in the storage unit 52A. Accordingly, the third captured image signal is stored in the first storage unit 52A.
  • the digital signal processing unit 17 of the digital camera 100C processes the first captured image signal stored in the second storage unit 52B to generate live view image data, and generates a live view image based on the live view image data. It is displayed on the display unit 23.
  • the digital signal processing unit 17 of the digital camera 100C processes the third captured image signal stored in the first storage unit 52A to generate captured image data, and stores this in the storage medium 21.
  • the image sensor 5 does not include the storage unit 52, high-quality still image data can be stored while the live view image is continuously displayed during the exposure period. According to this configuration, the cost of the image sensor 5 can be reduced and a digital camera can be provided at a low cost.
  • the imaging signal for displaying the live view image is output from the sensor unit 51 and then immediately transferred by the transfer interface 53, so that high-speed processing is possible and the live view image is displayed smoothly. be able to.
  • FIG. 10 is a diagram showing a main configuration of a digital camera 100D which is a modification of the digital camera 100 shown in FIG.
  • the digital camera 100D has the same configuration as the digital camera 100C in FIG. 9 except that the storage unit 52 provided outside the imaging device 5 has only the first storage unit 52A.
  • the first captured image signal read from the pixel 61 in the field F1 of the sensor unit 51 during exposure is output from the transfer interface 53 to the data bus 25 and stored in the first storage unit 52A. At the same time, it is sequentially stored in the line memory of the digital signal processing unit 17.
  • the digital signal processing unit 17 of the digital camera 100D processes the first captured image signal sequentially stored in the line memory to generate live view image data, and displays a live view image based on the live view image data. To display.
  • the cost of the storage unit 52 can be reduced, and the digital camera can be provided at low cost.
  • a digital camera has been taken as an example of the imaging device, but an embodiment of a smartphone with a camera as the imaging device will be described below.
  • FIG. 11 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 200 shown in FIG. 11 has a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • Such a casing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure or a slide mechanism can be employed.
  • FIG. 12 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, etc., or reception of Web data or streaming data is performed.
  • the display input unit 204 displays images (still images and moving images), character information, and the like by visually controlling the display by the control of the main control unit 220 and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally form a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the size of the display area and the size of the display panel 202 may be completely matched, it is not always necessary to match the two.
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion.
  • the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • examples of the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. Can also be adopted.
  • the calling unit 211 includes a speaker 205 or a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface on which the display input unit 204 is provided, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 212 is a control program or control data of the main control unit 220, application software, address data that associates the name or telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, or The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark) (Bluetooth (registered trademark)), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ), ZigBee (registered trademark), etc.) for direct or indirect connection.
  • Bluetooth registered trademark
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB User Wideband
  • ZigBee registered trademark
  • a wired / wireless headset for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber) Identity Module Card / UIM (User Identity Module) Card) card, external audio / video device connected via audio / video I / O (Input / Output) terminal, external audio / video device connected wirelessly, smartphone connected / wired, wired / wireless connection Personal computers connected, wired / wireless connected PDAs, wired / wireless connected personal computers, earphones, and the like.
  • a wired / wireless headset for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber) Identity Module Card / UIM (User Identity Module) Card) card, external
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200 or transmits data inside the smartphone 200 to the external device.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes a positioning calculation process based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS receiving unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS receiving unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a triaxial acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction or acceleration of the smartphone 200 is detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program or control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication or data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • the application processing function includes, for example, an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, or a web browsing function for browsing web pages. is there.
  • the main control unit 220 also has an image processing function such as displaying video on the display input unit 204 based on received data or downloaded image data such as streaming data (still image or moving image data).
  • the image processing function refers to a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203. By executing the display control, the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 or the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one of a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 208 includes configurations other than the external memory control unit 20, the storage medium 21, the display unit 23, the display driver 22, and the operation unit 14 in the digital camera shown in FIG.
  • the captured image data generated by the camera unit 208 can be stored in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this and may be mounted on the back surface of the display input unit 204. .
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202.
  • An image of the camera unit 208 can be used as one of operation inputs on the operation panel 203.
  • the position can also be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. The current usage environment can also be judged.
  • the image from the camera unit 208 can also be used in the application software.
  • the posture information acquired by the motion sensor unit 215 can be added and stored in the storage unit 212, or can be output through the external input / output unit 213 or the wireless communication unit 210.
  • a MOS type image pickup device having a plurality of pixels, a mechanical shutter disposed in front of the image pickup device, a drive unit for driving the image pickup device, and the drive unit with the mechanical shutter opened.
  • a first readout control for reading out a first captured image signal from a first pixel of a part of the plurality of pixels at each of a plurality of timings during the exposure; and after the exposure, An imaging control unit that performs a second readout control for reading out a second captured image signal from at least the second pixel among the second pixel other than the one pixel and the first pixel;
  • a display control unit that generates live view image data based on the first captured image signal sequentially read from the first pixel by one readout control and displays an image based on the live view image data on the display unit; The first captured image signal sequentially read from the first pixel by at least the first readout control of the first readout control and the second readout control is accumulated and stored, and the second readout control is performed.
  • a first storage unit that stores the second captured image signal read from the second pixel by the readout control, and the first captured image signal stored in the first storage unit and the first storage unit.
  • An image processing apparatus comprising: an image processing unit that processes a third captured image signal including the second captured image signal to generate captured image data and stores the captured image data in a storage medium.
  • the imaging apparatus according to any one of (1) to (3), wherein the first captured image signal sequentially read from the first pixel is overwritten by the first readout control.
  • the display control unit further processes the first captured image signal stored in the second storage unit to process the live view image data.
  • An imaging apparatus comprising: a second storage unit that stores an image signal while overwriting; and a transfer unit that transfers the first captured image signal stored in the second storage unit to the display control unit.
  • Read control step and controlling the driving unit after the exposure is completed, so that the number of the second pixels other than the first pixel of the plurality of pixels and the first pixel is reduced.
  • a second readout control step for reading out the second captured image signal from the second pixel, and the first captured image signal sequentially read out from the first pixel by the first readout control step.
  • the first captured image signals sequentially read from the first pixel by the control step are accumulated and stored in the first storage unit, and read from the second pixel by the second read control step. Storing the second captured image signal in the first storage unit; and the first stored in the first storage unit.
  • Still image capturing method and an image processing step of storing the generated storage medium captured image data by processing the third image signal composed of the image the image signal and the second image signal.
  • the first timing at which the readout of the first captured image signal is completed immediately before the end of the exposure If the second timing when the mechanical shutter is closed does not match, the first captured image signal is read from the first pixel and the second captured image is read from the second pixel after the end of the exposure.
  • a still image imaging method of reading a signal and reading a second captured image signal from only the second pixel after the exposure is completed when the first timing matches the second timing.
  • the still image imaging method according to any one of (6) to (8), in which the imaging device sequentially reads from the first pixel in the first readout control step.
  • a second storage unit for storing the first captured image signal while overwriting the first captured image signal; and in the display control step, the first captured image signal stored in the second storage unit is stored in the display control step.
  • a still image imaging method comprising: a second storage unit that stores an imaged image signal while overwriting it; and a transfer unit that outputs the first imaged image signal stored in the second storage unit.
  • An imaging apparatus having a MOS-type imaging device having a plurality of pixels, a mechanical shutter disposed in front of the imaging device, and a drive unit that performs driving for reading an imaging signal from the pixels is provided in the mechanical device.
  • Still image exposure control step for controlling the driving unit with the shutter opened to start exposure of the plurality of pixels at the same time, closing the mechanical shutter to end the exposure of the plurality of pixels at the same time, and the exposure
  • a first readout control step of controlling the drive unit during and reading out a first captured image signal from a first pixel of a part of the plurality of pixels at each of a plurality of timings during the exposure; After the exposure, the driving unit is controlled so that at least the second pixel of the plurality of pixels other than the first pixel and the first pixel is the second pixel.
  • Live view image data is generated based on the second read control step for reading the second captured image signal and the first captured image signal sequentially read from the first pixel by the first read control step.
  • the first captured image signal sequentially read from the pixels is accumulated and stored in the first storage unit, and the second captured image signal read from the second pixel by the second readout control step.
  • the first captured image signal stored in the first storage unit, and the first Still image capturing program for executing an image processing step of storing the generated storage medium captured image data, the processing the third image signal composed of the captured image signal.
  • an imaging apparatus capable of recording high-quality still image data while enabling the display of a live view image during still image capturing to be continued.
  • Aperture drive unit 100, 100A, 100B, 100C, 100D Digital camera 1 Imaging lens 2 Aperture 3 Mechanical shutter 4 Lens control unit 5 Imaging element 6 Shutter drive unit 8 Lens drive unit 9 Aperture drive unit 40 Lens device 51 Sensor unit 52 Storage unit 52A First Storage unit 52B second storage unit 53 transfer interface 60 light receiving surface 61 pixel 62 pixel row 63 drive circuit 64 signal processing circuit X row direction Y column direction F1 to F3 field 10 sensor drive unit 11 system control unit 14 operation unit 17 digital Signal processing unit 20 External memory control unit 21 Storage medium 22 Display driver 23 Display unit 24 Control bus 25 Data bus R Straight line 200 indicating read timing Smart phone 201 Case 202 Display panel 203 Operation panel 204 Display input unit 205 Speaker 206 Microphone 207 operation unit 208 the camera unit 210 wireless communication unit 211 calls 212 the memory unit 213 the external input and output unit 214 GPS receiver 215 motion sensor unit 216 power supply unit 217 inside the storage unit 218 the external storage unit 220 main controller ST1 ⁇ STn GPS satellites

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

静止画撮像中におけるライブビュー画像の表示継続を可能としながら、高品質の静止画像データを記録することのできる撮像装置、静止画撮像方法、及び、静止画撮像プログラムを提供する。システム制御部11は、撮像素子5の全ての画素61の露光を同時に開始すると、その露光の途中でフィールドF1の画素61から撮像信号を読み出して第一の記憶部52Aと第二の記憶部52Bに記憶する制御を複数回行う。システム制御部11は、露光が終了すると、フィールドF1,F2,F3の画素61から撮像信号を読み出して第一の記憶部52Aに記憶する。第一の記憶部52Aでは撮像信号が積算して記憶され、第二の記憶部52Bでは撮像信号が上書きして記憶される。デジタル信号処理部17は、第二の記憶部52Bに記憶される撮像信号に基づいてライブビュー画像を生成して表示し、第一の記憶部52Aに記憶される撮像信号に基づいて撮像画像データを生成して記憶する。

Description

撮像装置、静止画撮像方法、及び、静止画撮像プログラム
 本発明は、撮像装置、静止画撮像方法、及び、静止画撮像プログラムに関する。
 近年、CCD(Charge Coupled Device)イメージセンサ、又は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子の高解像度化に伴い、電子内視鏡、デジタルスチルカメラ、デジタルビデオカメラ、又は、カメラ付きの携帯電話機等の撮像機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
 これら撮像装置において、例えば長時間露光による静止画撮像時には、撮像装置の表示部においてライブビュー画像を表示できなくなる。
 特許文献1には、撮像素子の露光期間中に、奇数行の画素と偶数行の画素で交互に信号の読み出しを行い、奇数行の画素で読み出した信号をメモリで積算し、偶数行の画素で読み出した信号をメモリで積算し、積算した奇数行の画素の信号と偶数行の画素の信号を合成して静止画像データ生成用の撮像画像信号を得る撮像装置が記載されている。
 この撮像装置では、メモリに順次積算されていく奇数行又は偶数行の信号に基づいてライブビュー表示を行うことで、静止画撮像中におけるライブビュー画像の表示継続を可能としている。
 特許文献2には、第1領域とモニタリング領域を有する撮像素子を搭載した撮像装置が記載されている。この撮像装置は、静止画撮像時には、モニタリング領域から順次読み出す信号に基づいてライブビュー画像の表示を行うことで、静止画撮像中におけるライブビュー画像の表示継続を可能としている。
 また、この撮像装置は、モニタリング領域に対応する画素信号を、第1領域から読み出した信号を用いて補間生成することで、画素欠損のない静止画像データを生成している。
日本国特開2012-080457号公報 日本国特開2015-138994号公報
 特許文献1に記載の撮像装置は、奇数行の画素又は偶数行の画素から順次読み出されて積算される信号に基づいてライブビュー画像を生成している。このため、ライブビュー画像の明るさが一定にならず、表示品質が低下する。
 この表示品質を確保するためには、各ライブビュー画像の輝度補正等が必要となり、処理が複雑となる。また、撮像している被写体に動体が含まれる場合には、ライブビュー画像に残像が現れることになり、表示品質が低下する。
 特許文献2に記載の撮像装置は、モニタリング領域に対応する画素信号が補間によって生成される。このため、高品質の静止画像データを生成することができない。
 本発明は、上記事情に鑑みてなされたものであり、静止画撮像中におけるライブビュー画像の表示継続を可能としながら、高品質の静止画像データを記録することのできる撮像装置、静止画撮像方法、及び、静止画撮像プログラムを提供することを目的とする。
 本発明の撮像装置は、複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記撮像素子を駆動する駆動部と、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御と、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御と、上記露光の終了後に、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御と、を行う撮像制御部と、上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御部と、上記第一の読み出し制御と上記第二の読み出し制御のうちの少なくとも上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して記憶し、上記第二の読み出し制御によって上記第二の画素から読み出された上記第二の撮像画像信号を記憶する第一の記憶部と、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理部と、を備えるものである。
 本発明の静止画撮像方法は、複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置の静止画撮像方法であって、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御ステップと、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、上記露光の終了後に上記駆動部を制御して、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、上記第一の読み出し制御ステップと上記第二の読み出し制御ステップのうちの少なくとも上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して第一の記憶部に記憶し、上記第二の読み出し制御ステップによって上記第二の画素から読み出された上記第二の撮像画像信号を上記第一の記憶部に記憶するステップと、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を備えるものである。
 本発明の静止画撮像プログラムは、複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置に、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御ステップと、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、上記露光の終了後に上記駆動部を制御して、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、上記第一の読み出し制御ステップと上記第二の読み出し制御ステップのうちの少なくとも上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して第一の記憶部に記憶し、上記第二の読み出し制御ステップによって上記第二の画素から読み出された上記第二の撮像画像信号を上記第一の記憶部に記憶するステップと、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を実行させるためのものである。
 本発明によれば、静止画撮像中におけるライブビュー画像の表示継続を可能としながら、高品質の静止画像データを記録することのできる撮像装置、静止画撮像方法、及び、静止画撮像プログラムを提供することができる。
本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラ100の概略構成を示す図である。 図1に示すデジタルカメラ100に搭載される撮像素子5の概略構成を示す模式図である。 図2に示す撮像素子5のセンサ部51の構成を示す平面模式図である。 図1に示すデジタルカメラ100の静止画撮像時の動作を模式的に示すタイミングチャートである。 図1に示すデジタルカメラ100の静止画撮像時の動作の変形例を模式的に示すタイミングチャートである。 図5に示すタイミングチャートにおける時刻t5から時刻t5aの間のメカニカルシャッタ3とセンサ部51の動作状態を示す図である。 図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Aの要部構成を示す図である。 図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Bの要部構成を示す図である。 図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Cの要部構成を示す図である。 図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Dの要部構成を示す図である。 本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。 図11に示すスマートフォン200の構成を示すブロック図である。
 以下、本発明の実施形態について図面を参照して説明する。
 図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラ100の概略構成を示す図である。
 デジタルカメラ100は、撮像レンズ1と、絞り2と、メカニカルシャッタ3と、レンズ制御部4と、シャッタ駆動部6と、レンズ駆動部8と、絞り駆動部9と、を有するレンズ装置40を備える。
 本実施形態において、レンズ装置40はデジタルカメラ100本体に着脱可能なものとして説明するが、デジタルカメラ100本体に固定されるものであってもよい。
 撮像レンズ1と絞り2は撮像光学系を構成し、撮像光学系は例えばフォーカスレンズ等を含む。
 メカニカルシャッタ3は、撮像光学系に光が入射する状態と、撮像光学系に光を入射させない状態とを機械的に切り替えるシャッタ機構であり、図1の例では、撮像光学系よりも被写体側に配置されている。
 メカニカルシャッタ3は、撮像素子5の前方(被写体側)に配置されていればよく、例えば撮像素子5と撮像光学系との間に配置されていてもよい。
 レンズ装置40のレンズ制御部4は、デジタルカメラ100本体のシステム制御部11と有線又は無線によって通信可能に構成される。
 レンズ制御部4は、システム制御部11からの指令にしたがい、シャッタ駆動部6を介してメカニカルシャッタ3を開閉したり、レンズ駆動部8を介して撮像レンズ1に含まれるフォーカスレンズを駆動したり、絞り駆動部9を介して絞り2を駆動したりする。
 デジタルカメラ100本体は、撮像光学系を通して被写体を撮像するCMOSイメージセンサ等のMOS型の撮像素子5と、撮像素子5を駆動する駆動部として機能するセンサ駆動部10と、デジタルカメラ100の電気制御系全体を統括制御するシステム制御部11と、操作部14と、を備える。
 システム制御部11は、各種のプロセッサとRAM(Ramdom Access Memory)とROM(Read Only Memory)と含んで構成され、デジタルカメラ100全体を統括制御する。このROMには、静止画撮像プログラムを含むプログラムが格納されている。
 さらに、このデジタルカメラ100の電気制御系は、撮像素子5からデータバス25に出力される撮像信号群に対し、補間演算、ガンマ補正演算、及び、RGB/YC変換処理等を行って記録用の撮像画像データとライブビュー画像データとを生成するデジタル信号処理部17と、着脱自在の記憶媒体21が接続される外部メモリ制御部20と、デジタルカメラ100の背面等に搭載された表示部23を駆動する表示ドライバ22と、を備える。
 デジタル信号処理部17は、各種のプロセッサとRAMとROMを含み、このROMに格納されたプログラムをこのプロセッサが実行することで各種処理を行う。このプログラムは静止画撮像プログラムを含む。
 各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Prosessing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 システム制御部11とデジタル信号処理部17の各々のプロセッサは、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
 デジタル信号処理部17、外部メモリ制御部20、及び、表示ドライバ22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令に基づいて動作する。
 図2は、図1に示すデジタルカメラ100に搭載される撮像素子5の概略構成を示す模式図である。
 撮像素子5は、センサ部51と、記憶部52と、転送インタフェース(I/F)53と、を備える。
 センサ部51は、被写体を撮像して撮像画像信号を出力する。センサ部51はセンサ駆動部10によって駆動される。
 記憶部52は、センサ部51から出力された撮像信号を記憶するものであり、第一の記憶部52Aと、第二の記憶部52Bとによって構成される。
 第一の記憶部52Aと第二の記憶部52Bは、それぞれ、データを記憶するためのコンデンサ又はフリップフロップ等の多数の記憶素子と、この多数の記憶素子のデータの記憶及び読み出しを制御する図示省略の制御回路とを含む。これらの制御回路は、システム制御部11によって制御される。
 第一の記憶部52Aと第二の記憶部52Bの各々は、書き換え可能な記憶素子を含むものであれば何でも良く、半導体メモリ又は強誘電体メモリ等を用いることができる。
 第一の記憶部52Aと第二の記憶部52Bの各々には、例えば、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、FRAM(登録商標)(Ferroelectric Random Access Memory)、又は、フラッシュメモリ等を用いることができる。
 第一の記憶部52Aには、センサ部51に含まれる画素の総数と同じ数の撮像信号を記憶可能となっている。
 第二の記憶部52Bには、センサ部51に含まれる画素の総数よりも少ない数の撮像信号を記憶可能となっている。
 転送インタフェース53は、撮像素子5からデータバス25に撮像信号を転送するためのインタフェースであり、システム制御部11によって制御される。
 転送インタフェース53は、例えば、SLVS(Scalable Low Voltage Signaling)等の規格に準拠するインタフェースによって構成される。
 第一の記憶部52Aと第二の記憶部52Bに記憶された撮像信号は、転送インタフェース53によってデータバス25に出力される。転送インタフェース53は転送部として機能する。
 撮像素子5の構成としては、例えば以下の4つが挙げられるが、これらに限定されるものではない。
[1]センサ部51と記憶部52が1チップ化された構成
[2]センサ部51が形成されたチップと、記憶部52が形成されたチップとが積層され、2つのチップがスタッドバンプで電気的に接続されている構成
[3]センサ部51と記憶部52が1つのパッケージに収容され、センサ部51のパッドと記憶部52のパッドがワイヤボンドによって接続されている構成
[4]センサ部51と記憶部52が別のパッケージに収容され、これら2つのパッケージがリードフレームによって接続される構成
 撮像素子5の消費電力低減、高速性、小型化の観点からは、[1]の構成が最も望ましく、[2]の構成が[1]の次に望ましく、[3]の構成が[2]の次に望ましく、[4]の構成が[3]の次に望ましい。[3]と[4]の構成によれば、高度な技術を用いることなく製造することができる。
 図3は、図2に示す撮像素子5のセンサ部51の構成を示す平面模式図である。
 センサ部51は、一方向である行方向Xに配列された複数の画素61からなる画素行62が、行方向Xと直交する列方向Yに複数配列された受光面60と、受光面60に配列された画素を駆動する駆動回路63と、受光面60に配列された画素行62の各画素61から読み出される撮像信号を処理する信号処理回路64と、を備える。
 以下では、図3において受光面60の列方向Yの上方向の端部を上端といい、受光面60の列方向Yの下方向の端部を下端という。
 画素61は、レンズ装置40の撮像光学系を通った光を受光し受光量に応じた電荷を発生して蓄積する光電変換部と、この光電変換部に蓄積された電荷を電圧信号に変換して撮像信号として信号線に読み出す読み出し回路と、を含む。読み出し回路は、周知の構成を採用可能である。
 読み出し回路は、例えば、光電変換部に蓄積された電荷をフローティングディフュージョンに転送するための転送トランジスタと、フローティングディフュージョンの電位をリセットするためのリセットトランジスタと、フローティングディフュージョンの電位に応じた電圧信号を出力する出力トランジスタと、出力トランジスタから出力される電圧信号を選択的に信号線に読み出すための選択トランジスタと、を含む。なお、読み出し回路は、複数の光電変換部で共用される場合もある。
 受光面60に配列された全ての画素行62のうち、Nを0以上の整数として受光面60の上端側から数えて(3N+1)番目にある画素行62が配置される受光面60の領域をフィールドF1という。
 フィールドF1にある画素61は、センサ部51に含まれる全ての画素61のうちの一部の画素である第一の画素を構成する。
 以下では、フィールドF1にある各画素61から信号線に読み出される撮像信号の集合を第一の撮像画像信号という。
 受光面60に配列された全ての画素行62のうち受光面60の上端側から数えて(3N+2)番目にある画素行62が配置される受光面60の領域をフィールドF2という。
 受光面60に配列された全ての画素行62のうち受光面60の上端側から数えて(3N+3)番目にある画素行62が配置される受光面60の領域をフィールドF3という。
 フィールドF2とフィールドF3を合わせた領域にある画素61は、センサ部51に含まれる全ての画素61のうちの上記の第一の画素以外の画素である第二の画素を構成する。
 以下では、フィールドF2及びフィールドF3にある各画素61から信号線に読み出される撮像信号の集合を第二の撮像画像信号という。
 駆動回路63は、各画素61の光電変換部に接続される読み出し回路を画素行単位で駆動して、画素行62毎に、この画素行62に含まれる各光電変換部のリセット、この各光電変換部に蓄積された電荷に応じた電圧信号の信号線への読み出し等を行う。駆動回路63は、センサ駆動部10によって制御される。
 信号処理回路64は、画素行62の各画素61から信号線に読み出された電圧信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の電圧信号をデジタル信号に変換してセンサ部51から出力する。
 システム制御部11のプロセッサは、静止画撮像プログラムを含むプログラムを実行することで、静止画露光制御と、第一の読み出し制御と、第二の読み出し制御とを行う撮像制御部として機能する。
 静止画露光制御とは、レンズ制御部4及びシャッタ駆動部6を介してメカニカルシャッタ3を開けた状態(撮像光学系に光が入射する状態)でセンサ駆動部10を制御してセンサ部51の全ての画素61の露光を同時に開始し、その後、レンズ制御部4及びシャッタ駆動部6を介してメカニカルシャッタ3を閉じてセンサ部51の全ての画素61の露光を同時に終了する制御を言う。
 第一の読み出し制御とは、静止画露光制御によって行われる露光中にセンサ駆動部10を制御して、この露光中の複数のタイミングの各々においてフィールドF1にある全ての画素61から第一の撮像画像信号を読み出す制御を言う。
 第二の記憶部52Bは、第一の撮像画像信号を記憶可能な容量を有している。第一の読み出し制御によって読み出される第一の撮像画像信号は、第一の記憶部52Aと第二の記憶部52Bの各々に記憶される。
 第二の記憶部52Bは、第一の読み出し制御によって順次読み出される第一の撮像画像信号を上書き記憶して、常に最新のものだけを記憶する。
 つまり、第二の記憶部52Bは、第一の撮像画像信号を記憶している状態で、新たな第一の撮像画像信号の入力があると、記憶済みの第一の撮像画像信号の各撮像信号に対し、新たな第一の撮像画像信号のうちのこの各撮像信号の読み出し元の画素61と同じ画素61から読み出された撮像信号を上書きすることで、第一の撮像画像信号を最新のものに更新していく。
 一方、第一の記憶部52Aは、第一の読み出し制御によって順次読み出される第一の撮像画像信号を積算して記憶していく。
 つまり、第一の記憶部52Aは、第一の撮像画像信号を記憶している状態で、新たな第一の撮像画像信号の入力があると、記憶済みの第一の撮像画像信号の各撮像信号と、新たな第一の撮像画像信号のうちのこの各撮像信号の読み出し元の画素61と同じ画素61から読み出された撮像信号とを積算し、積算後の撮像信号を記憶することで、第一の撮像画像信号を更新する。
 これにより、第一の記憶部52Aには、既に記憶済みの第一の撮像画像信号に対し、上記の新たな第一の撮像画像信号が追加記憶されることになる。
 第二の読み出し制御とは、静止画露光制御によって行われる露光の終了後に、フィールドF1にある全ての画素61から第一の撮像画像信号を読み出し、かつ、フィールドF2及びフィールドF3にある全ての画素61から第二の撮像画像信号を読み出す制御を言う。
 第一の記憶部52Aは、第二の読み出し制御によって読み出された第二の撮像画像信号を、第一の撮像画像信号が記憶される領域を除く領域に記憶する。
 したがって、第一の読み出し制御と第二の読み出し制御が終了した状態では、第一の記憶部52Aには、第一の撮像画像信号と第二の撮像画像信号とで構成される第三の撮像画像信号が記憶されることになる。
 デジタル信号処理部17のプロセッサは、デジタル信号処理部17に内蔵されるROMに記憶された静止画撮像プログラムを実行することで、表示制御部と画像処理部として機能する。
 表示制御部として機能するデジタル信号処理部17のプロセッサは、第一の読み出し制御によって順次読み出されて第二の記憶部52Bに記憶され、ここから転送インタフェース53によってデータバス25に出力された上記の第一の撮像画像信号に基づいてライブビュー画像データを生成し、このライブビュー画像データに基づく画像(ライブビュー画像)を、表示ドライバ22を介して表示部23に表示させる。
 画像処理部として機能するデジタル信号処理部17のプロセッサは、第一の読み出し制御と第二の読み出し制御によって読み出されて第一の記憶部52Aに記憶され、ここから転送インタフェース53によってデータバス25に出力された上記の第三の撮像画像信号を処理して撮像画像データを生成し、この撮像画像データを、外部メモリ制御部20を介して記憶媒体21に記憶する。
 図4は、図1に示すデジタルカメラ100の静止画撮像時の動作を模式的に示すタイミングチャートである。
 図4において、“メカニカルシャッタ”の横には、メカニカルシャッタ3の開閉状態が示されている。
 図4において、“センサ部”の横には、センサ部51で行われる静止画撮像のための露光のタイミングが示されている。
 図4において、“第一の記憶部”の横には、第一の記憶部52Aにおける撮像信号の記憶状態が示されている。
 図4において、“第二の記憶部”の横には、第二の記憶部52Bにおける撮像信号の記憶状態が示されている。
 図4において、“撮像素子出力”の横には、撮像素子5からの撮像信号の出力状態が示されている。
 図4において、“カメラ側処理”の横には、デジタル信号処理部17で行われる処理が示されている。
 デジタルカメラ100が撮像モードに設定されると、システム制御部11は、レンズ制御部4に指令を出してメカニカルシャッタ3を開けた状態とし、この状態で撮像素子5によりライブビュー画像表示のための撮像を行わせる。これにより、表示部23にはライブビュー画像が表示される。
 この状態で静止画撮像を行う指示がなされると、この指示に応じて、システム制御部11は、センサ駆動部10を制御してセンサ部51の全ての画素61のリセット(光電変換部からの電荷の排出)を同時に行い、全ての画素61の露光(静止画露光制御による露光)を同時に開始する(時刻t1)。
 時刻t1で開始された露光の期間中の時刻t2になると、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF1にある各画素61から撮像信号を読み出す第一の読み出し制御を実施する。
 この第一の読み出し制御によって読み出された第一の撮像画像信号は、第一の記憶部52Aに記憶される(ステップS1)と共に、第二の記憶部52Bに記憶される(ステップS2)。
 そして、第二の記憶部52Bへの第一の撮像画像信号の記憶が完了すると、システム制御部11の制御により、第二の記憶部52Bに記憶された第一の撮像画像信号が、1ラインずつ、転送インタフェース53からデータバス25へと出力される(ステップS3)。
 ステップS3でデータバス25に出力された第一の撮像画像信号の各ラインは、デジタル信号処理部17に内蔵されるラインメモリに順次記憶されて処理されることでライブビュー画像データが1ラインずつ生成される。
 そして、デジタル信号処理部17は、生成したライブビュー画像データの1ラインを表示ドライバ22に転送する。表示ドライバ22は、受信した1ラインを表示部23に描画する。この処理が繰り返されることで、ライブビュー画像データに基づくライブビュー画像が表示部23に表示される(ステップS4)。
 時刻t2の後の時刻t3になると、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF1にある各画素61から撮像信号を読み出す第一の読み出し制御を再び実施する。
 この第一の読み出し制御によって読み出された第一の撮像画像信号は、ステップS1で第一の記憶部52Aに記憶された第一の撮像画像信号と積算されることで第一の記憶部52Aに追加記憶される(ステップS5)。
 また、この第一の撮像画像信号は、ステップS2で第二の記憶部52Bに記憶された第一の撮像画像信号に上書きされることで、第二の記憶部52Bに記憶される(ステップS6)。
 そして、ステップS6の処理が完了すると、システム制御部11の制御により、第二の記憶部52Bに上書き記憶された第一の撮像画像信号が、1ラインずつ、転送インタフェース53からデータバス25へと出力される(ステップS7)。
 ステップS7でデータバス25に出力された第一の撮像画像信号の各ラインは、デジタル信号処理部17に内蔵されるラインメモリに順次記憶されて処理されることでライブビュー画像データが1ラインずつ生成される。
 そして、デジタル信号処理部17は、生成したライブビュー画像データの1ラインを表示ドライバ22に転送する。表示ドライバ22は、受信した1ラインを表示部23に描画する。
 この処理が繰り返されることで、ステップS4の処理で表示中のライブビュー画像がライン毎に更新される(ステップS8)。
 時刻t3の後の時刻t4になると、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF1にある各画素61から撮像信号を読み出す第一の読み出し制御を再び実施する。
 この第一の読み出し制御によって読み出された第一の撮像画像信号は、ステップS5で第一の記憶部52Aに記憶された第一の撮像画像信号と積算されることで第一の記憶部52Aに追加記憶される(ステップS9)。
 また、この第一の撮像画像信号は、ステップS6で第二の記憶部52Bに記憶された第一の撮像画像信号に上書きされることで、第二の記憶部52Bに記憶される(ステップS10)。
 そして、ステップS10の処理が完了すると、システム制御部11の制御により、第二の記憶部52Bに上書き記憶された第一の撮像画像信号が、1ラインずつ、転送インタフェース53からデータバス25へと出力される(ステップS11)。
 ステップS11でデータバス25に出力された第一の撮像画像信号の各ラインは、デジタル信号処理部17に内蔵されるラインメモリに順次記憶されて処理されることでライブビュー画像データが1ラインずつ生成される。
 そして、デジタル信号処理部17は、生成したライブビュー画像データの1ラインを表示ドライバ22に転送する。表示ドライバ22は、受信した1ラインを表示部23に描画する。
 この処理が繰り返されることで、ステップS8の処理で表示中のライブビュー画像がライン毎に更新される(ステップS12)。
 時刻t4の後の時刻t5になると、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF1にある各画素61から撮像信号を読み出す第一の読み出し制御を再び実施する。
 この第一の読み出し制御によって読み出された第一の撮像画像信号は、ステップS9で第一の記憶部52Aに記憶された第一の撮像画像信号と積算されることで第一の記憶部52Aに追加記憶される(ステップS13)。
 また、この第一の撮像画像信号は、ステップS10で第二の記憶部52Bに記憶された第一の撮像画像信号に上書きされることで、第二の記憶部52Bに記憶される(ステップS14)。
 そして、ステップS14の処理が完了すると、システム制御部11の制御により、第二の記憶部52Bに上書き記憶された第一の撮像画像信号が、1ラインずつ、転送インタフェース53からデータバス25へと出力される(ステップS15)。
 ステップS15でデータバス25に出力された第一の撮像画像信号の各ラインは、デジタル信号処理部17に内蔵されるラインメモリに順次記憶されて処理されることでライブビュー画像データが1ラインずつ生成される。
 そして、デジタル信号処理部17は、生成したライブビュー画像データの1ラインを表示ドライバ22に転送する。表示ドライバ22は、受信した1ラインを表示部23に描画する。
 この処理が繰り返されることで、ステップS12の処理で表示中のライブビュー画像がライン毎に更新される(ステップS16)。
 時刻t5の後の時刻t6になると、システム制御部11は、レンズ制御部4を制御してメカニカルシャッタ3を閉じることで、時刻t1で開始したセンサ部51の全ての画素61の露光を終了する。
 静止画露光制御による露光を終了すると、システム制御部11は、センサ駆動部10を制御して、まず、センサ部51のフィールドF1にある各画素61から撮像信号を読み出す第一の読み出し制御を実施する。
 この第一の読み出し制御によって読み出された第一の撮像画像信号は、ステップS13で第一の記憶部52Aに記憶された第一の撮像画像信号と積算されることで第一の記憶部52Aに追加記憶される(ステップS17)。
 ステップS1、ステップS5、ステップS9、ステップS13、及び、ステップS17の処理により、第一の記憶部52Aには、時刻t1から時刻t2の間の露光によって得られた第一の撮像画像信号と、時刻t2から時刻t3の間の露光によって得られた第一の撮像画像信号と、時刻t3から時刻t4の間の露光によって得られた第一の撮像画像信号と、時刻t4から時刻t5の間の露光によって得られた第一の撮像画像信号と、時刻t5から時刻t6の間の露光によって得られた第一の撮像画像信号との計5つの第一の撮像画像信号の積算値が記憶される。
 この積算値は、時刻t1から時刻t6の間の露光によってセンサ部51のフィールドF1にある各画素61に蓄積された電荷に応じた撮像信号の集合となる。
 次に、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF2にある各画素61から撮像信号を読み出す第二の読み出し制御を実施する。この第二の読み出し制御によって読み出された撮像画像信号は、第一の記憶部52Aに記憶される(ステップS18)。
 次に、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF3にある各画素61から撮像信号を読み出す第二の読み出し制御を実施する。この第二の読み出し制御によって読み出された撮像画像信号は、第一の記憶部52Aに記憶される(ステップS19)。
 ステップS17~ステップS19の処理により、第一の記憶部52Aには、時刻t1から時刻t6の間の露光によって得られた第一の撮像画像信号と、時刻t1から時刻t6の間の露光によって得られた第二の撮像画像信号とが記憶され、第一の撮像画像信号と第二の撮像画像信号とによって第三の撮像画像信号が構成される。
 この第三の撮像画像信号は、センサ部51の全ての画素61を、途中で撮像信号を読み出すことなく時刻t1から時刻t6まで露光し、この露光終了後に、この全ての画素61から読み出して得られる撮像画像信号と等価となる。
 ステップS19の処理が終了し、第一の記憶部52Aに第三の撮像画像信号が記憶された状態になると、システム制御部11の制御により、第一の記憶部52Aに記憶されている第三の撮像画像信号が、1ラインずつ、転送インタフェース53からデータバス25へと出力される(ステップS20)。
 データバス25に出力された第三の撮像画像信号は、デジタル信号処理部17のラインメモリに順次記憶されて処理されて撮像画像データが生成され、生成された撮像画像データが記憶媒体21に記憶される(ステップS21)。
 これにより、静止画撮像が完了し、ライブビュー画像表示用の撮像が再開されて、ライブビュー画像の表示が再開される。
 以上のように、デジタルカメラ100によれば、静止画撮像のための露光中であっても、センサ部51の一部の画素61から読み出される第一の撮像画像信号に基づいてライブビュー画像が表示されるため、ライブビュー画像の表示更新を継続することができる。
 また、ライブビュー画像データの生成に用いられる第一の撮像画像信号は、第二の記憶部52Bにおいて上書き記憶されるものである。このため、静止画撮像中の被写体が動いている場合であってもライブビュー画像の品質を向上させることができる。
 また、時刻t1から時刻t2までの時間と、時刻t2から時刻t3までの時間と、時刻t3から時刻t4までの時間と、時刻t4から時刻t5までの時間と、時刻t5から時刻t6までの時間とをそれぞれ同じにすることで、ライブビュー画像データの生成に用いられる第一の撮像画像信号は、全て同じ露光時間で得られたものにすることができる。
 このため、図4のステップS4、ステップS8、ステップS12、及び、ステップS16の各々で表示されるライブビュー画像の輝度補正は不要となり、処理を簡略化することができる。
 また、デジタルカメラ100によれば、露光中に撮像信号が読み出されるのはフィールドF1にある画素61だけである。このように、フィールドF2とフィールドF3にある画素61については露光終了までは撮像信号の読み出しが行われないことで、静止画撮像に要する電力消費を少なくすることができ、デジタルカメラ100の電池持ちを長くすることができる。
 また、デジタルカメラ100によれば、第一の記憶部52Aには、露光中に複数回に分けて読み出された第一の撮像画像信号の積算値と、露光終了後に読み出された第二の撮像画像信号とが記憶される。
 第一の撮像画像信号の積算値と第二の撮像画像信号とから構成される第三の撮像画像信号は、全ての画素61を同じ露光時間で露光して得られたものと等価となる。このため、第三の撮像画像信号に基づいて生成される撮像画像データの高品質化が可能となる。
 また、デジタルカメラ100によれば、撮像素子5が第一の記憶部52Aを有する構成である。このため、第三の撮像画像信号の出力途中であっても次の静止画撮像のための露光を開始することが可能となる。
 例えば、ステップS20において、ステップS17で第一の記憶部52Aに記憶された第一の撮像画像信号を先に出力し、その後に、第二の撮像画像信号を出力する構成とする。
 この構成によれば、第一の記憶部52Aに記憶された第一の撮像画像信号の出力が終了した時点で第一の記憶部52Aには新たな第一の撮像画像信号の記憶が可能になる。したがって、次の静止画露光制御を開始することができる。
 このように、静止画撮像を行ってから次の静止画撮像が可能となるまでの時間を短縮することができるため、シャッタチャンスを逃してしまう可能性を減らすことができる。
 また、デジタルカメラ100によれば、撮像素子5が第一の記憶部52Aと第二の記憶部52Bを有する構成である。このため、転送インタフェース53の転送速度が低速であっても、露光中の第一の撮像画像信号の読み出しを高速に行うことができる。
 露光中の第一の撮像画像信号の読み出しを高速に行えることで、動く被写体を撮像している場合でも、この第一の撮像画像信号に基づく画像の歪みを抑えることができ、ライブビュー画像と撮像画像データの品質を向上させることができる。
 図4の説明では、静止画撮像のための露光中に第一の読み出し制御を4回行うものとしたが、この回数は2回以上であればライブビュー表示の更新を適度に行うことができ、ライブビュー画像の品質を向上させることができる。
 また、露光の途中でセンサ部51から撮像信号を読み出す画素をフィールドF1にある画素61としているが、フィールドF2にある画素61又はフィールドF3にある画素61から撮像信号を読み出す構成であってもよい。
 また、センサ部51の画素61は3つのフィールドに分割される構成であるが、フィールドの分割数は2つ以上であればよい。
 図5は、図1に示すデジタルカメラ100の静止画撮像時の動作の変形例を模式的に示すタイミングチャートである。
 図5に示すタイミングチャートは、ステップS13で開始された第一の撮像画像信号の第一の記憶部52Aへの記憶が完了したタイミング(図中の時刻t5a)で静止画撮像のための露光が終了している点と、この露光の終了後に行われるステップS17の処理が削除された点を除いては図4に示したものと同じである。
 図6は、図5に示すタイミングチャートにおける時刻t5から時刻t5aの間のメカニカルシャッタ3とセンサ部51の動作状態を示す図である。
 図6に示す直線Rは、フィールドF1にある画素61から撮像信号を読み出すタイミングを示しており、時刻t5から時刻t5aにかけて、フィールドF1にある画素行62が受光面60の上端側から下端側に向かって順次選択され、選択された画素行62の各画素61から撮像信号が読み出される。
 また、この例では、メカニカルシャッタ3は、受光面60を上端側から下端側に向かって順次遮光していく構成となっている。
 メカニカルシャッタ3は、時刻t5において閉じる動作を開始し、受光面60を上端側から下端側に向かって移動する。そして、メカニカルシャッタ3は、時刻t5aで受光面60全体を遮光する。
 図5及び図6に示された時刻t5aは、静止画撮像のための露光の終了の直前において第一の撮像画像信号の読み出しが完了した第一タイミングであり、かつ、メカニカルシャッタ3の閉じた第二タイミングである。
 このように、静止画撮像のための露光時間が、第一タイミングと第二タイミングとが一致するような露光時間である場合には、時刻t5から時刻t5aの間において、フィールドF1の任意の画素行62からの撮像信号の読み出し前、この撮像信号の読み出し後、又は、この撮像信号の読み出し中に、この任意の画素行62の露光が終了する。
 このため、この任意の画素行62から撮像信号を読み出し終わった状態では、この任意の画素行62は露光されておらず、露光期間の終了後に、この任意の画素行62の各画素61から撮像信号を読み出す必要はなくなる。
 したがって、図5に示すように、時刻t5aで露光期間が終了すると、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF2にある各画素61から撮像信号を読み出す第二の読み出し制御を実施する。この第二の読み出し制御によって読み出された撮像画像信号は、第一の記憶部52Aに記憶される(ステップS18)。
 次に、システム制御部11は、センサ駆動部10を制御して、センサ部51のフィールドF3にある各画素61から撮像信号を読み出す第二の読み出し制御を実施する。この第二の読み出し制御によって読み出された撮像画像信号は、第一の記憶部52Aに記憶される(ステップS19)。この後は、図4で説明したとおりである。
 以上のように、図5に示す動作例によれば、静止画撮像のための露光が終了した時点で、フィールドF1にある画素61からの撮像信号の読み出しが完了している。このため、撮像画像データが記憶媒体21に記憶されるまでにかかる時間を短縮することができる。また、次の静止画撮像が可能となるまでの時間を更に短縮することができる。
 図7は、図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Aの要部構成を示す図である。
 デジタルカメラ100Aは、撮像素子5に内蔵される記憶部52が第一の記憶部52Aのみを含む点と、センサ部51から出力される撮像信号が転送インタフェース53にも入力される点を除いては、デジタルカメラ100と同じ構成である。
 デジタルカメラ100Aでは、図4の時刻t2~t5の各々でセンサ部51から出力される撮像信号が、第一の記憶部52Aに記憶されると共に、転送インタフェース53からデータバス25に出力される。
 そして、デジタルカメラ100Aのデジタル信号処理部17は、データバス25に出力される撮像信号を処理してライブビュー画像データを生成し、このライブビュー画像データに基づくライブビュー画像を表示部23に表示させる。
 つまり、デジタルカメラ100Aの静止画撮像時の動作は、図4において、ステップS2、ステップS6、ステップS10、及び、ステップS14が削除され、ステップS3の開始タイミングが時刻t2に変更され、ステップS7の開始タイミングが時刻t3に変更され、ステップS11の開始タイミングが時刻t4に変更され、ステップS15の開始タイミングが時刻t5に変更され、この変更に合わせてステップS4、ステップS8、ステップS12、及び、ステップS16の開始タイミングが早められたものとなる。
 このように、撮像素子5に第二の記憶部52Bが含まれない構成であっても、露光期間中にライブビュー画像の表示を継続しながら、高品質の静止画像データを記憶することができる。この構成によれば、撮像素子5の記憶部52の容量を削減してデジタルカメラのコストを下げることができる。
 また、デジタルカメラ100Aによれば、ライブビュー画像表示用の撮像信号はセンサ部51から出力後、転送インタフェース53によって直ぐに転送されるので、高速処理が可能となり、ライブビュー画像の表示を滑らかに行うことができる。
 図8は、図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Bの要部構成を示す図である。
 デジタルカメラ100Bは、第二の記憶部52Bが撮像素子5外部に設けられてデータバス25に接続されている点を除いては、図7のデジタルカメラ100Aと同じ構成である。
 デジタルカメラ100Bでは、図4の時刻t2~t5の各々でセンサ部51から出力される撮像信号が、第一の記憶部52Aに記憶されると共に、転送インタフェース53からデータバス25に出力されて第二の記憶部52Bに記憶される。第二の記憶部52Bでは、第一の撮像画像信号が順次上書きされる。
 そして、デジタルカメラ100Bのデジタル信号処理部17は、第二の記憶部52Bに記憶された第一の撮像画像信号を処理してライブビュー画像データを生成し、このライブビュー画像データに基づくライブビュー画像を表示部23に表示させる。
 デジタルカメラ100Bによれば、第二の記憶部52Bを利用した複雑な画像処理を第一の撮像画像信号に対して実施することができる。このため、ライブビュー画像の高品質化を図ることができる。
 図9は、図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Cの要部構成を示す図である。
 デジタルカメラ100Cは、記憶部52が撮像素子5の外部に設けられてデータバス25に接続されている点を除いては、図1のデジタルカメラ100と同じ構成である。
 デジタルカメラ100Cでは、露光中にセンサ部51のフィールドF1にある画素61から読み出された第一の撮像画像信号が、転送インタフェース53からデータバス25に出力されて第一の記憶部52Aと第二の記憶部52Bに記憶される。
 第一の記憶部52Aでは第一の撮像画像信号が積算して記憶され、第二の記憶部52Bでは第一の撮像画像信号が上書き記憶される点はデジタルカメラ100と同様である。
 また、デジタルカメラ100Cでは、露光終了後にセンサ部51のフィールドF1にある画素61から読み出された第一の撮像画像信号が、転送インタフェース53からデータバス25に出力されて第一の記憶部52Aに記憶される。
 また、デジタルカメラ100Cでは、露光終了後にセンサ部51のフィールドF2及びフィールドF3にある画素61から読み出された第二の撮像画像信号が、転送インタフェース53からデータバス25に出力されて第一の記憶部52Aに記憶される。これにより、第一の記憶部52Aには第三の撮像画像信号が記憶される。
 デジタルカメラ100Cのデジタル信号処理部17は、第二の記憶部52Bに記憶された第一の撮像画像信号を処理してライブビュー画像データを生成し、このライブビュー画像データに基づくライブビュー画像を表示部23に表示させる。
 また、デジタルカメラ100Cのデジタル信号処理部17は、第一の記憶部52Aに記憶された第三の撮像画像信号を処理して撮像画像データを生成し、これを記憶媒体21に記憶する。
 このように、撮像素子5に記憶部52が含まれない構成であっても、露光期間中にライブビュー画像の表示を継続しながら、高品質の静止画像データを記憶することができる。この構成によれば、撮像素子5のコストを下げてデジタルカメラを安価に提供することができる。
 また、デジタルカメラ100Cによれば、ライブビュー画像表示用の撮像信号はセンサ部51から出力後、転送インタフェース53によって直ぐに転送されるので、高速処理が可能となり、ライブビュー画像の表示を滑らかに行うことができる。
 また、デジタルカメラ100Cによれば、第二の記憶部52Bを利用した複雑な画像処理を第一の撮像画像信号に対して実施することができるため、ライブビュー画像の高品質化を図ることができる。
 図10は、図1に示すデジタルカメラ100の変形例であるデジタルカメラ100Dの要部構成を示す図である。
 デジタルカメラ100Dは、撮像素子5の外部に設けられた記憶部52が第一の記憶部52Aのみを有する構成となっている点を除いては、図9のデジタルカメラ100Cと同じ構成である。
 デジタルカメラ100Dでは、露光中にセンサ部51のフィールドF1にある画素61から読み出された第一の撮像画像信号が、転送インタフェース53からデータバス25に出力されて第一の記憶部52Aに記憶されると共に、デジタル信号処理部17のラインメモリにも順次記憶される。
 デジタルカメラ100Dのデジタル信号処理部17は、ラインメモリに順次記憶される第一の撮像画像信号を処理してライブビュー画像データを生成し、このライブビュー画像データに基づくライブビュー画像を表示部23に表示させる。
 デジタルカメラ100Dによれば、記憶部52のコストを下げることができ、デジタルカメラを安価に提供することができる。
 ここまでは撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
 図11は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。
 図11に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
 また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。
 なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
 図12は、図11に示すスマートフォン200の構成を示すブロック図である。
 図12に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。
 また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
 無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、又は、Webデータ又はストリーミングデータ等の受信を行う。
 表示入力部204は、主制御部220の制御により、画像(静止画像および動画像)又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
 表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等を表示デバイスとして用いたものである。
 操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
 図11に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
 係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさ等に応じて適宜設計されるものである。
 更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、又は、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
 通話部211は、スピーカ205又はマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
 また、図11に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
 操作部207は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図11に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部212は、主制御部220の制御プログラム又は制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ又は、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。
 なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)等の格納媒体を用いて実現される。
 外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394等)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(登録商標)(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)等)により直接的又は間接的に接続するためのものである。
 スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)又はSIM(Subscriber Identity Module Card)/UIM(User Identity Module
 Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホン等がある。
 外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達したり、スマートフォン200の内部のデータを外部機器に伝送したりする。
 GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。
 GPS受信部214は、無線通信部210又は外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部215は、例えば、3軸の加速度センサ等を備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向又は加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
 電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラム又は制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。
 また、主制御部220は、無線通信部210を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。
 アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又は、ウェブページを閲覧するウェブブラウジング機能等がある。
 また、主制御部220は、受信データ又はダウンロードしたストリーミングデータ等の画像データ(静止画像又は動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。
 画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
 更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
 なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作又は、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
 更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記憶媒体21、表示部23、表示ドライバ22、及び、操作部14以外の構成を含む。
 カメラ部208によって生成された撮像画像データは、記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることができる。
 図11に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
 また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することができる。操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
 また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断したり現在の使用環境を判断したりすることもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等を付加して記憶部212に記憶したり、外部入出力部213又は無線通信部210を通じて出力したりすることもできる。
 以上のように、本明細書には以下の事項が開示されている。
(1) 複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記撮像素子を駆動する駆動部と、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御と、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御と、上記露光の終了後に、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御と、を行う撮像制御部と、上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御部と、上記第一の読み出し制御と上記第二の読み出し制御のうちの少なくとも上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して記憶し、上記第二の読み出し制御によって上記第二の画素から読み出された上記第二の撮像画像信号を記憶する第一の記憶部と、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理部と、を備える撮像装置。
(2) (1)記載の撮像装置であって、上記撮像制御部は、上記露光の終了の直前において上記第一の撮像画像信号の読み出しが完了した第一タイミングと、上記メカニカルシャッタの閉じた第二タイミングとが不一致の場合には、上記第二の読み出し制御として、上記第一の画素から第一の撮像画像信号を読み出し、かつ、上記第二の画素から第二の撮像画像信号を読み出す制御を行い、上記第一タイミングと上記第二タイミングが一致する場合には、上記第二の読み出し制御として、上記第二の画素のみから第二の撮像画像信号を読み出す制御を行う撮像装置。
(3) (1)又は(2)記載の撮像装置であって、上記第一の記憶部は、上記撮像素子に内蔵される撮像装置。
(4) (1)~(3)のいずれか1つに記載の撮像装置であって、上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号を上書きしながら記憶する第二の記憶部を上記撮像素子の外部に更に備え、上記表示制御部は、上記第二の記憶部に記憶された上記第一の撮像画像信号を処理して上記ライブビュー画像データを生成する撮像装置。
(5) (1)~(3)のいずれか1つに記載の撮像装置であって、上記撮像素子は、上記第一の読み出し制御によって上記第一の画素から順次読み出される上記第一の撮像画像信号を上書きしながら記憶する第二の記憶部と、上記第二の記憶部に記憶されている上記第一の撮像画像信号を上記表示制御部に転送する転送部と、を備える撮像装置。
(6) 複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置の静止画撮像方法であって、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御ステップと、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、上記露光の終了後に上記駆動部を制御して、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、上記第一の読み出し制御ステップと上記第二の読み出し制御ステップのうちの少なくとも上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して第一の記憶部に記憶し、上記第二の読み出し制御ステップによって上記第二の画素から読み出された上記第二の撮像画像信号を上記第一の記憶部に記憶するステップと、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を備える静止画撮像方法。
(7) (6)記載の静止画撮像方法であって、上記第二の読み出し制御ステップでは、上記露光の終了の直前において上記第一の撮像画像信号の読み出しが完了した第一タイミングと、上記メカニカルシャッタの閉じた第二タイミングとが不一致の場合には、上記露光の終了後に、上記第一の画素から第一の撮像画像信号を読み出し、かつ、上記第二の画素から第二の撮像画像信号を読み出し、上記第一タイミングと上記第二タイミングが一致する場合には、上記露光の終了後に、上記第二の画素のみから第二の撮像画像信号を読み出す静止画撮像方法。
(8) (6)又は(7)記載の静止画撮像方法であって、上記第一の記憶部は、上記撮像素子に内蔵される静止画撮像方法。
(9) (6)~(8)のいずれか1つに記載の静止画撮像方法であって、上記撮像装置は、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を上書きしながら記憶する第二の記憶部を上記撮像素子の外部に更に備え、上記表示制御ステップでは、上記第二の記憶部に記憶された上記第一の撮像画像信号を処理して上記ライブビュー画像データを生成する静止画撮像方法。
(10) (6)~(8)のいずれか1つに記載の静止画撮像方法であって、上記撮像素子は、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を上書きしながら記憶する第二の記憶部と、上記第二の記憶部に記憶されている上記第一の撮像画像信号を出力する転送部と、を備える静止画撮像方法。
(11) 複数の画素を有するMOS型の撮像素子と、上記撮像素子の前方に配置されるメカニカルシャッタと、上記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置に、上記メカニカルシャッタを開けた状態で上記駆動部を制御して上記複数の画素の露光を同時に開始し、上記メカニカルシャッタを閉じて上記複数の画素の上記露光を同時に終了する静止画露光制御ステップと、上記露光中に上記駆動部を制御して、上記露光中の複数のタイミングの各々において上記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、上記露光の終了後に上記駆動部を制御して、上記複数の画素の上記第一の画素以外の第二の画素と上記第一の画素とのうち少なくとも上記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号に基づいてライブビュー画像データを生成し上記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、上記第一の読み出し制御ステップと上記第二の読み出し制御ステップのうちの少なくとも上記第一の読み出し制御ステップによって上記第一の画素から順次読み出される上記第一の撮像画像信号を積算して第一の記憶部に記憶し、上記第二の読み出し制御ステップによって上記第二の画素から読み出された上記第二の撮像画像信号を上記第一の記憶部に記憶するステップと、上記第一の記憶部に記憶された上記第一の撮像画像信号と上記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を実行させるための静止画撮像プログラム。
 本発明によれば、静止画撮像中におけるライブビュー画像の表示継続を可能としながら、高品質の静止画像データを記録することのできる撮像装置を提供することができる。
 以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
 本出願は、2016年10月4日出願の日本特許出願(特願2016-196539)に基づくものであり、その内容はここに取り込まれる。
100,100A,100B,100C,100D デジタルカメラ
1 撮像レンズ
2 絞り
3 メカニカルシャッタ
4 レンズ制御部
5 撮像素子
6 シャッタ駆動部
8 レンズ駆動部
9 絞り駆動部
40 レンズ装置
51 センサ部
52 記憶部
52A 第一の記憶部
52B 第二の記憶部
53 転送インタフェース
60 受光面
61 画素
62 画素行
63 駆動回路
64 信号処理回路
X 行方向
Y 列方向
F1~F3 フィールド
10 センサ駆動部
11 システム制御部
14 操作部
17 デジタル信号処理部
20 外部メモリ制御部
21 記憶媒体
22 表示ドライバ
23 表示部
24 制御バス
25 データバス
R 読み出しタイミングを示す直線
200 スマートフォン
201 筐体
202 表示パネル
203 操作パネル
204 表示入力部
205 スピーカ
206 マイクロホン
207 操作部
208 カメラ部
210 無線通信部
211 通話部
212 記憶部
213 外部入出力部
214 GPS受信部
215 モーションセンサ部
216 電源部
217 内部記憶部
218 外部記憶部
220 主制御部
ST1~STn GPS衛星

Claims (11)

  1.  複数の画素を有するMOS型の撮像素子と、
     前記撮像素子の前方に配置されるメカニカルシャッタと、
     前記撮像素子を駆動する駆動部と、
     前記メカニカルシャッタを開けた状態で前記駆動部を制御して前記複数の画素の露光を同時に開始し、前記メカニカルシャッタを閉じて前記複数の画素の前記露光を同時に終了する静止画露光制御と、前記露光中に前記駆動部を制御して、前記露光中の複数のタイミングの各々において前記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御と、前記露光の終了後に、前記複数の画素の前記第一の画素以外の第二の画素と前記第一の画素とのうち少なくとも前記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御と、を行う撮像制御部と、
     前記第一の読み出し制御によって前記第一の画素から順次読み出される前記第一の撮像画像信号に基づいてライブビュー画像データを生成し前記ライブビュー画像データに基づく画像を表示部に表示させる表示制御部と、
     前記第一の読み出し制御と前記第二の読み出し制御のうちの少なくとも前記第一の読み出し制御によって前記第一の画素から順次読み出される前記第一の撮像画像信号を積算して記憶し、前記第二の読み出し制御によって前記第二の画素から読み出された前記第二の撮像画像信号を記憶する第一の記憶部と、
     前記第一の記憶部に記憶された前記第一の撮像画像信号と前記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理部と、を備える撮像装置。
  2.  請求項1記載の撮像装置であって、
     前記撮像制御部は、前記露光の終了の直前において前記第一の撮像画像信号の読み出しが完了した第一タイミングと、前記メカニカルシャッタの閉じた第二タイミングとが不一致の場合には、前記第二の読み出し制御として、前記第一の画素から第一の撮像画像信号を読み出し、かつ、前記第二の画素から第二の撮像画像信号を読み出す制御を行い、前記第一タイミングと前記第二タイミングが一致する場合には、前記第二の読み出し制御として、前記第二の画素のみから第二の撮像画像信号を読み出す制御を行う撮像装置。
  3.  請求項1又は2記載の撮像装置であって、
     前記第一の記憶部は、前記撮像素子に内蔵される撮像装置。
  4.  請求項1~3のいずれか1項記載の撮像装置であって、
     前記第一の読み出し制御によって前記第一の画素から順次読み出される前記第一の撮像画像信号を上書きしながら記憶する第二の記憶部を前記撮像素子の外部に更に備え、
     前記表示制御部は、前記第二の記憶部に記憶された前記第一の撮像画像信号を処理して前記ライブビュー画像データを生成する撮像装置。
  5.  請求項1~3のいずれか1項記載の撮像装置であって、
     前記撮像素子は、前記第一の読み出し制御によって前記第一の画素から順次読み出される前記第一の撮像画像信号を上書きしながら記憶する第二の記憶部と、前記第二の記憶部に記憶されている前記第一の撮像画像信号を前記表示制御部に転送する転送部と、を備える撮像装置。
  6.  複数の画素を有するMOS型の撮像素子と、前記撮像素子の前方に配置されるメカニカルシャッタと、前記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置の静止画撮像方法であって、
     前記メカニカルシャッタを開けた状態で前記駆動部を制御して前記複数の画素の露光を同時に開始し、前記メカニカルシャッタを閉じて前記複数の画素の前記露光を同時に終了する静止画露光制御ステップと、
     前記露光中に前記駆動部を制御して、前記露光中の複数のタイミングの各々において前記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、
     前記露光の終了後に前記駆動部を制御して、前記複数の画素の前記第一の画素以外の第二の画素と前記第一の画素とのうち少なくとも前記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、
     前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号に基づいてライブビュー画像データを生成し前記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、
     前記第一の読み出し制御ステップと前記第二の読み出し制御ステップのうちの少なくとも前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号を積算して第一の記憶部に記憶し、前記第二の読み出し制御ステップによって前記第二の画素から読み出された前記第二の撮像画像信号を前記第一の記憶部に記憶するステップと、
     前記第一の記憶部に記憶された前記第一の撮像画像信号と前記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を備える静止画撮像方法。
  7.  請求項6記載の静止画撮像方法であって、
     前記第二の読み出し制御ステップでは、前記露光の終了の直前において前記第一の撮像画像信号の読み出しが完了した第一タイミングと、前記メカニカルシャッタの閉じた第二タイミングとが不一致の場合には、前記露光の終了後に、前記第一の画素から第一の撮像画像信号を読み出し、かつ、前記第二の画素から第二の撮像画像信号を読み出し、前記第一タイミングと前記第二タイミングが一致する場合には、前記露光の終了後に、前記第二の画素のみから第二の撮像画像信号を読み出す静止画撮像方法。
  8.  請求項6又は7記載の静止画撮像方法であって、
     前記第一の記憶部は、前記撮像素子に内蔵される静止画撮像方法。
  9.  請求項6~8のいずれか1項記載の静止画撮像方法であって、
     前記撮像装置は、前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号を上書きしながら記憶する第二の記憶部を前記撮像素子の外部に更に備え、
     前記表示制御ステップでは、前記第二の記憶部に記憶された前記第一の撮像画像信号を処理して前記ライブビュー画像データを生成する静止画撮像方法。
  10.  請求項6~8のいずれか1項記載の静止画撮像方法であって、
     前記撮像素子は、前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号を上書きしながら記憶する第二の記憶部と、前記第二の記憶部に記憶されている前記第一の撮像画像信号を出力する転送部と、を備える静止画撮像方法。
  11.  複数の画素を有するMOS型の撮像素子と、前記撮像素子の前方に配置されるメカニカルシャッタと、前記画素から撮像信号を読み出す駆動を行う駆動部と、を有する撮像装置に、
     前記メカニカルシャッタを開けた状態で前記駆動部を制御して前記複数の画素の露光を同時に開始し、前記メカニカルシャッタを閉じて前記複数の画素の前記露光を同時に終了する静止画露光制御ステップと、
     前記露光中に前記駆動部を制御して、前記露光中の複数のタイミングの各々において前記複数の画素の一部の第一の画素から第一の撮像画像信号を読み出す第一の読み出し制御ステップと、
     前記露光の終了後に前記駆動部を制御して、前記複数の画素の前記第一の画素以外の第二の画素と前記第一の画素とのうち少なくとも前記第二の画素から第二の撮像画像信号を読み出す第二の読み出し制御ステップと、
     前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号に基づいてライブビュー画像データを生成し前記ライブビュー画像データに基づく画像を表示部に表示させる表示制御ステップと、
     前記第一の読み出し制御ステップと前記第二の読み出し制御ステップのうちの少なくとも前記第一の読み出し制御ステップによって前記第一の画素から順次読み出される前記第一の撮像画像信号を積算して第一の記憶部に記憶し、前記第二の読み出し制御ステップによって前記第二の画素から読み出された前記第二の撮像画像信号を前記第一の記憶部に記憶するステップと、
     前記第一の記憶部に記憶された前記第一の撮像画像信号と前記第二の撮像画像信号とで構成される第三の撮像画像信号を処理して撮像画像データを生成し記憶媒体に記憶する画像処理ステップと、を実行させるための静止画撮像プログラム。
PCT/JP2017/032539 2016-10-04 2017-09-08 撮像装置、静止画撮像方法、及び、静止画撮像プログラム WO2018066306A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780061790.6A CN109792494B (zh) 2016-10-04 2017-09-08 摄像装置、静态图像摄像方法及记录介质
JP2018543797A JP6539788B2 (ja) 2016-10-04 2017-09-08 撮像装置、静止画撮像方法、及び、静止画撮像プログラム
US16/374,266 US10715737B2 (en) 2016-10-04 2019-04-03 Imaging device, still image capturing method, and still image capturing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016196539 2016-10-04
JP2016-196539 2016-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/374,266 Continuation US10715737B2 (en) 2016-10-04 2019-04-03 Imaging device, still image capturing method, and still image capturing program

Publications (1)

Publication Number Publication Date
WO2018066306A1 true WO2018066306A1 (ja) 2018-04-12

Family

ID=61831421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032539 WO2018066306A1 (ja) 2016-10-04 2017-09-08 撮像装置、静止画撮像方法、及び、静止画撮像プログラム

Country Status (4)

Country Link
US (1) US10715737B2 (ja)
JP (1) JP6539788B2 (ja)
CN (1) CN109792494B (ja)
WO (1) WO2018066306A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024204600A1 (ja) * 2023-03-28 2024-10-03 株式会社ニコン 撮像素子および撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993393B1 (en) * 2019-07-24 2023-09-06 Sony Group Corporation Image capturing device and image capturing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135626A (ja) * 2000-10-27 2002-05-10 Minolta Co Ltd デジタルカメラ及び画像処理方法、並びに画像撮影プログラムを記録した記録媒体
JP2005117494A (ja) * 2003-10-09 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP2009005173A (ja) * 2007-06-22 2009-01-08 Canon Inc 撮像装置及びその制御方法並びに撮像システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117276A (ja) * 2003-10-06 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP4902136B2 (ja) * 2005-04-28 2012-03-21 キヤノン株式会社 撮像装置、撮像方法及びプログラム
JP2009130470A (ja) * 2007-11-20 2009-06-11 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP5215262B2 (ja) * 2009-02-03 2013-06-19 オリンパスイメージング株式会社 撮像装置
JP2012080457A (ja) 2010-10-05 2012-04-19 Olympus Imaging Corp 撮像装置
JP5594067B2 (ja) * 2010-11-02 2014-09-24 ソニー株式会社 画像処理装置および画像処理方法
JP2012115576A (ja) * 2010-12-02 2012-06-21 Fujifilm Corp 放射線画像検出装置、放射線撮影装置、放射線撮影システム
JP5959834B2 (ja) * 2011-12-02 2016-08-02 キヤノン株式会社 撮像装置
JP6053447B2 (ja) * 2012-10-23 2016-12-27 オリンパス株式会社 撮像装置
JP6126491B2 (ja) * 2013-08-08 2017-05-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6488545B2 (ja) 2014-01-20 2019-03-27 株式会社ニコン 電子機器
CN111787246B (zh) 2013-11-26 2023-07-14 株式会社尼康 摄像元件及摄像装置
JP6730855B2 (ja) * 2016-06-13 2020-07-29 株式会社キーエンス 画像処理センサ、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135626A (ja) * 2000-10-27 2002-05-10 Minolta Co Ltd デジタルカメラ及び画像処理方法、並びに画像撮影プログラムを記録した記録媒体
JP2005117494A (ja) * 2003-10-09 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP2009005173A (ja) * 2007-06-22 2009-01-08 Canon Inc 撮像装置及びその制御方法並びに撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024204600A1 (ja) * 2023-03-28 2024-10-03 株式会社ニコン 撮像素子および撮像装置

Also Published As

Publication number Publication date
US10715737B2 (en) 2020-07-14
US20190230268A1 (en) 2019-07-25
JP6539788B2 (ja) 2019-07-03
CN109792494A (zh) 2019-05-21
CN109792494B (zh) 2021-01-08
JPWO2018066306A1 (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
EP2903258B1 (en) Image-processing device and method, and image pickup device
JP6573731B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JPWO2015046045A1 (ja) 撮像装置及び撮像方法
WO2018173597A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2019054031A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP6539788B2 (ja) 撮像装置、静止画撮像方法、及び、静止画撮像プログラム
WO2018180257A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
US10939056B2 (en) Imaging apparatus, imaging method, imaging program
JP5677628B2 (ja) 撮像装置及び撮像方法
JP6928663B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US20190215470A1 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP6573730B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
WO2019054017A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、撮像制御プログラム
JP2023051391A (ja) 撮像装置、撮像制御方法、及び撮像制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858145

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543797

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858145

Country of ref document: EP

Kind code of ref document: A1