WO2015001646A1 - 電子機器、電子機器の制御方法、及び制御プログラム - Google Patents

電子機器、電子機器の制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2015001646A1
WO2015001646A1 PCT/JP2013/068381 JP2013068381W WO2015001646A1 WO 2015001646 A1 WO2015001646 A1 WO 2015001646A1 JP 2013068381 W JP2013068381 W JP 2013068381W WO 2015001646 A1 WO2015001646 A1 WO 2015001646A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
imaging
region
area
Prior art date
Application number
PCT/JP2013/068381
Other languages
English (en)
French (fr)
Inventor
孝 塩野谷
敏之 神原
政一 関口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to PCT/JP2013/068381 priority Critical patent/WO2015001646A1/ja
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201811274381.7A priority patent/CN109256404B/zh
Priority to US14/900,802 priority patent/US10142563B2/en
Priority to CN201380077710.8A priority patent/CN105324985B/zh
Priority to JP2015524974A priority patent/JP6372488B2/ja
Priority to EP13888636.1A priority patent/EP3018893A4/en
Priority to CN201811271609.7A priority patent/CN109743514B/zh
Priority to EP19181971.3A priority patent/EP3588940B1/en
Priority to CN201811271635.XA priority patent/CN109742094B/zh
Publication of WO2015001646A1 publication Critical patent/WO2015001646A1/ja
Priority to US16/177,653 priority patent/US10841512B2/en
Priority to US17/020,920 priority patent/US11637970B2/en
Priority to US18/118,850 priority patent/US20230231966A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Definitions

  • the present invention relates to an electronic device, an electronic device control method, and a control program.
  • an electronic device including an imaging element in which a backside illumination type imaging chip and a signal processing chip are stacked (hereinafter, this imaging element is referred to as a multilayer imaging element) has been proposed (for example, see Patent Document 1).
  • the multilayer imaging element is laminated so that the back-illuminated imaging chip and the signal processing chip are connected via a micro bump for each block unit including a plurality of pixels.
  • An object of the aspect of the present invention is to generate a plurality of types of images for the same subject.
  • the drive control unit that drives and controls the imaging device, the dividing unit that divides the imaging region of the imaging device into at least the first region and the second region, and the first for the same subject.
  • An electronic apparatus includes an image generation unit that generates a first image obtained by imaging a region and a second image obtained by imaging a second region.
  • a method for controlling an electronic device having an imaging unit in which an imaging region of an imaging device of the imaging unit is divided into at least a first region and a second region,
  • a method for controlling an electronic device includes generating each of a first image obtained by imaging a first region and a second image obtained by imaging a second region.
  • a division process for dividing the image pickup area of the image pickup element of the image pickup unit into at least a first area and a second area, and for the same subject. Then, a control program is provided that executes image generation processing for generating a first image obtained by imaging the first region and a second image obtained by imaging the second region.
  • FIG. 1 is a cross-sectional view of a multilayer image sensor.
  • the multilayer image sensor 100 is described in Japanese Patent Application No. 2012-139026 filed earlier by the applicant of the present application.
  • the imaging device 100 includes an imaging chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that stores the pixel signal.
  • the imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.
  • incident light is incident mainly in the positive direction of the Z axis indicated by the white arrow.
  • the surface on the side where incident light is incident is referred to as a back surface.
  • the left direction of the paper orthogonal to the Z axis is the X axis plus direction
  • the front side of the paper orthogonal to the Z axis and X axis is the Y axis plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the imaging chip 113 is a back-illuminated MOS image sensor.
  • the PD layer 106 is disposed on the back side of the wiring layer 108.
  • the PD layer 106 includes a plurality of photodiodes (Photodiode; hereinafter referred to as PD) 104 that are two-dimensionally arranged and accumulate electric charges according to incident light, and a transistor 105 provided corresponding to the PD 104. .
  • a color filter 102 is provided on the incident light incident side of the PD layer 106 via a passivation film 103.
  • the color filter 102 is a filter that passes a specific wavelength region of visible light.
  • the color filter 102 has a plurality of types that transmit different wavelength regions, and has a specific arrangement corresponding to each of the PDs 104. The arrangement of the color filter 102 will be described later.
  • a set of the color filter 102, the PD 104, and the transistor 105 forms one pixel.
  • a microlens 101 is provided on the incident light incident side of the color filter 102 corresponding to each pixel.
  • the microlens 101 condenses incident light toward the corresponding PD 104.
  • the wiring layer 108 includes a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111.
  • the wiring 107 may be multilayer, and a passive element and an active element may be provided.
  • a plurality of bumps 109 are disposed on the surface of the wiring layer 108. The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the opposing surface of the signal processing chip 111. Then, by pressing the imaging chip 113 and the signal processing chip 111, the aligned bumps 109 are joined and electrically connected.
  • a plurality of bumps 109 are arranged on the mutually facing surfaces of the signal processing chip 111 and the memory chip 112. These bumps 109 are aligned with each other. Then, when the signal processing chip 111 and the memory chip 112 are pressurized or the like, the aligned bumps 109 are joined and electrically connected.
  • the bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be employed. Further, for example, about one bump 109 may be provided for one unit group described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. In addition, a bump larger than the bump 109 corresponding to the pixel region may be provided in a peripheral region other than the pixel region where the pixels are arranged (the pixel region 113A shown in FIG. 2).
  • the signal processing chip 111 has a TSV (Through-Silicon Via) 110 that connects circuits provided on the front and back surfaces to each other.
  • the TSV 110 is provided in the peripheral area.
  • the TSV 110 may be provided in the peripheral area of the imaging chip 113 or the memory chip 112.
  • FIG. 2 is a diagram for explaining a pixel array and a unit group of the imaging chip.
  • FIG. 2 particularly shows a state where the imaging chip 113 is observed from the back side.
  • An area where pixels are arranged in the imaging chip 113 is referred to as a pixel area 113A.
  • a pixel area 113A 20 million or more pixels are arranged in a matrix.
  • 16 pixels of 4 pixels ⁇ 4 pixels adjacent to each other form one unit group 131.
  • the grid lines in FIG. 2 indicate a concept in which adjacent pixels are grouped to form a unit group 131.
  • the number of pixels forming the unit group 131 is not limited to this, and may be about 1000, for example, 32 pixels ⁇ 64 pixels, or more or less.
  • the unit group 131 includes four so-called Bayer arrays, which are composed of four pixels of green pixels Gb and Gr, a blue pixel B, and a red pixel R, vertically and horizontally.
  • the green pixel is a pixel having a green filter as the color filter 102, and receives light in the green wavelength band of incident light.
  • the blue pixel is a pixel having a blue filter as the color filter 102 and receives light in the blue wavelength band.
  • the red pixel is a pixel having a red filter as the color filter 102 and receives light in the red wavelength band.
  • FIG. 3 is a circuit diagram corresponding to the unit group of the imaging chip.
  • a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel. Note that at least some of the transistors described below correspond to the transistor 105 in FIG.
  • the unit group 131 is formed of 16 pixels.
  • the 16 PDs 104 corresponding to the respective pixels are each connected to the transfer transistor 302.
  • the gate of each transfer transistor 302 is connected to a TX wiring 307 to which a transfer pulse is supplied.
  • the TX wiring 307 is commonly connected to the 16 transfer transistors 302.
  • each transfer transistor 302 is connected to the source of the corresponding reset transistor 303, and a so-called floating diffusion FD (charge detection unit) between the drain of the transfer transistor 302 and the source of each reset transistor 303 is connected to the amplifier transistor 304. Connected to the gate.
  • the drain of each reset transistor 303 is connected to a Vdd wiring 310 to which a power supply voltage is supplied.
  • the gate of each reset transistor 303 is connected to a reset wiring 306 to which a reset pulse is supplied.
  • the reset wiring 306 is commonly connected to the 16 reset transistors 303.
  • each amplification transistor 304 is connected to a Vdd wiring 310 to which a power supply voltage is supplied.
  • the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305.
  • the gate of each selection transistor 305 is connected to a decoder wiring 308 to which a selection pulse is supplied.
  • the decoder wiring 308 is provided independently for each of the 16 selection transistors 305.
  • the source of each selection transistor 305 is connected to a common output wiring 309.
  • the load current source 311 supplies current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by a source follower. Note that the load current source 311 may be provided on the imaging chip 113 side or may be provided on the signal processing chip 111 side.
  • a reset pulse is applied to the reset transistor 303 through the reset wiring 306.
  • a transfer pulse is applied to the transfer transistor 302 through the TX wiring 307.
  • the potentials of the PD 104 and the floating diffusion FD are reset.
  • the PD 104 converts the incident light received into charges and accumulates them. Thereafter, when the transfer pulse is applied again without the reset pulse being applied, the charge accumulated in the PD 104 is transferred to the floating diffusion FD. As a result, the potential of the floating diffusion FD changes from the reset potential to the signal potential after charge accumulation.
  • a selection pulse is applied to the selection transistor 305 through the decoder wiring 308, the change in the signal potential of the floating diffusion FD is transmitted to the output wiring 309 through the amplification transistor 304 and the selection transistor 305.
  • the reset wiring 306 and the TX wiring 307 are common to the 16 pixels forming the unit group 131. That is, the reset pulse and the transfer pulse are simultaneously applied to all 16 pixels. Therefore, all the pixels forming the unit group 131 start charge accumulation at the same timing and end charge accumulation at the same timing. However, the pixel signal corresponding to the accumulated charge is selectively output to the output wiring 309 by sequentially applying the selection pulse to each selection transistor 305. In addition, the reset wiring 306, the TX wiring 307, and the output wiring 309 are provided separately for each unit group 131.
  • the charge accumulation time can be controlled for each unit group 131.
  • pixel signals with different charge accumulation times can be output between the unit groups 131. More specifically, while one unit group 131 performs charge accumulation once, the other unit group 131 repeats charge accumulation several times and outputs a pixel signal each time, so that Each frame for moving images can be output at a different frame rate between the unit groups 131.
  • FIG. 4 is a block diagram showing a functional configuration of the image sensor.
  • the analog multiplexer 411 sequentially selects the 16 PDs 104 that form the unit group 131. Then, the multiplexer 411 outputs each pixel signal of the 16 PDs 104 to the output wiring 309 provided corresponding to the unit group 131.
  • the multiplexer 411 is formed on the imaging chip 113 together with the PD 104.
  • the pixel signal of the analog signal output via the multiplexer 411 is amplified by the amplifier 412 formed in the signal processing chip 111. Then, the pixel signal amplified by the amplifier 412 is processed by a signal processing circuit 413 that performs correlated double sampling (CDS) and analog / digital (Analog / Digital) conversion, which is formed in the signal processing chip 111. Correlated double sampling signal processing is performed, and A / D conversion (conversion from an analog signal to a digital signal) is performed. The pixel signal is subjected to correlated double sampling signal processing in the signal processing circuit 413, whereby noise of the pixel signal is reduced. The A / D converted pixel signal is transferred to the demultiplexer 414 and stored in the pixel memory 415 corresponding to each pixel. The demultiplexer 414 and the pixel memory 415 are formed in the memory chip 112.
  • CDS correlated double sampling
  • analog / digital Analog / Digital
  • the arithmetic circuit 416 processes the pixel signal stored in the pixel memory 415 and passes it to the subsequent image processing unit.
  • the arithmetic circuit 416 may be provided in the signal processing chip 111 or may be provided in the memory chip 112. Note that FIG. 4 shows connections for one unit group 131, but actually these exist for each unit group 131 and operate in parallel. However, the arithmetic circuit 416 may not exist for each unit group 131. For example, one arithmetic circuit 416 may perform sequential processing while sequentially referring to the values in the pixel memory 415 corresponding to each unit group 131.
  • the output wiring 309 is provided corresponding to each of the unit groups 131.
  • the image sensor 100 has an image pickup chip 113, a signal processing chip 111, and a memory chip 112 stacked. For this reason, by using the electrical connection between the chips using the bumps 109 for the output wirings 309, the wirings can be routed without enlarging each chip in the surface direction.
  • the pixel region 113A of the image sensor 100 is divided into a plurality of blocks.
  • the plurality of blocks are defined to include at least one unit group 131 per block.
  • pixels included in each block are controlled by different control parameters. That is, pixel signals having different control parameters are acquired for a pixel group included in a block and a pixel group included in another block.
  • the control parameter include a charge accumulation time or accumulation count, a frame rate, a gain, a thinning rate, the number of addition rows or addition columns to which pixel signals are added, the number of digitization bits, and the like.
  • the control parameter may be a parameter in image processing after obtaining an image signal from a pixel.
  • the charge accumulation time refers to the time from the start of PD 104 accumulation until the end.
  • the number of times of charge accumulation refers to the number of times the PD 104 accumulates charges per unit time.
  • the frame rate is a value representing the number of frames processed (displayed or recorded) per unit time in a moving image.
  • the unit of the frame rate is expressed by fps (Frames Per Second). The higher the frame rate, the smoother the movement of the subject (that is, the object to be imaged) in the moving image.
  • the gain means a gain factor (amplification factor) of the amplifier 412.
  • This ISO sensitivity is a photographic film standard established by ISO and represents how much light the photographic film can record.
  • ISO sensitivity is also used when expressing the sensitivity of the image sensor 100.
  • the ISO sensitivity is a value representing the ability of the image sensor 100 to capture light.
  • Increasing the gain improves the ISO sensitivity. For example, when the gain is doubled, the electrical signal (pixel signal) is also doubled, and the brightness is appropriate even when the amount of incident light is half.
  • the gain is increased, noise included in the electric signal is also amplified, so that noise increases.
  • the thinning-out rate refers to the ratio of the number of pixels in which pixel signals are not read out with respect to the total number of pixels in a predetermined area. For example, when the thinning rate of a predetermined area is 0, it means that pixel signals are read from all pixels in the predetermined area. Further, when the thinning rate of the predetermined area is 0.5, it means that the pixel signal is read from half of the pixels in the predetermined area. Specifically, when the unit group 131 is a Bayer array, it is read as a pixel from which pixel signals are alternately read out every other unit of the Bayer array in the vertical direction, that is, every two pixels (two rows) of the pixel unit. Pixels that are not output are set.
  • the resolution of the image is reduced when the pixel signal readout is thinned out.
  • 20 million or more pixels are arranged in the image sensor 100, for example, even if thinning is performed at a thinning rate of 0.5, an image can be displayed with 10 million or more pixels. For this reason, it is considered that the reduction in resolution is not a concern for the user (photographer).
  • the number of added rows refers to the number of vertical pixels (number of rows) to be added when pixel signals of pixels adjacent in the vertical direction are added.
  • the number of added columns refers to the number of horizontal pixels (number of columns) to be added when pixel signals of pixels adjacent in the horizontal direction are added.
  • Such addition processing is performed in the arithmetic circuit 416, for example.
  • the arithmetic circuit 416 performs the process of adding the pixel signals of a predetermined number of pixels adjacent in the vertical direction or the horizontal direction, thereby obtaining the same effect as the process of reading out the pixel signals by thinning out at a predetermined thinning rate.
  • the average value may be calculated by dividing the added value by the number of rows or columns added by the arithmetic circuit 416.
  • the digitization bit number refers to the bit number when the signal processing circuit 413 converts an analog signal into a digital signal in A / D conversion. As the number of bits of the digital signal increases, brightness, color change, and the like are expressed in more detail.
  • the accumulation condition refers to a condition related to charge accumulation in the image sensor 100.
  • the accumulation condition refers to the charge accumulation time or number of accumulations, the frame rate, and the gain among the control parameters described above. Since the frame rate can change according to the charge accumulation time and the number of times of accumulation, the frame rate is included in the accumulation condition. Further, the amount of light for proper exposure changes according to the gain, and the charge accumulation time or number of times of accumulation can also change according to the amount of light for proper exposure. For this reason, the gain is included in the accumulation condition.
  • the imaging condition is a condition related to imaging of the subject.
  • the imaging condition refers to a control parameter including the above accumulation condition.
  • the imaging conditions include control parameters (for example, charge accumulation time or accumulation count, frame rate, gain) for controlling the image sensor 100, as well as control parameters (for controlling reading of signals from the image sensor 100). For example, a thinning rate), a control parameter for processing a signal from the image sensor 100 (for example, the number of addition rows or addition columns for adding pixel signals, the number of digitization bits, the image processing unit 30 described later performs image processing) Is also included.
  • FIG. 5 is a block diagram showing the configuration of the electronic device according to the first embodiment.
  • the electronic device 1 illustrated in FIG. 5 is configured by devices such as a digital camera, a smartphone, a mobile phone, and a personal computer having an imaging function, for example.
  • the electronic device 1 includes a lens unit 10, an imaging unit 20, an image processing unit 30, a work memory 40, a display unit 50, an operation unit 55, a recording unit 60, and a system control unit 70.
  • the lens unit 10 is an imaging optical system composed of a plurality of lens groups.
  • the lens unit 10 guides the light flux from the subject to the imaging unit 20.
  • the lens unit 10 may be integrated with the electronic device 1 or may be an interchangeable lens that can be attached to and detached from the electronic device 1. Further, the lens unit 10 may have a built-in focus lens or a zoom lens.
  • the imaging unit 20 includes an imaging device 100 and a driving unit 21.
  • the drive unit 21 is a control circuit that controls driving of the image sensor 100 in accordance with an instruction from the system control unit 70.
  • the drive unit 21 controls the timing (or timing cycle) at which the reset pulse and the transfer pulse are applied to the reset transistor 303 and the transfer transistor 302, respectively, thereby reducing the charge accumulation time or accumulation count as a control parameter. Control.
  • the drive unit 21 controls the frame rate by controlling the timing (or timing cycle) at which the reset pulse, the transfer pulse, and the selection pulse are applied to the reset transistor 303, the transfer transistor 302, and the selection transistor 305, respectively.
  • the drive unit 21 controls the thinning rate by setting pixels to which the reset pulse, the transfer pulse, and the selection pulse are applied.
  • the drive unit 21 controls the ISO sensitivity of the image sensor 100 by controlling the gain (also referred to as gain factor or amplification factor) of the amplifier 412.
  • the drive unit 21 sends an instruction to the arithmetic circuit 416 to set the number of added rows or the number of added columns to which pixel signals are added.
  • the drive unit 21 sets the number of bits for digitization by sending an instruction to the signal processing circuit 413.
  • the drive unit 21 performs block setting in the pixel area (imaging area) 113 ⁇ / b> A of the image sensor 100. In this way, the drive unit 21 functions as an image sensor control unit that causes the image sensor 100 to capture an image under different image capturing conditions for each of a plurality of blocks and output a pixel signal.
  • the system control unit 70 instructs the drive unit 21 on the block position, shape, range, and the like.
  • the image sensor 100 delivers the pixel signal from the image sensor 100 to the image processing unit 30.
  • the image processing unit 30 uses the work memory 40 as a work space, performs various image processing on the RAW data including the pixel signals of the respective pixels, and generates image data.
  • the image processing unit 30 includes a first image processing unit 30A and a second image processing unit 30B. When the load of image processing is high, processing is assigned to each of the first image processing unit 30A and the second image processing unit 30B. Then, the first image processing unit 30A and the second image processing unit 30B each execute the assigned processing in parallel.
  • the system control unit 70 (specifically, the dividing unit 71 shown in FIG. 7) has at least the first region and the second region of the pixel region (imaging region) 113A of the image sensor 100. Divide into areas. Further, the system control unit 70 (specifically, the drive control unit 72 shown in FIG. 7) drives and controls the image sensor 100 so as to perform imaging under different imaging conditions in the first region and the second region.
  • the first image processing unit 30A executes image processing of a signal from the first region.
  • the second image processing unit 30B executes image processing of signals from the second area.
  • the pixel region (imaging region) 113A of the image sensor 100 is not limited to being divided into two regions, a first region, a second region, a first region, a second region, a third region, and so on. Can be divided into a plurality of regions.
  • the image processing for the plurality of regions is appropriately assigned to the first image processing unit 30A and the second image processing unit 30B.
  • the image processing assignment may be determined in advance according to the number or range of divided areas, or may be determined based on the number or range of areas divided by the system control unit 70.
  • the image processing unit 30 executes various image processing. For example, the image processing unit 30 generates an RGB image signal by performing color signal processing (color tone correction) on a signal obtained by the Bayer array. The image processing unit 30 performs image processing such as white balance adjustment, sharpness adjustment, gamma correction, and gradation adjustment on the RGB image signal. Further, the image processing unit 30 performs a process of compressing in a predetermined compression format (JPEG format, MPEG format, etc.) as necessary. The image processing unit 30 outputs the generated image data to the recording unit 60. In addition, the image processing unit 30 outputs the generated image data to the display unit 50.
  • JPEG format, MPEG format, etc. a predetermined compression format
  • the image processing unit 30 performs processing for detecting a main subject from image data in addition to the processing described above.
  • the “main subject” refers to a subject that is an object to be imaged, a subject that is noticed by the user (photographer), or a subject that is estimated to be noticed by the user.
  • the number of main subjects is not limited to one in the image data, and there may be a plurality of main subjects (see, for example, FIG. 14).
  • Parameters that are referred to when the image processing unit 30 performs image processing are also included in the control parameters (imaging conditions). For example, parameters such as color signal processing (tone correction), white balance adjustment, gradation adjustment, and compression rate are included in the control parameters.
  • the signal read from the image sensor 100 changes according to the charge accumulation time, and the parameters referred to when performing image processing also change according to the change in the signal.
  • the image processing unit 30 sets different control parameters for each block, and executes image processing such as color signal processing based on these control parameters.
  • the image processing unit 30 extracts frames at predetermined timings from among a plurality of frames obtained in time series from the imaging unit 20. Alternatively, the image processing unit 30 discards frames at a predetermined timing among a plurality of frames obtained in time series from the imaging unit 20. Thereby, since the amount of data can be reduced, it is possible to reduce the load of subsequent processing. Further, the image processing unit 30 calculates one or a plurality of frames to be interpolated between the frames based on a plurality of frames obtained in time series from the imaging unit 20. Then, the image processing unit 30 adds the calculated one or more frames between the frames. As a result, a moving image with smoother motion can be reproduced during moving image reproduction.
  • the drive part 21 is comprised so that the thinning-out rate may be controlled, it is not restricted to such a structure.
  • the drive unit 21 reads pixel signals from all pixels, but the image processing unit 30 or the arithmetic circuit 416 controls the thinning rate by discarding predetermined pixel signals out of the read pixel signals. Good.
  • the work memory 40 temporarily stores image data and the like when image processing by the image processing unit 30 is performed.
  • the display unit 50 is configured by a liquid crystal display panel, for example. As shown in FIG. 5, the display unit 50 includes a first display unit 51, a first touch panel 52, a second display unit 53, and a second touch panel 54.
  • the first display unit 51 displays images (still images, moving images, live view images) captured by the imaging unit 20 and various types of information.
  • the first touch panel 52 is formed on the display screen of the first display unit 51.
  • the first touch panel 52 outputs a signal indicating a position touched by the user to the system control unit 70 when the user selects an image (a thumbnail image to be described later: see FIG. 13).
  • the second display unit 53 displays images (still images, moving images, live view images) captured by the imaging unit 20 and various types of information.
  • the second touch panel 54 is formed on the display screen of the second display unit 53.
  • the second touch panel 54 outputs a signal indicating a position touched by the user to the system control unit 70 when the user selects an image or the like.
  • the operation unit 55 is a release switch, a moving image switch, various operation switches, and the like operated by a user.
  • the operation unit 55 outputs a signal corresponding to the operation by the user to the system control unit 70.
  • the recording unit 60 has two card slots into which two storage media (a first recording medium 61 and a second recording medium 62) such as a memory card can be mounted.
  • the recording unit 60 stores the image data and various data generated by the image processing unit 30 in the recording media (first recording medium 61 and second recording medium 62) mounted in the card slot.
  • the first image processing unit 30A and the second image processing unit 30B respectively perform image processing based on a signal from the first region and image processing based on a signal from the second region. Are executed in parallel.
  • the first recording medium 61 stores image data based on a signal from the first area in response to an operation of a release switch or a moving image switch. Further, the second recording medium 62 stores image data based on the signal from the second area in accordance with the operation of the release switch or the moving image switch.
  • the recording unit 60 has an internal memory. The recording unit 60 can also record the image data and various data generated by the image processing unit 30 in the internal memory.
  • the system control unit 70 controls the overall processing and operation of the electronic device 1.
  • the system control unit 70 includes a CPU (Central Processing Unit) 70A.
  • the system control unit 70 divides the imaging surface (pixel area 113A) of the imaging device 100 (imaging chip 113) into a plurality of blocks, and different charge accumulation times (or charge accumulation times) and frame rates among the blocks. Get an image with a gain. Therefore, the system control unit 70 instructs the drive unit 21 about the block position, shape, range, and accumulation condition for each block.
  • the system control unit 70 causes an image to be acquired with a different thinning rate between blocks, the number of addition rows or addition columns to which pixel signals are added, and the number of digitization bits.
  • the system control unit 70 instructs the drive unit 21 on the imaging conditions for each block (the thinning rate, the number of added rows or columns to which pixel signals are added, and the number of digitization bits). Further, the image processing unit 30 executes image processing under imaging conditions (control parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) that are different between blocks. For this reason, the system control unit 70 instructs the image processing unit 30 on the imaging conditions for each block (control parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate).
  • the system control unit 70 causes the recording unit 60 to record the image data generated in the image processing unit 30. Further, the system control unit 70 causes the display unit 50 to output the image data generated in the image processing unit 30, thereby displaying an image on the display unit 50 (one of the first display unit 51 and the touch panel 52 or both). Display. Alternatively, the system control unit 70 reads out the image data recorded in the recording unit 60 and causes the display unit 50 to output the image data, thereby causing the display unit 50 (either the first display unit 51 or the touch panel 52 or both) to display the data. Display an image. The images displayed on the display unit 50 include still images, moving images, and live view images.
  • the live view image is an image displayed on the display unit 50 by sequentially outputting the image data generated by the image processing unit 30 to the display unit 50.
  • the live view image is used for the user to confirm the image of the subject imaged by the imaging unit 20.
  • the live view image is also called a through image or a preview image.
  • FIG. 6 is a diagram illustrating an appearance of a digital camera which is an example of an electronic device.
  • FIG. 6 shows an external appearance of the electronic device (digital camera) 1 when viewed from the back.
  • the first display unit 51 is a display panel having a square display screen.
  • the first display unit 51 is provided on the back surface of the electronic device 1.
  • the first touch panel 52 is formed on the display screen of the first display unit 51.
  • the second display unit 53 is a display panel having a square display screen. An end portion of the second display portion 53 is rotatably connected by a hinge (not shown) provided on the back surface of the electronic device 1 and below the first display portion 51. As the second display unit 53 rotates with the hinge as a fulcrum, the first display unit 51 is opened and closed by the second display unit 53.
  • the release switch 55a is a switch that is pressed by the user when capturing a still image.
  • the mode dial 55b is a dial rotated by the user when setting various scene modes such as portrait, landscape, and night view.
  • the moving image switch 55c is a switch pressed by the user when capturing a moving image.
  • a multi-selector 55d is provided on the back surface of the electronic device 1 and on the side of the first display unit 51.
  • the multi-selector 55d is a key for the user to select a menu (menu for setting the shooting mode) displayed on the first display unit 51 or the second display unit 53 using the up / down / left / right arrow keys and the OK switch. And a switch.
  • the operation unit 55 includes a release switch 55a, a mode dial 55b, a moving image switch 55c, and a multi selector 55d. Note that the operation unit 55 may include other switches.
  • FIG. 7 is a functional block diagram of the image processing unit and the system control unit shown in FIG.
  • the first image processing unit 30A includes an image generation unit 31A and a detection unit 32A.
  • the image generation unit 31 ⁇ / b> A generates image data by performing various types of image processing on the RAW data including the pixel signals of the pixels in the first region output from the imaging unit 20.
  • the detection unit 32A detects the main subject from the image data generated by the image generation unit 31A. In the present embodiment, the detection unit 32A compares a plurality of image data obtained in time series from the live view image generated by the image generation unit 31A, and detects a moving subject (moving subject) as a main subject.
  • the detection unit 32A detects a main subject using a face detection function as described in, for example, Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940). In addition to the face detection, the detection unit 32A detects a human body included in the image data as a main subject as described in, for example, Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940).
  • the second image processing unit 30B includes an image generation unit 31B.
  • the image generation unit 31 ⁇ / b> B generates image data by performing various types of image processing on the RAW data including the pixel signal of each pixel in the second region output from the imaging unit 20.
  • the second image processing unit 30B does not include a detection unit, but may include a detection unit.
  • the first image processing unit 30A may not include the detection unit 32A, and the second image processing unit 30B may include the detection unit.
  • the image generation unit 31A and the image generation unit 31B may be collectively referred to as an image generation unit 31.
  • the system control unit 70 includes a dividing unit 71, a drive control unit 72, and a display control unit 73.
  • the dividing unit 71 divides the pixel area (imaging area) 113A of the imaging element 100 into a plurality of areas in units of blocks.
  • the dividing unit 71 divides the pixel region 113A into a plurality of regions based on a predetermined arrangement pattern in each block of the pixel region 113A (see FIGS. 8A to 8D).
  • the drive control unit 72 sets imaging conditions for a plurality of areas. Further, the drive control unit 72 performs drive control of the image sensor 100 in accordance with the operation of the release switch 55a and the moving image switch 55c by the user.
  • the drive control unit also performs drive control of the image sensor 100 even when a live view image is captured (that is, after the start of a shooting operation after power-on).
  • the display control unit 73 causes the display unit 50 to output the image data generated by the image generation unit 31, and displays images (still images, moving images, live images) on one or both of the first display unit 51 and the second display unit 53. (View image) is displayed.
  • the dividing unit 71, the drive control unit 72, and the display control unit 73 are realized by the CPU 70A executing processing based on the control program.
  • FIG. 8 is a diagram showing an arrangement pattern in each block.
  • FIG. 8A shows a first arrangement pattern in each block.
  • FIG. 8B shows a second arrangement pattern in each block.
  • FIG. 8C shows a third arrangement pattern in each block.
  • FIG. 8D shows a fourth arrangement pattern in each block.
  • the first arrangement pattern shown in FIG. 8A is an arrangement pattern in which the pixel region 113A is divided into two parts, a first region and a second region.
  • the first region is composed of odd-numbered column (2m-1) blocks
  • the second region is composed of even-numbered column (2m) blocks. That is, each block in the pixel region 113A is divided into odd columns and even columns.
  • the second arrangement pattern shown in FIG. 8B is also an arrangement pattern in which the pixel area 113A is divided into two parts, the first area and the second area.
  • the first region is composed of odd-numbered rows (2n-1) blocks
  • the second region is composed of even-numbered rows (2n) blocks. That is, each block in the pixel region 113A is divided into odd rows and even rows.
  • the third array pattern shown in FIG. 8C is also an array pattern in which the pixel region 113A is divided into two parts, the first region and the second region.
  • a first region is configured.
  • the second region is composed of blocks of odd rows (2n-1) in even columns (2m) and blocks of even rows (2n) in odd columns (2m-1). That is, each block in the pixel region 113A is divided into a checkered pattern.
  • the first area and the second area are not necessarily composed only of continuous blocks, but are composed of discrete blocks. ing.
  • the fourth arrangement pattern shown in FIG. 8D is an arrangement pattern in which the pixel area 113A is divided into three parts, a first area, a second area, and a third area.
  • the first area is composed of blocks of a column (3m-2) two columns before the column that is a multiple of 3 and the second area is one column from a column that is a multiple of 3 It is composed of blocks in the previous column (3m ⁇ 1), and the third area is composed of blocks in a column (3m) that is a multiple of 3.
  • FIG. 8 a small number of blocks are set in the pixel region 113A in order to make the arrangement of blocks for each region easy to see, but a larger number of blocks than the number of blocks shown in FIG. 8 is set. You may do it.
  • FIG. 9 is a flowchart for explaining a photographing operation executed by the system control unit.
  • FIG. 10 is a flowchart for explaining the array pattern setting process.
  • the system control unit 70 starts a photographing operation.
  • the display control unit 73 displays the live view image captured by the imaging unit 20 on the first display unit 51 and sets the shooting mode. Is displayed on the second display unit 53.
  • the drive control unit 72 drives and controls the image sensor 100 so as to capture an image at a low frame rate.
  • the display control unit 73 may display the live view image on the second display unit 53 and display the menu on the first display unit 51. In addition, the display control unit 73 may display the live view image and the menu on the same display unit (the first display unit 51 or the second display unit 53).
  • the user operates the multi-selector 55d and selects a shooting mode by selecting a menu displayed on the second display unit 53.
  • the dividing unit 71 confirms the shooting mode selected by the operation of the multi selector 55d by the user (step S1).
  • a still image mode for shooting a still image and a moving image mode for shooting a movie are provided as shooting modes.
  • a first still image mode and a second still image mode are provided as still image modes.
  • a first moving image mode and a second moving image mode are provided as moving image modes.
  • the first still image mode is a shooting mode in which the imaging unit 100 captures a still image of a subject with the pixel region 113A as one region without the division unit 71 dividing the pixel region (imaging region) 113A of the imaging device 100.
  • the first still image mode is a normal still image shooting mode that is generally performed.
  • the second still image mode is a shooting mode in which the dividing unit 71 divides the pixel region 113A into a plurality of regions, and the image sensor 100 captures a still image of the same subject in each of the plurality of regions.
  • processing for continuously capturing still images of the same subject in each of the plurality of regions can be executed in parallel.
  • the second still image mode can perform higher-speed continuous shooting than the first still image mode.
  • the second still image mode is also referred to as a high-speed continuous shooting mode or a still image-still image mixed mode.
  • the first moving image mode is a shooting mode in which the image capturing device 100 captures a moving image of a subject using the pixel region 113A as one region without the dividing unit 71 dividing the pixel region (imaging region) 113A of the image capturing device 100. .
  • the first moving image mode is a normal moving image shooting mode that is generally performed.
  • the dividing unit 71 divides the pixel region 113A into a plurality of regions
  • the image sensor 100 captures a still image of the subject in one of the plurality of regions, and the other of the plurality of regions.
  • the second moving image mode is also referred to as a still image-moving image simultaneous shooting mode or a still image-moving image mixed mode.
  • a position corresponding to the menu on the second touch panel 54 may be touched instead of the operation of the multi-selector 55d.
  • the dividing unit 71 determines whether or not the shooting mode selected by the user is the still image mode (step S2). When determining that the shooting mode is the still image mode, the dividing unit 71 determines whether or not the still image mode is the first still image mode (step S3). When the dividing unit 71 determines that the still image mode is the first still image mode, the dividing unit 71 performs a process of setting the shooting mode to the first still image mode (step S4). On the other hand, when determining that the still image mode is not the first still image mode, that is, when determining that the still image mode is the second still image mode, the dividing unit 71 performs a process of setting the shooting mode to the second still image mode. This is performed (step S5).
  • the dividing unit 71 executes the array pattern setting process shown in FIG.
  • the dividing unit 71 instructs the image processing unit 30 (first image processing unit 30A) to detect the main subject (step S21).
  • the detection unit 32A detects a moving subject and a non-moving subject (subject that has not moved) by comparing a plurality of image data obtained in time series from the live view image. Then, the detection unit 32A outputs the detection result to the system control unit 70 together with the image data.
  • the dividing unit 71 confirms the presence / absence of the main subject based on the detection result of the detecting unit 32A. Then, the dividing unit 71 sets an area corresponding to the main subject and the shooting mode in the pixel area 113A (step S22).
  • the dividing unit 71 does not divide the pixel region 113A into a plurality of regions when the shooting mode is the first still image mode. That is, the dividing unit 71 sets all the pixel areas 113A as one area. At this time, the dividing unit 71 outputs an instruction signal instructing the driving unit 21 to set all the pixel regions 113A as one region.
  • the dividing unit 71 selects one of the arrangement patterns shown in FIGS. 8 (A) to 8 (D). Then, the dividing unit 71 confirms whether or not the main subject is a moving subject based on the detection result of the detecting unit 32A. When the main subject is not a moving subject but a non-moving subject, the dividing unit 71 sets the first region and the second region according to the third arrangement pattern shown in FIG. When the main subject is a moving subject, the dividing unit 71 confirms the moving direction of the moving subject.
  • the dividing unit 71 When the moving direction of the moving subject is mainly in the vertical direction, for example, when the main subject is a child or a waterfall that slides on the slide, the dividing unit 71 performs the first arrangement pattern according to the first arrangement pattern shown in FIG. One area and a second area are set.
  • the moving direction of the moving subject is mainly in the left-right direction, for example, when the main subject is a person running or when performing panning, the dividing unit 71 is shown in FIG. A first area and a second area are set according to the second arrangement pattern.
  • the dividing unit 71 sets the first area, the second area, and the third area according to the fourth arrangement pattern shown in FIG.
  • the dividing unit 71 outputs an instruction signal for instructing, for example, the position of a block in each region (first region, second region, and first region to third region) to the drive unit 21.
  • FIG. 11 is a diagram illustrating a setting example of the second arrangement pattern when the second still image mode is executed.
  • each block is illustrated in a larger size so that the arrangement of the blocks can be easily seen.
  • a block smaller than the block size shown in FIG. 11 is set in the pixel region 113A.
  • the detection unit 32A detects, as main subjects (moving subjects), people O1 and O2 who are playing soccer, and a soccer ball O3. Based on the detection result of the detection unit 32A, the dividing unit 71 determines that the main subjects O1 to O3 are moving subjects and the moving direction of the moving subject is mainly in the left-right direction.
  • the dividing unit 71 sets the first region and the second region according to the second arrangement pattern shown in FIG. At this time, the dividing unit divides the pixel area 113A so that the first area and the second area include the main subjects O1 to O3.
  • the drive control unit 72 sets the imaging condition of the region set in step S ⁇ b> 22 (in the example illustrated in FIG. 11, the first region and the second region) based on the detection result of the detection unit 32 ⁇ / b> A. (Step S23). Specifically, the drive control unit 72 outputs an instruction signal for instructing an imaging condition (charge accumulation time, gain, etc.) corresponding to the main subject to the drive unit 21. In addition, the drive control unit 72 outputs an instruction signal for instructing imaging conditions (parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) according to the main subject to the image processing unit 30.
  • an imaging condition charge accumulation time, gain, etc.
  • the drive control unit 72 outputs an instruction signal for instructing imaging conditions (parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) according to the main subject to the image processing unit 30.
  • the drive control unit 72 increases the gain (ISO sensitivity) and increases the charge accumulation time (that is, the exposure time and the shutter speed). Further, when the moving subject is not detected by the detection unit 32A, the drive control unit 72 lowers the gain and delays the charge accumulation time.
  • the drive control unit 72 determines whether or not the user has operated the release switch 55a (a full-press operation following a half-press operation) (step S6). If it is determined that the release switch 55a has been operated, the drive control unit 72 causes the imaging unit 20 to perform imaging in the still image mode (first still image mode or second still image mode) (step S7).
  • FIG. 12 is a timing chart showing charge accumulation timings in the first still image mode and the second still image mode.
  • the first still image mode normal continuous shooting mode
  • all the pixel regions 113A are set as one region.
  • the drive control unit 72 drives so as to repeatedly perform still image capturing on all the pixel regions 113A while the release switch 55a is being operated (full pressing operation).
  • An instruction signal is output to the unit 21.
  • the driving unit 21 starts charge accumulation in the pixel region 113A at time t1, and ends charge accumulation in the pixel region 113A at time t3.
  • the drive unit 21 reads a pixel signal from each pixel in the pixel region 113A, and resets the electric charge accumulated in each pixel. Thereafter, the driving unit 21 starts charge accumulation in the pixel region 113A at time t4, and ends charge accumulation in the pixel region 113A at time t7. The drive unit 21 repeatedly executes such drive control of the image sensor 100 while the release switch 55a is being operated.
  • the drive unit 21 continuously performs four imaging operations from time t1 to t15.
  • the time from time t1 to t3, the time from time t4 to t7, the time from time t8 to t11, and the time from time t12 to t15 are the charge accumulation time (exposure time).
  • This charge accumulation time (exposure time) is set in the imaging condition setting process in step S23.
  • the pixel signal of each pixel read from the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31 (for example, the image generation unit 31A) checks parameters used in image processing such as color signal processing based on the instruction signal that instructs the imaging condition output from the division unit 71. Then, the image generation unit 31 generates image data by performing various image processing on the RAW data including the pixel signal of each pixel based on the parameters.
  • the dividing unit 21 sets, for example, a first area and a second area.
  • the drive control unit 72 repeatedly performs still image capturing on the first area while the release switch 55a is being operated (full pressing operation), and in the second area.
  • an instruction signal is output to the drive unit 21 so as to repeatedly execute still image capturing.
  • the driving unit 21 starts charge accumulation in the first region at time t1, and ends charge accumulation in the first region at time t3.
  • the drive unit 21 reads a pixel signal from each pixel in the first region, and resets the charge accumulated in each pixel. Thereafter, the drive unit 21 starts charge accumulation in the first region at time t4 and ends charge accumulation in the first region at time t7.
  • the drive unit 21 repeatedly executes such drive control of the image sensor 100 while the release switch 55a is being operated.
  • the drive unit 21 starts charge accumulation in the second region at time t2, and ends charge accumulation in the second region at time t5.
  • the drive unit 21 reads a pixel signal from each pixel in the second region, and resets the charge accumulated in each pixel. Thereafter, the drive unit 21 starts charge accumulation in the second region at time t6, and ends charge accumulation in the second region at time t9.
  • the drive unit 21 repeatedly executes such drive control of the image sensor 100 while the release switch 55a is being operated.
  • the drive unit 21 continuously performs four imaging operations from time t1 to t15 in the first region. In parallel with the four times of imaging in the first area, the drive unit 21 continuously executes four times of imaging in the second area from time t2 to t16. Therefore, the drive unit 21 continuously executes imaging eight times from time t1 to time t16 in the first region and the second region.
  • the time from time t1 to t3, the time from time t4 to t7, the time from time t8 to t11, and the time from time t12 to t15 are the charge accumulation time (exposure time) in the first region.
  • This charge accumulation time (exposure time) is set in the imaging condition setting process in step S23.
  • the time from time t2 to t5, the time from time t6 to t9, the time from time t10 to t13, and the time from time t14 to t16 are the charge accumulation time (exposure time) in the second region.
  • This charge accumulation time (exposure time) is also set in the imaging condition setting process in step S23.
  • the pixel signal of each pixel read from the first region of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31A confirms parameters used in image processing such as color signal processing based on the instruction signal that instructs the imaging condition of the first region output from the division unit 71. Then, the image generation unit 31A generates image data of the first region by performing various image processing on the RAW data including the pixel signals of the pixels of the first region based on the parameters.
  • the pixel signal of each pixel read from the second area of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31B confirms parameters used in image processing such as color signal processing based on the instruction signal instructing the imaging condition of the second region output from the dividing unit 71. Then, the image generation unit 31B generates image data of the second region by performing various image processing on the RAW data including the pixel signals of the pixels of the second region based on the parameters. Further, the image generation unit 31 (the image synthesis unit 31A or 31B) synthesizes the image data of the first area and the image data of the second area.
  • the drive control unit 72 causes the drive unit 21 to change (shift) the imaging start timing of the first area and the imaging start timing of the second area.
  • the drive of the image sensor 100 is controlled. Accordingly, in the first still image mode shown in FIG. 12A, if, for example, 30 frames of still images can be captured per second, in the second still image mode shown in FIG. Nearly 60 frames can be captured in 1 second, which is almost twice that of the first still image mode. In this case, since the pixel area 113A is divided into the first area and the second area, the number of pixels of the still image is halved. However, a still image of 10 million pixels is captured even if it is half of 20 million pixels. Therefore, it is considered that sufficient image quality is secured for the user.
  • the dividing unit 71 sets the first region to the third region in the pixel region 113A according to the fourth arrangement pattern shown in FIG. 8D, the first region and the third region are set in the pixel region 113A.
  • Higher speed continuous shooting can be realized than when the second area is set. For example, assuming that 30 frames of still images can be captured in one second in the first still image mode, when three regions are set in the pixel region 113A in the second still image mode, the first still image Nearly 90 frames can be captured in 1 second, which is almost three times the mode.
  • the image sensor 100 is expected to have higher pixels in the future. For this reason, even if the pixel region 113A is divided into three and the number of pixels of one still image becomes 1/3, the high speed of continuous shooting is more important for the user than the deterioration of the image quality.
  • the display control unit 73 displays the still image on the first display unit 51 or the second display unit 53 by outputting the image data generated by the image processing unit 30 to the display unit 50 ( Step S8).
  • the display control unit 73 causes the first display unit 51 to display a still image.
  • the display control unit 73 uses, as thumbnail images, a plurality of still images captured on the first display unit 51 a plurality of times at a high speed. indicate.
  • the display control unit 73 enlarges and displays the thumbnail image selected by the user on the second display unit 53.
  • FIG. 13 is a diagram illustrating a display example when still images are displayed on the first display unit and the second display unit.
  • the display control unit 73 displays eight thumbnail images (still images) 511 to 518 side by side on the first display unit 51.
  • the thumbnail image 511 is a still image obtained by the first imaging in FIG.
  • the thumbnail images 512 to 518 are still images obtained by the second to eighth imaging in FIG. 12B, respectively.
  • the eight touch areas 511a to 518a are formed so as to overlap the eight thumbnail images 511 to 518, respectively.
  • the touch areas 511a to 518a output detection signals indicating the pressed positions (which touch area) to the system control unit 70.
  • the display control unit 73 enlarges and displays the thumbnail image corresponding to the touch area pressed by the user on the second display unit 53.
  • the thumbnail image 513 corresponding to the touch area 513 a is displayed on the second display unit 53 in an enlarged manner when the user presses the touch area 513 a.
  • step S 10 when the dividing unit 71 determines in step S ⁇ b> 2 that the shooting mode is not the still image mode, that is, when the shooting mode is determined to be the moving image mode, the moving image mode is the first moving image mode. It is determined whether or not there is (step S10).
  • the dividing unit 71 determines that the moving image mode is the first moving image mode, the dividing unit 71 performs processing for setting the shooting mode to the first moving image mode (step S11).
  • step S12 when determining that the moving image mode is not the first moving image mode, that is, when determining that the moving image mode is the second moving image mode, the dividing unit 71 performs a process of setting the shooting mode to the second moving image mode (step S12).
  • the dividing unit 71 executes the array pattern setting process shown in FIG.
  • the dividing unit 71 instructs the image processing unit 30 (first image processing unit 30A) to detect the main subject (step S21).
  • the detection unit 32A detects a moving subject and a non-moving subject by comparing a plurality of image data obtained in time series from the live view image.
  • the detection unit 32A recognizes the face from the image data with eyes, mouth, skin color, and the like, and detects the face as a main subject.
  • the detection unit 32A detects a human body (person) included in the image data as a main subject in addition to face detection.
  • the detection unit 32A outputs the detection result to the system control unit 70 together with the image data.
  • the dividing unit 71 confirms the presence / absence of the main subject based on the detection result of the detecting unit 32A. Then, the dividing unit 71 sets an area corresponding to the main subject and the shooting mode in the pixel area 113A (step S22).
  • the dividing unit 71 does not divide the pixel region 113A into a plurality of regions when the shooting mode is the first moving image mode. That is, the dividing unit 71 sets all the pixel areas 113A as one area. At this time, the dividing unit 71 outputs an instruction signal instructing the driving unit 21 to set all the pixel regions 113A as one region.
  • the dividing unit 71 selects the array pattern shown in any of FIGS. Then, the dividing unit 71 confirms whether or not the main subject is a moving subject based on the detection result of the detecting unit 32A. When the main subject is not a moving subject but a non-moving subject, the dividing unit 71 sets the first region and the second region according to the third arrangement pattern shown in FIG. When the main subject is a moving subject, the dividing unit 71 confirms the moving direction of the moving subject. When the moving direction of the moving subject is mainly in the vertical direction, the dividing unit 71 sets the first area and the second area according to the first arrangement pattern shown in FIG.
  • the dividing unit 71 sets the first area and the second area according to the second arrangement pattern shown in FIG. Further, when the moving speed of the moving subject in the vertical direction is fast, the dividing unit 71 sets the first area, the second area, and the third area according to the fourth arrangement pattern shown in FIG. In step S22, the dividing unit 71 outputs an instruction signal for instructing, for example, the position of a block in each region (first region, second region, and first region to third region) to the drive unit 21.
  • FIG. 14 is a diagram illustrating a setting example of the second arrangement pattern when the second moving image mode is executed.
  • each block is illustrated in a larger size so that the arrangement of the blocks can be easily seen.
  • a block smaller than the block size shown in FIG. 14 is set in the pixel region 113A.
  • the detection unit 32A detects, as main subjects (moving subjects), people O1 and O2 who are playing soccer, and a soccer ball O3. Further, the detection unit 32A detects the persons O1 and O2 included in the image data as main subjects.
  • the dividing unit 71 determines that the main subjects O1 to O3 are moving subjects and the moving direction of the moving subject is mainly in the left-right direction. As a result, the dividing unit 71 sets the first region and the second region according to the second arrangement pattern shown in FIG. The dividing unit 71 determines that the main subjects O1 and O2 are people. As a result, in the second region, the dividing unit 71 sets the regions 200 and 201 surrounding the main subjects O1 and O2 as the second region A, and sets the regions other than the regions 200 and 201 surrounding the main subjects O1 and O2 as the second region. Set as B.
  • the drive control unit 72 determines the regions set in step S22 based on the detection result of the detection unit 32A (in the example illustrated in FIG. 14, the first region, the second region A, and the second region).
  • the imaging condition of B) is set (step S23). Specifically, the drive control unit 72 outputs an instruction signal for instructing an imaging condition (frame rate, gain, etc.) corresponding to the main subject to the drive unit 21. In addition, the drive control unit 72 outputs an instruction signal for instructing imaging conditions (parameters such as color signal processing, white balance adjustment, gradation adjustment, and compression rate) according to the main subject to the image processing unit 30.
  • the drive control unit 72 increases the gain (ISO sensitivity) of the first region and shortens the charge accumulation time of the first region. In addition, when the moving subject is not detected by the detection unit 32A, the drive control unit 72 decreases the gain in the first region and delays the charge accumulation time in the first region. In addition, when a moving subject is detected by the detection unit 32A, the drive control unit 72 uses the frame rate for the moving subject region (the regions 200 and 201 surrounding the main subjects O1 and O2, that is, the second region A). To increase. Further, the frame rate of the non-moving subject region (the region other than the regions 200 and 201 surrounding the main subjects O1 and O2, that is, the second region B) is set lower than that of the second region A.
  • the drive control unit 72 determines whether or not the moving image switch 55c has been operated by the user (step S13). When it is determined that the operation of the moving image switch 55c has been performed, the drive control unit 72 causes the imaging unit 20 to perform image capturing in the moving image mode (first moving image mode or second moving image mode) (step S14). Note that imaging in the first moving image mode is the same as normal moving image shooting, and thus detailed description thereof is omitted.
  • FIG. 15 is a timing chart showing the charge accumulation timing in the second moving image mode.
  • the second moving image mode still image-moving image mixed mode
  • the drive control unit 72 repeatedly performs still image capturing on the first region while the moving image switch 55c is being operated, and also in the second region A and the second region B.
  • an instruction signal is output to the drive unit 21 so that a moving image is captured.
  • the drive unit 21 captures a still image for each pixel in the first region with the charge accumulation time T ⁇ b> 1 while the moving image switch 55 c is being operated.
  • the driving unit 21 causes a moving image to be captured for each pixel in the second region A in the charge accumulation time T2A.
  • the driving unit 21 causes a moving image to be captured with a charge accumulation time T2B that is longer than the charge accumulation time T2A for each pixel in the second region B.
  • the frame rate changes according to the charge accumulation time. For this reason, the frame rate of the moving image is different between when the imaging is performed during the charge accumulation time T2A and when the imaging is performed during the charge accumulation time T2B.
  • the frame rate corresponding to the charge accumulation time T2A in the second region A is 60 fps
  • the frame rate corresponding to the charge accumulation time T2B in the second region B is 30 fps.
  • the charge accumulation time and the frame rate are set in the imaging condition setting process in step S23.
  • the pixel signal of each pixel read from the first region of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31A confirms parameters used in image processing such as color signal processing based on the instruction signal that instructs the imaging condition of the first region output from the division unit 71. Then, the image generation unit 31A generates image data of the first region by performing various image processing on the RAW data including the pixel signals of the pixels of the first region based on the parameters.
  • the pixel signal of each pixel read from the second area A of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31B confirms parameters used in image processing such as color signal processing based on the instruction signal instructing the imaging condition of the second region A output from the division unit 71. Then, the image generation unit 31B generates image data of the second area A by performing various image processing on the RAW data including the pixel signals of the pixels of the second area A based on the parameters.
  • the pixel signal of each pixel read from the second area B of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31B confirms parameters used in image processing such as color signal processing based on the instruction signal instructing the imaging condition of the second region B output from the division unit 71. Then, the image generation unit 31B generates image data of the second region B by performing various image processing on the RAW data including the pixel signals of the pixels of the second region B based on the parameters.
  • the image generation unit 31 (the image generation unit 31A or 31B) combines the image data of the second area A and the image data of the second area B. Further, the image generation unit 31 (the image generation unit 31A or 31B) combines the image data of the first region, the image data of the second region A, and the image data of the second region B.
  • the display control unit 73 causes the first display unit 51 to display a moving image by outputting the moving image data generated by the image processing unit 30 to the display unit 50 (step S8). Further, the display control unit 73 causes the second display unit 53 to display a still image by outputting the still image data generated by the image processing unit 30 to the display unit 50 (step S8).
  • FIG. 16 is a diagram illustrating a display example when a moving image is displayed on the first display unit and a still image is displayed on the second display unit.
  • the display control unit 73 firstly displays a moving image (moving image in which two persons are playing soccer) in which the second region A and the second region B generated by the image generating unit 31 are combined. It is displayed on the display unit 51.
  • the display control unit 73 displays the still image of the first area generated by the image generation unit 31.
  • the drive control unit 72 that drives and controls the image sensor 100, and the dividing unit 71 that divides the imaging region 113A of the image sensor 100 into at least a first region and a second region.
  • the image generation unit 31 generates a first image obtained by imaging the first area and a second image obtained by imaging the second area for the same subject. According to such a configuration, it is possible to generate a plurality of types of images (a plurality of still images, still images and moving images, etc.) for the same subject. Accordingly, it is possible to generate a plurality of types of images according to the subject and the shooting situation, and the usability of the electronic device 1 including the image sensor 100 is improved.
  • the drive control unit 72 drives and controls the imaging device 100 by changing the imaging start timing of the first area and the imaging start timing of the second area. According to such a configuration, a plurality of types of images can be generated for the same subject at various timings. In addition, many images can be generated per unit time. Therefore, the user can take an image without missing the opportunity of taking an image.
  • the drive control unit 72 since the drive control unit 72 performs imaging of the second area during imaging of the first area, it is possible to execute imaging of the first area and imaging of the second area in parallel, and for the same subject. Images with a part of the exposure time overlapping can be taken. Therefore, the same subject can be imaged at a timing that could not be imaged until now.
  • the drive control unit 72 varies at least one of the frame rate, the gain, and the exposure time as the imaging conditions of the first area and the second area of the image sensor 100. According to such a configuration, the user can acquire a plurality of types of images captured under different imaging conditions.
  • the image generation unit 31 since the image generation unit 31 generates a still image based on at least one of the first region and the second region, it is possible to generate a plurality of types of still images for the same subject. it can. Further, since the image generation unit 31 generates a moving image based on either the first region imaging or the second region imaging, it is possible to generate a still image and a moving image for the same subject. In addition, the image generation unit 31 performs correction by changing at least one of white balance, gradation, and color tone correction on the first image and the second image, so that the user is based on different parameters. A plurality of types of images subjected to image processing can be acquired.
  • the dividing unit 71 forms the first region from a plurality of discrete regions (a plurality of discrete blocks), the resolution is not partially reduced in the image. Further, since the dividing unit 71 variably divides the first area and the second area, it can be divided into areas according to various situations such as the shooting mode and the type of subject.
  • a detection unit 32A that detects a main subject from the image generated by the image generation unit 31 is provided, and the division unit 71 performs division so that the first region and the second region include the main subject. On the other hand, an image of the first area and an image of the second area can be generated.
  • the display control unit 73 that displays the image generated by the image generation unit 31 on the display unit 50 is provided, the user can check the image displayed on the display unit 50.
  • the imaging element 100 has a structure in which a back-illuminated imaging chip and a signal processing chip are stacked, the volume for housing the imaging element 100 can be reduced. Further, drive control of the image sensor 100 can be performed based on an instruction from the system control unit 70, and the burden on the system control unit 70 can be reduced, and the mounting of the image sensor 100 on the electronic device 1 is facilitated. .
  • the display unit 50 may be provided outside the electronic device.
  • each of the system control unit 70 and the display unit 50 is provided with a communication unit that transmits and receives signals (image data, control signals, and the like) by wire or wirelessly.
  • the image processing unit 30 and the system control unit 70 may be configured integrally.
  • a system control unit having one or a plurality of CPUs performs the processing based on the control program, thereby assuming the functions of the image processing unit 30 and the system control unit 70.
  • the image processing unit 30 includes the two image processing units 30A and 30B, the image processing unit 30 may include only one image processing unit.
  • the arrangement pattern of each block is set so that the area of the first region and the area of the second region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first area is the same as the number of pixels in the second area.
  • the arrangement pattern of each block is set so that the area of the first region, the area of the second region, and the area of the third region are the same. That is, the arrangement pattern of each block is set so that the number of pixels in the first region, the number of pixels in the second region, and the number of pixels in the third region are the same.
  • the arrangement pattern of each block may be set so that the area (number of pixels) of each region is different.
  • FIG. 17 is a diagram showing a fifth arrangement pattern in each block.
  • the fifth array pattern shown in FIG. 17 is an array pattern in which the pixel region 113A is divided into two parts, a first region and a second region.
  • the second area is configured by blocks of a column (3m) that is a multiple of 3 and the first area is a block other than the second area, that is, an example that is a multiple of 3 It is composed of blocks of columns (3m-2, 3m-1).
  • the ratio of the area of the first region to the area of the second region is 2: 1.
  • FIG. 18 is a diagram showing a sixth arrangement pattern in each block.
  • the sixth arrangement pattern shown in FIG. 18 is also an arrangement pattern in which the pixel area 113A is divided into two areas, the first area and the second area.
  • the block of the row (4n-1) one row before the row that is a multiple of 4 in the odd-numbered column (2m-1) and the block of 4 in the even-numbered column (2m).
  • the second area is composed of the multiple lines to the block (4n-3) three lines before, and the first area is composed of blocks other than the second area.
  • the ratio of the area of the first region to the area of the second region is 3: 1.
  • step S22 of FIG. 10 when the dividing unit 71 determines that the shooting mode selected by the user is the second moving image mode, the fifth arrangement pattern shown in FIG. 17 or the sixth arrangement pattern shown in FIG. Accordingly, the first area and the second area are set. If the dividing unit 71 determines that the main subject is a non-moving subject based on the detection result of the detecting unit 32A, the dividing unit 71 determines the first region and the second region according to the sixth arrangement pattern shown in FIG. Set. Further, when the dividing unit 71 determines that the main subject is a moving subject and the moving direction of the moving subject is mainly in the vertical direction based on the detection result of the detecting unit 32A, the fifth subject shown in FIG. The first area and the second area are set according to the arrangement pattern.
  • step S14 the drive control unit 72 outputs an instruction signal to the drive unit 21 to cause the drive unit 21 to capture a still image in the first area and to capture a moving image in the second area.
  • the number of pixels in the still image is twice that in the moving image. That is, the resolution of a still image is twice that of a moving image.
  • the number of pixels in the still image is three times that in the moving image. That is, the resolution of still images is three times that of moving images. This requires a finer image quality for still images than for moving images.
  • the deterioration in image quality is less noticeable than in still images. For this reason, more areas are allocated to still images than moving images. If the number of pixels in the pixel region 113A is 20 million pixels, even if the number of moving image pixels (number of pixels in the second region) is reduced to 1/3 or 1/4, it is 6.6 million pixels or 5 million pixels. Pixels are reserved. Such a number of pixels is comparable to the number of pixels of a commercially available video camera.
  • the imaging start timing of the first area is different from the imaging start timing of the second area.
  • the imaging start timing of the first area and the imaging start timing of the second area are the same, and the exposure time of the first area (that is, charge accumulation). Time) and the exposure time of the second region are made different.
  • FIG. 19 is a timing chart showing the charge accumulation timing in the second embodiment.
  • a first area and a second area are set.
  • the drive unit 21 repeatedly captures a still image at the charge accumulation time (exposure time) T11 for each pixel in the first region while the release switch 55a is being operated.
  • the drive unit 21 repeatedly captures a still image for each pixel in the second region at the charge accumulation time (exposure time) T12.
  • the imaging start timing of the first area and the imaging start timing of the second area are the same.
  • the charge accumulation time T11 in the first region is different from the charge accumulation time T12 in the second region. That is, the charge accumulation time T12 is set to be longer than the charge accumulation time T11.
  • the charge accumulation time is set in the imaging condition setting process in step S23.
  • the pixel signal of each pixel read from the first area of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31A confirms parameters used in image processing such as color signal processing based on the instruction signal that instructs the imaging condition of the first region output from the division unit 71. Then, the image generation unit 31A generates image data of the first region by performing various image processing on the RAW data including the pixel signals of the pixels of the first region based on the parameters.
  • the pixel signal of each pixel read from the second area of the image sensor 100 is amplified by the amplifier 412 with the gain instructed from the dividing unit 71 and then output to the image processing unit 30.
  • the image generation unit 31B confirms parameters used in image processing such as color signal processing based on the instruction signal instructing the imaging condition of the second region output from the dividing unit 71. Then, the image generation unit 31B generates image data of the second region by performing various image processing on the RAW data including the pixel signals of the pixels of the second region based on the parameters. Further, the image generation unit 31 (the image synthesis unit 31A or 31B) synthesizes the image data of the first area and the image data of the second area.
  • FIG. 20 is a diagram illustrating a display example when still images are displayed on the first display unit and the second display unit in the second embodiment.
  • the display control unit 73 displays a still image of the first region (a person image captured at night) in the left region 53 ⁇ / b> L of the display screen of the second display unit 53. Further, the display control unit 73 displays the still image of the second area in the right area 53R of the display screen of the second display section 53.
  • the display control unit 73 displays a still image obtained by combining the still image in the first area and the still image in the second area in the central area 51G of the first display unit 51.
  • HDR High Dynamic
  • Range imaging is widely known.
  • HDR imaging a plurality of images are captured while changing imaging conditions (for example, exposure), and the images are combined to generate an image with less overexposure and underexposure.
  • the conventional HDR for example, since the imaging time for capturing two images with different imaging conditions is different, the subject moves or the user (photographer) moves the electronic device 1. There is. In this case, since the plurality of images are not the same subject image, it is difficult to synthesize the images.
  • the imaging time of two images from which imaging conditions differ can be made into the same time (or substantially the same time). Therefore, the configuration of the second embodiment can solve the problems of conventional HDR imaging.
  • the HDR mode is configured to be selectable according to the operation of the multi selector 55d by the user.
  • FIG. 21 is a block diagram illustrating configurations of an imaging apparatus and an electronic apparatus according to the third embodiment.
  • the imaging device 1A is a device that captures an image of a subject.
  • the imaging apparatus 1A includes a lens unit 10, an imaging unit 20, an image processing unit 30, a work memory 40, an operation unit 55, a recording unit 60, and a first system control unit 75.
  • the configurations of 10, the imaging unit 20, the image processing unit 30, the work memory 40, the operation unit 55, and the recording unit 60 are the same as those illustrated in FIG. Accordingly, the same components are denoted by the same reference numerals, and redundant description is omitted.
  • the electronic device 1B is a device that displays images (still images, moving images, live view images).
  • the electronic apparatus 1B includes a display unit 50 and a second system control unit (control unit) 70B.
  • the configuration of the display unit 50 in the electronic device 1B is the same as the configuration illustrated in FIG. Accordingly, the same components are denoted by the same reference numerals, and redundant description is omitted.
  • the first system control unit 75 has a first communication unit 75A.
  • the second system control unit 76 has a second communication unit 76B.
  • the first communication unit 75A and the second communication unit 76B transmit and receive signals to each other in a wired or wireless manner.
  • the 1st system control part 75 has a structure corresponded to the division
  • the 2nd system control part 76 has only the structure corresponded, for example to the display control part 73 among the structures shown in FIG.
  • 7 may be provided in either the first system control unit 75 or the second system control unit 76.
  • the configuration shown in FIG. 7 (the dividing unit 71, the drive control unit 72, and the display control unit 73) may be provided. 7 may be provided in the first system control unit 75 or the second system control unit 76, and a part of the configuration shown in FIG. 7 is provided in the first system control unit 75. 7 may be provided in the second system control unit 76 other than a part of the configuration shown in FIG.
  • the imaging apparatus 1A includes, for example, a digital camera, a smartphone, a mobile phone, and a personal computer having an imaging function and a communication function
  • the electronic device 1B includes, for example, a smartphone, a mobile phone, and a portable personal computer that have a communication function. Consists of a portable terminal such as a computer.
  • the first system control unit 75 shown in FIG. 21 is realized by a CPU (not shown) executing processing based on a control program. Further, the second system control unit 76 shown in FIG. 21 is realized by a CPU (not shown) executing processing based on a control program.
  • the image processing unit 30 and the first system control unit 75 may be configured integrally.
  • a system control unit having one or more CPUs performs the processing based on the control program, thereby taking on the function of the image processing unit 30 and the function of the first system control unit 75.
  • the electronic device 1 includes the imaging unit 20, the image processing unit 30 including the image generation unit 31, the system control unit including the dividing unit 71 and the drive control unit 72. 70, the lens unit 10 and the recording unit 60 may not be provided. That is, these configurations may be different from the electronic device 1.
  • the lens unit 10 and the recording unit 60 may be configured separately in the imaging apparatus 1A.
  • the arrangement of the color filters 102 is a Bayer arrangement, but an arrangement other than this arrangement may be used. Further, the number of pixels forming the unit group 131 only needs to include at least one pixel. In addition, the block only needs to include at least one pixel. Therefore, it is possible to execute imaging under different imaging conditions for each pixel.
  • part or all of the configuration of the drive unit 21 may be mounted on the imaging chip 113, or part or all of the configuration may be mounted on the signal processing chip 111. Further, a part of the configuration of the image processing unit 30 may be mounted on the imaging chip 113 or the signal processing chip 111. Further, a part of the configuration of the system control unit 70 may be mounted on the imaging chip 113 or the signal processing chip 111.
  • the gain, the charge accumulation time (exposure time, shutter speed), and the frame rate are all changeable as the imaging conditions, but at least one of these can be changed. That's fine.
  • the imaging condition is automatically set has been described, it may be set according to the operation of the operation unit 55 by the user.
  • the block arrangement patterns are illustrated in FIGS. 8A to 8D, FIGS. 17 and 18, but are not limited to these arrangement patterns.
  • the user may select the block arrangement pattern by operating the operation unit 55 or the like.
  • the place where the still image or the moving image captured by the imaging unit 20 is displayed may be the first display unit 51 or the second display unit 53.
  • the size of the block area is set in advance has been described. However, the user may set the size of the block area.
  • the dividing unit 71 recognizes the subject based on the live view image and sets the area. However, when the release switch 55a or the moving image switch 55c is pressed halfway, the dividing unit 71 may recognize the subject based on the image at that time and set the area.
  • Panning is a shooting method that expresses a sense of speed of a moving subject when the moving subject does not blur and the background (non-moving subject) blurs.
  • a panning image is taken in which the charge accumulation time (exposure time) is long in the first area and the background flows, and the charge accumulation time is shorter in the second area than the charge accumulation time in the first area.
  • the image generation unit 31 or the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】同一被写体に対して複数種類の画像を生成する。 【解決手段】撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部３１と、を備える。

Description

電子機器、電子機器の制御方法、及び制御プログラム
　本発明は、電子機器、電子機器の制御方法、及び制御プログラムに関する。
　裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
特開２００６－４９３６１号公報
　しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
　本発明の態様では、同一被写体に対して複数種類の画像を生成することを目的とする。
　本発明の第１態様によれば、撮像素子を駆動制御する駆動制御部と、撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割部と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部と、を備える電子機器が提供される。
　本発明の第２態様によれば、撮像部を有する電子機器の制御方法であって、撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割することと、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成することと、を含む電子機器の制御方法が提供される。
　本発明の第３態様によれば、撮像素子を有する電子機器の制御装置に、撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割処理と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成処理と、を実行させ制御プログラムが提供される。
　本発明の態様によれば、同一被写体に対して複数種類の画像を生成することができる。
積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第１実施形態に係る電子機器の構成を示すブロック図である。 電子機器の一例であるデジタルカメラの外観を示す図である。 画像処理部及びシステム制御部の機能ブロック図である。 各ブロックにおける配列パターンを示す図である。 システム制御部が実行する撮影動作を説明するためのフローチャートである。 配列パターン設定処理を説明するためのフローチャートである。 第２静止画モードが実行されるときの第２配列パターンの設定例を示す図である。 第１静止画モードと第２静止画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。 第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。 第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第１表示部に動画を表示し、第２表示部に静止画を表示する場合の表示例を示す図である。 各ブロックにおける第５配列パターンを示す図である。 各ブロックにおける第６配列パターンを示す図である。 第２実施形態における電荷蓄積のタイミングを示すタイミングチャートである。 第２実施形態における第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。 第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。
　以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。
　＜第１実施形態＞
　図１は、積層型撮像素子の断面図である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
　なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
　ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。
　カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
　配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
　信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。
　図２は、撮像チップの画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
　画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
　図３は、撮像チップの単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
　上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。
　各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。
　各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
　ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。
　ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
　図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。
　このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。
　図４は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。
　マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。
　演算回路４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。
　上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
　次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
　ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。
　また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
　また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。
　また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
　また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
　本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
　また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。
　図５は、第１実施形態に係る電子機器の構成を示すブロック図である。図５に示す電子機器１は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図５に示すように、電子機器１は、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。レンズ部１０は、複数のレンズ群から構成された撮像光学系である。このレンズ部１０は、被写体からの光束を撮像部２０へ導く。このレンズ部１０は、電子機器１と一体構成であってもよく、また電子機器１に対して着脱可能な交換式レンズであってもよい。また、このレンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
　撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
　また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおけるブロックの設定を行う。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。
　撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部３０は第１画像処理部３０Ａと第２画像処理部３０Ｂとが設けられている。画像処理の負荷が高い場合は、第１画像処理部３０Ａ及び第２画像処理部３０Ｂに対して、それぞれ処理が割り当てられる。そして、第１画像処理部３０Ａ及び第２画像処理部３０Ｂは、それぞれ、割り当てられた処理を並列に実行する。
　本実施形態においては、後述するように、システム制御部７０（具体的には、図７に示す分割部７１）は、撮像素子１００の画素領域（撮像領域）１１３Ａを少なくとも第１領域と第２領域とに分割する。また、システム制御部７０（具体的には、図７に示す駆動制御部７２）は、第１領域と第２領域とで異なる撮像条件によって撮像を行うように撮像素子１００を駆動制御する。この場合、例えば、第１画像処理部３０Ａは、第１領域からの信号の画像処理を実行する。また、第２画像処理部３０Ｂは、第２領域からの信号の画像処理を実行する。なお、撮像素子１００の画素領域（撮像領域）１１３Ａは、第１領域と第２領域との２つの領域に分割される場合に限らず、第１領域、第２領域、第３領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第１画像処理部３０Ａと第２画像処理部３０Ｂとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部７０が分割される領域の数や範囲などに基づいて決定してもよい。
　画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。
　本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある（例えば図１４参照）。
　画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
　画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部２１が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部２１はすべての画素から画素信号を読み出すが、画像処理部３０又は演算回路４１６は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
　ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成されている。この表示部５０は、図５に示すように、第１表示部５１、第１タッチパネル５２、第２表示部５３、及び第２タッチパネル５４を有している。
　第１表示部５１は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。第１タッチパネル５２は、第１表示部５１の表示画面上に形成されている。この第１タッチパネル５２は、使用者が画像（後述するサムネイル画像：図１３参照）の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。第２表示部５３は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。第２タッチパネル５４は、第２表示部５３の表示画面上に形成されている。この第２タッチパネル５４は、使用者が画像の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。
　操作部５５は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの２つの記憶媒体（第１記録媒体６１及び第２記録媒体６２）を装着可能な２つのカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体（第１記録媒体６１及び第２記録媒体６２）に画像処理部３０において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第１画像処理部３０Ａと第２画像処理部３０Ｂとは、それぞれ、第１領域からの信号に基づく画像処理と第２領域からの信号に基づく画像処理とを並列に実行する。この場合、第１記録媒体６１は、レリーズスイッチや動画スイッチの操作に応じて、第１領域からの信号に基づく画像データを記憶する。また、第２記録媒体６２は、レリーズスイッチや動画スイッチの操作に応じて、第２領域からの信号に基づく画像データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。
　システム制御部７０は、電子機器１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）７０Ａを有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。
　また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０（第１表示部５１及びタッチパネル５２のいずれか一方又は双方）に画像を表示させる。または、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０（第１表示部５１及びタッチパネル５２のいずれか一方又は双方）に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
　図６は、電子機器の一例であるデジタルカメラの外観を示す図である。なお、図６において、電子機器（デジタルカメラ）１を背面から見た場合の外観を示している。図６に示すように、第１表示部５１は、方形状の表示画面を有する表示パネルである。この第１表示部５１は、電子機器１の背面に設けられている。第１タッチパネル５２は、第１表示部５１の表示画面上に形成されている。
　また、第２表示部５３は、方形状の表示画面を有する表示パネルである。この第２表示部５３の端部が、電子機器１の背面かつ第１表示部５１の下方に設けられたヒンジ（図示せず）によって回転可能に連結されている。第２表示部５３がヒンジを支点として回転することにより、第１表示部５１が第２表示部５３によって開閉される。
　電子機器１の上面には、レリーズスイッチ５５ａ、モードダイヤル５５ｂ、及び動画スイッチ５５ｃが設けられている。レリーズスイッチ５５ａは、静止画を撮像する際に使用者によって押されるスイッチである。なお、レリーズスイッチ５５ａの半押し操作が行われることによって、ＡＦ（Automatic Focusing）やＡＥ（Automatic Exposure）などの撮影準備が行われる。モードダイヤル５５ｂは、ポートレート、風景、夜景などの各種シーンモードを設定する際に使用者によって回転されるダイヤルである。動画スイッチ５５ｃは、動画を撮像する際に使用者によって押されるスイッチである。また、電子機器１の背面かつ第１表示部５１の側方には、マルチセレクタ５５ｄが設けられている。マルチセレクタ５５ｄは、第１表示部５１又は第２表示部５３に表示されるメニュー（撮影モードを設定するためのメニュー）を、使用者が上下左右の矢印キーとＯＫスイッチにより選択するためのキー及びスイッチである。なお、操作部５５は、レリーズスイッチ５５ａ、モードダイヤル５５ｂ、動画スイッチ５５ｃ、及びマルチセレクタ５５ｄを有している。なお、操作部５５は、これら以外のスイッチなどを有していてもよい。
　図７は、図５に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、第１画像処理部３０Ａは画像生成部３１Ａ及び検出部３２Ａを含んでいる。画像生成部３１Ａは、撮像部２０から出力される第１領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。また、検出部３２Ａは、画像生成部３１Ａで生成した画像データから主要被写体を検出する。本実施形態において、検出部３２Ａは、画像生成部３１Ａが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体（移動被写体）を主要被写体として検出する。また、検出部３２Ａは、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部３２Ａは、顔検出に加えて、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する。
　また、第２画像処理部３０Ｂは画像生成部３１Ｂを含んでいる。画像生成部３１Ｂは、撮像部２０から出力される第２領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。なお、第２画像処理部３０Ｂは検出部を含んでいないが、検出部を含んでもよい。また、第１画像処理部３０Ａが検出部３２Ａを含まず、第２画像処理部３０Ｂが検出部を含む構成でもよい。本実施形態において、画像生成部３１Ａと画像生成部３１Ｂを総称して画像生成部３１と記すことがある。
　また、システム制御部７０は、分割部７１、駆動制御部７２、及び表示制御部７３を含んでいる。分割部７１は、撮像素子１００の画素領域（撮像領域）１１３Ａをブロック単位で複数の領域に分割する。この分割部７１は、画素領域１１３Ａの各ブロックにおける所定の配列パターンに基づいて画素領域１１３Ａを複数の領域に分割する（図８（Ａ）～（Ｄ）参照）。駆動制御部７２は、複数の領域についての撮像条件を設定する。また、駆動制御部７２は、使用者によるレリーズスイッチ５５ａや動画スイッチ５５ｃの操作に応じて撮像素子１００の駆動制御を実行する。また、駆動制御部は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、撮像素子１００の駆動制御を実行する。表示制御部７３は、画像生成部３１によって生成された画像データを表示部５０に出力させ、第１表示部５１及び第２表示部５３のいずれか一方又は双方に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。
　なお、システム制御部７０において、分割部７１、駆動制御部７２、及び表示制御部７３は、ＣＰＵ７０Ａが制御プログラムに基づいて処理を実行することにより実現される。
　次に、分割部７１により設定される各ブロックにおける配列パターンについて説明する。図８は、各ブロックにおける配列パターンを示す図である。ここで、図８（Ａ）は、各ブロックにおける第１配列パターンを示す。また、図８（Ｂ）は、各ブロックにおける第２配列パターンを示す。また、図８（Ｃ）は、各ブロックにおける第３配列パターンを示す。また、図８（Ｄ）は、各ブロックにおける第４配列パターンを示す。
　図８（Ａ）に示す第１配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第１配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の列（２ｍ－１）のブロックで構成され、第２領域が偶数の列（２ｍ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数列と偶数列とに分割されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。
　図８（Ｂ）に示す第２配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第２配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の行（２ｎ－１）のブロックで構成され、第２領域が偶数の行（２ｎ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数行と偶数行とに分割されている。ｎは正の整数（ｎ＝１，２，３，・・・）である。
　図８（Ｃ）に示す第３配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第３配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ－１）における奇数の行（２ｎ－１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとで第１領域が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ－１）のブロックと、奇数の列（２ｍ－１）における偶数の行（２ｎ）のブロックとで第２領域が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。図８（Ａ）～（Ｃ）に示してあるように、本実施形態において、第１領域および第２領域は、必ずしも連続的なブロックのみから構成されておらず、離散的なブロックから構成されている。
　図８（Ｄ）に示す第４配列パターンは、画素領域１１３Ａが第１領域と第２領域と第３領域とに３分割される配列パターンである。この第４配列パターンでは、画素領域１１３Ａにおいて、第１領域が３の倍数の列から２列前の列（３ｍ－２）のブロックで構成され、第２領域が３の倍数の列から１列前の列（３ｍ－１）のブロックで構成され、第３領域が３の倍数の列（３ｍ）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。
　なお、図８において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図８に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。
　次に、第１実施形態に係る撮影動作について説明する。図９は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図１０は、配列パターン設定処理を説明するためのフローチャートである。図９に示す処理において、電子機器１に電源が投入されると、システム制御部７０が撮影動作を開始する。また、図９において示していないが、撮影が開始されると、表示制御部７３は、撮像部２０で撮像されたライブビュー画像を第１表示部５１に表示するとともに、撮影モードを設定するためのメニューを第２表示部５３に表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、駆動制御部７２は、低いフレームレートで撮像するように撮像素子１００を駆動制御する。なお、表示制御部７３は、ライブビュー画像を第２表示部５３に表示し、メニューを第１表示部５１に表示してもよい。また、表示制御部７３は、ライブビュー画像及びメニューを同一の表示部（第１表示部５１又は第２表示部５３）に表示してもよい。
　使用者は、マルチセレクタ５５ｄを操作して、第２表示部５３に表示されているメニューを選択することにより撮影モードを選択する。分割部７１は、使用者によるマルチセレクタ５５ｄの操作によって選択された撮影モードを確認する（ステップＳ１）。
　ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、静止画モードとして、第１静止画モードと、第２静止画モードとが設けられている。また、動画モードとして、第１動画モードと、第２動画モードとが設けられている。
　第１静止画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の静止画を撮影する撮影モードをいう。この第１静止画モードは、一般的に行われている通常の静止画撮影モードである。第２静止画モードとは、分割部７１が画素領域１１３Ａを複数の領域に分割し、撮像素子１００が複数の領域のそれぞれにおいて同一被写体の静止画を撮影する撮影モードをいう。この第２静止画モードでは、複数の領域のそれぞれにおいて同一被写体の静止画を連続して撮像する処理を並列に実行することができる。従って、第１静止画モードにおいて連写を行う場合よりも、第２静止画モードにおいて静止画の連写を行う場合の方が、単位時間あたり数多くの静止画を撮影することができる。すなわち、第２静止画モードの方が第１静止画モードよりも高速連写を行うことができる。第２静止画モードのことを、高速連写モード又は静止画－静止画ミックスモードともいう。
　第１動画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の動画を撮影する撮影モードをいう。この第１動画モードは、一般的に行われている通常の動画撮影モードである。第２動画モードとは、分割部７１が画素領域１１３Ａを複数の領域に分割し、撮像素子１００が複数の領域のうち一の領域において被写体の静止画を撮影し、複数の領域のうち他の領域において同一の被写体の動画を撮影する撮影モードをいう。第２動画モードのことを、静止画－動画同時撮影モード又は静止画－動画ミックスモードともいう。
　なお、使用者が撮影モードを選択する場合に、マルチセレクタ５５ｄの操作に代えて、第２タッチパネル５４におけるメニューに対応する位置をタッチさせるようにしてもよい。
　分割部７１は、使用者により選択された撮影モードが静止画モードであるか否かを判定する（ステップＳ２）。分割部７１は、撮影モードが静止画モードであると判定した場合は、静止画モードが第１静止画モードであるか否かを判定する（ステップＳ３）。分割部７１は、静止画モードが第１静止画モードであると判定した場合は、撮影モードを第１静止画モードに設定する処理を行う（ステップＳ４）。一方、分割部７１は、静止画モードが第１静止画モードでないと判定した場合、すなわち、第２静止画モードであると判定した場合は、撮影モードを第２静止画モードに設定する処理を行う（ステップＳ５）。
　ステップＳ４又はステップＳ５の処理において、分割部７１は、図１０に示す配列パターン設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体（移動していない被写体）とを検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。
　具体的には、分割部７１は、撮影モードが第１静止画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。
　一方、分割部７１は、撮影モードが第２静止画モードであるときは、図８（Ａ）～（Ｄ）に示した配列パターンのいずれかを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合、例えば、主要被写体が滑り台をすべる子供や滝などである場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合、例えば、主要被写体が走っている人物などである場合や流し撮りを行っている場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域～第３領域）のブロックの位置などを指示する指示信号を出力する。
　図１１は、第２静止画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１１においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１１に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１１に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１～Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。このとき、分割部は、第１領域と第２領域とが主要被写体Ｏ１～Ｏ３を含むように画素領域１１３Ａの分割を行う。
　図１０の説明に戻り、駆動制御部７２は、検出部３２Ａの検出結果に基づいて、ステップＳ２２で設定した領域（図１１に示す例では、第１領域及び第２領域）の撮像条件を設定する（ステップＳ２３）。具体的には、駆動制御部７２は、主要被写体に応じた撮像条件（電荷蓄積時間、ゲインなど）を指示する指示信号を駆動部２１に出力する。また、駆動制御部７２は、主要被写体に応じた撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ）を指示する指示信号を画像処理部３０に出力する。例えば、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、ゲイン（ＩＳＯ感度）を高くするとともに、電荷蓄積時間（すなわち、露光時間、シャッタースピード）を速くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出されなかった場合には、ゲインを低くするとともに、電荷蓄積時間を遅くする。
　図９の説明に戻り、駆動制御部７２は、使用者によりレリーズスイッチ５５ａの操作（半押し操作に続く、全押し操作）が行われたか否かを判定する（ステップＳ６）。駆動制御部７２は、レリーズスイッチ５５ａの操作が行われたと判定した場合は、静止画モード（第１静止画モード又は第２静止画モード）による撮像を撮像部２０に実行させる（ステップＳ７）。
　図１２は、第１静止画モードと第２静止画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。図１２（Ａ）に示す第１静止画モード（通常の連写モード）においては、上記したように、すべての画素領域１１３Ａが１つの領域として設定されている。第１静止画モードでは、駆動制御部７２は、レリーズスイッチ５５ａの操作（全押し操作）が行われている間、すべての画素領域１１３Ａに対して静止画の撮像を繰り返し実行するように、駆動部２１に対して指示信号を出力する。図１２（Ａ）において、駆動部２１は、時刻ｔ１で画素領域１１３Ａに対する電荷蓄積を開始させ、時刻ｔ３で画素領域１１３Ａに対する電荷蓄積を終了させる。駆動部２１は、画素領域１１３Ａの各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ４で画素領域１１３Ａに対する電荷蓄積を開始させ、時刻ｔ７で画素領域１１３Ａに対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。
　図１２（Ａ）に示す例では、駆動部２１は時刻ｔ１からｔ１５までの間に４回の撮像を連続して実行している。時刻ｔ１からｔ３までの時間、時刻ｔ４からｔ７までの時間、時刻ｔ８からｔ１１までの時間、及び時刻ｔ１２からｔ１５までの時間が電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）は、ステップＳ２３の撮像条件の設定処理において設定される。また、撮像素子１００から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１（例えば画像生成部３１Ａ）は、分割部７１から出力された撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１は、各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより画像データを生成する。
　図１２（Ｂ）に示す第２静止画モード（高速連写モード）においては、分割部２１が例えば第１領域と第２領域とを設定する。第２静止画モードでは、駆動制御部７２は、レリーズスイッチ５５ａの操作（全押し操作）が行われている間、第１領域に対して静止画の撮像を繰り返し実行するとともに、第２領域に対して静止画の撮像を繰り返し実行するように、駆動部２１に対して指示信号を出力する。図１２（Ｂ）において、駆動部２１は、時刻ｔ１で第１領域に対する電荷蓄積を開始させ、時刻ｔ３で第１領域に対する電荷蓄積を終了させる。駆動部２１は、第１領域の各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ４で第１領域に対する電荷蓄積を開始させ、時刻ｔ７で第１領域に対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。
　また、図１２（Ｂ）において、駆動部２１は、時刻ｔ２で第２領域に対する電荷蓄積を開始させ、時刻ｔ５で第２領域に対する電荷蓄積を終了させる。駆動部２１は、第２領域の各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ６で第２領域に対する電荷蓄積を開始させ、時刻ｔ９で第２領域に対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。
　図１２（Ｂ）に示す例では、駆動部２１は第１領域において時刻ｔ１からｔ１５までの間に４回の撮像を連続して実行している。また、第１領域における４回の撮像と並列に、駆動部２１は第２領域において時刻ｔ２からｔ１６までの間に４回の撮像を連続して実行している。従って、駆動部２１は第１領域及び第２領域において時刻ｔ１からｔ１６までの間に８回の撮像を連続して実行していることになる。
　時刻ｔ１からｔ３までの時間、時刻ｔ４からｔ７までの時間、時刻ｔ８からｔ１１までの時間、及び時刻ｔ１２からｔ１５までの時間が第１領域における電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）は、ステップＳ２３の撮像条件の設定処理において設定される。また、時刻ｔ２からｔ５までの時間、時刻ｔ６からｔ９までの時間、時刻ｔ１０からｔ１３までの時間、及び時刻ｔ１４からｔ１６までの時間が第２領域における電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）も、ステップＳ２３の撮像条件の設定処理において設定される。
　また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。
　また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。さらに、画像生成部３１（画像合成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域の画像データとを合成する。
　図１２（Ｂ）に示す第２静止画モードにおいて、駆動制御部７２は、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを異ならせて（ずらして）駆動部２１に撮像素子１００を駆動制御させている。従って、図１２（Ａ）に示す第１静止画モードにおいて、例えば１秒間に３０コマの静止画の撮像が可能であるとすれば、図１２（Ｂ）に示す第２静止画モードにおいては、第１静止画モードのほぼ倍の１秒間に６０コマ近くの撮像が可能となる。この場合、画素領域１１３Ａが第１領域と第２領域とに分けられているので、静止画の画素数は半分となってしまう。しかし、２０００万画素の半分としても１０００万画素の静止画が撮像されることになる。従って、使用者にとって十分な画質が確保されていると考えられる。
　なお、第２静止画モードにおいて、分割部７１が図８（Ｄ）に示す第４配列パターンに従って画素領域１１３Ａに第１領域～第３領域を設定する場合は、画素領域１１３Ａに第１領域及び第２領域を設定する場合よりも、さらに高速連写を実現することができる。例えば、第１静止画モードにおいて、１秒間に３０コマの静止画の撮像が可能であるとすれば、第２静止画モードにおいて画素領域１１３Ａに３つの領域を設定する場合は、第１静止画モードのほぼ３倍の１秒間に９０コマ近くの撮像が可能となる。撮像素子１００は今後も高画素化になることが予想される。このため、画素領域１１３Ａを３分割し、１枚の静止画の画素数が１／３になったとしても、使用者にとって画質の低下よりも連写の高速性の方が重視される。
　図９の説明に戻り、表示制御部７３は、画像処理部３０が生成した画像データを表示部５０に出力することにより、第１表示部５１又は第２表示部５３に静止画を表示させる（ステップＳ８）。駆動制御部７２が第１静止画モードで静止画を撮像した場合は、表示制御部７３は、第１表示部５１に静止画を表示させる。一方、駆動制御部７２が第２静止画モードで静止画を撮像した場合は、表示制御部７３は、第１表示部５１に高速に複数回連続して撮像した複数の静止画をサムネイル画像として表示する。また、表示制御部７３は、使用者によって選択されたサムネイル画像を第２表示部５３に拡大して表示する。
　図１３は、第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。図１３に示すように、表示制御部７３は、第１表示部５１に８つのサムネイル画像（静止画）５１１～５１８を並べて表示している。例えば、サムネイル画像５１１は図１２（Ｂ）の１回目の撮像による静止画である。同様に、サムネイル画像５１２～５１８は、それぞれ図１２（Ｂ）の２回目～８回目の撮像による静止画である。
　また、図１３に示すように、第１タッチパネル５２において、８つのタッチ領域５１１ａ～５１８ａが８つのサムネイル画像５１１～５１８のそれぞれに重なるように形成される。各タッチ領域５１１ａ～５１８ａは、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部７０に出力する。
　表示制御部７３は、使用者によって押されたタッチ領域に対応するサムネイル画像を第２表示部５３に拡大して表示させる。図１３に示す例では、使用者がタッチ領域５１３ａを押したことにより、タッチ領域５１３ａに対応するサムネイル画像５１３が第２表示部５３に拡大して表示されている。
　図９の説明に戻り、分割部７１は、ステップＳ２において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第１動画モードであるか否かを判定する（ステップＳ１０）。分割部７１は、動画モードが第１動画モードであると判定した場合は、撮影モードを第１動画モードに設定する処理を行う（ステップＳ１１）。一方、分割部７１は、動画モードが第１動画モードでないと判定した場合、すなわち、第２動画モードであると判定した場合は、撮影モードを第２動画モードに設定する処理を行う（ステップＳ１２）。
　ステップＳ１１又はステップＳ１２の処理において、分割部７１は、図１０に示す配列パターン設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部３２Ａは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部３２Ａは、顔検出に加えて、画像データに含まれる人体（人物）を主要被写体として検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。
　具体的には、分割部７１は、撮影モードが第１動画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。
　一方、分割部７１は、撮影モードが第２動画モードであるときは、図８（Ａ）～（Ｄ）のいずれかに示した配列パターンを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域～第３領域）のブロックの位置などを指示する指示信号を出力する。
　図１４は、第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１４においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１４に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１４に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。また、検出部３２Ａは、画像データに含まれる人物Ｏ１，Ｏ２を主要被写体として検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１～Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。また、分割部７１は、主要被写体Ｏ１，Ｏ２が人物であると判定する。その結果、分割部７１は、第２領域のうち、主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１を第２領域Ａとし、主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１以外の領域を第２領域Ｂとして設定する。
　図１０の説明に戻り、駆動制御部７２は、検出部３２Ａの検出結果に基づいて、ステップＳ２２で設定した領域（図１４に示す例では、第１領域、第２領域Ａ、及び第２領域Ｂ）の撮像条件を設定する（ステップＳ２３）。具体的には、駆動制御部７２は、主要被写体に応じた撮像条件（フレームレート、ゲインなど）を指示する指示信号を駆動部２１に出力する。また、駆動制御部７２は、主要被写体に応じた撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ）を指示する指示信号を画像処理部３０に出力する。
　例えば、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、第１領域のゲイン（ＩＳＯ感度）を高くするとともに、第１領域の電荷蓄積時間を速くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出されなかった場合には、第１領域のゲインを低くするとともに、第１領域の電荷蓄積時間を遅くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、移動被写体の領域（主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１、つまり第２領域Ａ）については、フレームレートを高くする。また、非移動被写体の領域（主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１以外の領域、つまり第２領域Ｂ）については、フレームレートを第２領域Ａよりも低くする。
　図９の説明に戻り、駆動制御部７２は、使用者により動画スイッチ５５ｃの操作が行われたか否かを判定する（ステップＳ１３）。駆動制御部７２は、動画スイッチ５５ｃの操作が行われたと判定した場合は、動画モード（第１動画モード又は第２動画モード）による撮像を撮像部２０に実行させる（ステップＳ１４）。なお、第１動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。
　図１５は、第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。図１５に示す第２動画モード（静止画－動画ミックスモード）においては、例えば第１領域と第２領域Ａと第２領域Ｂとが設定される。第２動画モードでは、駆動制御部７２は、動画スイッチ５５ｃの操作が行われている間、第１領域に対して静止画の撮像を繰り返し実行するとともに、第２領域Ａ及び第２領域Ｂに対して動画の撮像を実行するように、駆動部２１に対して指示信号を出力する。図１５において、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第１領域における各画素について電荷蓄積時間Ｔ１で静止画を撮像させる。また、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第２領域Ａにおける各画素について電荷蓄積時間Ｔ２Ａで動画を撮像させる。また、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第２領域Ｂにおける各画素について電荷蓄積時間Ｔ２Ａよりも長い電荷蓄積時間Ｔ２Ｂで動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間Ｔ２Ａで撮像が実行される場合と電荷蓄積時間Ｔ２Ｂで撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第２領域Ａの電荷蓄積時間Ｔ２Ａに対応するフレームレートは６０ｆｐｓであり、第２領域Ｂの電荷蓄積時間Ｔ２Ｂに対応するフレームレートは３０ｆｐｓである。電荷蓄積時間やフレームレートは、ステップＳ２３の撮像条件の設定処理において設定される。
　また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。
　また、撮像素子１００の第２領域Ａから読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域Ａの撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域Ａの各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域Ａの画像データを生成する。
　さらに、撮像素子１００の第２領域Ｂから読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域Ｂの撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域Ｂの各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域Ｂの画像データを生成する。また、画像生成部３１（画像生成部３１Ａ又は３１Ｂ）は、第２領域Ａの画像データと第２領域Ｂの画像データとを合成する。さらに、画像生成部３１（画像生成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域Ａの画像データと第２領域Ｂの画像データとを合成する。
　このように、第２領域Ａのフレームレートが第２領域Ｂのフレームレートよりも高くしているので、動画における人物の主要被写体Ｏ１，Ｏ２の動きが滑らかになる。
　図９の説明に戻り、表示制御部７３は、画像処理部３０が生成した動画の画像データを表示部５０に出力することにより、第１表示部５１に動画を表示させる（ステップＳ８）。また、表示制御部７３は、画像処理部３０が生成した静止画の画像データを表示部５０に出力することにより、第２表示部５３に静止画を表示させる（ステップＳ８）。
　図１６は、第１表示部に動画を表示し、第２表示部に静止画を表示する場合の表示例を示す図である。図１６に示すように、表示制御部７３は、画像生成部３１が生成した第２領域Ａと第２領域Ｂとを合成した動画（２人の人物がサッカーをしている動画）を第１表示部５１に表示している。また、表示制御部７３は、画像生成部３１が生成した第１領域の静止画を表示している。
　以上に説明したように、第１実施形態では、撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部３１と、を備える構成とされている。このような構成によれば、同一被写体に対して複数種類の画像（複数の静止画、静止画と動画など）を生成することができる。従って、被写体や撮影状況に応じた複数種類の画像を生成することができ、撮像素子１００を備えた電子機器１の使い勝手が向上する。
　また、駆動制御部７２は、第１領域の撮像開始のタイミングと、第２領域の撮像開始のタイミングを異ならせて撮像素子１００を駆動制御する。このような構成によれば、同一被写体に対して様々なタイミングにおいて複数種類の画像を生成することができる。また、単位時間あたりに数多くの画像を生成することができる。従って、使用者は好機な撮像タイミングを逃さずに撮像を行うことができる。
　また、駆動制御部７２は、第１領域の撮像中に第２領域の撮像を行うので、第１領域の撮像と第２領域の撮像とを並列に実行することができ、同一被写体に対して露光時間の一部が重複する画像を撮像することができる。従って、今まで撮像できなかったタイミングで同一被写体の撮像を行うことができる。また、駆動制御部７２は、撮像素子１００の第１領域と第２領域との撮像条件として、フレームレート、ゲイン、露光時間のうち、少なくとも１つを異ならせる。このような構成によれば、使用者は異なる撮像条件で撮像された複数種類の画像を取得することができる。
　また、画像生成部３１は、第１領域の撮像と、第２領域の撮像との少なくとも一方に基づいて、静止画を生成するので、同一被写体に対して複数種類の静止画を生成することができる。また、画像生成部３１は、第１領域の撮像と、第２領域の撮像とのいずれかに基づいて動画を生成するので、同一被写体に対して静止画と動画とを生成することができる。また、画像生成部３１は、第１画像と第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の画像を取得することができる。
　また、分割部７１は、第１領域を複数の離散的な領域（複数の離散的なブロック）から形成するので、画像において部分的に解像度が低下してしまうことがなくなる。また、分割部７１は、第１領域と、第２領域とを可変に分割するので、撮影モードや被写体の種類などの様々な状況に応じた領域に分割することができる。
　また、画像生成部３１で生成した画像から主要被写体を検出する検出部３２Ａを備え、分割部７１は、第１領域と第２領域とが主要被写体を含むように分割を行うので、主要被写体に対して第１領域の画像と第２領域の画像とを生成することができる。また、画像生成部３１によって生成された画像を表示部５０に表示させる表示制御部７３を有するので、使用者は表示部５０に表示された画像を確認することができる。また、撮像素子１００は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子１００を収容するための容積を小さくすることができる。また、システム制御部７０からの指示に基づいて撮像素子１００の駆動制御を行うことができ、システム制御部７０の負担が軽減されるとともに、撮像素子１００の電子機器１への搭載が容易となる。
　なお、図５に示す第１実施形態に係る電子機器１において、表示部５０は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、画像処理部３０は２つの画像処理部３０Ａ，３０Ｂを備えていたが、１つの画像処理部だけを備えている構成でもよい。
　次に、第１実施形態の変形例について説明する。図８（Ａ）～（Ｃ）では、第１領域の面積と第２領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図８（Ｄ）では、第１領域の面積と第２領域の面積と第３領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数と第３領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積（画素数）が異なるように各ブロックの配列パターンが設定されてもよい。
　図１７は、各ブロックにおける第５配列パターンを示す図である。図１７に示す第５配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第５配列パターンでは、画素領域１１３Ａにおいて、第２領域が３の倍数の列（３ｍ）のブロックで構成され、第１領域が第２領域以外のブロック、すなわち、３の倍数の例以外の列（３ｍ－２，３ｍ－１）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。このような配列パターンの場合、第１領域の面積と第２領域の面積との比が２：１となる。
　図１８は、各ブロックにおける第６配列パターンを示す図である。図１８に示す第６配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第６配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ－１）における４の倍数の行から１行前の行（４ｎ－１）のブロックと、偶数の列（２ｍ）における４の倍数の行から３行前の行（４ｎ－３）のブロックとで第２領域が構成され、第１領域が第２領域以外のブロックで構成されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。このような配列パターンの場合、第１領域の面積と第２領域の面積との比が３：１となる。
　図１０のステップＳ２２において、分割部７１は、使用者によって選択された撮影モードが第２動画モードであると判定した場合は、図１７に示す第５配列パターン又は図１８に示す第６配列パターンに従って、第１領域と第２領域とを設定する。また、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が非移動被写体であると判定した場合は、図１８に示す第６配列パターンに従って、第１領域と第２領域とを設定する。また、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であり、その移動被写体の移動方向が主に上下方向であると判定した場合は、図１７に示す第５配列パターンに従って、第１領域と第２領域とを設定する。
　そして、ステップＳ１４において、駆動制御部７２は、駆動部２１に指示信号を出力することにより、駆動部２１に対して、第１領域において静止画を撮像させ、第２領域において動画を撮像させる。第１領域と第２領域とが第５配列パターンに従って設定された場合は、静止画の方が動画よりも画素数が２倍となる。すなわち、静止画の方が動画よりも解像度が２倍となる。また、第１領域と第２領域とが第６配列パターンに従って設定された場合は、静止画の方が動画よりも画素数が３倍となる。すなわち、静止画の方が動画よりも解像度が３倍となる。これは、静止画が動画に比べて、より精細な画質が要求される。また、動画の場合は、被写体が動いていることが多いので、画質の低下が静止画よりも目立たない。このような理由から、動画よりも静止画に対して多くの領域を割り当てるようにしている。なお、画素領域１１３Ａの画素数が２０００万画素であるとした場合、動画の画素数（第２領域の画素数）が１／３や１／４に低下したとしても、６６６万画素や５００万画素が確保される。このような画素数は市販のビデオカメラの画素数と比較しても遜色ない画素数である。
　＜第２実施形態＞
　上記した第１実施形態では、図１２（Ｂ）に示すように、第２静止画モードにおいて、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを異ならせていた。これに対して、第２実施形態では、第２静止画モードにおいて、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを同一とし、第１領域の露光時間（すなわち電荷蓄積時間）と第２領域の露光時間とを異ならせる。
　図１９は、第２実施形態における電荷蓄積のタイミングを示すタイミングチャートである。図１９に示す第２静止画モードにおいては、第１領域と第２領域とが設定されている。図１９に示すように、駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、第１領域における各画素について電荷蓄積時間（露光時間）Ｔ１１で静止画を繰り返し撮像させる。また、駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、第２領域における各画素について電荷蓄積時間（露光時間）Ｔ１２で静止画を繰り返し撮像させる。ここで、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングは同一となっている。一方、第１領域の電荷蓄積時間Ｔ１１と第２領域の電荷蓄積時間Ｔ１２とは異なっている。すなわち、電荷蓄積時間Ｔ１１よりも電荷蓄積時間Ｔ１２の方が長くなるように設定されている。電荷蓄積時間は、ステップＳ２３の撮像条件の設定処理において設定される。
　撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。
　また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。また、画像生成部３１（画像合成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域の画像データとを合成する。
　図２０は、第２実施形態における第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。図２０において、表示制御部７３は、第２表示部５３の表示画面の左側領域５３Ｌにおいて、第１領域の静止画（夜間に撮像した人物の画像）を表示する。また、表示制御部７３は、第２表示部５３の表示画面の右側領域５３Ｒにおいて、第２領域の静止画を表示する。また、表示制御部７３は、第１表示部５１の中央領域５１Ｇにおいて、第１領域の静止画と第２領域の静止画とを合成した静止画を表示する。
　一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、ＨＤＲ(High Dynamic
Range)撮像が広く知られている。ＨＤＲ撮像では、撮像条件（例えば露出）を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のＨＤＲでは、例えば撮像条件の異なる２枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者（撮影者）が電子機器１を動かしたりしてしまうことがある。この場合、複数枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第２実施形態では、撮像条件の異なる２枚の画像の撮像時間を同じ時刻（又は略同じ時刻）とすることができる。従って、第２実施形態の構成により従来のＨＤＲ撮像の問題点を解決することができる。なお、ＨＤＲモードは、使用者によるマルチセレクタ５５ｄの操作などに応じて選択可能に構成する。
　＜第３実施形態＞
　第３実施形態では、上記した第１実施形態における電子機器１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。
　図２１は、第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図２１に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７５を備える。なお、撮像装置１Ａのうち、１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
　また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
　第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。また、第１システム制御部７５は、図７に示す構成のうち、例えば分割部７１及び駆動制御部７２に相当する構成を有している。また、第２システム制御部７６は、図７に示す構成のうち、例えば表示制御部７３に相当する構成のみ有している。
　図７に示す構成（分割部７１、駆動制御部７２、及び表示制御部７３）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図７に示す構成の一部が第１システム制御部７５に設けられ、図７に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。
　なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
　図２１に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図２１に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。
　なお、図２１に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
　例えば、上記した第１実施形態及び第２実施形態において、電子機器１は、撮像部２０と、画像生成部３１を含む画像処理部３０と、分割部７１及び駆動制御部７２を含むシステム制御部７０とを備えていれば、レンズ部１０や記録部６０などを備えていなくてもよい。すなわち、これらの構成は電子機器１と別構成とされていてもよい。また、上記した第３実施形態において、撮像装置１Ａについても、レンズ部１０や記録部６０などは別構成とされていてもよい。
　また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
　また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
　また、上記した各実施形態において、撮像条件として、ゲイン、電荷蓄積時間（露光時間、シャッタースピード）、フレームレートのすべてが変更可能に構成されているが、これらの少なくとも１つを変更可能であればよい。また、撮像条件が自動的に設定される場合についてのみ説明したが、使用者による操作部５５などの操作に応じて設定されるようにしてもよい。
　また、上記した各実施形態において、ブロックの配列パターンとして、図８（Ａ）～（Ｄ）、図１７、及び図１８に例示したが、これらの配列パターンに限られない。また、使用者が、操作部５５などを操作することによりブロックの配列パターンを選択するようにしてもよい。また、撮像部２０で撮像された静止画や動画を表示する箇所は、第１表示部５１であっても第２表示部５３であってもよい。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。
　また、上記した第１実施形態において、分割部７１は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部７１は、レリーズスイッチ５５ａや動画スイッチ５５ｃの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。
　また、上記した第１実施形態において、流し撮りを行うための撮影モードを設けてもよい。流し撮りとは、移動被写体がブレず、背景（非移動被写体）がブレることにより移動被写体のスピード感を表現する撮影方法である。流し撮りの撮影モードでは、第１領域において電荷蓄積時間（露光時間）が長く背景が流れる流し撮り画像を撮像し、第２領域において電荷蓄積時間が第１領域の電荷蓄積時間よりも短い通常の流し撮り画像を撮像する。そして、画像生成部３１（又は使用者）は、第１領域の流し撮り画像と第２領域の流し撮り画像とを適宜合成する。
　１，１Ｂ…電子機器、１Ａ…撮像装置、２０…撮像部、３０…画像処理部、３１，３１Ａ，３１Ｂ…画像生成部、３２Ａ…検出部、５０…表示部、５１…第１表示部、５２…第１タッチパネル、５３…第２表示部、５４…第２タッチパネル、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部（制御部）、７１…分割部、７２…駆動制御部、７３…表示制御部、１００…撮像素子

Claims (16)

  1. 　撮像素子を駆動制御する駆動制御部と、
    　前記撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割部と、
    　同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成する画像生成部と、を備える電子機器。
  2. 　前記駆動制御部は、前記第１領域の撮像開始のタイミングと、前記第２領域の撮像開始のタイミングを異ならせて前記撮像素子を駆動制御する請求項１記載の電子機器。
  3. 　前記駆動制御部は、前記第１領域の撮像中に前記第２領域の撮像を行う請求項１または２記載の電子機器。
  4. 　前記駆動制御部は、前記撮像素子の前記第１領域と前記第２領域との撮像条件として、フレームレート、ゲイン、露光時間のうち、少なくとも１つを異ならせる請求項１から３のいずれか一項に記載の電子機器。
  5. 　前記画像生成部は、前記第１領域の撮像と、前記第２領域の撮像との少なくとも一方に基づいて、静止画を生成する請求項１から４のいずれか一項に記載の電子機器。
  6. 　前記画像生成部は、前記第１領域の撮像と、前記第２領域の撮像とのいずれかに基づいて動画を生成する請求項１から５のいずれか一項に記載の電子機器。
  7. 　前記画像生成部は、前記第１画像と前記第２画像とを合成する請求項１から６のいずれか一項に記載の電子機器。
  8. 　前記画像生成部は、前記第１画像と前記第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行う請求項１から７のいずれか一項に記載の電子機器。
  9. 　前記分割部は、前記第１領域の画素数と、前記第２領域の画素数とを異ならせる請求項１から８のいずれか一項に記載の電子機器。
  10. 　前記分割部は、前記第１領域を複数の離散的な領域から形成する請求項１から９のいずれか一項に記載の電子機器。
  11. 　前記分割部は、前記第１領域と、前記第２領域とを可変に分割する請求項１から１０のいずれか一項に記載の電子機器。
  12. 　前記画像生成部で生成した画像から主要被写体を検出する検出部を備え、
    　前記分割部は、前記第１領域と前記第２領域とが前記主要被写体を含むように前記分割を行う請求項１から１１のいずれか一項に記載の電子機器。
  13. 　前記画像生成部によって生成された画像を表示部に表示させる表示制御部と、を有する請求項１から１２のいずれか一項に記載の電子機器。
  14. 　前記撮像素子は、裏面照射型撮像チップと信号処理チップとが積層された構造である請求項１から１３のいずれか一項に記載の電子機器。
  15. 　撮像部を有する電子機器の制御方法であって、
    　前記撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割することと、
    　同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成することと、を含む電子機器の制御方法。
  16. 　撮像素子を有する電子機器の制御装置に、
    　前記撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割処理と、
    　同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成する画像生成処理と、を実行させ制御プログラム。
PCT/JP2013/068381 2013-07-04 2013-07-04 電子機器、電子機器の制御方法、及び制御プログラム WO2015001646A1 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
EP13888636.1A EP3018893A4 (en) 2013-07-04 2013-07-04 ELECTRONIC APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM FOR ELECTRONIC APPARATUS
CN201811274381.7A CN109256404B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备
US14/900,802 US10142563B2 (en) 2013-07-04 2013-07-04 Electronic apparatus, method for controlling electronic apparatus, and control program
CN201380077710.8A CN105324985B (zh) 2013-07-04 2013-07-04 电子设备及摄像元件
JP2015524974A JP6372488B2 (ja) 2013-07-04 2013-07-04 電子機器
PCT/JP2013/068381 WO2015001646A1 (ja) 2013-07-04 2013-07-04 電子機器、電子機器の制御方法、及び制御プログラム
CN201811271609.7A CN109743514B (zh) 2013-07-04 2013-07-04 摄像元件以及摄像装置
EP19181971.3A EP3588940B1 (en) 2013-07-04 2013-07-04 Electronic apparatus, method for controlling electronic apparatus, and control program
CN201811271635.XA CN109742094B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备
US16/177,653 US10841512B2 (en) 2013-07-04 2018-11-01 Electronic apparatus, method for controlling electronic apparatus, and control program
US17/020,920 US11637970B2 (en) 2013-07-04 2020-09-15 Electronic apparatus, method for controlling electronic apparatus, and control program
US18/118,850 US20230231966A1 (en) 2013-07-04 2023-03-08 Electronic apparatus, method for controlling electronic apparatus, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/068381 WO2015001646A1 (ja) 2013-07-04 2013-07-04 電子機器、電子機器の制御方法、及び制御プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/900,802 A-371-Of-International US10142563B2 (en) 2013-07-04 2013-07-04 Electronic apparatus, method for controlling electronic apparatus, and control program
US16/177,653 Continuation US10841512B2 (en) 2013-07-04 2018-11-01 Electronic apparatus, method for controlling electronic apparatus, and control program

Publications (1)

Publication Number Publication Date
WO2015001646A1 true WO2015001646A1 (ja) 2015-01-08

Family

ID=52143265

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068381 WO2015001646A1 (ja) 2013-07-04 2013-07-04 電子機器、電子機器の制御方法、及び制御プログラム

Country Status (5)

Country Link
US (4) US10142563B2 (ja)
EP (2) EP3588940B1 (ja)
JP (1) JP6372488B2 (ja)
CN (4) CN109256404B (ja)
WO (1) WO2015001646A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190021A1 (ja) * 2014-06-10 2015-12-17 ソニー株式会社 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
JP2016192606A (ja) * 2015-03-30 2016-11-10 株式会社ニコン 電子機器、およびプログラム
JP2017022641A (ja) * 2015-07-14 2017-01-26 キヤノン株式会社 画像処理装置、撮像装置および撮像制御プログラム
JP2017183940A (ja) * 2016-03-29 2017-10-05 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018516013A (ja) * 2015-05-19 2018-06-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． セミグローバルシャッタイメージャ
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
JP2019057240A (ja) * 2017-09-22 2019-04-11 株式会社デンソーウェーブ 撮像装置
US11483467B2 (en) 2016-03-31 2022-10-25 Nikon Corporation Imaging device, image processing device, and electronic apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109256404B (zh) 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备
CN105474627B (zh) * 2013-08-12 2019-06-04 株式会社尼康 电子设备
JP6261430B2 (ja) * 2014-04-01 2018-01-17 キヤノン株式会社 撮像装置及び画像処理システム
JP5866674B1 (ja) * 2014-07-29 2016-02-17 パナソニックＩｐマネジメント株式会社 撮像装置
US9571741B1 (en) * 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP2017169021A (ja) * 2016-03-16 2017-09-21 ソニー株式会社 撮像装置、撮像方法および撮像プログラム
US20190141263A1 (en) * 2016-06-09 2019-05-09 Sony Corporation Control device and control method
CN107633795B (zh) * 2016-08-19 2019-11-08 京东方科技集团股份有限公司 显示装置和显示面板的驱动方法
CN107091800A (zh) * 2017-06-06 2017-08-25 深圳小孚医疗科技有限公司 用于显微成像粒子分析的聚焦系统和聚焦方法
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
DE112018003456T5 (de) 2017-07-07 2020-03-19 Semiconductor Energy Laboratory Co., Ltd. Anzeigesystem und Betriebsverfahren des Anzeigesystems
US10462361B2 (en) * 2017-09-26 2019-10-29 Rosemount Aerospace Inc. Seeker with dynamic resolution imaging
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
US11317038B2 (en) 2017-12-19 2022-04-26 SmartSens Technology (HK) Co., Ltd. Pixel unit with a design for half row reading, an imaging apparatus including the same, and an imaging method thereof
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
JP7309451B2 (ja) * 2019-05-24 2023-07-18 キヤノン株式会社 撮像装置および制御方法
KR20210053377A (ko) * 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (ja) * 1998-06-09 1999-12-24 Nikon Corp 画像取り込み装置
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びｍｏｓ型固体撮像装置
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
US20100002940A1 (en) 2008-07-03 2010-01-07 Sony Corporation Image data processing apparatus and image data processing method
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2012139026A (ja) 2010-12-27 2012-07-19 Alpine Electronics Inc 消費電力制御システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529640B1 (en) 1998-06-09 2003-03-04 Nikon Corporation Image processing apparatus
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
US6825884B1 (en) 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP3993541B2 (ja) 2003-07-30 2007-10-17 真人 佐々木 ２次元マクロセル制御イメージセンサ、撮像素子、及び撮像方法
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP4449565B2 (ja) * 2004-05-12 2010-04-14 ソニー株式会社 物理量分布検知の半導体装置
JP2006245527A (ja) * 2005-02-07 2006-09-14 Fuji Photo Film Co Ltd 固体撮像素子
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung
JP2008118378A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮影装置及びその駆動方法
JP5141559B2 (ja) 2006-12-18 2013-02-13 ソニー株式会社 撮像装置及び方法、記録装置及び方法、再生装置及び方法
WO2008078227A1 (en) * 2006-12-21 2008-07-03 Koninklijke Philips Electronics N.V. A device for and a method of processing audio data
JP5260979B2 (ja) * 2007-05-02 2013-08-14 キヤノン株式会社 撮像システム、信号処理回路、及び信号処理方法
US8542315B2 (en) 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
US8390710B2 (en) * 2007-12-19 2013-03-05 Canon Kabushiki Kaisha Image pickup system, method for driving image pickup elements, and recording medium
JP5219778B2 (ja) * 2008-12-18 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
CN101442617B (zh) * 2008-12-23 2014-01-08 北京中星微电子有限公司 一种分块曝光的方法及其装置
JP2010178197A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 固体撮像装置の駆動方法、固体撮像装置およびカメラ
KR100989126B1 (ko) * 2009-02-05 2010-10-20 삼성모바일디스플레이주식회사 전자 영상 기기 및 그 구동 방법
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
KR101133733B1 (ko) * 2009-12-10 2012-04-09 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 방법 및 이를 이용한 촬영 장치
JP5651976B2 (ja) * 2010-03-26 2015-01-14 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2012060394A (ja) * 2010-09-08 2012-03-22 Canon Inc 画像取得装置
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP5947507B2 (ja) 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
RU2018130065A (ru) 2012-03-30 2019-03-15 Никон Корпорейшн Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений
JPWO2013164915A1 (ja) 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
WO2014141663A1 (ja) 2013-03-14 2014-09-18 株式会社ニコン 撮像ユニット、撮像装置および撮像制御プログラム
CN109256404B (zh) * 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (ja) * 1998-06-09 1999-12-24 Nikon Corp 画像取り込み装置
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
JP2006049361A (ja) 2004-07-30 2006-02-16 Sony Corp 半導体モジュール及びｍｏｓ型固体撮像装置
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
US20100002940A1 (en) 2008-07-03 2010-01-07 Sony Corporation Image data processing apparatus and image data processing method
JP2010016621A (ja) 2008-07-03 2010-01-21 Sony Corp 画像データ処理装置と画像データ処理方法およびプログラムと記録媒体
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2012139026A (ja) 2010-12-27 2012-07-19 Alpine Electronics Inc 消費電力制御システム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623669B2 (en) 2014-06-10 2020-04-14 Sony Corporation Image capturing control apparatus, image capturing apparatus, image capturing system and image capturing control method
JPWO2015190021A1 (ja) * 2014-06-10 2017-04-20 ソニー株式会社 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
WO2015190021A1 (ja) * 2014-06-10 2015-12-17 ソニー株式会社 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
JP2016192606A (ja) * 2015-03-30 2016-11-10 株式会社ニコン 電子機器、およびプログラム
US11800074B2 (en) * 2015-03-30 2023-10-24 Nikon Corporation Electronic device and computer program product
CN112954181A (zh) * 2015-03-30 2021-06-11 株式会社尼康 电子设备
US20200162662A1 (en) * 2015-03-30 2020-05-21 Nikon Corporation Electronic device and computer program product
JP2018516013A (ja) * 2015-05-19 2018-06-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． セミグローバルシャッタイメージャ
US11272127B2 (en) 2015-05-19 2022-03-08 Magic Leap, Inc. Semi-global shutter imager
JP7438251B2 (ja) 2015-05-19 2024-02-26 マジック リープ， インコーポレイテッド セミグローバルシャッタイメージャ
JP7128872B2 (ja) 2015-05-19 2022-08-31 マジック リープ， インコーポレイテッド セミグローバルシャッタイメージャ
JP2021013186A (ja) * 2015-05-19 2021-02-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． セミグローバルシャッタイメージャ
US11019287B2 (en) 2015-05-19 2021-05-25 Magic Leap, Inc. Semi-global shutter imager
JP2022060543A (ja) * 2015-05-19 2022-04-14 マジック リープ， インコーポレイテッド セミグローバルシャッタイメージャ
JP2017022641A (ja) * 2015-07-14 2017-01-26 キヤノン株式会社 画像処理装置、撮像装置および撮像制御プログラム
JP2017183940A (ja) * 2016-03-29 2017-10-05 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
EP3439282A4 (en) * 2016-03-31 2019-11-13 Nikon Corporation IMAGE CAPTURE DEVICE, IMAGE PROCESSING DEVICE, AND ELECTRONIC APPARATUS
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
US11483467B2 (en) 2016-03-31 2022-10-25 Nikon Corporation Imaging device, image processing device, and electronic apparatus
JP7372034B2 (ja) 2016-03-31 2023-10-31 株式会社ニコン 撮像装置、および画像処理装置
US12028610B2 (en) 2016-03-31 2024-07-02 Nikon Corporation Imaging device, image processing device, and electronic apparatus
JP2019057240A (ja) * 2017-09-22 2019-04-11 株式会社デンソーウェーブ 撮像装置

Also Published As

Publication number Publication date
EP3588940A1 (en) 2020-01-01
CN109742094B (zh) 2024-05-31
EP3588940B1 (en) 2023-03-22
US20190089909A1 (en) 2019-03-21
US10841512B2 (en) 2020-11-17
US10142563B2 (en) 2018-11-27
CN105324985B (zh) 2018-11-23
US11637970B2 (en) 2023-04-25
CN109743514B (zh) 2022-01-28
JP6372488B2 (ja) 2018-08-15
CN109256404B (zh) 2023-08-15
CN109742094A (zh) 2019-05-10
EP3018893A1 (en) 2016-05-11
US20230231966A1 (en) 2023-07-20
JPWO2015001646A1 (ja) 2017-02-23
EP3018893A4 (en) 2016-11-30
US20200412978A1 (en) 2020-12-31
CN105324985A (zh) 2016-02-10
US20160142645A1 (en) 2016-05-19
CN109743514A (zh) 2019-05-10
CN109256404A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
JP6372488B2 (ja) 電子機器
JP7544116B2 (ja) 撮像素子及び撮像装置
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
JP6075393B2 (ja) 電子機器及び制御プログラム
JP6375607B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6409883B2 (ja) 電子機器及び制御プログラム
JP7176591B2 (ja) 電子機器
JP2018117375A (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP2018148590A (ja) 電子機器、及び撮像素子
JP2020171054A (ja) 電子機器
JP7283488B2 (ja) 撮像素子及び電子機器
JP6822507B2 (ja) 電子機器
JP2016158294A (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP2018207504A (ja) 電子機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380077710.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13888636

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015524974

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14900802

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013888636

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE