WO2015025740A1 - 制御装置、制御方法、および電子機器 - Google Patents

制御装置、制御方法、および電子機器 Download PDF

Info

Publication number
WO2015025740A1
WO2015025740A1 PCT/JP2014/071033 JP2014071033W WO2015025740A1 WO 2015025740 A1 WO2015025740 A1 WO 2015025740A1 JP 2014071033 W JP2014071033 W JP 2014071033W WO 2015025740 A1 WO2015025740 A1 WO 2015025740A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
exposure amount
mode
control
signal
Prior art date
Application number
PCT/JP2014/071033
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201480039968.3A priority Critical patent/CN105379248B/zh
Priority to KR1020167000163A priority patent/KR102184916B1/ko
Priority to US14/907,431 priority patent/US9998679B2/en
Publication of WO2015025740A1 publication Critical patent/WO2015025740A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Definitions

  • the present disclosure relates to a control device, a control method, and an electronic device, and more particularly, to a control device, a control method, and an electronic device that can set an appropriate exposure amount at high speed.
  • the pixel group includes a pixel with a large exposure amount and a pixel with a small exposure amount
  • a pixel with a large exposure amount is likely to be saturated in a bright part, and at the time of saturation, only a pixel with a small exposure amount can be output. .
  • the number of pixels that can be used for image creation is reduced, so the resolution is lowered.
  • imaging devices having a touch panel as represented by smartphones, have become widespread. For example, when performing an operation such as autofocusing at the touched position in the image being shot, if the touch position is saturated, information on how long the location will not be saturated Therefore, it took time to set the exposure amount to an appropriate value.
  • the present disclosure has been made in view of such a situation, and makes it possible to set an appropriate exposure amount at high speed.
  • a control device includes a control unit that controls an exposure amount of a pixel group in which a plurality of pixels are two-dimensionally arranged, and the control unit performs a first operation before starting recording of a captured image.
  • a control unit controls an exposure amount of a pixel group in which a plurality of pixels are two-dimensionally arranged, and the control unit performs a first operation before starting recording of a captured image.
  • a plurality of types of exposure amounts are set in the pixel group, and in the second mode in which a captured image is recorded, a smaller type of exposure amount is set in the pixel group than in the first mode.
  • the control device that controls the exposure amount of a pixel group in which a plurality of pixels are two-dimensionally arranged has a plurality of control modes in the first mode before recording of a captured image is started.
  • the second mode in which different types of exposure are set in the pixel group and a photographed image is recorded, a lower type of exposure than in the first mode is set in the pixel group.
  • the electronic device includes a plurality of types of exposure in a solid-state imaging device including a pixel group in which a plurality of pixels are two-dimensionally arranged and in a first mode before starting recording of a captured image.
  • a control unit is provided that sets a smaller amount of exposure in the pixel group than in the first mode.
  • a second mode in which a plurality of types of exposure amounts are set in the pixel group and the captured image is recorded. In, a smaller amount of exposure than that in the first mode is set in the pixel group.
  • control device and the electronic device may be independent devices, or may be internal blocks constituting one device.
  • an appropriate exposure amount can be set at high speed.
  • FIG. 5 is a diagram illustrating a comparison between the image pickup apparatus of FIG. 4 and general normal shooting modes and HDR shooting modes. It is a figure which shows the flow of the imaging
  • the imaging device 1 (FIG. 4) described in detail below has two shooting modes (shooting methods), a normal shooting mode and an HDR shooting mode, which are used properly according to the operating state.
  • Figure 1 summarizes the features of the normal shooting mode and the HDR shooting mode.
  • the normal shooting mode In the normal shooting mode, a uniform exposure amount is set for each pixel arranged in the Bayer array. Then, an output signal of each pixel is obtained based on the set exposure amount.
  • the normal shooting mode has an advantage that the resolution is high, but has a disadvantage that there is no dynamic range expansion function. “R 1 ” represents an R pixel that receives red light, “G 1 ” represents a G pixel that receives green light, and “B 1 ” represents a B pixel that receives blue light.
  • the HDR shooting mode is a mode in which an output signal having a high dynamic range (HDR) is obtained, and a pixel set with a large exposure amount and a small exposure amount are set in a pixel group arranged in a Bayer array.
  • a pixel having a large exposure amount is also referred to as a long pixel
  • a pixel having a small exposure amount is also referred to as a short pixel.
  • white background pixels on which “R 1 ”, “G 1 ”, and “B 1 ” are displayed indicate long-lived pixels
  • FIG. 1 shows two types of HDR shooting modes in which the arrangement of long livestock pixels and short livestock pixels is different.
  • the array P1 in the HDR shooting mode is an array method in which all odd lines are set as long pixels and all even lines are set as short pixels.
  • the array P2 in the HDR shooting mode is an array method in which each of the long live pixels and the short live pixels is arranged so as to form a diagonal line as a whole by switching the vertical direction and the horizontal direction in units of 3 pixels.
  • HDR shooting mode for example, even if long livestock pixels are saturated, signals can be obtained with short livestock pixels. It can be used to give gradation. On the other hand, in a scene where long livestock pixels are saturated, no signal can be obtained from the long livestock pixels, so the resolution is lowered.
  • the example of the captured image will further explain the difference between the normal shooting mode and the HDR shooting mode.
  • FIG. 3A shows an image obtained by photographing the subject shown in FIG. 2 in a general normal photographing mode
  • FIG. 3B shows an image obtained by photographing the subject shown in FIG. 2 in a general HDR photographing mode.
  • the optimum exposure amount is set in the lower area which is a dark part, and the upper area which is a bright part is saturated because the dynamic range is not sufficient.
  • both bright and dark gradations are secured.
  • the long pixel in the upper region which is a bright portion is saturated and becomes a missing pixel, and is represented by only the short pixel, so the resolution is lowered.
  • the lower area, which is a dark part noise is increased in the short pixel, and therefore, when only the long pixel is used without using the short pixel, the resolution is lowered. Therefore, in general, it is preferable to use the HDR shooting mode if priority is given to the dynamic range, and it is preferable to use the normal shooting mode if priority is given to the resolution.
  • the imaging device 1 executes the HDR shooting mode in the preview shooting before starting the recording of the shot image, and uses the exposure amount information acquired in the HDR shooting mode in the recording shooting to record the shot image. Execute the normal shooting mode.
  • FIG. 4 is a block diagram illustrating a configuration example of the imaging apparatus according to the present disclosure.
  • the optical lens 11 adjusts the focal length of the subject light incident on the solid-state image sensor 13.
  • a stop (not shown) that adjusts the amount of subject light incident on the solid-state imaging device 13 is provided at the subsequent stage of the optical lens 11.
  • the specific configuration of the optical lens 11 is arbitrary.
  • the optical lens 11 may be configured by a plurality of lenses.
  • the subject light transmitted through the optical lens 11 is incident on the solid-state imaging device 13 via an optical filter 12 configured as, for example, an IR cut filter that transmits light other than infrared light.
  • an optical filter 12 configured as, for example, an IR cut filter that transmits light other than infrared light.
  • the solid-state imaging device 13 includes a pixel group (pixel array unit) in which a plurality of pixels are two-dimensionally arranged, converts subject light into an electrical signal in units of pixels, and supplies the electrical signal to the A / D conversion unit 14. To do.
  • pixel group pixel array unit
  • the solid-state image pickup device 13 operates by being set to the HDR shooting mode by the 3A control unit 19 described later at the time of preview shooting. On the other hand, at the time of recording and shooting, the solid-state imaging device 13 operates by being set to the normal shooting mode by the 3A control unit 19.
  • FIG. 5A is a diagram illustrating a state of the solid-state imaging device 13 when operating in the HDR imaging mode
  • FIG. 5B is a diagram illustrating a state of the solid-state imaging device 13 when operating in the normal imaging mode. is there.
  • the exposure amount is set for each pixel arranged in the Bayer array so that the long and short pixels are alternately arranged in units of two rows. Is done.
  • the exposure amount set for the long pixels in the HDR shooting mode is set uniformly for all the pixels.
  • the A / D conversion unit 14 converts an analog electrical signal (pixel signal) supplied from the solid-state imaging device 13 into a digital pixel signal.
  • the A / D conversion unit 14 supplies the digital pixel signal after A / D conversion to the clamp unit 15.
  • the clamp unit 15 subtracts a black level, which is a level determined to be black, from the pixel signal output from the A / D conversion unit 14. Then, the clamp unit 15 outputs the pixel signal after the black level subtraction to the memory unit 16.
  • the memory unit 16 temporarily stores the pixel signal (pixel data) from the clamp unit 15. Then, the memory unit 16 supplies pixel data of long livestock pixels (hereinafter also referred to as long exposure data) to the long livestock short livestock synthesis unit 18 and the demosaic unit 21, and pixel data of short livestock pixels (hereinafter, short exposure data). (Also referred to as data) is supplied to the magnification calculator 17.
  • the magnification calculator 17 corrects the magnification of the short exposure data to the sensitivity of the long exposure data by multiplying the short exposure data supplied from the memory unit 16 by the exposure ratio. Then, the magnification calculator 17 supplies the short exposure data after magnification correction to the long and short livestock synthesizer 18.
  • FIG. 6 is a diagram for explaining the magnification correction processing by the magnification calculator 17.
  • 6A shows the relationship between long exposure data and short exposure data. Even in the case where the long livestock pixel is saturated, the short livestock pixel is not saturated because the exposure amount is small and the saturation level is not reached.
  • the magnification calculator 17 multiplies the short exposure data by the exposure ratio between the long livestock and the short livestock to generate short exposure data after magnification correction shown in B of FIG. As a result, a signal having a high dynamic range is generated. Note that the inclination of the short exposure data after magnification correction is equal to the inclination of the long exposure data.
  • the long and short livestock synthesizing unit 18 synthesizes the short exposure data after the magnification correction supplied from the magnification calculating unit 17 and the long exposure data supplied from the memory unit 16 in the HDR imaging mode. To do. Then, the long and short livestock synthesizing unit 18 supplies the composite data obtained as a result of the synthesis to the 3A control unit 19, the moving subject detection unit 20, and the pattern detection unit 28.
  • the pixel values of all the pixels are supplied from the memory unit 16 to the long lived short livestock synthesizing unit 18 as long exposure data.
  • the long and short livestock synthesizing unit 18 supplies the long exposure data to the 3A control unit 19, the moving subject detection unit 20, and the pattern detection unit 28.
  • the combined data and the long exposure data supplied from the long and short livestock synthesizing unit 18 to the 3A control unit 19, the moving subject detection unit 20, and the pattern detection unit 28 may be pixel unit data,
  • the pixel group may be divided into a plurality of blocks, and pixel data in units of blocks such as an average value of each pixel data in the block may be used.
  • the 3A control unit 19 performs the 3A control based on the synthesis data which is a high dynamic range signal supplied from the long and short livestock synthesis unit 18 in the HDR imaging mode. On the other hand, in the normal photographing mode, the 3A control unit 19 performs 3A control based on the long exposure data supplied from the long and short livestock synthesizing unit 18.
  • 3A control means control of automatic exposure (AutoExposure), autofocus (Auto Focus), and auto white balance (Auto White Balance).
  • the 3A control unit 19 determines whether or not it is in focus based on contrast information such as composite data supplied from the long and short livestock synthesizing unit 18, and based on the determination result. Then, control for driving the optical lens 11 is performed. Further, the 3A control unit 19 determines the shutter time and the gain of each pixel of the solid-state image sensor 13 based on the composite data supplied from the long and short livestock synthesizing unit 18 and sets the shutter time and gain in the solid-state image sensor 13. Further, the 3A control unit 19 generates color control information for performing color processing such as white balance based on the composite data supplied from the long and short livestock synthesizing unit 18, and the LM / WB / gamma correction unit 22 is supplied.
  • the moving subject detection unit 20 executes processing for detecting a moving subject in the captured image, and supplies the detection result to the control unit 30.
  • the demosaic unit 21 performs demosaic processing on the long exposure data from the memory unit 16 to complement color information and convert the data into RGB data.
  • the demosaic unit 21 supplies the image data after the demosaic process to the LM / WB / gamma correction unit 22.
  • the LM / WB / gamma correction unit 22 corrects the color characteristics of the image data from the demosaic unit 21 using the color control information from the 3A control unit 19. Specifically, the LM / WB / gamma correction unit 22 uses matrix coefficients to fill in the image data in order to fill in the difference between the chromaticity point of the primary color (RGB) defined in the standard and the chromaticity point of the actual camera. Each color signal is corrected to change the color reproducibility. The LM / WB / gamma correction unit 22 adjusts the white balance by setting a gain for white for each channel value of the image data.
  • the LM / WB / gamma correction unit 22 adjusts the relative relationship between the color of the image data and the output device characteristics to perform gamma correction for obtaining a display closer to the original.
  • the LM / WB / gamma correction unit 22 supplies the corrected image data to the luminance chroma signal generation unit 23.
  • the luminance chroma signal generation unit 23 generates a luminance signal (Y) and a color difference signal (Cr, Cb) from the image data supplied from the LM / WB / gamma correction unit 23.
  • the luminance chroma signal generation unit 23 generates the luminance chroma signal (Y, Cr, Cb)
  • the luminance chroma signal and the color difference signal are supplied to the display 24 and the recording control unit 26.
  • the display 24 includes, for example, a display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and a display driver that drives the display.
  • a display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display
  • a display driver that drives the display.
  • the display 24 displays an image based on the image data (luminance chroma signal) supplied from the luminance chroma signal generation unit 23. In other words, the display 24 displays a moving image or a still image captured by the solid-state image sensor 13. A touch panel 25 is superimposed on the display 24, and an operation input to the display 24 by a user's finger or the like can be detected. Touch input information detected by the touch panel 25 is supplied to the control unit 30.
  • the recording control unit 26 compresses the image data supplied from the luminance chroma signal generation unit 23 using a predetermined encoding method. Recording is performed on the recording medium 27.
  • the recording medium 27 is composed of, for example, a semiconductor memory, a magnetic recording medium, a magneto-optical recording medium, or the like, and stores (records) image data of a captured image that has been compression-encoded.
  • the memory unit 29 stores a pattern image of a face or an object necessary for pattern detection by the pattern detection unit 28.
  • the control unit 30 controls the operation of the entire imaging apparatus 1. For example, the control unit 30 determines whether the preview shooting or the recording shooting is performed based on an operation of a recording button (not shown) for turning on / off the recording, and 3A controls a control signal for switching between the normal shooting mode and the HDR shooting mode. Supplied to the unit 19. Based on the control signal from the control unit 30, the 3A control unit 19 sets the exposure amount corresponding to the normal shooting mode or the HDR shooting mode for each pixel of the solid-state imaging device 13.
  • control unit 30 is subject to 3A control based on moving subject information supplied from the moving subject detection unit 20, touch input information supplied from the touch panel 25, pattern detection information supplied from the pattern detection unit 28, and the like.
  • a 3A control area signal indicating the area is generated and supplied to the 3A control unit 19.
  • control unit 30 uses the touch input information supplied from the touch panel 25 to apply information indicating an area designated by the user in the captured image to a target area for 3A control that matches the focus, the exposure amount, and the like. Is supplied to the 3A control unit 19.
  • control unit 30 adjusts the information indicating the area where the predetermined object detected in the captured image exists based on the moving subject information supplied from the moving subject detection unit 20 with the focus, the exposure amount, and the like.
  • the control target area is supplied to the 3A control unit 19.
  • control unit 30 performs the 3A control for adjusting the focus, the exposure amount, and the like on the information indicating the user's face area detected in the captured image based on the pattern detection information supplied from the pattern detection unit 28.
  • the target area is supplied to the 3A control unit 19.
  • the moving subject detection unit 20, the touch panel 25, and the pattern detection unit 28 function as a region specifying unit that specifies a predetermined region of a pixel group that is a target region for performing 3A control (for example, determination of exposure amount). .
  • control unit 30 selects or uses the moving subject information, touch input information, and pattern detection information.
  • the 3A control unit 19 and the control unit 30 can be realized, for example, by reading a program stored in a ROM (Read (Only Memory) and causing a CPU (Central Processing Unit) to execute the program. It is also possible to provide the control unit 30 as one control unit (control device).
  • ROM Read (Only Memory)
  • CPU Central Processing Unit
  • control unit 19 and the control unit 30 can be configured as a single chip together with the solid-state imaging device 13 or an imaging module packaged together with the optical lens 11 and the optical filter 12.
  • the 3A control unit 19 and the control unit 30 can be configured as a single control device together with the magnification calculation unit 17 and the long and short livestock synthesis unit 18. That is, each configuration of the imaging device 1 can be divided or integrated in an arbitrary unit and configured as a single device, module, chip, or the like.
  • the imaging device 1 is configured as described above.
  • FIG. 7 shows a flow of captured image data when the imaging apparatus 1 operates in the HDR imaging mode.
  • the pixel data of each pixel obtained by setting either the long pixel or the short pixel in the solid-state imaging device 13 is supplied to and stored in the memory unit 16.
  • Short exposure data which is pixel data of short livestock pixels, is supplied from the memory unit 16 to the magnification calculation unit 17, corrected for magnification by the magnification calculation unit 17, and then supplied to the long livestock short livestock synthesis unit 18.
  • long exposure data which is pixel data of long livestock pixels, is supplied from the memory unit 16 to the long livestock short livestock synthesis unit 18 and the demosaic unit 21.
  • the short exposure data and the long exposure data after magnification correction are synthesized, and the resultant synthesized data is supplied to the 3A control unit 19. Therefore, in the HDR imaging mode, 3A control is executed based on the high dynamic range composite data.
  • high dynamic range composite data is supplied to the moving subject detection unit 20 and the pattern detection unit 28.
  • the moving subject detection unit 20 and the pattern detection unit 28 can detect them.
  • the image displayed on the display 24 at the time of preview shooting is an image based on the thinned signal as shown in FIG.
  • the image displayed on the display 24 at the time of the preview shooting may be an image based on the thinned signal, but of course, an image complementing the pixel data of the missing short pixels as shown in FIG. 8B is displayed. May be.
  • the long livestock / short livestock synthesizing unit 18 supplies the demosaic unit 21 with composite data obtained by synthesizing the short exposure data after the magnification correction and the long exposure data.
  • the synthesized data supplied to the 3A control unit 19 and the like as shown in FIG. 9, pixel data above the saturation level is not supplied, and the synthesized data clipped within the same output range as the long-lived pixels is not displayed.
  • the long livestock / short livestock synthesizing unit 18 supplies the display display signal to the demosaic unit 21.
  • magnification correction data of short livestock pixels is also expressed with 1024 gradations. If this is magnification correction data for short pixels, it is possible to express a brighter area as shown in FIG. 6B, but it is assumed that the camera operates in the normal shooting mode during recording. This is to prevent a difference in the dynamic range of the pixel signal for display display between the preview shooting and the recording shooting. Accordingly, there is no difference between the image displayed on the display 24 during the preview shooting and the image displayed on the display 24 during the recording shooting, so that the video intended by the user at the recording shooting can be shot and recorded. Become.
  • FIG. 10 shows a conceptual diagram of image data in the HDR photographing mode of the imaging apparatus 1.
  • 10 shows a conceptual diagram of image data of short pixels and long pixels input to the memory unit 16.
  • the number of calculation bits of the pixel signal is 10 bits
  • both the short livestock pixel and the long livestock pixel are expressed with 1024 gradations.
  • FIG. 10 shows a conceptual diagram of the synthesized data after being synthesized by the long and short livestock synthesizing unit 18.
  • the synthesized data after the synthesis processing is expressed in a high dynamic range exceeding 1024 gradations.
  • the 3A control unit 19 receives composite data having a high dynamic range exceeding 1024 gradations, and the display 24 displays an image in which the composite data is clipped at 1024 gradations.
  • the clipped area is designated as the 3A control target area on the display 24.
  • 3A control can be executed immediately so that the area is optimally exposed.
  • FIG. 11 shows a flow of photographed image data when the imaging apparatus 1 operates in the normal photographing mode.
  • all pixels of the solid-state image sensor 13 are set to the same exposure amount.
  • the long exposure data is stored in the memory unit 16. Is memorized.
  • the long exposure data stored in the memory unit 16 is supplied to the long and short livestock synthesizing unit 18 and the demosaic unit 21.
  • the long and short livestock synthesizing unit 18 supplies the long exposure data supplied from the memory unit 16 to the 3A control unit 19, the moving subject detection unit 20, and the pattern detection unit 28 as they are. Therefore, in the normal photographing mode, 3A control is executed based on image data obtained by unifying the exposure amount in all pixels.
  • the image data obtained by setting all the pixels to the exposure amount of the long-lived pixels is supplied to the demosaic unit 21, a high-resolution image set to the optimum exposure amount is displayed on the display 24. At the same time, it is recorded on the recording medium 27.
  • a display image displayed on the display 24 during preview shooting, a signal used for 3A control, and a display image displayed on the display 24 during recording shooting (the same applies to the recorded image)
  • the image has a high resolution but a narrow dynamic range.
  • the dynamic range of the display image displayed on the display 24 at the time of preview shooting, the signal used for 3A control, and the display image displayed on the display 24 at the time of recording shooting is the same. Wide, but at the expense of resolution.
  • the imaging apparatus 1 controls the solid-state imaging device 13 with the same drive as in the general HDR shooting mode in preview shooting, and outputs the same high dynamic range signal as in the general HDR shooting mode in 3A control. Although it is used, only a signal of long lived pixels is used as a display image displayed on the display 24. Further, since an image based on the long pixel signal is displayed on the display 24 even during recording, the imaging apparatus 1 has a feature that the appearance of the display image of the preview imaging and the display image of the recording imaging does not change.
  • the imaging apparatus 1 uses a signal with a high dynamic range for 3A control, for example, when an area that is saturated in a general normal shooting mode is touch-input by the user as a 3A control target area Even so, it is possible to immediately calculate and control an appropriate exposure amount at the touch position.
  • the imaging device 1 even in the case of shooting a scene with a strong contrast, in the preview shooting, the exposure amount, the focus, and the like can be instantaneously set to optimum values, and general HDR shooting is performed. It is possible to solve the problem that the resolution of the recorded photographed image generated in the mode is low.
  • the imaging apparatus 1 performs control using a pixel signal with a wide dynamic range in preview shooting that does not leave an image, and controls to increase the resolution by setting a single exposure amount in recording shooting that leaves an image. I do.
  • FIG. 13 shows the flow of imaging processing by the imaging apparatus 1.
  • a narrow dynamic range (clipped) image 51 is displayed on the display 24.
  • the touch position detected by the touch panel 25 is supplied to the 3A control unit 19 via the control unit 30.
  • the 3A control unit 19 calculates an appropriate 3A control amount for the region 52 that was not displayed on the display 24.
  • the touch position is controlled so as to have an appropriate exposure amount, focus position, and white balance. Thereby, an image 53 in which the exposure amount, the focus position, and the like are appropriately set according to the touch position is displayed on the display 24.
  • a moving image (images 54-1, 54-2, 54-3,...) In which an appropriately set exposure amount is applied to all pixels is photographed and displayed on the display 24. At the same time, it is recorded on the recording medium 27.
  • the imaging device 1 of the present disclosure since the signal with a high dynamic range based on the composite data is used for the 3A control, even when the touch position is saturated on the display 24, An appropriate exposure amount can be set quickly and accurately, and the focus can be adjusted.
  • an appropriate exposure amount can be set at high speed and accurately by applying a signal with a high dynamic range based on the composite data only to the 3A control of preview shooting. , Focus can also be adjusted.
  • step S1 the 3A control unit 19 drives the solid-state imaging device 13 in the HDR imaging mode based on a command from the control unit 30.
  • the solid-state image sensor 13 starts driving in the HDR imaging mode.
  • the exposure amount is set to be either a long pixel or a short pixel, and the captured pixel data is supplied to the memory unit 16.
  • step S ⁇ b> 2 the memory unit 16 supplies short exposure data (pixel data of short lived pixels) to the magnification calculation unit 17, and the long exposure data (pixel data of long lived pixels) is demosaiced with the long lived short livestock synthesizing unit 18. To the unit 21.
  • step S3 the magnification calculator 17 multiplies the short exposure data supplied from the memory unit 16 by an exposure ratio, and supplies the short exposure data after magnification correction to the long and short livestock synthesizer 18.
  • step S4 the long and short livestock synthesizing unit 18 synthesizes the short exposure data after magnification correction supplied from the magnification calculating unit 17 and the long exposure data supplied from the memory unit 16.
  • step S5 the long and short livestock synthesizing unit 18 supplies the composite data obtained as a result of the synthesis to the 3A control unit 19, the moving subject detection unit 20, and the pattern detection unit 28.
  • step S6 the 3A control unit 19 performs 3A control based on the synthesized data that is a high dynamic range signal.
  • step S7 the display 24 displays an image based on the long exposure data. Note that the process of step S7 can be executed in parallel with the processes of steps S3 to S6 described above.
  • step S ⁇ b> 8 the control unit 30 determines whether or not the user has touched the display 24 based on touch input information from the touch panel 25.
  • step S8 If it is determined in step S8 that there is no user touch, the process returns to step S1, and the subsequent processes are executed again. That is, 3A control based on the composite data and display of the image based on the long exposure data on the display 24 are continued.
  • step S8 determines whether the user has touched. If it is determined in step S8 that the user has touched, the process proceeds to step S9, and the control unit 30 generates a 3A control target area signal indicating the touch position based on the touch input information from the touch panel 25. 3A to the control unit 19.
  • step S10 the 3A control unit 19 determines whether the touch position is an area where the long lived pixels are saturated based on the acquired 3A control target area signal.
  • step S10 If it is determined in step S10 that the touch position is an area where the long pixel is saturated, the process proceeds to step S11, and the 3A control unit 19 performs 3A control using the short exposure data around the touch position. Do.
  • the 3A control unit 19 can instantaneously calculate the optimum exposure amount using the pixel data of the short-lived pixels, for example, according to the following calculation formula.
  • Optimum exposure Y ⁇ saturation signal value a / (short pixel value b ⁇ exposure ratio c) ⁇ long exposure d
  • the formula for calculating the optimum exposure dose is not limited to the above formula, and any formula can be adopted.
  • step S10 determines whether the touch position is an area in which the long pixel is saturated. If it is determined in step S10 that the touch position is not an area in which the long pixel is saturated, the process proceeds to step S12, and the 3A control unit 19 performs 3A control using the long exposure data of the touch position. I do.
  • the exposure amount of the long livestock pixel is set to the optimum exposure amount.
  • the exposure amount of the short-lived pixels may be an arbitrary (fixed) exposure amount set in advance or an exposure amount obtained at a predetermined exposure ratio with respect to the exposure amount of the long-lived pixels set to an optimum value. it can.
  • step S13 the control unit 30 determines whether or not the recording button has been pressed. If it is determined in step S13 that the recording button has not yet been pressed, the process returns to step S1 and the above-described process is repeated.
  • step S13 if it is determined in step S13 that the recording button has been pressed, the process proceeds to step S14, where the control unit 30 changes the shooting mode from the HDR shooting mode to the normal shooting mode, and the solid-state image pickup device 13 is in the normal mode. Driving in the shooting mode is started, and the preview shooting process is ended.
  • the exposure amount set for the long pixels of the solid-state imaging device 13 in the HDR shooting mode is set for all the pixels.
  • the pixel data of long lived pixels is supplied to the display 24 in the HDR shooting mode at the time of preview shooting, and the exposure amount of all pixels is unified with the exposure amount of the long lived pixels in the normal shooting mode at the time of recording shooting.
  • pixel data of short pixels may be used. That is, in the HDR shooting mode at the time of preview shooting, pixel data of short pixels is supplied to the display 24, and in the normal shooting mode at the time of recording shooting, the exposure amount of all pixels is unified with the exposure amount of short pixels. Also good. In this case, the short exposure pixel is set to the optimum exposure amount in the processes of steps S11 and S12 described above.
  • the exposure amount types in the HDR shooting mode at the time of preview shooting are two types of short and long livestock, but the exposure amount types in the HDR shooting mode are three or more types. Can do.
  • the type of exposure amount in the normal shooting mode at the time of recording shooting is smaller than the type of exposure amount in the HDR shooting mode at the time of preview shooting.
  • the imaging apparatus 1 performs 3A control using four types of exposure amounts of exposure amount +, exposure amount ++, exposure amount +++, and exposure amount +++ in the HDR shooting mode during preview shooting.
  • “+” represents a constant exposure amount, and the greater the number of “+”, the greater the exposure amount.
  • the imaging apparatus 1 displays an image using two types of pixel data with large exposure amounts of exposure amount +++ and exposure amount +++ on the display 24. Then, the imaging apparatus 1 performs 3A control so that the exposure amount +++ and the exposure amount +++ pixels have optimum exposure amounts. Thereafter, when changing from the HDR shooting mode to the normal shooting mode, the imaging apparatus 1 records an image obtained by setting the exposure amount of all pixels to the exposure amount +++ or the exposure amount +++ on the recording medium 27. .
  • the imaging apparatus 1 sets a plurality of types of exposure amounts in the pixel group in the HDR shooting mode during preview shooting, and at least the exposure amount during preview shooting in the normal shooting mode during recording shooting.
  • One type of exposure amount that is smaller than that in the HDR shooting mode can be set for the pixel group. Even in such a case, at the time of recording shooting, the type of exposure amount is reduced and the resolution is improved compared to preview shooting, so that the sense of resolution can be enhanced compared to preview shooting.
  • the arrangement method of the short pixels and the long pixels in the HDR shooting mode at the time of preview shooting is not limited to the arrangement shown in A of FIG. 5 and is arbitrary.
  • an arrangement method such as the arrangement P1 or P2 shown in FIG. 1 may be used.
  • an array in which 2 ⁇ 2 pixels are regarded as one unit pixel as described in JP 2010-28423 A may be used.
  • the exposure amount (AE) control is mainly described in the 3A control, but it goes without saying that the auto focus control and the auto white balance control can be similarly controlled.
  • the autofocus control may be performed using the contrast information of the short-lived pixels, or a part of the pixels which are arranged in the central portion of the 3 ⁇ 3 pixels shown in FIG.
  • the phase difference pixels may be mixed in the pixel group of the solid-state imaging device 13, and the 3A control unit 19 may perform autofocus control using a signal from the phase difference pixels.
  • phase difference pixels are shielded from light, so even if the exposure amount is set as a long pixel, it is less likely to be saturated than a normal pixel, but if it is saturated, it is exposed as a short accumulation pixel.
  • the autofocus control may be performed using a phase difference pixel for which the amount is set. Note that an autofocus control method using a phase difference pixel signal is described in, for example, Japanese Patent Application Laid-Open No. 2010-160313.
  • a long accumulation pixel with a large exposure amount will be saturated regardless of whether it is a fluorescent lamp or the sun, but a short accumulation pixel may be set so as not to be saturated if it has a certain level of brightness (for example, a fluorescent lamp). it can.
  • a certain level of brightness for example, a fluorescent lamp.
  • the 3A control unit 19 can appropriately control the auto white balance based on the light source estimation result. For example, if the light source is a warm-colored incandescent bulb, it is possible to perform control such as making the white balance a little stronger in red and bringing it closer to the memory color.
  • the imaging function of the imaging apparatus 1 described above is, for example, a digital still camera, a video camera, a portable terminal such as a smartphone (multi-function mobile phone) having an imaging function, a capsule endoscope, and a spectacle type in which an imaging function is added to glasses.
  • the present invention can be applied to all electronic devices such as imaging devices.
  • the imaging function of the imaging device 1 includes a function of generating a pixel signal of the solid-state imaging device 13, a magnification calculator 17, a long and short livestock synthesizer 18, a 3A controller 19, a demosaic unit 21, a controller 30, and the like. Means a function of performing control using the generated pixel signal.
  • FIG. 16 shows a configuration example in which the imaging function of the imaging apparatus 1 is in the form of a chip. That is, the imaging function of the imaging device 1 can be configured in a chip form as shown as the imaging devices 101 to 103 in FIG.
  • 16 includes a pixel region 122 in which a pixel group is formed in one semiconductor chip 121, a control circuit 123 that supplies a control signal to the pixel group, and the 3A control unit 19 described above. And a logic circuit 124 including a signal processing circuit of the control unit 30.
  • the imaging device 102 shown in the middle of FIG. 16 includes a first semiconductor chip part 131 and a second semiconductor chip part 132.
  • the pixel region 133 and the control circuit 134 are mounted on the first semiconductor chip unit 131, and the logic circuit 135 including the signal processing circuits of the 3A control unit 19 and the control unit 30 described above is mounted on the second semiconductor chip unit 132. Is installed.
  • the first semiconductor chip portion 131 and the second semiconductor chip portion 132 are electrically connected to each other, whereby the imaging device 102 as one semiconductor chip is configured.
  • the imaging device 103 shown in the lower part of FIG. 16 includes a first semiconductor chip unit 141 and a second semiconductor chip unit 142.
  • a pixel region 143 is mounted on the first semiconductor chip portion 141, and a logic circuit including the control circuit 144 and the signal processing circuits of the 3A control portion 19 and the control portion 30 described above is provided on the second semiconductor chip portion 142.
  • 145 is mounted.
  • the first semiconductor chip portion 141 and the second semiconductor chip portion 142 are electrically connected to each other, whereby the imaging device 103 as one semiconductor chip is configured.
  • FIG. 17 is a diagram illustrating a cross-sectional configuration of a capsule endoscope in which the imaging function of the imaging device 1 is mounted.
  • the capsule endoscope 200 shown in FIG. 17 is photographed by a camera (microminiature camera) 211 and a camera 211 for photographing an image of a body cavity in a case 210 having hemispherical end faces and a cylindrical center part, for example.
  • a CPU 215 and a coil (magnetic force / current conversion coil) 216 are provided in the housing 210.
  • the CPU 215 controls photographing by the camera 211 and data accumulation operation in the memory 212, and controls data transmission from the memory 212 to a data receiving device (not shown) outside the housing 210 by the wireless transmitter 213.
  • the coil 216 supplies power to the camera 211, the memory 212, the wireless transmitter 213, the antenna 214, and a light source 211b described later.
  • the casing 210 is provided with a reed (magnetic) switch 217 for detecting when the capsule endoscope 200 is set in the data receiving apparatus.
  • a reed switch 217 detects the setting to the data receiving device and data transmission becomes possible, power supply from the coil 216 to the wireless transmitter 213 is started.
  • the camera 211 includes, for example, a solid-state imaging device 211a including an objective optical system for taking an image of a body cavity, and a plurality (here, two) of light sources 211b that illuminate the inside of the body cavity.
  • a solid-state imaging device 211a including an objective optical system for taking an image of a body cavity, and a plurality (here, two) of light sources 211b that illuminate the inside of the body cavity.
  • it is composed of LEDs (Light Emitting Diode).
  • the solid-state imaging device 211a corresponds to the solid-state imaging device 13 in FIG. 4, and the CPU 215 performs control corresponding to the 3A control unit 19 and the control unit 30 in FIG.
  • FIG. 18 is a diagram illustrating an external configuration of a smartphone equipped with the imaging function of the imaging device 1.
  • the smartphone 300 includes a speaker 311, a display 312, operation buttons 313, a microphone 314, an imaging unit 315, and the like.
  • the transmitted voice acquired from the microphone 314 is transmitted to the base station via the communication unit (not shown), and the received voice from the other party is transmitted from the communication unit to the speaker 311. The sound is supplied and reproduced.
  • the display 312 includes, for example, an LCD (Liquid Crystal Display), and displays a predetermined screen such as a telephone standby screen.
  • a touch panel is superimposed on the display 312, and an operation input to the display 312 by a user's finger or the like can be detected.
  • the smartphone 300 can perform predetermined processing, for example, execution of a shooting function, in accordance with the detected user operation input.
  • the imaging unit 315 includes a solid-state imaging device and an optical lens, and captures an image of a subject and stores image data obtained as a result in an internal memory or the like.
  • the solid-state imaging device of the imaging unit 315 corresponds to the solid-state imaging device 13 in FIG. 4, and the 3A control unit 19 and the control unit 30 are realized by a CPU provided in the smartphone 300.
  • FIG. 19 shows a configuration example of a spectacle-type imaging device equipped with the imaging function of the imaging device 1.
  • a spectacle-type imaging device 400 of FIG. 19 has a solid-state image sensor 412 attached to the center of the frame 411 and a case in which an image signal processing circuit for driving and controlling the solid-state image sensor 412 is fixed while the spectacle lens 413 is fixed. 414.
  • the solid-state image sensor 412 corresponds to the solid-state image sensor 13 in FIG. 4, and the image signal processing circuit provided in the housing 414 has the control functions of the 3A control unit 19 and the control unit 30 in FIG. 3A control is performed in accordance with the direction (movement) of the eyeball.
  • the image data captured by the solid-state image sensor 412 is transmitted to an external circuit via the communication cable 415.
  • the eyeglass-type imaging device 400 may have a wireless communication function and transmit image data by wireless communication.
  • an image photographed by the solid-state image sensor 412 may be projected onto the eyeglass lens 413.
  • the pixel group of the solid-state imaging device 13 has been described as being arranged in a Bayer arrangement, but may be arranged in another arrangement such as a clear bit arrangement.
  • the color filter may include not only R, G, and B but also a white filter (W), an infrared filter (IR), and the like.
  • the solid-state imaging device 13 may be a backside-illumination type or a front-side illumination type solid-state imaging device, and the organic photoelectric conversion film and the inorganic photoelectric conversion layer as disclosed in JP 2011-29337 A are arranged in the vertical direction.
  • a stacked vertical spectral type solid-state imaging device may be used.
  • this indication can also take the following structures.
  • the control unit sets at least one of the plurality of types of exposure amounts set in the pixel group in the first mode in the pixel group in the second mode. Control device.
  • the control unit sets the exposure amount obtained by using the pixel signal of the unsaturated pixel in the pixel group without using the pixel signal of the saturated pixel.
  • the control unit sets the exposure amount obtained by using the pixel signal of the unsaturated pixel having a larger S / N ratio among the pixel signals of the plurality of types of exposure amounts to the pixel group.
  • the control unit sets the exposure amount obtained using a pixel signal having a high dynamic range among the pixel signals of the plurality of types of exposure amounts.
  • control unit sets the exposure amount obtained by using the pixel signal having a higher dynamic range than the pixel signal for display display.
  • the said control part sets the said exposure amount calculated
  • the control apparatus as described in said (5).
  • the region specifying unit specifies a region of a user's face in the captured image as the predetermined region that is a target region for determining the exposure amount.
  • the control device (9) The control device according to (7), wherein the region specifying unit specifies a region specified by a user in the captured image as the predetermined region that is a target region for determining the exposure amount. (10) The control device according to (7), wherein the region specifying unit specifies a region where a predetermined object exists in the captured image as the predetermined region that is a target region for determining the exposure amount. (11) The control unit sets two types of exposure amounts to the pixel group in the first mode, and sets one type of exposure amount to the pixel group in the second mode. Thru
  • a synthesis unit that synthesizes the pixel signal of the pixel with a small exposure amount by multiplying the pixel signal of the pixel with the exposure ratio and the pixel signal of the pixel with a large exposure amount;
  • the combining unit combines the pixel signal subjected to the magnification correction and the pixel signal of the pixel having a large exposure amount and supplies the combined signal to the control unit, and in the second mode, The control device according to (11), wherein a pixel signal of one kind of exposure amount is supplied to the control unit.
  • a synthesis unit that synthesizes the pixel signal of the pixel with a small exposure amount by multiplying the pixel signal of the pixel with the exposure ratio and the pixel signal of the pixel with a large exposure amount;
  • the synthesizing unit clips a signal obtained by synthesizing the pixel signal whose magnification has been corrected and a pixel signal of the pixel having a large exposure amount with the display gradation of the second mode. Is output as a display display signal.
  • the control device according to any one of (1) to (12).
  • the control device according to (12) or (14), wherein the control unit also generates color control information for white balance based on the signal synthesized by the synthesis unit in the first mode.
  • the pixel group includes a phase difference pixel, The control device according to any one of (1) to (15), wherein the control unit also performs autofocus control using a pixel signal of the phase difference pixel.
  • a control method for setting the exposure amount of the pixel group to the pixel group (18)
  • a solid-state imaging device including a pixel group in which a plurality of pixels are two-dimensionally arranged; In the first mode before starting the recording of the captured image, a plurality of types of exposure amounts are set in the pixel group, and in the second mode in which the captured image is recorded, there are fewer types than in the first mode.
  • a control unit that sets the exposure amount of the pixel group to the pixel group.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Power Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

　本開示は、適正な露光量を高速に設定することができるようにする制御装置、制御方法、および電子機器に関する。 制御部は、複数の画素が２次元配置された画素群の露光量を制御する。具体的には、制御部は、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を画素群に設定し、撮影画像を記録する第２のモードにおいては、第１のモードよりも少ない種類の露光量を画素群に設定する。本開示の技術は、例えば、固体撮像素子を制御する制御装置等に適用できる。

Description

制御装置、制御方法、および電子機器
　本開示は、制御装置、制御方法、および電子機器に関し、特に、適正な露光量を高速に設定することができるようにする制御装置、制御方法、および電子機器に関する。
　近年、撮影時のダイナミックレンジを広げる手法として、行列状に配置された画素群に対して、大きな露光量を設定した画素と小さな露光量を設定した画素とを混在させる手法が提案されている（例えば、特許文献１参照）。
　しかしながら、画素群が露光量の大きな画素と露光量の小さな画素を含む場合、例えば露光量の大きな画素は明部では飽和しやすくなり、飽和時には露光量の小さな画素だけが出力可能な画素となる。この時、画作りに使用できる画素が減るため、解像度が低下する。
　一方、画素群の全画素が同じ露光量で統一されている場合、画素が飽和すると情報を全く得ることができない。つまり、どんな被写体があって、どのような輝度のものがあるのかといった情報が欠落してしまうため、自動露光（AutoExposure）、オートフォーカス（Auto Focus）、オートホワイトバランス（Auto White Balance）などの制御に必要な情報を全く取得することができなくなる。
特開２０１０－２８４２３号公報
　近年、スマートフォンなどに代表されるようにタッチパネルを有した撮像装置が普及してきている。例えば、撮影中の画像内のタッチした位置にオートフォーカス等が合うような動作を行う場合、タッチ位置が飽和していると、その箇所がどの程度の蓄積時間であれば飽和しなくなるかという情報が全くないため、露光量を適正値にするまでに時間がかかっていた。
　つまり、一定以上に露光量が大きいと、蛍光灯であっても太陽であっても同一に飽和してしまい、蛍光灯も太陽も同じ出力値で出力されてしまうため、明るさの差が識別できない。そのため、どこまで露光量を下げれば飽和しなくなるかは瞬時には判別できず、徐々に露光量を下げていくしかないため、露光量を適正値にするまでに時間がかかっていた。
　本開示は、このような状況に鑑みてなされたものであり、適正な露光量を高速に設定することができるようにするものである。
　本開示の第１の側面の制御装置は、複数の画素が２次元配置された画素群の露光量を制御する制御部を備え、前記制御部は、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する。
　本開示の第１の側面の制御方法は、複数の画素が２次元配置された画素群の露光量を制御する制御装置が、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する。
　本開示の第２の側面の電子機器は、複数の画素が２次元配置された画素群を備える固体撮像素子と、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する制御部とを備える。
　本開示の第１及び第２の側面においては、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量が画素群に設定され、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量が前記画素群に設定される。
　制御装置及び電子機器は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本開示の第１及び第２の側面によれば、適正な露光量を高速に設定することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
通常撮影モードとHDR撮影モードの特徴をまとめた図である。 通常撮影モードとHDR撮影モードの違いを説明する図である。 通常撮影モードとHDR撮影モードの違いを説明する図である。 本開示に係る撮像装置の構成例を示すブロック図である。 固体撮像素子の画素群の一部を示す図である。 倍率補正処理を説明する図である。 HDR撮影モードのときの撮影画像データの流れを示す図である。 プレビュー撮影時の画素補完を説明する図である。 プレビュー撮影時のクリッピング処理を説明する図である。 HDR撮影モードによる画像データの概念図を示す図である。 通常撮影モードのときの撮影画像データの流れを示す図である。 図４の撮像装置と一般的な通常撮影モード及びHDR撮影モードとを比較説明する図である。 本開示の撮像装置による撮影処理の流れを示す図である。 プレビュー撮影処理を説明するフローチャートである。 位相差画素を説明する図である。 本開示の撮像装置をチップ形態とした構成例を示す図である。 本開示の撮像装置を搭載したカプセル内視鏡の断面構成を示す図である。 本開示の撮像装置を含むスマートフォンの外観構成を示す図である。 本開示の撮像装置を備える眼鏡型撮像装置の構成例示す図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．通常撮影モードとHDR撮影モードの説明
２．撮像装置の構成例
３．HDR撮影モードの撮影画像データの流れ
４．通常撮影モードの撮影画像データの流れ
５．撮影処理の流れ
６．プレビュー撮影処理の処理フロー
７．変形例
８．電子機器への適用例
＜１．通常撮影モードとHDR撮影モードの説明＞
　以下に詳述する撮像装置１（図４）は、通常撮影モードとHDR撮影モードの２つの撮影モード（撮影方式）を有し、それらを動作状態によって使い分ける。
　そこで、初めに、図１乃至図３を参照して、通常撮影モードとHDR撮影モードの一般的な特徴について説明する。
　図１は、通常撮影モードとHDR撮影モードの特徴をまとめた図である。
　通常撮影モードでは、ベイヤ配列で配置された各画素において、一律の露光量が設定される。そして、その設定された露光量に基づいて、各画素の出力信号が得られる。通常撮影モードは、解像度が高いという利点がある反面、ダイナミックレンジの拡大機能がないという欠点を有する。「R１」は赤色の光を受光するR画素、「G１」は緑色の光を受光するG画素、「B１」は青色の光を受光するB画素を表す。
　一方、HDR撮影モードはハイダイナミックレンジ（HDR）な出力信号が得られるモードであり、ベイヤ配列で配置された画素群には、大きい露光量が設定される画素と、小さい露光量が設定される画素がある。ここで、露光量とは、シャッタ時間とゲインを用いて、露光量＝シャッタ時間×ゲインの関係で表される制御量である。
　以下では、露光量の大きな画素を長畜画素、露光量の小さな画素を短畜画素とも言う。図１において「R１」、「G１」、「B１」が表示された白地の画素は長畜画素を示し、「R０」、「G０」、「B０」が表示された黒地の画素は短畜画素を示している。
　図１では、長畜画素と短畜画素の配置の仕方が異なる２種類のHDR撮影モードが示されている。HDR撮影モードの配列P1は、奇数ラインの全てが長畜画素に設定され、偶数ラインの全てが短畜画素に設定される配列方法である。HDR撮影モードの配列P2は、長畜画素と短畜画素のそれぞれが、３画素単位で縦方向と横方向を切替えて、全体として斜め方向のラインとなるように配置される配列方法である。
　HDR撮影モードでは、例えば、長畜画素が飽和したとしても短畜画素で信号を得ることができるため、単一露光量の通常撮影モードでは飽和するようなシーンであっても、短畜画素を用いて階調を持たせることが可能となる。その反面、長畜画素が飽和するようなシーンでは、長畜画素からは信号が得られないため、解像度が低下する。
　撮影した画像の例で、通常撮影モードとHDR撮影モードの違いについてさらに説明する。
　例えば、図２に示されるような風景を被写体として撮影する場合を考える。図２に示される被写体は、上部の領域が太陽光の影響で明るい領域（明部）であり、下部の領域が木陰で比較的暗い領域（暗部）であるとする。
　図３のAは、図２の被写体を一般的な通常撮影モードで撮影した画像を示し、図３のBは、図２の被写体を一般的なHDR撮影モードで撮影した画像を示している。
　図３のAの通常撮影モードの場合には、暗部である下部の領域に最適露光量が設定され、ダイナミックレンジが十分にないため、明部である上部の領域が飽和している。
　これに対して、図３のBのHDR撮影モードの場合には、明部と暗部の両方の階調が確保できている。しかし、図面では現れていないが、明部である上部の領域の長畜画素は飽和して欠落画素となっており、短畜画素だけで表現されているため、解像度は低下している。また、暗部である下部の領域も、短畜画素ではノイズが大きくなるため、短畜画素を用いずに長畜画素のみを用いるようにした場合には、やはり解像度が低下する。したがって、一般に、ダイナミックレンジを優先するのであれば、HDR撮影モードの方が望ましく、解像度を優先するのであれば、通常撮影モードの方が望ましいと言える。
　本開示に係る撮像装置１は、撮影画像の記録を開始する前のプレビュー撮影では、HDR撮影モードを実行し、撮影画像を記録する記録撮影では、HDR撮影モードで取得した露光量情報を用いて、通常撮影モードを実行する。
＜２．撮像装置の構成例＞
　図４は、本開示に係る撮像装置の構成例を示すブロック図である。
　光学レンズ１１は、固体撮像素子１３に入射する被写体光の焦点距離の調整を行う。光学レンズ１１の後段には、固体撮像素子１３に入射する被写体光の光量調整を行う絞り（図示せず）が設けられている。光学レンズ１１の具体的な構成は任意であり、例えば、光学レンズ１１は複数のレンズにより構成されていてもよい。
　光学レンズ１１を透過した被写体光は、例えば、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ１２を介して固体撮像素子１３に入射される。
　固体撮像素子１３は、複数の画素が２次元配置された画素群（画素アレイ部）を有し、被写体光を画素単位で電気信号に変換し、その電気信号をA/D変換部１４に供給する。
　固体撮像素子１３は、プレビュー撮影時には、後述する３A制御部１９によりHDR撮影モードに設定されて動作する。一方、記録撮影時には、固体撮像素子１３は、３A制御部１９により通常撮影モードに設定されて動作する。
　図５のAは、HDR撮影モードで動作するときの固体撮像素子１３の状態を示す図であり、図５のBは、通常撮影モードで動作するときの固体撮像素子１３の状態を示す図である。
　HDR撮影モードでは、図５のAに示されるように、長畜画素と短畜画素が２行単位で交互に配置されるように、ベイヤ配列で配列された各画素に対して露光量が設定される。
　一方、通常撮影モードでは、図５のBに示されるように、ベイヤ配列で配列された各画素に対して単一の露光量が設定される。なお、通常撮影モードでは、HDR撮影モードにおいて長畜画素に対して設定された露光量が、全画素に対して一律に設定される。
　図４に戻り、A/D変換部１４は、固体撮像素子１３から供給されるアナログの電気信号（画素信号）をデジタルの画素信号に変換する。A/D変換部１４は、A/D変換後のデジタルの画素信号をクランプ部１５に供給する。
　クランプ部１５は、A/D変換部１４から出力されてきた画素信号から、黒色と判定されるレベルである黒レベルを減算する。そして、クランプ部１５は、黒レベル減算後の画素信号をメモリ部１６に出力する。
　メモリ部１６は、クランプ部１５からの画素信号（画素データ）を一時的に記憶する。そして、メモリ部１６は、長畜画素の画素データ（以下、長露光データともいう。）を長畜短畜合成部１８およびデモザイク部２１に供給し、短畜画素の画素データ（以下、短露光データともいう。）を倍率演算部１７に供給する。
　倍率演算部１７は、メモリ部１６から供給される短露光データを露光比倍することにより、短露光データを長露光データの感度に倍率補正する。そして、倍率演算部１７は、倍率補正後の短露光データを長畜短畜合成部１８に供給する。
　図６は、倍率演算部１７による倍率補正処理を説明する図である。
　図６のAは、長露光データと短露光データの関係を示している。長畜画素では飽和してしまうような場合でも、短畜画素では、露光量が小さいために、飽和レベルに到達せず、飽和しにくくなっている。
　倍率演算部１７は、短露光データに長畜と短畜の露光比を掛け算することにより、図６のBに示される倍率補正後の短露光データを生成する。これにより、ハイダイナミックレンジな信号が生成される。なお、倍率補正後の短露光データの傾きは、長露光データの傾きと等しい。
　図４に再び戻り、長畜短畜合成部１８は、HDR撮影モードにおいては、倍率演算部１７から供給される倍率補正後の短露光データと、メモリ部１６から供給される長露光データを合成する。そして、長畜短畜合成部１８は、合成の結果得られる合成データを、３A制御部１９、動被写体検出部２０、およびパターン検出部２８に供給する。
　一方、通常撮影モードでは、長畜画素の露光量が全画素一律に設定されるので、全画素の画素値が、長露光データとして、メモリ部１６から長畜短畜合成部１８に供給される。長畜短畜合成部１８は、その長露光データを、３A制御部１９、動被写体検出部２０、およびパターン検出部２８に供給する。
　なお、長畜短畜合成部１８から、３A制御部１９、動被写体検出部２０、およびパターン検出部２８に供給される合成データおよび長露光データは、画素単位のデータであってもよいし、画素群を複数のブロックに分割し、ブロック内の各画素データの平均値など、ブロック単位の画素データでもよい。
　３A制御部１９は、HDR撮影モードでは、長畜短畜合成部１８から供給されるハイダイナミックレンジな信号である合成データに基づいて３A制御を行う。一方、通常撮影モードでは、３A制御部１９は、長畜短畜合成部１８から供給される長露光データに基づく３A制御を行う。
　ここで、３A制御とは、自動露光（AutoExposure）、オートフォーカス（Auto Focus）、オートホワイトバランス（Auto White Balance）の制御のことをいう。
　したがって、より具体的に言えば、３A制御部１９は、長畜短畜合成部１８から供給される合成データ等のコントラスト情報に基づいて合焦しているかどうかを判定し、その判定結果に基づいて光学レンズ１１を駆動する制御を行う。また、３A制御部１９は、長畜短畜合成部１８から供給される合成データ等に基づいて固体撮像素子１３の各画素のシャッタ時間とゲインを決定し、固体撮像素子１３に設定する。さらに、３A制御部１９は、長畜短畜合成部１８から供給される合成データ等に基づいて、ホワイトバランス等の色処理を行うための色制御情報を生成し、LM/WB/ガンマ補正部２２に供給する。
　動被写体検出部２０は、撮影画像のなかの動被写体を検出する処理を実行し、その検出結果を制御部３０に供給する。
　デモザイク部２１は、メモリ部１６からの長露光データに対してデモザイク処理を行うことで色情報の補完等を行って、RGBデータに変換する。デモザイク部２１は、デモザイク処理後の画像データをLM/WB/ガンマ補正部２２に供給する。
　LM/WB/ガンマ補正部２２は、デモザイク部２１からの画像データに対して、３A制御部１９からの色制御情報を用いて色特性の補正を行う。具体的には、LM/WB/ガンマ補正部２２は、規格で定められた原色（RGB）の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部２２は、画像データの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部２２は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部２２は、補正後の画像データを輝度クロマ信号生成部２３に供給する。
　輝度クロマ信号生成部２３は、LM/WB/ガンマ補正部２３から供給された画像データから輝度信号（Ｙ）と色差信号（Cr,Cb）とを生成する。輝度クロマ信号生成部２３は、輝度クロマ信号（Y,Cr,Cb）を生成すると、その輝度信号と色差信号を、ディスプレイ２４と記録制御部２６に供給する。
　ディスプレイ２４は、例えばLCD（Liquid Crystal Display）や有機EL(Electro Luminescence)ディスプレイなどのディスプレイと、そのディスプレイを駆動するディスプレイドライバ等で構成される。
　ディスプレイ２４は、輝度クロマ信号生成部２３から供給される画像データ（輝度クロマ信号）に基づく画像を表示する。換言すれば、ディスプレイ２４は、固体撮像素子１３で撮影された動画または静止画を表示する。ディスプレイ２４には、タッチパネル２５が重畳されており、ユーザの指などによるディスプレイ２４への操作入力を検知することができる。タッチパネル２５により検出されたタッチ入力情報は、制御部３０に供給される。
　記録制御部２６は、不図示の録画ボタン等が操作され、記録の開始が指示された場合に、輝度クロマ信号生成部２３から供給される画像データに対して、所定の符号化方式による圧縮符号化処理を施して、記録媒体２７に記録する。記録媒体２７は、例えば、半導体メモリ、磁気記録媒体、光磁気記録媒体などで構成され、圧縮符号化された撮影画像の画像データを記憶（記録）する。
　パターン検出部２８は、長畜短畜合成部１８から供給される合成データ等に基づいて、撮影画像のなかに、メモリ部２９に予め登録されているパターン画像と一致するものがあるか否かを検出し、その検出結果を制御部３０に供給する。メモリ部２９は、パターン検出部２８によるパターン検出に必要な、顔や物体のパターン画像を記憶している。
　制御部３０は、撮像装置１全体の動作を制御する。例えば、制御部３０は、記録のオンオフを操作する録画ボタン（不図示）の操作に基づいて、プレビュー撮影か記録撮影かを判断し、通常撮影モードとHDR撮影モードとを切替える制御信号を３A制御部１９に供給する。３A制御部１９は、制御部３０からの制御信号に基づいて、固体撮像素子１３の各画素に対して、通常撮影モードかまたはHDR撮影モードに応じた露光量を設定する。
　また、制御部３０は、動被写体検出部２０から供給される動被写体情報、タッチパネル２５から供給されるタッチ入力情報、パターン検出部２８から供給されるパターン検出情報などに基づいて、３A制御の対象領域を示す３A制御領域信号を生成し、３A制御部１９に供給する。
　具体的には、制御部３０は、タッチパネル２５から供給されるタッチ入力情報に基づいて、撮影画像のなかでユーザが指定した領域を示す情報を、フォーカスや露光量などを合わせる３A制御の対象領域として、３A制御部１９に供給する。
　また例えば、制御部３０は、動被写体検出部２０から供給される動被写体情報に基づいて、撮影画像で検出された所定の物体が存在する領域を示す情報を、フォーカスや露光量などを合わせる３A制御の対象領域として、３A制御部１９に供給する。
　あるいはまた、制御部３０は、パターン検出部２８から供給されるパターン検出情報に基づいて、撮影画像内で検出されたユーザの顔の領域を示す情報を、フォーカスや露光量などを合わせる３A制御の対象領域として、３A制御部１９に供給する。
　従って、動被写体検出部２０、タッチパネル２５、及びパターン検出部２８は、３A制御（例えば、露光量の決定）を行う対象の領域となる画素群の所定の領域を特定する領域特定部として機能する。
　なお、制御部３０が、動被写体情報、タッチ入力情報、及びパターン検出情報をどのように選択もしくは組み合わせて使用するかは任意である。
　なお、３A制御部１９や制御部３０は、例えば、ROM（Read Only Memory）に記憶されたプログラムを読み出してCPU（Central Processing Unit）に実行させることにより実現することができ、３A制御部１９と制御部３０を一つの制御部（制御装置）として設けることも可能である。
　また、３A制御部１９や制御部３０は、固体撮像素子１３とともにワンチップとして構成された形態や、光学レンズ１１や光学フィルタ１２とともにパッケージングされた撮像モジュールの形態とすることも可能である。
　あるいはまた、３A制御部１９や制御部３０は、倍率演算部１７や長畜短畜合成部１８などとともに、一つの制御装置として構成することも可能である。すなわち、撮像装置１の各構成は、任意の単位で分割または統合し、一つの装置、モジュール、チップ等として構成することができる。
　撮像装置１は、以上のように構成されている。
＜３．HDR撮影モードの撮影画像データの流れ＞
　図７は、撮像装置１がHDR撮影モードで動作するときの撮影画像データの流れを示している。
　固体撮像素子１３において長畜画素と短畜画素のいずれかに設定されて得られた各画素の画素データが、メモリ部１６に供給され、記憶される。
　そして、短畜画素の画素データである短露光データは、メモリ部１６から倍率演算部１７へ供給され、倍率演算部１７で倍率補正された後、長畜短畜合成部１８に供給される。
　一方、長畜画素の画素データである長露光データは、メモリ部１６から長畜短畜合成部１８とデモザイク部２１に供給される。
　長畜短畜合成部１８では、倍率補正後の短露光データと長露光データとが合成され、その結果得られた合成データが、３A制御部１９に供給される。したがって、HDR撮影モードにおいては、ハイダイナミックレンジな合成データに基づいて、３A制御が実行される。
　また、動被写体検出部２０とパターン検出部２８にも、ハイダイナミックレンジな合成データが供給される。これにより、通常、飽和して見えないような領域に動被写体やユーザの顔領域が存在する場合であっても、動被写体検出部２０及びパターン検出部２８は、それらを検出することができる。
　一方、デモザイク部２１には、メモリ部１６から、長露光データのみが供給される。したがって、プレビュー撮影時にディスプレイ２４に表示される画像は、図８のAに示されるような間引きされた信号に基づく画像となる。
　プレビュー撮影時にディスプレイ２４に表示される画像は、間引きされた信号に基づく画像でもよいが、勿論、図８のBに示されるような、欠落した短畜画素の画素データを補完した画像を表示してもよい。
　短畜画素の画素データを補完する方法は、周辺の画素データからバイリニア補完などで推定する方法もあるが、例えば、短畜画素の画素データを使用してもよい。この場合、長畜短畜合成部１８が、倍率補正後の短露光データと長露光データを合成した合成データをデモザイク部２１に供給する。ただし、３A制御部１９等に供給される合成データとは異なり、図９に示すように、飽和レベル以上の画素データは供給されず、長畜画素と同じ出力範囲内にクリッピングされた合成データが、ディスプレイ表示用の信号として、長畜短畜合成部１８からデモザイク部２１に供給される。
　例えば、長畜画素の画素データが、１０ビットの１０２４階調で演算されているとすると、短畜画素の倍率補正データも１０２４階調で表現される。これは、短畜画素の倍率補正データであれば、図６のBに示したように、さらに明るい領域を表現することが可能であるが、記録撮影時は通常撮影モードで動作することを前提としているため、プレビュー撮影と記録撮影とで、ディスプレイ表示用の画素信号のダイナミックレンジに差を持たせないようにするためである。これにより、プレビュー撮影時にディスプレイ２４に表示される画像と、記録撮影時にディスプレイ２４に表示される画像に違いが生じないため、記録撮影時にユーザが意図した映像を撮影、記録することができるようになる。
　図１０は、撮像装置１のHDR撮影モードによる画像データの概念図を示している。
　図１０上段は、メモリ部１６に入力される短畜画素と長畜画素の画像データの概念図を示している。画素信号の演算ビット数が１０ビットである場合、短畜画素と長畜画素のいずれも１０２４階調で表現される。
　図１０下段は、長畜短畜合成部１８で合成処理された後の合成データの概念図を示している。合成処理された後の合成データは、１０２４階調を超えるハイダイナミックレンジで表現される。
　ただし、上述したように、１０２４階調を超えるハイダイナミックレンジな合成データが入力されるのは３A制御部１９のみであり、ディスプレイ２４では、合成データが１０２４階調でクリッピングされた画像が表示される。
　３A制御部１９へは、１０２４階調を超えるハイダイナミックレンジな合成データが入力されているため、例えば、ディスプレイ２４上の表示ではクリッピングされている領域が３A制御対象領域として指定された場合であっても、直ぐに、その領域が最適露光になるように３A制御を実行することができる。
　一般的なHDR撮影モードでは、ディスプレイ２４の表示としても、１０２４階調を超えるハイダイナミックレンジな合成データが使用されるため、本開示の撮像装置１では、この点が一般的なHDR撮影モードとは異なる。
＜４．通常撮影モードの撮影画像データの流れ＞
　図１１は、撮像装置１が通常撮影モードで動作するときの撮影画像データの流れを示している。
　通常撮影モードでは、固体撮像素子１３の全画素が同一の露光量に設定される。本実施の形態では、上述したように、固体撮像素子１３の全画素が、プレビュー撮影時の最適露光量である長畜画素の露光量に設定されるので、メモリ部１６には、長露光データが記憶される。
　そして、メモリ部１６に記憶された長露光データは、長畜短畜合成部１８とデモザイク部２１に供給される。
　長畜短畜合成部１８は、メモリ部１６から供給された長露光データを、そのまま、３A制御部１９、動被写体検出部２０、およびパターン検出部２８に供給する。したがって、通常撮影モードにおいては、全画素で露光量を統一して得られた画像データに基づいて、３A制御が実行される。
　また、デモザイク部２１にも、全画素が長畜画素の露光量に設定されて得られた画像データが供給されるので、最適露光量に設定された高解像度の画像がディスプレイ２４に表示されるとともに、記録媒体２７に記録される。
＜一般的な通常撮影モード及びHDR撮影モードとの比較＞
　図１２を参照して、本開示の撮像装置１と、一般的な通常撮影モード及びHDR撮影モードとを、さらに比較説明する。
　一般的な通常撮影モードでは、プレビュー撮影時にディスプレイ２４に表示される表示画像、３A制御に用いられる信号、及び、記録撮影時にディスプレイ２４に表示される表示画像（記録画像も同じ）のいずれも、解像度は高いがダイナミックレンジの狭い画像となる。
　逆に、一般的なHDR撮影モードでは、プレビュー撮影時にディスプレイ２４に表示される表示画像、３A制御に用いられる信号、及び、記録撮影時にディスプレイ２４に表示される表示画像のいずれも、ダイナミックレンジは広いが、解像度を犠牲にした画像となる。
　これに対して、撮像装置１では、プレビュー撮影では、一般的なHDR撮影モードと同じ駆動で固体撮像素子１３を制御し、３A制御には一般的なHDR撮影モードと同じハイダイナミックレンジな信号を使用するが、ディスプレイ２４に表示される表示画像としては長畜画素の信号のみが使用される。そして、記録撮影時も、長畜画素の信号に基づく画像をディスプレイ２４に表示するため、撮像装置１では、プレビュー撮影の表示画像と、記録撮影の表示画像の見た目が変わらないという特徴がある。
　また、撮像装置１では、３A制御にはハイダイナミックレンジな信号を使用するので、例えば、一般的な通常撮影モードでは飽和しているような領域が３A制御対象領域としてユーザによりタッチ入力された場合であっても、タッチ位置の適切な露光量を即座に演算し、制御することができる。
　そして、記録撮影が開始された場合には、その適切な露光量が全画素に対して設定されるので、解像度の高い画像を表示、記録することができる。
　したがって、撮像装置１によれば、明暗差が激しいシーンを撮影した場合であっても、プレビュー撮影において、露光量やフォーカスなどを瞬時に最適値に設定することができるとともに、一般的なHDR撮影モードで発生していた記録撮影画像の解像度が低いという問題も解決することができる。
　換言すれば、撮像装置１は、画像を残さないプレビュー撮影では、ダイナミックレンジの広い画素信号を使用する制御を行い、画像を残す記録撮影では、単一の露光量に設定して解像度を上げる制御を行う。
＜５．撮影処理の流れ＞
　図１３は、撮像装置１による撮影処理の流れを示している。
　プレビュー撮影において、ダイナミックレンジの狭い（クリッピングされた）画像５１がディスプレイ２４に表示される。
　そして、例えば、ユーザが、ディスプレイ２４に表示された画像５１のなかで、飽和している領域（画素）５２を３A制御対象領域としてタッチしたとする。このとき、タッチパネル２５で検出されたタッチ位置が制御部３０を介して３A制御部１９に供給される。
　３A制御部１９には、合成データに基づくハイダイナミックレンジな信号が供給されているので、３A制御部１９は、ディスプレイ２４上では表示されていなかった領域５２の適切な３A制御量を演算することができ、タッチ位置が適正な露光量、フォーカス位置、及びホワイトバランスとなるように制御する。これにより、露光量、フォーカス位置等がタッチ位置に合わせて適切に設定された画像５３が、ディスプレイ２４に表示される。
　そして、録画ボタンが押下されると、適切に設定された露光量を全画素に適用した動画像（画像５４－１、５４－２、５４－３、・・）が撮影され、ディスプレイ２４に表示されるとともに、記録媒体２７に記録される。
　一般的な通常撮影モードでは、タッチ位置が飽和している場合、その箇所がどの程度の蓄積時間であれば飽和しなくなるかという情報が全くないために、徐々に露光量を下げていくしかないため、露光量を適正値にするまでに時間がかかっていた。
　本開示の撮像装置１では、上述したように、３A制御には合成データに基づくハイダイナミックレンジな信号を使用しているので、タッチ位置がディスプレイ２４上で飽和している場合であっても、高速かつ正確に、適正な露光量を設定することができ、フォーカスも合わせることができる。
　換言すれば、本開示の撮像装置１では、プレビュー撮影の３A制御のみに、合成データに基づくハイダイナミックレンジな信号を適用することで、高速かつ正確に、適正な露光量を設定することができ、フォーカスも合わせることができる。
＜６．プレビュー撮影処理の処理フロー＞
　次に、図１４のフローチャートを参照して、撮像装置１のプレビュー撮影時の処理であるプレビュー撮影処理について説明する。例えば、撮像装置１の電源が投入されたとき、図１４の処理が開始される。
　初めに、ステップＳ１において、３A制御部１９は、制御部３０からの指令に基づき、固体撮像素子１３をHDR撮影モードで駆動させる。固体撮像素子１３はHDR撮影モードによる駆動を開始する。HDR撮影モードでは、図５のAに示したように、長畜画素かまたは短畜画素のいずれかとなるように露光量が設定されて、撮影された画素データがメモリ部１６に供給される。
　ステップＳ２において、メモリ部１６は、短露光データ（短畜画素の画素データ）を倍率演算部１７に供給し、長露光データ（長畜画素の画素データ）を長畜短畜合成部１８とデモザイク部２１に供給する。
　ステップＳ３において、倍率演算部１７は、メモリ部１６から供給される短露光データを露光比倍し、倍率補正後の短露光データを長畜短畜合成部１８に供給する。
　ステップＳ４において、長畜短畜合成部１８は、倍率演算部１７から供給される倍率補正後の短露光データと、メモリ部１６から供給された長露光データを合成する。
　そして、ステップＳ５において、長畜短畜合成部１８は、合成の結果得られた合成データを、３A制御部１９、動被写体検出部２０、およびパターン検出部２８に供給する。
　ステップＳ６において、３A制御部１９は、ハイダイナミックレンジな信号である合成データに基づいて、３A制御を行う。
　ステップＳ７において、ディスプレイ２４は、長露光データに基づく画像を表示する。なお、ステップＳ７の処理は、上述したステップＳ３乃至Ｓ６の処理と並行して実行することができる。
　ステップＳ８において、制御部３０は、タッチパネル２５からのタッチ入力情報に基づいて、ディスプレイ２４にユーザのタッチがあったか否かを判定する。
　ステップＳ８で、ユーザのタッチがないと判定された場合、処理はステップＳ１に戻り、それ以降の処理が再度実行される。即ち、合成データに基づく３A制御と、長露光データに基づく画像のディスプレイ２４への表示が継続される。
　一方、ステップＳ８で、ユーザのタッチがあったと判定された場合、処理はステップＳ９に進み、制御部３０は、タッチパネル２５からのタッチ入力情報に基づいて、タッチ位置を示す３A制御対象領域信号を、３A制御部１９に出力する。
　ステップＳ１０において、３A制御部１９は、取得した３A制御対象領域信号に基づいて、タッチ位置は長畜画素が飽和している領域であるかを判定する。
　ステップＳ１０で、タッチ位置が長畜画素が飽和している領域であると判定された場合、処理はステップＳ１１に進み、３A制御部１９は、タッチ位置周辺の短露光データを用いて３A制御を行う。
　３A制御部１９は、例えば、以下の計算式により、短畜画素の画素データを用いて、最適な露光量を瞬時に計算することができる。
　最適露光量Ｙ＜飽和信号値ａ÷（短畜画素値ｂ×露光比ｃ）×長畜露光量ｄ
　なお、最適な露光量の計算式は、上記の計算式に限定されず、任意の計算式を採用することができる。
　一方、ステップＳ１０で、タッチ位置が長畜画素が飽和している領域ではないと判定された場合、処理はステップＳ１２に進み、３A制御部１９は、タッチ位置の長露光データを用いて３A制御を行う。
　ステップＳ１１およびステップＳ１２の処理では、長畜画素の露光量が、最適な露光量に設定される。短畜画素の露光量は、予め設定した任意の（固定の）露光量、若しくは、最適値に設定された長畜画素の露光量に対して所定の露光比で求めた露光量とすることができる。
　ステップＳ１３において、制御部３０は、録画ボタンが押下されたか否かを判定する。ステップＳ１３で、録画ボタンがまだ押下されていないと判定された場合、処理はステップＳ１に戻り、上述した処理が繰り返される。
　一方、ステップＳ１３で、録画ボタンが押下されたと判定された場合、処理はステップＳ１４に進み、制御部３０は、撮影モードを、HDR撮影モードから通常撮影モードに変更し、固体撮像素子１３が通常撮影モードによる駆動を開始して、プレビュー撮影処理を終了する。
　なお、通常撮影モードが開始されると、HDR撮影モードにおいて固体撮像素子１３の長畜画素に設定されていた露光量が、全ての画素に対して設定される。
＜７．変形例＞
　上述した例では、プレビュー撮影時のHDR撮影モードでは長畜画素の画素データをディスプレイ２４に供給し、記録撮影時の通常撮影モードでは、長畜画素の露光量に全画素の露光量を統一するようにしたが、短畜画素の画素データを使うようにしてもよい。すなわち、プレビュー撮影時のHDR撮影モードでは短畜画素の画素データをディスプレイ２４に供給し、記録撮影時の通常撮影モードでは、短畜画素の露光量に全画素の露光量を統一するようにしてもよい。この場合、上述したステップＳ１１およびＳ１２の処理で最適な露光量に設定されるのが、短畜画素となる。
　短畜画素の画素データを用いる場合には、短畜画素は飽和しにくいため、３A制御にも飽和しない信号を用いることができる。しかし、短畜画素の画素データは、蓄積時間が短いが故にノイズが大きい（S/N比が小さい）ため、３A制御を行う上で、例えば、コントラストからフォーカス位置を合わせるAF方式などに弊害を生じさせる。したがって、長畜画素が飽和していない領域では、図１４のフローチャートで説明したように、ノイズが小さい（S/N比が大きい）長畜画素を用いて３A制御（コントラストAFなど）を行うことが望ましい。
　上述した実施の形態では、プレビュー撮影時のHDR撮影モードにおける露光量の種類が、短畜と長畜の２種類としたが、HDR撮影モードにおける露光量の種類は、３以上の種類とすることができる。その場合、記録撮影時の通常撮影モードにおける露光量の種類は、プレビュー撮影時のHDR撮影モードにおける露光量の種類よりも少ない種類となる。
　例えば、撮像装置１は、プレビュー撮影時のHDR撮影モードでは、露光量＋、露光量＋＋、露光量＋＋＋、露光量＋＋＋＋の４種類の露光量を用いた３A制御を行う。ここで、「＋」は一定の露光量を表し、「＋」の個数が多いほど、露光量が大きいことを表す。
　この場合、プレビュー撮影では、撮像装置１は、露光量＋＋＋と露光量＋＋＋＋の露光量が大きい２種類の画素データを用いた画像をディスプレイ２４に表示する。そして、撮像装置１は、露光量＋＋＋と露光量＋＋＋＋の画素が最適な露光量になるように３A制御を行う。その後、HDR撮影モードから通常撮影モードに変更する際には、撮像装置１は、全画素の露光量を露光量＋＋＋かまたは露光量＋＋＋＋に設定して得られた画像を記録媒体２７に記録する。
　以上のように、撮像装置１は、プレビュー撮影時のHDR撮影モードにおいては、複数種類の露光量を画素群に設定し、記録撮影時の通常撮影モードにおいては、プレビュー撮影時の露光量の少なくとも一つを含み、HDR撮影モードよりも少ない種類の露光量を画素群に設定することができる。このような場合においても、記録撮影時では、プレビュー撮影時よりも露光量の種類が減って解像度が向上するので、解像感をプレビュー撮影時よりも高めることができる。
　また、プレビュー撮影時のHDR撮影モードにおける短畜画素と長畜画素の配列方法も、図５のAに示した配列に限定されず、任意である。例えば、図１に示した配列P1やP2のような配列方法でもよい。さらには、特開２０１０－２８４２３号公報に記載のような、２×２画素を１単位画素として見なす配列であっても良い。
　なお、上述した例では、３A制御のうち、露光量（AE）の制御について主に説明したが、オートフォーカス制御や、オートホワイトバランス制御についても同様に制御できることは言うまでもない。
　また、オートフォーカス制御は、短畜画素のコントラスト情報を用いて行ってもよいし、図１５に示す３×３画素の中央部に配列されているような、画素の一部が遮光された位相差画素を固体撮像素子１３の画素群に混在させ、位相差画素からの信号を用いて、３A制御部１９がオートフォーカス制御を行うようにしてもよい。
　位相差画素は、一部が遮光されているため、長畜画素として露光量が設定されていたとしても通常画素よりも飽和しにくいが、仮に飽和していた場合には、短蓄画素として露光量が設定されている位相差画素を用いてオートフォーカス制御を行えば良い。なお、位相差画素の信号を用いたオートフォーカス制御の方法については、例えば特開２０１０－１６０３１３号公報に記載されている。
　露光量が大きい長蓄画素では、蛍光灯であっても太陽であっても飽和してしまうが、短蓄画素はある程度の明るさ（例えば蛍光灯）であれば飽和しないように設定することができる。つまり、光源の発光源付近までの信号を得ることができるため（光源から離れる程、複数の光源の色が混じり推定が難しくなる）、その光源のRGB比から、より正確に光源を推定することが可能となる。３A制御部１９は、光源推定した結果に基づいて、オートホワイトバランスを適正に制御することができる。例えば、光源が暖色系白熱電球であれば、赤色をやや強めにしたホワイトバランスにして、記憶色に近づけるなどの制御を行うことができる。
＜８．電子機器への適用例＞
　上述した撮像装置１の撮像機能は、例えば、デジタルスチルカメラやビデオカメラ、撮像機能を有するスマートフォン（多機能携帯電話機）等の携帯端末、カプセル内視鏡、眼鏡に撮像機能が付加された眼鏡型撮像装置などの電子機器全般に対して適用可能である。
　以下に、撮像装置１の撮像機能を適用した電子機器の具体例について説明する。なお、撮像装置１の撮像機能とは、固体撮像素子１３の画素信号を生成する機能と、倍率演算部１７、長畜短畜合成部１８、３A制御部１９、デモザイク部２１、制御部３０などが行う、生成した画素信号を用いて制御を行う機能をいう。
＜チップ形態の撮像装置＞
　図１６は、撮像装置１の撮像機能をチップ形態とした構成例を示している。即ち、撮像装置１の撮像機能は、図１６において撮像装置１０１乃至１０３として示すようなチップ形態の構成とすることができる。
　図１６上段に示される撮像装置１０１は、１つの半導体チップ１２１内に、画素群が形成されている画素領域１２２と、画素群に制御信号を供給する制御回路１２３と、上述した３A制御部１９や制御部３０の信号処理回路を含むロジック回路１２４とを搭載して構成される。
　図１６中段に示される撮像装置１０２は、第１の半導体チップ部１３１と第２の半導体チップ部１３２とから構成される。第１の半導体チップ部１３１には、画素領域１３３と制御回路１３４が搭載され、第２の半導体チップ部１３２には、上述した３A制御部１９や制御部３０の信号処理回路を含むロジック回路１３５が搭載される。そして、第１の半導体チップ部１３１と第２の半導体チップ部１３２が相互に電気的に接続されることで、１つの半導体チップとしての撮像装置１０２が構成される。
　図１６下段に示される撮像装置１０３は、第１の半導体チップ部１４１と第２の半導体チップ部１４２とから構成される。第１の半導体チップ部１４１には、画素領域１４３が搭載され、第２の半導体チップ部１４２には、制御回路１４４と、上述した３A制御部１９や制御部３０の信号処理回路を含むロジック回路１４５が搭載される。そして、第１の半導体チップ部１４１と第２の半導体チップ部１４２が相互に電気的に接続されることで、１つの半導体チップとしての撮像装置１０３が構成される。
＜カプセル内視鏡への適用例＞
　図１７は、撮像装置１の撮像機能を搭載したカプセル内視鏡の断面構成を示す図である。
　図１７のカプセル内視鏡２００は、例えば両端面が半球状で中央部が円筒状の筐体２１０内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）２１１、カメラ２１１により撮影された画像データを記録するためのメモリ２１２、および、カプセル内視鏡２００が被験者の体外に排出された後に、記録された画像データをアンテナ２１４を介して外部へ送信するための無線送信機２１３を備えている。
　さらに、筐体２１０内には、CPU２１５およびコイル（磁力・電流変換コイル）２１６が設けられている。
　CPU２１５は、カメラ２１１による撮影、およびメモリ２１２へのデータ蓄積動作を制御するとともに、メモリ２１２から無線送信機２１３による筐体２１０外のデータ受信装置（図示せず）へのデータ送信を制御する。
　コイル２１６は、カメラ２１１、メモリ２１２、無線送信機２１３、アンテナ２１４および後述する光源２１１ｂへの電力供給を行う。
　さらに、筐体２１０には、カプセル内視鏡２００をデータ受信装置にセットした際に、これを検知するためのリード（磁気）スイッチ２１７が設けられている。このリードスイッチ２１７がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル２１６から無線送信機２１３への電力供給が開始される。
　カメラ２１１は、例えば体腔内の画像を撮影するための対物光学系を含む固体撮像素子２１１ａと、体腔内を照明する複数（ここでは２個）の光源２１１ｂを有しており、光源２１１ｂは、例えばLED（Light Emitting Diode）で構成される。
　固体撮像素子２１１ａは、図４の固体撮像素子１３に対応し、CPU２１５は、図４の３A制御部１９や制御部３０に対応する制御を行う。
＜スマートフォンへの適用例＞
　図１８は、撮像装置１の撮像機能を搭載したスマートフォンの外観構成を示す図である。
　スマートフォン３００は、スピーカ３１１、ディスプレイ３１２、操作ボタン３１３、マイクロフォン３１４、撮像部３１５などを有している。
　スマートフォン３００で電話機能が実行される場合、マイクロフォン３１４から取得された送話音声が通信部（図示せず）を介して基地局に送信され、相手からの受話音声が、通信部からスピーカ３１１に供給されて音響再生される。
　ディスプレイ３１２は、例えばLCD（Liquid Crystal Display）からなり、電話待ち受け画面等の所定の画面を表示する。ディスプレイ３１２には、タッチパネルが重畳されており、ユーザの指などによるディスプレイ３１２への操作入力を検知することができる。スマートフォン３００は、検知されたユーザの操作入力に応じて、所定の処理、例えば、撮影機能の実行等を行うことができる。
　撮像部３１５は、固体撮像素子と光学レンズ等からなり、被写体を撮像し、その結果得られる画像データを内部メモリ等に記憶する。撮像部３１５の固体撮像素子が、図４の固体撮像素子１３に対応し、３A制御部１９や制御部３０は、スマートフォン３００内に設けられたCPUで実現される。
＜眼鏡型撮像装置への適用例＞
　図１９は、撮像装置１の撮像機能を搭載した眼鏡型撮像装置の構成例を示している。
　図１９の眼鏡型撮像装置４００は、フレーム４１１中央部に取り付けられた固体撮像素子４１２と、メガネレンズ４１３を固定するとともに、固体撮像素子４１２を駆動制御する画像信号処理回路が内蔵された筐体４１４を含む。
　固体撮像素子４１２は図４の固体撮像素子１３に対応し、筐体４１４内に設けられた画像信号処理回路は、図４の３A制御部１９及び制御部３０の制御機能を備え、ユーザの眼球の動きを検知し、眼球の向き（動き）に合わせて、３A制御を行う。
　固体撮像素子４１２で撮影された画像データは、通信ケーブル４１５を介して、外部回路へ送信される。勿論、眼鏡型撮像装置４００が無線通信機能を備え、無線通信により画像データを送信するようにしてもよい。また、固体撮像素子４１２で撮影された画像は、メガネレンズ４１３に投影されるようにしてもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　上述した例では、固体撮像素子１３の画素群がベイヤ配列により配列されているものとして説明したが、クリアビット配列などのその他の配列で配置されていてもよい。また、カラーフィルタについてもR,G,Bだけではなく、ホワイトフィルタ（W）や赤外フィルタ（IR）などを含むものでもよい。さらに、固体撮像素子１３は、裏面照射型および表面照射型の固体撮像素子でもよく、特開２０１１－２９３３７号公報に開示されているような、有機光電変換膜と無機光電変換層を縦方向に積層した縦方向分光型の固体撮像素子でもよい。
　なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本開示は以下のような構成も取ることができる。
（１）
　複数の画素が２次元配置された画素群の露光量を制御する制御部を備え、
　前記制御部は、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する
　制御装置。
（２）
　前記制御部は、前記第１のモードにおいて前記画素群に設定した前記複数種類の露光量のうちの少なくとも一つを、前記第２のモードにおいて前記画素群に設定する
　前記（１）に記載の制御装置。
（３）
　前記制御部は、前記第１のモードにおいて、飽和画素の画素信号を用いずに、非飽和画素の画素信号を使用して求めた前記露光量を前記画素群に設定する
　前記（１）または（２）に記載の制御装置。
（４）
　前記制御部は、前記複数種類の露光量の画素信号のうち、S/N比が大きい方の前記非飽和画素の画素信号を使用して求めた前記露光量を前記画素群に設定する
　前記（３）に記載の制御装置。
（５）
　前記制御部は、前記第１のモードにおいて、前記複数種類の露光量の画素信号のうち、ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
　前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
　前記制御部は、ディスプレイ表示用の画素信号よりも前記ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
　前記（５）に記載の制御装置。
（７）
　前記露光量を決定する対象の領域となる前記画素群の所定の領域を特定する領域特定部をさらに備え、
　前記制御部は、前記領域特定部により特定された領域の前記ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
　前記（５）に記載の制御装置。
（８）
　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内のユーザの顔の領域を特定する
　前記（７）に記載の制御装置。
（９）
　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内のユーザが指定した領域を特定する
　前記（７）に記載の制御装置。
（１０）
　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内の所定の物体が存在する領域を特定する
　前記（７）に記載の制御装置。
（１１）
　前記制御部は、前記第１のモードにおいては、２種類の露光量を前記画素群に設定し、前記第２のモードにおいては、１種類の露光量を前記画素群に設定する
　前記（１）乃至（１０）のいずれかに記載の制御装置。
（１２）
　露光量の小さな画素の画素信号を露光比倍することにより倍率補正した画素信号と、露光量の大きな画素の画素信号とを合成する合成部をさらに備え、
　前記合成部は、前記第１のモードにおいては、前記倍率補正した画素信号と、前記露光量の大きな画素の画素信号とを合成して前記制御部に供給し、前記第２のモードにおいては、１種類の露光量の画素信号を前記制御部に供給する
　前記（１１）に記載の制御装置。
（１３）
　露光量の小さな画素の画素信号を露光比倍することにより倍率補正した画素信号と、露光量の大きな画素の画素信号とを合成する合成部をさらに備え、
　前記合成部は、前記第１のモードにおいては、前記倍率補正した画素信号と、前記露光量の大きな画素の画素信号とを合成した信号を、前記第２のモードの表示階調でクリッピングした信号を、ディスプレイ表示用の信号として出力する
　前記（１）乃至（１２）のいずれかに記載の制御装置。
（１４）
　前記制御部は、前記第１のモードにおいて、前記合成部により合成された前記信号に基づいて、オートフォーカス制御も行う
　前記（１２）に記載の制御装置。
（１５）
　前記制御部は、前記第１のモードにおいて、前記合成部により合成された前記信号に基づいて、ホワイトバランスのための色制御情報も生成する
　前記（１２）または（１４）に記載の制御装置。
（１６）
　前記画素群には、位相差画素が含まれており、
　前記制御部は、前記位相差画素の画素信号を用いて、オートフォーカス制御も行う
　前記（１）乃至（１５）のいずれかに記載の制御装置。
（１７）
　複数の画素が２次元配置された画素群の露光量を制御する制御装置が、
　撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する
　制御方法。
（１８）
　複数の画素が２次元配置された画素群を備える固体撮像素子と、
　撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する制御部と
　を備える電子機器。
　１　撮像装置，　１３　固体撮像素子，　１６　メモリ部，　１７　倍率演算部，　１８　長畜短畜合成部，　１９　３A制御部，　２４　ディスプレイ，　２５　タッチパネル，　２６　記録制御部，　２７　記録媒体，　３０　制御部，　１０１乃至１０３　撮像装置，　２００　カプセル内視鏡，　３００　スマートフォン，　４００　眼鏡型撮像装置

Claims (18)

  1. 　複数の画素が２次元配置された画素群の露光量を制御する制御部を備え、
    　前記制御部は、撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する
    　制御装置。
  2. 　前記制御部は、前記第１のモードにおいて前記画素群に設定した前記複数種類の露光量のうちの少なくとも一つを、前記第２のモードにおいて前記画素群に設定する
    　請求項１に記載の制御装置。
  3. 　前記制御部は、前記第１のモードにおいて、飽和画素の画素信号を用いずに、非飽和画素の画素信号を使用して求めた前記露光量を前記画素群に設定する
    　請求項１に記載の制御装置。
  4. 　前記制御部は、前記複数種類の露光量の画素信号のうち、S/N比が大きい方の前記非飽和画素の画素信号を使用して求めた前記露光量を前記画素群に設定する
    　請求項３に記載の制御装置。
  5. 　前記制御部は、前記第１のモードにおいて、前記複数種類の露光量の画素信号のうち、ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
    　請求項１に記載の制御装置。
  6. 　前記制御部は、ディスプレイ表示用の画素信号よりも前記ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
    　請求項５に記載の制御装置。
  7. 　前記露光量を決定する対象の領域となる前記画素群の所定の領域を特定する領域特定部をさらに備え、
    　前記制御部は、前記領域特定部により特定された領域の前記ハイダイナミックレンジな画素信号を使用して求めた前記露光量を設定する
    　請求項５に記載の制御装置。
  8. 　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内のユーザの顔の領域を特定する
    　請求項７に記載の制御装置。
  9. 　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内のユーザが指定した領域を特定する
    　請求項７に記載の制御装置。
  10. 　前記領域特定部は、前記露光量を決定する対象の領域となる前記所定の領域として、前記撮影画像内の所定の物体が存在する領域を特定する
    　請求項７に記載の制御装置。
  11. 　前記制御部は、前記第１のモードにおいては、２種類の露光量を前記画素群に設定し、前記第２のモードにおいては、１種類の露光量を前記画素群に設定する
    　請求項１に記載の制御装置。
  12. 　露光量の小さな画素の画素信号を露光比倍することにより倍率補正した画素信号と、露光量の大きな画素の画素信号とを合成する合成部をさらに備え、
    　前記合成部は、前記第１のモードにおいては、前記倍率補正した画素信号と、前記露光量の大きな画素の画素信号とを合成して前記制御部に供給し、前記第２のモードにおいては、１種類の露光量の画素信号を前記制御部に供給する
    　請求項１１に記載の制御装置。
  13. 　露光量の小さな画素の画素信号を露光比倍することにより倍率補正した画素信号と、露光量の大きな画素の画素信号とを合成する合成部をさらに備え、
    　前記合成部は、前記第１のモードにおいては、前記倍率補正した画素信号と、前記露光量の大きな画素の画素信号とを合成した信号を、前記第２のモードの表示階調でクリッピングした信号を、ディスプレイ表示用の信号として出力する
    　請求項１１に記載の制御装置。
  14. 　前記制御部は、前記第１のモードにおいて、前記合成部により合成された前記信号に基づいて、オートフォーカス制御も行う
    　請求項１２に記載の制御装置。
  15. 　前記制御部は、前記第１のモードにおいて、前記合成部により合成された前記信号に基づいて、ホワイトバランスのための色制御情報も生成する
    　請求項１２に記載の制御装置。
  16. 　前記画素群には、位相差画素が含まれており、
    　前記制御部は、前記位相差画素の画素信号を用いて、オートフォーカス制御も行う
    　請求項１に記載の制御装置。
  17. 　複数の画素が２次元配置された画素群の露光量を制御する制御装置が、
    　撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する
    　制御方法。
  18. 　複数の画素が２次元配置された画素群を備える固体撮像素子と、
    　撮影画像の記録を開始する前の第１のモードにおいては、複数種類の露光量を前記画素群に設定し、撮影画像を記録する第２のモードにおいては、前記第１のモードよりも少ない種類の露光量を前記画素群に設定する制御部と
    　を備える電子機器。
PCT/JP2014/071033 2013-08-22 2014-08-08 制御装置、制御方法、および電子機器 WO2015025740A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480039968.3A CN105379248B (zh) 2013-08-22 2014-08-08 控制器件、控制方法及电子装置
KR1020167000163A KR102184916B1 (ko) 2013-08-22 2014-08-08 제어 장치, 제어 방법 및 전자 기기
US14/907,431 US9998679B2 (en) 2013-08-22 2014-08-08 Control device, control method, and electronic device to control an exposure amount of a pixel group

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-171966 2013-08-22
JP2013171966A JP2015041890A (ja) 2013-08-22 2013-08-22 制御装置、制御方法、および電子機器

Publications (1)

Publication Number Publication Date
WO2015025740A1 true WO2015025740A1 (ja) 2015-02-26

Family

ID=52483518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/071033 WO2015025740A1 (ja) 2013-08-22 2014-08-08 制御装置、制御方法、および電子機器

Country Status (6)

Country Link
US (1) US9998679B2 (ja)
JP (1) JP2015041890A (ja)
KR (1) KR102184916B1 (ja)
CN (1) CN105379248B (ja)
TW (1) TWI661727B (ja)
WO (1) WO2015025740A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
JP6146293B2 (ja) * 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
CN104243827A (zh) * 2014-09-23 2014-12-24 深圳市中兴移动通信有限公司 拍摄方法和装置
US9467632B1 (en) 2015-07-13 2016-10-11 Himax Imaging Limited Dual exposure control circuit and associated method
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
EP3424403B1 (en) 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN108702467B (zh) 2016-03-24 2020-12-08 富士胶片株式会社 固体电子摄像装置的控制装置及其控制方法
JP6675917B2 (ja) * 2016-04-19 2020-04-08 オリンパス株式会社 撮像装置及び撮像方法
US10097766B2 (en) * 2016-08-31 2018-10-09 Microsoft Technology Licensing, Llc Provision of exposure times for a multi-exposure image
GB2561163B (en) * 2017-03-30 2021-05-12 Apical Ltd Control systems and image sensors
WO2019035245A1 (ja) * 2017-08-18 2019-02-21 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2020043522A (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020198470A (ja) * 2019-05-30 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
JP6628925B2 (ja) * 2019-07-01 2020-01-15 キヤノン株式会社 画像表示装置及びその制御方法
WO2021034311A1 (en) * 2019-08-19 2021-02-25 Google Llc Dual exposure control in a camera system
JP7457473B2 (ja) * 2019-09-12 2024-03-28 キヤノン株式会社 撮像装置及びその制御方法
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
US12096129B2 (en) * 2022-02-24 2024-09-17 Qualcomm Incorporated Multi-frame auto exposure control (AEC)
CN117241134B (zh) * 2023-11-15 2024-03-08 杭州海康威视数字技术股份有限公司 用于摄像机的拍摄模式切换方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2002232777A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2007158544A (ja) * 2005-12-01 2007-06-21 Olympus Corp カメラシステム
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053296A (ja) * 2007-08-24 2009-03-12 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
TW201108728A (en) * 2009-08-25 2011-03-01 Hon Hai Prec Ind Co Ltd Method and system for exposing photograph by separated regions in camera devices
US8970719B2 (en) * 2011-06-23 2015-03-03 JVC Kenwood Corporation Image processing apparatus and image processing method
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135648A (ja) * 2000-10-26 2002-05-10 Olympus Optical Co Ltd 撮像装置
JP2002232777A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2007158544A (ja) * 2005-12-01 2007-06-21 Olympus Corp カメラシステム
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20160045051A (ko) 2016-04-26
TW201515466A (zh) 2015-04-16
TWI661727B (zh) 2019-06-01
KR102184916B1 (ko) 2020-12-01
CN105379248B (zh) 2019-08-09
US9998679B2 (en) 2018-06-12
CN105379248A (zh) 2016-03-02
US20160173751A1 (en) 2016-06-16
JP2015041890A (ja) 2015-03-02

Similar Documents

Publication Publication Date Title
WO2015025740A1 (ja) 制御装置、制御方法、および電子機器
JP5701664B2 (ja) 撮像装置
US8749653B2 (en) Apparatus and method of blurring background of image in digital image processing device
US20170171446A1 (en) Image capturing apparatus, control method therefor, program, and recording medium
US8947575B2 (en) Image pickup apparatus having warning region detection related to dynamic range expansion
JP5123137B2 (ja) 撮像装置および撮像方法
US8885078B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP2010147786A (ja) 撮像装置及び画像処理方法
JP5223686B2 (ja) 撮像装置および撮像方法
KR20220064170A (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US8743239B2 (en) Image processing apparatus, control method thereof, and image-capturing apparatus
JP2011239157A (ja) 画像処理装置およびその制御方法、撮像装置
JP5277863B2 (ja) 撮像装置および撮像方法
US11196938B2 (en) Image processing apparatus and control method for same
JP2013192121A (ja) 撮像装置及び撮像方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP7397640B2 (ja) 画像処理装置および画像処理方法
US20100259606A1 (en) Imaging device and method for controlling imaging device
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP5091734B2 (ja) 撮像装置および撮像方法
JP2012227744A (ja) 撮像装置
JP5145876B2 (ja) 撮像装置および撮像方法
JP2009089358A (ja) 撮像装置および撮像方法
JP2011191439A (ja) 撮像装置、補助光の発光制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14838730

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167000163

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14907431

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14838730

Country of ref document: EP

Kind code of ref document: A1