WO2015146471A1 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
WO2015146471A1
WO2015146471A1 PCT/JP2015/055751 JP2015055751W WO2015146471A1 WO 2015146471 A1 WO2015146471 A1 WO 2015146471A1 JP 2015055751 W JP2015055751 W JP 2015055751W WO 2015146471 A1 WO2015146471 A1 WO 2015146471A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
pixel
value
low
segment
Prior art date
Application number
PCT/JP2015/055751
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2016510168A priority Critical patent/JP6047686B2/ja
Priority to CN201580015854.XA priority patent/CN106134181B/zh
Publication of WO2015146471A1 publication Critical patent/WO2015146471A1/ja
Priority to US15/274,051 priority patent/US9769391B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to an imaging apparatus having a light control element for expanding the dynamic range of an image sensor.
  • a subject image is captured by photoelectric conversion using an image sensor (CCD sensor, CMOS sensor, or the like) to generate image data.
  • the image sensor has a lower dynamic range (gradation reproducibility) than a conventional silver salt film, and cannot sufficiently reproduce the gradation of the subject. For example, when the exposure is adjusted to the dark part of the subject, the luminance value of the imaging signal of the bright part of the subject is saturated, so-called whiteout occurs.
  • a dimming element that has a plurality of segments and whose light transmittance is variable for each segment is arranged in front of the image sensor, and the transmittance of the segment corresponding to the bright part of the subject is lowered to reduce the light.
  • it has been proposed to prevent overexposure by performing imaging see Patent Documents 1 and 2).
  • the dynamic range of the image sensor is pseudo-expanded.
  • an electrochromic (EC) filter is used as a light control element.
  • a liquid crystal filter is used as a light control element.
  • a dimming element segment is provided for each pixel of the image sensor, dimming control can be performed with high accuracy.
  • the number of pixels of the image sensor is large, and a memory for controlling a segment comparable to that number. And parts such as a controller are required. For this reason, in Patent Documents 1 and 2, one segment is assigned to a plurality of pixels so as to reduce the number of segments.
  • the transmittance is controlled for each segment, the luminance values of the plurality of pixels corresponding to one segment are collectively increased or decreased. There is a step in the luminance of the image between the segments.
  • Patent Document 1 it is described that the level difference is made inconspicuous by adjusting the gain of the pixel signal value near the boundary of the segments having different transmittances. More specifically, Japanese Patent Application Laid-Open No. H10-228707 describes that the step is made inconspicuous by performing low-pass filter processing, which is a kind of digital filter processing.
  • one segment may include not only a whiteout region (high luminance region) but also a non-overout region (low luminance region). This low luminance region is also included with the whiteout region. Dimming will reduce brightness. If this low luminance region straddles between segments having different transmittances, a luminance step occurs. Since the level difference correction processes described in Patent Documents 1 and 2 are processes that make only the boundary portion between segments inconspicuous, the level difference itself in the low luminance region between segments cannot be eliminated.
  • an imaging device of the present invention has a plurality of segments, a dimming element, an imaging element, a high luminance pixel number calculation unit, a control unit, a low luminance pixel specifying unit, a gain, A correction unit.
  • the light control element has a variable light transmittance between the high transmittance and the low transmittance for each segment.
  • Light enters the imaging element through the light control element, and a plurality of pixels are arranged for each segment.
  • the high-luminance pixel number calculation unit calculates the number of high-luminance pixels having a luminance value equal to or higher than the first luminance value for each segment based on an imaging signal obtained by the imaging element with all segments having the same transmittance.
  • the control unit controls the light control element, sets a segment having the number of high luminance pixels equal to or more than the first pixel number to a low transmittance, and sets the other segments to a high transmittance.
  • the low luminance pixel specifying unit specifies a low luminance pixel having a luminance value equal to or lower than the second luminance value for the segment set to low transmittance.
  • the gain correction unit performs gain correction on the pixel signal value of the low luminance pixel with a gain value corresponding to the ratio between the high transmittance and the low transmittance.
  • the low-luminance pixel specifying unit obtains the maximum luminance value of the luminance distribution of the corresponding pixel for each of a plurality of segments adjacent to the segment set to low transmittance, and uses the smallest one of the maximum luminance values as the second luminance. It is preferable to use a value. In this case, it is preferable that the low luminance pixel specifying unit sets the luminance value at which the cumulative frequency of the luminance distribution is a specific value as the maximum luminance value.
  • the gain correction unit takes a gain value in a range less than or equal to the threshold and decreases in inverse proportion to the second luminance value in a range greater than the threshold when a value obtained by dividing the second luminance value by the gain value is used as a threshold. It is preferable to perform gain correction using.
  • An error pixel number calculation unit that calculates the number of error pixels that are the number of low luminance pixels that reach the upper limit of the gradation that the pixel signal value can take when performing gain correction for the segment set to low transmittance Yes.
  • the control unit preferably sets a segment having a high luminance pixel number equal to or greater than the first pixel number and an error pixel number equal to or smaller than the second pixel number to a low transmittance.
  • the light control element is preferably a polymer network type liquid crystal device.
  • It has an ISO sensitivity setting unit that sets ISO sensitivity. It is preferable that the control unit controls the light control element only when the set value of the ISO sensitivity is equal to or less than a certain value.
  • Video shooting and live view display are possible. It is preferable that the control unit controls the dimming element in an execution state of moving image shooting and live view display.
  • the image sensor is a single-plate color system that outputs one type of color signal for each pixel from among a plurality of types of color signals.
  • a luminance color difference conversion unit that converts a plurality of types of color signals into luminance values and color difference values for each pixel is provided.
  • the high-luminance pixel number calculation unit preferably calculates the number of high-luminance pixels based on the luminance value.
  • the gain correction unit performs gain correction on each of a plurality of types of color signals of the low luminance pixels.
  • the gain correction unit When performing gain correction for the segment set to low transmittance, the gain correction unit minimizes the gain value if the minimum gain margin among the multiple color signal values of the low luminance pixels is smaller than the gain value. It is preferable to perform gain correction as a gain margin.
  • the plurality of color signals are preferably a red pixel signal, a green pixel signal, and a blue pixel signal.
  • the pixel signal value of the low luminance pixel corresponding to the segment set to the low transmittance is gain-corrected with the gain value corresponding to the ratio between the high transmittance and the low transmittance. Can be eliminated in the low luminance region between different segments.
  • a digital camera 11 as a photographing apparatus includes a camera body 12, a lens barrel 13, a flash light emitting unit 14, an operation unit 15, and a display unit 16.
  • the lens barrel 13 is provided on the front surface of the camera body 12 and holds the photographing lens 21.
  • the flash light emitting unit 14 is provided on the front surface of the camera body 12 and emits flash light toward the subject during shooting.
  • the operation unit 15 includes a power button 17, a release button 18, a mode selection button 19, and the like, and is provided on the upper part of the camera body 12.
  • the power button 17 is operated when turning on / off the power (not shown) of the digital camera 11.
  • the release button 18 is operated when shooting is performed.
  • the mode selection button 19 is operated when switching the operation mode of the digital camera 11.
  • the release button 18 has a two-stage stroke type switch (not shown) composed of an S1 switch and an S2 switch.
  • a shooting preparation operation such as an auto focus (AF) operation or an automatic exposure (AE) control.
  • the release button 18 is further pressed (fully pressed) from this state and the S2 switch is turned on, the digital camera 11 performs a photographing operation.
  • the operation mode of the digital camera 11 includes a still image shooting mode, a moving image shooting mode, and a playback mode.
  • a still image shooting mode a still image is acquired.
  • a moving image shooting mode a moving image is acquired.
  • each acquired image is reproduced and displayed on the display unit 16.
  • a normal mode and a dynamic range (DR) expansion mode can be selected.
  • the display unit 16 is composed of a liquid crystal display or the like, and displays an image acquired in various shooting modes and a menu screen for performing various settings.
  • Shooting conditions such as ISO sensitivity can be set by the mode selection button 19 or the like.
  • the mode selection button 19 or the like corresponds to the ISO sensitivity setting unit.
  • the display unit 16 displays a live view image until shooting is performed when the operation mode is set to the still image shooting mode or the moving image shooting mode. The user can determine the composition while observing the live view image displayed on the display unit 16.
  • the digital camera 11 is provided with a slot (not shown) for mounting a recording medium 40 (see FIG. 3) described later.
  • the flash light emitting unit 14 performs a flash light emitting operation based on the control from the main control unit 30 (see FIG. 3).
  • the main control unit 30 comprehensively controls the entire digital camera 11 based on the operation signal input from the operation unit 15 described above.
  • a diaphragm 22, a light control element 23, and a solid-state image sensor 24 are sequentially provided in the digital camera 11 along the optical axis LA of the photographing lens 21.
  • the diaphragm 22 includes a plurality of movable blades that form an opening, and adjusts the amount of light incident on the light control element 23 by changing the size of the opening.
  • the light control element 23 is composed of a polymer network type liquid crystal (PNLC) filter having a plurality of segments S (see FIG. 4).
  • the light control element 23 is disposed on the light incident side of the solid-state image sensor 24, and adjusts (light control) the amount of light incident on the solid-state image sensor 24 for each segment S. In other words, the subject image is partially dimmed by the light control element 23 and enters the solid-state image sensor 24.
  • PNLC polymer network type liquid crystal
  • the dimming control unit 25 drives each segment S of the dimming element 23 based on the control from the main control unit 30 and individually controls the light transmittance for each segment S.
  • the solid-state image sensor 24 is a single-plate color type CMOS (Complementary Metal-Oxide-Semiconductor) image sensor. As shown in FIG. 4, the solid-state imaging device 24 has a light receiving surface constituted by a plurality of pixels 26 arranged in a two-dimensional matrix. Each pixel 26 includes a photoelectric conversion element, photoelectrically converts a subject image formed on the light receiving surface, and outputs a pixel signal.
  • a pixel signal for one frame is referred to as an imaging signal.
  • each pixel 26 On the light incident side of each pixel 26, a color filter (not shown) of any one of three colors of red (R), green (G), and blue (B) with respect to one pixel 26. Are provided, and each outputs one color signal.
  • the pixel 26 provided with the red color filter outputs a red pixel signal Rs as a color signal.
  • the pixel 26 provided with the green color filter outputs a green pixel signal Gs as a color signal.
  • the pixel 26 provided with the blue color filter outputs a blue pixel signal Bs as a color signal.
  • the segments S of the light control element 23 are arranged in a two-dimensional matrix, and a plurality of pixels 26 are arranged for one segment S. Each segment S corresponds to the same number of pixels 26.
  • the main control unit 30 grasps the correspondence relationship between the pixel 26 and the segment S.
  • the solid-state imaging device 24 includes a signal processing circuit (all not shown) such as a noise removal circuit, an auto gain controller, and an A / D (Analog-to-Digital) conversion circuit.
  • the noise removal circuit performs noise removal processing on the imaging signal.
  • the auto gain controller amplifies the level of the imaging signal to an optimum value.
  • the A / D conversion circuit converts the imaging signal into a digital signal and outputs it from the solid-state imaging device 24.
  • the solid-state imaging device 24 outputs any one of the pixel signals Rs, Gs, and Bs for each pixel 26.
  • the pixel signals Rs, Gs, and Bs for one frame output from the solid-state imaging device 24 are referred to as RGB image data.
  • the pixel signals Rs, Gs, and Bs each have a gradation width of 0 to 255.
  • the solid-state imaging device 24 is driven and controlled by the main control unit 30 according to the shooting mode selected by the mode selection button 19.
  • the main control unit 30 controls each unit based on predetermined shooting conditions corresponding to the shooting mode selected by the mode selection button 19.
  • the main control unit 30 is connected to a control bus 31 and a data bus 32.
  • the solid-state image sensor 24 is connected to the data bus 32.
  • a memory control unit 33, a digital signal processing unit 34, a media control unit 35, and a display control unit 36 are connected to the control bus 31 and the data bus 32.
  • the memory control unit 33 is connected to a temporary storage memory 39 such as an SDRAM.
  • the memory control unit 33 inputs the RGB image data output from the solid-state imaging device 24 to the memory 39 and stores it. Further, the memory control unit 33 outputs the RGB image data stored in the memory 39 to the digital signal processing unit 34.
  • the digital signal processing unit 34 performs defect correction processing, demosaic processing, gamma correction processing, white balance correction processing, and the like on the RGB image data input from the memory 39.
  • the demosaic process is a process of generating one set of pixel signals Rs, Gs, and Bs per pixel by an interpolation process.
  • the digital signal processing unit 34 is provided with a gain correction unit 41 and a YC conversion unit (luminance color difference conversion unit) 42.
  • the gain correction unit 41 is driven based on the control from the main control unit 30, acquires the RGB image data after demosaic processing stored in the memory 39, and gains the pixel signals Rs, Gs, and Bs for each pixel. Make corrections.
  • the digital signal processing unit 34 inputs and stores the RGB image data that has been gain-corrected by the gain correction unit 41 into the memory 39.
  • the YC conversion unit 42 is driven based on the control from the main control unit 30, acquires the RGB image data after gain correction stored in the memory 39, and YC converts the pixel signals Rs, Gs, and Bs for each pixel. YC conversion processing is performed. In this YC conversion process, YC image data having a luminance value Y and color difference values Cr and Cb is generated for each pixel.
  • the digital signal processing unit 34 inputs and stores the YC image data generated by the YC conversion unit 42 in the memory 39.
  • the luminance value Y and the color difference values Cr and Cb each have a gradation width of 0 to 255.
  • the media control unit 35 controls recording and reading of the image file on the recording medium 40.
  • the recording medium 40 is, for example, a memory card incorporating a flash memory or the like.
  • the format of the image file to be recorded on the recording medium 40 is set by the operation unit 15.
  • compressed image data obtained by compressing YC image data according to the JPEG standard or the like is recorded on the recording medium 40 as an image file.
  • moving image data obtained by compressing a plurality of frames of YC image data obtained by moving image shooting according to the MPEG-4 standard or the like is recorded on the recording medium 40.
  • These compression processes are performed by the digital signal processing unit 34.
  • sound is acquired and recorded in addition to the image.
  • description of the configuration related to acquisition and recording of sound is omitted.
  • the display control unit 36 controls image display on the display unit 16 described above.
  • the display control unit 36 converts the YC image data generated by the digital signal processing unit 34 into a video signal conforming to the NTSC standard or the like, and causes the display unit 16 to output an image.
  • the main control unit 30 includes a CPU and an internal memory that stores a processing program (none of which is shown). The main control unit 30 performs a shooting operation by controlling each unit in accordance with a shooting flow defined by the processing program.
  • the shooting operation is performed as a set of pre-shooting and main shooting.
  • all the segments S of the light control element 23 are turned off (high transmittance T1) (S10), a subject image is captured, and RGB image data is acquired (S11).
  • This RGB image data is converted into YC image data (hereinafter referred to as pre-image data PD), and a segment S (hereinafter referred to as dimming) corresponding to a high-intensity portion in the subject image based on the luminance value Y of the pre-image data PD.
  • the target segment S1) is determined (S12).
  • the low-intensity pixel used as a gain correction object is specified from the pixel corresponding to the light reduction object segment S1 (S13).
  • the dimming target segment S1 is turned on (S14), the subject image is picked up, and RGB image data is acquired (S15).
  • the RGB image data is converted into YC image data after the gain correction target low luminance pixels are gain-corrected (S16).
  • the other segment S that is not determined as the dimming target segment S1 is referred to as a non-dimming target segment S2.
  • a high luminance pixel number calculating unit 43 and a low luminance pixel specifying unit 44 are configured by a processing program.
  • the high luminance pixel number calculation unit 43 determines the dimming target segment S1 in the DR expansion mode.
  • the low luminance pixel specifying unit 44 specifies a low luminance pixel as a gain correction target.
  • the high luminance pixel number calculation unit 43 compares each luminance value Y of the pre-image data PD for each segment S with a certain threshold value (first luminance value) TH1, and has a high luminance value Y equal to or higher than the first luminance value TH1.
  • the number of luminance pixels (number of high luminance pixels) PH is calculated.
  • the main control unit 30 compares the high-luminance pixel number PH of each segment S with a certain number (first pixel number) PN, and determines the segment S having a high-luminance pixel number PH equal to or greater than the first pixel number PN as a dimming target. Determined as segment S1.
  • the first luminance value TH1 is, for example, the median value of the gradation (128).
  • the first pixel number PN is, for example, half of the total number of pixels in the segment S.
  • the pre-image data PD obtained by pre-photographing includes the sun and surrounding bright areas (high luminance areas) YH, mountains, and the like.
  • the luminance distribution Doff is a luminance distribution at the time of pre-photographing.
  • the luminance distribution Don is a luminance distribution obtained by performing actual photographing with the dimming target segment S1 turned on. The luminance distribution Don is shifted to the lower luminance side as a whole compared to the luminance distribution Doff due to the dimming action by the dimming target segment S1.
  • FIG. 8 shows the luminance distribution Doff at the time of pre-shooting of the non-dimming target segment S2.
  • This luminance distribution Doff has a small number of high-luminance pixels PH and does not satisfy the relationship of PN ⁇ PH.
  • the dimming target segments S1 are adjacent to the non-dimming target segment S2 (for example, the dimming target segment S1 'in FIG. 6).
  • the luminance distribution Don obtained by performing the main photographing with the dimming target segment S1 ′ turned on not only shifts the distribution corresponding to the high luminance area YH to the low luminance side, but also reduces the luminance distribution Don.
  • the distribution corresponding to the luminance region YL is shifted to the lower luminance side.
  • FIG. 10 shows a flow for determining a low luminance pixel as a gain correction target.
  • the low luminance pixel specifying unit 44 acquires the luminance value Y of each pixel corresponding to the dimming target segment S1 from the pre-image data PD (S20), and sets each luminance value Y to a certain threshold (second luminance value) TH2. Compare with Then, the low luminance pixel specifying unit 44 specifies low luminance pixels whose luminance value Y is equal to or lower than the second luminance value TH2 (S21).
  • the main control unit 30 determines the identified low luminance pixel as a target for gain correction (S22).
  • the second luminance value TH2 satisfies the relationship TH2 ⁇ TH1, but may satisfy the relationship TH2> TH1.
  • the gain correction of the low luminance pixel determined as the gain correction target is performed by the gain correction unit 41.
  • the gain correction unit 41 multiplies the pixel signals Rs, Gs, and Bs of the low-luminance pixels by the gain value G to obtain the pixel signals Rs ′, Gs ′, and Bs ′.
  • the pixel signals Rs ′, Gs ′, and Bs ′ after gain correction are YC converted by the YC converter 42. By this gain correction, the above-described step is eliminated.
  • the dimming target segment S1 is off at the time of pre-photographing and is on at the time of main photographing, so that the luminance value of the high luminance area YH of the dimming target segment S1 is a luminance value as shown in FIG.
  • the luminance value YH1 decreases from YH0 by an amount ⁇ YH corresponding to the dimming effect.
  • the luminance value of the low luminance region YL of the dimming target segment S1 decreases from the luminance value YL0 to the luminance value YL1 by an amount ⁇ YL corresponding to the dimming effect.
  • a live view image is displayed on the display unit 16 (hereinafter referred to as live view display).
  • live view display The user can take a picture while determining the composition while viewing the live view display.
  • pre-shooting is performed first.
  • all the segments S are turned off (light transmittance is high transmittance T1), and imaging is performed, and pre-image data PD is generated.
  • the high luminance pixel number calculation unit 43 calculates the high luminance pixel number PH for each segment S based on the luminance value Y of the pre-image data PD.
  • the main control unit 30 identifies the segment S that satisfies the relationship PH ⁇ PN and determines it as the dimming target segment S1.
  • the low-brightness pixel specifying unit 44 specifies a pixel satisfying Y ⁇ TH2 as a low-brightness pixel from the pixels corresponding to the dimming target segment S1, and sets it as a gain correction target.
  • the gain correction unit 41 performs gain correction on the pixel signals Rs, Gs, and Bs of the low luminance pixels determined as gain correction targets from the RGB image data obtained by imaging. Then, the pixel signals Rs ′, Gs ′, and Bs ′ after gain correction are YC converted by the YC conversion unit 42 to generate YC image data.
  • the YC image data is recorded on the recording medium 40 via the media control unit 35 and displayed on the display unit 16 via the display control unit 36.
  • the dynamic range of the solid-state imaging device 24 is pseudo-expanded, and the step in the low luminance region YL generated between the dimming target segment S1 and the non-dimming target segment S2 is reduced by gain correction. Is done.
  • the low luminance pixel specifying unit 44 uses the second luminance value TH2 for specifying the low luminance pixels of the dimming target segment S1 as a fixed value, but the luminance distribution of the low luminance pixels is low luminance.
  • the low-brightness pixel may not be accurately identified.
  • the low luminance pixel specifying unit 44 determines the second luminance value TH2 for each dimming target segment S1 based on the luminance distribution of the adjacent segment S (hereinafter referred to as the adjacent segment SN).
  • the adjacent segment SN may include both the dimming target segment S1 and the non-dimming target segment S2, or may include only the dimming target segment S1.
  • the low luminance pixel specifying unit 44 acquires the luminance value Y from the pre-image data PD for each of the eight adjacent segments SN around each dimming target segment S1.
  • the low luminance pixel specifying unit 44 acquires the luminance distribution of the luminance value Y for each adjacent segment SN, and obtains the maximum luminance value Y D of each luminance distribution. Then, the low luminance pixel specifying unit 44 determines the minimum maximum luminance value Y Dmin as the second luminance value TH2 from the obtained maximum luminance value Y D.
  • the maximum luminance value Y D of the luminance distribution may not be the maximum luminance value Y of the luminance distribution, and may be a luminance value Y at which the cumulative frequency of the luminance distribution becomes a specific value (for example, 99%). By doing so, the maximum luminance value Y D can be accurately determined without being influenced by the luminance value Y greatly deviating from the distribution center due to pixel defects or the like.
  • the non-dimming target segment S2 includes many low-luminance regions YL.
  • the second luminance value TH2 is determined from the one having the lowest luminance distribution in the non-dimming target segment S2 (non-dimming target segment S2 ′).
  • the low luminance region YL of the non-dimming target segment S2 ′ straddles the dimming target segment S1, and the brightness is linked to the low luminance region YL of the dimming target segment S1, as shown in FIG. From the luminance distribution of the dimming target segment S1, it is possible to accurately specify the low luminance pixel as the gain correction target.
  • the low luminance pixel specifying unit 44 individually compares the luminance value Y of each pixel for the dimming target segment S1 with the second luminance value TH2, thereby determining the gain correction target.
  • the low luminance pixel is specified, but after the luminance value Y of each pixel for the dimming target segment S1 is low pass filtered, the luminance value Y of each pixel is individually compared with the second luminance value TH2, You may specify the low-intensity pixel made into gain correction object. This low-pass filter processing is performed, for example, by replacing the luminance value Y of the target pixel with an average luminance value of 5 ⁇ 5 pixels including the target pixel.
  • the low-luminance pixel specifying unit 44 specifies low-luminance pixels that are gain correction targets for all the dimming target segments S1, but among the dimming target segments S1
  • the low luminance pixels that are the gain correction target may be specified only for those adjacent to the non-dimming target segment S2.
  • the dimming target segment S ⁇ b> 1 that specifies the low luminance pixels that are the gain correction target is limited based on the high luminance pixel number PH.
  • the low luminance pixel specifying unit 44 reduces the luminance from only the dimming target segment S1 in which the high luminance pixel number PH is equal to or less than the second pixel number PN2 (where PN2> PN). Identify the pixel. This is because the dimming target segment S1 in which the number of high luminance pixels PH is larger than the second pixel number PN2 has almost no low luminance pixels as in the luminance distribution Doff shown in FIG. It is because it is not.
  • the processing of the low luminance pixel specifying unit 44 is simplified by limiting the dimming target segment S1 that specifies the low luminance pixels that are the gain correction target, and the processing of the gain correction unit 41 is also simplified. Time is shortened.
  • Other configurations of the third embodiment are the same as those of the first embodiment or the second embodiment.
  • G constant gain value
  • the luminance distribution of the dimming target segment S1 includes many pixels having luminance values near the second luminance value TH2, and the image may be deteriorated by gain correction. There is.
  • the gain correction unit 41 performs gain correction using a gain function G (Y) shown in FIG.
  • the gain correction unit 41 performs gain correction by applying a gain function G (Y) to each of the pixel signals Rs, Gs, and Bs.
  • Other configurations of the fourth embodiment are the same as those of any of the first to third embodiments.
  • the main control unit 30 determines the dimming target segment S1 based on the number of high luminance pixels PH calculated for each segment S.
  • the calculation result is a gray scale as shown in FIG.
  • Such low luminance pixels lose color information after gain correction.
  • the main control unit 30 reduces the number of low-luminance pixels (hereinafter referred to as error pixels) that reach the upper limit that the pixel signal value can take by gain correction, in addition to the number of high-luminance pixels PH.
  • error pixels the number of low-luminance pixels that reach the upper limit that the pixel signal value can take by gain correction, in addition to the number of high-luminance pixels PH.
  • the light target segment S1 is determined.
  • the main control unit 30 compares the high luminance pixel number PH of each segment S with the first pixel number PN as described above (S30). Based on the comparison result, the main control unit 30 calculates a minimum gain margin Gmin for each error pixel in the segment S satisfying PN ⁇ PH (S31).
  • the minimum gain margin Gmin is the minimum value of the gain margin that can be corrected for each of the pixel signals Rs, Gs, and Bs of the error pixel by gain correction. It is a value divided by the largest pixel signal value among Rs, Gs, and Bs.
  • This error pixel number Pe is compared with a fixed value (third pixel number) TH3 (S33), and a segment S satisfying Pe ⁇ TH3 is determined as a dimming target segment S1 (S34).
  • the main control unit 30 functions as an error pixel number calculation unit.
  • the segment S that satisfies PN ⁇ PH and Pe ⁇ TH3 is determined as the dimming target segment S1.
  • Other configurations of the fifth embodiment are the same as those of any of the first to fourth embodiments.
  • the gain correction unit 41 obtains the above-described minimum gain margin Gmin after acquiring the pixel signals Rs, Gs, and Bs for each pixel by the main photographing. Then, the gain correction unit 41 multiplies each of the pixel signals Rs, Gs, and Bs of the error pixel by the minimum gain margin Gmin based on the equations (4) to (6) to obtain the pixel signal Rs after gain correction. * , Gs * , and Bs * are generated.
  • the DR expansion mode can be executed in the still image shooting mode.
  • the DR expansion mode can be executed in the moving image shooting mode.
  • the solid-state imaging device 24 when the moving image shooting mode is selected, the solid-state imaging device 24 periodically performs a shooting operation. Then, the image data of a plurality of imaging frames obtained by the solid-state imaging device 24 is converted into moving image data by the digital signal processing unit 34 and recorded on the recording medium 40 via the media control unit 35. The moving image based on the moving image data is displayed on the display unit 16 via the display control unit 36.
  • the dimming element 23 is controlled (switching on and off of the segment S) in the even imaging frame based on the image data of the odd imaging frame.
  • the image data of the even imaging frame is not used as the control data and image display data of the light control element 23.
  • the solid-state imaging device 24 is a CMOS type and performs imaging by a rolling shutter system. Therefore, when the segment S is turned on and off within the imaging frame, the exposure period of at least one pixel row indicates the switching timing of the segment S. This is because it straddles and part of the light is dimmed in time.
  • pre-imaging is performed in a state where all the segments S of the light control element 23 are turned off.
  • the dimming target segment S1 is determined and turned on based on the image data obtained in the first imaging frame.
  • Real shooting is performed in the third imaging frame.
  • the image data obtained in the third imaging frame is regarded as the pre-image data PD, and the dimming target segment S1 is redetermined and turned on.
  • Real shooting is performed in the fifth imaging frame. Since the dimming target segment S1 is already turned on in the third imaging frame, for the dimming target segment S1 that is already turned on, when calculating the high luminance pixel number PH and when specifying the low luminance pixel
  • the sixth and subsequent imaging frames are used.
  • the image data of the odd imaging frame is displayed in the odd display frame and the even display frame. Specifically, as shown in FIG. 19, the image data of the first imaging frame is displayed on the first display frame and the second display frame, and the image data of the third imaging frame is displayed on the third display frame and the fourth display frame. Displayed in the display frame. The same applies to image data after the fifth imaging frame.
  • the DR expansion mode may be executable when the live view is displayed. In this case, the same control as in the moving image shooting mode may be performed. Further, the DR enlargement mode may be configured to be performed only when the moving image shooting mode and the live view display are executed.
  • the DR expansion mode may be automatically selected when the ISO sensitivity setting value is smaller than a certain value, and the normal mode may be automatically selected when the ISO sensitivity setting value is greater than or equal to the certain value. good. This is because the ISO sensitivity is set high when the subject is dark and the amount of light is small, and therefore dimming by the light control element 23 is unnecessary when the set value is high.
  • the ISO sensitivity can be set using a value automatically set in the digital camera 11 based on image data, in addition to a value set by the user using the operation unit 15 or the like.
  • the pre-image data PD is acquired with all the segments S turned off during pre-photographing, but the pre-image data PD may be acquired with all the segments S turned on during pre-photographing.
  • the light control element 23 is used which has a high transmittance when not driven (off) and a low transmittance when driven (on). It is also possible to use a light control element that has a low transmittance when off and a high transmittance when driven (on).
  • a PNLC filter is used as the dimming element 23, but other liquid crystal filters and EC filters can also be used.
  • the low-intensity pixel to be gain-corrected is specified based on the pre-image data PD, but the gain-correction target is based on the image data obtained by the main photographing as the light-reduction target segment S1. May be specified.
  • gain correction is performed on the pixel signals Rs, Gs, and Bs.
  • gain correction may be performed on the luminance signal Y after YC conversion.
  • a primary color filter is used, but a complementary color filter may be used.
  • the solid-state image sensor 24 is not limited to a CMOS image sensor, and a CCD (Charge-Coupled Device) -type image sensor may be used.
  • a digital camera is exemplified as the photographing device, but the present invention can also be applied to various electronic devices such as a video camera, a camera-equipped mobile phone, and a smartphone.
  • the above embodiments can be combined with each other within a consistent range.

Abstract

　ダイナミックレンジを拡大するとともに、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことを可能とする撮影装置を提供する。　高輝度画素数算出部（４３）は、調光素子の全セグメントを高透過率としたプリ撮影で得られたプリ画像データに基づいて、セグメント毎に第１輝度値以上の輝度値を有する高輝度画素数を算出する。主制御部（３０）は、高輝度画素数が第１画素数以上のセグメントを減光対象セグメントとして決定する。低輝度画素特定部（４４）は、減光対象セグメントに対応した画素のうち、第２輝度値以下の輝度値を有する低輝度画素を特定する。主制御部（３０）は、特定された低輝度画素をゲイン補正対象として決定する。ゲイン補正部（４１）は、減光対象セグメントを低透過率とした状態で行われる本撮影で得られた画像データに基づいて、低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行う。

Description

撮影装置
　本発明は、撮像素子のダイナミックレンジを拡大するための調光素子を有する撮影装置に関する。
　デジタルカメラ等の撮影装置では、撮像素子（ＣＣＤセンサやＣＭＯＳセンサ等）を用いて、被写体像を光電変換により撮像して画像データを生成している。しかし、撮像素子は、従来の銀塩フィルムと比べてダイナミックレンジ（階調再現性）が低く、被写体の階調を十分に再現することができない。例えば、被写体の暗い部分に露出を合わせると、被写体の明るい部分の撮像信号の輝度値が飽和し、いわゆる白とびが生じる。
　このため、複数のセグメントを有し、セグメント毎に光の透過率が可変である調光素子を撮像素子の前面に配置し、被写体の明るい部分に対応するセグメントの透過率を下げて減光したうえで撮像を行うことにより、白とびを防止することが提案されている（特許文献１、２参照）。これにより、撮像素子のダイナミックレンジが擬似的に拡大する。特許文献１では、調光素子としてエレクトロ・クロミック（ＥＣ）フィルタが用いられている。特許文献２では、調光素子として液晶フィルタが用いられている。
　調光素子のセグメントを撮像素子の１画素毎に設けると、精度よく調光制御を行うことが可能であるが、撮像素子の画素数が多く、その数に匹敵するセグメントを制御するためのメモリやコントローラ等の部品が必要になる。このため、特許文献１、２では、セグメント数を減らすように、複数の画素に対して１つのセグメントが割り当てられている。
　しかし、複数の画素に対して１つのセグメントを割り当てた場合には、セグメント毎に透過率を制御すると、１セグメントに対応する複数の画素の輝度値がまとめて増減されるので、透過率の異なるセグメント間で、画像の輝度に段差が生じる。
　そこで、特許文献１では、透過率の異なるセグメントの境界付近の画素信号値をゲイン調整することにより段差を目立たなくすることが記載されている。特許文献２では、より具体的に、デジタルフィルタ処理の一種であるローパスフィルタ処理を行うことにより段差を目立たなくすることが記載されている。
特開２００３－３４８４３９号公報 特開２００１－３３３３２９号公報
　しかしながら、１つのセグメント内には、白とび領域（高輝度領域）だけでなく、白とびしていない領域（低輝度領域）が含まれていることがあり、この低輝度領域も白とび領域とともに減光されて、輝度が低下してしまう。この低輝度領域が透過率の異なるセグメント間に跨っていると輝度の段差が生じる。特許文献１、２に記載の段差補正処理は、セグメント間の境界部分のみを目立たなくする処理であるので、セグメント間の低輝度領域の段差自体をなくすことはできない。
　本発明は、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことを可能とする撮影装置を提供することを目的とする。
　上記目的を達成するため、本発明の撮影装置は、複数のセグメントを有し、調光素子と、撮像素子と、高輝度画素数算出部と、制御部と、低輝度画素特定部と、ゲイン補正部とを備える。調光素子は、セグメント毎に光透過率が高透過率と低透過率との間で可変である。撮像素子は、調光素子を介して光が入射し、各セグメントに対して複数の画素が配置される。高輝度画素数算出部は、セグメントを全て同一の透過率として撮像素子により得られる撮像信号に基づいて、セグメント毎に第１輝度値以上の輝度値を有する高輝度画素の数を算出する。制御部は、調光素子を制御し、高輝度画素の数が第１画素数以上のセグメントを低透過率に設定し、その他のセグメントを高透過率に設定する。低輝度画素特定部は、低透過率に設定されたセグメントについて、第２輝度値以下の輝度値を有する低輝度画素を特定する。ゲイン補正部は、低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行う。
　低輝度画素特定部は、低透過率に設定されたセグメントに隣接する複数のセグメントのそれぞれについて、対応する画素の輝度分布の最大輝度値を求め、最大輝度値のうち最小のものを第２輝度値とすることが好ましい。この場合、低輝度画素特定部は、輝度分布の累積度数が特定の値となる輝度値を、最大輝度値とすることが好ましい。
　ゲイン補正部は、第２輝度値をゲイン値で割った値を閾値とした場合に、閾値以下の範囲でゲイン値を取り、閾値より大きい範囲で第２輝度値に反比例して減少するゲイン関数を用いてゲイン補正を行うことが好ましい。
　低透過率に設定するセグメントについて、ゲイン補正を行う場合に、画素信号値が取り得る階調の上限値に達する低輝度画素の数であるエラー画素数を算出するエラー画素数算出部を備えている。制御部は、高輝度画素の数が第１画素数以上で、かつエラー画素数が第２画素数以下のセグメントを低透過率に設定することが好ましい。
　調光素子は、ポリマーネットワーク型液晶装置であることが好ましい。
　ＩＳＯ感度を設定するＩＳＯ感度設定部を備えている。制御部は、ＩＳＯ感度の設定値が一定値以下の場合にのみ調光素子を制御することが好ましい。
　動画撮影及びライブビュー表示が可能である。制御部は、動画撮影及びライブビュー表示の実行状態にて調光素子を制御することが好ましい。
　撮像素子は、複数種の色信号のうちから画素毎に１種の色信号を出力する単板カラー方式である。画素毎に複数種の色信号を輝度値及び色差値に変換する輝度色差変換部を備えている。高輝度画素数算出部は、輝度値に基づいて高輝度画素の数を算出することが好ましい。
　ゲイン補正部は、低輝度画素の複数種の色信号に対してそれぞれゲイン補正を行うことが好ましい。
　ゲイン補正部は、低透過率に設定するセグメントについて、ゲイン補正を行う際に、低輝度画素の複数種の色信号値のうちの最小ゲインマージンがゲイン値より小さい場合には、ゲイン値を最小ゲインマージンとしてゲイン補正を行うことが好ましい。
　複数の色信号は、赤色画素信号、緑色画素信号、青色画素信号であることが好ましい。
　本発明によれば、低透過率に設定されたセグメントに対応する低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行うので、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことができる。
デジタルカメラの前面側斜視図である。 デジタルカメラの背面図である。 デジタルカメラの電気的構成を示すブロック図である。 固体撮像素子及び調光素子のセグメントを示す図である。 ＤＲ拡大モード時の撮影動作を説明するフローチャートである。 プリ画像データを示す図である。 減光対象セグメントの輝度分布を示す図である。 非減光対象セグメントの輝度分布を示す図である。 非減光対象セグメントに隣接する減光対象セグメントの輝度分布を示す図である。 ゲイン補正対象とする低輝度画素の決定手順を示すフローチャートである。 非減光対象セグメントと減光対象セグメントとの間に生じる段差の補正について説明する模式図である。 減光対象セグメントと隣接セグメントとの関係を示す図である。 隣接セグメントに減光対象セグメントと非減光対象セグメントとが含まれる例を示す図である。 隣接セグメントの輝度分布に基づいて第２輝度値を決定する方法を説明する図である。 ゲイン関数を用いたゲイン補正を説明する図である。 ゲイン補正によりエラー画素が生じる例を示す図である。 高輝度画素数及びエラー画素数に基づいて減光対象セグメントを決定する手順を示すフローチャートである。 最小ゲインマージンを用いたゲイン補正を説明する図である。 動画撮影モードにおける撮像動作及び表示動作を説明する図である。
［第１実施形態］
　図１及び図２において、撮影装置としてのデジタルカメラ１１は、カメラ本体１２、レンズ鏡筒１３、フラッシュ発光部１４、操作部１５、表示部１６を備える。レンズ鏡筒１３は、カメラ本体１２の前面に設けられ、撮影レンズ２１を保持している。フラッシュ発光部１４は、カメラ本体１２の前面に設けられており、撮影の際に被写体に向けてフラッシュ発光を行う。
　操作部１５は、電源ボタン１７、レリーズボタン１８、モード選択ボタン１９等を有しており、カメラ本体１２の上部に設けられている。電源ボタン１７は、デジタルカメラ１１の電源（図示せず）をオン／オフする際に操作される。レリーズボタン１８は、撮影を実行する際に操作される。モード選択ボタン１９は、デジタルカメラ１１の動作モードを切り替える際に操作される。
　レリーズボタン１８は、Ｓ１スイッチとＳ２スイッチとで構成された２段ストローク式のスイッチ（図示せず）を有する。デジタルカメラ１１は、レリーズボタン１８が押下（半押し）され、Ｓ１スイッチがオン状態となると、オートフォーカス（ＡＦ；Auto Focus）動作や自動露出（ＡＥ；Auto Exposure）制御等の撮影準備動作を行う。この状態からさらにレリーズボタン１８が押下（全押し）され、Ｓ２スイッチがオン状態となると、デジタルカメラ１１は撮影動作を行う。
　デジタルカメラ１１の動作モードには、静止画撮影モード、動画撮影モード、再生モード等がある。静止画撮影モードでは、静止画像が取得される。動画撮影モードでは、動画像が取得される。再生モードでは、取得した各画像が表示部１６に再生表示される。また、静止画撮影モードでは、通常モードと、ダイナミックレンジ（ＤＲ）拡大モードが選択可能となっている。
　表示部１６は、液晶ディスプレイ等で構成されており、各種撮影モードで取得された画像や、各種設定を行うためのメニュー画面を表示する。モード選択ボタン１９等により、ＩＳＯ感度等の撮影条件の設定が可能となっている。モード選択ボタン１９等が、ＩＳＯ感度設定部に対応する。
　また、表示部１６は、動作モードが静止画撮影モードまたは動画撮影モードに設定された際に、撮影が実行されるまでの間、ライブビュー画像を表示する。ユーザは、表示部１６に表示されるライブビュー画像を観察しながら構図を決定することができる。
　また、デジタルカメラ１１には、後述する記録メディア４０（図３参照）を装着するためのスロット（図示せず）が設けられている。
　フラッシュ発光部１４は、主制御部３０（図３参照）からの制御に基づいてフラッシュ発光動作を行う。主制御部３０は、前述の操作部１５から入力される操作信号に基づいてデジタルカメラ１１の全体を統括的に制御する。
　図３において、デジタルカメラ１１内には、撮影レンズ２１の光軸ＬＡに沿って、絞り２２、調光素子２３、固体撮像素子２４が順に設けられている。絞り２２は、開口部を形成する可動式の複数の羽根により構成されており、開口部の大きさを変更させることにより、調光素子２３に入射する光量を調整する。
　調光素子２３は、複数のセグメントＳ（図４参照）を有するポリマーネットワーク型液晶（ＰＮＬＣ：polymer network liquid crystal）フィルタにより構成されている。この調光素子２３は、固体撮像素子２４の光入射側に配置されており、固体撮像素子２４に入射する光量をセグメントＳ毎に調整（調光）する。すなわち、固体撮像素子２４には、調光素子２３により被写体像が部分的に減光されて入射する。
　調光制御部２５は、主制御部３０からの制御に基づいて、調光素子２３の各セグメントＳを駆動して光透過率をセグメントＳ毎に個別に制御する。各セグメントＳは、非駆動時（以下、オフという）に高透過率Ｔ１、駆動時（以下、オンという）に低透過率Ｔ２となる。本実施形態では、Ｔ１＝１００％、Ｔ２＝５０％とする。
　固体撮像素子２４は、単板カラー方式のＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型イメージセンサである。固体撮像素子２４は、図４に示すように、２次元マトリクス状に配列された複数の画素２６により構成された受光面を有している。各画素２６は、光電変換素子を含んでおり、受光面に結像された被写体像を光電変換して画素信号を出力する。以下、１フレーム分の画素信号を撮像信号という。
　各画素２６の光入射側には、１つの画素２６に対して、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色のうちいずれか１つの色のカラーフィルタ（図示せず）が設けられており、それぞれ１つの色信号を出力する。赤色カラーフィルタが設けられた画素２６は、色信号として赤色画素信号Ｒｓを出力する。緑色カラーフィルタが設けられた画素２６は、色信号として緑色画素信号Ｇｓを出力する。青色カラーフィルタが設けられた画素２６は、色信号として青色画素信号Ｂｓを出力する。
　調光素子２３のセグメントＳは、２次元マトリクス状に配列されており、１つのセグメントＳに対して複数の画素２６が配置されている。各セグメントＳには、それぞれ同数の画素２６が対応している。主制御部３０は、画素２６とセグメントＳとの対応関係を把握している。
　また、固体撮像素子２４は、ノイズ除去回路、オートゲインコントローラ、Ａ／Ｄ（Analog-to-Digital）変換回路等の信号処理回路（いずれも図示せず）を備える。ノイズ除去回路は、撮像信号にノイズ除去処理を施す。オートゲインコントローラは、撮像信号のレベルを最適な値に増幅する。Ａ／Ｄ変換回路は、撮像信号をデジタル信号に変換して固体撮像素子２４から出力する。固体撮像素子２４は、画素２６毎に画素信号Ｒｓ、Ｇｓ、Ｂｓのいずれか１つを出力する。以下、固体撮像素子２４から出力される１フレーム分の画素信号Ｒｓ、Ｇｓ、Ｂｓを、ＲＧＢ画像データという。画素信号Ｒｓ、Ｇｓ、Ｂｓは、それぞれ０～２５５の階調幅を有する。
　固体撮像素子２４は、モード選択ボタン１９により選択された撮影モードに応じて、主制御部３０により駆動制御される。主制御部３０は、モード選択ボタン１９により選択された撮影モードに応じた所定の撮影条件に基づいて、各部を制御する。
　主制御部３０は、制御バス３１及びデータバス３２に接続されている。固体撮像素子２４は、データバス３２に接続されている。制御バス３１及びデータバス３２には、メモリ制御部３３、デジタル信号処理部３４、メディア制御部３５、表示制御部３６が接続されている。
　メモリ制御部３３には、ＳＤＲＡＭ等の一時記憶用のメモリ３９が接続されている。メモリ制御部３３は、固体撮像素子２４から出力されたＲＧＢ画像データをメモリ３９に入力して記憶させる。また、メモリ制御部３３は、メモリ３９に記憶されたＲＧＢ画像データを、デジタル信号処理部３４に出力する。
　デジタル信号処理部３４は、メモリ３９から入力されたＲＧＢ画像データに対して、欠陥補正処理、デモザイク処理、ガンマ補正処理、ホワイトバランス補正処理等を行う。デモザイク処理とは、補間処理により、１画素につき１組の画素信号Ｒｓ、Ｇｓ、Ｂｓを生成する処理である。
　また、デジタル信号処理部３４には、ゲイン補正部４１と、ＹＣ変換部（輝度色差変換部）４２とが設けられている。ゲイン補正部４１は、主制御部３０からの制御に基づいて駆動され、メモリ３９に記憶されたデモザイク処理後のＲＧＢ画像データを取得し、画素毎に画素信号Ｒｓ、Ｇｓ、Ｂｓに対してゲイン補正を行う。デジタル信号処理部３４は、ゲイン補正部４１によりゲイン補正が行われたＲＧＢ画像データを、メモリ３９に入力して記憶させる。
　ＹＣ変換部４２は、主制御部３０からの制御に基づいて駆動され、メモリ３９に記憶されたゲイン補正後のＲＧＢ画像データを取得し、画素毎に画素信号Ｒｓ、Ｇｓ、ＢｓをＹＣ変換するＹＣ変換処理を行う。このＹＣ変換処理では、画素毎に輝度値Ｙと色差値Ｃｒ，Ｃｂとを有するＹＣ画像データが生成される。デジタル信号処理部３４は、ＹＣ変換部４２により生成されたＹＣ画像データを、メモリ３９に入力して記憶させる。輝度値Ｙと色差値Ｃｒ，Ｃｂとは、それぞれ０～２５５の階調幅を有する。
　メディア制御部３５は、記録メディア４０への画像ファイルの記録及び読み出しを制御する。記録メディア４０は、例えば、フラッシュメモリ等を内蔵したメモリカードである。記録メディア４０に記録する画像ファイルのフォーマットは、操作部１５により設定される。
　静止画撮影モードの場合には、画像ファイルとして、例えば、ＹＣ画像データをＪＰＥＧ規格等で圧縮した圧縮画像データが記録メディア４０に記録される。また、動画撮影モードの場合には、動画撮影により得られる複数フレームのＹＣ画像データをＭＰＥＧ－４規格等で圧縮した動画データが記録メディア４０に記録される。これらの圧縮処理は、デジタル信号処理部３４で行われる。なお、動画撮影モードの場合には、画像に加えて音声も取得して記録されるが、本実施形態では、音声の取得及び記録に関する構成については、説明を省略する。
　表示制御部３６は、前述の表示部１６への画像表示を制御する。表示制御部３６は、デジタル信号処理部３４により生成されたＹＣ画像データを、ＮＴＳＣ規格等に準拠した映像信号に変換し、表示部１６に画像を出力させる。
　主制御部３０は、ＣＰＵと、処理プログラムを格納した内部メモリとを有している（いずれも図示せず）。主制御部３０は、処理プログラムで規定された撮影フローに従って各部を制御することにより撮影動作を行う。
　ＤＲ拡大モード時には、撮影動作は、図５に示すように、プリ撮影と本撮影とが１セットとして行われる。具体的には、プリ撮影では、調光素子２３の全てのセグメントＳがオフ（高透過率Ｔ１）とされて（Ｓ１０）、被写体像が撮像され、ＲＧＢ画像データが取得される（Ｓ１１）。このＲＧＢ画像データがＹＣ画像データ（以下、プリ画像データＰＤという）に変換され、プリ画像データＰＤの輝度値Ｙに基づいて、被写体像中の高輝度部分に対応するセグメントＳ（以下、減光対象セグメントＳ１という）が決定される（Ｓ１２）。そして、減光対象セグメントＳ１に対応する画素からゲイン補正対象とする低輝度画素が特定される（Ｓ１３）。
　本撮影では、減光対象セグメントＳ１がオンとされて（Ｓ１４）、被写体像の撮像が行われ、ＲＧＢ画像データが取得される（Ｓ１５）。このＲＧＢ画像データは、ゲイン補正対象の低輝度画素がゲイン補正されたうえで、ＹＣ画像データに変換される（Ｓ１６）。
　以下、減光対象セグメントＳ１として決定されないその他のセグメントＳを、非減光対象セグメントＳ２という。
　通常モード時には、調光素子２３の全てのセグメントＳがオフとされて、本撮影のみが行われる。
　主制御部３０には、高輝度画素数算出部４３と、低輝度画素特定部４４とが処理プログラムによって構成されている。高輝度画素数算出部４３は、ＤＲ拡大モード時に減光対象セグメントＳ１を決定する。低輝度画素特定部４４は、ゲイン補正対象とする低輝度画素を特定する。
　高輝度画素数算出部４３は、セグメントＳ毎にプリ画像データＰＤの各輝度値Ｙを一定の閾値（第１輝度値）ＴＨ１と比較し、第１輝度値ＴＨ１以上の輝度値Ｙを有する高輝度画素の数（高輝度画素数）ＰＨを算出する。主制御部３０は、各セグメントＳの高輝度画素数ＰＨを一定数（第１画素数）ＰＮと比較し、第１画素数ＰＮ以上の高輝度画素数ＰＨを有するセグメントＳを、減光対象セグメントＳ１として決定する。第１輝度値ＴＨ１は、例えば、階調の中央値（１２８）とする。第１画素数ＰＮは、例えば、セグメントＳ内の総画素数の半分とする。
　例えば、図６に示すように、太陽と山を含む風景を撮影する場合、プリ撮影で得られるプリ画像データＰＤには、太陽やその周辺の明るい領域（高輝度領域）ＹＨと、山等の暗い領域（低輝度領域）ＹＬとが含まれる。
　図７は、輝度値Ｙが飽和値（Ｙ＝２５５）に達した「白とび領域」を含む減光対象セグメントＳ１の輝度分布を示している。輝度分布Ｄｏｆｆは、プリ撮影時の輝度分布である。輝度分布Ｄｏｎは、減光対象セグメントＳ１をオンとして本撮影を行うことにより得られる輝度分布である。輝度分布Ｄｏｎは、減光対象セグメントＳ１による減光作用によって、輝度分布Ｄｏｆｆに比べて、全体的に低輝度側にシフトする。
　図８は、非減光対象セグメントＳ２のプリ撮影時の輝度分布Ｄｏｆｆを示している。この輝度分布Ｄｏｆｆは、高輝度画素数ＰＨが少なく、ＰＮ≦ＰＨの関係を満たさないので、減光対象とはされず、本撮影時にはオフのままとされる。
　減光対象セグメントＳ１をオン、非減光対象セグメントＳ２をオフとして本撮影を行うことにより、白とび領域がなくなるので、固体撮像素子２４のダイナミックレンジが疑似的に拡大される。
　減光対象セグメントＳ１の中には、非減光対象セグメントＳ２に隣接するもの（例えば、図６中の減光対象セグメントＳ１’）がある。このような減光対象セグメントＳ１’には、高輝度領域ＹＨだけでなく、低輝度領域ＹＬが多く含まれている。このため、図９に示すように、減光対象セグメントＳ１’のプリ撮影時の輝度分布Ｄｏｆｆには、高輝度領域ＹＨに対応する分布と、低輝度領域ＹＬに対応する分布とが含まれる。この低輝度領域ＹＬは、隣接する非減光対象セグメントＳ２に跨っている。
　この減光対象セグメントＳ１’をオンとして本撮影を行うことにより得られる輝度分布Ｄｏｎは、図９に示すように、高輝度領域ＹＨに対応する分布が低輝度側にシフトするだけでなく、低輝度領域ＹＬに対応する分布がより低輝度側にシフトする。これにより、本撮影で得られる画像データには、減光対象セグメントＳ１’と非減光対象セグメントＳ２との間で、低輝度領域ＹＬの輝度値に段差が生じる。
　図１０は、ゲイン補正対象とする低輝度画素の決定フローを示す。低輝度画素特定部４４は、プリ画像データＰＤから、減光対象セグメントＳ１に対応した各画素の輝度値Ｙを取得し（Ｓ２０）、各輝度値Ｙを一定の閾値（第２輝度値）ＴＨ２と比較する。そして、低輝度画素特定部４４は、輝度値Ｙが第２輝度値ＴＨ２以下の低輝度画素を特定する（Ｓ２１）。主制御部３０は、特定された低輝度画素をゲイン補正の対象として決定する（Ｓ２２）。ここで、第２輝度値ＴＨ２は、例えば、図９に示すように、ＴＨ２≦ＴＨ１の関係を満たすものとするが、ＴＨ２＞ＴＨ１の関係を満たすものであっても良い。
　ゲイン補正対象として決定された低輝度画素のゲイン補正は、ゲイン補正部４１により行われる。ゲイン補正部４１は、式（１）～（３）に基づいて、低輝度画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれにゲイン値Ｇを乗じて、画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’を生成する。このゲイン値Ｇは、高透過率Ｔ１と低透過率Ｔ２との比である（すなわち、Ｇ＝Ｔ１／Ｔ２）。本実施形態では、Ｔ１＝１００％、Ｔ２＝５０％であるので、ゲイン値Ｇは「２」である。
　Ｒｓ’＝Ｒｓ×Ｇ　・・・（１）
　Ｇｓ’＝Ｇｓ×Ｇ　・・・（２）
　Ｂｓ’＝Ｂｓ×Ｇ　・・・（３）
　ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’は、ＹＣ変換部４２によりＹＣ変換される。このゲイン補正により、前述の段差が解消される。
　これを、図１１を用いて模式的に説明する。減光対象セグメントＳ１は、プリ撮影時にはオフであり、本撮影時にオンとされるので、図１１（Ａ）に示すように、減光対象セグメントＳ１の高輝度領域ＹＨの輝度値は、輝度値ＹＨ０から輝度値ＹＨ１に、減光作用に応じた量ΔＹＨだけ低下する。また、減光対象セグメントＳ１の低輝度領域ＹＬの輝度値は、輝度値ＹＬ０から輝度値ＹＬ１に、減光作用に応じた量ΔＹＬだけ低下する。
　一方、非減光対象セグメントＳ２は、プリ撮影時も本撮影時もオフであるので、輝度値に変化はない。このため、減光対象セグメントＳ１の低輝度領域ＹＬと、非減光対象セグメントＳ２の低輝度領域ＹＬとの間に、減光作用に応じた量ΔＹＬの段差が生じる。この段差は、減光対象セグメントＳ１と非減光対象セグメントＳ２との光透過率比Ｔ１／Ｔ２に応じた値である。ゲイン補正部４１によるゲイン補正は、光透過率比Ｔ１／Ｔ２をゲイン値Ｇとして、輝度値ＹＬ１に対して行われるので、図１１（Ｂ）に示すように、前述した段差がなくなる。
　次に、デジタルカメラ１１の作用を説明する。ユーザによりモード選択ボタン１９が操作され、動作モードが、静止画撮影モードまたは動画撮影モードに設定されると、表示部１６にライブビュー画像の表示（以下、ライブビュー表示という）が行われる。ユーザは、このライブビュー表示を見ながら構図を決定して撮影を行うことができる。
　例えば、静止画撮影モードでかつＤＲ拡大モードが選択された場合には、レリーズボタン１８が半押しされ全押しされると、まずプリ撮影が行われる。このプリ撮影では、全てのセグメントＳをオフ（光透過率が高透過率Ｔ１）として撮像が行われ、プリ画像データＰＤが生成される。
　高輝度画素数算出部４３によって、プリ画像データＰＤの輝度値Ｙに基づいて、セグメントＳ毎に高輝度画素数ＰＨが算出される。主制御部３０により、ＰＨ≧ＰＮの関係を満たすセグメントＳが特定され、減光対象セグメントＳ１として決定される。そして、低輝度画素特定部４４によって、減光対象セグメントＳ１に対応した画素の中から、Ｙ≦ＴＨ２を満たす画素が低輝度画素として特定され、ゲイン補正対象とされる。
　次に、本撮影が行われる。本撮影では、減光対象セグメントＳ１がオンとされて、撮像が行われる。撮像で得られたＲＧＢ画像データから、ゲイン補正対象として決定された低輝度画素の画素信号Ｒｓ、Ｇｓ、Ｂｓに対して、ゲイン補正部４１によりゲイン補正が行われる。そして、ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’がＹＣ変換部４２によりＹＣ変換され、ＹＣ画像データが生成される。このＹＣ画像データは、メディア制御部３５を介して記録メディア４０に記録されるとともに、表示制御部３６を介して表示部１６に画像表示される。
　以上の構成により、固体撮像素子２４のダイナミックレンジが疑似的に拡大されるとともに、減光対象セグメントＳ１と非減光対象セグメントＳ２との間で生じる低輝度領域ＹＬの段差は、ゲイン補正により低減される。
［第２実施形態］
　第１実施形態では、低輝度画素特定部４４は、減光対象セグメントＳ１の低輝度画素を特定するための第２輝度値ＴＨ２を固定値としているが、低輝度画素の輝度分布は、低輝度領域ＹＬに対応する被写体（山等）の明るさによって変動し、低輝度画素が精度よく特定されないことがある。
　第２実施形態では、低輝度画素特定部４４は、各減光対象セグメントＳ１について、隣接するセグメントＳ（以下、隣接セグメントＳＮという）の輝度分布に基づいて第２輝度値ＴＨ２を決定する。この隣接セグメントＳＮには、減光対象セグメントＳ１と非減光対象セグメントＳ２との両方が含まれる場合や、減光対象セグメントＳ１のみが含まれる場合がある。
　低輝度画素特定部４４は、図１２に示すように、各減光対象セグメントＳ１の周囲の８個の隣接セグメントＳＮのそれぞれについて、プリ画像データＰＤから輝度値Ｙを取得する。低輝度画素特定部４４は、各隣接セグメントＳＮについて輝度値Ｙの輝度分布を取得し、各輝度分布の最大輝度値ＹDを求める。そして、低輝度画素特定部４４は、求めた最大輝度値ＹDのうちから、最小の最大輝度値ＹDminを第２輝度値ＴＨ２として決定する。なお、輝度分布の最大輝度値ＹDは、輝度分布の最大の輝度値Ｙでなくて良く、輝度分布の累積度数が特定の値（例えば、９９％）となる輝度値Ｙとしても良い。こうすることで、画素欠陥等により分布中心から大きく偏差した輝度値Ｙに影響されずに精度よく最大輝度値ＹDを決定することができる。
　例えば、図１３に示すように、隣接セグメントＳＮに減光対象セグメントＳ１と非減光対象セグメントＳ２との両方が含まれる場合には、非減光対象セグメントＳ２が低輝度領域ＹＬを多く含むので、図１４（Ａ）に示すように、非減光対象セグメントＳ２中で最も低い輝度分布を有するもの（非減光対象セグメントＳ２’）から第２輝度値ＴＨ２が決定される。
　この非減光対象セグメントＳ２’の低輝度領域ＹＬは、減光対象セグメントＳ１に跨り、減光対象セグメントＳ１の低輝度領域ＹＬと明るさが連動するので、図１４（Ｂ）に示すように、減光対象セグメントＳ１の輝度分布から、ゲイン補正対象とする低輝度画素を精度よく特定することができる。
　また、上記第１及び第２実施形態では、低輝度画素特定部４４は、減光対象セグメントＳ１に対する各画素の輝度値Ｙを個別に第２輝度値ＴＨ２と比較することにより、ゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１に対する各画素の輝度値Ｙをローパスフィルタ処理した後、各画素の輝度値Ｙを個別に第２輝度値ＴＨ２と比較することにより、ゲイン補正対象とする低輝度画素を特定しても良い。このローパスフィルタ処理は、例えば、注目画素の輝度値Ｙを、注目画素を含む５×５画素の平均輝度値に置き換えることにより行われる。
　各画素の輝度値Ｙを個別に判定すると、図１１に示すような連続した低輝度領域ＹＬに含まれず、散逸的に存在する低輝度画素もゲイン補正対象となり、ゲイン補正によりコントラスト及びＳ／Ｎを低下させる恐れがある。ローパスフィルタ処理を行うことで、散逸的に存在する低輝度画素はゲイン補正対象から外れるため、コントラスト及びＳ／Ｎの低下が防止される。第２実施形態のその他の構成は、第１実施形態と同一である。
　また、上記第１及び第２実施形態では、低輝度画素特定部４４は、全ての減光対象セグメントＳ１についてゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１のうち、非減光対象セグメントＳ２に隣接するものについてのみゲイン補正対象とする低輝度画素を特定しても良い。
［第３実施形態］
　第３実施形態では、高輝度画素数ＰＨに基づいて、ゲイン補正対象とする低輝度画素を特定する減光対象セグメントＳ１を限定する。具体的には、第３実施形態では、低輝度画素特定部４４は、高輝度画素数ＰＨが、第２画素数ＰＮ２（ただし、ＰＮ２＞ＰＮ）以下である減光対象セグメントＳ１のみから低輝度画素を特定する。これは、高輝度画素数ＰＨが第２画素数ＰＮ２より多い減光対象セグメントＳ１は、図７に示す輝度分布Ｄｏｆｆのように、低輝度画素が殆ど存在せず、前述の段差を生じさせるものではないためである。
　本実施形態では、このようにゲイン補正対象とする低輝度画素を特定する減光対象セグメントＳ１を限定することにより、低輝度画素特定部４４の処理が簡略化され、またゲイン補正部４１の処理時間が短縮される。第３実施形態のその他の構成は、第１実施形態または第２実施形態と同一である。
［第４実施形態］
　上記実施形態では、ゲイン補正部４１は、高透過率Ｔ１と低透過率Ｔ２との比のみで決定される一定のゲイン値Ｇ（＝Ｔ１／Ｔ２）を用いてゲイン補正を行っている。この場合、第２輝度値ＴＨ２より小さい低輝度画素が一律にゲイン補正されるので、ゲイン補正後の輝度値の一部は、第２輝度値ＴＨ２を超えて、ゲイン補正対象でない一部の画素の輝度値を上回ってしまう。減光対象セグメントＳ１の輝度分布の中には、図１５（Ａ）に示すように、第２輝度値ＴＨ２付近の輝度値を有する画素を多く含むものがあり、ゲイン補正により画像が劣化する恐れがある。
　第４実施形態では、ゲイン補正部４１は、図１５（Ｂ）に示すゲイン関数Ｇ（Ｙ）を用いてゲイン補正を行う。ゲイン関数Ｇ（Ｙ）は、Ｙ≦Ｙａの範囲では、Ｇ（Ｙ）＝Ｇであり、Ｙａ＜Ｙ≦ＴＨ２の範囲では、Ｇ（Ｙ）＝ＴＨ２／Ｙである。ここで、閾値Ｙａは、Ｙａ＝ＴＨ２／Ｇを満たす。すなわち、ゲイン関数Ｇ（Ｙ）は、Ｙａ＜Ｙ≦ＴＨ２の範囲では、輝度値Ｙに反比例して減少している。
　このゲイン関数Ｇ（Ｙ）を用いることにより、ゲイン補正後の輝度値が第２輝度値ＴＨ２を超えることが防止される。なお、ゲイン補正部４１は、画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対して、ゲイン関数Ｇ（Ｙ）を適用してゲイン補正を行う。第４実施形態のその他の構成は、第１～第３実施形態のいずれかと同一である。
［第５実施形態］
　上記実施形態では、主制御部３０は、セグメントＳ毎に算出した高輝度画素数ＰＨに基づいて、減光対象セグメントＳ１を決定している。しかし、ゲイン補正対象の低輝度画素の中には、ゲイン補正を行うために式（１）～（３）に基づく演算を行った場合に、演算結果が、図１６に示すように、階調の上限値（２５５）を上回り、ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’が階調の上限値に制限（キャッピング）されてしまうものがある。このような低輝度画素は、ゲイン補正後に色情報が失われてしまう。
　第５実施形態では、主制御部３０は、高輝度画素数ＰＨに加えて、ゲイン補正により画素信号値が取り得る上限値に達する低輝度画素（以下、エラー画素という）の数に基づいて減光対象セグメントＳ１を決定する。
　具体的には、図１７に示すように、第５実施形態では、主制御部３０は、前述のように各セグメントＳの高輝度画素数ＰＨを第１画素数ＰＮと比較する（Ｓ３０）。この比較結果に基づき、主制御部３０は、ＰＮ≦ＰＨを満たすセグメントＳにおいて、エラー画素毎に最小ゲインマージンＧｍｉｎを算出する（Ｓ３１）。最小ゲインマージンＧｍｉｎとは、ゲイン補正によりエラー画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対してゲイン補正が可能なゲインマージンの最小値であり、階調の上限値を、エラー画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのうちの最も大きい画素信号値で除算した値である。
　そして、主制御部３０は、最小ゲインマージンＧｍｉｎがゲイン値Ｇ（＝Ｔ１／Ｔ２）以下となるエラー画素の数Ｐｅを算出する（Ｓ３２）。このエラー画素数Ｐｅを一定値（第３画素数）ＴＨ３と比較し（Ｓ３３）、Ｐｅ≦ＴＨ３を満たすセグメントＳを減光対象セグメントＳ１として決定する（Ｓ３４）。このように、主制御部３０は、エラー画素数算出部として機能する。
　本実施形態では、ＰＮ≦ＰＨ、かつＰｅ≦ＴＨ３を満たすセグメントＳが減光対象セグメントＳ１として決定される。第５実施形態のその他の構成は、第１～第４実施形態のいずれかと同一である。
［第６実施形態］
　第６実施形態では、減光対象セグメントＳ１をオンとして本撮影を行い、ゲイン補正を行う際に、画素信号値が取り得る上限値に達する場合に、ゲイン補正後の画素信号値を、各画素信号のゲインマージンに基づいて制限（キャッピング）する。
　具体的には、ゲイン補正部４１は、本撮影により画素毎の画素信号Ｒｓ、Ｇｓ、Ｂｓを取得した後、前述の最小ゲインマージンＧｍｉｎを求める。そして、ゲイン補正部４１は、式（４）～（６）に基づいて、エラー画素の各画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対し最小ゲインマージンＧｍｉｎを乗じて、ゲイン補正後の画素信号Ｒｓ*、Ｇｓ*、Ｂｓ*を生成する。
　Ｒｓ*＝Ｒｓ×Ｇｍｉｎ　・・・（４）
　Ｇｓ*＝Ｇｓ×Ｇｍｉｎ　・・・（５）
　Ｂｓ*＝Ｂｓ×Ｇｍｉｎ　・・・（６）
　本実施形態では、エラー画素に対するゲイン値を最小ゲインマージンＧｍｉｎに制限するので、図１８に示すように、ゲイン補正後の画素信号Ｒｓ*、Ｇｓ*、Ｂｓ*は色情報が失われない。第６実施形態のその他の構成は、第１～第４実施形態のいずれかと同一である。
［第７実施形態］
　上記実施形態では、静止画撮影モードでＤＲ拡大モードを実行可能としているが、第７実施形態では、動画撮影モードでＤＲ拡大モードを実行可能とする。
　図１９に示すように、動画撮影モードが選択された場合では、固体撮像素子２４が周期的に撮影動作を行う。そして、固体撮像素子２４により得られた複数撮像フレームの画像データは、デジタル信号処理部３４で動画データに変換され、メディア制御部３５を介して記録メディア４０に記録される。そして、この動画データに基づく動画を、表示制御部３６を介して表示部１６に表示させることにより行われる。
　ＤＲ拡大モードでは、奇数撮像フレームの画像データに基づいて、偶数撮像フレームに調光素子２３の制御（セグメントＳのオンオフの切り替え）を行う。偶数撮像フレームの画像データは、調光素子２３の制御用データ及び画像表示用データとしては用いない。これは、固体撮像素子２４は、ＣＭＯＳ型でありローリングシャッタ方式で撮像を行うので、撮像フレーム内でセグメントＳのオンオフが切り替えられると、少なくとも１つの画素行の露光期間がセグメントＳの切り替えタイミングを跨いでしまい、時間的に一部が減光されてしまうためである。
　具体的には、第１撮像フレームでは、調光素子２３の全てのセグメントＳがオフとされた状態でプリ撮影が行われる。第２撮像フレームでは、第１撮像フレームで得られた画像データに基づいて、減光対象セグメントＳ１が決定されてオンとされる。第３撮像フレームでは本撮影が行われる。
　第４撮像フレームでは、第３撮像フレームで得られた画像データをプリ画像データＰＤとみなして、減光対象セグメントＳ１が再決定され、オンとされる。第５撮像フレームでは本撮影が行われる。第３撮像フレームにおいて既に減光対象セグメントＳ１がオンとされているため、既にオンとされている減光対象セグメントＳ１については、高輝度画素数ＰＨを算出する際と低輝度画素を特定する際に、第１輝度値ＴＨ１及び第２輝度値ＴＨ２として、減光作用に応じた分だけ補正した値を用いる。具体的には、Ｔ１＝１００％、Ｔ２＝５０％であり、減光作用により輝度分布がシフトするので、第１輝度値をＴＨ１’（＝ＴＨ１／２）、第２輝度値をＴＨ２’（＝ＴＨ２／２）とする。第６撮像フレーム以降も同様である。
　奇数撮像フレームの画像データは、奇数表示フレーム及び偶数表示フレームに表示される。具体的には、図１９に示すように、第１撮像フレームの画像データは、第１表示フレーム及び第２表示フレームに表示され、第３撮像フレームの画像データは、第３表示フレーム及び第４表示フレームに表示される。第５撮像フレーム以降の画像データも同様である。
　なお、ライブビュー表示時にＤＲ拡大モードを実行可能としても良い。この場合には、動画撮影モードと同様の制御を行えば良い。また、ＤＲ拡大モードを、動画撮影モードと、ライブビュー表示の実行時のみに行うように構成しても良い。
　また、ＩＳＯ感度の設定値が一定値より小さい場合にＤＲ拡大モードを自動的に選択し、ＩＳＯ感度の設定値が一定値以上の場合に通常モードを自動的に選択するように構成しても良い。これは、ＩＳＯ感度は、被写体が暗く光量が少ない場合に高く設定されるので、設定値が高い場合には、調光素子２３による減光が不要であるためである。なお、このＩＳＯ感度の設定は、操作部１５等を用いてユーザにより設定される値の他に、画像データに基づいてデジタルカメラ１１内で自動設定される値を用いることも可能である。
　なお、上記各実施形態では、プリ撮影時に全てのセグメントＳをオフとしてプリ画像データＰＤを取得しているが、プリ撮影時に全てのセグメントＳをオンとしてプリ画像データＰＤを取得しても良い。
　また、上記各実施形態では、非駆動時（オフ）に高透過率、駆動時（オン）に低透過率となる調光素子２３を用いているが、これとは逆に、非駆動時（オフ）に低透過率、駆動時（オン）に高透過率となる調光素子を用いても良い。
　また、上記各実施形態では、調光素子２３としてＰＮＬＣフィルタを用いているが、その他の液晶フィルタや、ＥＣフィルタを用いることも可能である。
　また、上記各実施形態では、プリ画像データＰＤに基づいてゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１として本撮影により得られた画像データに基づいてゲイン補正対象とする低輝度画素を特定しても良い。
　また、上記各実施形態では、画素信号Ｒｓ、Ｇｓ、Ｂｓに対してゲイン補正を行っているが、ＹＣ変換後の輝度信号Ｙに対してゲイン補正を行っても良い。
　また、上記各実施形態では、原色型のカラーフィルタを用いているが、補色型のカラーフィルタを用いても良い。また、固体撮像素子２４は、ＣＭＯＳ型イメージセンサに限られず、ＣＣＤ（Charge Coupled Device）型イメージセンサを用いても良い。
　上記各実施形態では、撮影装置としてデジタルカメラを例示しているが、本発明は、ビデオカメラ、カメラ付き携帯電話機、スマートフォン等の種々の電子機器にも適用可能である。また、上記各実施形態は、矛盾しない範囲で相互に組み合わせ可能である。
　１１　デジタルカメラ
　２３　調光素子
　２４　固体撮像素子
　２５　調光制御部
　２６　画素
　３０　主制御部
　４１　ゲイン補正部
　４２　ＹＣ変換部
　４３　高輝度画素数算出部
　４４　低輝度画素特定部
　Ｓ　セグメント
　Ｓ１　減光対象セグメント
　Ｓ２　非減光対象セグメント
　ＳＮ　隣接セグメント
　ＹＨ　高輝度領域
　ＹＬ　低輝度領域
　ＹＤ　最大輝度値

Claims (12)

  1. 　複数のセグメントを有し、前記セグメント毎に光透過率が高透過率と低透過率との間で可変である調光素子と、
    　前記調光素子を介して光が入射し、前記各セグメントに対して複数の画素が配置された撮像素子と、
    　前記セグメントを全て同一の透過率として前記撮像素子により得られる撮像信号に基づいて、前記セグメント毎に第１輝度値以上の輝度値を有する高輝度画素の数を算出する高輝度画素数算出部と、
    　前記調光素子を制御し、前記高輝度画素の数が第１画素数以上の前記セグメントを前記低透過率に設定し、その他の前記セグメントを前記高透過率に設定する制御部と、
    　前記低透過率に設定された前記セグメントについて、第２輝度値以下の輝度値を有する低輝度画素を特定する低輝度画素特定部と、
    　前記低輝度画素の画素信号値を、前記高透過率と前記低透過率との比に応じたゲイン値でゲイン補正を行うゲイン補正部と、
    　を備える撮影装置。
  2. 　前記低輝度画素特定部は、前記低透過率に設定された前記セグメントに隣接する複数の前記セグメントのそれぞれについて、対応する前記画素の輝度分布の最大輝度値を求め、前記最大輝度値のうち最小のものを前記第２輝度値とする請求項１に記載の撮影装置。
  3. 　前記低輝度画素特定部は、前記輝度分布の累積度数が特定の値となる輝度値を、前記最大輝度値とする請求項２に記載の撮影装置。
  4. 　前記ゲイン補正部は、前記第２輝度値を前記ゲイン値で割った値を閾値とした場合に、前記閾値以下の範囲で前記ゲイン値を取り、前記閾値より大きい範囲で前記第２輝度値に反比例して減少するゲイン関数を用いて前記ゲイン補正を行う請求項３に記載の撮影装置。
  5. 　前記低透過率に設定する前記セグメントについて、前記ゲイン補正を行う場合に、前記画素信号値が取り得る階調の上限値に達する前記低輝度画素の数であるエラー画素数を算出するエラー画素数算出部を備え、
    　前記制御部は、前記高輝度画素の数が前記第１画素数以上で、かつ前記エラー画素数が第２画素数以下の前記セグメントを前記低透過率に設定する請求項１から４のうちいずれか１項に記載の撮影装置。
  6. 　前記調光素子は、ポリマーネットワーク型液晶装置である請求項１から５のうちいずれか１項に記載の撮影装置。
  7. 　ＩＳＯ感度を設定するＩＳＯ感度設定部を備えており、
    　前記制御部は、前記ＩＳＯ感度の設定値が一定値以下の場合にのみ前記調光素子を制御する請求項１から６のうちいずれか１項に記載の撮影装置。
  8. 　動画撮影及びライブビュー表示が可能であり、
    　前記制御部は、前記動画撮影及び前記ライブビュー表示の実行状態にて前記調光素子を制御する請求項１から６のうちいずれか１項に記載の撮影装置。
  9. 　前記撮像素子は、複数種の色信号のうちから前記画素毎に１種の色信号を出力する単板カラー方式であり、
    　前記画素毎に前記複数種の色信号を輝度値及び色差値に変換する輝度色差変換部と、を備え、
    　前記高輝度画素数算出部は、前記輝度値に基づいて前記高輝度画素の数を算出する請求項１から８のうちいずれか１項に記載の撮影装置。
  10. 　前記ゲイン補正部は、前記低輝度画素の前記複数種の色信号に対してそれぞれ前記ゲイン補正を行う請求項９に記載の撮影装置。
  11. 　前記ゲイン補正部は、前記低透過率に設定する前記セグメントについて、前記ゲイン補正を行う際に、前記低輝度画素の前記複数種の色信号値のうちの最小ゲインマージンが前記ゲイン値より小さい場合には、前記ゲイン値を前記最小ゲインマージンとして前記ゲイン補正を行う請求項１０に記載の撮影装置。
  12. 　前記複数の色信号は、赤色画素信号、緑色画素信号、青色画素信号である請求項１１に記載の撮影装置。
PCT/JP2015/055751 2014-03-24 2015-02-27 撮影装置 WO2015146471A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016510168A JP6047686B2 (ja) 2014-03-24 2015-02-27 撮影装置
CN201580015854.XA CN106134181B (zh) 2014-03-24 2015-02-27 摄影装置
US15/274,051 US9769391B2 (en) 2014-03-24 2016-09-23 Imaging device including light modulation element that varies between high and low transmittance for each segment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014060955 2014-03-24
JP2014-060955 2014-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/274,051 Continuation US9769391B2 (en) 2014-03-24 2016-09-23 Imaging device including light modulation element that varies between high and low transmittance for each segment

Publications (1)

Publication Number Publication Date
WO2015146471A1 true WO2015146471A1 (ja) 2015-10-01

Family

ID=54195002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055751 WO2015146471A1 (ja) 2014-03-24 2015-02-27 撮影装置

Country Status (4)

Country Link
US (1) US9769391B2 (ja)
JP (1) JP6047686B2 (ja)
CN (1) CN106134181B (ja)
WO (1) WO2015146471A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510592A (zh) * 2016-08-29 2020-08-07 华为技术有限公司 光照处理方法及装置以及摄像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
CN106643525A (zh) * 2017-02-04 2017-05-10 哈尔滨工业大学 用于电弧增材制造熔敷道尺寸无滞后实时检测装置及实时检测方法
US10546369B2 (en) * 2018-01-09 2020-01-28 Omnivision Technologies, Inc. Exposure level control for high-dynamic-range imaging, system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723283A (ja) * 1993-06-30 1995-01-24 Hitachi Denshi Ltd 撮像装置
JP2006245918A (ja) * 2005-03-02 2006-09-14 Nec Electronics Corp 撮影装置および撮影装置における減光フィルタの制御方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333329A (ja) 2000-03-17 2001-11-30 Fuji Photo Film Co Ltd 撮影装置
US7245325B2 (en) * 2000-03-17 2007-07-17 Fujifilm Corporation Photographing device with light quantity adjustment
US20030011700A1 (en) * 2001-07-13 2003-01-16 Bean Heather Noel User selectable focus regions in an image capturing device
US20030052989A1 (en) * 2001-07-18 2003-03-20 Bean Heather Noel Non-polarizing shutter/CCD module
US7106377B2 (en) * 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
US20030020958A1 (en) * 2001-07-30 2003-01-30 Bean Heather Noel Non-polarizing shutter/CCD module
JP2003348439A (ja) 2002-05-28 2003-12-05 Canon Inc デジタルカメラ
JP4289259B2 (ja) * 2004-08-31 2009-07-01 カシオ計算機株式会社 撮像装置及び露出制御方法
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
CN100568926C (zh) * 2006-04-30 2009-12-09 华为技术有限公司 自动曝光控制参数的获得方法及控制方法和成像装置
US8159558B2 (en) * 2006-06-02 2012-04-17 Rohm Co., Ltd. Image processing circuit, semiconductor device and image processing device
JP4127411B1 (ja) * 2007-04-13 2008-07-30 キヤノン株式会社 画像処理装置及び方法
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
JP4923005B2 (ja) * 2008-07-28 2012-04-25 富士フイルム株式会社 ディジタル・スチル・カメラおよびその制御方法
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
JP5188453B2 (ja) * 2009-05-25 2013-04-24 パナソニック株式会社 カメラ装置および露光制御方法
JP5371717B2 (ja) * 2009-12-01 2013-12-18 キヤノン株式会社 画像処理装置及び画像処理方法
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
GB201012631D0 (en) * 2010-07-28 2010-09-15 Isis Innovation Image sensor and method of sensing
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP5569359B2 (ja) * 2010-11-26 2014-08-13 富士通セミコンダクター株式会社 撮像制御装置、撮像装置、及び撮像装置の制御方法
KR101204556B1 (ko) * 2011-01-21 2012-11-23 삼성전기주식회사 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5882644B2 (ja) * 2011-09-13 2016-03-09 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5316625B2 (ja) * 2011-11-11 2013-10-16 カシオ計算機株式会社 画像合成装置、及びプログラム
JP5821571B2 (ja) * 2011-11-28 2015-11-24 富士通株式会社 画像合成装置及び画像合成方法
JP6071469B2 (ja) * 2011-12-19 2017-02-01 キヤノン株式会社 画像表示装置及びその制御方法
JP6021916B2 (ja) * 2012-07-19 2016-11-09 富士フイルム株式会社 画像表示装置及び方法
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104620280A (zh) * 2012-09-20 2015-05-13 夏普株式会社 图像处理装置、图像显示装置、图像摄像装置、图像印刷装置、灰度变换方法及程序
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
JP2015011320A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
US9412336B2 (en) * 2013-10-07 2016-08-09 Google Inc. Dynamic backlight control for spatially independent display regions
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723283A (ja) * 1993-06-30 1995-01-24 Hitachi Denshi Ltd 撮像装置
JP2006245918A (ja) * 2005-03-02 2006-09-14 Nec Electronics Corp 撮影装置および撮影装置における減光フィルタの制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510592A (zh) * 2016-08-29 2020-08-07 华为技术有限公司 光照处理方法及装置以及摄像装置

Also Published As

Publication number Publication date
US9769391B2 (en) 2017-09-19
CN106134181A (zh) 2016-11-16
US20170013182A1 (en) 2017-01-12
JP6047686B2 (ja) 2016-12-21
CN106134181B (zh) 2019-03-01
JPWO2015146471A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
US8355059B2 (en) Image capturing apparatus and control method thereof
US8842194B2 (en) Imaging element and imaging apparatus
US8081242B2 (en) Imaging apparatus and imaging method
US9749546B2 (en) Image processing apparatus and image processing method
JP5123137B2 (ja) 撮像装置および撮像方法
US20140036106A1 (en) Image processing apparatus and image processing method
US9036046B2 (en) Image processing apparatus and method with white balance correction
US8810681B2 (en) Image processing apparatus and image processing method
JP5223686B2 (ja) 撮像装置および撮像方法
JP4999871B2 (ja) 撮像装置およびその制御方法
JP6047686B2 (ja) 撮影装置
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5948997B2 (ja) 撮像装置及び撮像方法
JP5335964B2 (ja) 撮像装置およびその制御方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP2009118052A (ja) 画像信号処理方法及び装置
JP2004215063A (ja) 撮像装置及び輪郭補正方法
JP5091734B2 (ja) 撮像装置および撮像方法
JP2012129611A (ja) 撮像装置
KR102589856B1 (ko) 촬영 장치, 촬영 방법 및 컴퓨터 프로그램 제품
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009004967A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15769778

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016510168

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15769778

Country of ref document: EP

Kind code of ref document: A1