WO2007063731A1 - カメラシステム - Google Patents

カメラシステム Download PDF

Info

Publication number
WO2007063731A1
WO2007063731A1 PCT/JP2006/323123 JP2006323123W WO2007063731A1 WO 2007063731 A1 WO2007063731 A1 WO 2007063731A1 JP 2006323123 W JP2006323123 W JP 2006323123W WO 2007063731 A1 WO2007063731 A1 WO 2007063731A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
signal
exposure amount
video signal
gradation conversion
Prior art date
Application number
PCT/JP2006/323123
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to CN200680045037XA priority Critical patent/CN101322398B/zh
Publication of WO2007063731A1 publication Critical patent/WO2007063731A1/ja
Priority to US12/130,052 priority patent/US8081236B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a camera system that performs exposure amount control combined with gradation conversion processing on a video signal from an image sensor.
  • Exposure control in a conventional camera system is based on photometry results obtained by center-weighted photometry, evaluation photometry, split photometry, and the like.
  • Japanese Patent Application Laid-Open No. 2001-54014 describes a technique that combines split photometry and change in gradation conversion characteristics. As a result, appropriate exposure can be obtained with respect to the main subject, and a video signal with good gradation expression can be obtained.
  • a technique for performing different gradation conversion processing for each local region generally called a space variant gradation conversion processing.
  • Examples of such a technique include those described in a gazette according to Japanese Patent No. 346526.
  • This publication describes a technique in which a video signal is divided into a plurality of regions based on texture information, and tone conversion processing is performed by obtaining a tone conversion curve for each region based on a histogram. As a result, not only the main subject but also the background portion is subjected to conversion processing so as to achieve appropriate exposure, so that a high-quality video signal can be obtained.
  • Japanese Patent Application Laid-Open No. 2002-223387 describes a technique for controlling photographing conditions of a plurality of different exposure amounts based on pre-imaging information prior to main imaging. This makes it possible to set appropriate exposure conditions for subjects with various dynamic ranges, and to capture subject information without waste.
  • Japanese Patent Application Laid-Open No. 2005-175718 describes a technique for performing a high-quality noise reduction process by dynamically estimating a noise amount related to a luminance signal and a color difference signal.
  • the present invention has been made in view of the above-described circumstances, and appropriately incorporates the entire dynamic range including not only the main subject but also the background portion, thereby effectively utilizing the dynamic range of the scene.
  • the purpose is to provide a camera system that can obtain a clear video signal.
  • a camera system is applied to a camera system that performs exposure amount control combined with gradation conversion processing on an image signal from an image sensor.
  • Pre-imaging control means for controlling to perform pre-imaging a plurality of times with different exposure amounts prior to imaging, and conversion characteristics used for gradation conversion processing for signals related to each video signal obtained by the pre-imaging Conversion characteristic calculating means for calculating the exposure, and exposure control for determining the exposure amount of the main imaging based on the signal relating to each video signal obtained by the pre-imaging, the exposure amount used for the pre-imaging, and the conversion property And actual imaging based on the exposure amount.
  • a gradation conversion means for calculating a conversion characteristic used for gradation conversion processing for the signal related to the video signal obtained by the above-described actual imaging and performing gradation conversion processing. It is a thing.
  • FIG. 1 is a block diagram showing a configuration of a camera system in Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing three types of exposure amounts in the pre-imaging mode in the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of a conversion characteristic calculation unit in the first embodiment.
  • FIG. 4 is a diagram illustrating division of a reduced signal into regions in a division unit of a conversion characteristic calculation unit in the first embodiment.
  • FIG. 5 shows the distances d to d between the pixel of interest and the centers of the four neighboring regions in the first embodiment.
  • FIG. 6 is a block diagram showing a configuration of an exposure control unit in the first embodiment.
  • FIG. 7 is a diagram showing a light part invalid rate and a dark part invalid rate and an appropriate exposure amount with respect to the exposure amount in the first embodiment.
  • FIG. 8 is a diagram showing how dark area invalidity ratio is corrected based on ISO sensitivity by the high sensitivity adjustment section in the first embodiment.
  • FIG. 9 is a diagram showing how the bright part invalidity ratio is corrected based on the area ratio of the high luminance region by the high luminance region adjustment unit in the first embodiment.
  • FIG. 10 is a block diagram showing a configuration of a noise estimation unit in the first embodiment.
  • FIG. 11 is a block diagram showing a configuration of a camera system in Embodiment 2 of the present invention.
  • FIG. 12 is a diagram showing a configuration of a Bayer-type primary color filter in the second embodiment.
  • FIG. 13 is a diagram showing a configuration of a color difference line sequential complementary color filter in the second embodiment.
  • FIG. 14 is a block diagram showing a configuration of an exposure control unit in the second embodiment.
  • FIG. 15 is a diagram showing an invalid rate of a bright part and an invalid rate of a dark part and an appropriate exposure amount with respect to the exposure amount in the second embodiment.
  • FIG. 16 is a diagram showing 13 areas a to a in split photometry in the second embodiment.
  • FIG. 17 is a chart showing the relationship between shooting state estimation and image quality adjustment in the second embodiment.
  • FIG. 18 is a diagram showing a configuration example of an external IZF unit that uses a slider bar for exposure amount adjustment in the second embodiment.
  • FIG. 19 is a diagram showing a configuration example of an external IZF unit using a push button for exposure amount adjustment in the second embodiment.
  • FIGS. 1 to 10 show Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of a camera system
  • FIG. 2 is a diagram and figure showing three types of exposure amounts in the pre-imaging mode
  • 3 is a block diagram showing the configuration of the conversion characteristic calculation unit
  • FIG. 4 is a diagram showing the division of the reduced signal into regions in the division unit of the conversion characteristic calculation unit
  • FIG. 5 shows the pixel of interest and the centers of the four neighboring regions.
  • FIG. 6 is a block diagram showing the configuration of the exposure control unit
  • FIG. 7 is an exposure diagram.
  • FIG. 8 is a diagram showing how the dark area invalid rate and the dark area invalid rate and the appropriate exposure amount are adjusted with respect to the amount
  • Fig. 8 is a diagram showing how the dark area invalid rate is corrected based on the ISO sensitivity by the high sensitivity adjustment unit
  • Fig. 9 is FIG. 10 is a block diagram showing the configuration of the noise estimator.
  • FIG. 10 is a diagram showing how the bright part invalidity ratio is corrected based on the area ratio of the high luminance region by the high luminance region adjustment unit.
  • This camera system includes a lens system 100, an aperture 101, a CCD 102, an amplification unit 103, an AZD conversion unit 104, a buffer 105, a conversion characteristic calculation unit 106, and an exposure control unit 107.
  • a focus detection unit 108, an AF motor 109, a gradation conversion unit 110, a signal processing unit 111, an output unit 112, a control unit 113, an external IZF unit 114, and a temperature sensor 115 are included.
  • the lens system 100 is for forming an optical image of a subject on the imaging surface of the CCD 102.
  • the stop 101 is for changing the brightness of the optical image formed on the imaging surface of the CCD 102 by defining the passing range of the subject light beam formed by the lens system 100.
  • the CCD 102 is an image sensor for photoelectrically converting an optical image to be formed and outputting it as an analog video signal.
  • black and white A single-plate CCD (monochrome image sensor) is assumed.
  • CMOS complementary metal-oxide-semiconductor
  • the temperature sensor 115 is disposed in the vicinity of the CCD 102, substantially measures the temperature of the CCD 102, and outputs the temperature to the control unit 113.
  • the amplification unit 103 is for amplifying the video signal output from the CCD 102.
  • the amount of amplification by the amplification unit 103 is set by the exposure control unit 107 based on the control of the control unit 113.
  • the AZD conversion unit 104 is output from the CCD 102 and amplified.
  • the analog video signal amplified by 103 is converted into a digital video signal.
  • the buffer 105 is for temporarily storing the digital video signal output from the AZD conversion unit 104.
  • the conversion characteristic calculation unit 106 Based on the control of the control unit 113, the conversion characteristic calculation unit 106 sequentially reads the video signal from the buffer 105 in the pre-imaging mode and the main imaging mode, and performs conversion used for space-noorious gradation conversion processing. This is a conversion characteristic calculation method that calculates the characteristics and transfers them to the exposure control unit 107 in the pre-imaging mode and to the gradation conversion unit 110 in the main imaging mode, and also serves as part of the gradation conversion means. is there.
  • the exposure control unit 107 Based on the control of the control unit 113, the exposure control unit 107 sequentially reads video signals for a plurality of types of exposure amounts from the buffer 105 and conversion characteristics for the plurality of types of exposure amounts from the conversion characteristic calculation unit 106. This is an exposure control means for calculating the exposure amount in the main imaging.
  • the exposure control unit 107 controls the aperture value of the aperture 101, the electronic shutter speed of the CCD 102, the amplification factor of the amplification unit 103, and the like based on the calculated exposure amount.
  • the in-focus detection unit 108 detects the edge strength in the video signal stored in the buffer 105 based on the control of the control unit 113 so that the edge strength is maximized.
  • the focus signal is obtained by controlling the AF motor 109.
  • the AF motor 109 is a drive source for driving an AF lens included in the lens system 100 under the control of the in-focus detection unit 108.
  • the gradation conversion unit 110 reads the video signal of the main imaging from the buffer 105 and the conversion characteristic from the conversion characteristic calculation unit 106, respectively, and is a space-norient for the video signal.
  • Gradation conversion means and conversion processing means for performing various gradation conversion processes.
  • the signal processing unit 111 Based on the control of the control unit 113, the signal processing unit 111 performs known edge enhancement processing, compression processing, and the like on the video signal after the gradation conversion processing output from the gradation conversion unit 110. The subsequent signal is transferred to the output unit 112.
  • the output unit 112 records and stores the video signal output from the signal processing unit 111 in a recording medium such as a memory card.
  • the control unit 113 includes, for example, a microcomputer, and includes an amplification unit 103, an AZD conversion unit 104, a conversion characteristic calculation unit 106, an exposure control unit 107, an in-focus detection unit 108, a gradation conversion unit 110,
  • the signal processing unit 111, the output unit 112, and the external IZF unit 114 are bidirectionally connected, and are control means for controlling the entire camera system including them.
  • This control unit 113 includes main imaging control means, pre-imaging control means, dark area invalid pixel estimation means, bright area invalid pixel estimation means, exposure amount calculation means, threshold setting means, noise amount estimation means, image quality adjustment means, high image quality control means, It also serves as brightness area adjustment means, high sensitivity area adjustment means, shooting situation estimation means, and manual adjustment means.
  • a signal from the temperature sensor 115 is input to the control unit 113! /.
  • the external IZF unit 114 is an exposure amount calculation means, an image quality adjustment means, and an interface means for performing user-friendly input to the camera system, and includes a power switch for turning on and off the power, and photographing. It includes a shirt button for starting operations, a mode switching button for switching shooting modes and other various modes. Via this external IZF unit 114, the user can input pre-imaging start by pressing the first step of the two-stage shatter button, and main imaging start input by pressing the second step of the shatter button. It has become possible to do. Furthermore, the user can set photographing conditions such as ISO sensitivity via the external IZF unit 114. The external I ZF unit 114 outputs the input information to the control unit 113.
  • the user presets shooting conditions such as ISO sensitivity via the external IZF unit 114.
  • the subject image force CCD 102 imaged through the lens system 100 and the aperture 101 is subjected to photoelectric conversion and output as an analog video signal.
  • the exposure control unit 107 sets the aperture 101 to a predetermined aperture value and the electronic shutter speed of the CCD 102 to a predetermined speed, respectively. Imaging is performed under this condition.
  • the analog video signal imaged under such conditions and output from the CCD 102 is amplified by the amplification unit 103 with a predetermined amplification amount corresponding to the ISO sensitivity set by the user.
  • the video signal amplified by the amplification unit 103 is converted into a digital video signal by the AZD conversion unit 104, transferred to the buffer 105, and stored therein.
  • the video signal stored in the buffer 105 is first transferred to the in-focus detection unit 108.
  • the in-focus detection unit 108 detects the edge intensity as described above based on the video signal, and controls the AF motor 109 so as to maximize the edge intensity, thereby obtaining an in-focus signal.
  • the exposure control unit 107 sets a plurality of different exposure amounts based on the control of the control unit 113. Then, based on each set exposure amount, a plurality of pre-images are taken! /.
  • the three types of exposure amounts shown in Fig. 2 are set to have an interval of 4EV (Exposure Value).
  • the shirt speed is 1Z15, 1/250, 1/4
  • the force using three types of exposure amounts is not limited to this. Not. For example, it is possible to configure the processing speed to be increased by using two types of exposure amounts, and it is also possible to configure the processing accuracy to be increased by using four types of exposure amounts.
  • the force that changes the exposure amount to 4 EV is not limited to this.
  • the dynamic range width of the image sensor to be used, in this embodiment, the dynamic range width of the CCD 102, The amount of change in exposure may be set according to the above.
  • the dynamic range to be captured can be set to have a predetermined interval, and can be configured to support a large dynamic range with a small number of shootings.
  • Video signals picked up with a plurality of types of exposure amounts as described above are transferred to the notch 105.
  • video signals with three kinds of exposure amounts as shown in FIG. 2 are recorded in the buffer 105.
  • the conversion characteristic calculation unit 106 Based on the control of the control unit 113, the conversion characteristic calculation unit 106 sequentially reads video signals corresponding to three types of exposure amounts from the buffer 105, and converts the conversion characteristics used for space-noorious gradation conversion processing. Calculate each. The conversion characteristic calculation unit 106 transfers the calculated three types of gradation conversion characteristics to the exposure control unit 107 in this pre-imaging.
  • the exposure control unit 107 Based on the control of the control unit 113, the exposure control unit 107 sequentially reads video signals for three types of exposure amounts from the buffer 105 and conversion characteristics for the three types of exposure amounts from the conversion characteristic calculation unit 106, and An exposure amount in the main imaging is calculated.
  • the conversion characteristic calculation unit 106 reads the video signal of the main imaging from the buffer 105, and calculates the conversion characteristic used for the space-norety tone conversion process. The conversion characteristic calculation unit 106 transfers the calculated gradation conversion characteristic to the gradation conversion unit 110 in the main imaging.
  • the gradation conversion unit 110 Based on the control of the control unit 113, the gradation conversion unit 110 reads the video signal of the main imaging from the buffer 105 and the conversion characteristic from the conversion characteristic calculation unit 106, respectively, and performs space-norient processing on the video signal. Tone conversion processing is performed. Then, the gradation conversion unit 110 transfers the video signal subjected to the gradation conversion process to the signal processing unit 111.
  • the signal processing unit 111 performs known edge enhancement processing, compression processing, and the like on the video signal subjected to the gradation conversion processing from the gradation conversion unit 110, and outputs the processed signal. Transfer to output unit 112.
  • the output unit 112 records and stores the video signal output from the signal processing unit 111 in a recording medium such as a memory card.
  • the conversion characteristic calculation unit 106 includes a reduction unit 200 as a reduction unit, a buffer 201, a division unit 202 as a division unit, a gradation conversion curve calculation unit 203 as a gradation conversion curve calculation unit, and a buffer. 204, an extraction unit 205 as an interpolation calculation unit, a distance calculation unit 206 as an interpolation calculation unit, an interpolation calculation unit 207 as an interpolation calculation unit, a notch 208, a gain calculation unit 209 as a gain calculation unit, and a nota 210 And an enlargement unit 211 as an enlargement means and a nota 212.
  • the buffer 105 is connected to the buffer 201 via the reduction unit 200.
  • the noffer 201 is connected to the dividing unit 202, the extracting unit 205, and the gain calculating unit 209, respectively.
  • the dividing unit 202 is connected to the interpolation calculating unit 207 via the gradation conversion curve calculating unit 203 and the buffer 204.
  • the extraction unit 205 is connected to the interpolation calculation unit 207 via the distance calculation unit 206.
  • the interpolation calculation unit 207 is connected to the enlargement unit 211 via the buffer 208, the gain calculation unit 209, and the buffer 210.
  • the enlargement unit 211 is connected to the exposure control unit 107 and the gradation conversion unit 110 via a notch 212, respectively.
  • the control unit 113 includes both a reduction unit 200, a division unit 202, a gradation conversion curve calculation unit 203, an extraction unit 205, a distance calculation unit 206, an interpolation calculation unit 207, a gain calculation unit 209, and an enlargement unit 211. Connected to the other side, and they are now in control.
  • the reduction unit 200 reads a video signal from the buffer 105, converts it with a predetermined reduction rate, and generates a reduced signal of a predetermined size.
  • the reduction unit 200 converts, for example, a reduced signal having the same 160 ⁇ 120 pixel size as that of the thumbnail image.
  • the reduced signal from the reduction unit 200 is transferred to the notch 201 and stored therein.
  • the dividing unit 202 reads the reduced signal from the buffer 201 and divides it into a predetermined size region, for example, a 20 ⁇ 15 pixel size region without overlap. Therefore, in this example, the reduced signal is divided into a total of 64 areas of 8 ⁇ 8. Figure 4 shows how this reduced signal is divided into regions. Then, the division unit 202 sequentially transfers the divided areas to the gradation conversion curve calculation unit 203.
  • the gradation conversion curve calculation unit 203 calculates a gradation conversion curve used for the gradation conversion process by calculating a cumulative histogram for the area transferred from the dividing unit 202.
  • the tone conversion curve calculation unit 203 sequentially transfers the tone conversion curve calculated for each region to the buffer 204.
  • the extraction unit 205 performs one pixel from the reduced signal in the buffer 201 based on the control of the control unit 113.
  • the signal of the target pixel is extracted in units, and the pixel value and coordinate value of the extracted target pixel are sequentially transferred to the distance calculation unit 206.
  • the distance calculation unit 206 calculates four regions located in the vicinity of the target pixel with respect to the target pixel extracted by the extraction unit 205, and further, the distance between the target pixel and the four regions. Is calculated.
  • the distance between the target pixel and the region is calculated as the distance between the position of the target pixel and the center position of the region.
  • the pixel value of the target pixel is P (i, j is the y coordinate of the target pixel in the reduced signal)
  • the gradation conversion curves of the four neighboring areas are represented by T ().
  • the distance calculation unit 206 calculates the calculated distance d and the target pixel P (hereinafter, the pixel value P of the target pixel).
  • Interpolation calculation unit 207 receives distance d and distance from distance calculation unit 206 based on the control of control unit 113.
  • Each pixel ij k is read, and the pixel of interest P ′ after the gradation conversion processing is calculated by an interpolation operation as shown in Equation 1 below.
  • Equation 1 uses the pixel of interest P according to the gradation conversion curve T () of each region.
  • Each pixel value after ij k is subjected to tone conversion, and the average of each pixel value after tone conversion is inversely proportional to the distance between the pixel of interest and the center of each region.
  • the interpolation calculation unit 207 sequentially transfers the calculated pixel of interest P ′ after the gradation conversion processing to the buffer 208 sequentially.
  • the gain calculation unit 209 pays attention to the video signal reduced from the buffer 201 based on the control of the control unit 113.
  • Pixel P is read from buffer 208 and target pixel P ′ of the video signal after gradation conversion is read.
  • the gain calculation unit 209 calculates the conversion characteristic T used for the gradation conversion processing by the calculation shown in the following Equation 2. [Equation 2]
  • the gain calculation unit 209 sequentially transfers the calculated conversion characteristics T u to the buffer 210.
  • the enlarging unit 211 Based on the control of the control unit 113, the enlarging unit 211 performs an enlarging process on the conversion characteristic T on the buffer 210 so as to have the same size as the video signal at the time of input.
  • T (m, n is the x, y position mn in the video signal.
  • the enlargement unit 211 transfers the enlarged conversion characteristic T to the buffer 212.
  • the conversion characteristics T stored in the buffer 212 in this way are stored in the exposure control unit 1 mn as necessary.
  • the exposure control unit 107 includes an extraction unit 300, a noise estimation unit 301 which is dark part invalid pixel estimation means and noise amount estimation means, dark part invalid pixel estimation means, bright part invalid pixel estimation means, and gain correction means.
  • a gain correction unit 302 that also serves as a dark part invalid pixel estimation unit and a noise range setting unit 303 as a noise range setting unit, a dark part invalid pixel determination unit 304 as a dark part invalid pixel estimation unit and a dark part invalid rate calculation unit, Buffer 305, dark part invalid pixel estimating means and dark part invalid rate calculating part 306 as dark part invalid rate calculating means, function invalidating part 307 as dark part invalid pixel estimating means and function approximating means, exposure amount calculating means, high sensitivity range A high-sensitivity range adjustment unit 308 that also serves as an adjustment unit and an image quality adjustment unit, a threshold setting unit 309 that is a bright part invalid pixel estimation unit and threshold setting unit, and a bright part invalid pixel estimation unit that is a bright part invalid rate calculation
  • Toru Myobe Effective pixel determination unit 310 buffer 311, bright part invalid pixel estimation means and bright part invalid rate calculation part 312 as bright part invalid rate calculation means, and bright part invalid pixel estimation means and function approximation as function approximation means 313, an exposure amount calculation unit, a high luminance region adjustment unit, a high luminance region adjustment unit 314 that also serves as an image quality adjustment unit, and an exposure amount calculation unit 315 that is an exposure amount calculation unit and is a search unit.
  • the nota 105 passes through the extraction unit 300 and the noise estimation unit 301 and the gain correction unit 302 through the navel. Each is connected. Conversion characteristic calculation unit 106 and noise estimation unit 301 are connected to gain correction unit 302, respectively.
  • the gain correction unit 302 is connected to the noise range setting unit 303, the dark part invalid pixel determination unit 304, the bright part invalid pixel determination unit 310, and the high luminance region adjustment unit 314, respectively.
  • the noise range setting unit 303 is connected to the dark part invalid pixel determination unit 304.
  • the dark area invalid pixel determination unit 304 is connected to the exposure amount calculation unit 315 via the buffer 305, the dark area invalid rate calculation unit 306, the function similarity unit 307, and the high sensitivity area adjustment unit 308.
  • the threshold value setting unit 309 is connected to the bright part invalid pixel determination unit 310.
  • the bright part invalid pixel determination unit 310 is connected to the exposure amount calculation unit 315 via the buffer 311, the bright part invalid rate calculation unit 312, the function approximation unit 313, and the high brightness area adjustment unit 314.
  • the exposure amount calculation unit 315 is connected to the aperture 101, the CCD 102, and the amplification unit 103, respectively.
  • control unit 113 includes an extraction unit 300, a noise estimation unit 301, a gain correction unit 302, a noise range setting unit 303, a dark part invalid pixel determination unit 304, a dark part invalid rate calculation unit 306, and a function approximation unit 30 7 , High sensitivity range adjustment unit 308, threshold setting unit 309, bright part invalid pixel determination unit 310, bright part invalid rate calculation unit 312, function approximation unit 313, high brightness range adjustment unit 314, exposure amount calculation unit 315 Once connected, you will be in control of them.
  • the control unit 113 controls the exposure amount calculation unit 315 to set the aperture 101 to a predetermined aperture value and the CCD 102 to a predetermined level.
  • the amplifying unit 103 is set to a predetermined amplification amount corresponding to the set ISO sensitivity according to the electronic shutter speed.
  • the control unit 113 controls the exposure amount calculation unit 315 to set a plurality of different exposure amounts.
  • the exposure amount set by the exposure amount calculation unit 315 is also assumed in order to assume shooting with three types of exposure amounts as shown in FIG. The amount of exposure.
  • the electronic shutter speed of the CCD 102 is set to 1Z15, 1 / as described above, with the aperture 101 set to a predetermined aperture value, and the amplification unit 103 set to a predetermined amplification amount corresponding to the set ISO sensitivity. Realizing three types of exposure by setting each to 250 and 1Z4000 seconds Can do.
  • the extraction unit 300 After the pre-imaging with these three types of exposure amounts has been completed and the three types of video signals have been transferred to the notch 105, the extraction unit 300 performs the operation from the buffer 105 based on the control of the control unit 113 as shown in FIG.
  • the video signal corresponding to the first exposure amount as shown in FIG. 6 is extracted as the signal of the pixel of interest in units of one pixel and transferred to the gain correction unit 302. Further, the extraction unit 300 simultaneously extracts a region of a predetermined size that includes the target pixel, and transfers this region to the noise estimation unit 301.
  • the noise estimation unit 301 receives a pixel of interest P (hereinafter referred to as pixel value P mn mn of the pixel of interest) from the extraction unit 300 based on the control of the control unit 113. Is simply referred to as the pixel of interest P), and an average value AV of an area of a predetermined size is calculated.
  • pixel value P mn mn of the pixel of interest hereinafter referred to as pixel value P mn mn of the pixel of interest
  • the noise amount N related to the target pixel P is estimated in pixel units.
  • the noise estimation unit 301 transfers the calculated average value AV and noise amount N to the gain compensation mn mn correction unit 302.
  • the gain correction unit 302 reads the conversion characteristic T of the video signal corresponding to the first exposure amount as shown in FIG.
  • the gain correction unit 302 multiplies the noise amount N transferred from the noise estimation unit 301 by the conversion characteristic T transferred from the conversion characteristic calculation unit 106, as shown in Equation 3 below.
  • the amount of noise N, after gradation conversion processing is calculated.
  • the gain correction unit 302 multiplies the target pixel P transferred from the extraction unit 300 by the conversion characteristic T transferred from the conversion characteristic calculation unit 106 as shown in the following Equation 4. mn, the target pixel P ′ after gradation conversion processing
  • the gain correction unit 302 receives the noise amount N after the gradation conversion processing and the average mn
  • the value AV and the video signal P ′ after gradation conversion processing are sent to the noise range setting unit 303.
  • the data are transferred to the dark part invalid pixel determination unit 304, the bright part invalid pixel determination unit 310, and the high brightness area adjustment unit 314, respectively.
  • the noise range setting unit 303 sets the following equation 5 mn mn as the range belonging to noise based on the noise amount N ′ transferred from the gain correction unit 302 and the average value AV.
  • the noise range setting unit 303 sets the calculated upper limit U and lower limit L to the dark part invalid pixels mn mn
  • the dark area invalid pixel determination unit 304 Based on the control of the control unit 113, the dark area invalid pixel determination unit 304 performs processing on the target pixel P ′ transferred from the gain correction unit 302 and the noise transferred from the noise range setting unit 303.
  • Equation 6 It is determined that mn is included in the noise range when the condition shown in the following Equation 6 is satisfied.
  • the dark part invalid pixel determination unit 304 satisfies the condition that the target pixel P ′
  • the dark area invalid pixel determination unit 304 outputs the result of the determination to the buffer 305 as label information.
  • the dark invalid pixel determination unit 304 outputs 1 as a label when it is included in noise, and 0 as a label when it is not included in noise.
  • the bright invalid pixel determination unit 310 uses the target pixel P ′ transferred from the gain correction unit 302 and the threshold Th from the threshold setting unit 309 based on the control of the control unit 113. , Attention mn
  • the gradation level of the video signal is 12 bits (dynamic range: 0 to 4095), the value is 3800 or the like. Is used.
  • the bright invalid pixel determination unit 310 determines that the target pixel P ′ is white when the condition of the following Expression 7 is satisfied, and when the condition of the following Expression 7 is not satisfied, Tena
  • the bright part invalid pixel determination unit 310 transfers the result of the determination to the buffer 311 as label information.
  • the bright part invalid pixel determination unit 310 outputs 1 as a label when whiteout occurs, and 0 as a label when whiteout does not occur.
  • the determination processing in the dark part invalid pixel determination unit 304 and the determination process in the bright part invalid pixel determination unit 310 include a video signal and a third exposure amount corresponding to the second exposure amount as shown in FIG. The same processing is performed for the video signals corresponding to the video signal, and the label information of the video signals corresponding to the three types of exposure amounts is transferred to the notifier 305 and the buffer 311.
  • the dark area invalid rate calculation unit 306 reads label information indicating whether or not the pixel of interest P ′ is included in the noise from the buffer 305, and applies mn to the entire video signal.
  • the ratio of the pixels included in the noise is calculated.
  • the dark area invalid rate calculation unit 306 calculates the ratio for each video signal corresponding to the three types of exposure amounts, and transfers the calculated ratio to the function approximation unit 307 as the dark area invalid rate.
  • the function approximating unit 307 calculates the dark part invalidity rate from the three types of dark part invalidity rate and the three exposure doses (EV) from the dark part invalidity rate calculation unit 306. As shown in the following equation 8, the function is expressed as a quadratic function equation R.
  • the function approximating unit 307 transfers the function formula shown in Formula 8 to the high sensitivity range adjusting unit 308.
  • the bright part invalid rate calculation unit 312 receives a note from the buffer 311 based on the control of the control unit 113. Read the label information indicating whether or not the eye pixel P 'is white and
  • the ratio of the overexposed pixels to be calculated is calculated.
  • the bright part invalid rate calculating unit 312 calculates the ratio for each video signal corresponding to the three types of exposure amounts, and transfers the calculated ratio to the function approximating unit 313 as the bright part invalid rate.
  • the function approximating unit 313 clarifies the relationship between the three types of bright part invalid rates from the bright part invalid rate calculating unit 312 and the three types of exposure amounts (EV). As shown in Equation 9 below, the function is expressed as a quadratic function equation R of the partial invalid rate.
  • ⁇ , ⁇ , ⁇ are constant terms.
  • the function approximating unit 313 transfers the function formula as shown in Formula 9 to the high brightness area adjusting unit 314.
  • Fig. 7 shows the quadratic function R of the dark area invalidity ratio as shown in Equation 8 and the equation 9 as shown in Equation 9.
  • the exposure amount corresponding to this intersection is an appropriate exposure amount EV in which the number of pixels that are invalid in the dark portion and the number of pixels that are invalid in the bright portion are balanced.
  • the weight of the balance between the dark part and the bright part changes depending on the situation at the time of shooting. For example, the effects of dark noise are more pronounced with higher ISO sensitivity, and are subjectively problematic. In addition, the effect of whiteout in bright areas becomes more prominent as the area of high-luminance areas such as the sky increases, and it becomes a subjective problem.
  • the high sensitivity area adjustment unit 308 corrects the ISO sensitivity
  • the high brightness area adjustment unit 314 corrects the area of the high brightness area. ing.
  • the high sensitivity range adjustment unit 308 calculates the quadratic function expression R of the dark area invalid rate from the function approximation unit 307 based on the ISO sensitivity at the time of shooting transferred from the control d unit 113 as shown in FIG. to correct.
  • the high sensitivity range adjustment unit 308 has a quadratic function formula R as the ISO sensitivity is increased to 200, 400 with ISO sensitivity 100 as the standard, as shown in Fig. 8. Is shifted upward by a predetermined amount d!
  • the high brightness area adjustment unit 314 converts the quadratic function expression R b of the bright part invalid rate from the function approximation unit 313 into the video signal after the gradation conversion processing from the gain correction unit 302 is performed. Make corrections based on this.
  • the high luminance area adjustment unit 314 performs this correction based on the area of the high luminance area included in the video signal from the gain correction unit 302.
  • the high luminance region means a pixel having a predetermined threshold value or more such as 2800 when the gradation level of the signal is 12 bits (dynamic range: 0 to 4095).
  • FIG. 9 shows a correction b of the quadratic function R of the bright part invalidity ratio based on the area ratio of such a high luminance region.
  • the high brightness area adjustment unit 314 has a ratio of 50% based on the case where the ratio of the area of the high brightness area included in the video signal is 30% as shown in FIG. , 70% to increase the quadratic function R by a predetermined amount.
  • High-sensitivity adjustment section 308 second-order function equation of dark area invalidity ratio corrected by 308 and high-luminance area d
  • the quadratic function expression R of the bright part invalidity ratio corrected by the adjustment unit 314 is the exposure amount calculation unit 315 b
  • the exposure amount calculation unit 315 receives 2 from the high sensitivity range adjustment unit 308.
  • the exposure EV at the intersection of the quadratic function R and the quadratic function R from the high-intensity adjustment section 314 is db
  • the calculated exposure amount EV is set as the appropriate exposure amount EV.
  • the control unit 113 controls the exposure amount calculation unit 315 to determine the aperture value of the aperture 101 based on the appropriate exposure amount EV. And the CCD 102 electronic shutter speed.
  • the noise estimation unit 301 includes a gain calculation unit 400, a standard value assigning unit 401, a lookup table unit 402, and an average calculation unit 403.
  • the extracting unit 300 is connected to the average calculating unit 403.
  • the average calculation unit 403, the gain calculation unit 400, and the standard value assigning unit 401 are connected to the lookup table unit 402, respectively.
  • Look-up table unit 402 is connected to gain correction unit 302.
  • control unit 113 is bi-directionally connected to the gain calculation unit 400, the standard value assigning unit 401, the lookup table unit 402, and the average calculation unit 403, and controls them. .
  • the extraction unit 300 uses the pixel of interest P of the video signal corresponding to the three exposure amounts from the nota 105.
  • a predetermined size area including mn is sequentially read and transferred to the average calculation unit 403.
  • the average calculation unit 403 includes a predetermined size that includes the target pixel P.
  • the average value AV is calculated for the size area, and the calculated average value AV is used as the lookup table section.
  • the gain calculation unit 400 obtains the amplification amount in the amplification unit 103 based on the ISO sensitivity transferred from the control unit 113 and the information related to the exposure condition, and transfers it to the lookup table unit 402.
  • control unit 113 acquires temperature information of CCD 102 from temperature sensor 115, and transfers the acquired temperature information to lookup table unit 402.
  • the lookup table unit 402 calculates the average value AV from the average calculation unit 403 and the gain calculation.
  • the amount of noise N is output.
  • the look-up table unit 402 is a look-up table in which the relationship among temperature, signal value level, gain, and noise amount is recorded, and is described in, for example, Japanese Patent Application Laid-Open No. 2005-175718. It was constructed by means such as
  • Lookup table section 402 uses the calculated noise amount N and average value AV as gain compensation mn mn
  • the standard value assigning unit 401 has a function of providing a standard value for a parameter when at least one parameter of temperature and gain cannot be obtained.
  • Embodiment 1 it is possible to appropriately capture the dynamic range of the entire screen, and not only the main subject but also the background portion can be combined with the space-nominal gradation conversion processing. It is possible to obtain high-quality video signals that effectively utilize the entire dynamic range including the signal.
  • the transition of the invalid pixel in the dark part including the gradation conversion process and the noise characteristic, and the invalid pixel in the bright part including the gradation conversion process and the reference white are included. Since the movement is modeled by a functional expression, it is possible to control the exposure amount with high accuracy and to set it automatically, and to improve the operability of the camera system.
  • the power for estimating the amount of noise in units of pixels is not necessarily limited to such a configuration.
  • it may be configured to estimate the noise amount in block area units of a predetermined size.
  • the noise amount is acquired from the look-up table unit 402 using the average value of the block region, and this noise amount is commonly used for all the pixels in the block region. If such a configuration is adopted, noise amount estimation Since the processing can be thinned out, the processing can be speeded up.
  • the conversion characteristic calculation unit 106 is used as a conversion characteristic calculation unit at the time of pre-imaging and also as a part of a gradation conversion unit at the time of main imaging.
  • the present invention is not limited to this, and it may be provided independently for pre-imaging and actual imaging.
  • FIGS. 11 to 19 show Embodiment 2 of the present invention
  • FIG. 11 is a block diagram showing the configuration of the camera system
  • FIG. 12 is a diagram showing the configuration of a Bayer-type primary color filter
  • FIG. Is a diagram showing the configuration of the color difference line sequential complementary color filter
  • FIG. 14 is a block diagram showing the configuration of the exposure control unit
  • FIG. Fig. 16 is a diagram showing 13 areas a to a in split photometry
  • Fig. 18 is a diagram showing an example of the configuration of an external IZF unit that uses a slider bar for exposure adjustment
  • Fig. 19 is an external that uses a push button for exposure adjustment. It is a figure which shows the structural example of an IZF part.
  • the camera system shown in FIG. 11 is obtained by partially changing the camera system shown in FIG. 1 of the first embodiment described above. That is, this camera system includes a pre-white balance unit 501, a YZC separation unit 503 that is a first YZC separation unit and a second YZC separation unit, and a saturation enhancement unit, in addition to the force camera system shown in FIG. 504 and a YZC combining unit 505 are added, and the CCD 102 is replaced with a color CCD 500 serving as a color image sensor, and the exposure control unit 107 is replaced with an exposure control unit 502 serving as an exposure control unit.
  • Other basic configurations are the same as those in the first embodiment, and the same components are denoted by the same names and reference numerals.
  • the color video signal photographed through the lens system 100, the aperture 101, and the color CCD 500 is transferred to the amplifying unit 103.
  • Buffer 105 is connected to pre-white balance unit 501, YZC separation unit 503, and in-focus detection unit 108.
  • the pre-white balance unit 501 is connected to the amplification unit 103.
  • the exposure control unit 502 is connected to the aperture 101, the color CCD 500, and the amplification unit 103, respectively.
  • YZC separation section 503 is connected to conversion characteristic calculation section 106, gradation conversion section 110, exposure control section 502, and saturation enhancement section 504, respectively.
  • Conversion characteristic calculation unit 106 is connected to exposure control unit 502 and gradation conversion unit 110, respectively.
  • the tone conversion unit 110 and the saturation enhancement unit 504 are connected to the YZC synthesis unit 505, respectively.
  • the YZC synthesis unit 505 is connected to the signal processing unit 111.
  • the control unit 113 is also connected bidirectionally to the pre-white balance unit 501, the exposure control unit 502, the YZC separation unit 503, the saturation enhancement unit 504, and the YZC composition unit 505, and also controls them. It is like that.
  • a signal from the temperature sensor 115 arranged in the vicinity of the color CCD 500 is connected to the control unit 113.
  • the subject image power color imaged through the lens system 100 and the aperture 101 is photoelectrically converted by the CCD 500 and output as an analog color video signal.
  • the analog color video signal is amplified in consideration of ISO sensitivity and white balance as described later by the amplification unit 103, and then converted into a digital color video signal by the AZD conversion unit 104. It is stored in the buffer 105.
  • the color CCD 500 is a single-plate image sensor in which a Bayer-type primary color filter is disposed on the front surface. Further, as in the first embodiment, the image sensor is not limited to CCD, and a CMOS or other image sensor may be used.
  • the Bayer-type primary color filter as shown in Fig. 12 has 2 X 2 pixels as a basic unit, and red (R) and blue (B) at diagonal pixel positions in this basic unit.
  • One filter and a green (G) filter are arranged at the remaining diagonal pixel positions.
  • the video signal in the noffer 105 is transferred to the in-focus detection unit 108 and the pre-white balance unit 501, respectively.
  • the pre-white balance unit 501 integrates the signals within the predetermined level range of the video signals stored in the buffer 105 for each color signal (that is, adds them cumulatively). Thus, the simple white balance coefficient is calculated.
  • the pre-white balance unit 501 transfers the calculated coefficient to the amplifying unit 103, and multiplies the gain for each color signal to perform white balance.
  • the exposure control unit 502 After the white balance processing by the pre-white balance unit 501 and the focusing processing by the in-focus detection unit 108 are completed, the exposure control unit 502 performs a plurality of types based on the control of the control unit 113. Set different exposure amounts. Then, based on each set exposure amount, a plurality of pre-images are performed.
  • pre-imaging with two types of exposure amounts is assumed.
  • Video signals picked up with these plural types of exposure amounts are transferred to the notifier 105 as described above.
  • the color video signal stored in the buffer 105 is transferred to the YZC separation unit 503.
  • the YZC separation unit 503 Based on the control of the control unit 113, the YZC separation unit 503 generates a color video signal having three plate forces of R, G, and B by a known interpolation process. Further, based on the control of the control unit 113, the YZC separation unit 503 separates the three-plate color video signal into the luminance signal Y and the color difference signals Cb and Cr as shown in the following formula 10.
  • YZC separation section 503 transfers the luminance signal Y calculated in this way to conversion characteristic calculation section 106 and exposure control section 502, respectively.
  • the conversion characteristic calculation unit 106 Based on the control of the control unit 113, the conversion characteristic calculation unit 106 sequentially reads the luminance signal Y corresponding to the two types of exposure amounts from the YZC separation unit 503, and performs conversion used for the space variant tone conversion processing. Calculate the characteristics. The conversion characteristic calculation unit 106 transfers the calculated conversion characteristic to the exposure control unit 502 for the pre-imaging.
  • the exposure control unit 502 Based on the control of the control unit 113, the exposure control unit 502 sequentially outputs the luminance signal for the two types of exposure amounts from the YZC separation unit 503, and the conversion characteristics for the two types of exposure amounts from the conversion characteristic calculation unit 106. Reading is performed to calculate the exposure amount in actual imaging.
  • the color image signal power S is transferred to the S buffer 105 in the same manner as the pre-imaging.
  • This main imaging includes the exposure amount obtained by the exposure control unit 502, the focusing condition obtained by the focus detection unit 108, and the white balance coefficient obtained by the pre-white balance unit 501.
  • the conditions at the time of shooting are transferred to the control unit 113.
  • the YZC separation unit 503 Based on the control of the control unit 113, the YZC separation unit 503 performs a known interpolation process on the color video signal of the main image as in the case of the pre-imaging, and further calculates the luminance based on the above-described Expression 10. Calculate signal Y and color difference signals Cb, Cr.
  • the YZC separation unit 503 transfers the luminance signal of the calculated values to the conversion characteristic calculation unit 106 and the gradation conversion unit 110, and the color difference signal to the saturation enhancement unit 504.
  • the conversion characteristic calculation unit 106 reads the luminance signal of the main image from the YZC separation unit 503, and calculates the conversion characteristic used for the space-norety tone conversion processing. .
  • the conversion characteristic calculation unit 106 transfers the calculated gradation conversion characteristic to the gradation conversion unit 110 in the main imaging.
  • the gradation conversion unit 110 Based on the control of the control unit 113, the gradation conversion unit 110 reads the luminance signal Y of the main imaging from the YZC separation unit 503 and the conversion characteristic from the conversion characteristic calculation unit 106, respectively. Performs space-nominal gradation conversion processing for the issue. Then, the gradation converting unit 110 transfers the luminance signal Y ′ subjected to the gradation conversion process to the YZC combining unit 505.
  • the saturation enhancement unit 504 reads the color difference signals Cb and Cr of the main imaging from the YZC separation unit 503 and performs a known saturation enhancement process.
  • the saturation enhancement unit 504 transfers the color difference signals Cb ′ and Cr ′ subjected to the saturation enhancement processing to the YZC synthesis unit 505.
  • the YZC composition unit 505 Based on the control of the control unit 113, the YZC composition unit 505 outputs the luminance signal Y ′ subjected to the gradation conversion process from the gradation conversion unit 110 and the color difference subjected to the saturation enhancement process from the saturation enhancement unit 504.
  • the signals Cb ′ and Cr ′ are read, converted into RGB signals (R ′ G ′ B, signal) based on the following formula 11, and transferred to the signal processing unit 111.
  • the signal processing unit 111 performs known edge enhancement processing, compression processing, etc. on the R ′ G ′ B ′ signal from the YZC synthesis unit 505, and transfers the processed signal to the output unit 112. .
  • the output unit 112 records and stores the color video signal output from the signal processing unit 111 in a recording medium such as a memory card.
  • the exposure control unit 502 shown in Fig. 14 is obtained by partially changing the exposure control unit 107 shown in Fig. 6 of the first embodiment. That is, the exposure control unit 502 includes an in-focus position estimation unit 600 that also serves as an exposure amount calculation unit, an image quality adjustment unit, and a shooting situation estimation unit, and an exposure amount calculation unit and an image quality adjustment unit.
  • the exposure control unit 502 includes an in-focus position estimation unit 600 that also serves as an exposure amount calculation unit, an image quality adjustment unit, and a shooting situation estimation unit, and an exposure amount calculation unit and an image quality adjustment unit.
  • Subject distribution estimation unit 601 that also serves as a shooting situation estimation unit, exposure amount calculation unit, image quality adjustment unit, night scene estimation unit 602 that also serves as a shooting state estimation unit, exposure amount calculation unit, image quality adjustment unit, and shooting situation
  • An integration unit 603 that also serves as an estimation unit
  • a shooting state adjustment unit 604 that also serves as an exposure amount calculation unit, an image quality adjustment unit, and a shooting state adjustment unit, and an exposure amount calculation unit, an image quality adjustment unit, and a shooting state estimation unit
  • a high-sensitivity range adjustment unit 308 is added to the photometric evaluation unit 607, and the dark area invalidity ratio that also serves as the exposure amount calculation means, image quality adjustment means, shooting condition adjustment means, and manual adjustment means
  • the adjustment unit 605 is replaced with a high-intensity area adjustment unit 314 with a bright part invalidity rate adjustment unit 606 that also serves as an exposure amount calculation unit, an image quality adjustment unit, a shooting state adjustment unit, and a manual adjustment unit.
  • Extraction unit 300 is connected to noise estimation unit 301, gain correction unit 302, and photometric evaluation unit 607, respectively.
  • the gain correction unit 302 is connected to the noise range setting unit 303, the dark part invalid pixel determination unit 304, and the bright part invalid pixel determination unit 310, respectively.
  • the in-focus position estimation unit 600, the subject distribution estimation unit 601, and the night view estimation unit 602 are connected to the integration unit 603, respectively.
  • the integration unit 603 is connected to the shooting situation adjustment unit 604.
  • the photographing condition adjustment unit 604 and the function approximation unit 307 are connected to the dark part invalid rate adjustment unit 605, respectively.
  • the shooting state adjustment unit 604 and the function approximation unit 313 are connected to the bright part invalid rate adjustment unit 606, respectively.
  • the dark part invalid rate adjusting unit 605 and the bright part invalid rate adjusting unit 606 are connected to the exposure amount calculating unit 315, respectively.
  • control unit 113 includes a focus position estimation unit 600, a subject distribution estimation unit 601, a night scene estimation unit 602, an integration unit 603, a shooting state adjustment unit 604, a dark part invalid rate adjustment unit 605, and a bright part invalid rate adjustment.
  • the adjusting unit 606 and the photometric evaluation unit 607 are also connected in both directions, and these are also controlled.
  • the control unit 113 controls the exposure amount calculation unit 315 and controls the aperture 101 in the same manner as in the first embodiment described above. Is set to a predetermined aperture value, the color CCD 500 is set to a predetermined electronic shutter speed, and the amplification unit 103 is set to a predetermined amplification amount corresponding to the set ISO sensitivity.
  • control unit 113 controls the exposure amount calculation unit 315 after the focusing process by the focusing point detection unit 108 and the white balance processing by the pre-white balance unit 501 are completed as described above.
  • a plurality of different exposure amounts are set. In the present embodiment, as described above, it is assumed that shooting is performed with two types of exposure amounts.
  • the aperture 101 is set to a predetermined aperture value, and the amplifying unit 103 is set to the set ISO sensitivity.
  • the electronic CCD speed of the color CCD 500 is set to 1Z30 and 1Z200 seconds respectively for the corresponding predetermined amplification amount, two types of exposure can be realized.
  • the function approximating unit 307 obtains two types of dark portion invalid rates and two types of exposure amounts (EV) from the dark portion invalid rate calculation unit 306. From the above, the relationship between the two is defined as a linear function R of the dark area invalid rate, and d as shown in Equation 12 below.
  • the function approximating unit 307 transfers the function formula shown in Formula 12 to the dark part invalid rate adjusting unit 605.
  • the function approximating unit 313 performs two types of brightness signal invalidity rate calculation units 312 from the luminance signal related to the video signal obtained by the above-described two types of exposure based on the control of the control unit 113. From the light part invalidity rate and the two types of exposure dose (EV), the relationship between the two is expressed as a linear function expression R of the light part invalidity ratio as shown in Equation 13 below.
  • the function approximating unit 313 transfers the function formula as shown in Formula 13 to the bright part invalid rate adjusting unit 606.
  • Figure 15 shows the linear function R of the dark area invalidity ratio as shown in Equation 12 and d as shown in Equation 13.
  • the exposure amount EV corresponding to the intersection of the two linear functions balances the number of pixels invalid in the dark portion and the number of pixels invalid in the bright portion EV. It becomes.
  • the weight of the balance between the dark part and the bright part varies depending on the situation at the time of shooting. Therefore, in the present embodiment, the balance between the dark part and the bright part is automatically corrected by estimating the situation at the time of shooting.
  • the in-focus position estimation unit 600 is connected to the in-focus detection unit 10 via the control unit 113. Get information on 8 in-focus distances.
  • the focus position estimation unit 600 classifies the AF information into three types based on the acquired focus distance, for example, landscape (5 m or more), portrait (lm to 5 m), and close-up m or less.
  • landscape 5 m or more
  • portrait lm to 5 m
  • close-up m or less To the integration unit 603.
  • the photometric evaluation unit 607 reads the luminance signal Y at the time of actual photographing from the extraction unit 300, and calculates information related to the photometric evaluation.
  • the subject distribution estimation unit 601 acquires the brightness value a as information relating to photometric evaluation via the control unit 113. Thereafter, the subject distribution estimation unit 601 calculates the following parameters S to S based on the luminance value a of each region as shown in Expression 14 to Expression 16, respectively.
  • Equation 14 and Equation 15 is an absolute value
  • symbol max () on the right side of Equation 15 and Equation 16 is a function that returns the maximum value among the numbers in parentheses. It is shown.
  • the second term on the right side of Equation 16 represents the average luminance level for all photometric areas (screen). This represents the overall average brightness level.
  • the parameter S is the luminance difference between the left and right of the center, and S is the upper center and
  • the one with the larger luminance difference from the left or right side, S is the larger one of the upper left or right side of the outer periphery
  • the subject distribution estimation unit 601 converts the three parameters S 1, S 2, S calculated in this way into A E information is transferred to the integration unit 603.
  • the night view estimation unit 602 acquires information on photometric evaluation via the control unit 113.
  • the night scene estimation unit 602 estimates that the night scene shooting is performed when the average luminance level of the entire screen is equal to or less than a predetermined threshold, and otherwise estimates that the night scene shooting is not performed.
  • the night view estimation unit 602 transfers the estimation result as described above to the integration unit 603 as night view photographing information.
  • the integration unit 603 is configured to perform shooting based on the AF information from the focus position estimation unit 600, the AE information from the subject distribution estimation unit 601 and the night view shooting information from the night view estimation unit 602. The situation is estimated as shown in Fig.17.
  • the integration unit 603 first determines the situation at the time of shooting as a night view when the information from the night view estimation unit 602 is estimated to be night view shooting.
  • the integration unit 603 further uses the AF information and the AE information to perform shooting. Estimate the situation.
  • This parameter S determines the difference between the top of the screen and the average value of the entire screen.
  • the parameter S of the AE information is further set.
  • This parameter S is the magnitude of the difference between the upper center and its left and right.
  • V Since V is selected, the value decreases when shooting multiple people during portrait shooting, and increases when shooting a single person. Therefore, if the parameter S is greater than the second predetermined value Th, one person is photographed.
  • the AE information parameter S Is compared with a third predetermined value Th. This parameter S is the difference between the left and right of the central area
  • the value decreases when shooting a single object during close-up shooting, and increases when shooting multiple objects. Therefore, if the parameter S is greater than the third predetermined value Th, close-up photography of a single object,
  • the integration unit 603 transfers the imaging situation estimated in this way to the imaging situation adjustment unit 604.
  • the shooting condition adjustment unit 604 is based on the shooting situation from the integration unit 603, and the dark function invalidity ratio linear function R from the function approximation unit 307 and the bright part invalidity rate 1 from the function approximation unit 313.
  • Next function expression d is based on the shooting situation from the integration unit 603, and the dark function invalidity ratio linear function R from the function approximation unit 307 and the bright part invalidity rate 1 from the function approximation unit 313.
  • Embodiment 2 it is possible to appropriately capture the dynamic range of the entire screen, and not only the main subject but also the background portion can be combined with the space-nominal gradation conversion processing. It is possible to obtain high-quality video signals that effectively utilize the entire dynamic range including the signal.
  • a single-plate CCD having a Bayer-type primary color filter disposed on the front surface is assumed as a color image sensor.
  • the color image sensor needs to be limited to an image sensor having such a configuration. There is no.
  • the complementary color filter of the color difference line sequential method shown in FIG. 13 uses magenta (Cy) and yellow (Ye) in the same line of 2 X 2 pixels, with 2 X 2 pixels as a basic unit. Mg) and green (G) are arranged on the same other line of 2 X 2 pixels. However, the positions of magenta (Mg) and green (G) are configured to be reversed for each line.
  • the force that automatically estimates the photographing situation and adjusts which of the dark part and the bright part is important is not limited to such a configuration.
  • it can be configured so that the user can adjust how much of the dark part noise or the bright part whiteout is important.
  • a liquid crystal 700 For example, on the back side of the camera body in the camera system, as shown in FIG. 18, a liquid crystal 700, a liquid crystal on Z off switch 701, a numeric key 702, a selection key 703, and a confirmation switch 704 are displayed.
  • a numeric key 702 For example, on the back side of the camera body in the camera system, as shown in FIG. 18, a liquid crystal 700, a liquid crystal on Z off switch 701, a numeric key 702, a selection key 703, and a confirmation switch 704 are displayed.
  • a numeric key 702 For example, on the back side of the camera body in the camera system, as shown in FIG. 18, a liquid crystal 700, a liquid crystal on Z off switch 701, a numeric key 702, a selection key 703, and a confirmation switch 704 are displayed.
  • a numeric key 702 For example, on the back side of the camera body in the camera system, as shown in FIG. 18, a liquid crystal 700, a liquid crystal on Z off switch 701,
  • the liquid crystal 700 is a display device capable of performing monitor display of a subject to be photographed, confirmation display of an image after photographing, menu display relating to various settings of the camera system, and the like.
  • Liquid crystal on Z off switch 701 is an operation switch for switching the display of the liquid crystal 700 between on and off, and is a toggle switch that switches between on and off each time it is pressed.
  • a numeric key 702 is a numeric key switch for inputting a numeric value to the camera system.
  • the selection key 703 is an operation member that can be operated in the cross direction for moving each item displayed on the menu or moving a slider bar as described later.
  • the confirmation switch 704 is a switch for confirming the numerical value input by the numerical key 702 and the item moved or selected by the selection key 703. Next, the operation of the external IZF unit 114 as shown in FIG. 18 will be described.
  • the user can display a menu related to AE control.
  • the balance information set by the external IZF unit 114 in this way is transferred to the exposure control unit 502 via the control unit 113, and the exposure control unit 502 corrects the balance information.
  • the external IZF unit 114 shown in FIG. 19 is configured to be able to easily adjust the emphasis between the dark part and the bright part by a one-button format.
  • the external IZF unit 114 has a configuration shown in FIG. 18 and a dark part adjustment switch 705 for performing input for placing importance on the dark part, and a bright part adjustment for carrying out input for placing importance on the bright part. Switch 706 is added.
  • Information input from the external IZF unit 114 in this way is transferred to the exposure control unit 502 via the control unit 113, and the exposure control unit 502 corrects the information by a predetermined amount.
  • the dark portion adjustment switch 705 or the bright portion adjustment switch 706 is simply pressed once to make the adjustment, but if any switch is pressed once, the liquid crystal 700 is displayed in FIG.
  • the slider bar as shown in Fig. 8 is displayed (for example, by superimposition display), and each time the dark area adjustment switch 705 is pressed, the slider bar moves by a predetermined amount in the direction that places importance on the dark area. Each time the bright portion adjustment switch 706 is pressed, the slider bar may be moved by a predetermined amount in a direction in which the bright portion is important. Then, the confirmation can be performed by simply pressing the confirmation switch 704, or may be automatically confirmed when a predetermined time elapses after the operation of the dark part adjustment switch 705 or the bright part adjustment switch 706. Further, it is further preferable that the slider bar as shown in FIG. 18 automatically disappears from the display of the liquid crystal 700 when the confirmation switch 704 is operated or a predetermined time elapses. If such a configuration is adopted, there is an advantage that detailed adjustment is possible while the operation is simple.
  • pre-imaging Prior to the main imaging, pre-imaging is performed a plurality of times with different exposure amounts, and the conversion characteristics used for gradation conversion processing are calculated for the signals related to each video signal obtained by the pre-imaging, and each video signal is calculated.
  • the exposure amount of the main imaging is determined based on the signal, the exposure amount, and the conversion characteristics, the main imaging is performed based on the determined exposure amount, and the tone conversion processing is performed on the signal relating to the video signal obtained by the main imaging. I do.
  • pre-imaging is performed and the exposure conditions that maximize the effective dynamic range are obtained based on the conversion characteristics used in the gradation conversion process, so that the dynamic range of the entire screen is appropriately captured. And high-quality video signals can be obtained.
  • pre-imaging Prior to main imaging, pre-imaging is performed multiple times with different exposure amounts, luminance signals are extracted for each video signal obtained by pre-imaging, and conversion characteristics used for gradation conversion processing are calculated. Based on the luminance signal, exposure amount, and conversion characteristics, determine the exposure amount of the main imaging, perform the main imaging based on the determined exposure amount, extract the luminance signal from the video signal obtained by the main imaging, A gradation conversion process is performed on the extracted luminance signal.
  • a gradation conversion process is performed on the extracted luminance signal.
  • the amount of change in exposure during pre-imaging is set based on the dynamic range of the image sensor . For this reason, since there is less overlap between signals during pre-imaging, it is possible to cover a wide dynamic range with a small number of pre-images, so the processing speed until determining the exposure amount is increased. be able to.
  • the reduced signal is divided into a plurality of regions, a gradation conversion curve is calculated for each region, and the signal value of the pixel of interest in the reduced signal is based on the plurality of gradation conversion curves related to the plurality of regions.
  • Each tone conversion is performed, and a signal value after the tone conversion processing of the target pixel is calculated by performing an interpolation operation from a plurality of signal values after the tone conversion, and the signal value before and after the tone conversion processing is calculated.
  • the conversion characteristic by the key conversion process is calculated, and the conversion characteristic for the original signal is calculated by enlarging the conversion characteristic.
  • the same space-sensitive gradation conversion characteristics as those of the main imaging are obtained for the signal related to the video signal obtained by the pre-imaging, so that the exposure amount setting accuracy of the main imaging is improved. can do.
  • the processing can be performed at high speed.
  • the number of ineffective pixels in the dark portion with respect to the exposure amount and the number of ineffective pixels in the bright portion with respect to the exposure amount are modeled as functions, respectively.
  • the exposure amount for the main imaging is set so that the number of pixels to be minimized. As described above, since the exposure amount is set so as to minimize the number of pixels that are invalid in the bright part and the dark part, it is possible to obtain a subjectively preferable video signal that effectively uses the dynamic range of the entire screen. Can do. In addition, since the exposure amount is automatically set, the camera system is easy to operate.
  • the number of invalid pixels in the bright part with respect to the exposure amount is modeled as a function. In this way, the transition of the invalid pixel in the bright part is modeled in consideration of the gradation conversion process and the reference white color. A high quality video signal can be obtained.
  • the number of ineffective pixels in the dark portion with respect to the exposure amount or the number of ineffective pixels in the bright portion with respect to the exposure amount is modeled using a linear function equation or a quadratic function equation.
  • the linear function formula When the linear function formula is used, the number of shots required for pre-imaging can be reduced, and the processing speed can be increased.
  • a quadratic function equation when a quadratic function equation is used, the accuracy of the model can be improved, and the exposure amount can be controlled with high accuracy.
  • the exposure amount of the main imaging is set so that the number of invalid pixels in the dark portion and the number of invalid pixels in the bright portion are equal. For this reason, it is possible to perform imaging with good noise between the dark part and the bright part, and the dynamic range of the entire screen can be appropriately captured.
  • Correction is performed on at least one of the relationship between the number of invalid pixels in the dark portion with respect to the exposure amount and the relationship between the number of invalid pixels in the bright portion with respect to the exposure amount. For this reason, it is possible to adjust which of the dark part and the bright part is emphasized, and the degree of freedom in photographing is improved.
  • the relationship between the number of invalid pixels in the bright area and the exposure amount is corrected based on the area information of the high luminance area. As described above, since the relationship between the number of invalid pixels in the bright area and the exposure amount is corrected based on the area information of the high luminance area, the influence of the whiteout in the high luminance area can be reduced. Thus, a subjectively preferable video signal can be obtained. Further, since the correction is automatically performed, the operability of the camera system can be improved.
  • the integrated shooting situation is estimated, and from the estimated shooting situation, the relationship between the number of invalid pixels in the dark area with respect to the exposure amount and the relationship between the number of invalid pixels in the bright part with respect to the exposure amount Correction is performed on at least one of the above.
  • the dark part or the bright part is to be emphasized in accordance with the shooting situation, it is possible to obtain a high-quality video signal that effectively uses the dynamic range of the entire screen.
  • the adjustment is performed automatically, the operability of the camera system can be improved.
  • the signal is reduced and divided into a plurality of areas, a gradation conversion curve is calculated for each area, gradation conversion is performed using the gradation conversion curve for each area, and interpolation is performed to perform gradation conversion.
  • the signal value after the conversion process is calculated in pixel units, the conversion characteristics by the gradation conversion process are calculated from the signal values before and after the gradation conversion process, and the conversion characteristics for the original signal are calculated by enlarging this. Then, gradation conversion processing is performed.
  • the space-nominal gradation conversion process is performed, it is possible to obtain a high-quality video signal that effectively utilizes the entire dynamic range including not only the main subject but also the background portion.
  • the processing can be performed at high speed. Furthermore, since the tone conversion curve is converted into pixel units by interpolation, a high-quality video signal in which continuity between regions is maintained can be obtained.
  • the gradation conversion curve is calculated using the cumulative histogram. Since the tone conversion curve is calculated based on the cumulative histogram, it is possible to obtain a high-quality video signal that effectively utilizes the dynamic range of the scene from the dark part to the bright part.
  • a single-plate image sensor having a Bayer primary color filter or a color difference line sequential complementary color filter arranged on the front surface is used. For this reason, it can be applied to many camera systems that have high compatibility with conventional imaging units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　ＣＣＤ（１０２）からの映像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムにおいて、制御部（１１３）が本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御し、変換特性算出部（１０６）がプリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出し、露光制御部（１０７）がプリ撮像により得られた各映像信号に係る信号とプリ撮像に用いた露光量と変換特性とに基づき本撮像の露光量を決定し、制御部（１１３）が露光量に基づき本撮像を行うように制御し、階調変換部（１１０）が本撮像により得られた映像信号に係る信号に関して階調変換処理を行うカメラシステム。

Description

明 細 書
カメラシステム
技術分野
[0001] 本発明は、撮像素子からの映像信号に対して階調変換処理と組み合わせた露光 量制御を行うカメラシステムに関する。
背景技術
[0002] 従来のカメラシステムにおける露光量制御としては、中央部重点測光，評価測光， 分割測光などによる測光結果に基づくものがある。
[0003] 例えば、特開 2001— 54014号公報には、分割測光と階調変換特性の変更とを組 み合わせる技術が記載されている。これにより、主要被写体に関して適正露光が得ら れ、かつ良好な階調表現の映像信号が得られるものとなつて 、る。
[0004] 一方、局所領域毎に異なる階調変換処理を行う技術、一般にスペースバリアントな 階調変換処理と呼ばれる技術がある。このような技術としては、例えば、特許 34652 26号に係る公報に記載されたものが挙げられる。該公報には、テクスチャ情報に基 づいて映像信号を複数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲 線を求めて階調変換処理を行う技術が記載されている。これにより、主要被写体のみ ならず、背景部に関しても適切な露光となるように変換処理されるために、高品位な 映像信号を得ることができる。
[0005] また、異なる露光量の撮像を複数回組み合わせることにより、広ダイナミックレンジ の被写体情報をそのまま取り込む技術がある。このようなものの一例として、特開 200 2— 223387号公報には、複数回の異なる露光量の撮影条件を本撮像に先立つプリ 撮像の情報に基づいて制御する技術が記載されている。これにより、多様なダイナミ ックレンジの被写体に対して適切な露光条件を設定することができ、被写体情報を無 駄なく取り込むことが可能となっている。
[0006] さらに、特開 2005— 175718号公報には、輝度信号と色差信号とに関するノイズ 量を動的に推定して、高品位なノイズ低減処理を行う技術が記載されて 、る。
[0007] 上記特開 2001— 54014号公報に記載されたものでは、主要被写体に関しては適 正露光かつ良好な階調表現が可能となるが、その他の背景部に関しては主要被写 体に従属する形で制御されるために、適切な制御が行われる保証がな ヽと 、う課題 がある。
[0008] また、上記特許 3465226号に記載のものでは、撮像時に有効に取り込まれた領域 に関しては階調変換処理により良好な映像信号が得られるが、明部の白飛びや暗部 の黒つぶれなどの撮像時に取り込まれな力つた領域に関しては補正することができ ないという課題がある。
[0009] さらに、上記特開 2002— 223387号公報に記載のものでは、被写体のダイナミック レンジに適した撮像が行われるが、後段の階調変換処理および暗部のノイズの影響 を考慮した最適な露光量制御が行われて 、な 、と 、う課題がある。
[0010] そして、特開 2005— 175718号公報に記載のものでは、ノイズ低減処理と、階調 変換処理および露光量の制御とが独立しているために、相互を最適に活用すること ができな!/、と!/、う課題がある。
[0011] 本発明は上記事情に鑑みてなされたものであり、主要被写体のみならず背景部も 含めた全体のダイナミックレンジを適切に取り込んで、シーンの有するダイナミックレ ンジを有効に活用した高品位な映像信号を得ることができるカメラシステムを提供す ることを目的としている。
[0012] また、本発明は、明部の白飛びや暗部のノイズの影響を考慮した主観的に好ましい 映像信号を得ることができるカメラシステムを提供することを目的として ヽる。
発明の開示
課題を解決するための手段
[0013] 上記の目的を達成するために、本発明によるカメラシステムは、撮像素子からの映 像信号に対して階調変換処理と組み合わせた露光量制御を行うカメラシステムにお V、て、本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御するプリ撮 像制御手段と、上記プリ撮像により得られた各映像信号に係る信号に対して階調変 換処理に用いる変換特性を算出する変換特性算出手段と、上記プリ撮像により得ら れた各映像信号に係る信号と上記プリ撮像に用いた露光量と上記変換特性とに基 づき本撮像の露光量を決定する露光制御手段と、上記露光量に基づき本撮像を行 うように制御する本撮像制御手段と、上記本撮像により得られた映像信号に係る信号 に関して階調変換処理に用いる変換特性を算出し階調変換処理を行う階調変換手 段と、を具備したものである。
図面の簡単な説明
[図 1]本発明の実施形態 1におけるカメラシステムの構成を示すブロック図。
[図 2]上記実施形態 1において、プリ撮像モードにおける 3種類の露光量を示す線図
[図 3]上記実施形態 1における変換特性算出部の構成を示すブロック図。
[図 4]上記実施形態 1において、変換特性算出部の分割部における縮小信号の領域 への分割を示す図。
[図 5]上記実施形態 1において、注目画素と近傍 4領域の各中心との間の距離 d〜d
1 4 を示す図。
[図 6]上記実施形態 1における露光制御部の構成を示すブロック図。
[図 7]上記実施形態 1において、露光量に対する明部の無効率および暗部の無効率 と適正露光量とを示す線図。
[図 8]上記実施形態 1において、高感度域調整部による ISO感度に基づく暗部無効 率の補正の様子を示す線図。
[図 9]上記実施形態 1において、高輝度域調整部による高輝度域の面積比に基づく 明部無効率の補正の様子を示す線図。
[図 10]上記実施形態 1におけるノイズ推定部の構成を示すブロック図。
[図 11]本発明の実施形態 2におけるカメラシステムの構成を示すブロック図。
[図 12]上記実施形態 2におけるべィヤー（Bayer)型原色フィルタの構成を示す図。
[図 13]上記実施形態 2における色差線順次型補色フィルタの構成を示す図。
[図 14]上記実施形態 2における露光制御部の構成を示すブロック図。
[図 15]上記実施形態 2において、露光量に対する明部の無効率および暗部の無効 率と適正露光量とを示す線図。
[図 16]上記実施形態 2において、分割測光における 13のエリア a〜a を示す図。
1 13
[図 17]上記実施形態 2において、撮影状況の推定と画質調整との関係を示す図表。 [図 18]上記実施形態 2において、露光量調整にスライダーバーを用いる外部 IZF部 の構成例を示す図。
[図 19]上記実施形態 2において、露光量調整にプッシュボタンを用いる外部 IZF部 の構成例を示す図。
発明を実施するための最良の形態
[0015] 以下、図面を参照して本発明の実施の形態を説明する。
[0016] [実施形態 1]
図 1から図 10は本発明の実施形態 1を示したものであり、図 1はカメラシステムの構 成を示すブロック図、図 2はプリ撮像モードにおける 3種類の露光量を示す線図、図 3 は変換特性算出部の構成を示すブロック図、図 4は変換特性算出部の分割部にお ける縮小信号の領域への分割を示す図、図 5は注目画素と近傍 4領域の各中心との 間の距離 d〜dを示す図、図 6は露光制御部の構成を示すブロック図、図 7は露光
1 4
量に対する明部の無効率および暗部の無効率と適正露光量とを示す線図、図 8は高 感度域調整部による ISO感度に基づく暗部無効率の補正の様子を示す線図、図 9 は高輝度域調整部による高輝度域の面積比に基づく明部無効率の補正の様子を示 す線図、図 10はノイズ推定部の構成を示すブロック図である。
[0017] まず、図 1を参照して、このカメラシステムの構成について説明する。
[0018] このカメラシステムは、レンズ系 100と、絞り 101と、 CCD102と、増幅部 103と、 A ZD変換部 104と、バッファ 105と、変換特性算出部 106と、露光制御部 107と、合 焦点検出部 108と、 AFモータ 109と、階調変換部 110と、信号処理部 111と、出力 部 112と、制御部 113と、外部 IZF部 114と、温度センサ 115と、を含んでいる。
[0019] レンズ系 100は、被写体の光学像を CCD102の撮像面へ結像するためのものであ る。
[0020] 絞り 101は、レンズ系 100により結像される被写体光束の通過範囲を規定すること により、 CCD102の撮像面に結像される光学像の明るさを変更するためのものである
[0021] CCD102は、結像される光学像を光電変換して、アナログの映像信号として出力 するための撮像素子である。なお、本実施形態においては、 CCD102として、白黒 用単板 CCD (モノクロ撮像素子）を想定している。また、撮像素子も、 CCD〖こ限るも のではなぐ CMOSやその他の撮像素子を用いてももちろん構わな 、。
[0022] 温度センサ 115は、この CCD102の近傍に配置されていて、該 CCD102の温度を 実質的に計測して、制御部 113へ出力するものである。
[0023] 増幅部 103は、 CCD102から出力される映像信号を増幅するためのものである。こ の増幅部 103による増幅量は、制御部 113の制御に基づき、露光制御部 107により 設定されるようになっている。
[0024] AZD変換部 104は、制御部 113の制御に基づき、 CCD102から出力され増幅部
103により増幅されたアナログの映像信号を、デジタルの映像信号に変換するため のものである。
[0025] バッファ 105は、 AZD変換部 104から出力されたデジタルの映像信号を一時的に 記憶するためのものである。
[0026] 変換特性算出部 106は、制御部 113の制御に基づき、プリ撮像モード時および本 撮像モード時にバッファ 105から映像信号を順次読み込んで、スペースノリアントな 階調変換処理に使用される変換特性を算出し、プリ撮像モード時には露光制御部 1 07へ、本撮像モード時には階調変換部 110へ、それぞれ転送する変換特性算出手 段であり、階調変換手段の一部を兼ねたものである。
[0027] 露光制御部 107は、制御部 113の制御に基づき、バッファ 105から複数種類の露 光量に対する映像信号を、変換特性算出部 106から該複数種類の露光量に対する 変換特性を、順次読み込んで、本撮像における露光量を算出する露光制御手段で ある。露光制御部 107は、算出した露光量に基づいて、絞り 101の絞り値や CCD10 2の電子シャツタ速度や増幅部 103の増幅率などを制御するようになっている。
[0028] 合焦点検出部 108は、プリ撮像モード時に、制御部 113の制御に基づき、バッファ 105に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大と なるように AFモータ 109を制御することにより、合焦信号を得るようにするものである
[0029] AFモータ 109は、合焦点検出部 108に制御されて、レンズ系 100に含まれる AFレ ンズを駆動するための駆動源である。 [0030] 階調変換部 110は、制御部 113の制御に基づき、バッファ 105から本撮像の映像 信号を、変換特性算出部 106から変換特性を、それぞれ読み込んで、映像信号に対 するスペースノ リアントな階調変換処理を行う階調変換手段，変換処理手段である。
[0031] 信号処理部 111は、制御部 113の制御に基づき、階調変換部 110から出力される 階調変換処理後の映像信号に対して公知のエッジ強調処理や圧縮処理などを行い 、処理後の信号を出力部 112へ転送するものである。
[0032] 出力部 112は、信号処理部 111から出力される映像信号を、メモリカードなどの記 録媒体へ記録して保存するものである。
[0033] 制御部 113は、例えばマイクロコンピュータなどにより構成されていて、増幅部 103 、 AZD変換部 104、変換特性算出部 106、露光制御部 107、合焦点検出部 108、 階調変換部 110、信号処理部 111、出力部 112、外部 IZF部 114と双方向に接続さ れており、これらを含むこのカメラシステム全体を制御するための制御手段である。こ の制御部 113は、本撮像制御手段，プリ撮像制御手段，暗部無効画素推定手段， 明部無効画素推定手段，露光量算出手段，閾値設定手段，ノイズ量推定手段，画 質調整手段，高輝度域調整手段，高感度域調整手段，撮影状況推定手段，手動調 整手段を兼ねたものとなっている。また、この制御部 113には、温度センサ 115から の信号が入力されるようになって!/、る。
[0034] 外部 IZF部 114は、このカメラシステムに対するユーザ力もの入力等を行うための 露光量算出手段，画質調整手段，インタフェース手段であり、電源のオン Zオフを行 うための電源スィッチ、撮影操作を開始するためのシャツタボタン、撮影モードやその 他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。 ユーザは、この外部 IZF部 114を介して、 2段式のシャツタボタンの 1段目の押圧によ るプリ撮像の開始入力、該シャツタボタンの 2段目の押圧による本撮像の開始入力を 行うことができるようになつている。さらに、ユーザは、この外部 IZF部 114を介して、 I SO感度などの撮影条件を設定することができるようになつている。そして、この外部 I ZF部 114は、入力された情報を、制御部 113へ出力するようになっている。
[0035] 次に、図 1に示したようなカメラシステムの作用を、映像信号の流れに沿って説明す る。 [0036] ユーザは、撮影を行う前に、外部 IZF部 114を介して ISO感度などの撮影条件を 予め設定する。
[0037] その後、ユーザが、外部 IZF部 114の 2段式スィッチでなるシャツタボタンを半押し すると、このカメラシステムがプリ撮像モードに入る。
[0038] すると、レンズ系 100および絞り 101を介して結像される被写体像力 CCD102に より光電変換され、アナログの映像信号として出力される。
[0039] このプリ撮像モードにおいては、制御部 113の制御に基づき、露光制御部 107が、 絞り 101を所定の絞り値に、 CCD102の電子シャツタ速度を所定の速度に、それぞ れ設定するようになっており、この条件下で撮像が行われる。
[0040] このような条件下で撮像され CCD102から出力されたアナログの映像信号は、増 幅部 103によって、ユーザにより設定された ISO感度に対応する所定の増幅量で増 幅される。
[0041] この増幅部 103により増幅された映像信号は、 AZD変換部 104によりデジタルの 映像信号に変換されて、バッファ 105へ転送され記憶される。
[0042] このバッファ 105内に記憶された映像信号は、まず、合焦点検出部 108へ転送され る。
[0043] 合焦点検出部 108は、映像信号に基づき、上述したようにエッジ強度を検出し、こ のエッジ強度が最大となるように AFモータ 109を制御して、合焦信号を得る。
[0044] 合焦処理が完了した後に、露光制御部 107は、制御部 113の制御に基づき、複数 種類の異なる露光量を設定する。そして、設定された各露光量に基づいて、複数枚 のプリ撮像が行われるようになって!/、る。
[0045] ここに、本実施形態においては、 3種類の露光量による撮影を想定している。図 2を 参照して、プリ撮像モードにおける 3種類の露光量について説明する。
[0046] 図 2に示す 3種類の露光量は、各々、 4EV (Exposure Value)の間隔となるように設 定されている。
[0047] これは、例えば絞り値を一定とする場合に、シャツタ速度を 1Z15, 1/250, 1/4
000秒にそれぞれ設定することにより、実現することが可能である。
[0048] なお、この図 2に示す例では、 3種類の露光量を用いている力 これに限定されるも のではない。例えば、 2種類の露光量を用いて処理を高速化するように構成すること も可能であるし、 4種類の露光量を用いて処理を高精度化するように構成することも 可能である。
[0049] また、この図 2に示す例では、露光量の変化量を 4EVとしている力 これに限るもの ではなぐ使用する撮像素子のダイナミックレンジ幅、本実施形態においては CCD1 02のダイナミックレンジ幅、に合わせて、露光量の変化量を設定すれば良い。
[0050] さらには、露光量の変化量を、使用する撮像素子のダイナミックレンジ幅に合わせ て設定することに限定されるものでもない。例えば、取り込まれるダイナミックレンジが 重複するように設定して、精度を向上するように構成することが可能である。あるいは 、取り込まれるダイナミックレンジに所定の間隔があるように設定して、少ない撮影回 数で大きなダイナミックレンジに対応することができるように構成することも可能である
[0051] 上述したような複数種類の露光量により撮像された映像信号は、ノ ッファ 105へ転 送される。ここに、本実施形態においては、図 2に示したような 3種類の露光量による 映像信号が、バッファ 105に記録されることになる。
[0052] 変換特性算出部 106は、制御部 113の制御に基づき、バッファ 105から 3種類の露 光量に対する映像信号を順次読み込んで、スペースノリアントな階調変換処理に使 用される変換特性をそれぞれ算出する。変換特性算出部 106は、このプリ撮像にお いては、算出した 3種類の階調変換特性を露光制御部 107へ転送する。
[0053] 露光制御部 107は、制御部 113の制御に基づき、バッファ 105から 3種類の露光量 に対する映像信号を、変換特性算出部 106から 3種類の露光量に対する変換特性 を、順次読み込んで、本撮像における露光量を算出する。
[0054] こうして、焦点調節が行われ、さらに露光量が算出されたところで、ユーザが、外部 I /F部 114の 2段式スィッチでなるシャツタボタンを全押しすると、このカメラシステム が本撮像モードに入る。
[0055] すると、プリ撮像と同様にして、映像信号力 Sバッファ 105へ転送される。この本撮像 は、露光制御部 107によって求められた露光量と、合焦点検出部 108によって求め られた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部 113 へ転送される。
[0056] 変換特性算出部 106は、制御部 113の制御に基づき、バッファ 105から本撮像の 映像信号を読み込んで、スペースノ リアントな階調変換処理に使用される変換特性 を算出する。変換特性算出部 106は、この本撮像においては、算出した階調変換特 性を階調変換部 110へ転送する。
[0057] 階調変換部 110は、制御部 113の制御に基づき、バッファ 105から本撮像の映像 信号を、変換特性算出部 106から変換特性を、それぞれ読み込んで、映像信号に対 するスペースノ リアントな階調変換処理を行う。そして、階調変換部 110は、階調変 換処理した映像信号を、信号処理部 111へ転送する。
[0058] 信号処理部 111は、階調変換部 110からの階調変換処理された映像信号に対して 、上述したように、公知のエッジ強調処理や圧縮処理などを行い、処理後の信号を出 力部 112へ転送する。
[0059] 出力部 112は、信号処理部 111から出力される映像信号を、メモリカードなどの記 録媒体へ記録して保存する。
[0060] 次に、図 3を参照して、変換特性算出部 106の構成の一例について説明する。
[0061] この変換特性算出部 106は、縮小手段たる縮小部 200と、バッファ 201と、分割手 段たる分割部 202と、階調変換曲線算出手段たる階調変換曲線算出部 203と、バッ ファ 204と、補間算出手段たる抽出部 205と、補間算出手段たる距離算出部 206と、 補間算出手段たる補間算出部 207と、ノ ッファ 208と、ゲイン算出手段たるゲイン算 出部 209と、ノッファ 210と、拡大手段たる拡大部 211と、ノッファ 212と、を含んでい る。
[0062] バッファ 105は、縮小部 200を介してバッファ 201へ接続されている。ノ ッファ 201 は、分割部 202,抽出部 205,ゲイン算出部 209へそれぞれ接続されている。分割 部 202は、階調変換曲線算出部 203およびバッファ 204を介して、補間算出部 207 へ接続されている。抽出部 205は、距離算出部 206を介して、補間算出部 207へ接 続されている。補間算出部 207は、バッファ 208,ゲイン算出部 209,バッファ 210を 介して、拡大部 211へ接続されている。拡大部 211は、ノ ッファ 212を介して、露光 制御部 107と階調変換部 110とへそれぞれ接続されている。 [0063] また、制御部 113は、縮小部 200,分割部 202,階調変換曲線算出部 203,抽出 部 205,距離算出部 206,補間算出部 207,ゲイン算出部 209,拡大部 211と双方 向に接続されて 、て、これらを制御するようになって 、る。
[0064] 続いて、このような変換特性算出部 106の作用について説明する。
[0065] 縮小部 200は、制御部 113の制御に基づき、バッファ 105から映像信号を読み込 んで、これを所定の縮小率により変換し、所定サイズの縮小信号を生成する。ここに、 本実施形態においては、縮小部 200は、例えばサムネイル画像と同一の 160 X 120 画素サイズの縮小信号へ変換するものとする。
[0066] 縮小部 200からの縮小信号は、ノ ッファ 201へ転送されて記憶される。
[0067] 分割部 202は、制御部 113の制御に基づき、バッファ 201から上記縮小信号を読 み込んで、これを所定サイズの領域、例えば 20 X 15画素サイズの領域に重複なく分 割する。従って、この例においては、縮小信号は、縦 8 X横 8の合計 64個の領域に 分割されることになる。図 4は、このような、縮小信号の領域への分割の様子を示して いる。そして、分割部 202は、分割した領域を、階調変換曲線算出部 203へ順次転 送する。
[0068] 階調変換曲線算出部 203は、分割部 202から転送される上記領域に対して、累積 ヒストグラムを算出することにより、階調変換処理に用いる階調変換曲線を算出する。 階調変換曲線算出部 203は、領域毎に算出した階調変換曲線を、バッファ 204へ順 次転送する。
[0069] 階調変換曲線算出部 203による全ての領域に関する階調変換曲線の算出処理が 完了した後に、抽出部 205は、制御部 113の制御に基づき、バッファ 201内の縮小 信号から、 1画素単位で注目画素の信号を抽出し、抽出した注目画素の画素値およ び座標値を、距離算出部 206へ順次転送する。
[0070] 距離算出部 206は、抽出部 205で抽出された注目画素に関して、該注目画素の近 傍に位置する 4つの領域を算出し、さらに、該注目画素と 4つの領域との間の距離を 算出する。
[0071] 図 5を参照して、注目画素と、注目画素の近傍に位置する 4つの領域と、の配置に ついて説明する。 [0072] ここに、注目画素と領域との間の距離は、注目画素の位置と、領域の中心位置と、 の間の距離として算出されるようになっている。
[0073] 以下では、注目画素の画素値を P (i, jは、縮小信号における注目画素の y座標
)により、算出された注目画素と近傍の 4領域との間の距離を d (k= l 4)により、近
k
傍の 4領域の階調変換曲線を T ()により、それぞれ表すことにする。
k
[0074] 距離算出部 206は、算出した距離 dと、注目画素 P (以下、注目画素の画素値 P
k
を、単に注目画素 Pという。）と、を補間算出部 207へ転送する。
[0075] 補間算出部 207は、制御部 113の制御に基づき、距離算出部 206から距離 dおよ
k び注目画素 Pを、バッファ 204から対応する近傍 4領域の階調変換曲線 T ()を、そ
ij k れぞれ読み込んで、次の数式 1に示すような補間演算によって、階調変換処理後の 注目画素 P'を算出する。
[数 1]
Figure imgf000013_0001
ί D =一 +一 +一 +一
dy a2 3 dA
[0076] ここに、数式 1に示す補間演算は、注目画素 Pを各領域の階調変換曲線 T ()によ
ij k りそれぞれ階調変換し、さらに階調変換後の各画素値の、注目画素と各領域の中心 との距離に反比例する平均をとつたもの、となっている。
[0077] 補間算出部 207は、算出した階調変換処理後の注目画素 P'を、バッファ 208へ順 次転送する。
[0078] バッファ 201に記憶されている縮小信号の全画素に関して上述したような処理が完 了したら、ゲイン算出部 209は、制御部 113の制御に基づき、バッファ 201から縮小 された映像信号の注目画素 Pを、バッファ 208から階調変換処理後の映像信号の注 目画素 P'を、それぞれ読み込む。
[0079] そして、ゲイン算出部 209は、階調変換処理に用いる変換特性 Tを、次の数式 2に 示すような演算によって算出する。 [数 2]
Τ _ _ F 'L
—
[0080] ゲイン算出部 209は、算出した変換特性 Tuを、バッファ 210へ順次転送する。
[0081] 拡大部 211は、制御部 113の制御に基づき、バッファ 210上の変換特性 Tに対し て、入力時の映像信号と同サイズとなるように拡大処理を行う。
[0082] これ以降は、拡大処理された変換特性を、 T (m, nは、映像信号における x, y座 mn
標）により表すことにする。
[0083] 拡大部 211は、拡大処理した変換特性 T を、バッファ 212へ転送する。
mn
[0084] こうしてバッファ 212内に記憶された変換特性 T は、必要に応じて、露光制御部 1 mn
07または階調変換部 110へ転送される。
[0085] 次に、図 6を参照して、露光制御部 107の構成の一例について説明する。
[0086] この露光制御部 107は、抽出部 300と、暗部無効画素推定手段でありノイズ量推定 手段たるノイズ推定部 301と、暗部無効画素推定手段，明部無効画素推定手段，ゲ イン補正手段を兼ねたゲイン補正部 302と、暗部無効画素推定手段でありノイズ範 囲設定手段たるノイズ範囲設定部 303と、暗部無効画素推定手段であり暗部無効率 算出手段たる暗部無効画素判定部 304と、バッファ 305と、暗部無効画素推定手段 であり暗部無効率算出手段たる暗部無効率算出部 306と、暗部無効画素推定手段 であり関数近似手段たる関数近似部 307と、露光量算出手段，高感度域調整手段， 画質調整手段を兼ねた高感度域調整部 308と、明部無効画素推定手段であり閾値 設定手段たる閾値設定部 309と、明部無効画素推定手段であり明部無効率算出手 段たる明部無効画素判定部 310と、バッファ 311と、明部無効画素推定手段であり明 部無効率算出手段たる明部無効率算出部 312と、明部無効画素推定手段であり関 数近似手段たる関数近似部 313と、露光量算出手段，高輝度域調整手段，画質調 整手段を兼ねた高輝度域調整部 314と、露光量算出手段であり探索手段たる露光 量算出部 315と、を含んでいる。
[0087] ノッファ 105は、抽出部 300を介して、ノイズ推定部 301とゲイン補正部 302とへそ れぞれ接続されている。変換特性算出部 106とノイズ推定部 301とは、ゲイン補正部 302へそれぞれ接続されている。ゲイン補正部 302は、ノイズ範囲設定部 303,暗部 無効画素判定部 304,明部無効画素判定部 310,高輝度域調整部 314へそれぞれ 接続されている。ノイズ範囲設定部 303は、暗部無効画素判定部 304へ接続されて いる。暗部無効画素判定部 304は、バッファ 305,暗部無効率算出部 306,関数近 似部 307,高感度域調整部 308を介して、露光量算出部 315へ接続されている。閾 値設定部 309は、明部無効画素判定部 310へ接続されている。明部無効画素判定 部 310は、バッファ 311,明部無効率算出部 312,関数近似部 313,高輝度域調整 部 314を介して、露光量算出部 315へ接続されている。露光量算出部 315は、絞り 1 01, CCD102,増幅部 103へそれぞれ接続されている。
[0088] また、制御部 113は、抽出部 300,ノイズ推定部 301,ゲイン補正部 302,ノイズ範 囲設定部 303,暗部無効画素判定部 304,暗部無効率算出部 306,関数近似部 30 7,高感度域調整部 308,閾値設定部 309,明部無効画素判定部 310,明部無効率 算出部 312,関数近似部 313,高輝度域調整部 314,露光量算出部 315と双方向 に接続されて 、て、これらを制御するようになって 、る。
[0089] 続いて、このような露光制御部 107の作用について説明する。
[0090] 制御部 113は、外部 IZF部 114を介してプリ撮像モードになったと判定された場合 に、露光量算出部 315を制御して、絞り 101を所定の絞り値に、 CCD102を所定の 電子シャツタ速度に、増幅部 103を設定された ISO感度に対応する所定の増幅量に 、それぞれ設定させる。
[0091] 次に、制御部 113は、上述したように合焦点検出部 108による合焦処理が完了した 後に、露光量算出部 315を制御して、複数種類の異なる露光量を設定させる。本実 施形態においては、上述したように、図 2に示したような 3種類の露光量による撮影を 想定して!/、るために、露光量算出部 315が設定する露光量もこれら 3種類の露光量 となる。
[0092] 具体的には、絞り 101を所定の絞り値に、増幅部 103を設定された ISO感度に対 応する所定の増幅量に、 CCD102の電子シャツタ速度を上述したように 1Z15, 1/ 250, 1Z4000秒に、それぞれ設定することにより、 3種類の露光量を実現すること ができる。
[0093] これら 3種類の露光量によるプリ撮像が完了して、ノ ッファ 105に 3種類の映像信号 が転送された後に、抽出部 300は、制御部 113の制御に基づき、バッファ 105から図 2に示したような第 1露光量に対応する映像信号を、 1画素単位で注目画素の信号と して抽出し、ゲイン補正部 302へ転送する。また、抽出部 300は、注目画素を包含す る所定サイズの領域の抽出も同時に行い、この領域をノイズ推定部 301へ転送する。
[0094] これ以降は、注目画素の画素値を P (m, nは、映像信号における x, y座標）により mn
表すことにする。
[0095] ノイズ推定部 301は、特開 2005— 175718号公報に開示されているように、制御 部 113の制御に基づき、抽出部 300から注目画素 P (以下、注目画素の画素値 P mn mn を、単に注目画素 P という。）を包含する所定サイズの領域の平均値 AV を算出し mn mn
、この平均値 AV に基づき注目画素 P に関するノイズ量 N を画素単位で推定す mn mn mn
る。そして、ノイズ推定部 301は、算出した平均値 AV およびノイズ量 N をゲイン補 mn mn 正部 302へ転送する。
[0096] ゲイン補正部 302は、制御部 113の制御に基づき、変換特性算出部 106から図 2 に示したような第 1露光量に対応する映像信号の変換特性 T を読み込む。
mn
[0097] その後に、ゲイン補正部 302は、次の数式 3に示すように、ノイズ推定部 301から転 送されるノイズ量 N に変換特性算出部 106から転送される変換特性 T を乗算する mn mn ことにより、階調変換処理がなされた後のノイズ量 N， を算出する。
mn
[数 3]
Ν' =Τ ·Ν
mn mn mn
[0098] さらに、ゲイン補正部 302は、次の数式 4に示すように、抽出部 300から転送される 注目画素 P に変換特性算出部 106から転送される変換特性 T を乗算することによ mn mn り、階調変換処理がなされた後の注目画素 P'
mnを算出する。
画
P, =τ ·Ρ
mn mn mn
[0099] ゲイン補正部 302は、上記階調変換処理がなされた後のノイズ量 N， と上記平均 mn
値 AV とをノイズ範囲設定部 303へ、階調変換処理がなされた後の映像信号 P' を 暗部無効画素判定部 304と明部無効画素判定部 310と高輝度域調整部 314とへ、 それぞれ転送する。
[0100] ノイズ範囲設定部 303は、制御部 113の制御に基づき、ゲイン補正部 302から転送 されるノイズ量 N' と平均値 AV とに基づき、ノイズに属する範囲として、次の数式 5 mn mn
に示すような上限 U と下限 L とを算出する。
mn mn
[数 5]
U =AV +N' /2
mn mn mn
L =AV -N' /2
mn mn mn
[0101] そして、ノイズ範囲設定部 303は、算出した上限 U と下限 L とを、暗部無効画素 mn mn
判定部 304へ転送する。
[0102] 暗部無効画素判定部 304は、制御部 113の制御に基づき、ゲイン補正部 302から 転送される注目画素 P' と、ノイズ範囲設定部 303から転送されるノイズに関する上 mn
限 U および下限 L と、を用いて、注目画素 P' がノイズ範囲に含まれるか否かを mn mn mn
判定する。ここに、注目画素 P'
mnがノイズ範囲に含まれると判定されるのは、次の数 式 6に示すような条件を満たす場合である。
[数 6]
U ≥P' ≥L
mn mn mn
[0103] 一方、暗部無効画素判定部 304は、注目画素 P' が数式 6に示すような条件を満 mn
たさな 、場合には、ノイズ範囲に含まれな ヽと判定する。
[0104] そして、暗部無効画素判定部 304は、上記判定の結果を、ラベル情報としてバッフ ァ 305へ出力する。具体的な例としては、暗部無効画素判定部 304は、ノイズに含ま れる場合にはラベルとして 1を、ノイズに含まれない場合はラベルとして 0を、それぞ れ出力する。
[0105] また、明部無効画素判定部 310は、制御部 113の制御に基づき、ゲイン補正部 30 2から転送される注目画素 P' と、閾値設定部 309からの閾値 Thと、を用いて、注目 mn
画素 P' が白飛びしている可能性が高いか否かを判定する。ここに、上記閾値 Thは mn
、カメラシステムが定める基準白色に基づき設定されていて、例えば、映像信号の階 調レベルが 12ビット（ダイナミックレンジ： 0〜4095)である場合には、 3800などの値 が用いられる。
[0106] すなわち、明部無効画素判定部 310は、次の数式 7の条件が満たされる場合には 、注目画素 P' が白飛びしていると判定し、満たされない場合には、白飛びしていな
mn
V、と判定するようになって 、る。
[数 7]
P' ≥Th
mn
[0107] そして、明部無効画素判定部 310は、上記判定の結果を、ラベル情報としてバッフ ァ 311へ転送する。具体的な例としては、明部無効画素判定部 310は、白飛びして いる場合にはラベルとして 1を、白飛びしていない場合にはラベルとして 0を、それぞ れ出力する。
[0108] 上記暗部無効画素判定部 304における判定処理と明部無効画素判定部 310にお ける判定処理とは、図 2に示したような第 2露光量に対応する映像信号と第 3露光量 に対応する映像信号とに対してもそれぞれ同様に行われ、ノ ッファ 305とバッファ 31 1とには、 3種類の露光量に対応する映像信号のラベル情報が転送される。
[0109] 暗部無効率算出部 306は、制御部 113の制御に基づき、バッファ 305から注目画 素 P' がノイズに含まれるか否かのラベル情報を読み込んで、映像信号全体に対す mn
るノイズに含まれる画素の比率を算出する。
[0110] 暗部無効率算出部 306は、上記比率を、 3種類の露光量に対応する映像信号毎に 算出し、暗部無効率として関数近似部 307へ転送する。
[0111] 関数近似部 307は、制御部 113の制御に基づき、暗部無効率算出部 306からの 3 種類の暗部無効率と 3種類の露光量 (EV)とから、両者の関係を暗部無効率の 2次 関数式 Rとして次の数式 8に示すように関数ィ匕する。
d
[数 8]
R = a EV2+ γ
d
ここに、 a , β , γは定数項である。
[0112] 関数近似部 307は、数式 8に示したような関数式を、高感度域調整部 308へ転送 する。
[0113] 一方、明部無効率算出部 312は、制御部 113の制御に基づき、バッファ 311から注 目画素 P' が白飛びして 、る否かのラベル情報を読み込んで、映像信号全体に対 mn
する白飛びしている画素の比率を算出する。
[0114] 明部無効率算出部 312は、上記比率を、 3種類の露光量に対応する映像信号毎に 算出し、明部無効率として関数近似部 313へ転送する。
[0115] 関数近似部 313は、制御部 113の制御に基づき、明部無効率算出部 312からの 3 種類の明部無効率と 3種類の露光量 (EV)とから、両者の関係を明部無効率の 2次 関数式 Rとして次の数式 9に示すように関数ィ匕する。
b
[数 9]
R = 6 EV2+ ε EV+ ζ
b
ここに、 δ , ε , ζは定数項である。
[0116] 関数近似部 313は、数式 9に示したような関数式を、高輝度域調整部 314へ転送 する。
[0117] 図 7は、数式 8に示したような暗部無効率の 2次関数式 Rと、数式 9に示したような
d
明部無効率の 2次関数式 Rと、の一例を示している。
b
[0118] 露光量がアンダーである場合 (EVが小さい場合）には、暗部無効率が高ぐ明部無 効率は低くなる。これに対して、露光量がオーバーである場合 (EVが大きい場合）に は、暗部無効率が低ぐ明部無効率は高くなる。
[0119] プリ撮像時に設定した 3種類の露光量が、被写体のダイナミックレンジをカバーする ことができる場合には、暗部無効率の 2次関数式 Rと明部無効率の 2次関数式 Rと
d b は図 7に示すような線図上で交差する（交点をもつ）ことになる。
[0120] そして、この交点に対応する露光量が、暗部で無効となる画素数と明部で無効とな る画素数とのバランスがとれた適正露光量 EVとなる。
[0121] ただし、暗部と明部とのバランスは、撮影時の状況によりそのウェイトが変化する。例 えば、暗部のノイズによる影響は、高 ISO感度になるほど顕著となり、主観的に問題と なる。また、明部の白飛びによる影響は、空などの高輝度域の面積が広くなるほど顕 著となり、主観的に問題となる。
[0122] これに対応するために、高感度域調整部 308は上記 ISO感度に対する補正を、高 輝度域調整部 314は上記高輝度域の面積に対する補正を、それぞれ行うようになつ ている。
[0123] 高感度域調整部 308は、関数近似部 307からの暗部無効率の 2次関数式 Rを、制 d 御部 113から転送される撮影時の ISO感度に基づき図 8に示すように補正する。
[0124] 高感度域調整部 308は、具体例として、この図 8に示すように、 ISO感度 100を基 準として、 ISO感度が 200, 400と高 ISO感度化するに従い、 2次関数式 Rを所定量 d ずつ上方へシフトさせて!/、く処理を行う。
[0125] この補正により、明部無効率の 2次関数式 Rとの交点、すなわち適正露光量は、露 b
光量がオーバーになる方向へと変化していくために、暗部のノイズの影響を低減する ことができる。
[0126] 一方、高輝度域調整部 314は、関数近似部 313からの明部無効率の 2次関数式 R b を、ゲイン補正部 302からの階調変換処理がなされた後の映像信号に基づき補正す る。高輝度域調整部 314は、この補正を、ゲイン補正部 302からの映像信号に含ま れる高輝度域の面積に基づいて行うようになっている。ここに高輝度域とは、例えば 信号の階調レベルが 12ビット（ダイナミックレンジ： 0〜4095)である場合には、 2800 などの所定の閾値以上の画素を意味している。
[0127] 図 9は、このような高輝度域の面積比に基づく明部無効率の 2次関数式 Rの補正の b 様子を示している。
[0128] 高輝度域調整部 314は、具体例として、この図 9に示すように、高輝度域の面積が 映像信号中に含まれる比率が 30%である場合を基準として、比率が 50%, 70%と 上昇するのに従って、 2次関数式 Rを所定量ずつ上方へシフトさせていく処理を行う b
[0129] この補正により、暗部無効率の 2次関数式 Rとの交点、すなわち適正露光量は、露 d
光量がアンダーになる方向へと変化していくために、明部の白飛びの影響を低減す ることがでさる。
[0130] 高感度域調整部 308によって補正された暗部無効率の 2次関数式 Rと、高輝度域 d
調整部 314によって補正された明部無効率の 2次関数式 Rとは、露光量算出部 315 b
へ転送される。
[0131] 露光量算出部 315は、制御部 113の制御に基づき、高感度域調整部 308からの 2 次関数式 Rと、高輝度域調整部 314からの 2次関数式 Rと、の交点の露光量 EVを d b
算出し、算出した露光量 EVを適正露光量 EVとする。
[0132] 制御部 113は、外部 IZF部 114を介して本撮像モードになったと判定された場合 に、露光量算出部 315を制御して、上記適正露光量 EVに基づき、絞り 101の絞り値 と CCD102の電子シャツタ速度とを設定させる。
[0133] 次に、図 10を参照して、露光制御部 107内のノイズ推定部 301の構成の一例につ いて説明する。
[0134] このノイズ推定部 301は、ゲイン算出部 400と、標準値付与部 401と、ルックアップ テーブル部 402と、平均算出部 403と、を含んでいる。
[0135] 抽出部 300は、平均算出部 403へ接続されている。平均算出部 403,ゲイン算出 部 400,標準値付与部 401は、ルックアップテーブル部 402へそれぞれ接続されて いる。ルックアップテーブル部 402は、ゲイン補正部 302へ接続されている。
[0136] また、制御部 113は、ゲイン算出部 400,標準値付与部 401,ルックアップテープ ル部 402,平均算出部 403と双方向に接続されていて、これらを制御するようになつ ている。
[0137] 続いて、このようなノイズ推定部 301の作用について説明する。
[0138] 抽出部 300は、ノ ッファ 105から 3種類の露光量に対応する映像信号の注目画素 P
mnを包含する所定サイズの領域を順次読み込んで、平均算出部 403へ転送する。
[0139] 平均算出部 403は、制御部 113の制御に基づき、注目画素 P を包含する所定サ
mn
ィズの領域の平均値 AV を算出し、算出した平均値 AV をルックアップテーブル部
mn mn
402へ転送する。
[0140] 一方、ゲイン算出部 400は、制御部 113から転送される ISO感度と露光条件に関 する情報とに基づいて、増幅部 103における増幅量を求め、ルックアップテーブル部 402へ転送する。
[0141] また、制御部 113は、温度センサ 115から CCD102の温度情報を取得して、取得 した温度情報をルックアップテーブル部 402へ転送する。
[0142] ルックアップテーブル部 402は、平均算出部 403からの平均値 AV と、ゲイン算出
mn
部 400からのゲインの情報と、制御部 113からの温度情報と、に基づいて、ノイズ量 N を出力する。
mn
[0143] ここに、ルックアップテーブル部 402は、温度，信号値レベル，ゲインと、ノイズ量と、 の間の関係を記録したルックアップテーブルであり、例えば特開 2005— 175718号 公報に記載されたような手段により構築されたものである。
[0144] ルックアップテーブル部 402は、算出したノイズ量 N と平均値 AV とを、ゲイン補 mn mn
正部 302へ転送する。
[0145] なお、標準値付与部 401は、温度とゲインとの少なくとも一方のパラメータを取得す ることができない場合に、該パラメータに対する標準値を与える機能を受け持つてい る。
[0146] このような実施形態 1によれば、画面全体のダイナミックレンジを適切に取り込むこと が可能となり、スペースノ リアントな階調変換処理と組み合わせることにより、主要被 写体のみならず背景部も含めた全体のダイナミックレンジを有効に活用した高品位な 映像信号を得ることができる。
[0147] また、階調変換曲線の算出を、映像信号を縮小した信号に対して行うようにしてい るために、処理を高速化することができる。
[0148] さらに、階調変換曲線を補間演算により画素単位に変換しているために、領域間の 連続性が維持された高品位な映像信号を得ることができる。
[0149] そして、露光量の設定にお!ヽては、階調変換処理およびノイズ特性を含めた暗部 の無効画素の推移と、階調変換処理および基準白色を含めた明部の無効画素の推 移と、を関数式によりモデルィ匕しているために、高精度な露光量の制御と自動的な設 定とが可能となり、カメラシステムの操作性を向上することができる。
[0150] 加えて、上記関数式を ISO感度情報や高輝度域の面積情報に基づいて補正する ようにして!/、るために、主観的に好ま U、映像信号を得ることができる。
[0151] なお、上述では、ノイズ量の推定を画素単位で行うようにしている力 このような構成 に限定される必要はない。例えば、所定サイズのブロック領域単位でノイズ量を推定 するように構成することも可能である。この場合には、ブロック領域の平均値を用いて ルックアップテーブル部 402からノイズ量を取得することになり、このノイズ量をブロッ ク領域内の全画素に共通に使用する。このような構成を採用すれば、ノイズ量推定の 処理を間引くことが可能となるために、処理を高速化することが可能となる。
[0152] また、上述では、変換特性算出部 106を、プリ撮像時の変換特性算出手段として用 いるとともに、本撮像時の階調変換手段の一部としても兼用しているが、もちろんこれ に限らず、プリ撮像時用と本撮像時用とにそれぞれ独立に設けるようにしても構わな い。
[0153] [実施形態 2]
図 11から図 19は本発明の実施形態 2を示したものであり、図 11はカメラシステムの 構成を示すブロック図、図 12はべィヤー（Bayer)型原色フィルタの構成を示す図、 図 13は色差線順次型補色フィルタの構成を示す図、図 14は露光制御部の構成を 示すブロック図、図 15は露光量に対する明部の無効率および暗部の無効率と適正 露光量とを示す線図、図 16は分割測光における 13のエリア a〜a を示す図、図 17
1 13
は撮影状況の推定と画質調整との関係を示す図表、図 18は露光量調整にスライダ 一バーを用いる外部 IZF部の構成例を示す図、図 19は露光量調整にプッシュボタ ンを用いる外部 IZF部の構成例を示す図である。
[0154] この実施形態 2において、上述の実施形態 1と同様である部分については同一の 符号を付して説明を省略し、主として異なる点についてのみ説明する。
[0155] 図 11を参照して、本実施形態のカメラシステムの構成について説明する。
[0156] この図 11に示すカメラシステムは、上述した実施形態 1の図 1に示したカメラシステ ムを一部変更したものとなっている。すなわち、このカメラシステムは、図 1に示した力 メラシステムに、プレホワイトバランス部 501と、第 1の YZC分離手段であり第 2の YZ C分離手段たる YZC分離部 503と、彩度強調部 504と、 YZC合成部 505と、を追 加し、 CCD102をカラー撮像素子たるカラー CCD500に、露光制御部 107を露光 制御手段たる露光制御部 502に、それぞれ置換した構成になっている。その他の基 本的な構成は実施形態 1と同様であって、同一の構成には同一の名称と符号を付し ている。
[0157] 以下では、主として異なる部分のみを説明する。
[0158] レンズ系 100,絞り 101,カラー CCD500を介して撮影されたカラー映像信号は、 増幅部 103へ転送されるようになって 、る。 [0159] バッファ 105は、プレホワイトバランス部 501と YZC分離部 503と合焦点検出部 10 8とへそれぞれ接続されている。プレホワイトバランス部 501は、増幅部 103へ接続さ れている。露光制御部 502は、絞り 101とカラー CCD500と増幅部 103とへそれぞれ 接続されている。 YZC分離部 503は、変換特性算出部 106と階調変換部 110と露 光制御部 502と彩度強調部 504とへそれぞれ接続されている。変換特性算出部 106 は、露光制御部 502と階調変換部 110とへそれぞれ接続されている。階調変換部 11 0と彩度強調部 504とは、 YZC合成部 505へそれぞれ接続されている。 YZC合成 部 505は、信号処理部 111へ接続されている。
[0160] また、制御部 113は、プレホワイトバランス部 501,露光制御部 502, YZC分離部 503,彩度強調部 504, YZC合成部 505とも双方向に接続されていて、これらも制 御するようになっている。
[0161] さらに、カラー CCD500の近傍に配置された温度センサ 115からの信号は、制御 部 113へ接続されている。
[0162] 次に、この図 11に示したようなカメラシステムの作用について、映像信号の流れに 沿って説明する。この実施形態 2のカメラシステムの作用は、基本的に上述した実施 形態 1と同様であるために、主として異なる部分についてのみ説明する。
[0163] ユーザが、外部 IZF部 114の 2段式スィッチでなるシャツタボタンを半押しすると、こ のカメラシステムがプリ撮像モードに入る。
[0164] すると、レンズ系 100および絞り 101を介して結像される被写体像力 カラー CCD5 00により光電変換され、アナログのカラー映像信号として出力される。
[0165] このアナログのカラー映像信号は、増幅部 103によって ISO感度や後述するような ホワイトバランスを考慮した増幅が行われた後に、 AZD変換部 104によりデジタルの カラー映像信号に変換されて、ノ ッファ 105に記憶される。
[0166] なお、本実施形態においては、カラー CCD500として、べィヤー（Bayer)型原色フ ィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、 CC Dに限るものではなぐ CMOSやその他の撮像素子を用いても構わないことは、上述 した実施形態 1と同様である。
[0167] ここで、図 12を参照して、べィヤー（Bayer)型の色フィルタの構成について説明す る。
[0168] 図 12に示すようなべィヤー（Bayer)型の原色フィルタは、 2 X 2画素を基本単位と して、この基本単位内の対角する画素位置に赤 (R) ,青（B)フィルタが 1つずつ、残 りの対角する画素位置に緑 (G)フィルタがそれぞれ、配置されたものとなっている。
[0169] 続いて、ノッファ 105内の映像信号は、合焦点検出部 108と、プレホワイトバランス 部 501と、へそれぞれ転送される。
[0170] これらの内のプレホワイトバランス部 501は、バッファ 105に記憶されている映像信 号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算 する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部 501は 、算出した係数を増幅部 103へ転送して、色信号毎に異なるゲインを乗算させること により、ホワイトバランスを行わせる。
[0171] そして、プレホワイトバランス部 501によるホワイトバランス処理と、合焦点検出部 10 8による合焦処理と、が完了した後に、露光制御部 502は、制御部 113の制御に基 づき、複数種類の異なる露光量を設定する。そして、設定された各露光量に基づい て、複数枚のプリ撮像が行われる。ここで、本実施形態においては、 2種類の露光量 によるプリ撮像を想定して 、る。
[0172] これら複数種類の露光量により撮像された映像信号は、上述したようにして、ノ ッフ ァ 105へ転送される。
[0173] このバッファ 105内に記憶されているカラー映像信号は、 YZC分離部 503へ転送 される。
[0174] YZC分離部 503は、制御部 113の制御に基づき、公知の補間処理により R, G, B の三板力もなるカラー映像信号を生成する。さらに、 YZC分離部 503は、制御部 11 3の制御に基づき、三板のカラー映像信号を、次の数式 10に示すように、輝度信号 Yおよび色差信号 Cb, Crへ分離する。
[数 10]
Y = 0. 29900R+0. 58700G + 0. 11400B
Cb=— 0. 16874R-0. 33126G + 0. 50000B
Cr= 0. 50000R-0. 41869G— 0. 08131B [0175] そして、 YZC分離部 503は、このように算出した内の輝度信号 Yを、変換特性算出 部 106と露光制御部 502とへそれぞれ転送する。
[0176] 変換特性算出部 106は、制御部 113の制御に基づき、 YZC分離部 503から 2種 類の露光量に対する輝度信号 Yを順次読み込んで、スペースバリアントな階調変換 処理に使用される変換特性を算出する。変換特性算出部 106は、このプリ撮像にお V、ては、算出した変換特性を露光制御部 502へ転送する。
[0177] 露光制御部 502は、制御部 113の制御に基づき、 YZC分離部 503から 2種類の 露光量に対する輝度信号を、変換特性算出部 106から 2種類の露光量に対する変 換特性を、順次読み込んで、本撮像における露光量を算出する。
[0178] こうして焦点調節および簡易ホワイトバランス調節が行われ、さらに露光量が算出さ れたところで、ユーザが、外部 IZF部 114の 2段式スィッチでなるシャツタボタンを全 押しすると、このカメラシステムが本撮像モードに入る。
[0179] すると、プリ撮像と同様にして、カラー映像信号力 Sバッファ 105へ転送される。この 本撮像は、露光制御部 502によって求められた露光量と、合焦点検出部 108によつ て求められた合焦条件と、プレホワイトバランス部 501によって求められたホワイトバラ ンス係数と、に基づいて行われており、これらの撮影時の条件が制御部 113へ転送 される。
[0180] YZC分離部 503は、制御部 113の制御に基づき、プリ撮像のときと同様に、本撮 像のカラー映像信号に公知の補間処理を行って、さらに上述した数式 10に基づい て輝度信号 Yおよび色差信号 Cb, Crを算出する。
[0181] YZC分離部 503は、算出した内の、輝度信号を変換特性算出部 106と階調変換 部 110とへ、色差信号を彩度強調部 504へ、それぞれ転送する。
[0182] 変換特性算出部 106は、制御部 113の制御に基づき、 YZC分離部 503から本撮 像の輝度信号を読み込んで、スペースノ リアントな階調変換処理に使用される変換 特性を算出する。変換特性算出部 106は、この本撮像においては、算出した階調変 換特性を階調変換部 110へ転送する。
[0183] 階調変換部 110は、制御部 113の制御に基づき、 YZC分離部 503から本撮像の 輝度信号 Yを、変換特性算出部 106から変換特性を、それぞれ読み込んで、輝度信 号に対するスペースノ リアントな階調変換処理を行う。そして、階調変換部 110は、 階調変換処理した輝度信号 Y'を、 YZC合成部 505へ転送する。
[0184] 彩度強調部 504は、制御部 113の制御に基づき、 YZC分離部 503から本撮像の 色差信号 Cb, Crを読み込んで、公知の彩度強調処理を行う。彩度強調部 504は、 彩度強調処理を行った色差信号 Cb'， Cr'を、 YZC合成部 505へ転送する。
[0185] YZC合成部 505は、制御部 113の制御に基づき、階調変換部 110から階調変換 処理がなされた輝度信号 Y'を、彩度強調部 504から彩度強調処理がなされた色差 信号 Cb' , Cr'を、それぞれ読み込んで、次の数式 11に基づき RGB信号 (R' G' B， 信号）に変換し、信号処理部 111へ転送する。
[数 11]
R' =Y' + 1. 40200Cr'
G' =Y' -0. 34414Cb' -0. 71414Cr'
B' =Y' + 1. 77200Cb'
[0186] 信号処理部 111は、 YZC合成部 505からの R' G' B'信号に対して、公知のエッジ 強調処理や圧縮処理などを行 、、処理後の信号を出力部 112へ転送する。
[0187] 出力部 112は、信号処理部 111から出力されるカラー映像信号を、メモリカードな どの記録媒体へ記録して保存する。
[0188] 次に、図 14を参照して、露光制御部 502の構成の一例について説明する。
[0189] この図 14に示す露光制御部 502は、上述した実施形態 1の図 6に示した露光制御 部 107を一部変更したものとなっている。すなわち、この露光制御部 502は、図 6の 露光制御部 107に、露光量算出手段，画質調整手段，撮影状況推定手段を兼ねた 合焦位置推定部 600と、露光量算出手段，画質調整手段，撮影状況推定手段を兼 ねた被写体分布推定部 601と、露光量算出手段，画質調整手段，撮影状況推定手 段を兼ねた夜景推定部 602と、露光量算出手段，画質調整手段，撮影状況推定手 段を兼ねた統合部 603と、露光量算出手段，画質調整手段，撮影状況調整手段を 兼ねた撮影状況調整部 604と、露光量算出手段，画質調整手段，撮影状況推定手 段を兼ねた測光評価部 607と、を追加するとともに、高感度域調整部 308を露光量 算出手段，画質調整手段，撮影状況調整手段，手動調整手段を兼ねた暗部無効率 調整部 605に、高輝度域調整部 314を露光量算出手段，画質調整手段，撮影状況 調整手段，手動調整手段を兼ねた明部無効率調整部 606に、それぞれ置換したも のとなつている。露光制御部 502におけるその他の基本的な構成は、図 6の露光制 御部 107と同様であるために、同一の構成には同一の名称と符号を付して適宜説明 を省略し、以下では主として異なる部分のみを説明する。
[0190] 抽出部 300は、ノイズ推定部 301,ゲイン補正部 302,測光評価部 607へそれぞれ 接続されている。ゲイン補正部 302は、ノイズ範囲設定部 303,暗部無効画素判定 部 304,明部無効画素判定部 310へそれぞれ接続されている。合焦位置推定部 60 0,被写体分布推定部 601,夜景推定部 602は、統合部 603へそれぞれ接続されて いる。統合部 603は、撮影状況調整部 604へ接続されている。撮影状況調整部 604 と関数近似部 307とは、暗部無効率調整部 605へそれぞれ接続されている。撮影状 況調整部 604と関数近似部 313とは、明部無効率調整部 606へそれぞれ接続され ている。暗部無効率調整部 605と明部無効率調整部 606とは、露光量算出部 315へ それぞれ接続されている。
[0191] また、制御部 113は、合焦位置推定部 600,被写体分布推定部 601,夜景推定部 602,統合部 603,撮影状況調整部 604,暗部無効率調整部 605,明部無効率調 整部 606,測光評価部 607とも双方向に接続されていて、これらも制御するようにな つている。
[0192] 次に、このような露光制御部 502の作用について説明する。
[0193] 制御部 113は、外部 IZF部 114を介してプリ撮像モードになったと判定された場合 に、上述した実施形態 1の場合と同様に、露光量算出部 315を制御して、絞り 101を 所定の絞り値に、カラー CCD500を所定の電子シャツタ速度に、増幅部 103を設定 された ISO感度に対応する所定の増幅量に、それぞれ設定させる。
[0194] 次に、制御部 113は、上述したように合焦点検出部 108による合焦処理とプレホヮ イトバランス部 501によるホワイトバランス処理とが完了した後に、露光量算出部 315 を制御して、複数種類の異なる露光量を設定させる。本実施形態においては、上述 したように、 2種類の露光量による撮影を想定して 、る。
[0195] 具体的には、絞り 101を所定の絞り値に、増幅部 103を設定された ISO感度に対 応する所定の増幅量に、カラー CCD500の電子シャツタ速度を 1Z30, 1Z200秒 に、それぞれ設定することにより、 2種類の露光量を実現することができる。
[0196] これら 2種類の露光量により得られた映像信号に係る輝度信号に関して、関数近似 部 307は、暗部無効率算出部 306からの 2種類の暗部無効率と 2種類の露光量 (EV )とから、両者の関係を暗部無効率の 1次関数式 Rとして、次の数式 12に示すように d
関数化する。
[数 12]
R = 7? EV+ Θ
d
ここに、 7? , Θは定数項である。
[0197] 関数近似部 307は、数式 12に示したような関数式を、暗部無効率調整部 605へ転 送する。
[0198] また、関数近似部 313は、制御部 113の制御に基づき、上述した 2種類の露光量 により得られた映像信号に係る輝度信号に関して、明部無効率算出部 312からの 2 種類の明部無効率と 2種類の露光量 (EV)とから、両者の関係を明部無効率の 1次 関数式 Rとして、次の数式 13に示すように関数ィ匕する。
b
[数 13]
R = I EV+ κ
b
ここに、 t , Kは定数項である。
[0199] 関数近似部 313は、数式 13に示したような関数式を、明部無効率調整部 606へ転 送する。
[0200] 図 15は、数式 12に示したような暗部無効率の 1次関数式 Rと、数式 13に示したよう d
な明部無効率の 1次関数式 R
bと、の一例を示している。
[0201] そして、上述と同様に、 2つの 1次関数の交点に対応する露光量が、暗部で無効と なる画素数と明部で無効となる画素数とのバランスがとれた適正露光量 EVとなる。
[0202] ただし、上述と同様に、暗部と明部とのバランスは、撮影時の状況によりそのウェイト が変化する。そこで、本実施形態においては、撮影時の状況を推定することにより、 暗部と明部とのバランスを自動的に補正するようになって 、る。
[0203] すなわち、まず、合焦位置推定部 600は、制御部 113を介して、合焦点検出部 10 8の合焦距離の情報を取得する。そして、合焦位置推定部 600は、取得した合焦距 離に基づいて、例えば、風景（5m以上），ポートレート（lm〜5m) ,クローズアップお m以下）の 3種類に分類し、 AF情報として統合部 603へ転送する。
[0204] 一方、測光評価部 607は、抽出部 300から本撮影時の輝度信号 Yを読み込み、測 光評価に関する情報を算出する。
[0205] ここで、図 16を参照して、測光評価用の分割パターンの一例について説明する。
[0206] この図 16に示す例においては、測光評価部 607は、測光領域を 13個の領域に分 割して、各領域毎の輝度値 (a , i= l〜13)と、画面全体の平均輝度値と、を算出す るようになっている。そして、測光評価部 607は、算出した領域毎の輝度値 aと画面 全体の平均輝度値とを制御部 113へ転送する。
[0207] 被写体分布推定部 601は、制御部 113を介して測光評価に関する情報として輝度 値 aを取得する。その後、被写体分布推定部 601は、各領域の輝度値 aに基づき、 以下のパラメータ S〜Sを、数式 14〜数式 16に示すようにそれぞれ算出する。
1 3
[数 14]
S = -a
1 I a
2 3 I
[数 15]
=max i I a—a I , I a—a I )
2 4 6 4 7
[数 16]
S =max (a ， a )— (∑a ) /13
3 10 11 i
ここに、数式 14および数式 15の右辺における記号 I Iは絶対値を、数式 15およ び数式 16の右辺における記号 max ()は括弧内の数の内の最大値を返す関数を、そ れぞれ示している。また、数式 16の右辺における∑は全ての i (つまり i= l〜13)につ いての総和を表し、数式 16の右辺の第 2項は全ての測光領域についての平均輝度 レべノレ（画面全体の平均輝度レべノレ）を表して 、る。
[0208] こうして、パラメータ Sは最中央部の左右の輝度差を、 Sは内周部の上側中央と上
1 2
側左右の何れかとの輝度差の大きい方を、 Sは外周部の上側左右何れか大きい方
3
と画面全体の平均輝度との差を、それぞれ意味するものとなって ヽる。
[0209] 被写体分布推定部 601は、このようにして算出した 3つのパラメータ S , S , Sを、 A E情報として統合部 603へ転送する。
[0210] さらに、夜景推定部 602は、制御部 113を介して測光評価に関する情報を取得す る。そして、夜景推定部 602は、画面全体の平均輝度レベルが所定の閾値以下であ る場合には、夜景撮影であると推定し、それ以外の場合には夜景撮影でないと推定 する。
[0211] 夜景推定部 602は、このようにして推定した結果を、夜景撮影情報として統合部 60 3へ転送する。
[0212] 統合部 603は、合焦位置推定部 600からの AF情報と、被写体分布推定部 601か らの AE情報と、夜景推定部 602からの夜景撮影情報と、に基づいて、撮影時の状況 を図 17に示すように推定する。
[0213] すなわち、統合部 603は、まず、夜景推定部 602からの情報が夜景撮影であると推 定されたものである場合には、撮影時の状況を夜景として確定する。
[0214] また、統合部 603は、夜景推定部 602からの情報が夜景撮影以外であると推定さ れたものである場合には、さらに、上記 AF情報と AE情報とを用いて、撮影時の状況 を推定する。
[0215] まず、 AF情報が風景である場合には、さらに、 AE情報のパラメータ Sを第 1の所
3
定値 Thと比較する。このパラメータ Sは、画面上部と画面全体の平均値との差を求
1 3
めるものであるために、風景撮影時に背景上部に空がない場合には値が小さくなり、 空がある場合には値が大きくなる。従って、ノ ラメータ S
3が第 1の所定値 Th
1よりも大 きい場合には上部に空のある風景撮影、以下である場合には上部に空のないまたは 空の少な!ヽ風景撮影であると推定する。
[0216] 次に、 AF情報がポートレートである場合には、さらに、 AE情報のパラメータ Sを第
2
2の所定値 Thと比較する。このパラメータ Sは、中心部上部とその左右との差の大き
2 2
Vヽ方を選択するものであるために、ポートレート撮影時に複数の人物を撮影する場合 には値が小さくなり、一人の人物を撮影する場合には値が大きくなる。従って、パラメ ータ Sが第 2の所定値 Thよりも大きい場合には一人の人物撮影、以下である場合に
2 2
は複数人の人物撮影であると推定する。
[0217] そして、 AF情報がクローズアップである場合には、さらに、 AE情報のパラメータ S を第 3の所定値 Thと比較する。このパラメータ Sは、中心領域の左右の差を求める
3 1
ものであるために、クローズアップ撮影時に単一の物体を撮影して 、る場合には値が 小さくなり、複数の物体を撮影している場合には値が大きくなる。従って、ノ ラメータ S が第 3の所定値 Thよりも大きい場合には単一の物体のクローズアップ撮影、以下で
1 3
ある場合には複数の物体のクローズアップ撮影であると推定する。
[0218] 統合部 603は、このように推定した撮影状況を、撮影状況調整部 604へ転送する。
[0219] 撮影状況調整部 604は、統合部 603からの撮影状況に基づき、関数近似部 307か らの暗部無効率の 1次関数式 Rと、関数近似部 313からの明部無効率の 1次関数式 d
Rと、の一方を、図 17の最右欄に示すように補正する。
b
[0220] 例えば、上部に空のある風景撮影では、白飛びを重視して、明部無効率の 1次関 数式 Rを + 20%上方へシフトさせる。この補正により、適正露光量はアンダーになる b
方向へと変化していくために、明部の白飛びの影響を低減することができる。
[0221] また、夜景撮影では、ノイズを重視して、暗部無効率の 1次関数式 Rを + 30%上方 d
へシフトさせる。この補正により、適正露光量はオーバーになる方向へと変化していく ために、暗部のノイズの影響を低減することができる。
[0222] このような実施形態 2によれば、画面全体のダイナミックレンジを適切に取り込むこと が可能となり、スペースノ リアントな階調変換処理と組み合わせることにより、主要被 写体のみならず背景部も含めた全体のダイナミックレンジを有効に活用した高品位な 映像信号を得ることができる。
[0223] また、スペースノ リアントな階調変換処理をカラー映像信号に対して適用することが できるために、従来のカメラシステムとの互換性が向上して、多様な撮像系に利用す ることが可能となる。
[0224] さらに、撮影状況に適合して暗部と明部との何れを重視するかを調整するようにし て 、るために、主観的に好ま 、映像信号を得ることができる。
[0225] そして、階調の調整が自動的に行われるために、カメラシステムの操作性を向上す ることがでさる。
[0226] なお、上述では、カラー撮像素子としてべィヤー（Bayer)型原色フィルタを前面に 配置した単板 CCDを想定していたが、このような構成の撮像素子に限定される必要 はない。例えば、図 13に示すような色差線順次型補色フィルタを前面に配置した単 板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
[0227] ここに、図 13に示す色差線順次方式の補色フィルタは、 2 X 2画素を基本単位とし て、シアン（Cy)およびイェロー (Ye)が 2 X 2画素の同一ラインに、マゼンタ（Mg)お よび緑 (G)が 2 X 2画素の他の同一ラインに、それぞれ配置されたものとなっている。 ただし、マゼンタ（Mg) ,緑 (G)の位置は、ライン毎に反転するように構成されている
[0228] さらに、上述では、撮影状況を自動的に推定して、暗部と明部との何れを重視する かを調整するようにしていた力 このような構成に限定されるものでもない。例えば、 ユーザーが、マ-ユアルで、暗部ノイズと明部の白飛びとの何れをどのくらいの程度 重要視するかを調整することができるように構成することも可能である。
[0229] 図 18を参照して、暗部と明部との重視をマニュアルにより調整することができるよう にした外部 IZF部 114の具体的な構成の一例について説明する。
[0230] カメラシステムにおける例えばカメラ本体の背面側には、図 18に示すように、液晶 7 00と、液晶オン Zオフスィッチ 701と、数値キー 702と、選択キー 703と、確定スイツ チ 704と、が外部 IZF部 114の一部として配置されて!、る。
[0231] 液晶 700は、撮影しょうとする被写体のモニタ表示や、撮影後の画像の確認表示、 カメラシステムの各種設定に係るメニュー表示等を行うことが可能な表示デバイスで ある。
[0232] 液晶オン Zオフスィッチ 701は、この液晶 700の表示をオンとオフとに切り換えるた めの操作スィッチであり、押圧する毎にオンとオフとが切り替わるトグルスイッチとなつ ている。
[0233] 数値キー 702は、カメラシステムに対して数値を入力するためのテンキースィッチで ある。
[0234] 選択キー 703は、メニュー表示された各項目の移動や、後述するようなスライダー バーの移動を行うための十字方向に操作可能な操作部材である。
[0235] 確定スィッチ 704は、数値キー 702により入力された数値や、選択キー 703により 移動されあるいは選択された項目を、確定するためのスィッチである。 [0236] 次に、この図 18に示したような外部 IZF部 114の作用について説明する。
[0237] ユーザーは、選択キー 703と確定スィッチ 704とを用いて、 AEの制御に関するメ- ユーを表示することができるようになって 、る。
[0238] そして、ユーザは、操作を行うことにより、図 18に示すような、暗部と明部との何れを 重視するかを調整するためのスライダーバーを表示させる。
[0239] 続いて、ユーザーは、選択キー 703の左，右を押圧する操作を行うことにより、スラ イダーバーを左または右へ移動させて、暗部と明部とのバランスが所望の状態になる ように選択する。
[0240] その後、ユーザーは、確定スィッチ 704を押圧することにより、選択した暗部と明部 とのバランスを確定する。
[0241] このようにして外部 IZF部 114により設定されたバランス情報は、制御部 113を介し て露光制御部 502へ転送され、該露光制御部 502により補正が行われる。
[0242] 次に、図 19を参照して、暗部と明部との重視をマニュアルにより調整することができ るようにした外部 IZF部 114の具体的な構成の他の例につ 、て説明する。
[0243] この図 19に示す外部 IZF部 114は、ワンボタン形式により、暗部と明部との重視を 簡単に調整することができるように構成したものである。
[0244] この外部 IZF部 114は、図 18に示したような構成に、暗部を重視するための入力 を行う暗部調整スィッチ 705と、明部を重視するための入力を行うための明部調整ス イッチ 706と、を追加したものとなっている。
[0245] 次に、この図 19に示したような外部 IZF部 114の作用について説明する。
[0246] ユーザーは、暗部を重視したい場合には暗部調整スィッチ 705を 1回押し、明部を 重視した！/、場合は明部調整スィッチ 706を 1回押す。
[0247] このようにして外部 IZF部 114から入力された情報は、制御部 113を介して露光制 御部 502へ転送され、該露光制御部 502により所定量だけの補正が行われる。
[0248] なお、ここでは、暗部調整スィッチ 705または明部調整スィッチ 706を 1回だけ押し て簡易的に調整するようにして 、るが、何れかのスィッチを 1回押すと液晶 700に図 1
8に示したようなスライダーバーが（例えば重畳表示により）表示され、暗部調整スイツ チ 705を 1回押す毎にスライダーバーが暗部を重視する方向へ所定量だけ移動し、 明部調整スィッチ 706を 1回押す毎にスライダーバーが明部を重視する方向へ所定 量だけ移動するように構成しても良い。そして、確定は、確定スィッチ 704を押圧して 行うだけでなぐさらに、暗部調整スィッチ 705または明部調整スィッチ 706を操作後 に所定時間が経過すると自動的に確定するようにしても構わない。また、確定スイツ チ 704の操作または所定時間の経過により確定がなされた場合には、図 18に示した ようなスライダーバーが液晶 700の表示から自動的に消えるようにするとさらに良い。 このような構成を採用すれば、操作が簡便でありながら、詳細な調整が可能となる利 点がある。
[0249] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱し な 、範囲内にお 、て種々の変形や応用が可能であることは勿論である。
[0250] 以上詳述したような本発明の上記実施形態によれば、以下のごとき構成、作用、効 果を得ることができる。
[0251] 本撮像に先立ち異なる露光量で複数回のプリ撮像を行い、プリ撮像により得られた 各映像信号に係る信号に対して階調変換処理に用いる変換特性を算出し、各映像 信号に係る信号と露光量と変換特性とに基づき本撮像の露光量を決定し、決定され た露光量に基づき本撮像を行 ヽ、本撮像により得られた映像信号に係る信号に関し て階調変換処理を行う。このように、プリ撮像を行って階調変換処理に用いる変換特 性に基づき有効なダイナミックレンジを最大化する露光条件を求めるようにして 、るた めに、画面全体のダイナミックレンジを適切に取り込むことが可能となり、高品位な映 像信号を得ることができる。
[0252] 本撮像に先立ち異なる露光量で複数回のプリ撮像を行い、プリ撮像により得られた 各映像信号に対して輝度信号を抽出し、階調変換処理に用いる変換特性を算出し、 各輝度信号と露光量と変換特性とに基づき本撮像の露光量を決定し、決定された露 光量に基づき本撮像を行 ヽ、本撮像により得られた映像信号に対して輝度信号を抽 出し、抽出した輝度信号に関して階調変換処理を行う。これにより、カラー映像信号 に対して適用することができるために、従来のカメラシステムとの互換性が向上し、多 様な撮像系に利用することができる。
[0253] プリ撮像時の露光量の変化量を、撮像素子のダイナミックレンジに基づき設定する 。このために、プリ撮像時における信号間の重複が少なくなつて、少ないプリ撮像枚 数で広 、ダイナミックレンジをカバーすることができるために、露光量を決定するまで の処理速度を高速ィ匕することができる。
[0254] 縮小された信号を複数の領域に分割し、領域毎に階調変換曲線を算出し、縮小信 号における注目画素の信号値を複数の領域に各係る複数の階調変換曲線に基づき それぞれ階調変換し、階調変換後の複数の信号値カゝら補間演算を行うことにより該 注目画素の階調変換処理後の信号値を算出し、階調変換処理前後の信号値から階 調変換処理による変換特性を算出し、これを拡大することにより本来の信号に対する 変換特性を算出する。これにより、プリ撮像により得られた映像信号に係る信号に対 して本撮像と同一のスペースノ リアントな階調変換特性を求めるようにしているため に、本撮像の露光量設定の精度を向上することができる。また、階調変換特性の算 出を、映像信号に係る信号を縮小した信号に対して行うようにしているために、処理 を高速ィ匕することができる。
[0255] 露光量に対する暗部の無効画素数と、露光量に対する明部の無効画素数と、をそ れぞれ関数としてモデルィ匕し、両者のモデルに基づき暗部および明部にぉ 、て無効 となる画素数が最小化されるように本撮像の露光量を設定する。このように、明部お よび暗部において無効となる画素数を最小化するように露光量が設定されるために、 画面全体のダイナミックレンジを有効に活用した主観的に好ましい映像信号を得るこ とができる。また、露光量の設定が自動的に行われるために、操作性の良いカメラシ ステムとなる。
[0256] スペースノ リアントな階調変換処理とノイズ特性とを考慮して、露光量に対する暗部 の無効画素数を関数としてモデルィ匕する。このように、階調変換処理とノイズ特性とを 考慮して暗部の無効画素の推移をモデル化するようにして!/、るために、本撮像の露 光量の算出精度が向上して、高品位な映像信号を得ることができる。
[0257] スペースバリアントな階調変換処理と基準白色に相当する閾値とを考慮して、露光 量に対する明部の無効画素数を関数としてモデルィ匕する。このように、階調変換処 理と基準白色とを考慮して明部の無効画素の推移をモデルィ匕するようにしているた めに、本撮像の露光量の算出精度が向上して、高品位な映像信号を得ることができ る。
[0258] 露光量に対する暗部の無効画素数または露光量に対する明部の無効画素数を、 1 次関数式または 2次関数式を用いてモデルィ匕する。 1次関数式を用いる場合には、 プリ撮像に要する撮影枚数が少なくて済み、処理速度を高速化することができる。ま た、 2次関数式を用いる場合には、モデルの精度を向上することができて、露光量の 制御を高精度に行うことが可能となる。
[0259] 暗部の無効画素数と明部の無効画素数とが、均等となるように本撮像の露光量を 設定する。このために、暗部と明部とのノ《ランスが良い撮像を行うことが可能となり、 画面全体のダイナミックレンジを適切に取り込むことができる。
[0260] 露光量に対する暗部の無効画素数の関係と、露光量に対する明部の無効画素数 の関係と、の少なくとも一方に補正を行う。このために、暗部と明部との何れを重視す るかを調整することができるようになり、撮影に対する自由度が向上する。
[0261] ISO感度情報に基づき、暗部の無効画素数と露光量との間の関係を補正する。こ のために、高 ISO感度での撮影に伴うノイズの影響を低減することができて、主観的 に好ましい映像信号を得ることができる。また、上記補正は自動的に行われるために 、カメラシステムの操作性を向上することができる。
[0262] 高輝度域の面積情報に基づき、明部の無効画素数と露光量との間の関係を補正 する。このように、高輝度域の面積情報に基づき明部の無効画素数と露光量との間 の関係を補正するようにしたために、高輝度域での白飛びの影響を低減することがで きて、主観的に好ましい映像信号を得ることができる。また、上記補正は自動的に行 われるために、カメラシステムの操作性を向上することができる。
[0263] 合焦情報と測光情報とに基づき統合的な撮影状況を推定して、推定した撮影状況 から露光量に対する暗部の無効画素数の関係と露光量に対する明部の無効画素数 の関係との少なくとも一方に補正を行う。このように、撮影状況に適合して暗部と明部 との何れを重視するかを調整するようにしたために、画面全体のダイナミックレンジを 有効に活用した高品位な映像信号を得ることができる。また、調整が自動的に行わ れるために、カメラシステムの操作性を向上することができる。
[0264] ユーザーの調整値に基づき露光量に対する暗部の無効画素数の関係と露光量に 対する明部の無効画素数の関係との少なくとも一方に補正を行う。このように、ユー ザ一の調整値に基づき暗部と明部との何れを重視するかを調整するようにしたため に、ユーザーの意図を反映した主観的に好ましい映像信号を得ることができる。
[0265] 信号を縮小して複数の領域に分割し、領域毎に階調変換曲線を算出し、領域単位 の階調変換曲線を用いて階調変換を行いさらに補間演算を行うことにより階調変換 処理後の信号値を画素単位で算出し、階調変換処理前後の信号値から階調変換処 理による変換特性を算出し、これを拡大することにより本来の信号に対する変換特性 を算出して、階調変換処理を行う。このように、スペースノ リアントな階調変換処理が 行われるために、主要被写体のみならず背景部も含めた全体のダイナミックレンジを 有効に活用した高品位な映像信号を得ることができる。また、階調変換曲線の算出 を、映像信号に係る信号を縮小した信号に対して行うようにしているために、処理を 高速ィ匕することができる。さらに、階調変換曲線を補間演算により画素単位に変換し て!、るために、領域間の連続性が維持された高品位な映像信号を得ることができる。
[0266] 階調変換曲線の算出を、累積ヒストグラムを用いて行う。累積ヒストグラムに基づき 階調変換曲線を算出するために、暗部から明部におけるシーンの有するダイナミック レンジを有効に活用した高品位な映像信号を得ることができる。
[0267] べィヤー（Bayer)型原色フィルタまたは色差線順次型補色フィルタを前面に配置し た単板撮像素子を用いる。このために、従来の撮影部との親和性が高ぐ多くのカメ ラシステムへの適用が可能となる。
[0268] 本出願は、 2005年 12月 1日に日本国に出願された特願 2005— 348391号を優 先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求 の範囲、図面に引用されたものとする。

Claims

請求の範囲
[1] 撮像素子力 の映像信号に対して階調変換処理と組み合わせた露光量制御を行 うカメラシステムにおいて、
本撮像に先立ち異なる露光量で複数回のプリ撮像を行うように制御するプリ撮像制 御手段と、
上記プリ撮像により得られた各映像信号に係る信号に対して階調変換処理に用い る変換特性を算出する変換特性算出手段と、
上記プリ撮像により得られた各映像信号に係る信号と、上記プリ撮像に用いた露光 量と、上記変換特性と、に基づき、本撮像の露光量を決定する露光制御手段と、 上記露光量に基づき本撮像を行うように制御する本撮像制御手段と、 上記本撮像により得られた映像信号に係る信号に関して階調変換処理に用いる変 換特性を算出し階調変換処理を行う階調変換手段と、
を具備したことを特徴とするカメラシステム。
[2] 上記撮像素子は、モノクロ撮像素子であって、
上記映像信号に係る信号は、上記映像信号自体であることを特徴とする請求項 1 に記載の画像処理システム。
[3] 上記撮像素子は、カラー撮像素子であって、
上記プリ撮像により得られた各映像信号から、輝度信号を上記映像信号に係る信 号として抽出する第 1の YZC分離手段と、
上記本撮像により得られた映像信号から、輝度信号を上記映像信号に係る信号と して抽出する第 2の YZC分離手段と、
をさらに具備したことを特徴とする請求項 1に記載のカメラシステム。
[4] 上記プリ撮像制御手段は、上記撮像素子のダイナミックレンジに基づき露光量の変 化量を設定するものであることを特徴とする請求項 1に記載のカメラシステム。
[5] 上記変換特性算出手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める 縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、 上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算 出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換 曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値カゝら補間演算を行 うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、 上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる 変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、 を有するものであることを特徴とする請求項 1に記載のカメラシステム。
[6] 上記露光制御手段は、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に 基づき、暗部の無効画素数と露光量との間の関係を推定する暗部無効画素推定手 段と、
上記映像信号に係る信号と、上記プリ撮像に用いた露光量と、上記変換特性と、に 基づき、明部の無効画素数と露光量との間の関係を推定する明部無効画素推定手 段と、
上記暗部の無効画素数と露光量との間の関係と、上記明部の無効画素数と露光量 との間の関係と、に基づき、本撮像の露光量を算出する露光量算出手段と、 を有するものであることを特徴とする請求項 1に記載のカメラシステム。
[7] 上記暗部無効画素推定手段は、
上記映像信号に係る信号カゝら画素単位または所定領域単位にノイズ量を推定する ノイズ推定手段と、
上記変換特性に基づき、上記ノイズ量と、上記映像信号に係る信号と、を補正する ゲイン補正手段と、
上記補正されたノイズ量に基づきノイズ範囲を設定するノイズ範囲設定手段と、 上記補正された映像信号に係る信号が上記ノイズ範囲に属する割合を暗部無効 率として算出する暗部無効率算出手段と、
上記プリ撮像に用いた露光量と上記暗部無効率との関係を所定の関数に近似する 関数近似手段と、
を有するものであることを特徴とする請求項 6に記載のカメラシステム。
[8] 上記明部無効画素推定手段は、
上記映像信号に係る信号に対する所定の閾値を設定する閾値設定手段と、 上記変換特性に基づき上記映像信号に係る信号を補正するゲイン補正手段と、 上記補正された映像信号に係る信号が上記閾値を上回る割合を明部無効率として 算出する明部無効率算出手段と、
上記プリ撮像に用いた露光量と上記明部無効率との関係を所定の関数に近似する 関数近似手段と、
を有するものであることを特徴とする請求項 6に記載のカメラシステム。
[9] 上記関数近似手段は、上記所定の関数として 1次関数式または 2次関数式を用い るものであることを特徴とする請求項 7または請求項 8に記載のカメラシステム。
[10] 上記露光量算出手段は、上記暗部の無効画素数と上記明部の無効画素数とが等 しくなる露光量を探索する探索手段を有するものであることを特徴とする請求項 6に 記載のカメラシステム。
[11] 上記露光量算出手段は、上記暗部の無効画素数と露光量との間の関係と、上記明 部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う画質調整 手段をさらに有するものであることを特徴とする請求項 10に記載のカメラシステム。
[12] 上記画質調整手段は、上記プリ撮像に用いた露光量からの ISO感度情報に基づき 、上記暗部の無効画素数と露光量との間の関係を補正する高感度域調整手段を有 するものであることを特徴とする請求項 11に記載のカメラシステム。
[13] 上記画質調整手段は、上記映像信号に係る信号からの高輝度域の面積情報に基 づき、上記明部の無効画素数と露光量との間の関係を補正する高輝度域調整手段 を有するものであることを特徴とする請求項 11に記載のカメラシステム。
[14] 上記画質調整手段は、
上記プリ撮像時の合焦情報と測光情報とに基づき撮影状況を推定する撮影状況 推定手段と、
上記撮影状況に基づき、上記暗部の無効画素数と露光量との間の関係と、上記明 部の無効画素数と露光量との間の関係と、の少なくとも一方を補正する撮影状況調 整手段と、
を有するものであることを特徴とする請求項 11に記載のカメラシステム。
[15] 上記画質調整手段は、
ユーザーの調整値を入力するためのインタフェース手段と、 上記ユーザーの調整値に基づき、上記暗部の無効画素数と露光量との間の関係と 、上記明部の無効画素数と露光量との間の関係と、の少なくとも一方に補正を行う手 動調整手段と、
を有するものであることを特徴とする請求項 11に記載のカメラシステム。
[16] 上記階調変換手段は、
上記映像信号に係る信号を所定の縮小率で変換することにより縮小信号を求める 縮小手段と、
上記縮小信号を複数の領域に分割する分割手段と、
上記領域毎に輝度分布情報に基づき階調変換曲線を算出する階調変換曲線算 出手段と、
上記縮小信号における注目画素の信号値を複数の領域に各係る複数の階調変換 曲線に基づきそれぞれ階調変換し、階調変換後の複数の信号値カゝら補間演算を行 うことにより該注目画素の階調変換処理後の信号値を算出する補間算出手段と、 上記縮小信号と上記階調変換処理後の信号値とに基づき階調変換処理に用いる 変換特性を算出するゲイン算出手段と、
上記階調変換処理に用いる変換特性を所定の拡大率で変換する拡大手段と、 上記変換特性に基づき上記映像信号に係る信号に対して階調変換処理を行う変 換処理手段と、
を有するものであることを特徴とする請求項 1に記載のカメラシステム。
[17] 上記階調変換曲線算出手段は、上記輝度分布情報として累積ヒストグラムを用いる ものであることを特徴とする請求項 5または請求項 16に記載のカメラシステム。
[18] 上記カラー撮像素子は、 R (赤）， G (緑) , B (青)べィヤー（Bayer)型原色フィルタ を前面に配置した単板撮像素子、または Cy (シアン）， Mg (マゼンタ）， Ye (イェロー ) , G (緑)色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特 徴とする請求項 3に記載のカメラシステム。
PCT/JP2006/323123 2005-12-01 2006-11-20 カメラシステム WO2007063731A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200680045037XA CN101322398B (zh) 2005-12-01 2006-11-20 照相机系统、曝光量调节方法
US12/130,052 US8081236B2 (en) 2005-12-01 2008-05-30 Camera system capable of performing exposure control processing combined with gradation conversion processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005348391A JP4628937B2 (ja) 2005-12-01 2005-12-01 カメラシステム
JP2005-348391 2005-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/130,052 Continuation US8081236B2 (en) 2005-12-01 2008-05-30 Camera system capable of performing exposure control processing combined with gradation conversion processing

Publications (1)

Publication Number Publication Date
WO2007063731A1 true WO2007063731A1 (ja) 2007-06-07

Family

ID=38092066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323123 WO2007063731A1 (ja) 2005-12-01 2006-11-20 カメラシステム

Country Status (4)

Country Link
US (1) US8081236B2 (ja)
JP (1) JP4628937B2 (ja)
CN (1) CN101322398B (ja)
WO (1) WO2007063731A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050099A (ja) * 2012-08-30 2014-03-17 Avisonic Technology Corp ローカル輝度ゲインを用いて画質を向上させる画像処理方法および画像処理装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078001B2 (en) * 2007-05-11 2011-12-13 Micron Technology, Inc. Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing
JP5127317B2 (ja) * 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
JP5155641B2 (ja) * 2007-11-08 2013-03-06 オリンパス株式会社 映像信号処理装置、映像信号処理プログラム
JP5271631B2 (ja) * 2008-08-07 2013-08-21 Ｈｏｙａ株式会社 画像処理ユニット、撮像装置、合成画像作成プログラム
JP5202245B2 (ja) * 2008-11-20 2013-06-05 キヤノン株式会社 撮像装置およびその制御方法
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2010239479A (ja) * 2009-03-31 2010-10-21 Aisin Aw Co Ltd 撮像部制御装置、撮像部制御方法および撮像部制御プログラム
JP2011091584A (ja) * 2009-10-21 2011-05-06 Seiko Epson Corp 撮像装置、撮像方法及び電子機器
US8571403B2 (en) * 2010-05-14 2013-10-29 National Taiwan University Autofocus system
KR101722479B1 (ko) * 2010-12-08 2017-04-03 엘지전자 주식회사 카메라의 백라이트 보정 장치 및 방법
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
JP5665907B2 (ja) * 2013-04-03 2015-02-04 キヤノン株式会社 撮像装置及び撮像方法
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
US9438812B2 (en) * 2014-07-15 2016-09-06 Himax Imaging Limited Method for controlling exposure level of frame in image sensor, computer readable recording media for performing the method, and image processing system
CN105072350B (zh) * 2015-06-30 2019-09-27 华为技术有限公司 一种拍照方法及装置
US9848137B2 (en) * 2015-11-24 2017-12-19 Samsung Electronics Co., Ltd. CMOS image sensors having grid array exposure control
JP2018166242A (ja) * 2017-03-28 2018-10-25 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、および電子機器
KR102412278B1 (ko) * 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
CN117061879B (zh) * 2023-09-27 2023-12-19 武汉华工激光工程有限责任公司 一种自动光量补正方法、系统及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223387A (ja) * 2001-01-26 2002-08-09 Olympus Optical Co Ltd 撮像装置
JP2002232777A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2003069821A (ja) * 2001-08-23 2003-03-07 Olympus Optical Co Ltd 撮像システム
JP3465226B2 (ja) * 1999-10-18 2003-11-10 学校法人慶應義塾 画像濃度変換処理方法
JP2005191711A (ja) * 2003-12-24 2005-07-14 Olympus Corp 撮像システム、再生システム、撮像再生システム、撮像再生プログラム、撮像方法、再生プログラム
JP2005294921A (ja) * 2004-03-31 2005-10-20 Fuji Photo Film Co Ltd 画像処理装置および方法
JP2006295581A (ja) * 2005-04-12 2006-10-26 Olympus Corp 撮影システム、および映像信号処理プログラム
JP2006295774A (ja) * 2005-04-14 2006-10-26 Konica Minolta Photo Imaging Inc 撮像装置、撮像装置の制御方法および、デジタルカメラ用画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4269421B2 (ja) 1999-08-11 2009-05-27 株式会社ニコン 電子カメラ
US7428011B1 (en) * 1999-09-02 2008-09-23 Fujifilm Corporation Wide dynamic range electronic image recording and reproducing system
US7088390B2 (en) * 2000-06-19 2006-08-08 Olympus Optical Co., Ltd. Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode
US7298402B2 (en) 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
JP4869474B2 (ja) * 2000-10-26 2012-02-08 オリンパス株式会社 撮像装置
JP2003060980A (ja) * 2001-08-21 2003-02-28 Olympus Optical Co Ltd 画像処理システム
US20040085459A1 (en) * 2002-02-12 2004-05-06 Nikon Corporation Image processing device, image processing program, and image processing method
JP3762725B2 (ja) * 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3934597B2 (ja) 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
EP1718081A1 (en) * 2004-02-19 2006-11-02 Olympus Corporation Imaging system and image processing program
JP2005244559A (ja) * 2004-02-26 2005-09-08 Sanyo Electric Co Ltd 画像信号処理装置
JP2006261928A (ja) * 2005-03-16 2006-09-28 Konica Minolta Photo Imaging Inc 撮像装置及びデジタルカメラ

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3465226B2 (ja) * 1999-10-18 2003-11-10 学校法人慶應義塾 画像濃度変換処理方法
JP2002223387A (ja) * 2001-01-26 2002-08-09 Olympus Optical Co Ltd 撮像装置
JP2002232777A (ja) * 2001-02-06 2002-08-16 Olympus Optical Co Ltd 撮像システム
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2003069821A (ja) * 2001-08-23 2003-03-07 Olympus Optical Co Ltd 撮像システム
JP2005191711A (ja) * 2003-12-24 2005-07-14 Olympus Corp 撮像システム、再生システム、撮像再生システム、撮像再生プログラム、撮像方法、再生プログラム
JP2005294921A (ja) * 2004-03-31 2005-10-20 Fuji Photo Film Co Ltd 画像処理装置および方法
JP2006295581A (ja) * 2005-04-12 2006-10-26 Olympus Corp 撮影システム、および映像信号処理プログラム
JP2006295774A (ja) * 2005-04-14 2006-10-26 Konica Minolta Photo Imaging Inc 撮像装置、撮像装置の制御方法および、デジタルカメラ用画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050099A (ja) * 2012-08-30 2014-03-17 Avisonic Technology Corp ローカル輝度ゲインを用いて画質を向上させる画像処理方法および画像処理装置
US9189831B2 (en) 2012-08-30 2015-11-17 Avisonic Technology Corporation Image processing method and apparatus using local brightness gain to enhance image quality

Also Published As

Publication number Publication date
CN101322398B (zh) 2012-02-01
US20080231730A1 (en) 2008-09-25
US8081236B2 (en) 2011-12-20
CN101322398A (zh) 2008-12-10
JP4628937B2 (ja) 2011-02-09
JP2007158544A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
JP4628937B2 (ja) カメラシステム
CN1992820B (zh) 具有有助于曝光补偿的脸部检测功能的数字照相机
JP3680827B2 (ja) デジタルカメラ
JP5647209B2 (ja) 撮像装置及び撮像方法
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP6521776B2 (ja) 画像処理装置、画像処理方法
JP4126721B2 (ja) 顔領域抽出方法及び装置
WO2007049418A1 (ja) 画像処理システム、画像処理プログラム
WO2014038685A1 (en) Image processor, imaging apparatus equipped with the same, and image processing method
JP2009010616A (ja) 撮像装置および画像出力制御方法
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
JP2013042428A (ja) 撮像装置及び画像処理方法
JP2004201228A (ja) 顔領域抽出方法及び装置
JP2002290988A (ja) 撮像装置
JP4178017B2 (ja) 画像処理方法及びデジタルカメラ
JP5903478B2 (ja) 撮像装置及び撮像方法
JP6197062B2 (ja) 撮像装置及び撮像方法並びに表示装置及び表示方法
JP4301890B2 (ja) 撮像装置及び撮像装置の制御方法
JP2007027984A (ja) 撮影装置およびその制御方法
JP2009164723A (ja) 撮像装置及び撮像制御方法
JP4258752B2 (ja) プリンタシステム及びそのホワイトバランス制御方法、並びに電子カメラ及びプリンタ
JP2007074201A (ja) 撮影装置
JP2001136539A (ja) 電子カメラ
JP3661447B2 (ja) 画像データの色補正方法及びデジタルカメラ
JP2004221637A (ja) 電子カメラ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680045037.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06832973

Country of ref document: EP

Kind code of ref document: A1