WO2018066454A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
WO2018066454A1
WO2018066454A1 PCT/JP2017/035300 JP2017035300W WO2018066454A1 WO 2018066454 A1 WO2018066454 A1 WO 2018066454A1 JP 2017035300 W JP2017035300 W JP 2017035300W WO 2018066454 A1 WO2018066454 A1 WO 2018066454A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
pixels
ratio
luminance
unit
Prior art date
Application number
PCT/JP2017/035300
Other languages
English (en)
French (fr)
Inventor
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018543865A priority Critical patent/JP6534780B2/ja
Priority to CN201780061779.XA priority patent/CN109845241B/zh
Publication of WO2018066454A1 publication Critical patent/WO2018066454A1/ja
Priority to US16/357,857 priority patent/US10778903B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present invention relates to an imaging device, an imaging method, and a program, and more particularly, to an imaging device, an imaging method, and a program that perform exposure control.
  • Patent Document 1 proposes a technique for improving the image quality of a person's face. Specifically, Patent Document 1 proposes a technique for performing exposure control by comparing a set target luminance range and a histogram of the luminance of a human face (claim 1).
  • Patent Document 1 describes an overexposure amount and an underexposure amount as one element that determines the setting of the target luminance range (FIG. 13, paragraph 0080). That is, Patent Document 1 describes that the target luminance range is shifted to the higher luminance side as the amount of blackout is larger, and is shifted to the lower luminance side as the amount of overexposure is larger (paragraph 0080).
  • the amount of overexposure in Patent Document 1 indicates the degree of occurrence of overexposure.
  • the overexposure amount can be calculated according to how much the frequency in a predetermined high luminance region is higher than a threshold. Represents the degree of occurrence of blackout, and can be calculated, for example, by how much the frequency in a predetermined low-brightness region is higher than the threshold (paragraph 0080).
  • exposure control is performed by setting a target luminance range based on the amount of overexposure and the amount of underexposure.
  • the frequency in the histogram is biased toward the high luminance side or the low luminance side.
  • gradation is assigned to the high-luminance side or the low-luminance side that is unilaterally biased.
  • the gradation on the other side may be extremely reduced.
  • exposure control is performed using the number of overexposed pixels and the number of underexposed pixels as evaluation values, if the histogram of the captured image is biased in a scene with a wide dynamic range, In addition, there may be a case where information regarding gradation on the low luminance side cannot be left well.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide gradations on the high luminance side and the low luminance side even when the scene has a wide dynamic range and the histogram of the photographed image is biased. It is to provide an imaging apparatus, an imaging method, and a program that can leave as much information as possible.
  • an imaging apparatus includes an exposure setting unit that sets a first exposure or a second exposure, and an image that acquires a captured image captured at the first exposure.
  • An acquisition unit a luminance information acquisition unit that acquires information about the luminance of each pixel that constitutes the captured image, and a predetermined number of blackout pixels included in a predetermined blackout region based on the information about luminance, a predetermined blackout The number of low-brightness pixels included in the low-brightness area wider than the area, the number of whiteout pixels included in the predetermined whiteout area, and the high-luminance pixels included in the high-brightness area wider than the predetermined whiteout area
  • a counting unit for counting the number of pixels, a first ratio between the number of blackout pixels and the number of low-luminance pixels, and a second ratio between the number of overexposed pixels and the number of high-luminance pixels
  • a calculation unit for calculating the ratio of Based on the first ratio and the second ratio calculated in section, comprising
  • the exposure adjustment unit has a first ratio between the number of blackout pixels and the number of low luminance pixels, and a second ratio between the number of overexposed pixels and the number of high luminance pixels.
  • the exposure is adjusted based on the ratio.
  • the first ratio represents the ratio of blackout pixels to low luminance pixels
  • the second ratio represents the ratio of overexposed pixels to high luminance pixels.
  • the exposure adjusting unit determines a magnitude relationship between the first ratio and the second ratio, and when the first ratio is larger than the second ratio, the exposure adjustment unit is a predetermined amount with respect to the first exposure. If the second ratio is greater than the first ratio, the second exposure is adjusted to a second exposure with a predetermined amount lowered relative to the first exposure. .
  • the exposure adjustment unit performs adjustment to increase exposure when the ratio of the blackout pixel to the low luminance pixel is larger than the ratio of the overexposed pixel to the high luminance pixel, and the overexposed pixel to the high luminance pixel. Is larger than the ratio of the blacked-out pixels to the low-luminance pixels, the exposure is adjusted to be lowered. As a result, the adjustment is performed based on the magnitude relationship between the ratio of the blackout pixel with respect to the low luminance pixel and the ratio of the overexposure pixel with respect to the high luminance pixel. Can be left as much as possible.
  • the exposure adjustment unit increases a predetermined amount of exposure with respect to the first exposure when the first ratio is greater than the second ratio and the first ratio is greater than the first threshold.
  • a predetermined amount of exposure is applied to the first exposure. Adjust to a lowered second exposure.
  • the exposure adjustment unit increases the exposure to increase the blackness when the ratio of the blackout pixel to the low luminance pixel is larger than the ratio of the overexposed pixel to the high luminance pixel and larger than the first threshold. Adjust the exposure to reduce the proportion of crushed pixels. The exposure adjustment unit lowers the exposure and reduces the ratio of overexposure when the ratio of the overexposed pixel to the high luminance pixel is larger than the ratio of the blackout pixel to the low luminance pixel and larger than the second threshold. Adjust the exposure to reduce.
  • the blackout pixel, the low luminance is obtained based on the information on the predicted luminance.
  • the number of pixels of the pixel, the overexposed pixel, and the high luminance pixel is counted, the third ratio between the counted number of blackout pixels and the number of low luminance pixels, and the counted number of overexposed pixels
  • a simulation unit that calculates a fourth ratio between the number of pixels and the number of high-luminance pixels, and the exposure adjustment unit calculates the fourth ratio calculated by the simulation unit when the first ratio is greater than the second ratio.
  • the first exposure is adjusted to the second exposure according to the ratio of the first exposure, and when the second ratio is greater than the first ratio, the first exposure is determined according to the third ratio calculated by the simulation unit. To the second exposure.
  • the luminance information of the predicted captured image that is predicted to be captured after the exposure is adjusted is acquired by the simulation unit, and the blackout pixel, the low-luminance pixel, and the white color are acquired based on the acquired luminance information.
  • the number of skipped pixels and high luminance pixels are counted.
  • the ratio of the blackout pixel to the low luminance pixel and the ratio of the overexposure pixel to the high luminance pixel in the predicted captured image are calculated based on the number of pixels counted by the simulation unit.
  • the exposure adjustment unit of this aspect performs the number of overexposed pixels and the high luminance pixel in the predicted captured image.
  • Exposure control is performed based on the ratio to the number (fourth ratio), and when the ratio of the overexposed pixel to the high luminance pixel is larger than the ratio of the blackout pixel to the low luminance pixel, the black in the predicted captured image Exposure control is performed based on the ratio (third ratio) between the number of collapsed pixels and the number of low-luminance pixels.
  • the exposure adjustment unit adjusts the second exposure by reducing a predetermined amount of exposure with respect to the first exposure, and sets the fourth ratio. Is less than or equal to the fourth threshold value, the second exposure is adjusted to a predetermined amount higher than the first exposure.
  • the exposure is adjusted to a second exposure that is a predetermined amount lower than the exposure of one.
  • the ratio (fourth ratio) between the number of overexposed pixels and the number of high luminance pixels in the predicted captured image is equal to or less than the fourth threshold by the exposure setting unit.
  • the second exposure is adjusted to a predetermined amount higher than the first exposure.
  • the counting unit performs weighting according to the position of the captured image, and counts the number of blackout pixels and the number of overexposed pixels.
  • the counting unit counts the number of blackout pixels and the number of overexposed pixels that are weighted according to the position of the captured image.
  • exposure control can be performed using the count result obtained by weighting the blackout pixels and the whiteout pixels according to the position of the captured image.
  • the counting unit includes the number of blackout pixels and whiteout pixels in the center area of the photographed image, the number of blackout pixels and whiteout pixels in the main subject area in the photographed image, or Weighting is performed on the number of blackout pixels and the number of overexposed pixels in the region where the photographed image is in focus.
  • the counting unit includes the number of blackout pixels and whiteout pixels in the center area of the captured image, the number of blackout pixels and whiteout pixels in the main subject area in the captured image.
  • the number of pixels or the number of blackout pixels and the number of overexposed pixels in the region where the photographed image is in focus is weighted.
  • the image acquisition unit acquires a captured image by a color image sensor
  • the luminance information acquisition unit sets the R, G, and B values for each pixel that has been demosaiced based on an output value from the color image sensor.
  • the counting unit determines a high luminance pixel, and the maximum value among the R, G, and B values constituting the luminance of the determined high luminance pixel is the fifth value. Pixels larger than the threshold are counted as overexposed pixels.
  • the captured image is acquired by the color image sensor by the image acquisition unit, and the R, G, and B values for each pixel that are demosaiced based on the output value from the color image sensor by the luminance information acquisition unit Luminance is acquired based on.
  • the counting unit determines the high luminance pixel based on the luminance, and the maximum value among the R, G, and B values constituting the luminance of the determined high luminance pixel is the fifth value. Pixels larger than the threshold are counted as overexposed pixels.
  • An imaging method includes an exposure setting step for setting the first exposure or the second exposure, an image acquisition step for acquiring a captured image captured at the first exposure, and a captured image.
  • Luminance information acquisition step for acquiring information related to the luminance of each pixel that constitutes, and based on the information related to luminance, the number of blackened pixels included in the predetermined blacked-out region, a low-luminance region wider than the predetermined blacked-out region The number of low-luminance pixels included in the image, the number of white-out pixels included in the predetermined whiteout region, and the number of high-luminance pixels included in the high-intensity region wider than the predetermined whiteout region are counted.
  • Calculation step for calculating a first ratio between the number of blackout pixels and the number of low-luminance pixels and a second ratio between the number of overexposed pixels and the number of high-luminance pixels , Including on the basis of the first ratio and the second ratio calculated by the calculation step, and the exposure adjustment step of adjusting the first exposure to second exposure, the.
  • a program includes an exposure setting step for setting the first exposure or the second exposure, an image acquisition step for acquiring a captured image captured at the first exposure, and a captured image
  • a luminance information acquisition step for acquiring information related to the luminance of each pixel, and the number of blacked out pixels included in the predetermined blacked-out region based on the information related to the luminance, in a low-luminance region wider than the predetermined blacked-out region Count that counts the number of low-brightness pixels included, the number of whiteout pixels included in a predetermined whiteout region, and the number of high-brightness pixels included in a high-intensity region wider than the predetermined whiteout region
  • a calculation step for calculating a first ratio between the number of blackout pixels and the number of low luminance pixels, and a second ratio between the number of overexposed pixels and the number of high luminance pixels. If, based on the first ratio and the second ratio calculated by the calculation step, thereby realizing the exposure adjustment step of adjusting the
  • the present invention based on the first ratio between the number of blackout pixels and the number of low luminance pixels, and the second ratio between the number of overexposed pixels and the number of high luminance pixels. Since the exposure adjustment is performed, more information on the gradation on the high luminance side and the low luminance side is left than when the exposure adjustment is performed simply based on the number of blackout pixels and the number of overexposed pixels. Exposure control can be performed.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus to which the present invention is applied.
  • the imaging apparatus 10 of the present embodiment includes a photographing optical system 12, a color image sensor 14 (hereinafter referred to as “CCD (charge coupled device)”) comprising a solid-state imaging device such as a CCD, a timing generator ( TG (timing generator) 16, A / D (analog / digital) converter 18, image input controller 20, image signal processing circuit 22, compression / decompression processing circuit 24, video encoder 26, image display device 28, central processing unit (CPU) (Central processing unit)) 30, AE (automatic exposure) detection circuit 36, AF (auto focus) detection circuit 38, memory (SDRAM (synchronous dynamic random access memory)) 40, media controller 42, It comprises a recording medium 44, an operation unit 46, and the like.
  • CCD charge coupled device
  • the overall operation of the image pickup apparatus 10 is controlled by the CPU 30. That is, the CPU 30 controls each unit of the imaging apparatus 10 according to a predetermined program based on an input from the operation unit 46. This program is expanded in the memory 40, and various processes are performed while using the memory 40 as a working memory. Execute.
  • the photographing optical system 12 includes a zoom lens 12z, a focus lens 12f, and a diaphragm (for example, iris diaphragm) 12i, and is driven through motor drivers 48, 49, and 50, respectively, according to commands from the CPU 30. That is, the zoom lens 12z is driven by the motor driver 48 to move back and forth on the photographing optical axis, thereby changing the focal length. The focus lens 12f is driven by the motor driver 50 to move back and forth on the photographing optical axis, thereby changing the imaging position. Further, the aperture 12i is driven by the motor driver 49, and the amount of opening changes stepwise or continuously, thereby changing the aperture value.
  • a diaphragm for example, iris diaphragm
  • the CCD (image acquisition unit) 14 has R (red :), G (green :), and B (blue :) filters arranged for each pixel (for example, G stripe R / B checkered, Bayer array). And a color CCD (color image sensor).
  • Light incident on the light receiving surface of the CCD 14 via the photographing optical system 12 is converted into signal charges of an amount corresponding to the amount of incident light by each photodiode arranged on the light receiving surface.
  • the signal charges accumulated in each photodiode are read according to the timing signal applied from the timing generator (TG) 16 and sequentially output from the CCD 14 as a voltage signal (image signal).
  • the CCD 14 includes a shutter gate and a shutter drain, and by applying a shutter gate pulse to the shutter gate, signal charges accumulated in each photodiode can be swept out to the shutter drain.
  • the CPU 30 controls the charge accumulation time (shutter speed) of the signal charge accumulated in each photodiode by controlling the application of the shutter gate pulse to the shutter gate via the TG 16 (so-called electronic shutter function).
  • the image signals sequentially output from the CCD 14 are converted into digital image signals by the A / D converter 18 and temporarily stored in the memory 40 via the image input controller 20.
  • the image signal processing circuit 22 includes a white balance correction circuit, a gamma correction circuit, a contour correction circuit, a luminance and color difference signal generation circuit, and the like, processes the image signal stored in the memory 40 in accordance with a command from the CPU 30, and outputs a luminance signal. And a YCbCr signal or YUV signal composed of the color difference signal.
  • images are continuously captured by the CCD 14, and the obtained image signal is continuously processed to generate a YUV signal.
  • the generated YUV signal is applied to the video encoder 26 via the memory 40, converted into a signal format for display, and output to the image display device 28. As a result, the through movie image is displayed on the image display device 28.
  • the CCD 14 captures an image in response to a photographing command from the operation unit 46, and the obtained image signal is processed to generate a YUV signal.
  • the generated YUV signal is applied to the compression / decompression processing circuit 24 to form predetermined compressed image data, and then stored in the recording medium 44 via the media controller 42.
  • the compressed image data stored in the recording medium 44 is read from the recording medium 44 in accordance with a reproduction command, converted into an uncompressed YUV signal by the compression / decompression processing circuit 24, and then an image display device via the video encoder 26. 28 is output. As a result, the image recorded on the recording medium 44 is reproduced and displayed on the image display device 28.
  • the AE detection circuit 36 calculates a physical quantity necessary for AE control from the input image signal in accordance with a command from the CPU 30.
  • the AE detection circuit 36 calculates, for example, an integrated value of R, G, and B image signals for each area divided as a physical quantity necessary for AE control.
  • the CPU 30 detects the brightness of the subject based on the integrated value obtained from the AE detection circuit 36 to obtain an appropriate exposure value (EV (Exposure Value) value), and performs exposure control based on the obtained EV value. This exposure control will be described in detail later.
  • EV Exposure Value
  • the AF detection circuit 38 calculates a physical quantity necessary for AF control from the input image signal in accordance with a command from the CPU 30.
  • AF control is performed based on image contrast, and the AF detection circuit 38 calculates a focus evaluation value indicating the sharpness of the image from the input image signal.
  • the CPU 30 controls the movement of the focus lens 12f via the motor driver 50 so that the focus evaluation value calculated by the AF detection circuit 38 is maximized.
  • the imaging device 10 of the present embodiment is configured as described above.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the AE detection circuit 36 of the present embodiment.
  • the AE detection circuit 36 includes an exposure setting unit 101, a luminance information acquisition unit 103, a count unit 105, a calculation unit 107, and an exposure adjustment unit 109.
  • the luminance information acquisition unit 103 acquires information regarding the luminance of each pixel constituting the captured image.
  • the information regarding luminance is luminance or information related to luminance.
  • a value of Y calculated based on the following formula (1) in the image signal processing circuit 22 is used as the luminance.
  • R, G, and B are output values, and values after demosaic processing (synchronization processing) of the output values from the color image sensor (CCD 14) are used.
  • the demosaic process is a process of calculating all color information for each pixel from the demosaic image corresponding to the color filter array of the single-plate color image sensor (CCD 14), and is also called a synchronization process.
  • the CCD 14 composed of three color filters of R, G, and B
  • this is a process of calculating all R, G, and B color information for each pixel from a mosaic image composed of R, G, and B.
  • the demosaic process is performed by the image signal processing circuit 22.
  • the output value of the G signal is used as the information related to luminance. Since the output value of the G signal contributes most to the luminance as in the above-described equation (1), the output value of the G signal may be used as information relating to the luminance.
  • FIG. 3 shows information on the luminance of each pixel constituting the captured image acquired by the luminance information acquisition unit 103, and shows a so-called luminance histogram.
  • FIG. 3 shows the number (frequency) of pixels on the Y axis and the luminance on the X axis.
  • the low luminance region and the high luminance region refer to a low luminance side region and a high luminance side region in all pixels constituting the captured image.
  • the lowest luminance side (1/4 low luminance side) is set as the low luminance area
  • the luminance area of all pixels of the captured image is most divided into four.
  • the high luminance side (1/4 high luminance side) is defined as a high luminance region.
  • the blackout area is an area in the low luminance area, which is an area having a luminance lower than a predetermined luminance.
  • a blackout area is an area on the lowest brightness side (1/4 lower brightness side in the low brightness area) when the low brightness area is divided into four areas
  • a whiteout area is an area in the high brightness area.
  • the whiteout region is a region on the highest luminance side (1/4 high luminance side in the high luminance region) when the high luminance region is divided into four.
  • pixels included in the blackout area are referred to as blackout pixels
  • pixels included in the whiteout area are referred to as whiteout pixels.
  • a pixel included in the low luminance region is referred to as a low luminance pixel
  • a pixel included in the high luminance region is referred to as a high luminance pixel.
  • the counting unit 105 counts the number of blackout pixels, the number of low-luminance pixels, the number of overexposed pixels, and the number of high-luminance pixels.
  • the counting unit 105 may count one pixel as one count, or may count the pixels by weighting them according to the position of the pixel in the captured image. The case where the count unit 105 weights pixels will be described later.
  • the calculation unit 107 calculates the ratio of the blackout pixels to the number of low luminance pixels (first ratio) and the ratio of the overexposed pixels to the number of high luminance pixels (second Ratio). Then, the calculation unit 107 sends the calculation result to the exposure adjustment unit 109.
  • the exposure setting unit 101 sets an exposure when a captured image is captured by the imaging device 10.
  • the exposure setting unit 101 first sets the exposure by a known technique.
  • exposure setting by a known technique is a process of calculating an exposure control amount by a conventional general process. Basically, information on luminance acquired from a captured image signal of the entire screen. Based on the above, exposure control is performed.
  • the exposure setting unit 101 transmits the exposure set by a known technique as described above and the exposure setting adjusted by the exposure adjustment unit 109 described later to the CPU 30.
  • the CPU 30 that has received the exposure setting controls exposure by controlling the aperture 12i, the shutter speed of a shutter (not shown), and the sensitivity of the CCD 14.
  • the exposure before the exposure adjustment of the present invention is set as the first exposure
  • the exposure after the exposure adjustment of the present invention is set as the second exposure.
  • the exposure setting unit 101 includes an exposure adjustment unit 109.
  • the exposure adjustment unit 109 sets the current exposure based on the ratio of the blacked out pixels and the ratio of overexposed pixels calculated by the calculation unit 107 described below. Adjust the exposure after adjustment.
  • the exposure adjusted by the exposure adjusting unit 109 is set by the exposure setting unit 101, and the imaging apparatus 10 performs shooting with the adjusted exposure.
  • the exposure adjustment unit 109 increases the exposure or decreases the exposure.
  • the exposure adjustment unit 109 can set the exposure up to +3 Ev as the predetermined exposure, for example, every 1/3 Ev when increasing the predetermined amount of exposure, and when reducing the predetermined amount of exposure, for example, An exposure up to ⁇ 3 Ev can be set as a predetermined exposure every 1/3 Ev.
  • the exposure adjustment unit 109 also determines the magnitude relationship between the proportion of blackout pixels and the proportion of overexposed pixels. If the proportion of overexposed pixels is large, the exposure adjustment unit 109 adjusts to increase the exposure so that the proportion of overexposed pixels is black. If it is larger than the ratio of the collapsed pixels, the exposure is adjusted to be lowered. Note that the exposure adjustment unit 109 may not adjust the exposure when the ratio of the blackout pixel and the ratio of the overexposed pixel are equal.
  • the exposure adjustment unit 109 adjusts to increase exposure when the ratio of blackout pixels is larger than the ratio of overexposed pixels and the ratio of blackout pixels is larger than the blackout pixel ratio threshold (first threshold). I do.
  • the exposure adjustment unit 109 is a case where the proportion of overexposed pixels in the high luminance region is larger than the blackout pixels in the low luminance region, and the proportion of overexposed pixels is the overexposed pixel ratio threshold (second If it is larger than (threshold), the exposure is adjusted to be lowered.
  • the blackout pixel ratio threshold is 1/2
  • the whiteout pixel ratio threshold is 1/2.
  • FIG. 4 is a diagram showing an operation flow of exposure adjustment according to the first embodiment.
  • the exposure setting unit 101 sets the exposure controlled by known exposure control, and a more live view image is taken (exposure setting step and image acquisition step).
  • the luminance information acquisition unit 103 acquires a generated luminance histogram based on the live view image captured and output by the CCD 14 (step S10: luminance information acquisition step). This live view image was taken with exposure before adjustment.
  • the counting unit 105 counts the number of pixels in the low luminance area (number of pixels of the low luminance pixel) Nl and the number of pixels in the high luminance area (the number of pixels of the high luminance pixel) Nh based on the above-described histogram (step S11). : Count step). Thereafter, the counting unit 105 counts the number of pixels in the blackout area (number of blackout pixels) Nls and the number of pixels in the whiteout area (number of pixels in the whiteout area) Nhs (step S12: counting step).
  • the calculation unit 107 calculates the ratio (Nls / Nl) of blackout pixels based on the number Nl of low luminance pixels and the number Nls of blackout regions, and calculates the number Nh of high luminance regions and the overexposure region.
  • the ratio of overexposed pixels (Nhs / Nh) is calculated from the number of pixels Nhs (step S13: calculation step).
  • the exposure adjustment unit 109 compares the ratio of blackout pixels with the ratio of overexposed pixels (step S14). If the ratio of overexposed pixels is larger than the ratio of overexposed pixels, the ratio of underexposed pixels is black. It is determined whether or not it is larger than the collapsed pixel ratio threshold Th (step S15). If the ratio of the blacked-out pixels is larger than the blacked-out pixel ratio threshold Th, adjustment is performed to increase the predetermined amount of exposure from the current exposure (step 16). On the other hand, the exposure adjustment unit 109 does not change from the current exposure when the ratio of the blacked-out pixels is smaller than the blacked-out pixel ratio threshold Th (step S19).
  • the exposure adjustment unit 109 compares the ratio of the blackout pixel and the ratio of the overexposed pixel (step S14), and if the ratio of the overexposure pixel is equal to or less than the overexposed pixel ratio, the overexposed pixel ratio. Is larger than the overexposure pixel ratio threshold Th (step S17). If the ratio of overexposed pixels is larger than the overexposed pixel ratio threshold Th, an adjustment is made to reduce the predetermined amount of exposure from the current exposure (step S18). On the other hand, when the ratio of overexposed pixels is smaller than the overexposed pixel ratio threshold Th, the exposure adjusting unit 109 does not change from the current exposure (step S19). Steps S16, S18, and S19 correspond to the exposure adjustment step.
  • blackout is simply performed by performing exposure adjustment based on the ratio of blackout pixels to the number of low luminance pixels and the ratio of overexposure pixels to the number of high luminance pixels.
  • Information about gradations on the high luminance side and the low luminance side can be left as compared with the case where exposure adjustment is performed based on the number of pixels and the number of overexposed pixels.
  • FIG. 5 is a block diagram showing a functional configuration example of the AE detection circuit 36 of the present embodiment.
  • the AE detection circuit 36 includes an exposure setting unit 101, a luminance information acquisition unit 103, a count unit 105, a calculation unit 107, an exposure adjustment unit 109, and a simulation unit 111.
  • the part already demonstrated in FIG. 2 attaches
  • the simulation unit 111 captures a blackout pixel ratio (predicted blackout pixel ratio: third ratio) and a whiteout pixel ratio (predicted white) when a captured image is captured with the exposure adjusted by the exposure adjustment unit 109.
  • the ratio of skip pixels: fourth ratio) is calculated.
  • FIG. 6 is a block diagram illustrating a functional configuration example of the simulation unit 111.
  • the simulation unit 111 includes a simulation luminance information acquisition unit 121, a simulation count unit 122, and a simulation calculation unit 123.
  • the simulation luminance information acquisition unit 121 generates and acquires information on the luminance of each pixel constituting the predicted captured image that is predicted to be obtained when the image is captured with the adjusted exposure.
  • the simulation luminance information acquisition unit 121 sends information regarding the acquired luminance to the simulation count unit 122.
  • the simulation luminance information acquisition unit 121 generates information related to the luminance of the predicted captured image using a known technique.
  • the simulation count unit 122 counts the number of pixels of the predicted blackout pixel, the predicted low luminance pixel, the predicted whiteout pixel, and the predicted high luminance pixel based on the information about the luminance acquired from the simulation luminance information acquisition unit 121.
  • the simulation count unit 122 transmits the count result to the simulation calculation unit 123.
  • the predicted blackout pixel, the predicted low brightness pixel, the predicted whiteout pixel, and the predicted high brightness pixel are respectively the blackout area, similarly to the blackout pixel, the low brightness pixel, the whiteout pixel, and the high brightness pixel described above. These are pixels included in the low luminance area, the overexposed area, and the high luminance area.
  • the simulation calculation unit 123 calculates a ratio of predicted blackout pixels that is a ratio between the number of predicted blackout pixels received from the simulation count unit 122 and the number of predicted low luminance pixels. Further, the simulation calculation unit 123 calculates a ratio of predicted whiteout pixels, which is a ratio between the number of predicted whiteout pixels received from the simulation count unit 122 and the number of predicted high luminance pixels.
  • the exposure adjustment unit 109 predicts the overexposed pixel with respect to the number of predicted high luminance pixels calculated by the simulation calculation unit 123. Adjust the exposure according to the ratio. Further, when the ratio of overexposed pixels is larger than the ratio of undercut pixels, the exposure adjustment unit 109 responds to the predicted underexposure pixel ratio with respect to the number of predicted low-brightness pixels calculated by the simulation calculation unit 123. Adjust the exposure.
  • the exposure adjustment unit 109 adjusts the exposure by reducing the predetermined amount of exposure when the ratio of the predicted blackout pixel is equal to or less than the predicted blackout pixel ratio threshold (third threshold). Further, the exposure adjusting unit 109 adjusts the exposure to a predetermined amount when the predicted whiteout pixel ratio is larger than the predicted whiteout pixel ratio threshold (fourth threshold). For example, the predicted blackout pixel ratio threshold is 1 ⁇ 2, and the predicted whiteout pixel ratio threshold is 1 ⁇ 2. Note that the blackout pixel ratio threshold, the whiteout pixel ratio threshold, the predicted blackout pixel ratio threshold, and the predicted whiteout pixel ratio threshold described above may be the same or different.
  • FIG. 7 is a diagram showing an operation flow of exposure adjustment according to the present embodiment.
  • the luminance information acquisition unit 103 acquires a generated luminance histogram based on the live view image captured and output by the CCD 14 (step S20), and then the counting unit 105 counts the number of pixels in the low luminance region. (Low luminance pixel) Nl and the number of pixels in the high luminance region (high luminance pixel) Nh are counted (step S21), and the number of pixels in the blackout region Nls and the number of pixels in the overexposure region Nhs are counted (step S22).
  • the calculation unit 107 calculates the ratio (Nls / Nl) of the blacked-out pixels based on the number of low-brightness pixels (number of low-brightness pixels) Nl and the number of blackout areas (number of blackened pixels) Nls.
  • the ratio of the overexposed pixels (Nhs / Nh) is calculated from the number of pixels in the high luminance area (the number of high luminance pixels) Nh and the number of pixels in the overexposed area (the number of overexposed pixels) Nhs ( Step S23).
  • the exposure adjustment unit 109 compares the proportion of blackout pixels with the proportion of overexposed pixels (step S24). If the proportion of blackout pixels is larger than the proportion of overexposed pixels, the proportion of blackout pixels is black. It is determined whether or not it is larger than the collapsed pixel ratio threshold Th (step S25).
  • the simulation luminance information acquisition unit 121 creates a luminance histogram when the exposure is increased by a predetermined amount (step S26). Then, the simulation count unit 122 counts the number of pixels Nh in the predicted high luminance region and the number of pixels Nhs in the predicted whiteout region (Step S27 and Step S28). The exposure adjustment unit 109 compares the predicted whiteout pixel ratio with the predicted whiteout threshold (step S29), and adjusts the exposure when the predicted whiteout pixel ratio is larger than the predicted white skip threshold. Not performed (step S30). On the other hand, the exposure adjustment unit 109 compares the predicted whiteout pixel ratio with the predicted whiteout threshold value. If the predicted whiteout pixel ratio is equal to or lower than the predicted whiteout threshold value, hunting occurs even if the exposure is increased. Therefore, the exposure is adjusted to increase by a predetermined amount (step S31).
  • the exposure adjustment unit 109 does not adjust the exposure when the ratio of the blackout pixels is equal to or less than the blackout pixel ratio threshold (step S25).
  • the exposure adjustment unit 109 compares the proportion of blackout pixels with the proportion of overexposed pixels (step S24). If the proportion of overexposed pixels is equal to or less than the proportion of overexposed pixels, the proportion of overexposed pixels is It is determined whether or not it is larger than a whiteout pixel ratio threshold Th (step S32).
  • the simulation luminance information acquiring unit 121 creates a luminance histogram when the exposure is lowered by a predetermined amount (step S33). Then, the simulation count unit 122 counts the number of pixels Nl in the predicted low luminance region and the number of pixels Nls in the predicted blackout region (step S34 and step S35). Then, the exposure adjustment unit 109 compares the predicted blackout pixel ratio with the predicted blackout threshold value (step S36), and adjusts the exposure when the predicted blackout pixel ratio is larger than the predicted blackout threshold value. Not performed (step S30).
  • the exposure adjusting unit 109 compares the predicted whiteout pixel ratio with the predicted whiteout threshold (fourth threshold value), and if the predicted whiteout pixel ratio is equal to or lower than the predicted white skip threshold, the exposure adjustment unit 109 adjusts the exposure. Since the occurrence of hunting is suppressed even if it is lowered, adjustment is performed to lower the exposure by a predetermined amount (step S37). Note that the operation flow shown in FIG. 7 may be repeated. In other words, after the adjustment for increasing the exposure (step S31) or decreasing the exposure (step S37) is performed, the exposure control may be performed again by changing the exposure adjustment amount. Then, for example, the exposure adjustment operation shown in FIG. 7 may be performed until the ratio of the blacked out pixel and the ratio of the overexposed pixel become substantially equal.
  • the exposure adjustment unit 109 adjusts the exposure based on the calculation result of the predicted blackout pixel ratio or the predicted whiteout pixel ratio. Therefore, the occurrence of hunting is suppressed.
  • the counting unit 105 of this embodiment performs weighting according to the position of the pixel in the captured image, and counts the number of blackout pixels and the number of overexposed pixels.
  • FIG. 8 is a diagram conceptually illustrating an example in which weighting is performed on the count of the number of pixels at the position of the captured image 51.
  • the counting unit 105 performs weighting on the blackout pixels and overexposed pixels in the central region 53 of the captured image 51 and counts them.
  • the photographed image 51 is divided into 25 areas of 5 ⁇ 5.
  • the counting unit 105 counts four times the number of blackout pixels and the number of overexposed pixels included in the central region 53. Further, the counting unit 105 counts twice the number of blackout pixels and the number of overexposed pixels included in the quasi-central area 52. In this way, the blackout pixels and the overexposed pixels located in the central region 53 and / or the quasi-central region 52 of the captured image 51 are weighted and counted, so that the object corresponding to the subject located in the center of the captured image 51 Exposure control can be performed.
  • FIG. 9 is a diagram conceptually illustrating an example in which weighting is performed on the count of the number of pixels at the position of the captured image 51.
  • the counting unit 105 counts the weighted pixels and overexposed pixels in the area of the main subject 54 in the captured image 51 by weighting them.
  • blackout pixels and whiteout pixels in the main subject area 55 which is an area where the main subject 54 is located, are counted four times. In this way, exposure control according to the main subject 54 of the captured image 51 can be performed by weighting and counting the blackout pixels and overexposed pixels located in the main subject region 55 of the captured image 51.
  • FIG. 10 is a diagram conceptually illustrating an example in which weighting is performed on the count of the number of pixels at the position of the captured image 51.
  • the counting unit 105 performs weighting on the blackout pixels and overexposed pixels in the region in which the captured image 51 is in focus and counts.
  • the focal point is focused on the person 57, and the tree 58 and the mountain 59 are not focused (indicated by dotted lines in the figure). Then, the blackout pixels and whiteout pixels constituting the in-focus person 57 are counted four times, and the other blackout pixels and whiteout pixels constituting the other out-of-focus areas are counted one time. .
  • exposure control according to a focused subject can be performed by weighting and counting the blackened pixels and overexposed pixels in the focused area.
  • the counting unit 105 determines a high-luminance pixel based on the luminance, and the maximum value among the R, G, and B values that constitute the luminance of the determined high-luminance pixel is an overexposure threshold (first step).
  • a pixel larger than (5 threshold) is counted as a skipped pixel.
  • the overexposure threshold is 1/16 of the luminance from the high luminance side when the entire luminance range is 1.
  • the count unit 105 employs a method of detecting the count of low luminance pixels, blackout pixels, high luminance pixels, and overexposed pixels for each pixel.
  • the CCD 14 is a color image sensor (CCD 14) and acquires a photographed image.
  • the luminance information acquisition unit 103 uses the above-described equation (1) based on the R, G, and B values for each pixel that has been demosaiced based on the output value from the color image sensor (CCD 14). Y is acquired.
  • FIG. 11 is a diagram illustrating an operation flow when the counting unit 105 in the imaging apparatus 10 according to the present embodiment counts each pixel. That is, the count unit 105 counts each pixel constituting the captured image along the operation flow shown in FIG.
  • the count unit 105 determines whether or not the luminance Y of the pixel is smaller than a blackout threshold (step S41). When the brightness Y is smaller than the blackout threshold, the counting unit 105 counts as a blackout pixel (step S42) and counts as a low brightness pixel (step S43).
  • the counting unit 105 determines whether the luminance Y is smaller than the low luminance threshold (step S44). When the luminance Y is smaller than the low luminance threshold, the counting unit 105 counts as a low luminance pixel.
  • the counting unit 105 determines whether the brightness Y is greater than the high brightness threshold (step S45). When the luminance Y is equal to or lower than the high luminance threshold, the counting unit 105 does not count. On the other hand, when the luminance Y is larger than the high luminance threshold, the counting unit 105 counts as a high luminance pixel (step S46). Thereafter, the count unit 105 acquires the maximum value of the R, G, and B values that make up the luminance Y (step S47). Next, the counting unit 105 determines whether or not the maximum value among the R, G, and B values is larger than the overexposure threshold (step S48). If the maximum value is larger than the overexposure threshold, the counting unit 105 counts as overexposed pixels (step S49). On the other hand, when the maximum value is less than the overexposure threshold, the counting unit 105 does not count as overexposed pixels.
  • the count unit 105 can perform exposure control while suppressing color saturation by determining the pixels in the overexposed region based on the maximum values of R, G, and B that constitute the luminance Y.
  • FIG. 12 shows the appearance of a smartphone 300 equipped with a computer.
  • a smartphone 300 illustrated in FIG. 12 includes a flat housing 302, and a display input in which a display panel 321 as a display unit and an operation panel 322 as an input unit are integrated on one surface of the housing 302.
  • the unit 320 is provided.
  • the housing 302 includes a speaker 331, a microphone 332, an operation unit 340, and a camera unit 341. Note that the configuration of the housing 302 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 13 is a block diagram showing a configuration of the smartphone 300 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 310, a display input unit 320, a call unit 330, an operation unit 340, a camera unit 341, a storage unit 350, and an external input / output unit. 360, a GPS (global positioning system) receiving unit 370, a motion sensor unit 380, a power supply unit 390, and a main control unit 301.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and a mobile communication network is provided.
  • the wireless communication unit 310 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network in accordance with an instruction from the main control unit 301. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 320 controls the main control unit 301 to display images (still images and moving images), character information, and the like to visually transmit information to the user and to detect user operations on the displayed information.
  • a so-called touch panel which includes a display panel 321 and an operation panel 322.
  • the display panel 321 uses an LCD (liquid crystal display), an OELD (organic electroluminescence display) or the like as a display device.
  • the operation panel 322 is a device that is placed so that an image displayed on the display surface of the display panel 321 is visible, and detects one or more coordinates operated by a user's finger or a pen-type input device. When such a device is operated by a user's finger or a pen-type input device, a detection signal generated due to the operation is output to the main control unit 301. Next, the main control unit 301 detects an operation position (coordinates) on the display panel 321 based on the received detection signal.
  • the display panel 321 and the operation panel 322 of the smartphone 300 integrally form the display input unit 320, but the operation panel 322 is disposed so as to completely cover the display panel 321. ing.
  • the operation panel 322 may have a function of detecting a user operation even in an area outside the display panel 321.
  • the operation panel 322 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 321 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 321. May be included).
  • the operation panel 322 may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 302 and the like. Furthermore, examples of the position detection method employed in the operation panel 322 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 330 includes a speaker 331 and a microphone 332, converts user's voice input through the microphone 332 into voice data that can be processed by the main control unit 301, and outputs the voice data to the main control unit 301, or a wireless communication unit 310 or the audio data received by the external input / output unit 360 is decoded and output from the speaker 331.
  • the speaker 331 can be mounted on the same surface as the display input unit 320 and the microphone 332 can be mounted on the side surface of the housing 302.
  • the operation unit 340 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 340 is mounted on the side surface of the housing 302 of the smartphone 300 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 350 includes the control program and control data of the main control unit 301, application software, address data that associates the name and telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 350 includes an internal storage unit 351 built in the smartphone and an external storage unit 352 having a removable external memory slot.
  • Each of the internal storage unit 351 and the external storage unit 352 constituting the storage unit 350 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (random access memory), a ROM (read only memory) or the like.
  • a flash memory type for example, MicroSD (registered trademark) memory
  • RAM random access memory
  • ROM read only memory
  • the external input / output unit 360 serves as an interface with all external devices connected to the smartphone 300, and communicates with other external devices (for example, a universal serial bus (USB)) or a network (for example, , Internet, wireless LAN (local area network), Bluetooth (registered trademark), RFID (radio frequency identification), infrared communication (IrDA) (registered trademark), UWB (ultra wideband) (registered trademark) , ZigBee (registered trademark, etc.) for direct or indirect connection.
  • USB universal serial bus
  • network for example, Internet, wireless LAN (local area network), Bluetooth (registered trademark), RFID (radio frequency identification), infrared communication (IrDA) (registered trademark), UWB (ultra wideband) (registered trademark) , ZigBee (registered trademark, etc.
  • Examples of external devices connected to the smartphone 300 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (subscriber). identity module card) / UIM (user identity module card) card, external audio video equipment connected via audio video I / O (input / output) terminal, external audio video equipment connected wirelessly, wired / wireless connected Smartphones, wired / wireless personal computers, wired / wireless PDAs (personal digital assistants), and earphones.
  • the external input / output unit transmits data received from such an external device to each component inside the smartphone 300, or transmits data inside the smartphone 300 to the external device.
  • the GPS receiving unit 370 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 301, executes a positioning calculation process based on the received plurality of GPS signals, Detects position including longitude and altitude.
  • the GPS reception unit 370 can acquire position information from the wireless communication unit 310 or the external input / output unit 360 (for example, a wireless LAN), the GPS reception unit 370 can also detect the position using the position information.
  • the motion sensor unit 380 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 300 in accordance with an instruction from the main control unit 301. By detecting the physical movement of the smartphone 300, the moving direction and acceleration of the smartphone 300 are detected. The detection result is output to the main control unit 301.
  • the power supply unit 390 supplies power stored in a battery (not shown) to each unit of the smartphone 300 in accordance with an instruction from the main control unit 301.
  • the main control unit 301 includes a microprocessor, operates according to a control program and control data stored in the storage unit 350, and controls each unit of the smartphone 300 in an integrated manner.
  • the main control unit 301 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 310.
  • the application processing function is realized by the main control unit 301 operating according to the application software stored in the storage unit 350.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 360 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 301 has an image processing function such as displaying video on the display input unit 320 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 301 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 320.
  • the main control unit 301 executes display control for the display panel 321 and operation detection control for detecting a user operation through the operation unit 340 and the operation panel 322.
  • the main control unit 301 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar
  • the scroll bar refers to a software key for accepting an instruction to move a display portion of an image, such as a large image that does not fit in the display area of the display panel 321.
  • the main control unit 301 detects a user operation through the operation unit 340, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 322. Or a display image scroll request through a scroll bar.
  • the main control unit 301 causes the operation position with respect to the operation panel 322 to overlap with the display panel 321 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 321.
  • a touch panel control function for controlling the sensitive area of the operation panel 322 and the display position of the software key.
  • the main control unit 301 can also detect a gesture operation on the operation panel 322 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 341 is a digital camera that performs electronic photography using an image sensor such as a CMOS (complementary metal oxide semiconductor) image sensor or a CCD (charge coupled device) image sensor.
  • the camera unit 341 converts image data obtained by imaging into compressed image data such as JPEG (joint photographic coding coding experts group), for example, recorded in the storage unit 350 or externally controlled by the main control unit 301.
  • the data can be output through the input / output unit 360 and the wireless communication unit 310.
  • the camera unit 341 is mounted on the same surface as the display input unit 320, but the mounting position of the camera unit 341 is not limited thereto, and may be mounted on the back surface of the display input unit 320.
  • a plurality of camera units 341 may be mounted. Note that in the case where a plurality of camera units 341 are installed, the camera unit 341 used for shooting can be switched to perform shooting alone, or a plurality of camera units 341 can be used for shooting simultaneously.
  • the camera unit 341 can be used for various functions of the smartphone 300.
  • an image acquired by the camera unit 341 can be displayed on the display panel 321, or the image of the camera unit 341 can be used as one of operation inputs of the operation panel 322.
  • the GPS receiving unit 370 detects a position
  • the position can also be detected with reference to an image from the camera unit 341.
  • the optical axis direction of the camera unit 341 of the smartphone 300 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 341 can be used in the application software.
  • AE detection circuit 36 described above in the smartphone 300 is included in the main control unit 301.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本発明は、ダイナミックレンジが広いシーンであって撮影画像のヒストグラムに偏りがある場合であっても高輝度側および低輝度側の階調に関する情報を可能な限り残すことができる撮像装置、撮像方法、およびプログラムを提供することを目的とする。欠陥検査装置（１０）は、露出設定部（１０１）と、画像取得部と、輝度情報取得部（１０３）と、黒つぶれ画素の画素数、低輝度画素の画素数、白とび画素の画素数、および高輝度画素の画素数をそれぞれカウントするカウント部と、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比を算出する算出部と、算出部で算出された第１の比および第２の比に基づいて、第１の露出を第２の露出に調整する露出調整部と、を備える。

Description

撮像装置、撮像方法、およびプログラム
　本発明は、撮像装置、撮像方法、およびプログラムに関し、特に露出制御を行う撮像装置、撮像方法、およびプログラムに関する。
　従来より、撮影されるシーンや被写体に合わせて露出制御を行う技術が提案されている。
　例えば特許文献１では、人物の顔の画質を向上させることを目的とした技術が提案されている。具体的には特許文献１では、設定された目標輝度範囲と人物の顔の輝度のヒストグラムが比較されて露出制御を行う技術が提案されている（請求項１）。
特開２００７－２０１９７９号公報
　特許文献１では、目標輝度範囲の設定を決定する１つの要素として白とび量および黒つぶれ量が記載されている（図１３、段落００８０）。すなわち特許文献１には、目標輝度範囲を黒つぶれ量が大きいほど高輝度側にシフトさせ、白とび量が大きいほど低輝度側にシフトさせることが記載されている（段落００８０）。ここで、特許文献１における白とび量は白とびの発生度合いを示すものであり、例えば、所定の高輝度領域における頻度が、閾値よりどれだけ高いかにより計算することができ、黒つぶれ量は、黒つぶれの発生度合いを示すものであり、例えば、所定の低輝度領域における頻度が、閾値よりどれだけ高いかにより計算することができる（段落００８０）。
　ここで、特許文献１に記載された技術では、白とび量および黒つぶれ量に基づいて目標輝度範囲を設定し露出制御を行っている。しかし、このように単純な白とび量（白とび発生度合）および黒つぶれ量（黒つぶれ発生度合）に基づいて露出制御を行うと、ヒストグラムにおける頻度が高輝度側または低輝度側に偏っている場合に、高輝度側および低輝度側の双方において階調を残すことができなくなる場合がある。すなわち、単純に白とび画素の画素数および黒つぶれ画素の画素数を評価値として露出制御を行ってしまうと、一方的に偏っている高輝度側または低輝度側に階調が割りつけられてしまい、他方側の階調が極端に縮小されてしまう場合が発生する。その結果、白とび画素の画素数および黒つぶれ画素の画素数を評価値として露出制御を行った場合には、ダイナミックレンジが広いシーンであって撮影画像のヒストグラムに偏りがあると、高輝度側および低輝度側の階調に関する情報を上手く残せない場合が発生する。
　本発明はこのような事情に鑑みてなされたもので、その目的は、ダイナミックレンジが広いシーンであって撮影画像のヒストグラムに偏りがある場合であっても高輝度側および低輝度側の階調に関する情報を可能な限り残すことができる撮像装置、撮像方法、およびプログラムを提供することである。
　上記目的を達成するために本発明の一の態様である撮像装置は、第１の露出または第２の露出を設定する露出設定部と、第１の露出で撮影された撮影画像を取得する画像取得部と、撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得部と、輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウント部と、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比を算出する算出部と、算出部で算出された第１の比および第２の比に基づいて、第１の露出を第２の露出に調整する露出調整部と、を備える。
　本態様によれば、露出調整部は、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比に基づいて、露出の調整を行う。ここで第１の比は低輝度画素に対しての黒つぶれ画素の割合を表しており、第２の比は高輝度画素に対しての白とび画素の割合を表している。このように、第１の比および第２の比に基づいて露出調整を行うことにより、単に黒つぶれ画素の画素数および白とび画素の画素数に基づいて露出調整が行われる場合よりも、高輝度側および低輝度側の階調に関する情報をより残す露出制御を行うことができる。
　好ましくは、露出調整部は、第１の比と第２の比との大小関係を判定し、第１の比が第２の比よりも大きい場合には、第１の露出に対して所定量の露出を上げた第２の露出に調整し、第２の比が第１の比よりも大きい場合には、第１の露出に対して所定量の露出を下げた第２の露出に調整する。
　本態様によれば、露出調整部は、低輝度画素に対する黒つぶれ画素の割合が高輝度画素に対する白とび画素の割合よりも大きい場合には露出を上げる調整を行い、高輝度画素に対する白とび画素の割合が低輝度画素に対する黒つぶれ画素の割合よりも大きい場合には露出を下げる調整を行う。これにより本態様は、低輝度画素に対する黒つぶれ画素の割合と高輝度画素に対する白とび画素の割合との大小関係に基づいて調整が行われるので、高輝度側および低輝度側の階調に関する情報を可能な限り残すことができる。
　好ましくは、露出調整部は、第１の比が第２の比よりも大きく且つ第１の比が第１の閾値よりも大きい場合には、第１の露出に対して所定量の露出を上げた第２の露出に調整し、第２の比が第１の比よりも大きく且つ第２の比が第２の閾値よりも大きい場合には、第１の露出に対して所定量の露出を下げた第２の露出に調整する。
　本態様によれば、露出調整部は、低輝度画素に対する黒つぶれ画素の割合が高輝度画素に対する白とび画素の割合よりも大きく且つ第１の閾値よりも大きい場合には、露出を上げて黒つぶれ画素の割合を減らすように露出を調整する。また露出調整部は、高輝度画素に対する白とび画素の割合が低輝度画素に対する黒つぶれの画素の割合よりも大きく且つ第２の閾値よりも大きい場合には、露出を下げて白とびの割合を減らすように露出を調整する。これにより、本態様は、黒つぶれ画素の割合または白とび画素の割合が大きい場合に、その大きい割合を修正するので高輝度側および低輝度側の階調に関する情報を可能な限り残すことができる。
　好ましくは、第２の露出で撮影した場合に得られると予測される予測撮影画像を構成する各画素の輝度に関する情報を取得し、予測された輝度に関する情報に基づいて、黒つぶれ画素、低輝度画素、白とび画素、および高輝度画素の画素数をカウントし、カウントされた黒つぶれ画素の画素数と低輝度画素の画素数との第３の比、およびカウントされた白とび画素の画素数と高輝度画素の画素数との第４の比を算出するシミュレーション部を更に備え、露出調整部は、第１の比が第２の比よりも大きい場合には、シミュレーション部が算出した第４の比に応じて第１の露出を第２の露出に調整し、第２の比が第１の比よりも大きい場合には、シミュレーション部が算出した第３の比に応じて第１の露出を第２の露出に調整する。
　本態様によれば、シミュレーション部により、露出が調整された後に撮影されると予測される予測撮影画像の輝度情報が取得され、取得された輝度情報に基づいて黒つぶれ画素、低輝度画素、白とび画素、および高輝度画素の画素数がカウントされる。更に本態様によれば、シミュレーション部によりカウントされた画素数に基づいて、予測撮影画像における低輝度画素に対する黒つぶれ画素の割合および高輝度画素に対する白とび画素の割合が算出される。そして本態様の露出調整部は、低輝度画素に対する黒つぶれ画素の割合が高輝度画素に対する白とび画素の割合よりも大きい場合は、予測撮影画像における白とび画素の画素数と高輝度画素の画素数との比（第４の比）に基づいて露出制御が行われ、高輝度画素に対する白とび画素の割合が低輝度画素に対する黒つぶれ画素の割合よりも大きい場合には、予測撮影画像における黒つぶれ画素の画素数と低輝度画素の画素数との比（第３の比）に基づいて露出制御が行われる。これにより、本態様は、露出を上げる調整がされた後に直ぐに露出を下げる調整がされたり、逆に露出を下げる調整がされた後に直ぐに露出を上げる調整がされたりするハンチングの発生を防ぐことができる。
　好ましくは、露出調整部は、第３の比が第３の閾値以下である場合には、第１の露出に対して所定量の露出を下げた第２の露出に調整し、第４の比が第４の閾値以下である場合には、第１の露出に対して所定量の露出を上げた第２の露出に調整する。
　本態様によれば、露出調整部により、予測撮影画像における黒つぶれ画素の画素数と低輝度画素の画素数との比（第３の比）が第３の閾値以下である場合には、第１の露出に対して所定量の露出を下げた第２の露出に調整される。また本態様によれば、露出設定部により、予測撮影画像における白とび画素の画素数と高輝度画素の画素数との比（第４の比）が第４の閾値以下である場合には、第１の露出に対して所定量の露出を上げた第２の露出に調整される。これにより、本態様は、露出を上げる調整された後に直ぐに露出を下げる調整がされたり、逆に露出を下げる調整された後に直ぐに露出を上げる調整がされたりするハンチングの発生をより適切に防ぐことができる。
　好ましくは、カウント部は、撮影画像の位置に応じて重み付けを行い、黒つぶれ画素の画素数および白とび画素の画素数をカウントする。
　本態様によれば、カウント部は撮影画像の位置に応じて重み付けを行った、黒つぶれ画素の画素数および白とび画素の画素数をカウントする。これにより本態様は、撮影画像の位置に応じて、黒つぶれ画素と白とび画素の重み付けを行ったカウント結果を用いて露出制御を行うことができる。
　好ましくは、カウント部は、撮影画像の中央領域の黒つぶれ画素の画素数および白とび画素の画素数、撮影画像における主要被写体の領域の黒つぶれ画素の画素数および白とび画素の画素数、または撮影画像の焦点が合っている領域の黒つぶれ画素の画素数および白とび画素の画素数に対して重み付けを行う。
　本態様によれば、カウント部は、撮影画像の中央領域の黒つぶれ画素の画素数および白とび画素の画素数、撮影画像における主要被写体の領域の黒つぶれ画素の画素数および白とび画素の画素数、または撮影画像の焦点が合っている領域の黒つぶれ画素の画素数および白とび画素の画素数に対して重み付けを行う。これにより、本態様は、撮影画像において重要な領域の黒つぶれ画素および白とび画素の情報を有効に用いているので、撮影画像において重要な領域の露出を適切に設定することができる。
　好ましくは、画像取得部は、撮影画像をカラーイメージセンサにより取得し、輝度情報取得部は、カラーイメージセンサからの出力値に基づいてデモザイク処理された画素毎のＲ、Ｇ、およびＢの値に基づいて輝度を取得し、カウント部は、輝度に基づいて高輝度画素を判定し、判定された高輝度画素の輝度を構成するＲ、Ｇ、およびＢの値のうちの最大値が第５の閾値よりも大きい画素を白とび画素としてカウントする。
　本態様によれば、画像取得部により撮影画像がカラーイメージセンサで取得され、輝度情報取得部によりカラーイメージセンサからの出力値に基づいてデモザイク処理された画素毎のＲ、Ｇ、およびＢの値に基づいて輝度が取得される。また本態様によれば、カウント部により、輝度に基づいて高輝度画素を判定し、判定された高輝度画素の輝度を構成するＲ、Ｇ、およびＢの値のうちの最大値が第５の閾値よりも大きい画素を白とび画素としてカウントされる。これにより、本態様は、白とび画素のカウントがＲ、Ｇ、およびＢの値のうちの最大値に基づいてカウントされるので色の飽和が抑制される露出制御を行うことができる。
　本発明の他の態様である撮像方法は、第１の露出または第２の露出を設定する露出設定ステップと、第１の露出で撮影された撮影画像を取得する画像取得ステップと、撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得ステップと、輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウントステップと、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比を算出する算出ステップと、算出ステップで算出された第１の比および第２の比に基づいて、第１の露出を第２の露出に調整する露出調整ステップと、を含む。
　本発明の他の態様であるプログラムは、第１の露出または第２の露出を設定する露出設定ステップと、第１の露出で撮影された撮影画像を取得する画像取得ステップと、撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得ステップと、輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウントステップと、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比を算出する算出ステップと、算出ステップで算出された第１の比および第２の比に基づいて、第１の露出を第２の露出に調整する露出調整ステップと、をコンピュータに実現させる。
　本発明によれば、黒つぶれ画素の画素数と低輝度画素の画素数との第１の比、および白とびの画素の画素数と高輝度画素の画素数との第２の比に基づいて、露出の調整が行われるので、単に黒つぶれ画素の画素数および白とび画素の画素数に基づいて露出調整が行われる場合よりも、高輝度側および低輝度側の階調に関する情報をより残す露出制御を行うことができる。
撮像装置の構成例を示すブロック図である。 ＡＥ検出回路の機能構成例を示すブロック図である。 輝度のヒストグラムを示す図である。 露出調整の動作フローを示す図である。 ＡＥ検出回路の機能構成例を示すブロック図である。 シミュレーション部の機能構成例を示すブロック図である。 露出調整の動作フローを示す図である。 撮影画像の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。 撮影画像の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。 撮影画像の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。 カウント部が各画素のカウントを行う場合の動作フローを示す図である。 コンピュータを搭載するスマートフォンの外観を示す斜視図である。 スマートフォンの構成を示すブロック図である。
　以下、添付図面にしたがって本発明に係る撮像装置、撮像方法、およびプログラムの好ましい実施の形態について説明する。
　＜撮像装置の全体構成＞
　図１は本発明が適用された撮像装置の構成例を示すブロック図である。同図に示すように、本実施の形態の撮像装置１０は、撮影光学系１２、ＣＣＤ等の固体撮像素子からなるカラーイメージセンサ１４（以下「ＣＣＤ（charge coupled device）」という）、タイミングジェネレータ（ＴＧ（timing generator）１６、Ａ／Ｄ（analog/digital）変換器１８、画像入力コントローラ２０、画像信号処理回路２２、圧縮伸張処理回路２４、ビデオエンコーダ２６、画像表示装置２８、中央処理装置（ＣＰＵ（central processing unit））３０、ＡＥ（automatic exposure：自動露出）検出回路３６、ＡＦ（auto focus：自動焦点合わせ）検出回路３８、メモリ（ＳＤＲＡＭ(synchronous dynamic random access memory)）４０、メディアコントローラ４２、記録メディア４４、および操作部４６等から構成されている。
　撮像装置１０の全体の動作は、ＣＰＵ３０によって統括制御される。即ち、ＣＰＵ３０は、操作部４６からの入力に基づき所定のプログラムにしたがって撮像装置１０の各部を制御するもので、このプログラムをメモリ４０に展開し、メモリ４０を作業メモリとして使用しながら各種処理を実行する。
　撮影光学系１２は、ズームレンズ１２ｚ、フォーカスレンズ１２ｆ、絞り（例えば、虹彩絞り）１２ｉを含み、ＣＰＵ３０からの指令によりそれぞれモータドライバ４８、４９、５０を介して駆動される。即ち、ズームレンズ１２ｚは、モータドライバ４８に駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。フォーカスレンズ１２ｆは、モータドライバ５０に駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。また、絞り１２ｉは、モータドライバ４９に駆動されて開口量が段階的または連続的に変化し、これにより絞り値を変化させる。
　ＣＣＤ（画像取得部）１４は、各画素ごとにＲ（赤：red）、Ｇ（緑：green）、およびＢ（青：blue）フィルタが配列（例えば、ＧストライプＲ／Ｂ市松、ベイヤ配列）されたカラーＣＣＤ（カラーイメージセンサ）で構成されている。撮影光学系１２を介してＣＣＤ１４の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１６から加えられるタイミング信号にしたがって読み出され、電圧信号（画像信号）としてＣＣＤ１４から順次出力される。
　なお、このＣＣＤ１４は、シャッタゲートとシャッタドレインを備えており、シャッタゲートにシャッタゲートパルスを印加することで各フォトダイオードに蓄積された信号電荷をシャッタドレインに掃き出すことができるようにされている。ＣＰＵ３０は、ＴＧ１６を介してシャッタゲートへのシャッタゲートパルスの印加を制御することにより、各フォトダイオードに蓄積される信号電荷の電荷蓄積時間（シャッタ速度）を制御する（いわゆる電子シャッタ機能）。
　ＣＣＤ１４から順次出力される画像信号は、Ａ／Ｄ変換器１８によってデジタルの画像信号に変換され、画像入力コントローラ２０を介してメモリ４０に一時格納される。
　画像信号処理回路２２は、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度および色差信号生成回路等を含み、ＣＰＵ３０からの指令にしたがってメモリ４０に格納された画像信号を処理し、輝度信号と色差信号とからなるＹＣｂＣｒ信号またはＹＵＶ信号を生成する。
　画像表示装置２８にスルームービー画像（ライブビュー画像）を表示させる場合は、ＣＣＤ１４で画像を連続的に撮影し、得られた画像信号を連続的に処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、メモリ４０を介してビデオエンコーダ２６に加えられ、表示用の信号形式に変換されて画像表示装置２８に出力される。これにより、画像表示装置２８にスルームービー画像が表示される。
　画像を記録する場合は、操作部４６からの撮影指令に応じてＣＣＤ１４で画像を撮像し、得られた画像信号を処理してＹＵＶ信号を生成する。生成されたＹＵＶ信号は、圧縮伸張処理回路２４に加えられ、所定の圧縮画像データとされたのち、メディアコントローラ４２を介して記録メディア４４に格納される。
　記録メディア４４に格納された圧縮画像データは、再生指令に応じて記録メディア４４から読み出され、圧縮伸張処理回路２４で非圧縮のＹＵＶ信号とされたのち、ビデオエンコーダ２６を介して画像表示装置２８に出力される。これにより、記録メディア４４に記録された画像が画像表示装置２８に再生表示される。
　ＡＥ検出回路３６は、ＣＰＵ３０からの指令に従い、入力された画像信号からＡＥ制御に必要な物理量を算出する。このＡＥ検出回路３６は、例えば、ＡＥ制御に必要な物理量として分割された各エリアごとにＲ、Ｇ、およびＢの画像信号の積算値を算出する。ＣＰＵ３０は、このＡＥ検出回路３６から得た積算値に基づいて被写体の明るさを検出して適正露出値（ＥＶ（Exposure Value）値）を求め、求めたＥＶ値に基づいて露出制御を行う。なお、この露出制御については、のちに詳述する。
　ＡＦ検出回路３８は、ＣＰＵ３０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。本実施の形態の撮像装置１０では、画像のコントラストによりＡＦ制御を行うものとし、ＡＦ検出回路３８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ３０は、このＡＦ検出回路３８で算出される焦点評価値が極大となるように、モータドライバ５０を介してフォーカスレンズ１２ｆの移動を制御する。
　本実施の形態の撮像装置１０は以上のように構成される。
　＜第１の実施形態＞
　次に、本発明の第１の実施形態に関して説明をする。
　図２は、本実施形態のＡＥ検出回路３６の機能構成例を示すブロック図である。ＡＥ検出回路３６は、露出設定部１０１、輝度情報取得部１０３、カウント部１０５、算出部１０７、および露出調整部１０９により構成される。
　輝度情報取得部１０３は、撮影画像を構成する各画素の輝度に関する情報を取得する。ここで輝度に関する情報とは、輝度または輝度に関連する情報である。例えば輝度は、画像信号処理回路２２において以下の式（１）に基づいて算出されるＹの値が用いられる。
　Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ・・・・・（１）
　上述の（１）式において、Ｒ、Ｇ、およびＢは出力値であり、カラーイメージセンサ（ＣＣＤ１４）から出力値をデモザイク処理（同時化処理）した後の値が使用される。ここでデモザイク処理とは、単板式のカラーイメージセンサ（ＣＣＤ１４）のカラーフィルタ配列に対応したデモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、Ｒ、Ｇ、およびＢの３色のカラーフィルタからなるＣＣＤ１４の場合、Ｒ、Ｇ、およびＢからなるモザイク画像から画素毎にＲ、Ｇ、およびＢ全ての色情報を算出する処理である。なお、本例ではデモザイク処理は画像信号処理回路２２で行われている。
　また輝度に関する情報とは、例えばＧの信号の出力値が使用される。上述の（１）式のように輝度にＧの信号の出力値が最も寄与するので、輝度に関する情報としてＧの信号の出力値が使用されてもよい。
　図３は、輝度情報取得部１０３が取得した撮影画像を構成する各画素の輝度に関する情報を図示したものであり、いわゆる輝度のヒストグラムを示す図である。
　図３は、Ｙ軸が画素の個数（頻度）でありＸ軸が輝度を示している。ここで低輝度領域および高輝度領域は、撮影画像を構成する全画素において低輝度側の領域および高輝度側の領域のことをいう。例えば、撮影画像の全画素の輝度領域を４分割した場合に最も低輝度側（１／４の低輝度側）を低輝度領域とし、撮影画像の全画素の輝度領域を４分割した場合に最も高輝度側（１／４の高輝度側）を高輝度領域とする。
　更に、黒つぶれ領域は、低輝度領域内の領域であり、所定の輝度よりも低い輝度の領域のことである。例えば黒つぶれ領域は、低輝度領域を４分割した場合に最も低輝度側（低輝度領域における１／４の低輝度側）の領域であるまた白とび領域は、高輝度領域内の領域であり、所定の輝度よりも高い輝度の領域のことである。例えば白とび領域は、高輝度領域を４分割した場合に最も高輝度側（高輝度領域における１／４の高輝度側）の領域である。本願では黒つぶれ領域に含まれる画素を黒つぶれ画素とし、白とび領域に含まれる画素を白とび画素と呼ぶ。また本願では、低輝度領域に含まれる画素を低輝度画素とし、高輝度領域に含まれる画素を高輝度画素と呼ぶ。
　図２に戻ってカウント部１０５は、黒つぶれ画素の画素数、低輝度画素の画素数、白とび画素の画素数、および高輝度画素の画素数をそれぞれカウントする。カウント部１０５は、１画素を１カウントとしても良いし、撮影画像における画素の位置に応じて画素に重み付けを行ってカウントしても良い。カウント部１０５が、画素に重み付けを行う場合に関しては後で説明をする。
　算出部１０７は、カウント部１０５のカウント結果に基づいて、低輝度画素の画素数に対する黒つぶれ画素の割合（第１の比）、および高輝度画素の画素数に対する白とび画素の割合（第２の比）を算出する。そして、算出部１０７は算出結果を露出調整部１０９に送る。
　露出設定部１０１は、撮像装置１０で撮影画像が撮影される場合の露出を設定する。露出設定部１０１は、第１に公知の技術により露出を設定する。ここで例えば公知の技術による露出の設定は、従来からの一般的な処理によって露出制御量を演算する処理のことであり、基本的には、画面全体の撮影画像の信号から取得した輝度に関する情報などに基づいて露出制御が行われる。また露出設定部１０１は、上述のように公知の技術で設定された露出、および後で説明する露出調整部１０９で調整された露出の設定をＣＰＵ３０に送信する。露出の設定を受信したＣＰＵ３０は、絞り１２ｉ、不図示のシャッタのシャッタスピード、およびＣＣＤ１４の感度を制御して露出制御を行う。なお本願では、本発明の露出調整が行われる前の露出を第１の露出とし、本発明の露出調整が行われた後の露出を第２の露出とする。
　また露出設定部１０１は露出調整部１０９を含み、露出調整部１０９は以下で説明する算出部１０７で算出された黒つぶれ画素の割合および白とび画素の割合に基づいて、現在の露出の設定を調整後の露出に調整する。露出調整部１０９で調整された露出は露出設定部１０１で設定され、撮像装置１０は調整された露出により撮影を行う。露出調整部１０９は、露出の調整を行う場合には、露出を上げたり、露出を下げたりして調整を行う。ここで露出調整部１０９は、所定量の露出を上げる場合には例えば１／３Ｅｖ毎に＋３Ｅｖまでの露出を所定の露出として設定することが可能であり、所定量の露出を下げる場合には例えば１／３Ｅｖ毎に－３Ｅｖまでの露出を所定の露出として設定することが可能である。
　また露出調整部１０９は、黒つぶれ画素の割合と白とび画素の割合との大小関係を判定し、黒つぶれ画素の割合が大きい場合には露出を上げる調整を行い、白とび画素の割合が黒つぶれ画素の割合より大きい場合には露出を下げる調整を行う。なお、露出調整部１０９は黒つぶれ画素の割合と白とび画素の割合いが等しい場合には、露出の調整を行わないようにしてもよい。
　露出調整部１０９は、黒つぶれ画素の割合が白とび画素の割合よりも大きく、且つ黒つぶれ画素の割合が黒つぶれ画素割合閾値（第１の閾値）よりも大きい場合には、露出を上げる調整を行う。一方、露出調整部１０９は、高輝度領域における白とび画素の割合いが低輝度領域における黒つぶれ画素よりも大きい場合であり、且つ白とび画素の割合いが白とび画素割合閾値（第２の閾値）よりも大きい場合には、露出を下げる調整を行う。例えば、黒つぶれ画素割合閾値は１／２であり、白とび画素割合閾値は１／２である。
　図４は、第１の実施形態の露出調整の動作フローを示す図である。
　先ず、露出設定部１０１により公知の露出制御で制御された露出に設定されて、よりライブビュー画像が撮影される（露出設定ステップおよび画像取得ステップ）。次に、輝度情報取得部１０３は、ＣＣＤ１４で撮像されて出力されるライブビュー画像に基づいて、生成された輝度のヒストグラムを取得する（ステップＳ１０：輝度情報取得ステップ）。このライブビュー画像は、調整前の露出により撮影されたものである。次にカウント部１０５は、上述のヒストグラムに基づいて低輝度領域の画素数（低輝度画素の画素数）Ｎｌと高輝度領域の画素数（高輝度画素の画素数）Ｎｈをカウントする（ステップＳ１１：カウントステップ）。その後カウント部１０５は、黒つぶれ領域の画素数（黒つぶれ画素の画素数）Ｎｌｓと白とび領域の画素数（白とび画素の画素数）Ｎｈｓをカウントする（ステップＳ１２：カウントステップ）。
　次に算出部１０７は、低輝度画素の画素数Ｎｌと黒つぶれ領域の画素数Ｎｌｓとで黒つぶれ画素の割合（Ｎｌｓ／Ｎｌ）を算出し、高輝度領域の画素数Ｎｈと白とび領域の画素数Ｎｈｓとで白とび画素の割合（Ｎｈｓ／Ｎｈ）を算出する（ステップＳ１３：算出ステップ）。
　露出調整部１０９は、黒つぶれ画素の割合と白とび画素の割合とを比較し（ステップＳ１４）、白とび画素の割合より黒つぶれ画素の割合が大きい場合には、黒つぶれ画素の割合が黒つぶれ画素割合閾値Ｔｈよりも大きいか否かを判定する（ステップＳ１５）。そして、黒つぶれ画素の割合が黒つぶれ画素割合閾値Ｔｈよりも大きい場合には、現在の露出から所定量の露出を上げる調整を行う（ステップ１６）。一方露出調整部１０９は、黒つぶれ画素の割合が黒つぶれ画素割合閾値Ｔｈよりも小さい場合には、現在の露出からの変更を行わない（ステップＳ１９）。
　更に露出調整部１０９は、黒つぶれ画素の割合と白とび画素の割合とを比較し（ステップＳ１４）、黒つぶれ画素の割合が白とび画素の割合以下である場合には、白とび画素の割合が白とび画素割合閾値Ｔｈよりも大きいか否かを判定する（ステップＳ１７）。そして、白とび画素の割合が白とび画素割合閾値Ｔｈよりも大きい場合には、現在の露出から所定量の露出を下げる調整を行う（ステップＳ１８）。一方露出調整部１０９は、白とび画素の割合が白とび画素割合閾値Ｔｈよりも小さい場合には、現在の露出からの変更を行わない（ステップＳ１９）。なおステップＳ１６、ステップＳ１８、およびステップＳ１９が露出調整ステップに相当する。
　上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で説明したように、本実施形態では、低輝度画素の画素数に対する黒つぶれ画素の割合および高輝度画素の画素数に対する白とび画素の割合に基づいて露出調整を行うことにより、単に黒つぶれ画素の画素数および白とび画素の画素数に基づいて露出調整が行われる場合よりも、高輝度側および低輝度側の階調に関する情報を残すことができる。
　＜第２の実施形態＞
　次に、本発明の第２の実施形態に関して説明をする。
　図５は、本実施形態のＡＥ検出回路３６の機能構成例を示すブロック図である。ＡＥ検出回路３６は、露出設定部１０１、輝度情報取得部１０３、カウント部１０５、算出部１０７、露出調整部１０９、およびシミュレーション部１１１により構成される。なお、図２で既に説明を行った箇所は同じ番号の符号を付し説明を省略する。
　シミュレーション部１１１は、露出調整部１０９で調整された露出により撮影画像が撮影された場合の黒つぶれ画素の割合（予測黒つぶれ画素の割合：第３の比）および白とび画素の割合（予測白とび画素の割合：第４の比）を算出する。
　図６は、シミュレーション部１１１の機能構成例を示すブロック図である。シミュレーション部１１１は、シミュレーション輝度情報取得部１２１、シミュレーションカウント部１２２、およびシミュレーション算出部１２３から構成される。
　シミュレーション輝度情報取得部１２１は、調整後の露出で撮像した場合に得られると予測される予測撮影画像を構成する各画素の輝度に関する情報を生成および取得する。シミュレーション輝度情報取得部１２１は、取得した輝度に関する情報をシミュレーションカウント部１２２に送る。シミュレーション輝度情報取得部１２１は、公知の技術により予測撮影画像の輝度に関する情報を生成する。
　シミュレーションカウント部１２２は、シミュレーション輝度情報取得部１２１から取得した輝度に関する情報に基づいて、予測黒つぶれ画素、予測低輝度画素、予測白とび画素、および予測高輝度画素の画素数をカウントする。シミュレーションカウント部１２２はカウント結果をシミュレーション算出部１２３に送信する。なお、予測黒つぶれ画素、予測低輝度画素、予測白とび画素、および予測高輝度画素は、上述した黒つぶれ画素、低輝度画素、白とび画素、および高輝度画素と同様に、それぞれ黒つぶれ領域、低輝度領域、白とび領域、高輝度領域に含まれる画素のことである。
　シミュレーション算出部１２３は、シミュレーションカウント部１２２から受信した予測黒つぶれ画素の画素数と予測低輝度画素の画素数との比である予測黒つぶれ画素の割合を算出する。更にシミュレーション算出部１２３は、シミュレーションカウント部１２２から受信した予測白とび画素の画素数と予測高輝度画素の画素数との比である予測白とび画素の割合を算出する。
　図５に戻って、露出調整部１０９は、黒つぶれ画素の割合が白とび画素の割合よりも大きい場合には、シミュレーション算出部１２３で算出される予測高輝度画素の画素数に対する予測白とび画素の割合に応じて露出を調整する。また、露出調整部１０９は、白とび画素の割合が黒つぶれ画素の割合よりも大きい場合には、シミュレーション算出部１２３で算出される予測低輝度画素の画素数に対する予測黒つぶれ画素の割合に応じて露出を調整する。
　また露出調整部１０９は、予測黒つぶれ画素の割合が予測黒つぶれ画素割合閾値（第３の閾値）以下である場合には、所定量の露出を下げた露出に調整する。また露出調整部１０９は、予測白とび画素の割合が予測白とび画素割合閾値（第４の閾値）より大きい場合には、所定量の露出を上げた露出に調整する。例えば、予測黒つぶれ画素割合閾値は１／２であり、予測白とび画素割合閾値は１／２である。なお上述した黒つぶれ画素割合閾値、白とび画素割合閾値、予測黒つぶれ画素割合閾値、および予測白とび画素割合閾値はそれぞれ等しくてもよいし、異なっていてもよい。
　図７は、本実施形態の露出調整の動作フローを示す図である。
　先ず輝度情報取得部１０３は、ＣＣＤ１４で撮像されて出力されるライブビュー画像に基づいて、生成された輝度のヒストグラムを取得し（ステップＳ２０）、次にカウント部１０５が、低輝度領域の画素数（低輝度画素）Ｎｌと高輝度領域の画素数（高輝度画素）Ｎｈをカウントし（ステップＳ２１）、黒つぶれ領域の画素数Ｎｌｓと白とび領域の画素数Ｎｈｓをカウントする（ステップＳ２２）。
　その後算出部１０７は、低輝度画素の画素数（低輝度画素の画素数）Ｎｌと黒つぶれ領域の画素数（黒つぶれ画素の画素数）Ｎｌｓとで黒つぶれ画素の割合（Ｎｌｓ／Ｎｌ）を算出し、高輝度領域の画素数（高輝度画素の画素数）Ｎｈと白とび領域の画素数（白とび画素の画素数）Ｎｈｓとで白とび画素の割合（Ｎｈｓ／Ｎｈ）を算出する（ステップＳ２３）。
　露出調整部１０９は、黒つぶれ画素の割合と白とび画素の割合とを比較し（ステップＳ２４）、白とび画素の割合より黒つぶれ画素の割合が大きい場合には、黒つぶれ画素の割合が黒つぶれ画素割合閾値Ｔｈよりも大きいか否かを判定する（ステップＳ２５）。
　その後黒つぶれ画素の割合が黒つぶれ画素割合閾値Ｔｈよりも大きい場合には、シミュレーション輝度情報取得部１２１は、露出を所定量上げた場合の輝度のヒストグラムを作成する（ステップＳ２６）。そして、シミュレーションカウント部１２２は、予測高輝度領域の画素数Ｎｈおよび予測白とび領域の画素数Ｎｈｓをカウントする（ステップＳ２７およびステップＳ２８）。そして露出調整部１０９は、予測白とび画素の割合と予測白とび閾値とを比較して（ステップＳ２９）、予測白とび画素の割合が予測白とび閾値よりも大きい場合には、露出の調整を行わない（ステップＳ３０）。一方、露出調整部１０９は、予測白とび画素の割合と予測白とび閾値とを比較して、予測白とび画素の割合が予測白とび閾値以下の場合には、露出を上げてもハンチングの発生が起こらないので、露出を所定量上げる調整を行う（ステップＳ３１）。
　なお露出調整部１０９は、黒つぶれ画素の割合が黒つぶれ画素割合閾値以下の場合には（ステップＳ２５）、露出の調整は行わない。
　一方露出調整部１０９は、黒つぶれ画素の割合と白とび画素の割合とを比較し（ステップＳ２４）、黒つぶれ画素割合が白とび画素の割合以下である場合には、白とび画素の割合が白とび画素割合閾値Ｔｈよりも大きいか否かを判定する（ステップＳ３２）。
　その後黒つぶれ画素の割合が黒つぶれ画素割合閾値以下の場合には、シミュレーション輝度情報取得部１２１は、露出を所定量下げた場合の輝度のヒストグラムを作成する（ステップＳ３３）。そして、シミュレーションカウント部１２２は、予測低輝度領域の画素数Ｎｌおよび予測黒つぶれ領域の画素数Ｎｌｓをカウントする（ステップＳ３４およびステップＳ３５）。そして露出調整部１０９は、予測黒つぶれ画素の割合と予測黒つぶれ閾値とを比較して（ステップＳ３６）、予測黒つぶれ画素の割合が予測黒つぶれ閾値よりも大きい場合には、露出の調整を行わない（ステップＳ３０）。一方、露出調整部１０９は、予測白とび画素の割合と予測白とび閾値（第４の閾値）とを比較して、予測白とび画素の割合が予測白とび閾値以下の場合には、露出を下げてもハンチングの発生が抑制されるので、露出を所定量下げる調整を行う（ステップＳ３７）。なお、図７に示された動作フローは繰り返し行われてもよい。すなわち、露出を上げる（ステップＳ３１）または露出を下げる（ステップＳ３７）の調整が行われた後に、露出の調整量を変えて再び露出制御が行われてもよい。そして、例えば黒つぶれ画素の割合と白とび画素の割合とがほぼ等しくなるまで、図７に示した露出調整の動作が行われてもよい。
　以上のように、本実施形態ではシミュレーション部１１１の予測された出力値に基づいて、露出調整部１０９が予測黒つぶれ画素の割合または予測白とび画素の割合の算出結果により、露出の調整を行っているので、ハンチングの発生が抑制される。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態に関して説明をする。本実施形態のカウント部１０５は、撮影画像における画素の位置に応じて重み付けを行い、黒つぶれ画素の画素数および白とび画素の画素数をカウントする。
　図８は、撮影画像５１の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。図８に示した場合にはカウント部１０５は、撮影画像５１の中央領域５３の黒つぶれ画素および白とび画素に重み付けを行ってカウントする。
　撮影画像５１は、全領域を５×５の２５の領域に分割されている。そしてカウント部１０５は、中央領域５３に含まれる黒つぶれ画素の画素数と白とび画素の画素数とを４倍にカウントする。またカウント部１０５は、準中央領域５２に含まれる黒つぶれ画素の画素数と白とび画素の画素数とを２倍にカウントする。このように、撮影画像５１の中央領域５３および／または準中央領域５２に位置する黒つぶれ画素および白とび画素に重み付けを行ってカウントすることにより、撮影画像５１の中央に位置する被写体に応じた露出制御を行うことができる。
　図９は、撮影画像５１の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。図９に示した場合にはカウント部１０５は、撮影画像５１における主要被写体５４の領域の黒つぶれ画素および白とび画素に重み付けを行いカウントする。
　撮影画像５１において、主要被写体５４が位置する領域である主要被写体領域５５の黒つぶれ画素および白とびの画素は４倍でカウントされる。このように、撮影画像５１の主要被写体領域５５に位置する黒つぶれ画素および白とび画素に重み付けを行ってカウントすることにより、撮影画像５１の主要被写体５４に応じた露出制御を行うことができる。
　図１０は、撮影画像５１の位置において画素数のカウントに重み付けを行う一例を概念的に示す図である。図１０に示した場合にはカウント部１０５は、撮影画像５１の焦点が合っている領域の黒つぶれ画素および白とび画素に対して重み付けを行いカウントする。
　撮影画像５１において、焦点は人５７に合焦しており、木５８および山５９には合焦はしていない（図中では点線表記）。そして合焦している人５７を構成する黒つぶれ画素および白とび画素は４倍にカウントされ、その他の合焦していない領域を構成する黒つぶれ画素および白とび画素は１倍にカウントされる。このように撮影画像５１において、焦点があった領域の黒つぶれ画素および白とび画素に重みを付けてカウントすることにより、ピントの合った被写体に応じた露出制御を行うことができる。
　＜第４の実施形態＞
　次に、本発明の第４の実施形態に関して説明をする。本実施形態のカウント部１０５は、輝度に基づいて高輝度画素を判定し、判定された高輝度画素の輝度を構成するＲ、Ｇ、およびＢの値のうちの最大値が白とび閾値（第５の閾値）よりも大きい画素を白とび画素としてカウントする。例えば白とび閾値は、輝度の全範囲を１とした場合に高輝度側からの１／１６の輝度である。
　前述したように輝度Ｙは式（１）で求められるので、輝度に対してＲＧＢの寄与は同一ではない。したがって、例えばＢの成分が飽和に近い値となっていても、ＲとＧがＢに比べて低い値を取っていた時に、輝度でみると白とび領域には入っていない画素とカウントされるため、露出を下げる方向に判断されない場合がある。そうすると、露出制御が適切に行われないのでＢ成分が飽和して色が変わってしまうという問題が発生してしまう。そこで本実施形態ではカウント部１０５は、低輝度画素、黒つぶれ画素、高輝度画素、および白とび画素をカウントを、画素毎に検出する方法を採用する。
　前述のようにＣＣＤ１４は、カラーイメージセンサ（ＣＣＤ１４）であり撮影画像を取得する。そして輝度情報取得部１０３は、カラーイメージセンサ（ＣＣＤ１４）からの出力値に基づいてデモザイク処理された画素毎のＲ、Ｇ、およびＢの値に基づいて上述した式（１）を使用して輝度Ｙを取得する。
　図１１は、本実施形態の撮像装置１０におけるカウント部１０５が各画素のカウントを行う場合の動作フローを示す図である。すなわち、カウント部１０５は撮影画像を構成する各画素に対して図１１に示す動作フローに沿ってカウントを行う。
　先ずカウント部１０５は、画素が有する輝度Ｙが黒つぶれ閾値より小さいか否かを判定する（ステップＳ４１）。輝度Ｙが黒つぶれ閾値より小さい場合には、カウント部１０５は、黒つぶれ画素としてカウントし（ステップＳ４２）、低輝度画素としてカウントする（ステップＳ４３）。
　一方、輝度Ｙが黒つぶれ閾値以上の場合には、カウント部１０５は、輝度Ｙが低輝度閾値より小さいか否かを判定する（ステップＳ４４）。そして輝度Ｙが低輝度閾値より小さい場合には、カウント部１０５は、低輝度画素としてカウントする。
　また、輝度Ｙが低輝度閾値以上である場合には、カウント部１０５は、輝度Ｙが高輝度閾値より大きいか否かを判定する（ステップＳ４５）。カウント部１０５は、輝度Ｙが高輝度閾値以下である場合には、カウント部１０５はカウントを行わない。一方、輝度Ｙが高輝度閾値より大きい場合には、カウント部１０５は、高輝度画素としてカウントする（ステップＳ４６）。その後、カウント部１０５は輝度Ｙを構成するＲ、Ｇ、およびＢの値の最大値を取得する（ステップＳ４７）。次にカウント部１０５は、Ｒ、Ｇ、およびＢの値のうち最大値が白とび閾値より大きいか否かを判定する（ステップＳ４８）。そしてカウント部１０５は、その最大値が白とび閾値よりも大きい場合には、白とび画素としてカウントする（ステップＳ４９）。一方最大値が白とび閾値以下の場合には、カウント部１０５は白とび画素としてカウントしない。
　以上のように、カウント部１０５は白とび領域の画素を輝度Ｙを構成するＲ、Ｇ、およびＢの最大値により判定することにより、色の飽和を抑制した露出制御を行うことができる。
　＜スマートフォンの構成例＞
　本発明をスマートフォンに適用した場合に関して説明する。
　図１２は、コンピュータを搭載するスマートフォン３００の外観を示すものである。図１２に示すスマートフォン３００は、平板状の筐体３０２を有し、筐体３０２の一方の面に表示部としての表示パネル３２１と、入力部としての操作パネル３２２とが一体となった表示入力部３２０を備えている。また、係る筐体３０２は、スピーカ３３１と、マイクロホン３３２、操作部３４０と、カメラ部３４１とを備えている。なお、筐体３０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１３は、図１２に示すスマートフォン３００の構成を示すブロック図である。図１３に示すように、スマートフォンの主たる構成要素として、無線通信部３１０と、表示入力部３２０と、通話部３３０と、操作部３４０と、カメラ部３４１と、記憶部３５０と、外部入出力部３６０と、ＧＰＳ(global positioning system)受信部３７０と、モーションセンサ部３８０と、電源部３９０と、主制御部３０１とを備える。また、スマートフォン３００の主たる機能として、基地局装置ＢＳと移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部３１０は、主制御部３０１の指示にしたがって、移動通信網に収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部３２０は、主制御部３０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル３２１と、操作パネル３２２とを備える。
　表示パネル３２１は、ＬＣＤ(liquid crystal display)、ＯＥＬＤ(organic electro-luminescence display)などを表示デバイスとして用いたものである。操作パネル３２２は、表示パネル３２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン型入力装置によって操作される一または複数の座標を検出するデバイスである。係るデバイスをユーザの指やペン型入力装置によって操作すると、操作に起因して発生する検出信号を主制御部３０１に出力する。次いで、主制御部３０１は、受信した検出信号に基づいて、表示パネル３２１上の操作位置（座標）を検出する。
　図１２に示すように、スマートフォン３００の表示パネル３２１と操作パネル３２２とは一体となって表示入力部３２０を構成しているが、操作パネル３２２が表示パネル３２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル３２２は、表示パネル３２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル３２２は、表示パネル３２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル３２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル３２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル３２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体３０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル３２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部３３０は、スピーカ３３１やマイクロホン３３２を備え、マイクロホン３３２を通じて入力されたユーザの音声を主制御部３０１にて処理可能な音声データに変換して主制御部３０１に出力したり、無線通信部３１０あるいは外部入出力部３６０により受信された音声データを復号してスピーカ３３１から出力するものである。また、図１２に示すように、例えば、スピーカ３３１を表示入力部３２０が設けられた面と同じ面に搭載し、マイクロホン３３２を筐体３０２の側面に搭載することができる。
　操作部３４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部３４０は、スマートフォン３００の筐体３０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部３５０は、主制御部３０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部３５０は、スマートフォン内蔵の内部記憶部３５１と着脱自在な外部メモリスロットを有する外部記憶部３５２により構成される。なお、記憶部３５０を構成するそれぞれの内部記憶部３５１と外部記憶部３５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）などの格納媒体を用いて実現される。
　外部入出力部３６０は、スマートフォン３００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）など）またはネットワーク（例えば、インターネット、無線ＬＡＮ（local area network）、ブルートゥース（bluetooth）（登録商標）、ＲＦＩＤ（radio frequency identification）、赤外線通信（infrared data association：ＩｒＤＡ）（登録商標）、ＵＷＢ（ultra wideband）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的または間接的に接続するためのものである。
　スマートフォン３００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（memory card）やＳＩＭ(subscriber identity module card)／ＵＩＭ(user identity module card)カード、オーディオビデオＩ／Ｏ（input/output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（personal digital assistant）、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３００の内部の各構成要素に伝達することや、スマートフォン３００の内部のデータが外部機器に伝送されるようにする。
　ＧＰＳ受信部３７０は、主制御部３０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン３００の緯度、経度、高度を含む位置を検出する。ＧＰＳ受信部３７０は、無線通信部３１０や外部入出力部３６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部３８０は、例えば、３軸の加速度センサなどを備え、主制御部３０１の指示にしたがって、スマートフォン３００の物理的な動きを検出する。スマートフォン３００の物理的な動きを検出することにより、スマートフォン３００の動く方向や加速度が検出される。係る検出結果は、主制御部３０１に出力されるものである。
　電源部３９０は、主制御部３０１の指示にしたがって、スマートフォン３００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部３０１は、マイクロプロセッサを備え、記憶部３５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３００の各部を統括して制御するものである。また、主制御部３０１は、無線通信部３１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部３５０が記憶するアプリケーションソフトウェアにしたがって主制御部３０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部３０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部３２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部３０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部３２０に表示する機能のことをいう。
　更に、主制御部３０１は、表示パネル３２１に対する表示制御と、操作部３４０、操作パネル３２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部３０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル３２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部３０１は、操作部３４０を通じたユーザ操作を検出したり、操作パネル３２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部３０１は、操作パネル３２２に対する操作位置が、表示パネル３２１に重なる重畳部分（表示領域）か、それ以外の表示パネル３２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル３２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部３０１は、操作パネル３２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部３４１は、ＣＭＯＳ（complementary metal oxide semiconductor）撮像センサやＣＣＤ（charge coupled device）撮像センサなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部３４１は、主制御部３０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(joint photographic coding experts group)などの圧縮した画像データに変換し、記憶部３５０に記録したり、外部入出力部３６０や無線通信部３１０を通じて出力することができる。図１２に示すスマートフォン３００において、カメラ部３４１は表示入力部３２０と同じ面に搭載されているが、カメラ部３４１の搭載位置はこれに限らず、表示入力部３２０の背面に搭載されてもよいし、あるいは、複数のカメラ部３４１が搭載されてもよい。なお、複数のカメラ部３４１が搭載されている場合には、撮影に供するカメラ部３４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部３４１を同時に使用して撮影することもできる。
　また、カメラ部３４１はスマートフォン３００の各種機能に利用することができる。例えば、表示パネル３２１にカメラ部３４１で取得した画像を表示することや、操作パネル３２２の操作入力のひとつとして、カメラ部３４１の画像を利用することができる。また、ＧＰＳ受信部３７０が位置を検出する際に、カメラ部３４１からの画像を参照して位置を検出することもできる。更には、カメラ部３４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３００のカメラ部３４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部３４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　なお、スマートフォン３００において上述したＡＥ検出回路３６は、主制御部３０１に含まれている。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　　撮像装置
１２　　撮影光学系
１２ｆ　フォーカスレンズ
１２ｉ　絞り
１２ｚ　ズームレンズ
１４　　ＣＣＤ
１６　　ＴＧ
１８　　Ａ／Ｄ変換器
２０　　画像入力コントローラ
２２　　画像信号処理回路
２４　　圧縮伸張処理回路
２６　　ビデオエンコーダ
２８　　画像表示装置
３０　　ＣＰＵ
３６　　ＡＥ検出回路
３８　　ＡＦ検出回路
４０　　メモリ
４２　　メディアコントローラ
４４　　記録メディア
４６　　操作部
４８　　モータドライバ
４９　　モータドライバ
５０　　モータドライバ
５１　　撮影画像
５２　　準中央領域
５３　　中央領域
５４　　主要被写体
５５　　主要被写体領域
５７　　人
５８　　木
５９　　山
１０１　露出設定部
１０３　輝度情報取得部
１０５　カウント部
１０７　算出部
１０９　露出調整部
１１１　シミュレーション部
１２１　シミュレーション輝度情報取得部
１２２　シミュレーションカウント部
１２３　シミュレーション算出部
３００　スマートフォン
３０１　主制御部
３０２　筐体
３１０　無線通信部
３２０　表示入力部
３２１　表示パネル
３２２　操作パネル
３３０　通話部
３３１　スピーカ
３３２　マイクロホン
３４０　操作部
３４１　カメラ部
３５０　記憶部
３５１　内部記憶部
３５２　外部記憶部
３６０　外部入出力部
３７０　ＧＰＳ受信部
３８０　モーションセンサ部
３９０　電源部

Claims (10)

  1. 　第１の露出または第２の露出を設定する露出設定部と、
    　前記第１の露出で撮影された撮影画像を取得する画像取得部と、
    　前記撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得部と、
    　前記輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、前記所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および前記所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウント部と、
    　前記黒つぶれ画素の画素数と前記低輝度画素の画素数との第１の比、および前記白とびの画素の画素数と前記高輝度画素の画素数との第２の比を算出する算出部と、
    　前記算出部で算出された前記第１の比および前記第２の比に基づいて、前記第１の露出を前記第２の露出に調整する露出調整部と、
    　を備える撮像装置。
  2. 　前記露出調整部は、前記第１の比と前記第２の比との大小関係を判定し、前記第１の比が前記第２の比よりも大きい場合には、前記第１の露出に対して所定量の露出を上げた前記第２の露出に調整し、前記第２の比が前記第１の比よりも大きい場合には、前記第１の露出に対して所定量の露出を下げた前記第２の露出に調整する請求項１に記載の撮像装置。
  3. 　前記露出調整部は、前記第１の比が前記第２の比よりも大きく且つ前記第１の比が第１の閾値よりも大きい場合には、前記第１の露出に対して所定量の露出を上げた前記第２の露出に調整し、前記第２の比が前記第１の比よりも大きく且つ前記第２の比が第２の閾値よりも大きい場合には、前記第１の露出に対して所定量の露出を下げた前記第２の露出に調整する請求項２に記載の撮像装置。
  4. 　前記第２の露出で撮影した場合に得られると予測される予測撮影画像を構成する各画素の輝度に関する情報を取得し、前記予測された輝度に関する情報に基づいて、前記黒つぶれ画素、前記低輝度画素、前記白とび画素、および前記高輝度画素の画素数をカウントし、前記カウントされた前記黒つぶれ画素の画素数と前記低輝度画素の画素数との第３の比、および前記カウントされた前記白とび画素の画素数と前記高輝度画素の画素数との第４の比を算出するシミュレーション部を更に備え、
    　前記露出調整部は、前記第１の比が前記第２の比よりも大きい場合には、前記シミュレーション部が算出した前記第４の比に応じて前記第１の露出を前記第２の露出に調整し、前記第２の比が前記第１の比よりも大きい場合には、前記シミュレーション部が算出した前記第３の比に応じて前記第１の露出を前記第２の露出に調整する請求項２または３に記載の撮像装置。
  5. 　前記露出調整部は、前記第３の比が第３の閾値以下である場合には、前記第１の露出に対して所定量の露出を下げた前記第２の露出に調整し、前記第４の比が第４の閾値以下である場合には、前記第１の露出に対して所定量の露出を上げた前記第２の露出に調整する請求項４に記載の撮像装置。
  6. 　前記カウント部は、前記撮影画像の位置に応じて重み付けを行い、前記黒つぶれ画素の画素数および前記白とび画素の画素数をカウントする請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記カウント部は、前記撮影画像の中央領域の前記黒つぶれ画素の画素数および前記白とび画素の画素数、前記撮影画像における主要被写体の領域の前記黒つぶれ画素の画素数および前記白とび画素の画素数、または前記撮影画像の焦点が合っている領域の前記黒つぶれ画素の画素数および前記白とび画素の画素数に対して重み付けを行う請求項６に記載の撮像装置。
  8. 　前記画像取得部は、前記撮影画像をカラーイメージセンサにより取得し、
    　前記輝度情報取得部は、前記カラーイメージセンサからの出力値に基づいてデモザイク処理された画素毎のＲ、Ｇ、およびＢの値に基づいて輝度を取得し、
    　前記カウント部は、前記輝度に基づいて前記高輝度画素を判定し、前記判定された前記高輝度画素の前記輝度を構成するＲ、Ｇ、およびＢの値のうちの最大値が第５の閾値よりも大きい画素を前記白とび画素としてカウントする請求項１から７のいずれか１項に記載の撮像装置。
  9. 　第１の露出または第２の露出を設定する露出設定ステップと、
    　前記第１の露出で撮影された撮影画像を取得する画像取得ステップと、
    　前記撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得ステップと、
    　前記輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、前記所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および前記所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウントステップと、
    　前記黒つぶれ画素の画素数と前記低輝度画素の画素数との第１の比、および前記白とびの画素の画素数と前記高輝度画素の画素数との第２の比を算出する算出ステップと、
    　前記算出ステップで算出された前記第１の比および前記第２の比に基づいて、前記第１の露出を前記第２の露出に調整する露出調整ステップと、
    　を含む撮像方法。
  10. 　第１の露出または第２の露出を設定する露出設定ステップと、
    　前記第１の露出で撮影された撮影画像を取得する画像取得ステップと、
    　前記撮影画像を構成する各画素の輝度に関する情報を取得する輝度情報取得ステップと、
    　前記輝度に関する情報に基づいて、所定の黒つぶれ領域に含まれる黒つぶれ画素の画素数、前記所定の黒つぶれ領域よりも広い低輝度領域に含まれる低輝度画素の画素数、所定の白とび領域に含まれる白とび画素の画素数、および前記所定の白とび領域よりも広い高輝度領域に含まれる高輝度画素の画素数をそれぞれカウントするカウントステップと、
    　前記黒つぶれ画素の画素数と前記低輝度画素の画素数との第１の比、および前記白とびの画素の画素数と前記高輝度画素の画素数との第２の比を算出する算出ステップと、
    　前記算出ステップで算出された前記第１の比および前記第２の比に基づいて、前記第１の露出を前記第２の露出に調整する露出調整ステップと、
    　をコンピュータに実現させるプログラム。
PCT/JP2017/035300 2016-10-04 2017-09-28 撮像装置、撮像方法、およびプログラム WO2018066454A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018543865A JP6534780B2 (ja) 2016-10-04 2017-09-28 撮像装置、撮像方法、およびプログラム
CN201780061779.XA CN109845241B (zh) 2016-10-04 2017-09-28 摄像装置、摄像方法及记录介质
US16/357,857 US10778903B2 (en) 2016-10-04 2019-03-19 Imaging apparatus, imaging method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016196547 2016-10-04
JP2016-196547 2016-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/357,857 Continuation US10778903B2 (en) 2016-10-04 2019-03-19 Imaging apparatus, imaging method, and program

Publications (1)

Publication Number Publication Date
WO2018066454A1 true WO2018066454A1 (ja) 2018-04-12

Family

ID=61831418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035300 WO2018066454A1 (ja) 2016-10-04 2017-09-28 撮像装置、撮像方法、およびプログラム

Country Status (4)

Country Link
US (1) US10778903B2 (ja)
JP (1) JP6534780B2 (ja)
CN (1) CN109845241B (ja)
WO (1) WO2018066454A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114258673A (zh) * 2019-08-19 2022-03-29 谷歌有限责任公司 相机系统中的双曝光控制

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784659B (zh) * 2019-10-31 2022-01-11 Oppo广东移动通信有限公司 一种曝光控制方法及装置、存储介质
CN110661983B (zh) 2019-11-12 2021-03-19 腾讯科技（深圳）有限公司 图像采集方法、装置、设备及存储介质
CN113038040B (zh) * 2021-03-03 2023-03-24 深圳市丛矽微电子科技有限公司 一种事件相机、阈值调整方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048251A (ja) * 2006-08-18 2008-02-28 Victor Co Of Japan Ltd 撮影装置及び撮影方法
JP2008131530A (ja) * 2006-11-24 2008-06-05 Sony Corp 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP2012205031A (ja) * 2011-03-25 2012-10-22 Hitachi Ltd 画像信号処理装置
JP2016006930A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906745B1 (en) * 1998-04-23 2005-06-14 Micron Technology, Inc. Digital exposure circuit for an image sensor
US6859230B2 (en) * 2001-11-07 2005-02-22 Omnivision Technologies, Inc. Method of fast automatic exposure or gain control in a MOS image sensor
US7489352B2 (en) * 2002-11-15 2009-02-10 Micron Technology, Inc. Wide dynamic range pinned photodiode active pixel sensor (APS)
US7430011B2 (en) * 2003-01-22 2008-09-30 Omnivision Technologies, Inc. Image sensor having dual automatic exposure control
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
JP4867365B2 (ja) 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP2007259411A (ja) * 2006-02-21 2007-10-04 Seiko Epson Corp 露出判別装置およびその方法
JP4341691B2 (ja) * 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
KR100944595B1 (ko) * 2007-04-24 2010-02-25 가부시끼가이샤 르네사스 테크놀로지 표시 장치, 표시 장치 구동 회로, 화상 표시 방법, 전자기기 및 화상 표시 장치 구동 회로
US20090002530A1 (en) * 2007-06-27 2009-01-01 Texas Instruments Incorporated Apparatus and method for processing images
JP4986747B2 (ja) * 2007-07-09 2012-07-25 キヤノン株式会社 撮像装置及び撮像方法
CN101399924B (zh) * 2007-09-25 2010-05-19 展讯通信（上海）有限公司 基于亮度直方图的自动曝光方法和装置
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8013911B2 (en) * 2009-03-30 2011-09-06 Texas Instruments Incorporated Method for mixing high-gain and low-gain signal for wide dynamic range image sensor
CN101566889B (zh) * 2009-05-22 2012-03-28 埃派克森微电子(上海)股份有限公司 光学指示装置图像质量控制参数的调整方法
JP5610762B2 (ja) * 2009-12-21 2014-10-22 キヤノン株式会社 撮像装置及び制御方法
JP5520038B2 (ja) * 2009-12-25 2014-06-11 キヤノン株式会社 映像処理装置及び映像処理方法
CN102196153B (zh) * 2010-03-03 2013-07-03 鸿富锦精密工业（深圳）有限公司 图像场景亮度差判断装置及亮度差判断方法
CN102262330B (zh) * 2010-05-25 2016-05-11 北京中星微电子有限公司 自动曝光的方法及装置
US9479705B2 (en) 2012-02-13 2016-10-25 Htc Corporation Exposure value adjustment apparatus, method, and non-transitory tangible machine-readable medium thereof
JP6120500B2 (ja) 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
US8866928B2 (en) * 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
JP6259185B2 (ja) * 2012-12-21 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
US9420145B2 (en) * 2014-01-13 2016-08-16 Marvell World Trade Ltd. System and method for tone mapping of images
CN103826006A (zh) 2014-02-14 2014-05-28 可牛网络技术（北京）有限公司 移动终端的提示方法、装置以及提高信号覆盖率的方法
CN103826066B (zh) * 2014-02-26 2017-05-03 芯原微电子(上海)有限公司 一种自动曝光调整方法及系统
EP3334150B1 (en) * 2016-12-06 2022-09-07 Canon Kabushiki Kaisha Image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048251A (ja) * 2006-08-18 2008-02-28 Victor Co Of Japan Ltd 撮影装置及び撮影方法
JP2008131530A (ja) * 2006-11-24 2008-06-05 Sony Corp 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP2012205031A (ja) * 2011-03-25 2012-10-22 Hitachi Ltd 画像信号処理装置
JP2016006930A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114258673A (zh) * 2019-08-19 2022-03-29 谷歌有限责任公司 相机系统中的双曝光控制

Also Published As

Publication number Publication date
JPWO2018066454A1 (ja) 2019-07-25
US20190215433A1 (en) 2019-07-11
CN109845241A (zh) 2019-06-04
JP6534780B2 (ja) 2019-06-26
US10778903B2 (en) 2020-09-15
CN109845241B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
JP5833794B2 (ja) 撮像装置
US10778903B2 (en) Imaging apparatus, imaging method, and program
US9799105B2 (en) Image processing device, imaging device, image processing method, and program for restoration processing based on a point spread function and a frame after a frame to be processed
US9881362B2 (en) Image processing device, image-capturing device, image processing method, and program
WO2014080718A1 (ja) 撮像装置及び合焦制御方法
US11438521B2 (en) Image capturing device, image capturing method, and program
US11032483B2 (en) Imaging apparatus, imaging method, and program
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5897769B2 (ja) 撮像装置、キャリブレーションシステム、及びプログラム
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JP6580801B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US10778880B2 (en) Imaging device, imaging method, and imaging program
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858292

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543865

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858292

Country of ref document: EP

Kind code of ref document: A1