WO2016113961A1 - 画像処理装置及び方法、並びにプログラム及び記録媒体 - Google Patents

画像処理装置及び方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2016113961A1
WO2016113961A1 PCT/JP2015/078563 JP2015078563W WO2016113961A1 WO 2016113961 A1 WO2016113961 A1 WO 2016113961A1 JP 2015078563 W JP2015078563 W JP 2015078563W WO 2016113961 A1 WO2016113961 A1 WO 2016113961A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
image
exposure amount
exposure
target
Prior art date
Application number
PCT/JP2015/078563
Other languages
English (en)
French (fr)
Inventor
偉雄 藤田
大祐 鈴木
山下　孝一
的場　成浩
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2016569225A priority Critical patent/JP6362711B2/ja
Priority to GB1710652.7A priority patent/GB2549642B/en
Priority to US15/541,039 priority patent/US10015410B2/en
Publication of WO2016113961A1 publication Critical patent/WO2016113961A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Definitions

  • the present invention relates to an image processing apparatus and method for an imaging apparatus that synthesizes images obtained by imaging under two different exposure conditions in the imaging apparatus.
  • the present invention also relates to a program for causing a computer to execute processing in an image processing apparatus and method, and a computer-readable recording medium on which the program is recorded.
  • Patent Document 1 discloses an imaging apparatus that generates a composite image with a wide dynamic range by combining a plurality of images having different exposure times.
  • a composite image signal is generated from a long exposure image signal and a short exposure image signal, and exposure control is performed using a luminance integrated value in a luminance histogram (luminance distribution) for the composite image signal.
  • luminance histogram luminance distribution
  • the exposure amount and the luminance integrated value change amount do not have a proportional relationship, so the exposure amount is confirmed while checking the luminance integrated value for each frame. There is a problem that it takes time to converge the exposure amount with respect to a change in the brightness of the subject.
  • the image processing apparatus of the present invention An image processing apparatus of an imaging apparatus having an imaging unit that performs imaging by receiving light from a subject, The imaging unit alternately performs imaging with a first exposure amount using a first exposure time and imaging with a second exposure amount using a second exposure time longer than the first exposure time.
  • a controller that repeatedly performs, and alternately outputs a first image generated by imaging with the first exposure amount and a second image generated by imaging with the second exposure amount;
  • An image composition unit that composes the first image and the second image to generate a composite image;
  • a pixel value measuring unit that generates a histogram representing the frequency of appearance of pixels for each pixel value in the first image and a histogram representing the frequency of appearance of pixels for each pixel value in the second image;
  • the controller is In the histogram of the first image, a first cumulative frequency obtained by dividing the cumulative frequency of each pixel value by the cumulative frequency up to each pixel value by the total number of pixels constituting the first image.
  • a pixel value whose ratio is a first reference value is generated as a first index value, and the first index value has a predetermined relationship with a predetermined first target value.
  • the first exposure amount is controlled so that the first target condition is satisfied.
  • a second cumulative frequency obtained by dividing the cumulative frequency of each pixel value by the cumulative frequency up to each pixel value by the total number of pixels constituting the second image.
  • a pixel value that is a second reference value whose ratio is smaller than the first reference value is generated as a second index value, and the second index value is determined with respect to a predetermined second target value.
  • the second exposure amount is controlled so that the second target condition is satisfied with the second target condition having a predetermined relationship.
  • the exposure amount for bringing the index value closer to the target value can be obtained from the ratio between the index value and the target value. This can shorten the time until the exposure amount converges with respect to the change in the brightness of the subject.
  • FIG. 1 is a block diagram illustrating an image processing apparatus according to a first embodiment of the present invention.
  • (A) And (b) is a figure which shows an example of the histogram and cumulative frequency curve about a short exposure image.
  • (A) And (b) is a figure which shows an example of the histogram and cumulative frequency curve about a long exposure image. It is a figure which shows the example which produces
  • (A) And (b) is a figure which shows an example of the method of determining a setting value from the candidate value of a some setting value.
  • FIG. 10 is a flowchart illustrating an operation of a control unit 5 in a modification of the second embodiment.
  • FIG. 1 shows a method for generating an index value in the modified example of the second embodiment in the case where the exposure ratio is controlled by limiting the exposure amount ratio from the cumulative frequency curve of the short exposure image and the long exposure image. It is a figure which shows an example. It is a block diagram which shows the image processing apparatus of Embodiment 3 of this invention. 4 is a block diagram illustrating a computer system that constitutes the image processing apparatus according to the first, second, or third embodiment. FIG.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus including the image processing apparatus according to the first embodiment of the present invention.
  • the illustrated imaging apparatus includes a lens 2, an imaging unit 3, an image processing unit 4, and a control unit 5.
  • the image processing unit 4 and the control unit 5 constitute an image processing apparatus.
  • the imaging unit 3 includes an imaging element 31 made of a CCD element or a CMOS element and an amplifier circuit 32.
  • the lens 2 guides light from the subject to the imaging surface of the image sensor 31 and forms an optical image on the imaging surface.
  • the imaging element 31 converts an optical image formed on the imaging surface into electronic data (color image data) and outputs the electronic data.
  • the imaging unit 3 can change the exposure time and the gain, and can adjust the brightness of the captured image by changing the exposure time and the gain.
  • the exposure time is changed by changing the charge accumulation time of the image sensor 31.
  • the gain is changed by changing the amplification degree of the amplifier circuit 32.
  • the imaging unit 3 alternately performs imaging with a first exposure amount and imaging with a second exposure amount different from the first exposure amount, and is generated by imaging with the first exposure amount.
  • the first image and the second image generated by imaging with the second exposure amount are repeatedly output alternately.
  • the imaging with the first exposure amount is performed with the first exposure time and the first gain
  • the imaging with the second exposure amount is performed with the second exposure time and the second gain.
  • the first exposure time is shorter than the second exposure time.
  • Imaging using a relatively short first exposure time is referred to as short exposure imaging
  • imaging using a relatively long second exposure time is referred to as long exposure imaging.
  • Short exposure imaging and long exposure imaging are alternately performed every other frame. That is, short exposure imaging is performed in a certain frame, and long exposure imaging is performed in the next frame.
  • a frame in which short exposure imaging is performed is called a short exposure frame
  • an image obtained by short exposure imaging is called a short exposure image
  • a frame in which long exposure imaging is performed is called a long exposure frame
  • the image is called a long exposure image.
  • the image processing unit 4 includes a pixel value measurement unit 41 and an image synthesis unit 42.
  • the pixel value measuring unit 41 performs various measurements on the image data of each frame output from the imaging unit 3. For example, an average value of pixel values is obtained in each frame. Further, the distribution of pixel values is measured, and a histogram is generated. The histogram represents the frequency of appearance of pixels for each pixel value in the image of each frame.
  • a histogram HtS for the short exposure image and a histogram HtL for the long exposure image are obtained.
  • the image composition unit 42 synthesizes the short exposure image DS and the long exposure image DL output from the imaging unit 3 and outputs a composite image D4. As a result, an image with an expanded dynamic range can be obtained.
  • the control unit 5 controls the exposure time and gain of the imaging unit 3 and the image composition ratio of the image composition unit 42 based on the measurement result of the pixel value measurement unit 41.
  • the exposure time and gain are controlled by an exposure time control signal Ct and a gain control signal Cg, respectively.
  • the image composition ratio is controlled by a composition ratio control signal Cc.
  • the exposure amount of short exposure imaging is controlled based on the histogram HtS of the short exposure image
  • the exposure amount of long exposure imaging is controlled based on the histogram HtL of the long exposure image.
  • the control unit 5 sets the exposure time TS and the gain GS for the short exposure imaging and the long exposure imaging to the imaging unit 3.
  • the exposure time TL and the gain GL are alternately set every other frame.
  • FIG. 2A shows an example of a histogram HtS generated for a short exposure image.
  • the horizontal axis represents the pixel value P
  • the vertical axis represents the appearance frequency of the pixel having each pixel value.
  • the control unit 5 obtains the cumulative frequency A by accumulating the frequency of appearance for each pixel value from the low pixel value side to each pixel value in the histogram HtS shown in FIG. A curve representing the cumulative frequency A thus obtained is shown in FIG. In FIG.
  • the horizontal axis represents the pixel value P, and the vertical axis represents the cumulative frequency A up to the pixel value.
  • the curve shown in FIG. 2B also shows the ratio (cumulative frequency ratio) B of the cumulative frequency A to the total number of pixels (total number of pixels) Am constituting the short exposure image.
  • the curve shown in FIG. 2 (b) indicates the cumulative frequency, and therefore is called a cumulative frequency curve in that sense, and since it indicates the cumulative frequency rate, it is also called a cumulative frequency rate curve in that sense.
  • the reference value Ba is set to 90%, for example.
  • the short exposure image corresponds to the “first image” in the claims
  • the reference value Ba corresponds to the “first reference value” in the claims.
  • FIG. 2 (b) shows three curves CS1, CS2, and CS3 as examples of cumulative frequency ratio curves, and brightness index values Sa obtained from the curves are indicated by symbols Sa1, Sa2, and Sa3. Yes.
  • a target value Sat is set for the brightness index value Sa.
  • the target value Sat is set as large as possible within a range where whiteout does not occur.
  • the target value Sat is set to “200”, for example.
  • the control unit 5 controls the exposure amount ES (exposure time ⁇ gain) for short exposure imaging so that the brightness index value Sa approaches the target value Sat.
  • the exposure amount ES is not changed by a value corresponding to the difference between the target value Sat and the brightness index value Sa, but the target value Sat and the index value Sa are not changed.
  • the exposure amount ES is changed by a value corresponding to a part of the difference.
  • ES (i + 1) ES (i) + (ES (i) ⁇ (Sat ⁇ Sa (i)) / Sa (i)) ⁇ Kra (1)
  • Kra is the return rate.
  • the feedback rate Kra is set to a value in the range of 0 to 1. The closer the feedback rate Kra is to 0, the slower the change in exposure amount. Therefore, although rapid fluctuation of the exposure amount can be suppressed, it takes time to converge the index value Sa to the target value Sat. The closer the feedback rate Kr is to 1, the faster the index value Sa converges to the target value Sat, but the exposure amount tends to fluctuate rapidly.
  • the brightness index value Sa generated by the above method is proportional to the exposure amount ES, and the change in the brightness index value Sa is proportional to the change in the exposure amount ES.
  • the exposure amount ES product of exposure time and gain
  • the individual pixel values in the captured image are uniformly increased by ⁇ %, and therefore the ratio of the cumulative frequency A to the total number of pixels Am.
  • the exposure amount ES of the next short exposure frame is determined based on the ratio of the difference between the target value Sat and the index value Sa to the index value Sa. Can be determined. Therefore, the index value Sa can be converged to the target value Sat at high speed and with high accuracy.
  • FIG. 3A shows an example of a histogram HtL generated for a long exposure image.
  • the control unit 5 obtains the cumulative frequency A by accumulating the appearance frequency for each pixel value from the low pixel value side to each pixel value in the histogram HtL shown in FIG.
  • a curve representing the cumulative frequency A thus obtained is shown in FIG.
  • the curve shown in FIG. 3B also shows the ratio (cumulative frequency ratio) B of the cumulative frequency A to the total number of pixels (total number of pixels) Am constituting the long exposure image.
  • the curve CL shown in FIG. 3 (b) indicates the cumulative frequency, and therefore is called the cumulative frequency curve in that sense. Since the curve CL indicates the cumulative frequency rate, it is also called the cumulative frequency rate curve in that sense. .
  • the reference value Bb is set to 5%, for example.
  • the long exposure image corresponds to the “second image” in the claims
  • the reference value Bb corresponds to the “second reference value” in the claims.
  • FIG. 3B shows three curves CL1, CL2, and CL3 as examples of cumulative frequency ratio curves, and brightness index values Lb obtained from the curves are indicated by symbols Lb1, Lb2, and Lb3, respectively.
  • a target value Lbt is set for the brightness index value Lb.
  • Target value Lbt is determined so as to be as small as possible within a range in which black crushing does not occur.
  • the target value Lbt is set to “30”, for example.
  • the control unit 5 controls the exposure amount EL (exposure time ⁇ gain) of long exposure imaging so that the brightness index value Lb approaches the target value Lbt.
  • the exposure amount EL is changed by a value corresponding to the difference between the target value Lbt and the brightness index value Lb. Instead, the exposure amount EL is changed by a value corresponding to a part of the difference between the target value Lbt and the index value Lb.
  • EL (i + 1) EL (i) + (EL (i) ⁇ (Lbt ⁇ Lb (i)) / Lb (i)) ⁇ Krb (2)
  • Krb is a feedback rate.
  • the feedback rate Krb is set to a value in the range of 0 to 1. The closer the feedback rate Krb is to 0, the slower the exposure change. Therefore, a rapid change in the exposure amount can be suppressed, but it takes time to converge the index value Lb to the target value Lbt. The closer the feedback rate Krb is to 1, the faster the index value Lb converges to the target value Lbt, but the exposure amount tends to fluctuate rapidly.
  • the feedback rate Krb may be the same value as the feedback rate Kra in Expression (1) or may be a different value.
  • the brightness index value Lb generated by the above method is proportional to the exposure amount EL, and the change in the brightness index value Lb is proportional to the change in the exposure amount EL.
  • the exposure amount EL product of exposure time and gain
  • the exposure amount EL of the next long exposure frame is calculated based on the ratio of the difference between the target value Lbt and the index value Lb to the index value Lb. Can be determined. Therefore, the index value Lb can be converged to the target value Lbt with high speed and high accuracy.
  • one index value is generated from the cumulative frequency ratio curve for each of the short exposure image and the long exposure image, and the one index Exposure control is performed from the relationship between the value and a target value set in advance for the index value.
  • two or more index values are generated from the cumulative frequency ratio curve, the two or more index values, and the respective index values
  • exposure control may be performed based on a relationship with a preset target value.
  • the exposure value setting value ESt is determined as follows. First, candidate values ESc and ESd for setting values of exposure amounts are calculated from the index values Sc and Sd and the target values Sct and Sdt for each condition.
  • the index values in the current frame are Sc (i) and Sd (i)
  • the target values for the index values are Sct and Sdt
  • the exposure amount (product of exposure time and gain) in the current frame is ES (i)
  • Candidate values ESc (i + 1) and ESd (i + 1) for setting values of the exposure amount in the short exposure frame are calculated by the following equations (3) and (4).
  • ESc (i + 1) ES (i) + ⁇ (ES (i) ⁇ (Sct ⁇ Sc (i)) / Sc (i)) ⁇ ⁇ Krc (3)
  • ESd (i + 1) ES (i) + ⁇ (ES (i) ⁇ (Sdt ⁇ Sd (i)) / Sd (i)) ⁇ ⁇ Krd (4)
  • Krc and Krd are feedback rates.
  • the feedback rates Krc and Krd are both set to values in the range of 0 to 1.
  • the feedback rates Krc and Krd may be the same or different.
  • both the index values Sc and Sd have a “predetermined relationship between the index value and the target value”, instead of controlling the index value to be equal to the target value.
  • control is performed so that the target condition is satisfied. Examples of “predetermined relationship with respect to target value” include “equal to target value”, “above target value”, or “below target value”.
  • priority is set for each target and control is performed.
  • target conditions are defined for each of a plurality of index values, and control is performed so that all index values satisfy the target conditions. Thereby, it is possible to realize exposure amount control based on a plurality of index values.
  • the index value Sc is equal to or less than the target value Sct, that is, Sc (i + 1) ⁇ Sct (Ra1) Is set as the target of the priority order 1, and the condition that the set value ESt (i + 1) should satisfy for this purpose is set as the condition of the priority order 1.
  • ESc (i + 1) ⁇ ESd (i + 1) (Re3)
  • ESt (i + 1) ESd (i + 1) (Re4) Satisfies both the priority order 1 condition (Re1) and the priority order 2 condition (Re2), and therefore, ESt (i + 1) represented by the expression (Re4) is set as the exposure value setting value for the next short exposure frame. .
  • one of the index values is controlled with the goal of “the index value is equal to or less than the target value”, and the other is controlled with the goal of “the index value is equal to the target value”. I am going to do that.
  • the present invention is not limited to this, and target conditions are defined for each of the index values. Further, priorities are determined for the respective target conditions, and the target conditions are satisfied in order of priority. Thus, control may be performed.
  • control may be performed on the condition that the plurality of index values are equal to or less than the target value. More specifically, a pixel value at which the ratio of the cumulative frequency to the total number of pixels is 90% is set as the first index value, and a pixel value at which the ratio of the cumulative frequency to the total number of pixels is 80% is set as the second index value. Then, control may be performed by setting the target values for these index values as upper limits, that is, so that the index values are less than or equal to the target values.
  • a short-exposure image used to generate a composite image with a wide dynamic range generates an image having an overall pixel value as large as possible and a large pixel value signal amplitude (variation width of the pixel value) within a range where whiteout does not occur.
  • the exposure amount ratio RLS is defined as the ratio of the exposure amount EL in the long exposure imaging to the exposure amount ES in the short exposure imaging.
  • the exposure ratio RLS is too large, the contrast reproducibility is poor in the luminance range between the luminance range with the best contrast reproducibility for the long exposure image and the luminance range with the best contrast reproducibility for the short exposure image, For this reason, the image quality of the composite image may be lowered, but this can be prevented by this control.
  • the cumulative frequency ratio used for this the same value is used.
  • the cumulative power ratio used to determine the brightness index value (second brightness index value) Lb from the cumulative power ratio curve of the long exposure image is Bb
  • the cumulative frequency ratio Bb is 5%, for example.
  • the cumulative frequency ratio Bb corresponds to the “second reference value” in the claims
  • the cumulative frequency ratio Be corresponds to the “third reference value” in the claims.
  • the target values Set and Lbt are set so that the ratio of the target value Lbt to the target value Set is less than or equal to the upper limit value of the exposure amount ratio RLS.
  • the target value Set of the index value Se is multiplied by 1/16, which is the reciprocal of the upper limit value of the exposure amount ratio RLS.
  • the target value Set is set to “2” or more.
  • exposure control is performed so that the index value Lb generated as described above has a predetermined relationship with the target value Lbt.
  • exposure control is performed so that the index value Se generated as described above has a predetermined relationship with the target value Set.
  • an index value Sa similar to that described in the first embodiment is generated, and the index value Sa has a predetermined relationship with a target value Sat that is predetermined with respect to the index value.
  • Exposure control is performed so that The determination of the exposure value setting value using the two index values Sa and Se for the short exposure image may be performed as described with reference to FIGS. 5A and 5B for the EMB.
  • a pixel value having a large cumulative frequency ratio Ba (for example, 90%) is set as an index value Sa, and a target value Sat for this is set.
  • a pixel value at which the cumulative frequency ratio becomes a small value Be (for example, 5%) is measured to be the second index value Se, and the target value Set for this is set to the same cumulative frequency ratio for the long exposure image.
  • the index values Se and Lb and the target values Set and Lbt are small values, so the influence of fluctuations in pixel values due to noise is large, and the control is unstable. There is a possibility. In order to prevent this, a feedback rate is provided to stabilize the processing.
  • the index values Se ′ (i + 1) and Lb ′ (i + 1) to be referred to for controlling the exposure amount are expressed by the following equations. Update for each frame by (5) and Equation (6).
  • the immediately preceding frame means the immediately preceding short exposure frame for the short exposure image, and the immediately preceding long exposure frame for the long exposure image.
  • Se '(i + 1) Se ′ (i) + (Se ′ (i) ⁇ Se (i)) ⁇ Kre ′ (5)
  • Lb ′ (i + 1) Lb ′ (i) + (Lb ′ (i) ⁇ Lb (i)) ⁇ Krb ′ (6)
  • Kre ′ and Krb ′ are feedback rates.
  • the feedback rates Kre ′ and Krb ′ are set to values in the range of 0 to 1.
  • the value of the feedback rate Kre ′ is smaller, the fluctuation of the index value Se ′ (i + 1) due to noise becomes gentler.
  • the index value Se ′ (i + 1) converges.
  • the smaller the value of the feedback rate Krb ′ the slower the fluctuation of the index value Lb ′ (i + 1) due to noise.
  • by providing a feedback rate to suppress a rapid change in the index value it is possible to obtain a stable index value while suppressing the influence of noise, and to stabilize the exposure amount control.
  • the index value measured for each frame may be averaged to stabilize the processing.
  • the calculation of the index value based on the cumulative frequency ratio curve generated for each frame is performed in the same manner as the method described in the first embodiment, and the number of frames (for example, for 5 frames) determined in advance from the newest one. ) Is stored in the memory.
  • a value obtained by averaging the index values of a plurality of frames is referred to. By doing in this way, the influence of noise can be suppressed and a stable index value can be referred to.
  • the short exposure image of a certain frame and the long exposure image of the subsequent frame are combined.
  • the long exposure image of a certain frame and the short exposure image of the subsequent frame are combined. It's also good.
  • Embodiment 2 the brightness index value Lb of the long exposure image is determined as the brightness index value Se of the short exposure image in order to limit the exposure amount ratio.
  • the brightness of the other of the short exposure image and the long exposure image is determined from the cumulative frequency ratio curve of one of the short exposure image and the long exposure image (first image).
  • the cumulative frequency ratio (Bf) used for generating the index value is determined, and exposure control for imaging the other of the short exposure image and the long exposure image is performed using the determined cumulative ratio.
  • the cumulative frequency ratio (Bf) used for generating the brightness index value of the long exposure image is determined, and exposure control for long exposure imaging is performed using the determined cumulative frequency ratio.
  • the method to be performed is demonstrated with reference to FIG.7 and FIG.8 (a) and (b).
  • control unit 5 waits for the generation of histogram HtS of the short exposure image (ST10).
  • An example of the cumulative frequency ratio curve CS corresponding to the generated histogram HtS is shown in FIG.
  • this reference value Ba corresponds to the “first reference value” in the claims.
  • a candidate value ESa (i + 1) of a set value of the exposure amount for short exposure imaging in the next short exposure frame is determined (ST12). ).
  • this cumulative frequency ratio Bf corresponds to the “third reference value” in the scope of patent claims.
  • the set value of the exposure amount for long exposure imaging in the next long exposure frame ELt (i + 1) is determined (ST23). Determination of the set value of the exposure amount using the two index values Lf and Lg may be performed in the same manner as described with reference to FIGS. 4 to 5B.
  • the ratio between the predetermined pixel value Sfs used in step ST13 and the target value Lft (used in step ST23) with respect to the index value Lf obtained in step ST22 is determined according to the exposure amount ratio RLS.
  • the restriction of the exposure amount ratio RLS is set to a maximum of 16 times
  • the target value Lft may be set to 16 times or less of the predetermined pixel value Sfs.
  • an index value (Sa) used for exposure control of a short exposure image is generated from a histogram of a short exposure image, and a cumulative frequency ratio used for generation of an index value (Lf) used for exposure control of a long exposure image.
  • determining (Bf) it is possible to separately set an index value (Sa) used for exposure control of a short-exposure image and a pixel value (Sfs) for limiting the exposure amount ratio. . Therefore, the target value (Sat) of the index value used for the exposure control of the short exposure image can be set to a large value. Therefore, more stable exposure control can be performed.
  • the short exposure imaging is performed first, the cumulative frequency ratio used to generate the brightness index value of the long exposure image is determined from the histogram of the short exposure image, and the long exposure image is determined using the determined cumulative frequency ratio.
  • the cumulative frequency ratio used for generating the brightness index value of the short exposure image is previously determined from the histogram for the long exposure imaging, and the short exposure image is determined using the determined cumulative frequency ratio.
  • a brightness index value may be generated, and an exposure amount for short exposure imaging may be determined using the generated index value.
  • control unit 5 waits for generation of histogram HtL of the long exposure image (ST30).
  • An example of the cumulative frequency ratio curve CL corresponding to the generated histogram HtL is shown in FIG.
  • this reference value Bg corresponds to the “first reference value” in the claims.
  • a candidate value ELg (i + 1) of the set value of the exposure amount for long exposure imaging in the next long exposure frame is determined (ST32). ).
  • this cumulative frequency ratio Bf corresponds to the “third reference value” in the claims.
  • the set value of the exposure amount for short exposure imaging in the next short exposure frame ESt (i + 1) is determined (ST43). Determination of the set value of the exposure amount using the two index values Sa and Sf may be performed in the same manner as described with reference to FIGS.
  • the ratio of the predetermined pixel value Lfs used in step ST33 and the target value Sft (used in step ST43) to the index value Sf obtained in step ST42 is determined according to the exposure amount ratio RLS.
  • the target value Sft may be set to 1/16 times or more the predetermined pixel value Lfs.
  • an index value (Lg) used for exposure control of a long exposure image is generated from a histogram of a long exposure image, and a cumulative frequency ratio used for generation of an index value (Sf) used for exposure control of a short exposure image.
  • determining (Bf) it is possible to separately set an index value (Lg) used for exposure control of a long exposure image and a pixel value (Lfs) for limiting the exposure amount ratio. . Therefore, the target value (Lgt) of the index value used for the exposure control of the long exposure image can be set to a large value. Therefore, more stable exposure control can be performed.
  • the ratio (Bf (FIG. 8 (a), FIG. 10 (b))) is obtained as the third reference value, and imaging with the second exposure amount performed after imaging with the first exposure amount (short)
  • the third reference value is set as the second reference value. Used as the value (Bf (FIG. 8B, FIG.
  • the second target value (Lft, Sft) may be set to be determined a.
  • Embodiment 3 In the first embodiment and the second embodiment, the adjustment for the luminance of the image is performed by setting the exposure amount. In the third embodiment, the saturation of the image is corrected in accordance with the exposure amount setting.
  • the saturation of the subject may fluctuate accordingly. For example, in a high-luminance portion of the post-combination image, a short-exposure image with low luminance and a long-exposure image with whiteout are combined, so that the saturation of the image is lowered.
  • FIG. 11 shows the configuration of an imaging apparatus for performing such processing.
  • the image processing unit 4 includes a saturation correction unit 43.
  • the saturation correction unit 43 performs a process of correcting the saturation of the wide dynamic range composite image by multiplying the saturation value by a correction coefficient.
  • an index is used as a pixel value corresponding to the same cumulative frequency ratio (5%) in the short exposure image and the long exposure image.
  • the values Se and Lb (FIGS. 6A and 6B) are acquired, and the ratio Lb / Sa of the index value Lb to the index value Se is calculated as the brightness ratio Qr.
  • pixels corresponding to the same cumulative frequency ratio (5%) in the short exposure image and the long exposure image are acquired, and a ratio Lf / Sfs of the index value Lf to the predetermined value Sft is set as a brightness ratio Qr. calculate.
  • pixels corresponding to the same cumulative frequency ratio (5%) in the short exposure image and the long exposure image An index value Sf and a predetermined value Lft (FIGS. 10A and 10B) are acquired as values, and a ratio Lft / Sf of the predetermined value Lft to the index value Sf is set as the brightness ratio Qr. calculate.
  • the saturation correction coefficient applied by the saturation correction unit 43 is switched according to the magnitude of the brightness ratio Qr thus calculated.
  • the saturation correction coefficient Ksc is set to a small value close to “1” because the decrease in saturation due to the combination of the short exposure image and the long exposure image is small.
  • the saturation correction coefficient Ksc is set to a large value such as “2” or “4”. In short, the saturation correction coefficient Ksc is determined so as to increase as the brightness ratio Qr increases.
  • the correspondence between the value of the brightness ratio Qr and the saturation correction coefficient Ksc is determined in advance by a conversion table (look-up table) in which the correspondence between the values is set.
  • the value of the saturation correction coefficient may be determined by interpolation from the value of the saturation correction coefficient on the conversion table. Interpolation can be performed, for example, by nearest neighbor interpolation or linear interpolation. In the nearest neighbor interpolation, the saturation correction coefficient value corresponding to the brightness ratio value closest to the input brightness ratio Qr value among the brightness ratio values on the conversion table is input to the input brightness. This is used as the value of the saturation correction coefficient Ksc corresponding to the value of the depth ratio Qr.
  • a saturation correction coefficient value corresponding to a plurality of brightness ratio values close to the input brightness ratio Qr is obtained by weighted averaging. Is used as the value of the saturation correction coefficient Ksc corresponding to the input brightness ratio Qr.
  • the cumulative frequency or cumulative frequency ratio from the low pixel value side when generating the index value, is used, but the cumulative frequency or cumulative frequency ratio from the high pixel value side may be used.
  • the “accumulated frequency ratio” in the following claims should be understood to include both the cumulative frequency ratio from the low pixel value side and the cumulative frequency ratio from the high pixel value side.
  • a short exposure image is generated in a certain frame and a long exposure image is generated in the next frame.
  • a short exposure image is generated in the first part in one frame period, A long exposure image may be generated at a later portion.
  • the present invention has been described above as an image processing apparatus, the image processing method implemented by the above image processing apparatus also forms part of the present invention.
  • each part (part illustrated as a functional block) of the image processing apparatus is realized by a processing circuit.
  • the processing circuit may be dedicated hardware or a CPU that executes a program stored in a memory.
  • the functions of the respective parts in FIG. 1 or FIG. 11 may be realized by separate processing circuits, or the functions of a plurality of parts may be realized by a single processing circuit.
  • the processing circuit When the processing circuit is a CPU, the function of each part of the image processing apparatus is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in a memory.
  • the processing circuit reads out and executes the program stored in the memory, thereby realizing the function of each unit. That is, the image processing apparatus includes a memory for storing a program in which the functions of the respective parts shown in FIG. 1 or FIG. 11 are executed as a result when executed by the processing circuit.
  • These programs can also be said to cause a computer to execute a processing method or a procedure in an image processing method implemented by the image processing apparatus.
  • each part of the image processing apparatus may be realized by dedicated hardware, and a part may be realized by software or firmware.
  • the processing circuit can realize the functions described above by hardware, software, firmware, or a combination thereof.
  • FIG. 12 shows an example of a configuration when the above processing circuit is a CPU and all functions of the image processing apparatus are realized by a computer (indicated by reference numeral 50) including a single CPU.
  • a computer 50 shown in FIG. 12 includes a CPU 51, a memory 52, an input interface 53, and an output interface 54, which are connected by a bus 55.
  • Image data from the imaging unit 3 in FIG. 1 or 11 is input to the input interface 53.
  • This image data includes image data representing a short-exposure image and image data representing a long-exposure image, and these are alternately input, for example, every frame.
  • the CPU 51 operates in accordance with a program stored in the memory 52, and processes each part of the image processing apparatus according to the first, second, or third embodiment on the video signal input via the input interface 53, The output signal obtained as a result of is output from the output interface 54.
  • the content of the processing by the CPU 51 is the same as that described in the first, second or third embodiment. Data generated in the course of processing is held in the memory 52.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　露光条件の異なる第１の画像及び第２の画像を合成して広ダイナミックレンジの合成に当たり、第１及び第２の画像について、累積度数割合（Ｂ）が第１及び第２の基準値となる画素値を第１及び第２の指標値（Ｓａ、Ｌｂ）として生成し、第１及び第２の指標値（Ｓａ、Ｌｂ）がそれぞれ第１及び第２の目標値（Ｓａｔ、Ｌｂｔ）に対して予め定められた関係を有することを第１及び第２の目標条件として第１及び第２の露光量（ＥＳ、ＥＬ）を制御する。被写体の明るさの変化に対して露光量の集束までの時間を短縮することができる。

Description

画像処理装置及び方法、並びにプログラム及び記録媒体
　本発明は、撮像装置において、２つの異なる露光条件での撮像で得られた画像を合成する撮像装置の画像処理装置及び方法に関する。本発明はまた、画像処理装置及び方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体に関する。
　露光時間が互いに異なる複数枚の画像を合成することで、広ダイナミックレンジの合成画像を生成する撮像装置が特許文献１に記載されている。特許文献１に記載された撮像装置では、長露光画像信号と短露光画像信号から合成画像信号を生成し、その合成画像信号についての輝度ヒストグラム（輝度分布）における輝度積算値を用いて露光制御を行うことで、広ダイナミックレンジカメラの画質を向上させることとしている。
特開２００８－２２８０５８号公報（第５－７頁、第１０図）
　しかしながら、上記のヒストグラムにおける輝度積算値に基づき露光制御を行う方式では、露光量の変化量と輝度積算値の変化量が比例関係とならないため、１フレーム毎に輝度積算値を確認しながら露光量を段階的に変化させる必要があり、被写体の明るさの変化に対して露光量の収束までに時間を要するという問題があった。
　本発明の画像処理装置は、
　被写体からの光を受けて撮像を行う撮像部を有する撮像装置の画像処理装置であって、
　前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御部と、
　前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成部と、
　前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定部とを有し、
　前記制御部は、
　前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
　前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
　ことを特徴とする。
　本発明によれば、露光量の変化と画素値のヒストグラムから生成した指標値の変化が比例するため、指標値を目標値に近付けるための露光量を指標値と目標値の比率から求めることができ、被写体の明るさの変化に対して露光量の収束までの時間を短縮できる。
本発明の実施の形態１の画像処理装置を示すブロック図である。 （ａ）及び（ｂ）は、短露光画像についてのヒストグラム及び累積度数曲線の一例を示す図である。 （ａ）及び（ｂ）は、長露光画像についてのヒストグラム及び累積度数曲線の一例を示す図である。 短露光画像についての累積度数曲線から、複数の指標値を生成する例を示す図である。 （ａ）及び（ｂ）は、複数の設定値の候補値から設定値を決定する方法の一例を示す図である。 （ａ）及び（ｂ）は、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。 本発明の実施の形態２における制御部５の動作を示すフローチャートである。 （ａ）及び（ｂ）は、実施の形態２において、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。 実施の形態２の変形例における制御部５の動作を示すフローチャートである。 （ａ）及び（ｂ）は、実施の形態２の変形例において、短露光画像及び長露光画像の累積度数曲線から、露光量比率に対し制限を設けて制御する場合の指標値の生成方法の一例を示す図である。 本発明の実施の形態３の画像処理装置を示すブロック図である。 実施の形態１、２又は３の画像処理装置を構成するコンピュータシステムを示すブロック図である。
実施の形態１．
　図１は、本発明の実施の形態１にかかる画像処理装置を備えた撮像装置の構成を示すブロック図である。図示の撮像装置は、レンズ２と、撮像部３と、画像処理部４と、制御部５とを有する。上記の構成要素のうち、画像処理部４と制御部５とにより、画像処理装置が構成されている。
　撮像部３は、ＣＣＤ素子又はＣＭＯＳ素子から成る撮像素子３１と増幅回路３２とを有する。
　レンズ２は、被写体からの光を、撮像素子３１の撮像面に導き、光学像を撮像面に形成する。
　撮像素子３１は、撮像面に形成された光学像を電子データ（カラー画像データ）に変換して出力する。撮像部３は、露光時間及びゲインを変更可能であり、露光時間及びゲインを変更することにより、撮像画像の明るさを調整することができる。
　露光時間の変更は、撮像素子３１の電荷蓄積時間の変更によって行われる。ゲインの変更は、増幅回路３２の増幅度の変更により行われる。
　撮像部３は、第１の露光量での撮像と、第１の露光量とは異なる第２の露光量での撮像とを交互に繰り返し行って、第１の露光量での撮像により生成された第１の画像と、第２の露光量での撮像で生成された第２の画像とを交互に繰り返し出力する。
　第１の露光量での撮像は、第１の露光時間と第１のゲインとで行われ、第２の露光量での撮像は、第２の露光時間と第２のゲインとで行われる。例えば第１の露光時間は第２の露光時間より短い。
　比較的短い第１の露光時間を用いた撮像を短露光撮像と言い、比較的長い第２の露光時間を用いた撮像を長露光撮像と言う。短露光撮像と、長露光撮像は、それぞれ１フレームおきに、交互に行われる。即ち、あるフレームで短露光撮像が行われ、次のフレームで長露光撮像が行われる。
　短露光撮像が行われるフレームを短露光フレームと言い、短露光撮像で得られた画像を短露光画像と言い、長露光撮像が行われるフレームを長露光フレームと言い、長露光撮像で得られた画像を長露光画像と言う。
　画像処理部４は、画素値計測部４１と、画像合成部４２を有する。
　画素値計測部４１は撮像部３から出力された各フレームの画像データに対し、種々の計測を行う。例えば、各フレームにおいて、画素値の平均値を求める。また、画素値の分布を計測し、ヒストグラムを生成する。ヒストグラムは各フレームの画像において、画素値毎の画素の出現度数を表すものである。
　ヒストグラムをフレーム毎に生成する結果、短露光画像についてのヒストグラムＨｔＳと、長露光画像についてのヒストグラムＨｔＬとが得られる。
　画像合成部４２は、撮像部３から出力された、短露光画像ＤＳと、長露光画像ＤＬとを合成して合成画像Ｄ４を出力する。これによって、ダイナミックレンジを拡大した画像を得ることができる。
　制御部５は、画素値計測部４１での計測結果に基づき、撮像部３の露光時間及びゲイン、並びに画像合成部４２の画像合成比率を制御する。
　露光時間及びゲインの制御は、それぞれ露光時間制御信号Ｃｔ及びゲイン制御信号Ｃｇによって行われる。画像合成比率の制御は、合成比率制御信号Ｃｃによって行われる。
　本実施の形態では、短露光画像のヒストグラムＨｔＳに基づいて短露光撮像の露光量を制御し、長露光画像のヒストグラムＨｔＬに基づいて長露光撮像の露光量を制御する。
　上記のように、短露光撮像と、長露光撮像を交互に行う場合、制御部５は撮像部３に対し、短露光撮像のための露光時間ＴＳの設定及びゲインＧＳの設定と、長露光撮像のための露光時間ＴＬの設定及びゲインＧＬの設定を１フレームおきに交互に行う。
　上記のように、制御部５は、露光の制御に画素値計測部４１の計測結果を使用する。
　制御部５は、短露光画像の計測結果に基づいて、被写体の高輝度部分が白飛びしないように露光量を制御する。
　図２（ａ）は、短露光画像について生成されたヒストグラムＨｔＳの一例を示す。図２（ａ）で横軸は画素値Ｐを表し、縦軸は各画素値を有する画素の出現度数を表す。
　制御部５は、図２（ａ）に示すヒストグラムＨｔＳにおいて、画素値毎の出現度数を、低画素値側から各画素値まで累積して累積度数Ａを求める。そのようにして求めた累積度数Ａを表す曲線を図２（ｂ）に示す。図２（ｂ）において、横軸は画素値Ｐを表し、縦軸は当該画素値までの累積度数Ａを表す。
　図２（ｂ）に示される曲線はまた、短露光画像を構成する画素の総数（全画素数）Ａｍに対する、上記累積度数Ａの割合（累積度数割合）Ｂをも示す。図２（ｂ）に示される曲線は、累積度数を示すものであるので、その意味で累積度数曲線と呼ばれ、累積度数割合を示すものであるので、その意味で累積度数割合曲線とも呼ばれる。
　制御部５は、図２（ｂ）の累積度数割合曲線において、累積度数割合Ｂが、予め定められた基準値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）を計測し、この値を明るさ指標値（第１の指標値）Ｓａとする。上記の基準値Ｂａは例えば９０％に定められる。本例では短露光画像が請求の範囲における「第１の画像」に相当し、基準値Ｂａが請求の範囲における「第１の基準値」に相当する。
　図２（ｂ）には累積度数割合曲線の例として、３本の曲線ＣＳ１、ＣＳ２、ＣＳ３が示されており、それぞれから得られる明るさ指標値Ｓａが符号Ｓａ１、Ｓａ２、Ｓａ３で示されている。
　明るさ指標値Ｓａに対して目標値Ｓａｔが設定される。目標値Ｓａｔは、白飛びが発生しない範囲でできるだけ大きな値に設定される。階調値が０から２５５までの値を取る場合、目標値Ｓａｔは例えば「２００」と設定される。
　制御部５は、明るさ指標値Ｓａが目標値Ｓａｔに近付くように、短露光撮像の露光量ＥＳ（露光時間×ゲイン）の制御を行う。
　明るさ指標値Ｓａを目標値Ｓａｔに近付けるに当たっては、目標値Ｓａｔと明るさ指標値Ｓａとの差分に応じた値だけ露光量ＥＳを変化させるのではなく、目標値Ｓａｔと指標値Ｓａとの差分の一部に応じた値だけ露光量ＥＳを変化させる。
　具体的には、現フレームにおける指標値をＳａ（ｉ）、指標値に対する目標値をＳａｔ、現フレームにおける露光量（露光時間とゲインの積）をＥＳ（ｉ）とすると、次の短露光フレームにおける露光量の設定値ＥＳ（ｉ＋１）を次式（１）で算出する。
ＥＳ（ｉ＋１）
＝ＥＳ（ｉ）＋（ＥＳ（ｉ）×（Ｓａｔ－Ｓａ（ｉ））／Ｓａ（ｉ））×Ｋｒａ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１）
　ここでＫｒａは帰還率である。帰還率Ｋｒａは、０から１の範囲の値に設定される。帰還率Ｋｒａが０に近いほど、露光量の変化を遅くすることができる。従って、露光量の急激な変動を抑えられるが、指標値Ｓａの目標値Ｓａｔへの収束に時間がかかる。帰還率Ｋｒが１に近いほど、指標値Ｓａの目標値Ｓａｔへの収束が速くなるが、露光量が急激に変動しやすくなる。
　上記の方法で生成される明るさ指標値Ｓａは、露光量ＥＳに比例し、明るさ指標値Ｓａの変化が露光量ＥＳの変化に比例するという性質がある。
　例えば、撮像部３の露光量ＥＳ（露光時間とゲインの積）をα％大きくすると、撮像画像における個々の画素値が一律にα％増加し、従って、累積度数Ａの全画素数Ａｍに対する割合Ｂが一定の値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）によって定義される指標値Ｓａもα％大きい値となるためである。
　露光量ＥＳの変化と指標値Ｓａの変化が比例関係となることを利用し、目標値Ｓａｔと指標値Ｓａの差の、指標値Ｓａに対する比に基づいて次の短露光フレームの露光量ＥＳを決定することができる。従って、指標値Ｓａを高速かつ高精度に目標値Ｓａｔに収束させることが可能である。
　制御部５は、長露光画像の計測結果に基づいて、低輝度部分が黒潰れしないように露光量を制御する。
　図３（ａ）は、長露光画像について生成されたヒストグラムＨｔＬの一例を示す。
制御部５は、図３（ａ）に示すヒストグラムＨｔＬにおいて、画素値毎の出現度数を、低画素値側から各画素値まで累積して累積度数Ａを求める。そのようにして求めた累積度数Ａを表す曲線を図３（ｂ）に示す。図３（ｂ）に示される曲線はまた、長露光画像を構成する画素の総数（全画素数）Ａｍに対する、上記累積度数Ａの割合（累積度数割合）Ｂをも示す。図３（ｂ）に示される曲線ＣＬは、累積度数を示すものであるので、その意味で累積度数曲線と呼ばれ、累積度数割合を示すものであるので、その意味で累積度数割合曲線とも呼ばれる。
　制御部５は、図３（ｂ）の累積度数割合曲線において、累積度数割合Ｂが、予め定められた基準値Ｂｂとなる画素値Ｐ（Ｂ＝Ｂｂ）を計測し、この値を明るさ指標値（第２の指標値）Ｌｂとする。上記の基準値Ｂｂは例えば、５％に定められる。本例では長露光画像が請求の範囲における「第２画像」に相当し、基準値Ｂｂが請求の範囲における「第２の基準値」に相当する。
　図３（ｂ）には累積度数割合曲線の例として、３本の曲線ＣＬ１、ＣＬ２、ＣＬ３が示されており、それぞれから得られる明るさ指標値Ｌｂが符号Ｌｂ１、Ｌｂ２、Ｌｂ３で示されている。
　明るさ指標値Ｌｂに対して目標値Ｌｂｔが設定される。目標値Ｌｂｔは、黒潰れが発生しない範囲でできるだけ小さい値となるように定められる。階調値が０から２５５までの値を取る場合、目標値Ｌｂｔは例えば「３０」と設定される。
　制御部５は、明るさ指標値Ｌｂが目標値Ｌｂｔに近付くように、長露光撮像の露光量ＥＬ（露光時間×ゲイン）の制御を行う。
　短露光撮像の露光制御について記載したのと同様に、明るさ指標値Ｌｂを目標値Ｌｂｔに近付けるに当たっては、目標値Ｌｂｔと明るさ指標値Ｌｂとの差分に応じた値だけ露光量ＥＬを変化させるのではなく、目標値Ｌｂｔと指標値Ｌｂとの差分の一部に応じた値だけ露光量ＥＬを変化させる。
　具体的には、現フレームにおける指標値をＬｂ（ｉ）、指標値に対する目標値をＬｂｔ、現フレームにおける露光量（露光時間とゲインの積）をＥＬ（ｉ）とすると、次の長露光フレームにおける露光量の設定値ＥＬ（ｉ＋１）を次式（２）で算出する。
ＥＬ（ｉ＋１）
＝ＥＬ（ｉ）＋（ＥＬ（ｉ）×（Ｌｂｔ－Ｌｂ（ｉ））／Ｌｂ（ｉ））×Ｋｒｂ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（２）
　ここでＫｒｂは帰還率である。帰還率Ｋｒｂは、０から１の範囲の値に設定される。帰還率Ｋｒｂが０に近いほど、露光量の変化を遅くすることができる。従って、露光量の急激な変動を抑えられるが、指標値Ｌｂの目標値Ｌｂｔへの収束に時間がかかる。帰還率Ｋｒｂが１に近いほど、指標値Ｌｂの目標値Ｌｂｔへの収束が速くなるが、露光量が急激に変動しやすくなる。
　帰還率Ｋｒｂは、式（１）の帰還率Ｋｒａと同じ値であっても良く、異なる値であっても良い。
　上記の方法で生成される明るさ指標値Ｌｂは、露光量ＥＬに比例し、明るさ指標値Ｌｂの変化が露光量ＥＬの変化に比例するという性質がある。
　例えば、撮像部３の露光量ＥＬ（露光時間とゲインの積）をα％大きくすると、
　撮像画像における個々の画素値が一律にα％増加し、従って、累積度数Ａの全画素数Ａｍに対する割合Ｂが一定の値Ｂｂとなる画素値Ｐ（Ｂ＝Ｂｂ）によって定義される指標値Ｌｂもα％大きい値となるためである。
　露光量ＥＬの変化と指標値Ｌｂの変化が比例関係となることを利用し、目標値Ｌｂｔと指標値Ｌｂの差の、指標値Ｌｂに対する比に基づいて次の長露光フレームの露光量ＥＬを決定することができる。従って、指標値Ｌｂを高速かつ高精度に目標値Ｌｂｔに収束させることが可能である。
　以上図２（ａ）～図３（ｂ）を参照して説明した例では、短露光画像及び長露光画像の各々について、その累積度数割合曲線から一つの指標値を生成し、該一つの指標値と、該指標値に対して予め設定された目標値との関係から、露光制御を行っている。このようにする代わりに、短露光画像及び長露光画像のいずれか或いは双方について、その累積度数割合曲線から２つ以上の指標値を生成し、該２つ以上の指標値と、それぞれの指標値に対して予め設定された目標値との関係から、露光制御を行うこととしても良い。
　以下では、短露光画像について、その累積度数割合曲線から生成される指標値の数が２つである場合について説明する。
　以下の例では、図４に示すように、生成される２つの指標値Ｓｃ及びＳｄは、累積度数割合Ｂが、互いに異なる２つの値Ｂｃ及びＢｄに達する画素値Ｐ（Ｂ＝Ｂｃ）及びＰ（Ｂ＝Ｂｄ）である。
　この場合、以下のようにして露光量の設定値ＥＳｔを定める。
　まず個々の条件に対して、指標値Ｓｃ及びＳｄ、並びに目標値Ｓｃｔ及びＳｄｔから露光量の設定値の候補値ＥＳｃ及びＥＳｄを算出する。
　現フレームにおける指標値をＳｃ（ｉ）及びＳｄ（ｉ）とし、指標値に対する目標値をＳｃｔ及びＳｄｔとし、現フレームにおける露光量（露光時間とゲインの積）をＥＳ（ｉ）とし、次の短露光フレームにおける露光量の設定値の候補値ＥＳｃ（ｉ＋１）及びＥＳｄ（ｉ＋１）を次の式（３）及び（４）で算出する。
ＥＳｃ（ｉ＋１）
＝ＥＳ（ｉ）＋｛（ＥＳ（ｉ）×（Ｓｃｔ－Ｓｃ（ｉ））／Ｓｃ（ｉ））｝×Ｋｒｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（３）
ＥＳｄ（ｉ＋１）
＝ＥＳ（ｉ）＋｛（ＥＳ（ｉ）×（Ｓｄｔ－Ｓｄ（ｉ））／Ｓｄ（ｉ））｝×Ｋｒｄ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（４）
　式（３）及び（４）でＫｒｃ及びＫｒｄは帰還率である。帰還率Ｋｒｃ及びＫｒｄはともに０から１の範囲の値に設定される。帰還率Ｋｒｃ及びＫｒｄは互いに同じであっても良く、異なっていても良い。
　上記の通り、指標値及び目標値を２つずつ設けることによって、次の短露光フレームにおける露光量の設定値について２つの候補値ＥＳｃ（ｉ＋１）、ＥＳｄ（ｉ＋１）が算出される。これらの値から、一つの設定値ＥＳｔ（ｉ＋１）を定める必要がある。そのために、指標値Ｓｃ、Ｓｄの双方について、「指標値が目標値に等しい」ことを目標に制御を行うのではなく、「指標値が目標値に対して予め定められた関係」を有することを目標条件とし、該目標条件が満たされるように、制御を行う。「目標値に対して予め定められた関係」の例としては、「目標値に等しい」、「目標値以上」、或いは「目標値以下」がある。さらにそれぞれの目標に優先順位を定めて制御を行う。
　このように、複数の指標値に関して、それぞれ目標条件を定め、すべて指標値が目標条件を満たすように制御を行うこととしている。これによって、複数の指標値に基づく露光量の制御を実現することができる。
　例えばここでは、指標値Ｓｃが目標値Ｓｃｔ以下となること、即ち、
　Ｓｃ（ｉ＋１）≦Ｓｃｔ　　　　　（Ｒａ１）
が満たされることを優先順位１の目標とし、そのために設定値ＥＳｔ（ｉ＋１）が満たすべき条件を優先順位１の条件とする。
　また、指標値Ｓｄが目標値Ｓｄｔに等しくなること、即ち
　Ｓｄ（ｉ＋１）＝Ｓｄｔ　　　　　（Ｒａ２）
が満たされること
を優先順位２の目標とし、そのために設定値ＥＳｔ（ｉ＋１）が満たすべき条件を優先順位２の条件とする。
　優先順位１の条件は、下記の式（Ｒｅ１）で表される。
　ＥＳｔ（ｉ＋１）≦ＥＳｃ（ｉ＋１）　　　（Ｒｅ１）
　優先順位２の条件は、下記の式（Ｒｅ２）で表される。
　ＥＳｔ（ｉ＋１）＝ＥＳｂ（ｉ＋１）　　　（Ｒｅ２）
　図５（ａ）に示すように、
　ＥＳｃ（ｉ＋１）≧ＥＳｄ（ｉ＋１）　　　（Ｒｅ３）
　の場合には、
　ＥＳｔ（ｉ＋１）＝ＥＳｄ（ｉ＋１）　　　（Ｒｅ４）
が優先順位１の条件（Ｒｅ１）及び優先順位２の条件（Ｒｅ２）の双方を満たすため、式（Ｒｅ４）で表されるＥＳｔ（ｉ＋１）を次の短露光フレームの露光量の設定値とする。
　図５（ｂ）に示すように、
　ＥＳｃ（ｉ＋１）＜ＥＳｄ（ｉ＋１）　　（Ｒｅ６）
の場合には、優先順位１の条件（Ｒｅ１）と優先順位２の条件（Ｒｅ２）を同時に満たすＥＳｔ（ｉ＋１）の値が存在しないため、優先順位１の条件（Ｒｅ１）を満たし、優先順位２の条件（Ｒｅ２）を満たす値に最も近い値である
　ＥＳｔ（ｉ＋１）＝ＥＳｃ（ｉ＋１）　　　（Ｒｅ７）
を設定値とする。
　上記の例では、指標値の一方については、「指標値が目標値以下となる」ことを目標として制御を行い、他方について「指標値が目標値に等しくなる」ことを目標にして制御を行うこととしている。
　しかし上記のように、本発明はこれに限定されず、指標値の各々に対して、目標条件を定め、さらに、それぞれの目標条件に優先順位を定め、各目標条件が優先順位の順に満たされるように、制御を行うこととすれば良い。
　例えば、複数の指標値について、目標値以下となることを条件として制御を行っても良い。より具体的には、累積度数の全画素数に対する割合が９０％となる画素値を第１の指標値とし、累積度数の全画素数に対する割合が８０％となる画素値を第２の指標値とし、これらの指標値に対する目標値を上限として、即ち指標値が目標値以下となるように制御を行うこととしても良い。
　広ダイナミックレンジの合成画像の生成に用いられる短露光画像は、白飛びが発生しない範囲で、出来るだけ全体の画素値が大きく画素値信号の振幅（画素値の変動幅）が大きい画像を生成する必要があるが、上記のような制御を行うことで、より高精度に、白飛びの発生しない撮像条件を規定することができる。
　長露光画像撮像においても、同様に黒潰れの発生しない撮像条件を高精度に規定できる。
　上記の図４～図５（ｂ）を参照して説明した例では、一つの画像について、複数の指標値を生成し、複数の指標値がそれぞれ目標条件を満たすように露光制御を行っている。以下では、図４～図５（ｂ）を参照して説明したのと同様の方法で複数の指標値に用いた露光制御を行うとともに、露光量比率ＲＬＳに制約を設ける方法について以下に説明する。ここで露光量比率ＲＬＳは短露光撮像における露光量ＥＳに対する長露光撮像における露光量ＥＬの比と定義される。
　露光量比率ＲＬＳが大きすぎると、長露光画像で最もコントラストの再現性が良い輝度範囲と、短露光画像で最もコントラストの再現性が良い輝度範囲の中間の輝度範囲におけるコントラスの再現性が悪く、そのために、合成画像の画質が低下する場合があるが、本制御により防ぐことが可能である。
　露光量比率ＲＬＳに制約を加えるには、短露光画像の累積度数割合曲線から明るさ指標値を決定するのに用いる累積度数割合、及び長露光画像の累積度数割合曲線から明るさ指標値を決定するのに用いる累積度数割合として、同じ値のものを用いる。
　例えば図６（ｂ）に示すように、長露光画像の累積度数割合曲線から明るさ指標値（第２の明るさ指標値）Ｌｂを決定するのに用いる累積度数割合がＢｂである場合に、図６（ａ）に示すように短露光画像の累積度数割合曲線において、上記の累積度数割合Ｂｂに等しい累積度割合Ｂｅ（＝Ｂｂ）に達する画素値Ｐ（Ｂ＝Ｂｅ）を、短露光画像の明るさ指標値（第３の明るさ指標値）Ｓｅとする。
　上記の累積度数割合Ｂｂは例えば５％である。本例では、累積度数割合Ｂｂが請求の範囲における「第２の基準値」に相当し、累積度割合Ｂｅが請求の範囲における「第３の基準値」に相当する。
　そして、目標値Ｓｅｔに対する目標値Ｌｂｔの比が、露光量比率ＲＬＳの上限値以下となるように、目標値Ｓｅｔ及びＬｂｔを設定する。
　例えば、露光量比率ＲＬＳに最大１６倍と言う制約を設ける場合、上記の指標値Ｓｅの目標値Ｓｅｔを、目標値Ｌｂｔに、露光量比率ＲＬＳの上限値の逆数である１／１６を乗算した値以上に設定する。一例として、目標値Ｌｂｔが「３２」である場合、目標値Ｓｅｔを「２」以上に設定する。
　長露光撮像については、上記のように生成された指標値Ｌｂが目標値Ｌｂｔに対し予め定められた関係を有するにように露光制御を行う。
　短露光撮像については、上記のように生成された指標値Ｓｅが目標値Ｓｅｔに対し予め定められた関係を有するにように露光制御を行う。
　短露光撮像についてはさらに、実施の形態１で説明したのと同様の指標値Ｓａを生成し、指標値Ｓａが、指標値に対して予め定められた目標値Ｓａｔに対して予め定められた関係を有するように露光制御を行う。
　短露光画像について、２つの指標値Ｓａ及びＳｅを用いた露光量の設定値の決定は、ＥＭＢに関し、図５（ａ）及び（ｂ）を参照して説明したように行えば良い。
　短露光画像では白飛びを防ぐため、実施の形態１と同様に、累積度数割合が大きい値Ｂａ（例えば９０％）になる画素値を指標値Ｓａとしてこれに対する目標値Ｓａｔを設定する。これに加えて、累積度数割合が小さい値Ｂｅ（例えば、５％）になる画素値を計測して第２の指標値Ｓｅとし、これに対する目標値Ｓｅｔを、長露光画像についての同じ累積度数割合となる画素値に対する目標値に関係付けられた値に設定することにより、露光量比率ＲＬＳに対する制約を加えることができる。
　なお、露光量比率ＲＬＳに制約を設ける制御を行う場合には、指標値Ｓｅ、Ｌｂ及び目標値Ｓｅｔ、Ｌｂｔが小さな値となるため、ノイズによる画素値の変動による影響が大きく、制御が不安定となる可能性がある。これを防ぐために、帰還率を設けて処理を安定させる。具体的には直前のフレームで計測された指標値Ｓｅ（ｉ）、Ｌｂ（ｉ）により、露光量の制御のために参照する指標値Ｓｅ’（ｉ＋１）、Ｌｂ’（ｉ＋１）を下記の式（５）及び式（６）でフレーム毎に更新する。ここで言う直前のフレームは、短露光画像については、直前の短露光フレームを意味し、長露光画像については、直前の長露光フレームを意味する。
　Ｓｅ’（ｉ＋１）
＝Ｓｅ’（ｉ）＋（Ｓｅ’（ｉ）－Ｓｅ（ｉ））×Ｋｒｅ’　　　（５）
　Ｌｂ’（ｉ＋１）
＝Ｌｂ’（ｉ）＋（Ｌｂ’（ｉ）－Ｌｂ（ｉ））×Ｋｒｂ’　　　（６）
　式（５）及び式（６）でＫｒｅ’及びＫｒｂ’は帰還率である。帰還率Ｋｒｅ’及びＫｒｂ’は０から１の範囲の値に設定される。帰還率Ｋｒｅ’の値が小さいほどノイズによる指標値Ｓｅ’（ｉ＋１）の変動が緩やかになるが、デメリットとして指標値Ｓｅ’（ｉ＋１）が収束するまでに時間がかかる。同様に、帰還率Ｋｒｂ’の値が小さいほどノイズによる指標値Ｌｂ’（ｉ＋１）の変動が緩やかになるが、デメリットとして指標値Ｌｂ’（ｉ＋１）が収束するまでに時間がかかる。
　このため、システムの特性に応じて最適な値を設定する必要がある。このように帰還率を設けて指標値の急激な変化を抑えることにより、ノイズの影響を抑え安定した指標値を得ることができ、露光量の制御を安定させることが可能である。
　露光量の制御のために参照する指標値を上記の式（５）及び式（６）によって決定する代わりに、フレーム毎に計測される指標値を平均化して処理を安定させるようにしてもよい。この場合、フレーム毎に生成された累積度数割合曲線に基づく指標値の算出は、実施の形態１で説明した方法と同様に行い、最も新しいものから予め定められたフレーム数分（例えば５フレーム分）の指標値をメモリに格納しておく。指標値として直前のフレームの指標値を参照するのではなく、複数フレームの指標値を平均した値を参照する。このようにすることで、ノイズの影響を抑え、安定した指標値を参照することができる。
　上記のように、短露光画像についての明るさ指標値Ｓｅとして、長露光画像についての明るさ指標値Ｌｂの決定に用いられた累積度数割合（Ｂｂ＝５％）と同じ割合Ｂｅ（＝Ｂｂ＝５％）となる画素値を用い、該指標値Ｓｅの目標値Ｓｅｔを、長露光画像に対して設定している目標値Ｌｂｔ（＝３２）に対して露光量比率ＲＬＳの上限値の逆数である１／１６を乗算した値（＝２）以上とすることにより、露光量比率ＲＬＳに制約を設けることができる。
　これにより、長露光画像で最もコントラストの再現性が良い輝度範囲と、短露光画像で最もコントラストの再現性が良い輝度範囲の中間の輝度範囲におけるコントラスの再現性が悪くなるという問題を避けることができ、これにより、合成画像の画質の低下を防ぐことができる。
　実施の形態１では、あるフレームの短露光画像と、それに続くフレームの長露光画像とを合成する場合について説明したが、あるフレームの長露光画像と、それ続くフレームの短露光画像とを合成することとしても良い。
実施の形態２．
　図６（ａ）及び（ｂ）を参照して説明した例では、露光量比率に制約を加えるために、短露光画像の明るさ指標値Ｓｅとして、長露光画像の明るさ指標値Ｌｂの決定に用いられた累積度数割合Ｂｂ（＝５％）と同じ割合Ｂｅ（＝Ｂｂ＝５％）となる画素値を用いている。
　以下に説明する実施の形態２では、短露光画像及び長露光画像の一方（第１の画像）の累積度数割合曲線から、短露光画像及び長露光画像の他方（第２の画像）の明るさ指標値の生成に用いる累積度数割合（Ｂｆ）を決定し、決定した累積度割合を用いて、短露光画像及び長露光画像の他方の撮像のための露光制御を行う。
　最初に、短露光画像の累積度数割合曲線から、長露光画像の明るさ指標値の生成に用いる累積度数割合（Ｂｆ）を決定し、決定した累積度割合を用いて長露光撮像の露光制御を行う方法を、図７及び図８（ａ）及び（ｂ）を参照して説明する。
　図７を参照し、制御部５は、短露光画像のヒストグラムＨｔＳが生成されるのを待つ（ＳＴ１０）。生成されたヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳの一例を図８（ａ）に示す。
　ヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳから、累積度数割合Ｂが予め定められた基準値Ｂａとなる画素値Ｐ（Ｂ＝Ｂａ）を明るさ指標値Ｓａとして算出する（ＳＴ１１）。本例では、この基準値Ｂａが請求の範囲における「第１の基準値」に相当する。
　次に指標値Ｓａと、指標値Ｓａに対して予め定められた目標値Ｓａｔに基づき、次の短露光フレームにおける短露光撮像の露光量の設定値の候補値ＥＳａ（ｉ＋１）を決定する（ＳＴ１２）。
　さらに、短露光画像の累積度数割合曲線ＣＳに基づき、画素値が小さい方から、予め定められた画素値Ｓｆｓまでの累積度数Ａｆの全画素数Ａｍに対する割合（累積度数割合）Ｂｆ（＝Ａｆ／Ａｍ）を求める（ＳＴ１３）。本例では、この累積度数割合Ｂｆが特許請請求の範囲における「第３の基準値」に相当する。
　次に長露光画像のヒストグラムＨｔＬが生成されるのを待つ（ＳＴ２０）。
　生成されたヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬの一例を図８（ｂ）に示す。
　ヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬから、累積度数割合Ｂが予め定められた基準値Ｂｇになる画素値を指標値Ｌｇとして算出する（ＳＴ２１）。
　これとともに、累積度数割合Ｂが、ステップＳＴ１３で算出した累積度数割合Ｂｆと等しくなる画素値（Ｐ（Ｂ＝Ｂｆ）をも指標値Ｌｆとして算出する（ＳＴ２２）。このように、本例における基準値Ｂｆは、請求の範囲における「第３の基準値」に相当するのみならず、「第２の基準値」にも相当する。
　次に、ステップＳＴ２１及びＳＴ２２で算出した指標値Ｌｇ及びＬｆと、該指標値に対して予め定めた目標値Ｌｇｔ及びＬｆｔとに基づき、次の長露光フレームにおける長露光撮像の露光量の設定値ＥＬｔ（ｉ＋１）を決定する（ＳＴ２３）。
　２つの指標値Ｌｆ及びＬｇを用いた露光量の設定値の決定は、図４～図５（ｂ）を参照して説明したのと同様に行えば良い。
　ここで、ステップＳＴ１３で用いられる、予め定められた画素値Ｓｆｓと、ステップＳＴ２２で求められる指標値Ｌｆに対する目標値Ｌｆｔ（ステップＳＴ２３で用いられる）の比を、露光量比率ＲＬＳに応じて決定する。例えば露光量比率ＲＬＳに最大１６倍という制約を設ける場合には、目標値Ｌｆｔを、予め定められた画素値Ｓｆｓの１６倍以下に設定すればよい。
　このように、まず短露光画像のヒストグラムから、短露光画像の露光制御で用いる指標値（Ｓａ）を生成するとともに、長露光画像の露光制御で用いる指標値（Ｌｆ）の生成に用いる累積度数割合（Ｂｆ）を決定することで、短露光画像の露光制御に用いる指標値（Ｓａ）と、露光量比率に制約を与えるための画素値（Ｓｆｓ）とを別箇に設定することが可能となる。そのため、短露光画像の露光制御に用いる指標値の目標値（Ｓａｔ）を大きな値に設定することができる。従って、より安定した露光量の制御を行うことができる。
　以上、先に短露光撮像を行い、短露光画像についてのヒストグラムから、長露光画像の明るさ指標値の生成に用いる、累積度数割合を決定し、決定された累積度数割合を用いて長露光画像についての明るさ指標値を生成し、生成した指標値を用いて長露光撮像の露光量を決定する場合について説明した。上記とは逆に、先に長露光撮像についてのヒストグラムから、短露光画像の明るさ指標値の生成に用いる、累積度数割合を決定し、決定された累積度数割合を用いて短露光画像についての明るさ指標値を生成し、生成した指標値を用いて短露光撮像の露光量を決定することとしても良い。
　以下、この場合の処理方法を図９及び図１０（ａ）及び（ｂ）を参照して説明する。
　図９を参照し、制御部５は、長露光画像のヒストグラムＨｔＬが生成されるのを待つ（ＳＴ３０）。生成されたヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬの一例を図１０（ｂ）に示す。
　ヒストグラムＨｔＬに対応する累積度数割合曲線ＣＬから、累積度数割合Ｂが予め定められた基準値Ｂｇとなる画素値Ｐ（Ｂ＝Ｂｇ）を明るさ指標値Ｌｇとして算出する（ＳＴ３１）。本例では、この基準値Ｂｇが請求の範囲における「第１の基準値」に相当する。
　次に指標値Ｌｇと、指標値Ｌｇに対して予め定められた目標値Ｌｇｔに基づき、次の長露光フレームにおける長露光撮像の露光量の設定値の候補値ＥＬｇ（ｉ＋１）を決定する（ＳＴ３２）。
　さらに、長露光画像の累積度数割合曲線ＣＬに基づき、画素値が小さい方から、予め定められた画素値Ｌｆｓまでの累積度数Ａｆの全画素数Ａｍに対する割合（累積度数割合）Ｂｆ（＝Ａｆ／Ａｍ）を求める（ＳＴ３３）。本例では、この累積度数割合Ｂｆが請求の範囲における「第３の基準値」に相当する。
　次に短露光画像のヒストグラムＨｔＳが生成されるのを待つ（ＳＴ４０）。
　生成されたヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳの一例を図１０（ａ）に示す。
　ヒストグラムＨｔＳに対応する累積度数割合曲線ＣＳから、累積度数割合Ｂが予め定められた基準値Ｂａになる画素値を指標値Ｓａとして算出する（ＳＴ４１）。
　これとともに、累積度数割合ＢがステップＳＴ３３で算出した累積度数割合Ｂｆと等しくなる画素値（Ｐ（Ｂ＝Ｂｆ）をも指標値Ｓｆとして算出する（ＳＴ４２）。このように、本例における基準値Ｂｆは、請求の範囲における「第３の基準値」に相当するのみならず、「第２の基準値」にも相当する。
　次に、ステップＳＴ４１及びＳＴ４２で算出した指標値Ｓａ及びＳｆと、該指標値に対して予め定めた目標値Ｓａｔ及びＳｆｔとに基づき、次の短露光フレームにおける短露光撮像の露光量の設定値ＥＳｔ（ｉ＋１）を決定する（ＳＴ４３）。
　２つの指標値Ｓａ及びＳｆを用いた露光量の設定値の決定は、図４～５（ｂ）を参照して説明したのと同様に行えば良い。
　ここで、ステップＳＴ３３で用いられる、予め定められた画素値Ｌｆｓと、ステップＳＴ４２で求められる指標値Ｓｆに対する目標値Ｓｆｔ（ステップＳＴ４３で用いられる）の比を、露光量比率ＲＬＳに応じて決定する。例えば露光量比率ＲＬＳに最大１６倍という制約を設ける場合には、目標値Ｓｆｔを、予め定められた画素値Ｌｆｓの１／１６倍以上に設定すればよい。
　このように、まず長露光画像のヒストグラムから、長露光画像の露光制御で用いる指標値（Ｌｇ）を生成するとともに、短露光画像の露光制御で用いる指標値（Ｓｆ）の生成に用いる累積度数割合（Ｂｆ）を決定することで、長露光画像の露光制御に用いる指標値（Ｌｇ）と、露光量比率に制約を与えるための画素値（Ｌｆｓ）とを別箇に設定することが可能となる。そのため、長露光画像の露光制御に用いる指標値の目標値（Ｌｇｔ）を大きな値に設定することができる。従って、より安定した露光量の制御を行うことができる。
　以上要するに、第１の露光量での撮像（短露光撮像及び長露光撮像の一方）の結果得られた第１の画像のヒストグラムから、予め定められた画素値（Ｓｆｓ、Ｌｆｓ）までの累積度数割合（Ｂｆ（図８（ａ）、図１０（ｂ）））を第３の基準値として求め、第１の露光量での撮像の次に行われた第２の露光量での撮像（短露光撮像及び長露光撮像の他方）の結果得られた第２の画像のヒストグラムから第２の指標値（Ｌｆ、Ｓｆ）を生成する際に、上記の第３の基準値を、第２の基準値（Ｂｆ（図８（ｂ）、図１０（ａ）））として用い、予め定められた画素値（Ｓｆｓ、Ｌｆｓ）と、第２の目標値（Ｌｆｔ、Ｓｆｔ）のうちの小さいものに対する大きいものの比が、第１の露光量と第２の露光量のうちの小さいものに対する大きいものの比の上限値（許容上限値）以下となるように、第２の目標値（Ｌｆｔ、Ｓｆｔ）を定めることとすれば良い。
実施の形態３．
　実施の形態１及び実施の形態２では画像の輝度に対する調整を露光量の設定により行っている。実施の形態３では、露光量の設定に伴って、画像の彩度の補正を行う。
　広ダイナミックレンジ合成画像の生成のため、短露光画像と長露光画像の合成を行うと、これに伴い、被写体の彩度が変動する場合がある。例えば、合成後画像の高輝度部分では輝度の低い短露光画像と、白飛びしている長露光画像が合成されるため画像の彩度が低下する。
　これを防ぐために、短露光画像から得られたヒストグラムにおけるある累積度度数割合に対応する画素値と、長露光画像から得られたヒストグラムにおける、同じ累積度数割合に対応する画素値の比に応じて、合成画像の彩度を補正する。上記の比が大きいほど、補正の強度を大きくする。
　このような処理を行うための撮像装置の構成を図１１に示す。図１１の構成では、画像処理部４が彩度補正部４３を含む。
　彩度補正部４３は、広ダイナミックレンジ合成画像に対し、彩度値に補正係数を乗算することにより彩度を補正する処理を行う。
　例えば、図６（ａ）及び（ｂ）で説明したのと同様に露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、指標値Ｓｅ及びＬｂ（図６（ａ）及び（ｂ））を取得し、指標値Ｓｅに対する指標値Ｌｂの比Ｌｂ／Ｓａを明るさ比率Ｑｒとして算出する。
　実施の形態２に関し、図７～図８（ｂ）を参照して説明したように露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、予め定められた値Ｓｆｔと、指標値Ｌｆ（図８（ａ）及び（ｂ））を取得し、予め定められた値Ｓｆｔに対する指標値Ｌｆの比Ｌｆ／Ｓｆｓを明るさ比率Ｑｒとして算出する。
　実施の形態２に関し、図９～図１０（ｂ）を参照して説明したように露光制御を行う場合には、短露光画像と長露光画像で同じ累積度数割合（５％）に対応する画素値として、指標値Ｓｆと、予め定められた値Ｌｆｔ（図１０（ａ）及び（ｂ））を取得し、指標値Ｓｆに対する予め定められた値Ｌｆｔの比Ｌｆｔ／Ｓｆを明るさ比率Ｑｒとして算出する。
　このようにして算出された明るさ比率Ｑｒの大きさに応じて彩度補正部４３で適用する彩度補正係数の切り替えを行う。
　明るさ比率Ｑｒが「１」に近い小さい値となる場合は、短露光画像と長露光画像の合成による彩度の低下が小さいため、彩度補正係数Ｋｓｃを「１」に近い小さい値に設定する。
　また明るさ比率Ｑｒが「８」、「１６」といった大きい値となる場合は彩度補正係数Ｋｓｃを「２」、「４」といった大きな値に設定する。
　要するに彩度補正係数Ｋｓｃは、明るさ比率Ｑｒが大きいほど大きくなるように定められる。
　明るさ比率Ｑｒの値と彩度補正係数Ｋｓｃとの対応は、値の対応関係を設定した変換テーブル（ルックアップテーブル）により予め定めておく。ルックアップテーブル上に存在しない明るさ比率Ｑｒの値に対しては、変換テーブル上の彩度補正係数の値から補間により彩度補正係数の値を決定しても良い。補間は、例えば最近傍補間或いは線形補間によって行い得る。最近傍補間では、変換テーブル上の明るさ比率の値のうち、入力された明るさ比率Ｑｒの値に最も近い明るさ比率の値に対応する、彩度補正係数の値を、入力された明るさ比率Ｑｒの値に対応する彩度補正係数Ｋｓｃの値として用いる。線形補間では、変換テーブル上の明るさ比率の値のうち、入力された明るさ比率Ｑｒに近い複数の明るさ比率の値に対応する、彩度補正係数の値を加重平均することで得られた値を、入力された明るさ比率Ｑｒの値に対応する彩度補正係数Ｋｓｃの値として用いる。
　このように、明るさ比率Ｑｒに応じて彩度補正係数Ｋｓｃを設定することにより、短露光画像と長露光画像の生成における高輝度部分の彩度低下を抑えることが可能である。
　上記の実施の形態では、指標値に生成に当たり、低画素値側からの累積度数或いは累積度数割合を用いているが、高画素値側からの累積度数或いは累積度数割合を用いても良い。以下の請求の範囲である「累積度数割合」は、低画素値側からの累積度数割合及び高画素値側からの累積度数割合の双方を含むと解すべきである。
　上記の実施の形態１では、あるフレームに短露光画像を生成し、次のフレームに長露光画像を生成しているが、一つのフレーム期間内の最初の部分で、短露光画像を生成し、後の部分で長露光画像を生成するようにしても良い。
　以上本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。
　以上実施の形態１、２、及び３において、画像処理装置（画像処理部４及び制御部５を含む）の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
　例えば、図１又は図１１の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて単一の処理回路で実現しても良い。
　処理回路がＣＰＵの場合、画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像処理装置は、処理回路により実行されるときに、図１又は図１１に示される各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、画像処理装置で実施される画像処理方法における処理の方法、或いはその手順をコンピュータに実行させるものであるともいえる。
　なおまた、画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　図１２に上記の処理回路がＣＰＵであって、単一のＣＰＵを含むコンピュータ（符号５０で示す）で画像処理装置のすべての機能を実現する場合の構成の一例を示す。
　図１２に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、入力インターフェース５３と、出力インターフェース５４とを備え、これらはバス５５で接続されている。
　入力インターフェース５３には、図１又は図１１の撮像部３からの画像データが入力される。この画像データには、短露光画像を表す画像データと長露光画像を画像を表す画像データが含まれ、これらが交互に、例えば、フレーム毎に交互に入力される。
　ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作し、入力インターフェース５３を介して入力された映像信号に対して、実施の形態１、２又は３の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース５４から出力する。
　ＣＰＵ５１による処理の内容は、実施の形態１、２又は３で説明したのと同様である。処理の過程で生成されるデータはメモリ５２に保持される。
　画像処理装置で実施される画像処理方法、画像処理装置の各部分の処理、或いは画像処理方法における各処理をコンピュータに実行させるプログラムについても、画像処理装置について述べたのと同様の効果が得られる。
　　２　レンズ、　３　撮像部、　４　画像処理部、　５　制御部、　３１　撮像素子、　３２　増幅回路、　４１　画素値計測部、　４２　画像合成部、　４３　彩度補正部、　５１　ＣＰＵ、　５２　メモリ、　５３　入力インターフェース、　５４　出力インターフェース。

Claims (11)

  1. 　被写体からの光を受けて撮像を行う撮像部を有する撮像装置の画像処理装置であって、
    　前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い異なる第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御部と、
    　前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成部と、
    　前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定部とを有し、
    　前記制御部は、
    　前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
    　前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
    　ことを特徴とする画像処理装置。
  2. 　前記第１の目標値に対して予め定められた関係が、前記第１の目標値に等しいことであり、前記第２の目標値に対して予め定められた関係が、前記第２の目標値に等しいことであることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記第１の累積度数割合が予め定められた第３の基準値となる画素値を第３の指標値として生成し、前記第３の指標値が予め定められた第３の目標値に対して予め定められた関係を有することを第３の目標条件として、該第３の目標条件が満たされるように、前記第１の露光量を制御することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記制御部は、前記第１の目標条件及び前記第３の目標条件が、前記第１の目標条件及び前記第３の目標条件に対して予め定められた優先順位の順に満たされるように前記第１の露光量の制御を行うことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記第２の基準値と前記第３の基準値とが同じであり、
    　前記第２の露光量が前記第１の露光量よりも多く、
    　前記第３の目標値に対する、前記第２の目標値の比が、前記１の露光量に対する前記２の露光量の比の上限値以下となるように、前記第２の目標値及び前記第３の目標値が定められている
    　ことを特徴とする請求項３又は４に記載の画像処理装置。
  6. 　前記制御部は、
    　前記第１の露光量での撮像の結果得られた前記第１の画像のヒストグラムから、画素値毎の画素の出現度数の、予め定められた画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる累積度数割合を第３の基準値として生成し、
    　前記第１の露光量での撮像の次に行われた前記第２の露光量での撮像の結果得られた前記第２の画像のヒストグラムから前記第２の指標値を生成する際に、前記第３の基準値を前記第２の基準値として用い、
    　前記予め定められた画素値と、前記第２の目標値のうちの小さいものに対する大きいものの比が、前記第１の露光量と前記第２の露光量のうちの小さいものに対する大きいものの比の上限値以下となるように、前記第２の目標値を定める
    　ことを特徴とする請求項１に記載の画像処理装置。
  7. 　前記第１の画像及び前記第２の画像がカラー画像であり、
    　前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
    　前記制御部は、前記第３の指標値に対する第２の指標値の比が大きいほど、前記補正係数を大きくする
    　ことを特徴とする
    　請求項４に記載の画像処理装置。
  8. 　前記第１の画像及び前記第２の画像がカラー画像であり、
    　前記合成画像の彩度値に補正係数を乗算することにより彩度を補正する彩度補正部をさらに有し、
    　前記制御部は、前記予め定められた画素値と、前記第２の指標値のうちの小さいものに対する大きいものの比が大きいほど、前記補正係数を大きくする
    　ことを特徴とする請求項６に記載の画像処理装置。
  9. 　被写体からの光を受けて撮像を行う撮像部を有する撮像装置における画像処理方法であって、
    　前記撮像部に、第１の露光時間を用いる第１の露光量での撮像と、前記第１の露光時間よりも長い第２の露光時間を用いる第２の露光量での撮像とを交互に繰り返し行わせ、前記第１の露光量での撮像により生成された第１の画像と、前記第２の露光量での撮像により生成された第２の画像を交互に繰り返し出力させる制御ステップと、
    　前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成ステップと、
    　前記第１の画像における画素値毎の画素の出現度数を表すヒストグラムと、前記第２の画像における画素値毎の画素の出現度数を表すヒストグラムとを生成する画素値測定ステップとを有し、
    　前記制御ステップは、
    　前記第１の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第１の画像を構成する画素の総数で割ることで得られる第１の累積度数割合が第１の基準値となる画素値を第１の指標値として生成し、前記第１の指標値が予め定められた第１の目標値に対して予め定められた関係を有することを第１の目標条件として、該第１の目標条件が満たされるように、前記第１の露光量を制御し、
    　前記第２の画像のヒストグラムにおいて、画素値毎の画素の出現度数の、各画素値までの累積度数を、前記第２の画像を構成する画素の総数で割ることで得られる第２の累積度数割合が、前記第１の基準値よりも小さい第２の基準値となる画素値を第２の指標値として生成し、前記第２の指標値が予め定められた第２の目標値に対して予め定められた関係を有することを第２の目標条件として、該第２の目標条件が満たされるように、前記第２の露光量を制御する
    　ことを特徴とする画像処理方法。
  10. 　請求項９に記載の画像処理方法の各ステップの処理をコンピュータに実行させるためのプログラム。
  11. 　請求項１０に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
PCT/JP2015/078563 2015-01-16 2015-10-08 画像処理装置及び方法、並びにプログラム及び記録媒体 WO2016113961A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016569225A JP6362711B2 (ja) 2015-01-16 2015-10-08 画像処理装置及び方法、並びにプログラム及び記録媒体
GB1710652.7A GB2549642B (en) 2015-01-16 2015-10-08 Image processing device and method, program, and record medium
US15/541,039 US10015410B2 (en) 2015-01-16 2015-10-08 Image processing device and method, program, and record medium for generating wide dynamic range images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015006318 2015-01-16
JP2015-006318 2015-01-16

Publications (1)

Publication Number Publication Date
WO2016113961A1 true WO2016113961A1 (ja) 2016-07-21

Family

ID=56405518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078563 WO2016113961A1 (ja) 2015-01-16 2015-10-08 画像処理装置及び方法、並びにプログラム及び記録媒体

Country Status (4)

Country Link
US (1) US10015410B2 (ja)
JP (1) JP6362711B2 (ja)
GB (1) GB2549642B (ja)
WO (1) WO2016113961A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3516862A4 (en) 2016-10-26 2020-01-22 Zhejiang Dahua Technology Co., Ltd EXPOSURE CONTROL SYSTEMS AND METHODS
WO2018121313A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
US11194227B2 (en) * 2016-12-27 2021-12-07 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
US12096129B2 (en) * 2022-02-24 2024-09-17 Qualcomm Incorporated Multi-frame auto exposure control (AEC)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP2009088930A (ja) * 2007-09-28 2009-04-23 Sony Corp 撮像装置、撮像方法及び撮像プログラム
JP2011259375A (ja) * 2010-06-11 2011-12-22 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2014007437A (ja) * 2012-06-21 2014-01-16 Konica Minolta Inc 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792555B2 (ja) 2001-09-28 2006-07-05 三菱電機株式会社 明度調整方法および撮像装置
JP2003174582A (ja) 2001-12-06 2003-06-20 Sony Corp カメラシステム及び自動露光制御方法
JP4301012B2 (ja) 2004-01-19 2009-07-22 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4630730B2 (ja) 2005-05-27 2011-02-09 キヤノン株式会社 撮像装置、カメラ及び撮像方法
JP4306750B2 (ja) 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP2009088930A (ja) * 2007-09-28 2009-04-23 Sony Corp 撮像装置、撮像方法及び撮像プログラム
JP2011259375A (ja) * 2010-06-11 2011-12-22 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2014007437A (ja) * 2012-06-21 2014-01-16 Konica Minolta Inc 撮像装置

Also Published As

Publication number Publication date
GB2549642A (en) 2017-10-25
US20170374258A1 (en) 2017-12-28
JP6362711B2 (ja) 2018-07-25
GB2549642B (en) 2021-02-03
JPWO2016113961A1 (ja) 2017-08-03
GB201710652D0 (en) 2017-08-16
US10015410B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
JP6362711B2 (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
JP5713752B2 (ja) 画像処理装置、及びその制御方法
US9124811B2 (en) Apparatus and method for processing image by wide dynamic range process
US8836850B2 (en) Image composition apparatus and image composition method
JP5767485B2 (ja) 画像処理装置及び制御方法
US9699387B2 (en) Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program
US20120062694A1 (en) Imaging apparatus, imaging method, and program
KR20110032344A (ko) 고대비 영상 생성 장치 및 방법
JP2013138301A (ja) 画像処理装置、画像処理方法及び撮像装置
WO2015156041A1 (ja) 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置
JP2023106486A (ja) 撮像装置及びその制御方法並びにプログラム
JP6887853B2 (ja) 撮像装置、その制御方法、プログラム
JP5496036B2 (ja) 画像処理装置および画像処理プログラム
JP2013135343A (ja) 撮像装置
JP6029430B2 (ja) 画像処理装置及び画像処理方法
JP6423668B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
US20200169658A1 (en) Image capturing apparatus, control method thereof, and storage medium
JP5744490B2 (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP5117217B2 (ja) 撮像システム及び画像処理方法並びに画像処理プログラム
JP2013009105A (ja) 画像処理装置及び画像処理方法
JP5609787B2 (ja) 画像処理装置及び画像処理方法
JP2012160852A (ja) 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム
JP2016134703A (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
JP2020088656A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP7295329B2 (ja) 撮像システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877913

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016569225

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15541039

Country of ref document: US

ENP Entry into the national phase

Ref document number: 201710652

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20151008

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15877913

Country of ref document: EP

Kind code of ref document: A1