WO2012098768A1 - 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 Download PDF

Info

Publication number
WO2012098768A1
WO2012098768A1 PCT/JP2011/077476 JP2011077476W WO2012098768A1 WO 2012098768 A1 WO2012098768 A1 WO 2012098768A1 JP 2011077476 W JP2011077476 W JP 2011077476W WO 2012098768 A1 WO2012098768 A1 WO 2012098768A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
input image
gradation conversion
pixel value
pixel
Prior art date
Application number
PCT/JP2011/077476
Other languages
English (en)
French (fr)
Inventor
武史 福冨
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012098768A1 publication Critical patent/WO2012098768A1/ja
Priority to US13/937,535 priority Critical patent/US8982251B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Definitions

  • the subject brightness range in the shooting scene (hereinafter simply referred to as “brightness range”) becomes wide.
  • the subject may not be within the dynamic range that can be recorded by the imaging system and the image signal processing system. In that case, in a dark part in the image, the image is crushed black, so-called black crushed. Further, in a bright part in the image, a so-called whiteout occurs in which the image is whitened.
  • HDR technology High Dynamic Range Imaging technology
  • the same shooting scene is shot a plurality of times while changing the shutter speed, and a plurality of pieces of image data are acquired with different exposure amounts.
  • the pixel values of the image data obtained with a larger exposure amount are used for areas where blackout may occur in the image, and less for areas where whiteout may occur.
  • the pixel value of the image data obtained with the exposure amount is used to perform the composition process. As a result, an image in which the gradation from the dark part to the bright part in the image is reproduced can be obtained.
  • JP06-141229A obtains two or more images having different charge accumulation times, weights and adds them according to the signal level of each image, and compresses the level of the obtained high dynamic range signal to a reference level. Is disclosed.
  • JP2004-266347A performs a process of nonlinearly compressing a high-level portion of an image signal, and then combines a plurality of images with a predetermined weight to increase the bit width (number of bits) of the image signal. A technique for suppressing the above is disclosed.
  • the present invention has been made in view of the above-described problems, and provides a technique capable of obtaining a more natural image with an improved dynamic range without causing a significant increase in hardware scale. For the purpose.
  • an image processing apparatus includes: A gradation conversion characteristic deriving unit that sets reference image data from a plurality of input image data of different exposure amounts obtained by photographing the same subject, and derives gradation conversion characteristics from the reference image data; A new pixel value is derived for each pixel using a pixel value in one or a plurality of input image data selected from the plurality of input image data based on the gradation conversion characteristics, and a composite image is obtained.
  • An image composition processing unit for generating data.
  • An image processing program for causing a computer to execute a process of generating composite image data with improved gradation by combining a plurality of input image data of different exposure amounts obtained by photographing the same subject,
  • a reference image data setting step for setting reference image data from the plurality of input image data;
  • a gradation conversion characteristic deriving step for deriving a gradation conversion characteristic from the reference image data;
  • a new pixel value is derived for each pixel using a pixel value in one or a plurality of input image data selected from the plurality of input image data based on the gradation conversion characteristics, and the composite image data is obtained.
  • an image composition step to be generated.
  • An imaging apparatus including an imaging unit capable of photoelectrically converting a subject image formed by a shooting lens and outputting an image signal,
  • an imaging control unit that images the same subject and obtains a plurality of input image data with different exposure amounts;
  • a gradation conversion characteristic deriving unit that sets reference image data from the plurality of input image data and derives gradation conversion characteristics from the reference image data;
  • a new pixel value is derived for each pixel using a pixel value in one or a plurality of input image data selected from the plurality of input image data based on the gradation conversion characteristics, and a composite image is obtained.
  • An image composition processing unit for generating data.
  • a dynamic range is improved by combining a plurality of images with different exposure amounts obtained by photographing the same subject without causing a significant increase in hardware scale. This makes it possible to obtain a composite image that looks more natural.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a digital camera.
  • FIG. 2 is a block diagram illustrating a schematic internal configuration of the computer, and is a diagram illustrating an example in which an image processing unit is realized by the computer executing an image processing program.
  • FIG. 3 is a block diagram illustrating a schematic configuration of the image processing unit.
  • FIG. 4 is a diagram conceptually illustrating the tone conversion characteristics derived by the image processing unit and the manner in which the tone conversion characteristic information is derived from the reference image data based on the tone conversion characteristics.
  • FIG. 5A is a diagram conceptually illustrating an example of a procedure for deriving a gradation conversion characteristic by analyzing reference image data, and is a diagram illustrating a histogram of pixel values of reference image data.
  • FIG. 7 is a flowchart illustrating an image composition processing procedure executed by the image processing unit according to the first embodiment.
  • FIG. 8 is a block diagram schematically showing an internal configuration of an image composition processing unit provided in the image processing unit according to the second embodiment.
  • FIG. 9 is a diagram conceptually illustrating the processing contents of image selection / mixing performed by the image composition processing unit provided in the image processing unit according to the second embodiment.
  • FIG. 10 is a flowchart illustrating an image composition processing procedure executed by the image processing unit according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the digital camera 100.
  • the digital camera 100 may be a still camera or a movie camera. Alternatively, a camera incorporated in a mobile phone or the like may be used.
  • the photographing lens may be a fixed type or may be configured to be replaceable.
  • the digital camera 100 includes a photographing optical system 110, a lens driving unit 112, an imaging unit 120, an analog front end (indicated as “AFE” in FIG. 1) 122, an image recording medium 130, an operation unit. 140, a display unit 150, a storage unit 160, a CPU 170, a DSP (digital signal processor) 190, and a system bus 180.
  • the storage unit 160 includes a ROM 162 and a RAM 164.
  • An image processing unit 300 is mounted on the DSP 190.
  • Lens drive unit 112 imaging unit 120, analog front end 122, image recording medium 130, operation unit 140, display unit 150, storage unit 160, CPU 170, and DSP 190 are electrically connected via a system bus 180.
  • the RAM 164 is configured to be accessible from both the CPU 170 and the DSP 190.
  • the imaging optical system 110 forms a subject image on the light receiving area of the imaging unit 120.
  • the lens driving unit 112 performs a focus adjustment operation of the photographing optical system 110.
  • the photographing optical system 110 may be configured to be driven by the lens driving unit 112 so as to change the focal length.
  • the imaging unit 120 includes a mechanical shutter and an imaging element.
  • the subject light transmitted through the photographic optical system 110 is incident on the image sensor while the shutter is open.
  • a subject image formed on the light receiving area of the image sensor is photoelectrically converted to generate an analog image signal.
  • the imaging element has an electronic shutter function that can electrically control the exposure time (photoelectric conversion time)
  • the mechanical shutter is not necessarily provided.
  • the analog image signal is input to the analog front end 122.
  • the analog front end 122 performs processing such as noise reduction, signal amplification, and A / D conversion on the image signal input from the imaging unit 120 to generate a digital image signal. This digital image signal is temporarily stored in the RAM 164.
  • the DSP 190 performs various digital signal processing such as demosaicing, gradation conversion, color balance correction, shading correction, and noise reduction on the digital image signal temporarily stored in the RAM 164. Then, it is recorded on the image recording medium 130 or outputted to the display unit 150 as necessary.
  • the image recording medium 130 is composed of a flash memory, a magnetic recording device, or the like, and is detachably attached to the digital camera 100.
  • the image recording medium 130 may be built in the digital camera 100.
  • an area for recording image data can be secured in the ROM 162 constituted by a flash memory or the like, and this can be used as the image recording medium 130.
  • the operation unit 140 includes any one type or a plurality of types of push switches, slide switches, dial switches, touch panels, and the like, and is configured to accept user operations.
  • the display unit 150 includes a TFT liquid crystal display panel and a backlight device, or a self-luminous display element such as an organic EL display element, and is configured to display information such as images and characters.
  • the display unit 150 includes a display interface. The display interface reads image data written in a VRAM area provided on the RAM 164 and displays information such as images and characters on the display unit 150.
  • the ROM 162 is configured by a flash memory or the like, and stores a control program (firmware) executed by the CPU 170, adjustment parameters, information necessary to be held even when the digital camera 100 is not turned on, and the like.
  • the RAM 164 is configured by SDRAM or the like and has a relatively high access speed.
  • the CPU 170 comprehensively controls the operation of the digital camera 100 by interpreting and executing the firmware transferred from the ROM 162 to the RAM 164.
  • the DSP 190 performs the above-described various processes on the digital image signal temporarily stored in the RAM 164 to generate recording image data, display image data, and the like.
  • the digital camera 100 is configured to be able to perform an operation of shooting a still image in the HDR shooting mode. That is, it is configured to operate in a mode in which a plurality of pieces of image data with different exposure amounts are obtained by photographing the same subject, and composite image data with improved gradation is generated from the plurality of pieces of image data.
  • a configuration in which a plurality of imaging units 120 are provided, a beam splitter (optical path dividing member) is arranged behind the imaging optical system 110, and the imaging unit 120 is arranged on the plurality of optical paths divided by the beam splitter is digital.
  • the camera 100 may be provided.
  • the beam splitter splits the light flux with an unequal light quantity split ratio. For example, when the beam splitter divides an incident light beam into two light beams and emits the light, the ratio between the light amount of the light beam emitted along one optical path and the light amount of the light beam emitted along the other optical path is
  • the beam splitter can be designed to have a light quantity division ratio such as 1: 4.
  • the set aperture value and the shutter speed (exposure time) in the photographing optical system 110 are the same exposure condition for each imaging unit 120.
  • the amount of subject light incident on each imaging unit 120 differs due to the action of the beam splitter, and as a result, a plurality of images with different exposure amounts can be obtained by a single photographing operation.
  • this configuration it is possible to obtain a plurality of images with different exposure amounts in one exposure operation.
  • this configuration it is possible to obtain a plurality of images with different exposure amounts corresponding to each frame during moving image shooting.
  • FIG. 2 is a block diagram illustrating an example in which the image processing program recorded on the recording medium is read and executed by the CPU of the computer, and the function as the image processing unit 300 is implemented.
  • the computer 200 includes a CPU 210, a memory 220, an auxiliary storage device 230, an interface 240, a memory card interface 250, an optical disk drive 260, a network interface 270, and a display unit 280.
  • the CPU 210, the memory card interface 250, the optical disk drive 260, the network interface 270, and the display unit 280 are electrically connected via the interface 240.
  • the memory card interface 250 is configured so that the memory card MC can be detachably attached. Image data generated by performing a photographing operation with a digital camera or the like and stored in the memory card MC can be read into the computer 200 via the memory card interface 250. Also, the image data in the computer 200 can be written into the memory card MC.
  • the optical disc drive 260 is configured to be able to read data from the optical disc OD.
  • the optical disc drive 260 may also be configured to write data to the optical disc OD as necessary.
  • FIG. 3 is a block diagram schematically illustrating the configuration of the image processing unit 300.
  • the image processing unit 300 may be mounted on the DSP 190 in the digital camera 100 or may be realized by the CPU 210 of the computer 200 executing an image processing program.
  • the image processing unit 300 includes a gradation conversion characteristic deriving unit 310, an image composition processing unit 320, and an image acquisition unit 330.
  • the image recording unit 360 connected to the image processing unit 300 corresponds to the image recording medium 130 and the auxiliary storage device 230 described above with reference to FIGS.
  • the display unit 350 connected to the image processing unit 300 corresponds to the display units 150 and 280.
  • the exposure value may be changed by changing the aperture value.
  • an ND filter configured to be able to be inserted into and removed from the optical path of the subject light is provided in the photographing optical system 110 or the like, images with different exposure amounts may be obtained by switching the ND filter. .
  • the image acquisition unit 330 can acquire a plurality of input image data as follows. That is, the image acquisition unit 330 acquires a plurality of input image data obtained by processing the digital image signal sequentially output from the analog front end 122 by the DSP 190 while the digital camera 100 is performing the bracketing exposure. Is possible. Alternatively, it is also possible to read out a plurality of input image data recorded in the image recording unit 360 (image recording medium 130) by performing bracketing exposure in the past, and obtain it by the image obtaining unit 330. In any case, the input image data may be obtained from so-called raw (RAW) image data, or may be image data in a format such as RGB or YCbCr that has been subjected to development processing.
  • RAW raw
  • the number of input image data acquired by the image acquisition unit 330 can be an arbitrary number n of 2 or more. This number is a fixed value, is configured to be settable by the user, or is based on the result of detection of the distribution of field luminance during the shooting preparation operation (live view display operation). May be set automatically. For example, when the difference between the maximum brightness and the minimum brightness in the subject field is relatively small, such as in direct light shooting conditions under cloudy sky, the number of exposures (number of input image data) during bracketing exposure is small. May be set.
  • the correction step may be configured to be arbitrarily set by the user, or may be automatically set.
  • the gradation conversion characteristic deriving unit 310 selects one input image data as reference image data from among the plurality of input image data 1 to n acquired by the image acquisition unit 330, analyzes the reference image data, and analyzes the gradation. Derivation of conversion characteristics.
  • Various methods can be applied as the method for selecting the reference image data. For example, input image data obtained with the smallest exposure amount among a plurality of input image data obtained by a series of bracketing exposures can be used as reference image data. It is also possible to use input image data obtained with an intermediate exposure amount or input image data obtained with the largest exposure amount as reference image data.
  • a plurality of input image data as a histogram and use the pixel value distribution center that is not extremely biased to the bright side or the dark side as reference image data.
  • image data input image data 1
  • the gradation conversion characteristic deriving unit 310 further derives gradation conversion characteristic information corresponding to the value of each pixel constituting the reference image data based on the derived gradation conversion characteristic. Details of the gradation conversion characteristic and the gradation conversion characteristic information will be described later.
  • the image composition processing unit 320 compares the gradation conversion characteristic information derived for each pixel by the gradation conversion characteristic deriving unit 310 with the threshold value, and selects one of the n candidates described above based on the comparison result. Select.
  • the threshold value input to the image composition processing unit 320 can be automatically set according to the number of exposures and the correction step in bracketing exposure. This threshold value may be configured to be appropriately set by the user.
  • gradation conversion characteristics, gradation conversion characteristic information, and threshold values will be described.
  • the pixel value of the input image data obtained with a relatively large exposure amount is selected for a portion where the luminance is low and the black portion tends to be crushed (shadow portion).
  • the input image data obtained with a relatively large exposure amount has a feature that the gradation information in the dark part is relatively abundant and the influence of noise is reduced.
  • the pixel value of the input image data obtained with a relatively small exposure amount is selected for a portion (highlight portion) that has a high brightness and tends to skip white.
  • the input image data obtained with a relatively small exposure amount has a feature that the gradation information in the bright part is relatively abundant.
  • FIG. 4 is a diagram for explaining an example of the gradation conversion characteristic derived by the gradation conversion characteristic deriving unit 310.
  • the reference image data is assumed to be input image data 1 in the present embodiment.
  • the gradation conversion characteristic deriving unit 310 analyzes the reference image data and derives the gradation conversion characteristic.
  • the gradation conversion characteristic information derived corresponding to the pixel value P 1 (i, j) at the pixel position (i, j) in the reference image data (input image data 1) is G (i, j). It expresses. That is, the gradation conversion characteristic is a characteristic for deriving gradation conversion characteristic information G (i, j) corresponding to each pixel value P 1 (i, j).
  • the graph shown in the center of FIG. 4 conceptually shows an example of the gradation conversion characteristic.
  • the horizontal axis represents the pixel value P 1 (i, j) of the reference image data, and the vertical axis represents the gradation conversion.
  • the value of the characteristic information G (i, j) is taken.
  • this gradation conversion characteristic can be various according to the expression intention of the image and the situation of the shooting scene.
  • the gradation conversion characteristic information G (i, j) is treated as an amplification factor.
  • 1 (+0 Ev) to 16 (+4 Ev) based on the minimum exposure amount Exposure up to is performed.
  • the gradation conversion characteristic information G (i, j) is determined corresponding to the exposure amount of 1 to 16 times.
  • the amplification factor can be handled as a true number (a real number from 1 to 16 in the above example), but in the following, it will be described as a logarithmic expression with a base of 2 in accordance with the practice in the technical field of photography.
  • the amplification factor G (i, j) can be a real number having a value from 0 to 4 as described above.
  • the threshold is set so that an appropriate pixel value P n (i, j) of the input image data is selected based on the comparison result with the derived gradation conversion characteristic information G (i, j).
  • the number and value are set based on the number of exposures and the correction step in the kating exposure.
  • a larger amplification factor that is, larger gradation conversion characteristic information G (i, j) is set for a certain pixel
  • n (i, j) is selected.
  • the smaller gradation conversion characteristic information G (i, j) is set, the pixel value P n (i, j) of the input image data obtained with a smaller exposure amount is selected.
  • the gradation conversion characteristic described above that is, the characteristic that G (i, j) decreases as P 1 (i, j) increases, and the gradation conversion characteristic information G (i, j) Is treated as an amplification factor, it becomes possible to select a pixel value in the composite image data as follows. That is, in the image based on the reference image data, a higher amplification factor is set corresponding to the darker pixel, and as a result, the pixel value of the input image data obtained with a larger exposure amount is selected. As a result, the gradation in the shadow portion can be increased and the influence of noise can be reduced.
  • a lower amplification factor is set corresponding to the brighter pixel, and as a result, the pixel value of the input image data obtained with a smaller exposure amount is selected.
  • the gradation in the highlight portion can be increased. In this way, it is possible to reproduce gradation corresponding to a wider luminance range of the subject. In addition, noise in the shadow part can be reduced.
  • the gradation conversion characteristic information G (i, j) as an amplification factor, it becomes easy to associate with the correction step in the bracketing exposure, and the gradation conversion processing of the image data can be simplified. It becomes possible.
  • the pixel values corresponding to each pixel position (i, j) are used as a plurality of pixels of input image data 1 to n obtained by a series of bracketing exposures.
  • One of the values P 1 (i, j) to P n (i, j) is selected at each pixel position (i, j).
  • the term “gradation conversion characteristics” is used in this specification.
  • FIG. 5A shows an example of the histogram of the reference image data.
  • image data obtained with a small exposure amount is used as reference image data, and as a result, the histogram as a whole is biased toward a smaller pixel value.
  • FIG. 5B shows the cumulative frequency obtained by analyzing the image data of the image having the histogram illustrated in FIG. 5A.
  • the cumulative frequency curve shown in FIG. 5B is a convex curve that suddenly rises in a region with a low pixel value, and thereafter reaches an increase in the cumulative frequency in a region with a higher pixel value from the middle.
  • FIG. 5C is a diagram illustrating an example of gradation conversion characteristics derived based on the cumulative frequency curve shown in FIG. 5B.
  • the curve shown in FIG. 5C is derived based on the slope of the cumulative frequency curve shown in FIG. 5B. That is, it is obtained by differentiating the cumulative frequency characteristic shown in FIG. 5B by the pixel value (the ratio of the cumulative frequency change to the change in the pixel value).
  • gradation conversion characteristic information G (i, j) is derived corresponding to each pixel value P 1 (i, j) of the reference image data.
  • the example shown in FIG. 5C has the following characteristics. That is, in the example shown in FIG. 5C, the gradation conversion characteristic has an inverted S-shaped curve shape. Small Consequently, a smaller pixel value P 1 (i, j) larger gradation conversion corresponding to the characteristic information G (i, j) is derived, relative to larger pixel values P 1 (i, j) Gradation conversion characteristic information G (i, j) is derived.
  • the gradation conversion characteristic information G (i, j) is relatively large for a slight increase in the pixel value P 1 (i, j). It has a decreasing characteristic.
  • the pixel value in the input image data obtained with a relatively large exposure amount for a pixel having a small pixel value in the reference image data. Is selected.
  • a pixel value in the input image data obtained with a relatively small exposure amount is selected for a pixel having a large pixel value in the reference image data. In the image obtained in this way, there is little noise in the low luminance part, and whiteout is suppressed in the high luminance part. Further, since more gradations are assigned to the intermediate area, it is possible to obtain an image that looks good with an increased visual contrast.
  • the method for deriving the gradation conversion characteristics described with reference to FIG. 5 is an example, and the gradation conversion characteristics can be derived by another method.
  • the following method can be used.
  • the pixel value P 1 (i, j) of the entire reference image data is analyzed, and one gradation conversion characteristic is derived for one entire image based on the method described with reference to FIG. There is a way to do it.
  • one gradation conversion characteristic illustrated in FIG. 5C is derived for one entire image.
  • an image formed from the reference image data is divided into a grid shape in an arbitrary number of vertical and horizontal directions to define a plurality of blocks.
  • the processing described with reference to FIG. 5 is performed for each defined block, and the gradation conversion characteristics corresponding to each block are derived.
  • an area where the main subject is expected to exist in the image is determined. It can also be defined as a single region. For other areas, for example, the degree of importance can be set according to the distance, brightness, etc. from the area where the main subject exists, and can be divided according to the set degree of importance.
  • the gradation conversion characteristic information G (i, j) corresponding to the pixel value of the pixel existing in each block can be derived using the gradation conversion characteristic derived corresponding to each block. it can.
  • gradation conversion is performed according to a user operating a touch panel or the like to specify a main subject or the like while viewing a live view image displayed on the display unit 150.
  • An area for property derivation may be defined.
  • the image processing unit 300 is implemented by the computer 200, the user can operate the computer mouse or the like while watching the image displayed on the display unit 280 to set an area for deriving gradation conversion characteristics. It may be.
  • FIG. 6 is a block diagram illustrating a main part of the image composition processing unit 320.
  • the image composition processing unit 320 includes a selection unit 370.
  • the selection unit 370 compares the input gradation conversion characteristic information G (i, j) with the thresholds TH 1 , TH 2 ,..., TH n corresponding to each pixel position (i, j). Based on the comparison result, the selection unit 370 converts each pixel value S (i, j) constituting the composite image data S to the pixel value P at the corresponding pixel position (i, j) in the input image data 1 to n. 1 (i, j), P 2 (i, j),..., P n (i, j).
  • the threshold values TH 1 , TH 2 ,..., TH n are represented as threshold values TH 1 to TH n .
  • FIG. 7 is a flowchart for explaining the processing procedure of the image composition processing executed by the image processing unit 300.
  • the processing procedure of FIG. 7 is executed after a series of bracketing exposures are performed in the digital camera 100. Alternatively, it is executed when a user selects a menu for performing composition processing using input image data recorded in the image recording medium 130 after performing bracketing exposure.
  • the image processing unit 300 is implemented by the computer 200, a menu for executing image composition software using the input image data stored in the auxiliary storage device 230 is executed by the user. Executed when selected.
  • the processing procedure shown in FIG. 7 may be executed by hardware, software, or a combination thereof.
  • the image processing unit 300 acquires a plurality of input image data 1 to n.
  • the image processing unit 300 sets any one of the input image data 1 to n as reference image data. In the present embodiment, as described above, it is assumed that the input image data 1 obtained with the smallest exposure amount during a series of bracketing exposures is set as the reference image data.
  • the image processing unit 300 analyzes the reference image data, and generates gradation conversion characteristic information G (i, j) corresponding to each pixel position (i, j).
  • the gradation conversion characteristic information G (i, j) is handled as an amplification factor as described above.
  • the details of the procedure for generating the gradation conversion characteristic information G (i, j) are as described above with reference to FIGS.
  • the gradation conversion characteristic information G (i, j) may be obtained by analyzing the pixel values of the entire reference image data. Alternatively, even if the reference image data is divided into a plurality of areas, the image data is analyzed for each of the divided areas, and the tone conversion characteristic information G (i, j) is obtained in the space variant. Good.
  • the image processing unit 300 uses the gradation conversion characteristic information G (i, j) at a given pixel position (i, j) in the gradation conversion characteristic information G (i, j) generated in S704. Compare with thresholds TH 1 to TH n . Based on the comparison result, the image processing unit 300 selects any one of the input image data 1 to n as the target for extracting the pixel value corresponding to the given pixel position (i, j). select.
  • the image processing unit 300 extracts a pixel value corresponding to a given pixel position (i, j) from the input image data selected in S706, and the pixel value S (i, j) of the composite image data S is extracted. ).
  • step S710 the image processing unit 300 determines whether the processes in steps S706 and S708 have been performed for all pixel positions (i, j). While this determination is denied, the processing from S706 to S710 is repeated. On the other hand, if the determination in S710 is affirmed, the image processing unit 300 performs a process of outputting the composite image data S in S712. As a result, an image based on the composite image data S is recorded in the image recording unit 360 shown in FIG. Further, an image based on the composite image data S is displayed on the display unit 350 as necessary.
  • the gradation conversion characteristic is derived from the reference image data, and the gradation conversion characteristic information G (i, j) is generated based on the gradation conversion characteristic.
  • the gradation conversion characteristic information G (i, j) is generated based on the gradation conversion characteristic.
  • the threshold values TH 1 to TH n corresponding to each pixel position (i, j) one of the input image data 1 to n is selected.
  • the pixel value at the corresponding pixel position in the selected input image data is set as the pixel value S (i, j) of the composite image data S.
  • the corresponding pixel value P n (i, j) of the input image data expressed at a predetermined bit depth corresponds to the corresponding pixel value S (i, j) in the composite image S expressed at the same bit depth. Therefore, the process for obtaining the composite image S can be performed without increasing the bit depth. Therefore, since the composition process can be performed within the bit depth range of the finally obtained composite image data, an increase in hardware scale can be suppressed.
  • the gradation conversion characteristic information G (i, j) and the threshold values TH 1 to TH n are compared with each other in correspondence with a given pixel position (i, j) in the composite image data S. Any one of the plurality of input image data 1 to n is selected. Then, the pixel value P n (i, j) at the corresponding pixel position (i, j) in the selected input image data becomes the pixel value S (at the corresponding pixel position (i, j) in the composite image data S. i, j).
  • the gradation conversion characteristic information G (i, j) and the threshold values TH 1 to TH n corresponding to a given pixel position (i, j) in the composite image data S are compared, two input image data are selected from the plurality of input image data 1 to n.
  • the pixel values (two pixel values) of the corresponding pixel position (i, j) in the two selected input image data are the gradation conversion characteristic information G (i, j) and the gradation conversion characteristic information G ( i, j) are mixed at a mixing ratio derived based on the relationship between the two threshold values sandwiching the value of i, j).
  • the pixel value obtained by mixing is set as the pixel value S (i, j) of the corresponding pixel position (i, j) in the composite image data S.
  • FIG. 8 is a block diagram illustrating a main part of the image composition processing unit 320A.
  • the difference from the image composition processing unit 320 in the first embodiment is that a selection / mixing unit 380 is provided instead of the selection unit 370.
  • Other parts are the same as those described in the first embodiment.
  • the selection / mixing unit 380 compares the input gradation conversion characteristic information G (i, j) with the thresholds TH 1 to TH n . Based on the comparison result, the selection / mixing unit 380 selects two input image data from the input image data 1 to n.
  • the selection / mixing unit 380 also performs a process of mixing pixel values of corresponding pixel positions (i, j) in the two selected input image data, as will be described later with reference to FIG.
  • Composite image data S is generated.
  • FIG. 9 is a diagram conceptually illustrating how two pixel values in two input image data selected by the selection / mixing unit 380 are mixed.
  • threshold values TH 1 to TH n are set corresponding to the correction step and the number of exposures in bracketing exposure.
  • the value of the gray-scale conversion characteristic information G (i, j) is below the threshold value TH 1
  • Pixel values P 1 (i, j) and P 2 (i, j) corresponding to a given pixel position (i, j) in the input image data 1 and 2 are expressed by the following equation (1).
  • the pixel values (i, j) of the corresponding pixel positions (i, j) of the composite image S are derived by mixing.
  • the gradation conversion characteristic information G (i, j) when the value of is equal to the threshold TH 2 the pixel value S (i, j) is the mixing ratio of the pixel value P 2 of the input image data 2 (i, j) 100%, which is equal to the pixel value P 2 (i, j).
  • the manner in which the mixing ratio of the pixel values P 1 (i, j) and P 2 (i, j) changes is indicated by the oblique solid line in FIG.
  • broken lines with arrows at both ends are shown on both the left and right sides across the diagonal line. This is the input image data 1 corresponding to the value of the given gradation conversion information G (i, j),
  • the mixing ratio of the pixel values P 1 (i, j) and P 2 (i, j) of the input image data 2 is shown.
  • Pixel values P 2 (i, j) and P 3 (i, j) corresponding to a given pixel position (i, j) in these input image data 2 and 3 are expressed by the following equation (2).
  • the pixel values S (i, j) at the corresponding pixel positions (i, j) of the composite image S are derived.
  • the mixing ratio of the pixel value P 2 (i, j) of the input image data 2 increases as the value of the gradation conversion characteristic information G (i, j) is closer to the threshold value TH 2. .
  • the pixel value S (i, j) is a mixture of the pixel value P 2 (i, j) of the input image data 2.
  • the ratio approaches 100% and becomes infinitely equal to the pixel value P 2 (i, j).
  • the gradation conversion characteristic information G (i, j) pixel value P 3 of the input image data 3 values of the closer to the threshold TH 3 (i, j) is the mixing ratio of the increase.
  • the gradation conversion characteristic information G (i, j) when the value of is equal to the threshold TH 3 is the mixing ratio of the pixel value P 3 of the input image data 3 (i, j) 100%, which is equal to the pixel value P 3 (i, j).
  • the input image data n-1 and the input image data n are selected.
  • the Pixel values P n ⁇ 1 (i, j) and P n (i, j) corresponding to a given pixel position (i, j) in these input image data n ⁇ 1 and n are expressed by the following equation (3) ), And the pixel value S (i, j) of the corresponding pixel position (i, j) of the composite image S is derived.
  • the pixel value P n ⁇ 1 (i, j) of the input image 2 is mixed as the value of the gradation conversion characteristic information G (i, j) is closer to the threshold value TH n ⁇ 1.
  • the ratio increases.
  • the pixel value S (i, j) becomes the pixel value P n ⁇ 1 (i of the input image n ⁇ 1.
  • J) approaches 100% and becomes equal to the pixel value P n-1 (i, j) as much as possible.
  • the gradation conversion characteristic information G (i, j) is the mixing ratio of the pixel value P n of the input image data n the value of the closer to the threshold TH n (i, j) increases. Then, the gradation conversion characteristic information G (i, j) when the value of is equal to the threshold TH n, the pixel value S (i, j) is the mixing ratio of the pixel value P n of the input image data n (i, j) 100%, which is equal to the pixel value P n (i, j).
  • the pixel value S (i, j) of the synthesized image S derived the pixel value P of the input image data n It is configured to be equal to n (i, j).
  • the value of the gradation conversion characteristic information G (i, j) takes a value between two adjacent threshold values TH n ⁇ 1 and TH n , the two threshold values TH n ⁇ 1 and TH n .
  • the pixel values P n ⁇ 1 (i, j) and P n (i, j) of the input image data n ⁇ 1, n at a mixture ratio derived based on the value of the key conversion characteristic information G (i, j) Are mixed.
  • FIG. 10 is a flowchart for explaining the processing procedure of the image composition processing executed by the image processing unit 300.
  • the processing procedure of FIG. 10 is executed after a series of bracketing exposures are performed in the digital camera 100. .
  • it is executed when a user selects a menu for performing composition processing using input image data recorded in the image recording medium 130 after performing bracketing exposure.
  • a menu for executing image composition software using the input image data stored in the auxiliary storage device 230 is executed by the user. Executed when selected.
  • the processing procedure shown in FIG. 10 may be executed by hardware or software.
  • the image processing unit 300 acquires input image data 1 to n.
  • the image processing unit 300 sets one of the input image data 1 to n as reference image data. In the present embodiment, it is assumed that the input image data 1 obtained with the smallest exposure amount during a series of bracketing exposures is set as the reference image data.
  • the image processing unit 300 analyzes the reference image data and generates gradation conversion characteristic information G (i, j) corresponding to each pixel position (i, j). Also in the second embodiment, it is assumed that the gradation conversion characteristic information G (i, j) is handled as an amplification factor. The details of the procedure for generating the gradation conversion characteristic information G (i, j) are as described above with reference to FIGS. Further, the gradation conversion characteristic information G (i, j) may be obtained by analyzing the pixel value of the entire reference image data or may be obtained by a space variant. This is the same as the embodiment.
  • the image processing unit 300 uses the gradation conversion characteristic information G (i, j) at a given pixel position (i, j) in the gradation conversion characteristic information G (i, j) generated in S1004. Compare with thresholds TH 1 to TH n . Based on the comparison result, the image processing unit 300 extracts the pixel value corresponding to the given pixel position (i, j) as the target to be extracted as described with reference to FIG. Two input image data are selected from n.
  • step S1008 the image processing unit 300 extracts a pixel value corresponding to a given pixel position (i, j) from the two input image data selected in step S1006, performs a mixing process, and performs the mixing process.
  • the pixel value is S (i, j).
  • the mixing ratio at the time of the mixing process is as described with reference to FIG. That is, the mixing ratio derived based on the value of the gradation conversion characteristic information G (i, j) corresponding to a given pixel position (i, j) and the two threshold values sandwiching this value is two.
  • the pixel values of the two input image data are mixed to obtain the pixel value S (i, j) of the composite image data S.
  • step S1010 the image processing unit 300 determines whether or not the processing in steps S1006 and S1008 has been performed for all pixel positions (i, j). While this determination is negative, the processing from S1006 to S1010 is repeated. On the other hand, if the determination in S1010 is affirmative, the image processing unit 300 performs a process of outputting the composite image data S in S1012. As a result, an image based on the composite image data S is recorded in the image recording unit 360 shown in FIG. In addition, an image based on the composite image data S is displayed on the display unit 350 as necessary.
  • the selected input image data is input image data corresponding to two threshold values TH n ⁇ 1 and TH n sandwiching the value of the gradation conversion characteristic information G (i, j). It is.
  • the pixel values P n ⁇ 1 (i, j) and P n (i, j) of these two input image data are any of the expressions (1), (2), and (3) described above.
  • the mixing ratio based on the value of the gradation conversion characteristic information G (i, j) and two threshold values TH n ⁇ 1 and TH n sandwiching this value.
  • the value thus obtained is used as the pixel value S (i, j) of the composite image data S.
  • the gradation conversion characteristic information G (i, j) has been described as being clipped to TH 1 or TH n . That is, the gradation conversion characteristic information G (i, j) is, if less than TH 1, S (i, j ) in the P 1 (i, j), if in excess of TH n, S (i, j ) is It is fixed to P n (i, j).
  • the gray-scale conversion characteristic information G (i, j) if is below TH 1, or if in excess of TH n, also possible to derive the pixel value S (i, j) by the method described below Is possible.
  • an object is to simplify the description and facilitate understanding of the details of the pixel value P n (i, j) of the input image data.
  • the above-described processing can be performed on the R, G, and B pixel values.
  • the above-described processing may be performed on each value of Y, Cb, Cr, or L, a, b. , Y value, L value may be processed as described above.
  • the threshold values TH 1 to TH n are set automatically or based on a user setting based on the correction step and the number of exposures when a series of bracketing exposures are performed.
  • the gradation conversion characteristics can be derived into space variants, and the gradation conversion characteristic information G (i, j) can be derived from the derived gradation conversion characteristics.
  • a gradation conversion characteristic one characteristic is derived from the entire reference image data to derive gradation conversion characteristic information G (i, j) corresponding to each pixel position (i, j), and a threshold value.
  • TH 1 to TH n may be set as a space variant.
  • the space variant thresholds TH 1 to TH n can be derived based on the correction step and the number of exposures when a series of bracketing exposures are performed, and the result of analyzing the reference image data.
  • DESCRIPTION OF SYMBOLS 100 Digital camera 110 ... Shooting optical system 112 ... Lens drive part 120 ... Imaging part 130 ... Image recording medium 150,280,350 ... Display part 160 ... Storage part 190 ... DSP (digital signal processor) 200 ... Computer 210 ... CPU 220 ... Memory 230 ... Auxiliary storage device 250 ... Memory card interface 260 ... Optical disk drive 270 ... Network interface 300 ... Image processing unit 310 ... Gradation conversion characteristic deriving unit 320, 320A ... Image composition processing unit 330 ... Image acquisition unit 360 ... Image Recording unit 370 ... selection unit 380 ... selection / mixing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　画像処理部は、同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、この基準画像データから階調変換特性を導出する階調変換特性導出部と、階調変換特性導出部で導出された階調変換特性に基づいて複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部とを備える。

Description

画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
　本発明は、同一被写体を撮影し、得られた複数フレーム分の異なる露光量の画像データを合成して階調が改善された画像を得る技術に関する。
　屋外晴天下での逆光撮影条件等においては、撮影シーン内の被写体輝度のレンジ（以下では単に「輝度レンジ」と称する）が広くなる。輝度レンジの広い被写体をデジタルカメラで撮影したときに、撮像系および画像信号処理系で記録可能なダイナミックレンジ内に収まらない場合がある。その場合、画像内の暗部においては、像が黒くつぶれてしまう、いわゆる黒つぶれを生じる。また、画像内の明部においては、像が白く飛んでしまう、いわゆる白飛びを生じる。
　このような現象を解決するための技術として、High Dynamic Range Imaging技術（以下、ＨＤＲ技術と称する）がある。ＨＤＲ技術においては、同じ撮影シーンが、シャッタ速度を変えながら複数回にわたって撮影され、互いに異なる露光量で複数の画像データが取得される。そして、画像内の黒つぶれが生じる可能性のある領域に対しては、多めの露光量で得られた画像データの画素値が用いられ、白飛びが生じる可能性のある領域に対しては少なめの露光量で得られた画像データの画素値が用いられて合成処理が行われる。その結果、画像内の暗部から明部に至るまでの階調が再現された画像を得ることができる。
　ＪＰ０６－１４１２２９Ａには、電荷蓄積時間の異なる２枚以上の画像を得て、各画像の信号レベルに応じて重み付けして加算し、得られた高ダイナミックレンジ信号のレベルを基準レベルに圧縮する技術が開示される。
　ＪＰ０６－１４１２２９Ａに開示されるものでは、複数の信号を合成する際にビット幅（ビット深度）を拡げる必要がある。これが原因となり、必要とするハードウェアの規模が増大してしまう。この問題を解決するためＪＰ２００４－２６６３４７Ａには、画像信号の高レベル部を非線形に圧縮する処理を行った後に複数の画像を所定の重み付けで合成し、画像信号のビット幅（ビット数）の拡大を抑制する技術が開示される。
　ＪＰ０６－１４１２２９Ａに開示されるものでは、上述した理由によりハードウェアの規模が増大してしまう。またＪＰ２００４－２６６３４７Ａに開示されるものでは、露光量の異なる複数の画像を合成する際、予め決められている関数を用いて求まる加重加算比で合成が行われるため、撮影シーンによっては好ましい階調特性を得ることができない場合がある。
　本発明は、上記の課題に鑑みてなされたものであり、ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて、より自然な画像を得ることが可能な技術を提供することを目的とする。
　本発明のある態様によれば、画像処理装置が、
　同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
　前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
　本発明のある態様によれば、画像処理方法が、
　同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
　前記基準画像データから階調変換特性を導出することと、
　前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
を備える。
　本発明のある態様によれば、
　同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムが、
　前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
　前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
　前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
を備える。
　本発明のある態様によれば、
　撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置が、
　前記撮像部において、同一被写体を撮影し、異なる露光量の複数の入力画像データを得る撮像制御部と、
　前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
　前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
　本発明の代表的な実施の形態によれば、ハードウェア規模の大幅な増大を招くことなく、同一被写体を撮影して得られた異なる露光量の複数の画像を合成し、ダイナミックレンジが改善されてより自然に見える合成画像を得ることができる。
　この発明の詳細は、他の特徴及び利点と同様に、明細書の以降の記載の中で説明されるとともに、添付された図面に示される。
図１は、デジタルカメラの概略的構成を説明するブロック図である。 図２は、コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。 図３は、画像処理部の概略的構成を説明するブロック図である。 図４は、画像処理部で導出される階調変換特性と、この階調変換特性に基づいて基準画像データから階調変換特性情報が導出される様子を概念的に示す図である。 図５Ａは、基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、基準画像データの画素値のヒストグラムを示す図である。 図５Ｂは、基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、基準画像データの画素値の累積頻度曲線を示す図である。 図５Ｃは、基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、基準画像データの画素値の累積頻度曲線に基づいて導出される階調変換特性曲線の例を、それぞれ示す図である。 図６は、第１の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。 図７は、第１の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。 図８は、第２の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。 図９は、第２の実施の形態に係る画像処理部内に設けられる画像合成処理部で行われる画像選択／混合の処理内容を概念的に示す図である。 図１０は、第２の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。
　図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
　デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（デジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。
　レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
　撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
　撮像部１２０は、機械式シャッタと撮像素子とを含んで構成される。撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、機械式シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、信号増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
　ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施す。そして、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。
　画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、フラッシュメモリ等で構成されるＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
　操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
　ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
　ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。
　デジタルカメラ１００は、ＨＤＲ撮影モードで静止画を撮影する動作を行うことが可能に構成される。つまり、同一の被写体を撮影して異なる露光量の複数の画像データが得られて、それら複数の画像データから階調の改善された合成画像データを生成するモードで動作可能に構成される。無論、ＨＤＲ撮影モードで動画撮影が可能に構成されていてもよい。その場合、動画像の記録フレームレートよりも高速のフレームレートで露光量を変えながら撮像が行われ、得られる複数の画像データから１フレーム分の画像データが生成され、記録される。ところで、上述した同一被写体を異なる露光量で撮影する際に、同一構図で撮影が行われること、つまり一連の撮影で得られる複数の画像は、露光量が異なっている以外は全て同じものが写っていることが、より良い合成画像データを得る上で望ましい。しかし、手持ち撮影であったために撮影動作中に撮影範囲が若干変化する場合や、被写体が動体であったために、画面内における被写体の位置や形状が変化する場合がある。その場合、パターンマッチングの技術を用いて画像の切り出し、貼り付け等の処理を行い、画像を合成することが可能である。
　上記のように露光量を変えながら撮影動作を行う際、ＣＰＵ１７０は撮像部１２０を制御し、決められた回数の露光を、各露光に対応して決められた露光量で行う。つまり、ＣＰＵ１７０は、同一の被写体を異なる露光量で撮影し、複数の画像データが得られるように撮像部１２０を制御する。
　ところで、デジタルカメラ１００が、撮影光学系１１０、レンズ駆動部１１２、および撮像部１２０等からなる撮像系を複数備えるものであってもよい。この場合、複数組の撮像系を用い、ユーザによる一回のレリーズ操作に応じて各撮像系で異なる露光量での画像を略同時に得ることが可能である。この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
　あるいは、撮像部１２０を複数備えていて、撮影光学系１１０の後方にビームスプリッタ（光路分割部材）を配置し、ビームスプリッタで分割された複数の光路上に撮像部１２０が配置される構成をデジタルカメラ１００が備えていてもよい。ビームスプリッタは不等の光量分割比率で光束を分割する。例えば、ビームスプリッタが入射光束を二つの光束に分割して出射するものである場合、一の光路に沿って出射する光束の光量と、他の光路に沿って出射する光束の光量との比率が例えば１：４などといった光量分割比率となるようにビームスプリッタを設計することが可能である。このようにビームスプリッタを用いる構成では、撮影光学系１１０での設定絞り値や、シャッタ速度（露光時間）は、各撮像部１２０に対して同一の露光条件となる。しかし、ビームスプリッタの作用により、各撮像部１２０に入射する被写体光の光量が異なるので、結果として異なる露光量の複数の画像を一回の撮影動作で得ることができる。この構成を備えることにより、１回の露光動作で異なる露光量の複数の画像を得ることができる。また、この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
　異なる露光量の複数の画像を得るためには、以上に説明した三つの方法のうち、いずれかを用いることが可能である。すなわち、第１の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第２の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第３の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。
　図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。
　メモリ２２０は、ＤＤＲ　ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
　メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。
　光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
　ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。
　表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
　画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等のコンピュータ可読記録装置（非一時的なコンピュータ可読記録媒体）に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。
　画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。
　－　第１の実施の形態　－
　図３は、画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。
　画像処理部３００は、階調変換特性導出部３１０と、画像合成処理部３２０と、画像取得部３３０とを備える。画像処理部３００に接続される画像記録部３６０は、先に図１、図２を参照して説明した画像記録媒体１３０、補助記憶装置２３０に対応する。同じく、画像処理部３００に接続される表示部３５０は、表示部１５０、２８０に対応する。
　画像取得部３３０は、同一の被写体を撮影して異なる露光量の複数の入力画像データを取得する。異なる露光量の複数の入力画像データを得るためには、上述した三つの方法のうち、いずれかの方法を用いることができる。以下では、第一の方法、すなわち露光条件を変えながら複数回の露光を時系列に行う（以下では、同一の被写体を異なる露光量で複数回、時系列に撮影することを「ブラケティング露光」と称する）ものとして説明する。このブラケティング露光に際しては、露光時間の長短で露光量を調節することがボケや収差の揃った複数の画像を得る上で望ましい。但し、ブラケティング露光に際しての露光の変化ステップ（補正ステップ）が小さめで、絞りを変えることによるボケや収差の変化が殆ど問題とならない状況では絞り値を変えて露光量を変化させてもよい。また、撮影光学系１１０の内部等に、被写体光の光路に対して挿抜可能に構成されるＮＤフィルタが備えられる場合、ＮＤフィルタの挿抜切り換えによって異なる露光量の画像が得られるようにしてもよい。
　画像処理部３００がデジタルカメラ１００のＤＳＰ１９０に実装される場合、画像取得部３３０は以下のようにして複数の入力画像データを取得することが可能である。すなわち、デジタルカメラ１００でブラケティング露光が行われている間にアナログ・フロントエンド１２２から逐次出力されるデジタル画像信号をＤＳＰ１９０で処理して得られた複数の入力画像データを画像取得部３３０が取得することが可能である。あるいは、過去にブラケティング露光が行われて画像記録部３６０（画像記録媒体１３０）に記録されていた複数の入力画像データを読み出し、画像取得部３３０で取得することも可能である。いずれの場合であっても、入力画像データはいわゆるロー（ＲＡＷ）画像データから得られるものであっても、現像処理の行われたＲＧＢやＹＣｂＣｒ等の形式の画像データであってもよい。
　画像取得部３３０で取得する入力画像データの数は２以上の任意の数ｎとすることが可能である。この数は、固定値であっても、ユーザが設定可能に構成されていても、あるいは撮影準備動作中（ライブビュー表示動作中）に被写界輝度の分布が検出されて、その結果に基づいて自動的に設定されてもよい。例えば、曇天下の順光撮影条件などのように、被写界中の最大輝度と最小輝度との差が比較的小さい場合、ブラケティング露光に際しての露光回数（入力画像データの数）は少なめに設定される場合がある。逆に、晴天下の逆光撮影条件や夜景などのように、被写界中の最大輝度（最明部）と最小輝度（最暗部）との差が比較的大きい場合、ブラケティング露光に際しての露光回数を多めに設定される場合がある。このとき、補正ステップもユーザが任意に設定することが可能に構成されていてもよいし、自動的に設定されるものであってもよい。
　例えば、理解を容易にすることを目的として、補正ステップが１Ｅｖで、露光回数が５回であるものとして説明すると、最も少ない露光量を基準として、＋０Ｅｖ（一倍）、＋１Ｅｖ（二倍）、＋２Ｅｖ（四倍）、＋３Ｅｖ（八倍）、＋４Ｅｖ（十六倍）の露光量の画像が得られる。以下では、入力画像データ１を得る際の露光量を基準として、入力画像データ２、入力画像データ３、…、入力画像データｎを得る際の露光量が段階的に増すものとして説明をする。これらの入力画像データからは、その画素位置（ｉ，ｊ）に対応して画素値Ｐ（ｉ，ｊ）が得られる。以下、入力画像データ１、入力画像データ２、…、入力画像データｎの所与の画素位置（ｉ，ｊ）における画素値をＰ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）、…Ｐｎ（ｉ，ｊ）と表す。また、入力画像データ１、入力画像データ２、…、入力画像データｎを総称して入力画像データ１～ｎと表す。なお、上述した補正ステップや露光回数については被写体や作画意図等に応じて任意に定めることが可能であり、補正ステップについては露光量が等間隔で変化するように設定されていても、不等間隔で変化するように設定されていてもよい。
　階調変換特性導出部３１０は、画像取得部３３０で取得された複数の入力画像データ１～ｎ中、一つの入力画像データを基準画像データとして選択し、この基準画像データを解析して階調変換特性を導出する。基準画像データの選択方法としては、様々な方法を適用可能である。例えば、一連のブラケティング露光で得られた複数の入力画像データ中、最も少ない露光量で得られた入力画像データを基準画像データとすることができる。また、中間の露光量で得られた入力画像データ、あるいは最も多い露光量で得られた入力画像データを基準画像データとすることも可能である。あるいは、複数の入力画像データをヒストグラム解析して、画素値の分布の中心が明るい側、または暗い側に極端に偏っていないものを基準画像データとすることも可能である。本実施の形態においては、露光量の最も少ない状態で得られた画像データ（入力画像データ１）を基準画像データとする場合を例に説明する。階調変換特性導出部３１０はさらに、導出された階調変換特性に基づき、基準画像データを構成する画素それぞれの値に対応して階調変換特性情報を導出する。階調変換特性および階調変換特性情報の詳細については後で説明する。
　画像合成処理部３２０は、複数の入力画像データ１～ｎをもとに合成画像データを生成する。合成画像データの生成方法は以下のとおりである。すなわち、画像合成処理部３２０は、合成画像データを構成する画素のひとつ一つの画素値を決定する際に、複数の入力画像データ１～ｎ中のいずれかの画像データの画素値を選択する。例えば、合成画像データ中の左上隅の画素位置の座標値を（１，１）として説明すると、画素位置（１，１）の画素値としては、複数の入力画像データ１～ｎそれぞれの左上隅の、画素位置（１，１）の画素値が候補となる。画像合成処理部３２０は、これらｎ個の候補の中からいずれかの画素値を合成画像データ中の当該位置の画素値として決定する。この処理を全ての画素位置（ｉ，ｊ）に対応して行うことにより、合成画像データが生成される。
　画像合成処理部３２０は、階調変換特性導出部３１０で画素ごとに導出された階調変換特性情報と閾値とを比較し、その比較結果に基づいて上述したｎ個の候補の中からいずれかを選択する。画像合成処理部３２０に入力される閾値は、ブラケティング露光に際しての露光回数および補正ステップに応じて自動的に設定されるものとすることが可能である。この閾値は、ユーザによって適宜設定可能に構成されていてもよい。以下、階調変換特性、階調変換特性情報および閾値について説明する。
　合成画像データを生成する際、輝度が低めで黒つぶれしがちな部分（シャドウ部）については比較的多めの露光量で得られた入力画像データの画素値が選択される。比較的多めの露光量で得られた入力画像データは、暗部における階調情報が比較的豊富で、ノイズの影響が減じられているという特徴がある。
　逆に、輝度が高めで白飛びしがちな部分（ハイライト部）については、比較的少なめの露光量で得られた入力画像データの画素値が選択される。比較的少なめの露光量で得られた入力画像データは、明部における階調情報が比較的豊富であるという特徴がある。
　上記のようにして合成画像データ中の各画素値が選択されることにより、合成画像データで形成される画像中のシャドウ部およびハイライト部の双方において階調を再現することが可能となる。また、シャドウ部におけるノイズの影響も減じることができる。このようにして合成画像データを生成する際に、より自然に階調が再現されるように閾値および階調変換特性情報が設定される。
　図４は、階調変換特性導出部３１０で導出される階調変換特性の例を説明する図である。先にも説明したように、本実施の形態において基準画像データは入力画像データ１であるものとして説明する。階調変換特性導出部３１０は、基準画像データを解析して階調変換特性を導出する。ここで、基準画像データ（入力画像データ１）中の画素位置（ｉ，ｊ）における画素値Ｐ１（ｉ，ｊ）に対応して導出される階調変換特性情報をＧ（ｉ，ｊ）と表す。つまり、階調変換特性は、画素値Ｐ１（ｉ，ｊ）それぞれに対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出するための特性である。図４の中央に示されるグラフは、階調変換特性の一例を概念的に示したものであり、横軸に基準画像データの画素値Ｐ１（ｉ，ｊ）が、縦軸に階調変換特性情報Ｇ（ｉ，ｊ）の値がとられている。
　階調変換特性は、基準画像データの画素値Ｐ１（ｉ，ｊ）が増加するほど階調変換特性情報Ｇ（ｉ，ｊ）は傾向として減少するように特性を定めることが可能である。つまり、小さめ（暗め）の画素値Ｐ１（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめ（明るめ）の画素値Ｐ１（ｉ，ｊ）に対応して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。導出される階調変換特性の一例としては、図４の中央のグラフに示されるように、いわゆる逆Ｓ字の特性がある。あるいは、Ｐ１（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が直線的に減少する特性であっても、凸カーブや凹カーブを描いて減少する特性でもよい。無論、この階調変換特性は、画像の表現意図や撮影シーンの状況に従って様々なものとすることが可能である。
　本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われる。例えば入力画像データ１～ｎが先に説明したように補正ステップが１Ｅｖで５回のブラケティング露光が行われた場合、最小の露光量を基準として、１倍（＋０Ｅｖ）から１６倍（＋４Ｅｖ）までの露光が行われる。階調変換特性情報Ｇ（ｉ，ｊ）は、この１倍から１６倍の露光量に対応して定められる。増幅率としては、真数（上記の例では１から１６の実数）で扱うことも可能であるが、以下では写真の技術分野における慣例に従って２を底とする対数表現で扱うものとして説明する。つまり、上記の例においては、増幅率Ｇ（ｉ，ｊ）は０以上４以下の実数となる。なお、画像処理装置内部のＣＰＵによる演算に際して、数値の表現形式は整数とすることも可能であるが、ここでは理解の容易を目的とし、増幅率Ｇ（ｉ，ｊ）は０以上の実数であるものとして説明をする。
　ブラケティング露光によって＋０Ｅｖから＋４Ｅｖまでの段階露光が行われた場合、上述のように増幅率Ｇ（ｉ，ｊ）は０から４までの値をとる実数とすることが可能である。このとき、閾値は、導出される階調変換特性情報Ｇ（ｉ，ｊ）との比較結果に基づいて適切な入力画像データの画素値Ｐｎ（ｉ，ｊ）が選択されるように、ブラケティング露光に際しての露光回数と補正ステップとに基づいてその個数および値が設定される。その結果、ある画素に対して大きめの増幅率、つまり大きめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、多めの露光量で得られた入力画像データの画素値Ｐｎ（ｉ，ｊ）が選択される。また、小さめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、少なめの露光量で得られた入力画像データの画素値Ｐｎ（ｉ，ｊ）が選択される。
　以上に説明した階調変換特性、つまりＰ１（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が減少する特性が設定されることと、階調変換特性情報Ｇ（ｉ，ｊ）が増幅率として扱われることとにより、以下のように合成画像データ中の画素値を選択することが可能となる。すなわち、基準画像データによる画像中、暗めの画素に対応して高めの増幅率が設定され、結果として多めの露光量で得られた入力画像データの画素値が選択される。その結果、シャドウ部での階調を増すことができ、ノイズの影響も低減することが可能となる。逆に、基準画像データによる画像中、明るめの画素に対応して低めの増幅率が設定され、結果として少なめの露光量で得られた入力画像データの画素値が選択される。その結果、ハイライト部での階調を増すことができる。このようにして、被写体のより広い輝度範囲に対応して階調を再現することが可能となる。また、シャドウ部におけるノイズも低減することが可能となる。このとき、階調変換特性情報Ｇ（ｉ，ｊ）を増幅率として扱うことにより、ブラケティング露光における補正ステップとの対応付けが容易となり、画像データの階調変換の処理を単純化することが可能となる。
　本発明の実施の形態においては、画像合成処理の過程において、各画素位置（ｉ，ｊ）に対応する画素値として、一連のブラケティング露光で得られた複数の入力画像データ１～ｎの画素値Ｐ１（ｉ，ｊ）～Ｐｎ（ｉ，ｊ）の中からいずれかを選択することが各画素位置（ｉ，ｊ）において行われる。このように各画素値が選択された結果、階調変換が行われたかのような合成画像を得ることができるので、本明細書中では「階調変換特性」という文言を用いている。
　ここで、階調変換特性導出部３１０において階調変換特性を導出する際の導出方法の一例を説明する。図５Ａは、基準画像データのヒストグラム例を示す。図５Ａの例は、少なめの露光量で得られた画像データを基準画像データとすることを想定しており、その結果ヒストグラムが全体として画素値の小さい側に偏っている。
　図５Ｂは、図５Ａに例示されるヒストグラムを呈する画像の画像データを解析して求められた累積頻度を示している。図５Ｂ中に示される累積頻度の曲線は、画素値の低い領域で急激に立ち上がり、その後中間から高めの画素値の領域で累積頻度の増加が頭打ちとなる凸カーブを描いている。図５Ｃは、図５Ｂに示される累積頻度曲線に基づいて導出される階調変換特性の例を示す図である。図５Ｃに示されるカーブは、図５Ｂに示される累積頻度の曲線の傾きに基づいて導出されたものとなっている。つまり、図５Ｂに示される累積頻度特性を画素値で微分して得たもの（画素値の変化に対する累積頻度変化の割合）となっている。
　図５Ｃに示される階調変換特性に基づき、基準画像データの各画素値Ｐ１（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）が導出される。図５Ｃに示される例では、以下のような特性となっている。すなわち、図５Ｃに示される例において、階調変換特性は逆Ｓ字状のカーブ形状を有している。その結果、小さめの画素値Ｐ１（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめの画素値Ｐ１（ｉ，ｊ）に対して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。また、中間域の画素値Ｐ１（ｉ，ｊ）に対しては、画素値Ｐ１（ｉ，ｊ）の僅かな増加に対して階調変換特性情報Ｇ（ｉ，ｊ）が比較的大きく減少する特性となっている。その結果、図５Ｃに示される階調変換特性が適用されると、基準画像データ内において画素値の小さめの画素に対しては比較的多めの露光量で得られた入力画像データ中の画素値が選択される。また、基準画像データ内において画素値の大きめの画素に対しては比較的少なめの露光量で得られた入力画像データ中の画素値が選択される。このようにして得られる画像は、低輝度部ではノイズが少なく、高輝度部では白飛びが抑制される。また、中間域に対してはより多くの階調が割り当てられるので、見た目のコントラストが増して見栄えのする画像を得ることが可能となる。
　図５を参照して説明した階調変換特性の導出方法は一例であり、別の方法によって階調変換特性を導出することも可能である。
　以上に説明した階調変換特性情報Ｇ（ｉ，ｊ）を導出する処理に際して、以下のような方法で行うことが可能である。一例としては、基準画像データ全体の画素値Ｐ１（ｉ，ｊ）を解析し、図５を参照して説明した方法に基づいて、一つの画像全体に対して一つの階調変換特性を導出する方法がある。この場合、一つの画像全体に対して図５Ｃに例示される階調変換特性が一つ導出される。別の例としては、以下に説明するように、スペースバリアントに階調変換特性を導出する方法がある。
　例えば、基準画像データで形成される画像を縦、横任意の数でグリッド状に分割し、複数のブロックを画定する。画定したブロックごとに図５を参照して説明した処理を行い、各ブロックに対応する階調変換特性を導出する。複数のブロックを画定する際には、以上のように単純に幾何学的に分割するだけでなく、被写体認識等の画像処理技術を用いて、画像内で主要被写体が存在すると目される領域を一つの領域として画定することも可能である。それ以外の領域については、例えば主要被写体が存在する領域からの距離や明るさ等に応じて主要度を設定し、設定された主要度の高さに応じて分割することが可能である。上記のように各ブロックに対応して導出された階調変換特性を用い、各ブロック内に存在する画素の画素値に対応して階調変換特性情報Ｇ（ｉ，ｊ）を導出することができる。
　画像処理部３００がデジタルカメラ１００に実装される場合には、表示部１５０に表示されるライブビュー画像を観ながらユーザがタッチパネル等を操作して主要被写体等を指定するのに応じて階調変換特性導出のための領域が画定されてもよい。また、画像処理部３００がコンピュータ２００により実施される場合、表示部２８０に表示される画像を観ながらユーザがコンピュータマウス等を操作して階調変換特性導出のための領域を設定可能に構成されていてもよい。上述したいずれかの方法によって分割された各領域に対応して導出された階調変換特性を用い、基準画像データの各領域内における画素値Ｐ１（ｉ，ｊ）に対応して、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）を導出することが可能となる。
　図６は、画像合成処理部３２０の要部を示すブロック図である。画像合成処理部３２０は、選択部３７０を備える。選択部３７０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１、ＴＨ２、…、ＴＨｎとを、各画素位置（ｉ，ｊ）に対応して比較する。この比較結果に基づき、選択部３７０は、合成画像データＳを構成する各画素値Ｓ（ｉ，ｊ）を、入力画像データ１～ｎ中の対応する画素位置（ｉ，ｊ）の画素値Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）、…、Ｐｎ（ｉ，ｊ）の中から選択する。以下では閾値ＴＨ１、ＴＨ２、…、ＴＨｎを閾値ＴＨ１～ＴＨｎと表す。
　図７は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図７の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図７に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されても、それらの組み合わせによって実行されてもよい。
　Ｓ７００において画像処理部３００は、複数の入力画像データ１～ｎを取得する。Ｓ７０２において画像処理部３００は、入力画像データ１～ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、先に説明したように、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
　Ｓ７０４において画像処理部３００は、基準画像データを解析して、各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は、先にも説明したように、増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。このとき、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであってもよい。あるいは、基準画像データが複数の領域に分割され、分割された領域ごとに画像データの解析が行われて、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）が求められるものであってもよい。
　Ｓ７０６において画像処理部３００は、Ｓ７０４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ１～ＴＨｎと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、入力画像データ１～ｎのうち、いずれかの入力画像データを選択する。
　Ｓ７０８において画像処理部３００は、Ｓ７０６で選択された入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
　以上のＳ７０６、Ｓ７０８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ７１０で判定する。この判定が否定される間、Ｓ７０６からＳ７１０までの処理が繰り返し行われる。一方、Ｓ７１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ７１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、必要に応じて合成画像データＳに基づく画像が表示部３５０に表示される。
　以上に説明したように、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１～ＴＨｎとが各画素位置（ｉ，ｊ）に対応して比較された結果、入力画像データ１～ｎのいずれかが選択され、選択された入力画像データ中の対応画素位置における画素値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。このように、ｎ枚の異なる露光量の画像中から一枚の画像を選択して画素値を抽出することが画素ごとに行われてＨＤＲ画像が生成されるため、撮影シーンに適した階調変換特性のＨＤＲ画像を生成することができる。このとき、所定のビット深度で表現される入力画像データの対応する画素値Ｐｎ（ｉ，ｊ）が、同じビット深度で表現される合成画像Ｓ中の対応する画素値Ｓ（ｉ，ｊ）とされるため、ビット深度を増すことなく合成画像Ｓを得る処理を行うことができる。したがって、最終的に得られる合成画像データのビット深度の範囲で合成の処理を行うことができるので、ハードウェア規模の増大を抑制することが可能となる。
　このとき、階調変換特性を、先に説明したようにスペースバリアントに導出すると、画像内の各領域に適した階調変換特性で画像の合成処理を行うことが可能となる。
　－　第２の実施の形態　－
　第１の実施の形態において、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１～ＴＨｎとが比較され、複数の入力画像データ１～ｎの中からいずれか一つが選択される。そして、選択された入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値Ｐｎ（ｉ，ｊ）が合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。これに対し、第２の実施の形態では、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１～ＴＨｎとが比較された結果、複数の入力画像データ１～ｎの中から二つの入力画像データが選択される。選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値（二つの画素値）が階調変換特性情報Ｇ（ｉ，ｊ）と、この階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値との関係に基づいて導出される混合比率で混合される。混合して得られた画素値が、合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。
　第２の実施の形態においても、図３から図５を参照して説明した、第１の実施の形態における画像処理部３００の構成および階調変換特性情報Ｇ（ｉ，ｊ）の導出手順と同様の構成および導出手順であるのでその説明を省略する。また、階調変換特性情報Ｇ（ｉ，ｊ）は、第１の実施の形態と同様、増幅率として扱われるものとして説明をする。
　図８は、画像合成処理部３２０Ａの要部を示すブロック図である。第１の実施の形態における画像合成処理部３２０との違いは、選択部３７０に代えて選択／混合部３８０を備える点にある。その他の部分については第１の実施の形態で説明したものと同様である。選択／混合部３８０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１～ＴＨｎとを比較する。この比較結果に基づき、選択／混合部３８０は、入力画像データ１～ｎの中から二つの入力画像データを選択する。選択／混合部３８０はまた、後で図９を参照して説明するように、選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値を混合する処理を行い、合成画像データＳを生成する。
　図９は、選択／混合部３８０で選択された二つの入力画像データ中の二つの画素値が混合される様子を概念的に示す図である。図９において、ブラケティング露光に際しての補正ステップと露光回数とに対応して閾値ＴＨ１～ＴＨｎが設定される。このとき、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ１を下回る場合があり、また、閾値Ｔｈｎを上回る場合もある。階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ１を下回る場合には、Ｇ（ｉ，ｊ）＝ＴＨ１にクリッピングされるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨｎを上回る場合には、Ｇ（ｉ，ｊ）＝ＴＨｎにクリッピングされるものとする。図９中では、階調変換特性情報Ｇ（ｉ，ｊ）の値は図９の下方に向かうにつれて増すものとして描かれている。また、図９中に示される式において、記号＊は乗算を表す（以下同様）。
　階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ１以上かつ閾値ＴＨ２以下の場合、入力画像データ１および入力画像データ２が選択される。これらの入力画像データ１および２中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）が以下の式（１）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値（ｉ，ｊ）が導出される。
Figure JPOXMLDOC01-appb-M000001
　式（１）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ１に近いほど入力画像データ１の画素値Ｐ１（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ１に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ１の画素値Ｐ１（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ１（ｉ，ｊ）に等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ２に近いほど入力画像データ２の画素値Ｐ２（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ２に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ２（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ２（ｉ，ｊ）に等しくなる。この、画素値Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）の混合比率の変化する様子が図９中に斜めの実線で示されている。そして、斜めの線を挟む左右両側において、両端に矢印の付された破線が示されているが、これが所与の階調変換情報Ｇ（ｉ，ｊ）の値に対応する入力画像データ１、入力画像データ２の画素値Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）の混合比率を示している。
　階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ２を越し、かつ閾値ＴＨ３以下の場合、入力画像データ２および入力画像データ３が選択される。これらの入力画像データ２および３中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ２（ｉ，ｊ）、Ｐ３（ｉ，ｊ）が以下の式（２）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。
Figure JPOXMLDOC01-appb-M000002
　式（２）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ２に近いほど入力画像データ２の画素値Ｐ２（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ２に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ２（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐ２（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ３に近いほど入力画像データ３の画素値Ｐ３（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ３に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ３の画素値Ｐ３（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ３（ｉ，ｊ）に等しくなる。
　以下、同様にして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎ－１を越し、かつ閾値ＴＨｎ以下の場合、入力画像データｎ－１および入力画像データｎが選択される。これらの入力画像データｎ－１およびｎ中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐｎ－１（ｉ，ｊ）、Ｐｎ（ｉ，ｊ）が以下の式（３）、を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。
Figure JPOXMLDOC01-appb-M000003
　式（３）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎ－１に近いほど入力画像２の画素値Ｐｎ－１（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎ－１に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像ｎ－１の画素値Ｐｎ－１（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐｎ－１（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎに近いほど入力画像データｎの画素値Ｐｎ（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎに等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐｎ（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐｎ（ｉ，ｊ）に等しくなる。
　以上のように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨｎに等しいとき、導出される合成画像Ｓの画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐｎ（ｉ，ｊ）と等しくなるように構成される。また、階調変換特性情報Ｇ（ｉ，ｊ）の値が相隣り合う二つの閾値ＴＨｎ－１、ＴＨｎの間の値をとるとき、これら二つの閾値ＴＨｎ－１、ＴＨｎと階調変換特性情報Ｇ（ｉ，ｊ）の値とに基づいて導出される混合比率で入力画像データｎ－１、ｎの画素値Ｐｎ－１（ｉ，ｊ）およびＰｎ（ｉ，ｊ）が混合される。
　図１０は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。第１の実施の形態で説明したのと同様、画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図１０の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図１０に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されてもよい。
　Ｓ１０００において画像処理部３００は、入力画像データ１～ｎを取得する。Ｓ１００２において画像処理部３００は、入力画像データ１～ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
　Ｓ１００４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。第２の実施の形態においても、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。さらに、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであっても、スペースバリアントに求められるものであってもよいのは第１の実施の形態と同様である。
　Ｓ１００６において画像処理部３００は、Ｓ１００４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ１～ＴＨｎと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、図９を参照して説明したように、入力画像データ１～ｎのうち、二つの入力画像データを選択する。
　Ｓ１００８において画像処理部３００は、Ｓ１００６で選択された二つの入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、混合処理をして合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。上記混合処理をする際の混合比率は、図９を参照して説明したとおりである。すなわち、所与の画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）の値と、この値を挟む二つの閾値の値とに基づいて導出される混合比率で二つの入力画像データの画素値を混合し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
　以上のＳ１００６、Ｓ１００８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ１０１０で判定する。この判定が否定される間、Ｓ１００６からＳ１０１０までの処理が繰り返し行われる。一方、Ｓ１０１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ１０１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、合成画像データＳに基づく画像が必要に応じて表示部３５０に表示される。
　以上に説明したように、本発明の第２の実施の形態においても、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ１～ＴＨｎとが各画素位置（ｉ，ｊ）に対応して比較される。比較された結果、入力画像データ１～ｎの中から、ブラケティング露光で得られた一連の入力画像データ１～ｎ中、二つの入力画像データが選択される。選択される入力画像データは、図９を参照して説明したように、階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値ＴＨｎ－１、ＴＨｎに対応する入力画像データである。これら二つの入力画像データの画素値Ｐｎ－１（ｉ，ｊ）、Ｐｎ（ｉ，ｊ）が、先に説明した式（１）、式（２）、式（３）等のいずれかを用い、階調変換特性情報Ｇ（ｉ，ｊ）の値、およびこの値を挟む二つの閾値ＴＨｎ－１、ＴＨｎに基づく混合比率で混合される。このようにして得られた値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。
　以上のようにして生成される合成画像データＳでは、上述した混合処理によって画像が生成されることにより、第１の実施の形態によるものと同様の効果が得られることに加えて、いわゆるアーティファクトの発生が抑制される。つまり、合成画像データで形成される画像中において明度の変化がより滑らかなものとなり、人の肌などのようにトーンが微妙に変化する画像中で階調が不自然に変化する、トーンジャンプのような現象の発生を抑制可能となる。
　以上、第２の実施の形態においては、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて二つの入力画像データが選択され、これらの入力画像データの画素値が混合される例について説明したが、本発明はこの例に限られるものではない。すなわち、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて、三つ以上の入力画像データが選択され、選択されたこれらの入力画像データの画素値が混合されてもよい。
　また、図９を参照しての説明で、階調変換特性情報Ｇ（ｉ，ｊ）の最小値が閾値ＴＨ１を下回る場合があり、また、閾値Ｔｈｎを上回る場合もあることについて説明した。そのような場合、階調変換特性情報Ｇ（ｉ，ｊ）はＴＨ１あるいはＴＨｎにクリッピングされるものとして説明した。つまり、階調変換特性情報Ｇ（ｉ，ｊ）が、ＴＨ１を下回る場合、Ｓ（ｉ，ｊ）はＰ１（ｉ，ｊ）に、ＴＨｎを越す場合、Ｓ（ｉ，ｊ）はＰｎ（ｉ，ｊ）に、それぞれ固定される。これに対して、階調変換特性情報Ｇ（ｉ，ｊ）がＴＨ１を下回る場合、あるいはＴＨｎを越す場合に、以下に説明する方法によって画素値Ｓ（ｉ，ｊ）を導出することも可能である。
　階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ１を下回る場合、例えば以下の式（４）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
Figure JPOXMLDOC01-appb-M000004
　階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ１を下回る場合に式（４）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ１を下回って減少するのにつれて画素値Ｓ（ｉ，ｊ）も減少する。その結果、画像の暗部における階調再現域を拡大することが可能となる。なお、式（４）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合、閾値ＴＨ１＝１とすることが望ましい。理由は、階調変換特性情報Ｇ（ｉ，ｊ）の値が１を挟んで変化する際の画素値Ｓ（ｉ，ｊ）の連続性が得られ、トーンジャンプを生じにくくなるからである。
　階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨｎを上回る場合、例えば以下の式（５）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
Figure JPOXMLDOC01-appb-M000005
　階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨｎを上回る場合に式（５）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨｎを上回って増加するのにつれて画素値Ｓ（ｉ，ｊ）も増加する。その結果、画像の明部における階調再現域を拡大することが可能となる。式（５）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合も、式（４）に関して説明したのと同様の理由により、閾値ＴＨ１＝１とすることが望ましい。
　以上に説明した第１の実施の形態および第２の実施の形態においては、入力画像データの画素値Ｐｎ（ｉ，ｊ）の詳細について、説明を単純化して理解を容易にすることを目的として、詳しく触れなかったが、以下のようにすることが可能である。入力画像データがいわゆるＲＧＢ画像データである場合、Ｒ、Ｇ、Ｂの各画素値に対して以上に説明した処理をすることが可能である。入力画像データがＹＣｂＣｒ、Ｌａｂ等の表色系で表されるものである場合、Ｙ、Ｃｂ、Ｃｒ、あるいはＬ、ａ、ｂの各値に対して以上に説明した処理をしてもよいし、Ｙ値、Ｌ値のみに対して以上に説明した処理をしてもよい。ＨＳＶ等の表色系で表される入力画像データであっても同様である。
　以上の第１および第２の実施の形態において、閾値ＴＨ１～ＴＨｎは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数に基づいて自動的、あるいはユーザ設定によって設定される例について説明した。また、階調変換特性をスペースバリアントに導出し、導出されたそれぞれの階調変換特性から階調変換特性情報Ｇ（ｉ，ｊ）を導出することも可能であることについて説明した。これに代えて、階調変換特性としては基準画像データ全体から一つの特性を導出して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出し、閾値ＴＨ１～ＴＨｎがスペースバリアントに設定されるようにしてもよい。この場合、スペースバリアントな閾値ＴＨ１～ＴＨｎは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数と、基準画像データを解析した結果とに基づいて導出することが可能である。
　以上に説明した画像処理装置は、デジタルスチルカメラ、静止画撮影が可能なデジタルムービーカメラ、カメラ付き携帯電話やＰＤＡ、可搬型コンピュータ等に内蔵可能である。また、コンピュータ上で画像処理プログラムが実行されて画像処理装置が実現されてもよい。
　以上説明した実施形態に限定されることなく、その技術的思想の範囲内において種々の変形や変更が可能であり、それらも本発明の技術的範囲に含まれることが明白である。
　２０１１年１月２０日に出願された日本国特許出願２０１１－９７８５に基づく優先権を主張し、当該出願の全内容は引用により本明細書に組み込まれる。
１００　…　デジタルカメラ
１１０　…　撮影光学系
１１２　…　レンズ駆動部
１２０　…　撮像部
１３０　…　画像記録媒体
１５０、２８０、３５０　…　表示部
１６０　…　記憶部
１９０　…　ＤＳＰ（デジタル・シグナル・プロセッサ）
２００　…　コンピュータ
２１０　…　ＣＰＵ
２２０　…　メモリ
２３０　…　補助記憶装置
２５０　…　メモリカードインターフェース
２６０　…　光ディスクドライブ
２７０　…　ネットワークインターフェース
３００　…　画像処理部
３１０　…　階調変換特性導出部
３２０、３２０Ａ　…画像合成処理部
３３０　…　画像取得部
３６０　…　画像記録部
３７０　…　選択部
３８０　…　選択／混合部

Claims (12)

  1. 　同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
    　前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
    を備える画像処理装置。
  2. 　前記画像合成処理部はさらに、前記階調変換特性を用いて、前記基準画像データ中の各画素値に対する増幅率を導出し、当該の増幅率の大小に対応した露光量の入力画像データを選択し、選択された入力画像データ中の画素値を用いて前記新たな画素値を導出する、
    請求項１に記載の画像処理装置。
  3. 　前記画像合成処理部はさらに、
    　前記増幅率の大小に対応した露光量の入力画像データを二以上選択し、前記増幅率に基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合し、前記新たな画素値を導出する、
    請求項２に記載の画像処理装置。
  4. 　前記画像合成処理部は、
    　前記増幅率と、前記二以上の入力画像データを得る際のそれぞれの露光量とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合する、
    請求項３に記載の画像処理装置。
  5. 　前記画像合成処理部は、
    　前記複数の入力画像データの数と、前記複数の入力画像データのそれぞれを得る際に設定される露光量とに応じて設定される閾値であって、前記複数の入力画像データから前記増幅率の大小に対応して前記二以上の入力画像データを選択する際の選択基準となる閾値と、前記増幅率とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合する、
    請求項４に記載の画像処理装置。
  6. 　前記画像合成処理部は、前記増幅率に基づいて前記複数の入力画像データの中から一つの入力画像データを選択し、当該の選択された入力画像データ中の画素値を前記新たな画素値とすることを前記画素ごとに行い、前記合成画像データを生成する、
    請求項２に記載の画像処理装置。
  7. 　前記画像合成処理部は、前記複数の入力画像データの中から、前記増幅率の大小に対応した露光量の入力画像データを一つ選択する、
    請求項６に記載の画像処理装置。
  8. 　前記画像合成処理部は、
    　前記複数の入力画像データのそれぞれを得る際に設定される露光量および前記複数の入力画像データの数に応じて設定される閾値と、前記増幅率との比較結果に基づき、前記入力画像データを一つ選択する、
    請求項７に記載の画像処理装置。
  9. 　前記階調変換特性導出部は、前記基準画像データ中で複数に分割されたそれぞれの領域内の画像データに対応して前記階調変換特性を導出する、
    請求項１に記載の画像処理装置。
  10. 　同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
    　前記基準画像データから階調変換特性を導出することと、
    　前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
    を備える画像処理方法。
  11. 　同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムであって、
    　前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
    　前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
    　前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
    を備える画像処理プログラム。
  12. 　撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置であって、
    　前記撮像部において、同一被写体を撮影して異なる露光量の複数の入力画像データを得る撮像制御部と、
    　前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
    　前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
    を備える撮影装置。
PCT/JP2011/077476 2011-01-20 2011-11-29 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 WO2012098768A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/937,535 US8982251B2 (en) 2011-01-20 2013-07-09 Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011009785A JP5762756B2 (ja) 2011-01-20 2011-01-20 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
JP2011-009785 2011-01-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/937,535 Continuation US8982251B2 (en) 2011-01-20 2013-07-09 Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program

Publications (1)

Publication Number Publication Date
WO2012098768A1 true WO2012098768A1 (ja) 2012-07-26

Family

ID=46515405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/077476 WO2012098768A1 (ja) 2011-01-20 2011-11-29 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置

Country Status (3)

Country Link
US (1) US8982251B2 (ja)
JP (1) JP5762756B2 (ja)
WO (1) WO2012098768A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165259A (ja) * 2011-02-08 2012-08-30 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
CA2893601C (en) * 2012-12-04 2023-01-24 Ingo Stork Genannt Wersborg Heat treatment monitoring system
JP6080531B2 (ja) * 2012-12-19 2017-02-15 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2014138294A (ja) * 2013-01-17 2014-07-28 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2016006981A1 (ko) * 2014-07-11 2016-01-14 재단법인 다차원 스마트 아이티 융합시스템 연구단 노이즈 인식 선형 모델을 사용한 최소 촬영 자동 노출 방법 및 장치
JP6563646B2 (ja) 2014-12-10 2019-08-21 ハンファテクウィン株式会社 画像処理装置および画像処理方法
KR101685932B1 (ko) * 2015-07-13 2016-12-13 김경준 고기능 이미지 파일 및 이의 편집장치
JP2017220843A (ja) * 2016-06-09 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
JP2018042198A (ja) * 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
JP7086774B2 (ja) * 2018-07-25 2022-06-20 キヤノン株式会社 撮像装置、撮像方法およびプログラム
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
CN113347376B (zh) * 2021-05-27 2023-03-24 哈尔滨工程大学 一种图像传感器相邻像素串扰的补偿方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060855A (ja) * 2006-08-30 2008-03-13 Olympus Imaging Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2010183182A (ja) * 2009-02-03 2010-08-19 Olympus Corp 画像処理装置、プログラム、及び方法、並びに撮像システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2951909B2 (ja) * 1997-03-17 1999-09-20 松下電器産業株式会社 撮像装置の階調補正装置及び階調補正方法
JP4272443B2 (ja) 2003-02-05 2009-06-03 パナソニック株式会社 画像処理装置および画像処理方法
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
JP5408053B2 (ja) * 2009-10-20 2014-02-05 株式会社ニコン 画像処理装置、画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060855A (ja) * 2006-08-30 2008-03-13 Olympus Imaging Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2010183182A (ja) * 2009-02-03 2010-08-19 Olympus Corp 画像処理装置、プログラム、及び方法、並びに撮像システム

Also Published As

Publication number Publication date
US20130293748A1 (en) 2013-11-07
JP2012151732A (ja) 2012-08-09
US8982251B2 (en) 2015-03-17
JP5762756B2 (ja) 2015-08-12

Similar Documents

Publication Publication Date Title
JP5762756B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
WO2012108094A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
US9172888B2 (en) Determining exposure times using split paxels
EP3053332B1 (en) Using a second camera to adjust settings of first camera
US8964060B2 (en) Determining an image capture payload burst structure based on a metering image capture sweep
JP5615973B2 (ja) 高ダイナミックレンジ画像を捕捉するデバイスの作動法
JP4372747B2 (ja) 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
US8446481B1 (en) Interleaved capture for high dynamic range image acquisition and synthesis
US9489726B2 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium
US8606042B2 (en) Blending of exposure-bracketed images using weight distribution functions
US8526057B2 (en) Image processing apparatus and image processing method
US9087391B2 (en) Determining an image capture payload burst structure
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
JP7277158B2 (ja) 設定装置及び方法、プログラム、記憶媒体
JP2008219230A (ja) 撮像装置及び画像処理方法
US11341622B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2012093904A (ja) 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
JP2013070132A (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11856252

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11856252

Country of ref document: EP

Kind code of ref document: A1