WO2013157201A1 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 Download PDF

Info

Publication number
WO2013157201A1
WO2013157201A1 PCT/JP2013/001855 JP2013001855W WO2013157201A1 WO 2013157201 A1 WO2013157201 A1 WO 2013157201A1 JP 2013001855 W JP2013001855 W JP 2013001855W WO 2013157201 A1 WO2013157201 A1 WO 2013157201A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
moving body
image processing
processing apparatus
Prior art date
Application number
PCT/JP2013/001855
Other languages
English (en)
French (fr)
Inventor
洋明 梨澤
由佳 峯岸
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to US13/981,284 priority Critical patent/US9646397B2/en
Priority to CN201380000647.8A priority patent/CN103477626B/zh
Publication of WO2013157201A1 publication Critical patent/WO2013157201A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a technique for generating an image having a wide dynamic range by combining a plurality of images taken with different exposures.
  • HDR high dynamic range
  • Patent Documents 1 and 2 A method for solving such a problem is described in Patent Documents 1 and 2, for example.
  • a motion vector is calculated by comparing a plurality of images captured with different exposure amounts, and when the calculated motion vector exceeds a predetermined threshold value, it is determined that a combination non-conforming part is present. Then, the pixel signal of the unsuitable portion is corrected based on the pixel signal that is not the unfit portion.
  • Patent Document 2 detects and corrects misalignment between a plurality of images taken at different exposures, evaluates the similarity of individual portions between images after correcting misalignment, and responds to the similarity evaluation. A method for changing the image composition method is described. As a result, it is possible to create an image with less positional displacement due to movement of the camera and less subject blur due to movement of the subject. Further, Patent Document 2 describes that an image with less subject blur can be created with a reduced processing load in order to determine whether or not to combine in accordance with similarity.
  • Both of Patent Documents 1 and 2 are processing for basically replacing the area of the moving subject with another image, and obtaining a natural image whose luminance does not vary depending on the position of the moving subject. Aiming. However, these methods are based on the assumption that the area of the moving subject can be accurately extracted without making a mistake.
  • the present invention has been made in view of the above problems, and realizes a high dynamic range synthesis process capable of generating a natural image without a sense of incongruity even with a moving subject.
  • the present invention provides an image processing apparatus that combines a plurality of images that are captured with different exposures, and a displacement detection unit that detects a displacement amount between the images.
  • Correction means for correcting a positional deviation between images based on the positional deviation amount detected by the positional deviation detection means; a moving body area detecting means for detecting a moving body area from a plurality of images in which the positional deviation is corrected; An image compositing unit that composites the plurality of images in which the positional deviation is corrected, and an area corresponding to the moving body region of the composite image synthesized by the image compositing unit is added by weighting the plurality of images.
  • Moving body processing means for replacing the image with the processed image.
  • the present invention is an image processing method for combining a plurality of images picked up with different exposures, wherein a displacement detection step for detecting a displacement amount between the plurality of images, and the displacement detection A correction step for correcting a positional deviation between images from the amount of positional deviation detected in the step, a moving body region detecting step for detecting a moving body region from a plurality of images in which the positional deviation is corrected, and the positional deviation.
  • An image composition step for compositing a plurality of corrected images, and a region corresponding to the moving body region of the composite image synthesized by the image composition step is replaced with an image obtained by weighting and adding the plurality of images.
  • a moving body processing step for compositing a plurality of corrected images, and a region corresponding to the moving body region of the composite image synthesized by the image composition step is replaced with an image obtained by weighting and adding the plurality of images.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a development processing unit of the present embodiment.
  • the flowchart which shows the HDR synthetic
  • the figure which illustrates a gamma characteristic.
  • the flowchart which shows the position shift detection process of FIG.
  • the figure which illustrates the standard image in position gap detection processing.
  • the block diagram which shows the structure of the mobile body area
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • FIG. 10 is a diagram for explaining selection processing of a mobile object representation method according to the third embodiment.
  • 10 is a flowchart showing selection processing of a mobile object representation method according to a fourth embodiment.
  • FIG. The figure which shows weighted addition HDR1 synthetic
  • Embodiment 1 an embodiment in which the image processing apparatus of the present invention is applied to an imaging apparatus such as a digital camera that captures an image will be described. Since the present invention can be applied to an image composed of a plurality of color planes photographed through a photographing lens, the image targeted by the present invention is limited to RAW data, JPEG after development processing, and the like. It is not something.
  • reference numeral 1210 denotes a control unit that controls the entire imaging apparatus.
  • the control unit 1210 controls each unit, which will be described later, and performs HDR synthesis processing according to user settings and operations.
  • Reference numeral 1200 denotes an IF (interface) unit that accepts user operations, external inputs, and the like.
  • Reference numeral 1220 denotes a memory unit that stores programs and parameters related to HDR synthesis processing, which will be described later, and image data to be processed.
  • the HDR synthesizing process which will be described later with reference to FIG. 3 is realized by the control unit 1210 developing and executing a program stored in the memory unit 1220 in a work area such as a RAM.
  • the imaging unit 1000 a subject image incident via an imaging optical system (lens) is imaged on the imaging element, subjected to photoelectric conversion, and an analog signal output from the imaging element is converted into digital data suitable for image processing to be described later.
  • the image sensor is, for example, a single-plate color image sensor composed of a CMOS having a general primary color filter.
  • the primary color filter is composed of three color filters of R (red), G (green), and B (blue) each having a transmission dominant wavelength band in the vicinity of 650 nm, 550 nm, and 450 nm, and each band of R, G, and B Shoot the color plane corresponding to.
  • these color filters are spatially arranged for each pixel, and each pixel can only obtain an intensity in a single color plane. For this reason, a color mosaic image is output from the image sensor.
  • the A / D converter converts the color mosaic image output as an analog signal from the image sensor into digital image data suitable for image processing.
  • Each of the under, proper, and over development processing units 1010 to 1030 has different input signals, so it is necessary to optimize parameters and the like, but the basic processing is the same (S2A to S2C).
  • the white balance unit 1011 performs white balance processing. Specifically, a gain is applied to each of RGB so that R, G, and B in the region that should be white have the same signal value.
  • the noise reduction unit 1012 reduces noise caused by a sensor that is not derived from the subject image of the input image data.
  • the color interpolation unit 1013 generates a color image in which R, G, and B color information are aligned in all pixels by interpolating the color mosaic image.
  • a basic color image is generated from the generated color image by the matrix conversion unit 1014 and the gamma conversion unit 1015. Thereafter, the color adjusting unit 1016 performs processing for improving the appearance of the color image, and for example, image correction such as saturation enhancement, hue correction, and edge enhancement is performed.
  • the gamma conversion unit 1015 performs gamma correction using these gamma values.
  • the gain when a gain calculated from the exposure amount ratio is applied, for example, in the case of a shooting exposure difference of ⁇ 3 EV, the gain is 8 times the under and 1/8 times the over. Set the gamma characteristics to be the same when gain is applied. By doing so, the boundary can be smoothed later when a plurality of images are switched according to the luminance range. As can be seen from the gamma characteristic shown in FIG. 4, since a gain larger than appropriate is applied to the under image, there is a concern that the noise of the under image after the development processing is increased. On the other hand, a gain smaller than the proper exposure is applied to the over image, and noise reduction can be expected for the over image after the development process.
  • the noise reduction unit 1012 switches the intensity of noise reduction processing for each image in order to perform appropriate noise reduction according to the input image.
  • a specific method of the noise reduction process a general method such as a smoothing process with an appropriate kernel size or a method using a filter such as an ⁇ filter or an edge-preserving bilateral filter may be considered.
  • an appropriate method may be applied as appropriate in consideration of a balance with resources such as system processing speed and memory.
  • the misregistration detection unit 1040 detects the misregistration between the under image and the proper image that have undergone the development process, and the misregistration between the under image and the over image in accordance with an instruction from the control unit 1210 (S3A, S3B).
  • each image is first divided into a plurality of block areas, and edge detection processing is performed for each block (step S41 in FIG. 5).
  • edge detection method a large blur image is created by applying a low-pass filter to the input image, and an edge is detected by subtracting the large blur image from the input image.
  • a method using a known differential filter, a pre-wit filter, or the like can be considered. In edge detection, it is possible to improve the positional deviation detection accuracy by detecting only the edge of the subject image, not the noise caused by the sensor.
  • the misregistration detection unit 1040 detects the misregistration amount for the block area where the edge is detected in the block area of the image (step S42 in FIG. 5). By detecting the shift amount only for the block area where the edge can be detected, the positional shift detection accuracy can be improved.
  • the sum of absolute values (Sum of Absolute Difference) of the difference between the pixel value (luminance) of the position reference image of all the pixels in the block region and the pixel value (luminance) of the displacement detection image is calculated.
  • the movement amount and the movement direction that minimize the total sum are used as the motion vector of the block.
  • 6A and 6B illustrate a deviation amount detection method.
  • FIG. 6A shows the pixel values of the target block area of the position reference image.
  • FIG. 6B shows the pixel values of the misregistration detection image.
  • Similar processing is performed on all block areas of the image to obtain motion vectors of all block areas.
  • displacement amount detection it is possible to improve the displacement detection accuracy when the same subject area of the position reference image and the displacement detection image has the same brightness.
  • the misregistration detection unit 1040 calculates a geometric transformation coefficient (step S43 in FIG. 5).
  • An affine coefficient is used as the geometric transformation coefficient.
  • the affine coefficient is a matrix used for affine transformation combining linear transformation and parallel movement, and is expressed by the following Expression 1.
  • the coordinates of the pre-correction image are (x, y)
  • the coordinates of the post-correction image are (x ′, y ′)
  • the 3 ⁇ 3 matrix is called an affine coefficient.
  • An affine coefficient is obtained using a motion vector obtained from each block region.
  • the present invention is not limited to this.
  • misalignment detection methods such as detecting the misalignment between two images from frequency analysis, but they are suitable for digital cameras such as misalignment detection accuracy, detection processing load, and processing speed. Any method is applicable.
  • the misregistration correction unit 1050 corrects the appropriate image and the over image (affine transformation) based on the affine coefficient calculated by the misregistration detection process (S4A, S4B).
  • the moving body region detection unit 1060 detects the moving subject region using the under image, the appropriate image after alignment, and the over image (S5A, S5B).
  • FIG. 7 shows the configuration of the moving object region detection unit 1060.
  • the reference image 1061 is an under image, and is a scene as shown in FIG. 8A.
  • the aligned image 1062 is a properly aligned image or an over-aligned image, and is a scene that is slightly moved to the right side with respect to FIG. 8A as shown in FIG. 8B.
  • the moving object detection unit 1063 detects a moving object region from the reference image 1061 and the aligned image 1062.
  • a luminance difference or a color difference difference between two images is obtained, and an area having the difference is determined to be a moving subject.
  • an area having the difference is determined to be a moving subject.
  • the erroneously detected area is excluded from the difference Diff as much as possible by the overexposure blackened area excluding section 1064, the isolated area removing section 1065, and the like.
  • the image is replaced with a weighted added multiple image.
  • the difference Diff is calculated by the following formula 2 using the color signal and the luminance signal.
  • the difference Diff means a color difference.
  • the whiteout blackout area exclusion unit 1064 excludes the blackout luminance area of the under image and the appropriate image and the whiteout brightness area of the appropriate image and the over image from the difference Diff. This is performed for the purpose of preventing a whiteout or blackout area from appearing as a difference in the detection result of the moving object detection unit 1063 and being erroneously determined as a moving object area.
  • the signal area having the blackout brightness th1 or less from the reference image 1061 and the signal area having the whiteout brightness th2 or more in the aligned image 1062 are excluded from the difference Diff (the signal value is set to 0). The result is as shown in FIG. 8C.
  • the process proceeds to the process of correcting the moving object region while referring to the result of the difference Diff.
  • an isolated region such as a minimal moving object or a non-moving object in the moving object is detected as an isolated region due to erroneous detection from the difference Diff. It is removed by the removal unit 1065. Thereby, the boundary of a mobile body area
  • region can be made into a smooth and natural description.
  • the moving body region extracted by the above moving body region detection process is as shown in FIG. 8D.
  • the non-moving body area is represented as 0, and the moving body area is represented as 255 (in the case of 8 bits).
  • the boundary between the moving body area and the non-moving body area is represented by 1 to 254.
  • the moving object region combining unit 1070 combines the under image and the moving image region of the appropriate image, and the moving image region of the under image and the over image, which are output from the moving object region detection unit 1060 (S6).
  • FIG. 9 shows the configuration of the moving object region combining unit 1070.
  • the large value selection unit 1073 selects a moving object detection image 1 (1071) of an under image and an appropriate image and a moving object detection image 2 (1072) of an under image and an over image. Since the moving object area is represented by one or more signals, an image in which all moving object areas are detected can be obtained by selecting a large value.
  • the image composition unit 1080 separately performs the brightness composition processing according to the composition ratio shown in FIG. 10 using the appropriate image / over image that has been aligned with the under image, and generates an HDR composite image (S7).
  • an over image is used in an area darker than the composite reference brightness threshold Y1
  • an appropriate image is used as the brightness range of the composite reference brightness thresholds Y2 to Y3, and an area brighter than the composite reference brightness threshold Y4.
  • the image switching is made smooth by gradually changing the synthesis ratio.
  • the moving body processing unit 1090 corrects the moving body area in the HDR composite image with reference to the moving body area detection image (S8).
  • the moving body region is replaced with an image obtained by weighted addition of an under image, an appropriate image, and an over image.
  • the under image with the least amount of whiteout is preferentially used, but the appropriate image and the over image are slightly mixed according to the degree of image quality degradation such as color bending or noise of the under image. Therefore, attention is paid to under and over exposure widths in the high dynamic range.
  • the image quality of the under image is related to the amount of gain applied during the image processing.
  • the ratio of weighted addition of under (Low), appropriate (Mid), and over (Hi) is illustrated below.
  • FIG. 11A to 11C show examples of depiction of the moving object corresponding to the above-described shooting exposure width setting.
  • ⁇ 1EV is depicted as FIG. 11A
  • ⁇ 2EV is depicted as FIG. 11B
  • ⁇ 3EV is depicted as FIG. 11C.
  • the user setting information is acquired by the control unit 1210 from the I / F unit 1200 of FIG.
  • the moving body region is not replaced with one under image, but is replaced with a multiple image obtained by weighted addition of the under image, the appropriate image, and the over image, so that it is natural regardless of the detection accuracy of the moving body region.
  • a depiction can be obtained. Furthermore, by considering the image quality of the under image, it is possible to preferentially use the under image with a low whiteout risk as much as possible.
  • the reference image for detection of displacement and detection of the moving body region is an under image.
  • an appropriate image or an over image may be used. I do not care.
  • the composite reference image is an under image, an appropriate image or an over image may be used as a composite reference image according to the image quality of the HDR composite image.
  • Embodiment 2 In Embodiment 1 described above, the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the shooting exposure width, which is a user setting item in HDR synthesis. On the other hand, in the second embodiment, the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the appropriate ISO sensitivity.
  • the configuration of the imaging apparatus in the second embodiment is the same as that in FIG. In the second embodiment, the moving body processing unit 1090 is different from the first embodiment.
  • the scenes targeted for HDR synthesis are not limited to daytime scenes such as backlight, but can also be dark scenes such as neon lights at night.
  • dark scenes since the ISO sensitivity at the time of shooting must be increased, the amount of noise on each of the under, proper, and over images also increases.
  • an appropriate noise reduction process is performed by the noise reduction unit 1012 in FIG. 2, but this is not sufficient for high ISO sensitivity. Therefore, as shown in the following table, the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the ISO sensitivity.
  • the under image quality is deteriorated even when the ISO sensitivity is high. Disappears.
  • the ISO sensitivity information is stored in the memory unit 1220 immediately after shooting as shooting time information, and is read by the control unit 1210.
  • the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the shooting exposure width setting, which is a user setting item in HDR synthesis.
  • the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the appropriate ISO feeling.
  • the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the moving object expression method that is a user setting item in HDR synthesis.
  • the configuration of the imaging apparatus in the third embodiment is the same as that in FIG. In the third embodiment, the moving body processing unit 1090 is different from the first and second embodiments.
  • FIGS. 12A to 12F a mobile object representation method which is a user setting item of the present embodiment will be described.
  • Reference numerals 1201 to 1203 in FIG. 12A respectively indicate the first (proper image), second (under image), and third (over image) images of the moving subject.
  • 12B to 12F illustrate a moving object expression method that can be realized by changing the weighted addition ratio of the under image, the appropriate image, and the over image.
  • the moving body at the moment of shooting (the first shot with the earliest shooting time) is most clearly captured, and the strobe is captured in front curtain sync during long exposure.
  • the method is called the first curtain synchro style.
  • an expression method in which the moving object at the moment when shooting is finished (third shot with the slowest shooting time) is most clearly captured, and the strobe is synchronized with the trailing curtain during long exposure. Called the second-curtain sync.
  • FIG. 12D an expression method in which a moving body being photographed (first to third sheets) is evenly captured at every moment and a strobe is photographed with multiple flashes during long exposure is used. Call it A.
  • the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the moving object expression method selected by the user as shown in the following table.
  • the weighted addition ratio of the under image, the appropriate image, and the over image constituting the moving body region is determined according to the moving body expression method that is a user setting item in HDR synthesis. For this reason, a user's moving body representation method can be reflected in a HDR synthetic image.
  • the user setting information is acquired by the control unit 1210 when the I / F unit 1200 receives a selection operation by the user.
  • the timing for acquiring the user setting information may be before shooting, but may be the timing when the user inputs information while confirming the HDR composite image after shooting.
  • FIG. 13 exemplifies a UI screen for the user of this embodiment to select a mobile object representation method.
  • This UI screen is displayed on the display unit or the like by the control unit 1210 via the I / F unit 1200.
  • the displacement correction unit 1050 corrects the displacement, or whether the moving object region synthesis unit 1070 synthesizes the moving object region. It may be possible to select whether or not.
  • Embodiment 4 In Embodiment 3 described above, the weighted addition ratio of the under image, the appropriate image, and the over image is determined according to the moving object expression method that is a user setting item. On the other hand, in the present embodiment, the control unit 1210 automatically sets the mobile object representation method according to the feature information of the mobile object.
  • FIG. 14 shows a process of automatically setting a mobile object representation method according to the feature information of the mobile object of this embodiment. This process is performed by the control unit 1210 using a program stored in the memory unit 1220. It is realized by expanding and executing in a work area such as a RAM.
  • the moving body area detection unit 1060 when the ratio of the moving body area to the image is equal to or less than a threshold value, for example, 5% or less (YES in S1401), the moving body area detection unit 1060 contains almost no moving body.
  • the unit 1210 selects the blur reduction in FIG. 12F (S1401, S1402).
  • the positional deviation detection unit 1040 can acquire the optical flow from the motion vector of the moving body, and any of the three motion vector images is If the image is moving outward in one direction (YES in S1403, NO in S1404), the expression that the moving object gradually disappears is suitable as the moving object expression method.
  • the curtain synchro wind is selected (S1406).
  • the control unit 1210 selects the trailing curtain synchro wind of FIG. 12C (S1405).
  • the control unit 1210 based on the number of images of the moving body region synthesized by the image synthesis unit 1080, when synthesized from a plurality of images (NO in S1407), the multi-light emission A, 1 in FIG.
  • the multi-light emission B shown in FIG. 12E is selected (S1408 or S1409).
  • control unit 1210 is synthesized so that the effect of the HDR synthesis can be utilized by detecting the image with the largest proportion of the synthesized moving body regions from the three images by the image synthesis unit 1080. You may select the multi light emission style B of FIG. 12E which enlarged the weighted addition ratio of the image with the largest ratio.
  • conditions for selecting the moving object representation method such as the moving speed of the moving object and the position of the moving object on the image, may be added to the above conditions assuming the target user of the imaging device, You may choose.
  • Embodiment 5 In Embodiment 3 described above, the weighted addition ratio of the under image, the appropriate image, and the over image is determined in accordance with the moving object expression method that is a user setting item in HDR synthesis. On the other hand, in this embodiment, the control unit 1210 automatically sets the shooting order according to the set moving object representation method.
  • the shooting order of the under image, the appropriate image, and the over image is determined according to the user's moving object expression method.
  • the first, second, and third images obtained by sequentially capturing moving subjects are different from the third embodiment.
  • the first image is a clear image because the exposure time is short
  • the third image is an image in which the mobile object has a tail because the exposure time is long. Suitable for front curtain sync.
  • the first, second, and third images obtained by sequentially capturing the moving subjects are different from the third embodiment in that The first (over image), the second (proper image), and the third (under image) are taken.
  • the first image is an image in which the moving body has a tail because the exposure time is long
  • the third image is a clear image because the moving body is clear because the exposure time is short. Suitable for trailing curtain sync.
  • the conditions for determining the shooting order according to the moving object representation method may be added from the above conditions or may be selected based on the target user of the imaging apparatus.
  • the image that replaces the moving body region by the moving body processing unit 1090 is an image obtained by weighted addition of the under image, the appropriate image, and the over image at the ratios described in Embodiments 1 to 3 described above.
  • the effect of high dynamic range synthesis may be reduced by correcting the weighted addition image in the moving object processing unit 1090.
  • the effect of high dynamic range synthesis is diminished by weighted addition of the overexposed image.
  • the effect of high dynamic range synthesis is reduced by weighted addition of a blackened under image.
  • the high-luminance area is replaced with the under image and the low-luminance area is replaced with the over image of the image weighted and added at the above-described ratio, thereby replacing the moving body area.
  • the same image as the image composition unit 1080 according to the composition ratio shown in FIG. Processing is performed (S1501). That is, an over image is used for an area darker than the combined reference luminance threshold Y1a, a weighted addition image is used for the luminance range of the combined reference luminance thresholds Y2a to Y3a, and an under image is used for an area brighter than the combined reference luminance threshold Y4a. Further, in the intermediate region between the boundaries Y1a to Y2a and Y3a to Y4a in the vicinity of the synthesis reference luminance threshold, the image switching is smoothed by gradually changing the synthesis ratio. This image will be referred to as a weighted addition HDR image 1.
  • the under image is used as a synthesis reference image, and the same processing as that of the image synthesis unit 1080 is performed according to the synthesis ratio shown in FIG. 17 (S1502). That is, an appropriate image is used for an area darker than the combined reference luminance threshold Y1b, and a weighted addition HDR image 1 is used for an area brighter than the combined reference luminance threshold Y2b. Further, in the intermediate region between the boundaries Y1b to Y2b near the synthesis reference luminance threshold, the switching of images is made smooth by gradually changing the synthesis ratio. This image will be referred to as a weighted addition HDR image 2. This process has an effect of reducing black crushing when a low-brightness moving subject passes through a portion that was a high-brightness region in a proper image at the timing when an under image is taken.
  • the over image is used as a synthesis reference image, and the same processing as the image synthesis unit 1080 is performed according to the synthesis ratio shown in FIG. 18 (S1503). That is, the weighted addition HDR image 2 is used for an area darker than the combined reference luminance threshold Y3c, and an appropriate image is used for an area brighter than the combined reference luminance threshold Y4c.
  • the switching of images is made smooth by gradually changing the synthesis ratio. This image is referred to as a weighted addition HDR image 3. This process has an effect of reducing whiteout when a high-luminance moving subject passes through a portion that was a low-brightness region in the appropriate image at the timing when the over image was taken.
  • the moving object processing unit 1090 replaces the moving object region with the weighted addition HDR image 3.
  • the high luminance region is further replaced with the under image and the low luminance region is replaced with the over image of the image weighted and added at the ratio shown in the first to third embodiments. For this reason, even if the image replaces the moving body region, whiteout and blackout can be reduced and the effect of high dynamic range composition can be maintained.
  • the weighted addition HDR image 3 instead of the weighted addition HDR image 3, the weighted addition HDR image 2 or the weighted addition HDR image 1 may be used as a replacement image of the moving body region. In this case, memory and processing time can be reduced.
  • the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do.
  • the program and the storage medium storing the program constitute the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　露出を変えて撮像される複数枚の画像を合成する画像処理装置において、前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出手段と、前記位置ずれ検出手段により検出された位置ずれ量から画像間の位置ずれを補正する補正手段と、前記位置ずれが補正された複数枚の画像から移動体領域を検出する移動体領域検出手段と、前記位置ずれが補正された複数枚の画像を合成する画像合成手段と、前記画像合成手段により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理手段と、を有する。

Description

画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
　本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。
　白飛びが少ない画像と黒潰れが少ない画像を、露光条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法がある。これはハイダイナミックレンジ（ＨＤＲ）合成と呼ばれている。このＨＤＲ合成処理は、複数枚の画像間に撮影タイミングのズレが生じるため、移動被写体を撮影するには不向きとされ、移動被写体の位置に応じて輝度が異なっている非常に違和感のある合成画像が生成されてしまう。
　このような課題を解決する方法が、例えば、特許文献１、２に記載されている。
　特許文献１では、異なる露光量で撮像された複数の画像を比較して動きベクトルを算出し、算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定する。そして、合成不適合部の画素信号を、合成不適合部ではない画素信号に基づいて補正する。
　また、特許文献２には、異なる露出で撮影された複数の画像間の位置ずれを検出・補正し、位置ずれ補正後に画像間の個々の部分の類似性を評価し、類似性評価に応じて画像合成方法を変更する方法が記載されている。これにより、カメラが動いたことによる位置ずれや、被写体が動いたことによる被写体ぶれが少ない画像を作成することができる。さらに、特許文献２では、類似性に応じて合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれが少ない画像を作成できることが記載されている。
特許第４２８２１１３号公報 特許第４５５３９４２号公報
　上記特許文献１及び２はいずれも、移動被写体の領域を基本的には他の画像１枚で置き換える処理であり、移動被写体の位置に応じて輝度が異なることのない自然な画像を得ることを狙っている。しかしながら、これらの手法は移動被写体の領域を間違えることなく正確に抽出できていることが前提となっている。
　本発明は、上記課題に鑑みてなされ、移動被写体であっても違和感のない自然な画像を生成することができるハイダイナミックレンジ合成処理を実現する。
　上記課題を解決するために、本発明は、露出を変えて撮像される複数枚の画像を合成する画像処理装置において、前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出手段と、前記位置ずれ検出手段により検出された位置ずれ量から画像間の位置ずれを補正する補正手段と、前記位置ずれが補正された複数枚の画像から移動体領域を検出する移動体領域検出手段と、前記位置ずれが補正された複数枚の画像を合成する画像合成手段と、前記画像合成手段により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理手段と、を有する。
　また、本発明は、露出を変えて撮像される複数枚の画像を合成する画像処理方法であって、前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出工程と、前記位置ずれ検出工程により検出された位置ずれ量から画像間の位置ずれを補正する補正工程と、前記位置ずれが補正された複数枚の画像から移動体領域を検出する移動体領域検出工程と、前記位置ずれが補正された複数枚の画像を合成する画像合成工程と、前記画像合成工程により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理工程と、を有する。
　本発明によれば、移動被写体であっても違和感のない自然な画像を生成することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明に係る実施形態の撮像装置の構成を示すブロック図。 本実施形態の現像処理部の構成を示すブロック図。 本実施形態のＨＤＲ合成処理を示すフローチャート。 ガンマ特性を例示する図。 図３の位置ずれ検出処理を示すフローチャート。 位置ずれ検出処理における基準画像を例示する図。 位置ずれ検出処理における位置ずれ検出画像を例示する図。 本実施形態の移動体領域検出部の構成を示すブロック図。 移動体領域検出結果を例示する図。 移動体領域検出結果を例示する図。 移動体領域検出結果を例示する図。 移動体領域検出結果を例示する図。 本実施形態の移動体領域合成部の構成を示すブロック図。 ＨＤＲ合成割合を示す図。 本実施形態のＨＤＲ合成処理結果を例示する図。 本実施形態のＨＤＲ合成処理結果を例示する図。 本実施形態のＨＤＲ合成処理結果を例示する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択画面を例示する図。 実施形態４の移動体表現方法の選択処理を示すフローチャート。 実施形態６の移動体処理部での画像合成順序を例示する図。 加重加算ＨＤＲ１合成割合を示す図。 加重加算ＨＤＲ２合成割合を示す図。 加重加算ＨＤＲ３合成割合を示す図。
　以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
　［実施形態１］以下、本発明の画像処理装置を、例えば、画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。なお、本発明は、撮影レンズを介して撮影された、複数の色プレーンからなる画像に対し適用できるため、本発明の対象となる画像は、ＲＡＷデータや、現像処理後のＪＰＥＧなどに限定されるものではない。
　＜装置構成＞図１乃至図３を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
　図１において、１２１０は撮像装置全体の制御を司る制御部である。制御部１２１０は後述する各部を制御して、ユーザの設定と操作に応じてＨＤＲ合成処理を行う。１２００はユーザ操作や外部入力などを受け付けるＩＦ（インタフェース）部である。１２２０は後述するＨＤＲ合成処理に関するプログラムやパラメータ、処理対象の画像データを保持するメモリ部である。図３で後述するＨＤＲ合成処理は、制御部１２１０が、メモリ部１２２０に格納されたプログラムを、ＲＡＭ等のワークエリアに展開し、実行することで実現される。
　撮像部１０００では、結像光学系（レンズ）を介して入射する被写体像を撮像素子上に結像して光電変換し、撮像素子から出力されるアナログ信号を、後述する画像処理に適するデジタルデータへと変換する（Ｓ１）。撮像素子は、例えば、一般的な原色カラーフィルタを備えるＣＭＯＳなどから構成される単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類の色フィルタからなり、Ｒ、Ｇ、Ｂの各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、これらの色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される。Ａ／Ｄ変換部は撮像素子からアナログ信号として出力される色モザイク画像を、画像処理に適するデジタル画像データへと変換する。
　アンダー、適正、オーバーの各現像処理部１０１０～１０３０は入力信号が異なるためパラメータなどを各々最適化する必要があるが基本的な処理としては同様である（Ｓ２Ａ～Ｓ２Ｃ）。
　ホワイトバランス部１０１１では、ホワイトバランス処理が施される。具体的には、白色であるべき領域のＲ、Ｇ、Ｂが同じ信号値になるようなゲインがＲＧＢ各々にかけられる。ノイズ低減部１０１２では入力画像データの被写体像に由来しないセンサ起因のノイズなどを低減する。色補間部１０１３では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０１４及びガンマ変換部１０１５によって基本的なカラー画像が生成される。その後、色調整部１０１６でカラー画像の見栄えを改善するための処理が施され、例えば、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
　ハイダイナミックレンジ（ＨＤＲ）合成を行う際には、異なる露出で撮影した画像の各々の適正露出付近の信号を使用するために予めゲインをかけて輝度レベルを揃えておく必要がある。ゲインは白飛びや黒潰れをしないように設定する必要があるため一律なゲインではなく、図４に例示するようなガンマ値で補正を行う。ここで実線（ｉ）は適正画像用のガンマ値、一点鎖線（ｉｉ）はアンダー画像用のガンマ値、点線（ｉｉｉ）はオーバー画像用のガンマ値をそれぞれ例示している。ガンマ変換部１０１５はこれらガンマ値を用いてガンマ補正を行う。また、ガンマ値については、露光量比から算出されるゲインをかけたときに、例えば±３ＥＶの撮影露出差の場合は、アンダーに対して８倍のゲイン、オーバーに対して１／８倍のゲインをかけたときに、ガンマ特性が同じになるように設定する。こうすることで、後に、輝度域に応じて複数枚の画像を切り替えたときに、境界を滑らかにすることができる。そして、図４に示すガンマ特性を見てわかるように、アンダー画像に対しては適正よりも大きいゲインがかかるため、現像処理後のアンダー画像はノイズが増大されることが懸念される。一方、オーバー画像に対しては適正露出よりも小さいゲインがかかり、現像処理後のオーバー画像はノイズの低減が見込めるため、必要以上に強いノイズ低減処理をかけることは相応しくない。そこで、ノイズ低減部１０１２では入力画像に応じて適切なノイズ低減を行うためノイズ低減処理の強度を画像毎に切り替える。ノイズ低減処理の具体的な方法は、適当なカーネルサイズにおける平滑化処理などの一般的な方法や、εフィルタやエッジ保存型のバイラテラルフィルタといったフィルタによる方法などが考えられる。本実施形態では、システムの処理速度やメモリといったリソースとのバランスを考慮して適宜適切な方法を適用すればよい。
　位置ずれ検出部１０４０は、制御部１２１０の指示に従い、現像処理を行ったアンダー画像と適正画像の位置ずれの検出、並びにアンダー画像とオーバー画像の位置ずれの検出を行う（Ｓ３Ａ、Ｓ３Ｂ）。ここでは、まず各画像を複数個のブロック領域に分割して、それぞれのブロック毎にエッジ検出処理を行う（図５のステップＳ４１）。エッジ検出方法として、入力画像にローパスフィルタをかけることで大ボケ画像を作成し、入力画像から大ボケ画像を減算することでエッジを検出する。もしくは、公知の微分フィルタやプリューウィットフィルタなどを用いる方法が考えられる。エッジ検出では、センサ起因のノイズではなく、被写体像のエッジのみを検出した方が位置ずれ検出精度を向上することができる。
　次に、位置ずれ検出部１０４０は、画像のブロック領域の中でエッジ検出ができたブロック領域に対してずれ量検出を行う（図５のステップＳ４２）。エッジ検出ができたブロック領域に対してのみずれ量を検出することで、位置ずれ検出精度を向上することができる。ずれ量検出方法としては、ブロック領域内の全画素の位置基準用画像の画素値（輝度）と位置ずれ検出画像の画素値（輝度）の差の絶対値の総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、この総和が最も小さくなるような移動量と移動方向をそのブロックの動きベクトルとする方法がある。図６Ａ－Ｂはずれ量検出方法を例示している。図６Ａは、位置基準画像の対象ブロック領域の画素値を示している。
　一方、図６Ｂは、位置ずれ検出画像の画素値を示している。図６Ａ－Ｂの場合、画素値の差の絶対値が最も小さくなる移動量は、（ｘ、ｙ）＝（１、２）と求まる。同様の処理を画像の全ブロック領域に対して行い、全てのブロック領域の動きベクトルを求める。ずれ量検出では、位置基準用画像と位置ずれ検出画像の同じ被写体領域が同じ明るさである方が位置ずれ検出精度を向上することができる。
　最後に、位置ずれ検出部１０４０は、幾何変換係数を算出する（図５のステップＳ４３）。幾何変換係数としてはアフィン係数を用いる。アフィン係数とは線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の式１で表される。
Figure JPOXMLDOC01-appb-I000001
　ここで、補正前画像の座標を（ｘ、ｙ）、補正後画像の座標を（ｘ’、ｙ’）とし、３×３行列をアフィン係数と呼ぶ。各ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。
　以上が、位置ずれ検出部１０４０における位置ずれ検出方法であるが、本発明は、これに限定するものではない。位置ずれ検出方法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にもさまざまな方法があるが、位置ずれ検出精度や検出処理負荷、処理速度など、デジタルカメラに適した方法であれば適用可能である。
　図３の説明に戻り、位置ずれ補正部１０５０は、上記位置ずれ検出処理で算出したアフィン係数に基づいて、適正画像及びオーバー画像を補正（アフィン変換）する（Ｓ４Ａ、Ｓ４Ｂ）。
　移動体領域検出部１０６０は、アンダー画像及び、位置合わせ後の適正画像、オーバー画像を用いて移動被写体領域の検出を行う（Ｓ５Ａ、Ｓ５Ｂ）。図７は移動体領域検出部１０６０の構成を示している。図７において、基準画像１０６１はアンダー画像であり、図８Ａのようなシーンであるとする。一方、位置合わせ済み画像１０６２は位置合わせ済み適正画像もしくは位置合わせ済みオーバー画像であり、図８Ｂのように図８Ａに対して少しだけ右側に移動したシーンとする。動体検出部１０６３は、基準画像１０６１と位置合わせ済み画像１０６２から動体領域を検出する。移動被写体領域を抽出する方法は幾つか考えられるが、カメラにはメモリや処理速度の制約があるため、複雑な処理は現実的ではない。
　そこで、本実施形態では、２枚の画像の輝度差分や色差差分を求め、差分がある領域を移動被写体であると判定する。ところが、どちらの差分も移動被写体の色と背景色が似通ったシーンでは移動しているにも関わらず移動していないと誤検出されてしまい領域が移動被写体に部分的に出現してしまう可能性がある。このような誤検出領域は、移動被写体領域として扱われないため、周辺の領域と色、輝度、ノイズ感などが異なってしまい、非常に違和感のある合成画像となってしまう。そこで、本実施形態では、白飛び黒つ潰れ領域除外部１０６４や孤立領域除去部１０６５などにより誤検出領域を可能な限り差分Ｄｉｆｆから除外する。また、いずれかの露出画像１枚で置き換えるのではなく、加重加算した多重画像で置き換える。差分Ｄｉｆｆは色信号及び輝度信号を用いて以下の式２で算出する。
Figure JPOXMLDOC01-appb-I000002
　ここでＹは輝度信号、Ｕ、Ｖは色信号を表わす。従って差分Ｄｉｆｆは色差を意味する。
　次に、白飛び黒潰れ領域除外部１０６４は、差分Ｄｉｆｆに対して、アンダー画像や適正画像の黒潰れ輝度域及び、適正画像やオーバー画像の白飛び輝度域を除外する。これは白飛びや黒潰れ領域が動体検出部１０６３の検出結果に差分として現れ、移動体領域と誤判定されることを防止する目的で行う。基準画像１０６１から黒潰れ輝度ｔｈ１以下の信号の領域と位置合わせ済み画像１０６２の白飛び輝度ｔｈ２以上の信号の領域を差分Ｄｉｆｆから除外（信号値を０にする）する。結果は図８Ｃのようになる。
　その後、差分Ｄｉｆｆの結果を参照しながら移動体領域を補正する処理に移行するが、それに先立って差分Ｄｉｆｆから誤検出による、極小な移動体や移動体内の非移動体などの孤立領域を孤立領域除去部１０６５により除去しておく。これにより移動体領域の境界を滑らかで自然な描写にすることができる。孤立領域を除去する方法は幾つか考えられるが、例えば差分Ｄｉｆｆを縮小及び拡大することを考える。縮小の段階で移動体と誤判定された小さな領域を除去することができ、元のサイズに拡大する段階で、移動体領域の内部に存在する非移動体領域を収縮することができる。他にも周辺画素を使ったフィルタ処理などで高精度な孤立領域除去する方法はあるが、縮小・拡大は処理負荷があまりかからないためリソースの限られているカメラ内での処理としては有効な手段である。以上の移動体領域検出処理により抽出された移動体領域は図８Ｄのようになる。画像信号は非移動体領域が０として表わされ、移動体領域が２５５（８ｂｉｔの場合）として表わされる。移動体領域と非移動体領域の境界については、１～２５４の間で表わされる。
　次に、移動体領域合成部１０７０は、移動体領域検出部１０６０から出力される、アンダー画像と適正画像の移動体領域と、アンダー画像とオーバー画像の移動体領域とを合成する（Ｓ６）。図９は移動体領域合成部１０７０の構成を示している。図９において、アンダー画像と適正画像の移動体検出画像１（１０７１）と、アンダー画像とオーバー画像の移動体検出画像２（１０７２）を大値選択部１０７３にて大値選択する。移動体領域は１以上の信号で表わされているため大値選択をすることで、全ての移動体領域を検出した画像を得ることができる。
　一方、画像合成部１０８０は、アンダー画像と位置合わせ済みの適正画像・オーバー画像を用いて別途、図１０に示す合成割合に従って輝度別合成処理を行い、ＨＤＲ合成画像を生成する（Ｓ７）。ＨＤＲ合成画像を取得するためには、合成基準輝度閾値Ｙ１より暗い領域はオーバー画像を使用し、合成基準輝度閾値Ｙ２～Ｙ３の輝度域は適正画像を使用し、合成基準輝度閾値Ｙ４より明るい領域はアンダー画像を使用する。また、合成基準輝度閾値付近の境界Ｙ１～Ｙ２及びＹ３～Ｙ４の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。
　最後に、移動体処理部１０９０は、移動体領域検出画像を参照しながらＨＤＲ合成画像内の移動体領域を修正する（Ｓ８）。前述したように、移動体領域を正確に抽出しアンダー画像のみで置き換える処理は、リソースの限られたカメラ内で行うことは難しい。そこで、移動体領域はアンダー画像、適正画像、オーバー画像を加重加算した画像で置き換えることを考える。基本的には白飛びの程度が最も少ないアンダー画像を優先的に使うが、アンダー画像の色曲がりやノイズといった画質劣化の程度に応じて適正画像及びオーバー画像を少しミックスする。そこで、ハイダイナミックレンジにおけるアンダーとオーバーの撮影露出幅に着目する。アンダー画像の画質は画像処理の過程でかかるゲインの量に関連する。例えばＨＤＲ合成において、撮影露出幅が狭め（±１ＥＶ）、標準（±２ＥＶ）、広め（±３ＥＶ）のようにユーザ設定の選択肢がある場合、狭めのアンダー露出（－１ＥＶ）にかかるゲインと比較して広めのアンダー露出（－３ＥＶ）にかかるゲインの方が大きい。このため、色曲がりやノイズは広めのアンダー露出の方が悪い。従って、移動体領域の最終的な画像信号Ｓは次の式で算出される。
Ｓ＝αＬｏｗ＋βＭｉｄ＋γＨｉ
α＋β＋γ＝１
　アンダー（Ｌｏｗ）と適正（Ｍｉｄ）とオーバー（Ｈｉ）の加重加算の割合を下記に例示する。
Figure JPOXMLDOC01-appb-I000003
　上記撮影露出幅設定に対応した移動体の描写例を図１１Ａ－Ｃに示す。±１ＥＶは図１１Ａ、±２ＥＶは図１１Ｂ、±３ＥＶは図１１Ｃのように描写される。なお、ユーザ設定情報は、制御部１２１０が図１のＩ／Ｆ部１２００から取得する。
　上述した実施形態１では、移動体領域をアンダー画像１枚で置き換えるのではなく、アンダー画像、適正画像、オーバー画像を加重加算した多重画像で置き換えるため、移動体領域の検出精度に依らず自然な描写を得ることができる。さらに、アンダー画像の画質を考慮することでなるべく白飛びリスクの低いアンダー画像を優先的に使用することが可能となる。
　また、実施形態１では、位置ずれ検出や移動体領域検出の基準画像をアンダー画像としたが、検出精度が適正画像やオーバー画像を基準画像とした方が適切な場合は適正画像やオーバー画像でも構わない。同様に、合成基準画像をアンダー画像としたが、ＨＤＲ合成画像の画質に応じて適正画像やオーバー画像を合成基準画像としても良い。
　［実施形態２］上述した実施形態１ではＨＤＲ合成でのユーザ設定項目である撮影露出幅に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定した。これに対して、実施形態２では、適正のＩＳＯ感度に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。
　なお、実施形態２における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態１と異なる点について説明する。実施形態２では移動体処理部１０９０が実施形態１と異なっている。
　ＨＤＲ合成で対象とするシーンは、逆光のような日中のシーンだけに限らず、夜景のネオンなど暗いシーンもありうる。暗いシーンでは撮影時のＩＳＯ感度を上げなければならないため、アンダー、適正、オーバーの各画像に乗るノイズ量も増大してしまう。ノイズに対しては図２のノイズ低減部１０１２にて適切なノイズ低減処理を行うが、高ＩＳＯ感度ではそれだけでは不十分である。そこで、以下の表のようにＩＳＯ感度に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。
Figure JPOXMLDOC01-appb-I000004
　以上の実施形態２では、ＩＳＯ感度に応じて、移動体領域を構成するアンダー画像、適正画像、オーバー画像の加重加算割合を決定するため、高いＩＳＯ感度になっても、アンダーの画質の劣化が目立たなくなる。なお、ＩＳＯ感度情報は撮影時情報として撮影直後にメモリ部１２２０に格納しておき、制御部１２１０により読み出される。
　［実施形態３］上述した実施形態１では、ＨＤＲ合成でのユーザ設定項目である撮影露出幅設定に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。また、上述した実施形態２では、適正のＩＳＯ感に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。
　なお、実施形態３における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態１、２と異なる点について説明する。実施形態３では移動体処理部１０９０が実施形態１、２と異なっている。
　まず、図１２Ａ－Ｆを参照して、本実施形態のユーザ設定項目である移動体表現方法について説明する。図１２Ａの１２０１～１２０３は、移動している被写体を順に撮影した１枚目（適正画像）と２枚目（アンダー画像）と３枚目（オーバー画像）の画像をそれぞれ示している。また、図１２Ｂ～Ｆは、アンダー画像、適正画像、オーバー画像の加重加算割合を変更することで実現できる移動体表現方法を例示している。
　本実施形態では、図１２Ｂのような、撮影を始めた瞬間（撮影時刻が最も早い１枚目）の移動体を最もはっきりと写す、長時間露光中にストロボを先幕シンクロ撮影したような表現方法を、先幕シンクロ風と呼ぶ。また、図１２Ｃのような、撮影を終えた瞬間（撮影時刻が最も遅い３枚目）の移動体を最もはっきりと写す、長時間露光中にストロボを後幕シンクロ撮影したような表現方法を、後幕シンクロ風と呼ぶ。また、図１２Ｄのような、撮影中（１枚目～３枚目）の移動体をどの瞬間も均等に写す、長時間露光中にストロボをマルチ発光撮影したような表現方法を、マルチ発光風Ａと呼ぶ。また、図１２Ｅのような、撮影の中間地点（２枚目）の移動体を最もはっきりと写す表現方法を、マルチ発光風Ｂと呼ぶ。また、図１２Ｆのような、撮影の中間地点（２枚目）の移動体だけを写す表現方法を、ブレ軽減と呼ぶ。これらの移動体表現方法から、ユーザが所望の表現方法を、移動体の大きさや移動速度、移動方向などの特徴情報から選択できるようにすることで、ユーザによる移動体表現方法の選択の幅を広げることができる。
　そこで、以下の表のようにユーザが選択した移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。
Figure JPOXMLDOC01-appb-I000005
　なお、移動体表現方法のバリエーションは、アンダー画像、適正画像、オーバー画像の加重加算割合を変更することで他にもいくつか考えられるので、上述の５種類に限定されるものではない。
　上述した実施形態３では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、移動体領域を構成するアンダー画像、適正画像、オーバー画像の加重加算割合を決定する。このため、ユーザの移動体表現方法をＨＤＲ合成画像に反映することができる。なお、ユーザ設定情報は、Ｉ／Ｆ部１２００がユーザによる選択操作を受け付けることで制御部１２１０が取得する。また、ユーザ設定情報を取得するタイミングは、撮影前でも構わないが、撮影後のＨＤＲ合成画像を確認しながらユーザが情報を入力したタイミングでも良い。
　図１３は、本実施形態のユーザが移動体表現方法を選択するためのＵＩ画面を例示している。このＵＩ画面は、制御部１２１０によりＩ／Ｆ部１２００を介して表示部などに表示される。なお、図１３に示すように、移動体表現方法の選択だけでなく、位置ずれ補正部１０５０で位置ずれの補正を行うか否か、移動体領域合成部１０７０で移動体領域の合成を行うか否かを選択可能に構成しても良い。
　［実施形態４］上述した実施形態３では、ユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、制御部１２１０が移動体の特徴情報に応じて移動体表現方法を自動的に設定する。
　なお、実施形態４における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態３と異なる点について説明する。
　図１４は、本実施形態の移動体の特徴情報に応じて移動体表現方法を自動的に設定する処理を示しており、この処理は、制御部１２１０が、メモリ部１２２０に格納されたプログラムを、ＲＡＭ等のワークエリアに展開し、実行することで実現される。
　図１４において、移動体領域検出部１０６０において、移動体領域が画像に占める割合が閾値以下、例えば５％以下であった場合（Ｓ１４０１でＹＥＳ）は、移動体がほとんど含まれていないので、制御部１２１０は図１２Ｆのブレ軽減を選択する（Ｓ１４０１、Ｓ１４０２）。
　また、移動体領域が画像に占める割合が閾値より大きく（Ｓ１４０１でＮＯ）、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像のいずれも、画像の外側へ一方向に向かっている場合（Ｓ１４０３でＹＥＳ、Ｓ１４０４でＮＯ）は、移動体表現方法として徐々に移動体が消えていく表現が適しているため、制御部１２１０は図１２Ｂの先幕シンクロ風を選択する（Ｓ１４０６）。
　一方、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像のいずれも、画像の内側へ一方向に向かっている場合（Ｓ１４０４でＹＥＳ）は、移動体表現方法として徐々に移動体が現れていく表現が適しているため、制御部１２１０は図１２Ｃの後幕シンクロ風を選択する（Ｓ１４０５）。
　さらに、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像で異なっていた場合（Ｓ１４０３でＮＯ）は、移動体表現方法として流れるような表現は適していない。このため、制御部１２１０は画像合成部１０８０で合成された移動体領域の画像の枚数に基づいて、複数枚の画像から合成された場合（Ｓ１４０７でＮＯ）は図１２Ｄのマルチ発光風Ａ、１枚の画像から合成された場合（Ｓ１４０７でＹＥＳ）は図１２Ｅのマルチ発光風Ｂを選択する（Ｓ１４０８またはＳ１４０９）。
　ここで、画像合成部１０８０により３枚の画像の中から移動体領域が合成された割合が最も多い画像を検出することで、ＨＤＲ合成の効果を活用できるように、制御部１２１０が合成された割合が最も多い画像の加重加算割合を大きくした図１２Ｅのマルチ発光風Ｂを選択しても良い。
　この他にも、移動体の移動速度や移動体の画像上の位置など、移動体表現方法を選択する条件は、撮像装置のターゲットユーザを想定して、上記の条件に追加してもよく、取捨選択しても良い。
　［実施形態５］上述した実施形態３では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、設定された移動体表現方法に応じて、制御部１２１０が自動的に撮影順序を設定する。
　移動体表現方法を反映させる場合に、順に撮影した１枚目と２枚目と３枚目の画像の特徴情報を考慮することで、より自然な表現が可能である。そこで、以下の表のようにユーザの移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の撮影順序を決定する。
Figure JPOXMLDOC01-appb-I000006
　以下に、具体的なそれぞれの移動体表現方法と撮影順序の関係について説明する。
　移動体表現方法として図１２Ｂの先幕シンクロ風を選択した場合、移動している被写体を順に撮影した１枚目と２枚目と３枚目の画像を、実施形態３と異なり、１枚目（アンダー画像）と２枚目（適正画像）と３枚目（オーバー画像）で撮影する。なぜなら、１枚目の画像は露光時間が短いため移動体がはっきりとした画像であり、３枚目の画像は露光時間が長いため移動体が尾を引くような画像となるため、図１２Ｂの先幕シンクロ風に適している。
　また、移動体表現方法として図１２Ｃの後幕シンクロ風を選択した場合、移動している被写体を順に撮影した１枚目と２枚目と３枚目の画像を、実施形態３と異なり、１枚目（オーバー画像）と２枚目（適正画像）と３枚目（アンダー画像）で撮影する。なぜなら、１枚目の画像は露光時間が長いため移動体が尾を引くような画像であり、３枚目の画像は露光時間が短いため移動体がはっきりとした画像となるため、図１２Ｃの後幕シンクロ風に適している。
　この他にも、移動体表現方法に応じて撮影順序を決定する条件は、撮像装置のターゲットユーザを想定して、上記の条件から追加してもよく、取捨選択しても良い。
　［実施形態６］移動体処理部１０９０で移動体領域を置き換える画像は、アンダー画像、適正画像、オーバー画像を、上述した実施形態１から実施形態３で示した割合で加重加算した画像とした。
　しかし、移動体領域の背景に当たる部分が高輝度領域や低輝度領域であった場合に、移動体処理部１０９０において加重加算画像で修正することにより、ハイダイナミックレンジ合成の効果が薄れてしまうことがあった。つまり、移動体領域の背景が高輝度領域であった場合、白飛びしたオーバー画像を加重加算することで、ハイダイナミックレンジ合成の効果が薄れてしまう。また、移動体領域の背景が低輝度領域であった場合、黒潰れしたアンダー画像を加重加算することで、ハイダイナミックレンジ合成の効果が薄れてしまう。
　これに対して、本実施形態では、上述した割合で加重加算した画像の、高輝度領域をアンダー画像で、低輝度領域をオーバー画像で、さらに置き換えることで、移動体領域を置き換える画像であっても白飛びや黒潰れを低減する方法について述べる。以下、図１５の画像合成順序に従って、移動体領域を置き換えるための画像を生成する。
　まず、移動体領域を置き換える画像であっても、ハイダイナミックレンジ合成の効果を保つために、位置合わせ済みの適正画像を合成基準画像として、図１６に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０１）。つまり、合成基準輝度閾値Ｙ１ａより暗い領域はオーバー画像を使用し、合成基準輝度閾値Ｙ２ａ～Ｙ３ａの輝度域は加重加算画像を使用し、合成基準輝度閾値Ｙ４ａより明るい領域はアンダー画像を使用する。また、合成基準輝度閾値付近の境界Ｙ１ａ～Ｙ２ａ及びＹ３ａ～Ｙ４ａの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像１と呼ぶことにする。
　次に、加重加算ＨＤＲ画像１の黒潰れを軽減するために、アンダー画像を合成基準画像として、図１７に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０２）。つまり、合成基準輝度閾値Ｙ１ｂより暗い領域は適正画像を使用し、合成基準輝度閾値Ｙ２ｂより明るい領域は加重加算ＨＤＲ画像１を使用する。また、合成基準輝度閾値付近の境界Ｙ１ｂ～Ｙ２ｂの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像２と呼ぶことにする。この処理は、適正画像では高輝度領域であった部分を、アンダー画像を撮影したタイミングで低輝度な移動被写体が通過した場合に、黒潰れを軽減する効果がある。
　さらに、加重加算ＨＤＲ画像２の白飛びを軽減するために、オーバー画像を合成基準画像として、図１８に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０３）。つまり、合成基準輝度閾値Ｙ３ｃより暗い領域は加重加算ＨＤＲ画像２を使用し、合成基準輝度閾値Ｙ４ｃより明るい領域は適正画像を使用する。また、合成基準輝度閾値付近の境界Ｙ３ｃ～Ｙ４ｃの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像３と呼ぶことにする。この処理は、適正画像では低輝度領域であった部分を、オーバー画像を撮影したタイミングで高輝度な移動被写体が通過した場合に、白飛びを軽減する効果がある。
　最後に、移動体処理部１０９０において、移動体領域を加重加算ＨＤＲ画像３で置き換える。
　以上の実施形態６では、実施形態１から実施形態３で示した割合で加重加算した画像の、高輝度領域をアンダー画像で、低輝度領域をオーバー画像で、さらに置き換える。このため、移動体領域を置き換える画像であっても白飛びや黒潰れを低減し、ハイダイナミックレンジ合成の効果を保つことができる。なお、加重加算ＨＤＲ画像３ではなく、加重加算ＨＤＲ画像２や加重加算ＨＤＲ画像１を移動体領域の置き換え画像としてもよい。この場合、メモリや処理時間が少なくて済む。
　［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１２年４月１９日提出の日本国特許出願特願２０１２－０９６０３９及び２０１２年９月１４日提出の日本国特許出願特願２０１２－２０３５４４を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (28)

  1. 　露出を変えて撮像される複数枚の画像を合成する画像処理装置において、
    　前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出手段と、
    　前記位置ずれ検出手段により検出された位置ずれ量から画像間の位置ずれを補正する補正手段と、
    　前記位置ずれが補正された複数枚の画像から移動体領域を検出する移動体領域検出手段と、
    　前記位置ずれが補正された複数枚の画像を合成する画像合成手段と、
    　前記画像合成手段により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理手段と、を有することを特徴とする画像処理装置。
  2. 　前記画像合成手段は、前記複数枚の画像の中で、最も露出が暗い画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項１に記載の画像処理装置。
  3. 　複数枚の画像の輝度レベルを揃えるためのガンマ変換を行う現像処理手段をさらに有し、
    　前記現像処理手段は、前記複数枚の画像に行うガンマ変換のガンマ特性を、前記複数枚の画像の露光量比から決定することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記現像処理手段は、前記ガンマ特性に応じてノイズ低減処理のパラメータを設定することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記移動体領域検出手段は、基準画像と位置合わせ済み画像の画像信号の差分を移動体領域として検出することを特徴とする請求項１に記載の画像処理装置。
  6. 　前記移動体領域検出手段は、移動体領域の検出結果から、白飛び及び黒潰れが生じる輝度域を除外することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記移動体領域検出手段は、前記移動体が検出された画像に対して孤立領域を除去することを特徴とする請求項６に記載の画像処理装置。
  8. 　露出がアンダーの画像と露出が適正な画像の検出結果と、露出がアンダーの画像とオーバーの画像の検出結果を合成する移動体領域合成手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記移動体処理手段は、複数枚の画像の加算割合を撮影露出幅の設定に応じて決定することを特徴とする請求項１に記載の画像処理装置。
  10. 　前記移動体処理手段は、複数枚の画像の加算割合を適正なＩＳＯ感度に応じて決定することを特徴とする請求項１に記載の画像処理装置。
  11. 　予め決定された露光量で複数枚の画像を撮像する撮像手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 　前記移動体処理手段により複数枚の画像を合成する際の移動体領域の表現方法を選択する選択手段をさらに有し、
    　前記移動体処理手段は、前記選択手段により選択された表現方法に応じて複数枚の画像の加算割合を決定して加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
  13. 　前記移動体処理手段は、複数枚の画像の中で、撮影時刻が遅い画像ほど加算割合を大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
  14. 　前記移動体処理手段は、複数枚の画像の中で、撮影時刻が早い画像ほど、加算割合を大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
  15. 　前記移動体処理手段は、複数枚の画像の加算割合を均等にして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
  16. 　前記移動体処理手段は、複数枚の画像の中で、撮影時刻が中間の画像の加算割合を最も大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
  17. 　前記移動体処理手段は、アンダー画像とオーバー画像と前記加重加算画像とを、適正画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項１２乃至１６のいずれか１項に記載の画像処理装置。
  18. 　前記移動体処理手段は、適正画像と前記加重加算画像とを、アンダー画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項１２乃至１６のいずれか１項に記載の画像処理装置。
  19. 　前記移動体処理手段は、適正画像と前記加重加算画像とを、オーバー画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項１２乃至１６のいずれか１項に記載の画像処理装置。
  20. 　前記表現方法を選択するためのユーザの操作を受け付ける操作手段を有することを特徴とする請求項１２に記載の画像処理装置。
  21. 　前記補正手段による位置ずれの補正を行うか否かを選択するためのユーザの操作を受け付ける操作手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
  22. 　前記移動体処理手段による移動体領域の処理を行うか否かを選択するためのユーザの操作を受け付ける操作手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
  23. 　前記選択手段は、前記移動体領域の特徴情報に応じて前記表現方法を自動的に選択することを特徴とする請求項１２に記載の画像処理装置。
  24. 　前記特徴情報は、移動体領域が画像に占める割合、移動体領域から検出される動きベクトル、移動体領域が複数枚の画像を合成したものか否かのいずれかであることを特徴とする請求項２３に記載の画像処理装置。
  25. 　予め決定された露光量で複数枚の画像を撮像する撮像手段と、
    　前記選択手段により設定された表現方法に応じて前記撮像手段による画像の撮影順序を制御する制御手段と、をさらに有することを特徴とする請求項１２乃至２４のいずれか１項に記載の画像処理装置。
  26. 　露出を変えて撮像される複数枚の画像を合成する画像処理方法であって、
    　前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出工程と、
    　前記位置ずれ検出工程により検出された位置ずれ量から画像間の位置ずれを補正する補正工程と、
    　前記位置ずれが補正された複数枚の画像から移動体領域を検出する移動体領域検出工程と、
    　前記位置ずれが補正された複数枚の画像を合成する画像合成工程と、
    　前記画像合成工程により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理工程と、を有することを特徴とする画像処理方法。
  27. 　コンピュータを、請求項１乃至２５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
  28. 　コンピュータを、請求項１乃至２５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
PCT/JP2013/001855 2012-04-19 2013-03-19 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 WO2013157201A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/981,284 US9646397B2 (en) 2012-04-19 2013-03-19 Image processing apparatus and image processing method
CN201380000647.8A CN103477626B (zh) 2012-04-19 2013-03-19 图像处理设备以及图像处理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012096039 2012-04-19
JP2012-096039 2012-04-19
JP2012-203544 2012-09-14
JP2012203544A JP6046966B2 (ja) 2012-04-19 2012-09-14 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Publications (1)

Publication Number Publication Date
WO2013157201A1 true WO2013157201A1 (ja) 2013-10-24

Family

ID=49383176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001855 WO2013157201A1 (ja) 2012-04-19 2013-03-19 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Country Status (4)

Country Link
US (1) US9646397B2 (ja)
JP (1) JP6046966B2 (ja)
CN (1) CN103477626B (ja)
WO (1) WO2013157201A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3198853A4 (en) * 2014-09-25 2018-06-27 Intel Corporation High dynamic range image composition using multiple images

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068120B2 (en) * 2013-03-15 2018-09-04 Apple Inc. High dynamic range fingerprint sensing
US11290652B2 (en) * 2013-05-31 2022-03-29 Nikon Corporation Electronic apparatus and control program
JP6075315B2 (ja) * 2014-03-28 2017-02-08 株式会社Ｊｖｃケンウッド 合成画像作成システム、合成画像作成方法、及び合成画像作成プログラム
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6678376B2 (ja) 2014-04-11 2020-04-08 ハンファテクウィン株式会社 動き検出装置および動き検出方法
KR102273656B1 (ko) 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
JP2016170522A (ja) * 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
JP6075588B1 (ja) * 2015-04-09 2017-02-08 三菱電機株式会社 画像結合装置、画像読取装置及び画像結合方法
JP6494388B2 (ja) * 2015-04-15 2019-04-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US9544506B1 (en) * 2015-08-26 2017-01-10 Novatek Microelectronics Corp. Image processing method for image capturing device
WO2018037920A1 (ja) * 2016-08-26 2018-03-01 日本電気株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体
JP6930091B2 (ja) * 2016-11-15 2021-09-01 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6406366B2 (ja) * 2017-01-11 2018-10-17 株式会社Ｊｖｃケンウッド 合成画像作成システム、合成画像作成方法、及び合成画像作成プログラム
CN107295272A (zh) * 2017-05-10 2017-10-24 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP7057079B2 (ja) * 2017-09-01 2022-04-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN107465882B (zh) * 2017-09-22 2019-11-05 维沃移动通信有限公司 一种图像拍摄方法及移动终端
WO2019087299A1 (ja) * 2017-10-31 2019-05-09 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体
JP7158892B2 (ja) * 2018-05-17 2022-10-24 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
KR102254947B1 (ko) * 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11727666B2 (en) * 2019-09-12 2023-08-15 Paul Clauson Automatic target scoring machine
JP7137544B2 (ja) * 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
EP3933500A1 (en) * 2020-07-01 2022-01-05 Bk Ltd. Multi-functional photographing method capable of representing flash effect by using exposure amount, light sensitivity, and photographing shutt-off function
JP2023041497A (ja) 2021-09-13 2023-03-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
CN116503686A (zh) * 2023-03-28 2023-07-28 北京百度网讯科技有限公司 图像矫正模型的训练方法、图像矫正方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2005141614A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像生成における処理時間の短縮化
JP2009218893A (ja) * 2008-03-11 2009-09-24 Fujifilm Corp 撮影装置および撮影方法
JP2009253690A (ja) * 2008-04-07 2009-10-29 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2011004190A (ja) * 2009-06-18 2011-01-06 Canon Inc 画像処理装置およびその方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP4282113B2 (ja) 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
WO2007032082A1 (ja) 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP4783252B2 (ja) * 2006-04-18 2011-09-28 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム
JP4631966B2 (ja) * 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
JP5517668B2 (ja) * 2010-02-19 2014-06-11 キヤノン株式会社 通信装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP2014045244A (ja) * 2012-08-24 2014-03-13 Sony Corp Ｒａｗデータ処理装置、ｒａｗデータ処理方法及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2005141614A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像生成における処理時間の短縮化
JP2009218893A (ja) * 2008-03-11 2009-09-24 Fujifilm Corp 撮影装置および撮影方法
JP2009253690A (ja) * 2008-04-07 2009-10-29 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2011004190A (ja) * 2009-06-18 2011-01-06 Canon Inc 画像処理装置およびその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3198853A4 (en) * 2014-09-25 2018-06-27 Intel Corporation High dynamic range image composition using multiple images

Also Published As

Publication number Publication date
CN103477626A (zh) 2013-12-25
US9646397B2 (en) 2017-05-09
JP2013240031A (ja) 2013-11-28
JP6046966B2 (ja) 2016-12-21
CN103477626B (zh) 2017-09-08
US20150036878A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
JP6046966B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
US10021313B1 (en) Image adjustment techniques for multiple-frame images
KR101247646B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US8135235B2 (en) Pre-processing method and apparatus for wide dynamic range image processing
US20160093029A1 (en) High Dynamic Range Image Composition Using Multiple Images
US9432641B2 (en) Image processing device and program
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6218389B2 (ja) 画像処理装置及び画像処理方法
JP6193721B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP2018195085A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2018117288A (ja) 画像処理装置及び画像処理方法
KR100933556B1 (ko) 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
US20180288336A1 (en) Image processing apparatus
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP5569617B2 (ja) 画像処理装置、及び、プログラム
US9460492B2 (en) Apparatus and method for image processing
JP2015041984A (ja) 画像処理装置および画像処理方法
JP5245648B2 (ja) 画像処理装置、及び、プログラム
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6570311B2 (ja) 画像処理装置及び画像処理方法
JP6173027B2 (ja) 画像処理装置および画像処理方法
JP2022151987A (ja) 撮像装置
KR20140133407A (ko) 화상 처리 장치 및 화상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13778947

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13981284

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13778947

Country of ref document: EP

Kind code of ref document: A1