WO2007032156A1 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
WO2007032156A1
WO2007032156A1 PCT/JP2006/315121 JP2006315121W WO2007032156A1 WO 2007032156 A1 WO2007032156 A1 WO 2007032156A1 JP 2006315121 W JP2006315121 W JP 2006315121W WO 2007032156 A1 WO2007032156 A1 WO 2007032156A1
Authority
WO
WIPO (PCT)
Prior art keywords
similarity
image
images
image processing
low
Prior art date
Application number
PCT/JP2006/315121
Other languages
English (en)
French (fr)
Inventor
Yuri Watanabe
Masayoshi Shimizu
Kimitaka Murashita
Ayu Miyakawa
Kaoru Chujo
Takashi Wakamatsu
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to JP2007535392A priority Critical patent/JP4553942B2/ja
Priority to EP06781999.5A priority patent/EP1933271A4/en
Publication of WO2007032156A1 publication Critical patent/WO2007032156A1/ja
Priority to US12/076,267 priority patent/US8340464B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing method and an image processing apparatus for improving image quality by combining a plurality of images captured by an imaging device such as a digital camera, and in particular, combining continuously captured images.
  • the present invention relates to an image processing method and an image processing apparatus for improving image quality.
  • a method for correcting camera shake there are a method for optically correcting camera shake and a method for correcting camera shake by image processing.
  • the former is a device that mechanically detects blurring, moves the optical system, and corrects camera shake, and is used in equipment that can take mounting space for these mechanisms.
  • the latter since the latter is realized by image processing, it is suitable for a small device whose mounting space is limited.
  • a small digital camera or camera-equipped mobile phone synthesizes (adds together) images taken continuously with a short exposure time. An image with a short exposure time is less affected by camera shake, but the amount of light is insufficient. Therefore, a plurality of continuously shot images can be combined to generate an image with less noise and reduced camera shake.
  • a long-exposure image B and a short-exposure image A are obtained continuously to detect whether the subject has moved and to move.
  • a method is proposed in which the long-exposure image B is selected and when there is no motion, the two images A and B are combined.
  • a long-exposure image (for background) B and a strobe image (for subject) A are obtained in succession to detect the blur between the background and the boundary area between the images.
  • a method of processing the boundary region when combining two images has been proposed (for example, see Patent Document 3). This processing method replaces the area of subject blurring when the subject moves with the pixels of image B using a strobe.
  • Patent Document 1 JP-A-11 185018
  • Patent Document 2 Japanese Patent Laid-Open No. 2000-050151
  • Patent Document 3 Japanese Patent Laid-Open No. 2004-194106
  • the shift amount of one part of the image is the shift amount of the image of the other part. If the position of one part of the image is different, the position of the other part of the image may not match.For example, the subject other than the background that occupies most of the whole (for example, , Humans) are assumed to be stationary.
  • an object of the present invention is to provide an image processing method and an image processing apparatus for realizing improvement in image quality by image composition even when a subject other than the background moves.
  • Another object of the present invention is to provide an image processing method and an image processing apparatus for obtaining an image free from blurring of a subject even when a subject other than the background moves.
  • Another object of the present invention is to provide an image processing method and an image processing apparatus for preventing an increase in processing load and preventing the occurrence of multiple copying even when a subject other than the background moves. I'll stop.
  • the image processing method of the present invention is an image processing method for superposing and combining a plurality of images sharing a shooting range!
  • the misalignment detection process to calculate, the misalignment correction process to correct the misalignment between images using the misalignment parameters, and the similarity of the plurality of image parts for each part of the image between the corrected images.
  • the image processing apparatus of the present invention calculates a memory that stores a plurality of images that share an image capturing range, and a positional deviation parameter between the plurality of images, and uses the positional deviation parameter to calculate a gap between the images.
  • a processing unit that corrects misregistration. The processing unit evaluates similarity for each portion between the corrected images, changes a synthesis method or a synthesis parameter according to the similarity, and Synthesize the corrected image.
  • the present invention when a plurality of images are combined, a positional deviation between the images is detected and corrected, and after the positional deviation correction, the similarity between the images is evaluated. Since the compositing method is changed, it is possible to create an image without any positional displacement caused by the camera movement or subject blurring caused by the subject movement.
  • the similarity evaluation process is a process for evaluating whether the similarity between the image portions is high or low, and the synthesis process has a low similarity.
  • regions pixel values of some of the images were used, and for regions with a high degree of similarity, the process was composed using a plurality of pixel values of the images.
  • Low similarity The image area is composed of the pixel values of some images, and the area with high similarity is composed using the pixel values of multiple images. You can create an image without blurring the subject
  • the similarity evaluation step includes a step of calculating the level difference between at least the image portions and evaluating the similarity. Since similarity is determined by at least a level difference, similarity determination is easy.
  • the similarity evaluation process calculates a level difference and an edge strength between portions of the image, and evaluates the similarity from the level difference and the edge strength. Consists of processes. When evaluating the similarity between images, it is possible to accurately evaluate whether the similarity is high or not by referring to the level difference and edge strength.
  • the similarity evaluation process evaluates that the similarity is low when the calculated level difference is large and the edge strength is small, and the level difference force, Even if the edge strength is high, it includes a process of evaluating that the similarity is high.
  • the similarity is evaluated as the lower the strength of the edge and the greater the level difference, the lower the similarity. Therefore, in the edge part where a slight level difference (such as 1 pixel) causes a sudden level difference, Depending on the level, the level may differ, and this false detection can be prevented.
  • the method further includes a step of removing noise from the synthesized image in a region having a low similarity.
  • noise can be removed by image synthesis.
  • the number of images to be combined is small, so noise may be more conspicuous than in regions with high similarity.
  • the image quality is improved by removing noise from the low area.
  • the present invention preferably further includes a correction process for correcting the similarity evaluation for improving the image quality of the synthesized image with respect to the similarity evaluation result. Since the compositing method is changed according to the similarity, there may be a difference in image quality between the part with high similarity and the part with low similarity, and the similarity evaluation is modified to improve the image quality.
  • the similarity evaluation correction process it is detected that parts having high similarity and parts having low similarity are scattered as isolated points, Similar to the above It consisted of the process of changing the low-potency part to the high-pox part. After the similarity evaluation is performed, the image quality can be further improved by correcting the similarity evaluation. If there are high-similarity parts and low-similarity parts scattered as isolated points, they are removed. . In other words, the minute area does not need to be treated separately from the surrounding area as a low-similarity area for reasons such as low visibility.
  • the similarity evaluation correction process detects that the similarity is low V, the similarity is high around the area, and the area is mixed.
  • the process consists of expanding the part with low similarity. After the similarity evaluation, the image quality can be further improved by modifying the similarity evaluation. However, if there is a high similarity area around a low similarity area, the similarity is low. By performing the process of expanding the heel region, it is possible to prevent the occurrence of unnaturalness at the boundary between the low and high similarity regions when they are synthesized.
  • the similarity evaluation correction process detects that the portion having the high similarity exists in an area surrounded by the portion having the low similarity.
  • the process force is configured to change the site having the high similarity to the site having the low similarity.
  • the surrounding area of the object is usually judged to have a large change in the image level value, etc., and the similarity is low.
  • the change in is small, it is easy to judge that the similarity is high.
  • the surroundings have low similarity and the inside has high similarity. In such cases, it is more natural for the same moving object to have the same treatment as a whole. Therefore, if a region with high similarity exists in a region surrounded by regions with low similarity, the region with high similarity is changed to a region with low similarity.
  • the present invention provides an image processing method for superimposing and synthesizing a plurality of images sharing a shooting range, a misregistration detection process for calculating a misregistration parameter between images, and an inter-image based on the misregistration parameter.
  • a misregistration correction process for correcting the misregistration, a similarity evaluation process for evaluating the similarity of the plurality of image portions for each image portion between the corrected images, and the similarity evaluation result
  • the determination process for determining whether or not to perform the combining process, and when it is determined that the combining process is to be performed,
  • a synthesis process for synthesizing a plurality of images, and a selection process for selecting one of the plurality of images when it is not determined to perform the synthesis process.
  • the synthesis process includes a synthesis process using a simple average or a weighted average of pixel level values of the plurality of images.
  • the synthesizing process is a synthesizing process power obtained by adding pixel level values of the plurality of images with luminance linear signal values.
  • the similarity evaluation process is a similarity evaluation process power based on a difference between pixel level values of the plurality of images.
  • the similarity evaluation process also has a process power for determining similarity by comparing pixel level value differences of the plurality of images with a threshold value.
  • the similarity evaluation process compares a difference between pixel level values of the plurality of images with a threshold value determined in accordance with a gradient of the image level to determine similarity. It consists of a process of evaluating.
  • the determination process has a process power according to the number of pixels determined to have low similarity.
  • the determination step includes a step of determining the number of pixels determined to be low in similarity according to a result obtained by adding a weight based on a level difference between pixels and adding them. Consists of.
  • the number of pixels determined to be low in similarity is determined according to a result obtained by adding a weight based on a level difference between pixels and adding the same. Consists of.
  • FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
  • ⁇ 2 Operation explanatory diagram of the image processing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a processing flowchart of the first embodiment of image processing according to the present invention.
  • FIG. 10 is an explanatory diagram of the similarity evaluation process of FIG.
  • FIG. 14 is a process flow diagram of the second embodiment of image processing according to the present invention.
  • FIG. 15 is an explanatory diagram of image processing according to the second embodiment of image processing of the present invention.
  • FIG. 16 Detailed processing flow diagram of the image processing of FIG.
  • FIG. 17 Imaging process flow diagram for the composition process of FIG.
  • FIG. 18 Another imaging process flow chart for the composition process of FIG.
  • FIG. 19 Composite processing flow diagram of FIG. 16 for the imaging processing of FIG.
  • FIG. 20 is a processing flowchart of image processing according to the third embodiment of the present invention.
  • FIG. 21 is an explanatory diagram of the increment table in FIG.
  • FIG. 22 is an explanatory diagram of a captured image of the image processing in FIG.
  • FIG. 23 is an explanatory diagram of the level distribution of the captured image in FIG.
  • FIG. 24 is an explanatory diagram of another captured image of the image processing in FIG.
  • FIG. 25 is an explanatory diagram of the level distribution of the captured image in FIG.
  • FIG. 26 is a processing flowchart of the fourth embodiment of image processing according to the present invention.
  • FIG. 27 is an explanatory diagram of the threshold table in FIG.
  • FIG. 28 is an explanatory diagram of image processing according to the fourth embodiment in FIG.
  • FIG. 29 is a processing flowchart of the fifth embodiment of image processing according to the present invention.
  • FIG. 30 is an explanatory diagram of the increment table in FIG.
  • FIG. 31 is an explanatory diagram of the threshold table in FIG.
  • FIG. 32 is an explanatory diagram of the first conventional image composition method.
  • FIG. 33 is an explanatory diagram of the second conventional image composition method.
  • the present invention will be described with reference to an image processing apparatus, an image processing method according to a first embodiment, a similarity evaluation correction method, an image processing method according to a second embodiment, and an image processing method according to a third embodiment.
  • the fourth embodiment of the image processing method, the fifth embodiment of the image processing method, and the other embodiments will be described in this order, but the present invention is not limited to this embodiment.
  • FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention
  • FIG. 2 is an operation explanatory diagram thereof.
  • the image processing apparatus 2 is built in a personal computer connected to a digital camera (including a camera-equipped mobile phone).
  • the image processing device 2 that processes an image from the imaging device (imaging device) 1 is equipped with a digital camera or camera.
  • a digital camera or camera Built in mobile phone.
  • a personal computer When built in a personal computer Is configured as a program for processing images from the digital camera or the memory 1 in the digital camera.
  • the image processing apparatus 2 includes a frame memory 20 and a processing unit (for example, an image processing processor) 22.
  • a plurality of images sharing the imaging range from the imaging device or the image memory 1 are stored in the frame memory 20 respectively.
  • the processing unit 22 executes a process for superposing and synthesizing a plurality of images in the frame memory 22.
  • the processing unit 22 executes a displacement detection unit 30 that executes a displacement detection process that calculates a displacement parameter between images, and a displacement correction process that corrects the displacement between images using the displacement parameter.
  • Misalignment correction unit 32 similarity evaluation unit 34 that executes a similarity evaluation process for evaluating similarity between parts (regions) between corrected images, and a synthesis method or a synthesis parameter depending on the similarity.
  • a synthesizing method changing unit for executing a synthesizing method changing process, and an image synthesizing unit for synthesizing the image after the positional deviation correction in accordance with the synthesizing parameters.
  • FIG. Fig. 2 shows an example of combining two images A and B taken consecutively.
  • the subject (person) 102 moves to the left and the second image An example in which B is captured is shown.
  • the misregistration detection unit 30 detects misregistration between two images (imaging screen data) A and B in the frame memory 20.
  • feature points are extracted and tracked by the well-known KLT (Kanade-Lucas-Tomasi) transformation to detect the displacement of the entire image.
  • the misregistration correction unit 32 corrects misregistration of each of the images A and B using the detected parameters. As shown in Fig. 2, the position shift of the background parts 110 and 120 of the corrected images A 'and B' is corrected to correct the position shift of the entire image, but moved more than the position shift of the entire image. The displacement of the area (here, the subject 102 as a person) cannot be corrected.
  • the similarity evaluation unit 34 evaluates the similarity between the images A ′ and B ′ after the positional deviation correction. For example, the level change and edge strength of each pixel of the images A ′ and B ′ are calculated to determine whether the similarity is high or low.
  • the image composition method changing unit 36 uses pixel values of some images for regions with low similarity, and uses pixel values of multiple images for regions with high similarity. And instruct the image composition unit 38. Or in areas with low similarity Judge the size, and decide whether to compose images A 'and B' or select one image (for example, ⁇ ') according to the judgment result of the size of the area with low similarity .
  • the image composition unit 38 composes or selects the images A ′ and B ′ and outputs them.
  • the evaluation result of the similarity evaluation unit 34 is shown by an image C, a region with high similarity between images A ′ and B ′ is shown in black, and a region with low similarity is shown in white. Yes. Regions with low white similarity use the pixel values of some images (for example, image ⁇ '), and regions with high black similarity combine the pixel values of multiple images A' and B '. As a result, it is possible to create an image such as image D that is free from displacement due to camera movement and subject blurring due to movement of the subject (person).
  • FIG. 3 is a processing flowchart of the first embodiment of the image processing of the present invention
  • FIG. 4 is a detailed flowchart of the similarity evaluation processing of FIG. 3
  • FIG. 5 is a level difference and edge strength of FIG.
  • FIG. 6 is an explanatory diagram of the calculation of the edge strength of FIG. 4
  • FIG. 7 is an explanatory diagram of the synthesis method of FIG.
  • the KLT transformation method is described in, for example, the literature “Good Features to TrackJ (IEEE Conference) by authors Carlo Tomasi and Takeo Kaneda.
  • the processing unit 20 evaluates the similarity between the images subjected to the positional deviation correction, and discriminates between a region having no motion and a region having motion.
  • the similarity is evaluated using the level difference of each pixel in both images and the edge strength.
  • a part with a strong edge may have a large level difference even if the degree of similarity is high, so evaluation using both is preferable.
  • it is not limited to this method.
  • only the level difference is used.
  • a method or a method using a difference in gradient of luminance change can be employed. The level difference and edge strength are explained using Fig. 5.
  • the level difference between image 1 and image 2 is ⁇ a (sum of absolute values of RGB value differences), and the position (X, y) and 1
  • ⁇ a sum of absolute values of RGB value differences
  • the edge strength A b is the level of the pixel adjacent to the pixel (x + 1, y)
  • the edge strength A b is small.
  • a b is large and the level difference is small, the similarity is high. That is, even if the level difference is large, if the edge strength is large, that is, near the edge of the image pattern, the similarity is high.
  • the similarity evaluation result between images A and B (l, 2) is represented by a black and white area as shown in FIG.
  • the processing unit 20 performs image composition.
  • the compositing method is changed between black areas (non-motion areas) and white areas (motion areas).
  • Fig. 7 shows the composition method by weighting.
  • the black area (non-motion area) performs weighted average addition of multiple images
  • the white area (motion area) represents one image (or one image).
  • Increase image weight For example, in Fig. 7, when three images, image 1, image 2, and image 3, are combined, the motion region has the weight of image 2 set to “1” and the weight of images 1 and 3 set to “0”. Synthesize images. That is, only image 2 is used.
  • the non-motion area is synthesized with the weight of image 2 set to “0.5” and the weight of images 1 and 3 set to “0.25”.
  • a weighted average addition of multiple images is performed and weighted to be combined.
  • the boundary weight is smoothed so that the boundary between black and white is continuous.
  • the processing unit 20 calculates the level difference ⁇ a of each pixel at the corresponding position of the images 1 and 2 (images A and B). For example, in the case of a color image RGB, if image 1 is Rl, Gl, B1, image 2 is R2, G2, B2, and pixel positions are x, y, the level difference ⁇ a is expressed by the following equation (1). calculate. [0054] [Equation 1]
  • the processing unit 20 calculates the edge intensity Ab between the target pixel and the four neighboring pixels.
  • the four pixels P1 to P4 that are moved back and forth in the x and y directions from the center pixel are evaluated. set to target.
  • the target pixel position is x, y, and one adjacent pixel position is x + l, y, the following equation (2) To calculate the edge strength value.
  • edge intensity value is calculated for each of the four adjacent pixels P1 to P4 with the target pixel T as the center. That is, four edge strength values are calculated.
  • a b is a position F (i, j) around 4 , j 1) ⁇ , the four evaluations d are calculated. For this reason, the minimum value of these four evaluation values d is obtained and used for similarity evaluation.
  • the degree of evaluation d increases as the edge strength A b decreases and the level difference ⁇ a increases from Eq. (3). In other words, the similarity is low when it is not an edge.
  • the reason for adopting the minimum value is to extract the four evaluations d that have a high similarity and a low evaluation (!).
  • the degree of similarity evaluation is compared with a preset threshold value. That is, the processing unit 20 compares the evaluation degree d extracted in step S24 with a predetermined threshold value dth. The processing unit 20 determines that the evaluation degree d is smaller than a certain threshold value dth, and the pixel has a high similarity evaluation degree! And an area (high similarity degree !, area). Also, a pixel with an evaluation degree d greater than a certain threshold value dth is determined as an area with a low similarity evaluation degree (an area with a low similarity degree). The result of the determination is expressed in units of pixels or areas for one screen as shown in the evaluation map of FIG. In Fig. 2, the area judged to have high similarity is displayed in black, and the area judged low is displayed in white!
  • the processing unit 20 determines whether or not the processing has been completed for all pixels of one screen. If the process has not been completed for all pixels, the process returns to step S20. On the other hand, when all the pixels are finished, the similarity evaluation process is finished.
  • FIG. 8 is a process flow diagram of another embodiment of the image composition process of FIG.
  • the processing unit 20 determines whether the target pixel has high or low similarity in the similarity evaluation result between the images A and B (l, 2).
  • the processing unit 20 changes the compositing method between a black region (region without motion) and a white region (region with motion), and thus a black region with high similarity.
  • Non-motion region calculates an average value of pixel values of a plurality of images.
  • the processing unit 20 uses the pixel value of one image for the white region (motion region) with low similarity.
  • the processing unit 20 determines whether or not the processing has been completed for all the pixels of one screen. If the process has not been completed for all pixels, the process returns to step S30. On the other hand, when the process is completed for all pixels, the synthesis process ends.
  • the non-motion area is composed of a plurality of images, and thus has sufficient brightness and no blurring.
  • a single image is used for the motion area, so an image with less brightness but no blur is obtained.
  • the motion region does not perform image composition, which contributes to reducing the processing load.
  • FIG. 9 is a flowchart of similarity evaluation correction processing in FIG. 3
  • FIG. 10 is an explanatory diagram of similarity evaluation processing in FIG. 9, and
  • FIG. 11 is a diagram showing an example of a sample image of similarity evaluation results.
  • 12 is a diagram showing an image of the similarity evaluation correction result, and
  • FIG. 13 is a diagram showing another image of the similarity evaluation correction result.
  • FIG. 9 The process of FIG. 9 will be described with reference to FIGS. 11 to 13.
  • the processing unit 20 determines whether the similarity is low and the part is isolated. For example, among the three images Al, A2, and A3 in Fig. 111, the similarity evaluation result of images Al and A2 is C1. Assuming that the similarity evaluation result of images A2 and A3 is C2. In the similarity evaluation result C1, an area with low similarity (black spot) exists as an isolated point in an area with high similarity (white area in Fig. 11). Specifically, for example, a region with high similarity is scanned with a 3 ⁇ 3 mask filter to search for isolated points with low similarity.
  • the processing unit 20 determines whether there is a region with low similarity around and high similarity inside. For example, it is inside the car window of the similarity evaluation results CI and C4 in Figs. Specifically, for example, a region with low similarity is scanned with a 3 ⁇ 3 mask filter to search whether a region with high similarity exists.
  • the processing unit 20 finds a region where the similarity is low in the surroundings and the similarity is high in the interior, the processing unit 20 performs a process of expanding the portion with low similarity. Prevents unnaturalness at the boundary between low and high similarity areas. That is, the similarity evaluation correction 2 is executed to dilate the low similarity region. Dilation processing dilates pixels with low similarity when the surroundings have low similarity and the inside has high similarity. For example, one pixel with low similarity is reduced to 3 ⁇ 3 with low similarity. Dilates to pixels and collapses highly similar pixels. As a result, in the similarity evaluation result C4, as shown by C5 in FIG. 12, a region with low similarity expands and a portion with high similarity is crushed.
  • the processing unit 20 determines whether the region with high similarity is surrounded by the region with low similarity. For example, it is inside the car of the similarity evaluation results CI and C4 in Figs. Specifically, for example, a region with low similarity is scanned with a 3 ⁇ 3 mask filter to search for a force with a region with high similarity.
  • an evaluation result C5 in which the inside of the window portion of the car of the similarity evaluation result C4 is changed to a black area (an area with low similarity) is obtained.
  • an expansion process using contour tracking is performed, the entire vehicle is changed to a black area (an area with low similarity) as shown in evaluation result C6.
  • image synthesis is performed using the modified similarity evaluation result (evaluation result C in Fig. 2).
  • the composition method is changed between the motion area and the non-motion area.
  • the black region has a low similarity, so the white region (the region with a high similarity) is similar to FIG.
  • Weighted average addition is performed, and one image (or increasing the weight of one image) is used for the black area as in Fig. 3 or Fig. 8.
  • image 1, image 2, and image 3 weight them as shown in Fig. 7.
  • the weights of the boundary part are smoothed so that the black and white boundary is continuous.
  • FIG. 14 is a processing flowchart of the second embodiment of the image processing of the present invention
  • FIG. 15 is an explanatory diagram of the image processing method of FIG.
  • an image is taken with a digital camera.
  • a plurality of continuous exposure images A and B are acquired by performing a plurality of short-time exposure imaging by pressing the shutter once.
  • the processing unit 20 corrects the positional deviation between the two images.
  • the above-described LT conversion is used.
  • the KLT conversion method extracts the feature points of two images and tracks them to detect misalignment and correct them. Note that the method of correcting misalignment is not limited to this method.
  • the processing unit 20 evaluates the similarity between the images A ′ and B ′ subjected to the positional deviation correction, and discriminates between a region having no motion and a region having motion.
  • the similarity here, as described later, one or both of the level difference of each pixel of both images and the edge strength are used. In an actual image, a part with strong edges may have a large level difference even if the degree of similarity is high, so evaluation using both is preferable.
  • the method is not limited to this method. For example, a method using only a level difference or a method using a difference in gradient of luminance change can be adopted.
  • the similarity evaluation result C between the images A 'and B' is represented by a black and white region as shown in FIG.
  • the black area is an area where there is no movement after correcting the deviation
  • the white area is an area where there is a movement (not overlapping) even if the deviation is corrected.
  • the processing unit 20 determines the size of this moving area (white area. For example, the number of bits of pixels in the white area is counted.
  • the processing unit 20 performs selective image composition in accordance with the size determination result in step S66. In this embodiment, it is determined whether the magnitude force of the moving area is larger than the predetermined magnitude. If the magnitude force of the moving area is larger than the prescribed magnitude, the composition is not performed and one sheet is not synthesized. Output the image (for example, second image ⁇ ). On the other hand, if the size of the area with movement is not larger (smaller) than the predetermined size, a plurality of sheets are combined. This compositing process synthesizes the entire image without changing the black region (region without motion) and white region (region with motion).
  • the isolated points may be removed and excluded from the area (overlapping area) without movement! ,.
  • FIG. 16 is a process flow diagram of an embodiment of the similarity evaluation step, the motion region size determination step, and the synthesis step in FIG. 14, and FIG. 17 is an imaging process flow for explaining the synthesis process in FIG.
  • FIG. 18 is another imaging process flowchart for explaining the synthesis process of FIG. 16, and FIG. 19 is a synthesis process flow chart when the imaging process of FIG. 18 is used.
  • the processing unit 20 sets the similarity high power counter for counting the number of pixels and the similarity low counter for counting the number of pixels with low similarity to “0”. Initialize to.
  • the processing unit 20 calculates the level difference ⁇ a of each pixel at the corresponding position of the images 1 and 2 (images A and B). For example, in the case of a color image RGB, assuming that image 1 is Rl, Gl, B1, image 2 is R2, G2, B2, and pixel positions are x, y, the level difference ⁇ a in equation (1) above Calculate
  • the level difference ⁇ a is determined by comparing with a preset threshold value dth. That is, the processing unit 20 compares the level difference ⁇ a extracted in step S642 with a predetermined threshold value dth. The processing unit 20 determines that a pixel having a level difference ⁇ a force smaller than a certain threshold value dth is a region having a high similarity evaluation degree (a region having a high similarity degree), and increments the high similarity counter.
  • a pixel whose level difference ⁇ a is larger than a certain threshold value dt h is determined to be a region having a low similarity evaluation level (a region having a low similarity level), and the low similarity counter is incremented.
  • the result of the determination is expressed in units of pixels or areas for one screen as in the evaluation map of FIG. In Fig. 2, the area where the similarity is determined to be high V ⁇ is displayed in black, and the area where the similarity is determined to be low is displayed in white!
  • the load of the similarity determination process can be reduced, and the image composition is made the average value of the pixel values of each image, which further contributes to the reduction of the process.
  • the average value of the pixel values of the image is calculated when the brightness of the continuous shot image is set by an AE (Auto Exposure) function or the like suitable for short exposure at the time of short exposure. That is, as shown in FIG. 17, the digital camera force short exposure continuous shooting (S700), signal amplification (S702), ⁇ correction (S704), and continuous shooting image output (S706) This is the case when the AE function is set.
  • AE Auto Exposure
  • FIG. 20 is a processing flowchart of the third embodiment of image processing according to the present invention
  • FIG. 21 is a table explanatory diagram of the increment amount
  • FIGS. 22 to 25 are operation explanatory diagrams of FIG. Figure
  • FIGS. 20 is a process flow diagram of a modification of the similarity evaluation step of FIGS.
  • the processing unit 20 sets the similarity high power counter for counting the number of pixels and the similarity low counter for counting the number of pixels with low similarity to “0”. Initialize to.
  • the processing unit 20 calculates the level difference ⁇ a of each pixel at the corresponding position of the images 1 and 2 (images A and B). For example, in the case of a color image RGB, assuming that image 1 is Rl, Gl, B1, image 2 is R2, G2, B2, and pixel positions are x, y, the level difference ⁇ a in equation (1) above Calculate
  • the level difference ⁇ a is determined by comparing it with a preset threshold value dth. That is, the processing unit 20 compares the level difference ⁇ a extracted in step S650 with the predetermined threshold value dth. The processing unit 20 determines that the level difference ⁇ a force S is smaller than a certain threshold value dth, the pixel has a high similarity evaluation degree and a region (similarity is high, region), and increments a high similarity counter. Further, a pixel having a level difference ⁇ a larger than a certain threshold value dth is determined as an area having a low similarity evaluation degree (an area having a low similarity degree). Then, the corresponding increment amount is determined with reference to the table TB in FIG. 21 by the ratio obtained by dividing the absolute value of the level difference ⁇ a by the threshold value dth. The low similarity counter is incremented by this increment amount.
  • the processing unit 20 determines whether or not the processing has been completed for all pixels of one screen. If the process has not been completed for all pixels, the process returns to step S650. On the other hand, when the processing is completed for all the pixels, the similarity evaluation processing ends.
  • This table TB sets a larger increment amount as the level difference ratio is larger. That is, when the level difference is greater than or equal to the threshold, the level difference is weighted according to the level difference and counted. As a result, the pixel whose level difference is far from the threshold value is increased in weight and counted. Counting with this weight can effectively detect images with a large level difference and conspicuous multiple copies. This is illustrated in Figs. Light up.
  • FIG. 22 shows an example in which a relatively dark object AA appears on a white background BG within the imaging range. In this case, if there is a camera shake, as shown in FIG. 23, the level difference ⁇ a between the first image level A-1 and the second image level B-1 is large.
  • FIG. 24 is an example in which a relatively dark object AA appears on the colored background BG-1 within the imaging range. In this case, if there is a camera shake, as shown in FIG. 25, the level difference ⁇ a between the first image level A-2 and the second image level B-2 is small.
  • FIG. 26 is a processing flowchart of the fourth embodiment of the image processing of the present invention
  • FIG. 27 is a table explanatory diagram of the increment amount
  • FIG. 28 is an operation explanatory diagram of FIG.
  • FIG. 26 is a process flow diagram of another modification of the similarity evaluation step of FIGS.
  • the processing unit 20 sets a similarity high power counter for counting the number of pixels and a similarity low counter for counting the number of pixels with low similarity to "0". Initialize to.
  • the processing unit 20 calculates the level difference ⁇ a of each pixel at the corresponding position of the images 1 and 2 (images A and B). For example, in the case of a color image RGB, assuming that image 1 is Rl, Gl, B1, image 2 is R2, G2, B2, and pixel positions are x, y, the level difference ⁇ a in equation (1) above Calculate
  • the processing unit 20 calculates the edge intensity Ab between the target pixel and the neighboring four neighboring pixels.
  • the center is the target pixel T
  • four pixels Pl to P4 that move back and forth in the x and y directions from the center pixel, respectively, Target for evaluation.
  • the target pixel position is x, y
  • one adjacent pixel position is x + l, y
  • the edge strength value A b is calculated.
  • the edge strength value A b is, the greater the edge strength is.
  • the edge intensity value is calculated for each of the four adjacent pixels P1 to P4 with the target pixel T as the center. That is, four edge strength values A b are calculated. Select the maximum absolute value of these four edge strengths A b.
  • the threshold value dth is determined by referring to the table TB-1 in FIG. 27 based on the maximum value of the absolute value Ab. In this table TB-1, the threshold dth is set larger as the edge strength is larger.
  • the level difference ⁇ a is determined by comparing with the threshold value dth obtained from the table TB-1. That is, the processing unit 20 compares the level difference ⁇ a extracted in step S658 with the threshold value dth determined by the edge strength. The processing unit 20 determines that a pixel whose level difference ⁇ a is smaller than the threshold value dth is a region having a high similarity evaluation level (a region having a high similarity), and increments the high similarity counter. Further, a pixel having a level difference ⁇ a larger than a certain threshold value dth is determined to be a region having a low similarity evaluation level (a region having a low similarity), and the similarity low counter is incremented.
  • the processing unit 20 determines whether or not the processing has been completed for all pixels of one screen. If the process has not been completed for all pixels, the process returns to step S648. On the other hand, when the processing is completed for all the pixels, the similarity evaluation process ends.
  • a larger threshold value is set as the edge strength (that is, the image gradient) is larger. That is, the similarity determination threshold is changed according to the gradient of the edge of the image.
  • the larger the edge gradient the larger the threshold value.
  • the threshold value when the edge strength is high, the threshold value can be increased to prevent the non-overlapping regions near the edges from being counted extremely frequently. That is, it is prevented that an image having many edges is counted as being too low in similarity.
  • FIG. 29 is a processing flow diagram of the fifth embodiment of the image processing of the present invention, and FIG. Increment amount table explanatory diagram, FIG. 31 is an explanatory diagram of the threshold tape Nore.
  • FIG. 29 is a process flow diagram of still another modification of the similarity evaluation step of FIGS. 14 and 16, and is a combination of the embodiments of FIGS.
  • the processing unit 20 sets a similarity high power counter for counting the number of pixels and a similarity low counter for counting the number of pixels with low similarity to “0”. Initialize to.
  • the processing unit 20 calculates the level difference ⁇ a of each pixel at the corresponding position of the images 1 and 2 (images A and B). For example, in the case of a color image RGB, assuming that image 1 is Rl, Gl, B1, image 2 is R2, G2, B2, and pixel positions are x, y, the level difference ⁇ a in equation (1) above Calculate
  • the processing unit 20 calculates the edge intensity Ab between the target pixel and the four neighboring pixels around it.
  • the center is the target pixel T
  • four pixels Pl to P4 that move back and forth in the x and y directions from the center pixel, respectively, Target for evaluation.
  • the target pixel position is x, y
  • one adjacent pixel position is x + l, y
  • the edge strength value A b is calculated.
  • the edge strength increases as the edge strength value A b increases. Further, as shown in FIG. 6, the edge intensity value is calculated for each of the four adjacent pixels P1 to P4 with the target pixel T as the center. That is, four edge strength values A b are calculated. Select the maximum absolute value of these four edge strengths A b. Then, the threshold value dth is determined by referring to the table TB-1 in FIG. 31 based on the maximum value of the absolute value Ab. In this table TB-1, the threshold dth is set larger as the edge strength is larger.
  • the level difference ⁇ a is determined by comparing with the threshold value dth obtained from the table TB-1. That is, the processing unit 20 compares the level difference ⁇ a extracted in step S668 with the threshold value dth determined by the edge strength. The processing unit 20 determines that a pixel whose level difference ⁇ a is smaller than the threshold value dth is a region having a high similarity evaluation level (a region having a high similarity), and increments the high similarity counter. In addition, pixels with a level difference ⁇ a greater than a certain threshold dth are regions with low similarity evaluation (similarity is Low area). Then, the corresponding increment amount is determined with reference to the table TB in FIG. 30 by the ratio obtained by dividing the absolute value of the level difference ⁇ a by the threshold value dth. The low similarity counter is incremented by this increment.
  • the processing unit 20 determines whether or not the processing has been completed for all pixels of one screen. If the process has not been completed for all pixels, the process returns to step S668. On the other hand, when the processing is completed for all the pixels, the similarity evaluation processing ends.
  • the level difference ratio is large! /, And the larger! / And the increment amount are set. That is, when the level difference is equal to or greater than the threshold value, the level difference is weighted according to the magnitude of the level difference and counted. As a result, the pixel whose level difference is far from the threshold value is increased in weight and counted. Counting with this weight can effectively detect images with a large level difference and conspicuous multiple copies.
  • a larger threshold value is set as the edge strength (that is, the image gradient) is larger. That is, the similarity determination threshold is changed according to the gradient of the edge of the image.
  • a larger threshold value is set as the edge gradient is larger. That is, when the edge strength is high, the threshold value can be increased to prevent the non-overlapping areas near the edges from being counted extremely frequently. That is, it is prevented that an image having many edges is counted as being too low in similarity.
  • the present invention can also be applied mainly to the synthesis of three or more images described in the synthesis of two images. It is also possible to omit part or all of the similarity evaluation correction process. Furthermore, the similarity evaluation may be performed using either the level difference detection and the edge strength detection in combination. Similarity evaluation can be applied not only to pixel units but also to regions or pixel block units composed of a plurality of continuous pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　撮像範囲が同一の複数の画像を合成する装置において、撮像範囲が同一である複数の画像間の位置ずれを検出して、画像を位置ずれ補正し，位置ずれ補正後に，画像間の個々の部分の類似性を評価し，類似性評価に応じて、画像合成方法を変更する。このため、カメラが動いたことによる位置ずれと，被写体が動いたことによる、被写体ぶれとがない画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。

Description

明 細 書
画像処理方法及び画像処理装置
技術分野
[0001] 本発明は、デジタルカメラ等の撮像デバイスで撮像された複数の画像を合成して、 画質を向上する画像処理方法及び画像処理装置に関し、特に、連続的に撮像され た画像を合成して、画質を向上するための画像処理方法及び画像処理装置に関す る。
背景技術
[0002] 近年のデジタルカメラなどのデジタル画像機器の普及に伴 ヽ、デジタル画像処理 により、画質の優れた画像を得ることが可能となってきた。この内、デジタルカメラ等の 携帯撮像機器では、所謂、手振れ補正処理が実装され、携帯画像機器の画質向上 に効果が現れている。
[0003] この手振れ補正方法として、光学的に手振れを補正する方法と、画像処理により手 振れを補正する方法がある。前者は、機械的にブレを検出し、光学系を移動して、手 振れ補正するものであり、これら機構のための実装空間をとれる機器に、使用される 。一方、後者は、画像処理で実現するため、実装空間が制限される小型の機器に好 適である。例えば、小型のデジタルカメラやカメラ付携帯電話では、短い露光時間で 連続的に撮影した画像を合成 (足し合わせ)する。短露光時間の画像は、手振れの 影響が少ないが、光量不足であるため、連写した複数の画像を合成して、ノイズの少 な 、手振れを抑制した画像を生成することができる。
[0004] この合成方法 (画像処理方法）として、第 1の従来技術は、図 32に示すように、 2つ の画像 A, Bの全体の位置ずれを検出して、画像 A, B全体を、画像全体の共通の位 置ずれパラメータにそって、位置ずれ補正した上で、画像 A, Bの合成を行う方法が 提案されている (例えば、特許文献 1参照)。
[0005] 又、第 2の従来技術として、図 33に示すように、長時間露光画像 Bと、短時間露光 画像 Aとを連続的に得て、被写体が動いたかを検出し、動きがある場合には、長時間 露光画像 Bを選択し、動きがない時は、 2枚の画像 A, Bを合成する方法が提案され ている (例えば、特許文献 2参照)。同様に、第 3の従来技術として、長時間露光画像 (背景用） Bと、ストロボ画像 (被写体用) Aとを連続的に得て、画像間の背景と被写体 の境界領域のぶれを検出し，境界部分の不自然さが起こらないように、 2枚の画像の 合成時に、境界領域を処理する方法が提案されている (例えば、特許文献 3参照)。 この処理方法は，被写体が動いた際の被写体ぶれの領域を、ストロボを用いた画像 Bの画素で置き換えるものである。
特許文献 1 :特開平 11 185018号公報
特許文献 2：特開 2000— 050151号公報
特許文献 3 :特開 2004— 194106号公報
発明の開示
発明が解決しょうとする課題
[0006] しかしながら、この第 1の従来技術では、画像全体の位置ずれ量で、画像全体の位 置合わせを行っているため、一部の画像のずれ量が、他の部分の画像のずれ量と異 なる場合には、一部の画像の位置が合っても、他の部分の画像の位置が合わない場 合がある、例えば、全体の大部分を占める背景以外の対象とする被写体 (例えば、人 物）は、静止しているものと仮定している。
[0007] このため、図 32に示すように、連続して撮像した画像 A, Bで、背景 110, 120に対 し、被写体 (人物） 100が動いた場合には、 2つの画像 A, Bの位置合わせをしても、 背景 110, 120は、位置合わせできても、被写体 100, 102は、位置合わせできず、 合成画像 Cでは、動いた分、被写体 100, 102が二重となり、局所的な多重写しが生 じ、良好な画質の合成画像をえることが難しい。
[0008] 又、第 2の従来技術では、動きがある時に、長時間露光画像を選択することは、動 きのある被写体を長時間露光することから、長時間露光画像自体に、ブレのある画像 が含まれ、その動 、た部分の局所的多重写しの危険性が高 、。
[0009] 更に、第 3の従来技術では、境界領域の処理として，被写体が動いた際の被写体 ぶれの領域を検出し、この領域を、ストロボを用いた画像の画素で置き換えるため， 被写体がもとの大きさよりも大きくなるという副作用が発生してしまう。被写体の動きが 大き 、場合は，かなり不自然な画像となる可能性がある。 [0010] 従って、本発明の目的は、背景以外の被写体が動いても、画像合成による画質の 向上を実現するための画像処理方法及び画像処理装置を提供することにある。
[0011] 又、本発明の他の目的は、背景以外の被写体が動いても、被写体のぶれのない画 像を得るための画像処理方法及び画像処理装置を提供することにある。
[0012] 更に、本発明の他の目的は、背景以外の被写体が動いても、処理負荷の増大を避 けて、多重写しの発生を防止するための画像処理方法及び画像処理装置を提供す ることにめる。
課題を解決するための手段
[0013] この目的の達成のため、本発明の画像処理方法は、撮影範囲を共有する複数の 画像を重ね合わせて合成する画像処理方法にお!、て,画像間の位置ずれパラメ一 タを算出する位置ずれ検出過程と，前記位置ずれパラメータで画像間の位置ずれを 補正する位置ずれ補正過程と，補正後の画像間の前記画像の部分ごとに、前記複 数の画像の部分の類似性を評価する類似性評価過程と，前記類似性評価結果に応 じて、前記画像の合成方法または合成パラメータを変更して、前記補正後の複数の 画像を合成する合成過程とを有する。
[0014] 又、本発明の画像処理装置は、画像撮影範囲を共有する複数の画像を格納するメ モリと、複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画 像間の位置ずれを補正する処理ユニットとを有し，前記処理ユニットは、前記補正後 の画像間の部分ごとに類似性を評価し、前記類似性に応じて合成方法または合成 パラメータを変更して、前記補正後の画像を合成する。
[0015] 本発明では、複数の画像を合成する際に，画像間の位置ずれを検出して、補正し ,位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を 変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体 ぶれがな 、画像を作成することができる。
[0016] 更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間の類 似度が高いか低いかを評価する過程であり，前記合成過程は、前記類似度が低い 領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対し ては、複数の前記画像の画素値を用いて合成する過程から構成された。類似度が低 い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の画像の画素値 を用いて合成を行うため、容易に、カメラが動いたことによる位置ずれ，被写体が動 Vヽたことによる被写体ぶれがな 、画像を作成することができる
更に、本発明では、好ましくは、前記類似性評価過程は、少なくとも前記画像の部 分間のレベル差を計算し、前記類似性を評価する過程から構成された。少なくともレ ベル差で、類似性を判定するため、類似性の判定が容易である。
[0017] 更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間のレ ベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価 する過程から構成された。画像間の類似性を評価する際，レベル差とエッジの強さを 参照することで，類似性が高 、かどうかを正確に評価することができる。
[0018] 更に、本発明では、好ましくは、前記類似性評価過程は、前記計算されたレベル差 が大きぐ前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差 力 、さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する過程を含 む。類似性は，エッジ強度が小さく，レベル差が大きいほど類似性が低く評価するた め、ちょっとした位置のずれ（1画素となりなど)で急激なレベル差を生じるようなエッジ 部分では、ちょっとした外的要因によりレベルに差がでることがあり、この誤検出を防 止できる。
[0019] 更に、本発明では、好ましくは、前記合成された画像に対し、前記類似度が低い領 域に対してノイズ除去を行う過程を更に有する。類似度が高い領域では，画像合成 によりノイズを除去できるが，類似度が低い領域では，合成する画像の枚数が少ない ため，類似度が高い部位に比べ，ノイズが目立つことがあるため、類似度が低い領域 に対してノイズ除去を行うことで画質を向上させる。
[0020] 更に、本発明では、好ましくは、前記類似性評価結果に対し、前記合成した画像の 画質を向上するため類似性評価を修正する修正過程を更に有する。類似性に応じ て、合成方法を変更するため、類似性の高い部分と、類似性の低い部分とで、画質 の差が生じる場合があり、類似性評価を画質を向上するように修正する。
[0021] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が高 い部位に，類似性が低い部位が孤立点として点在していることを検出して、前記類似 性が低 ヽ部位を前記類似性が高 ヽ部位に変更する過程で構成された。類似性評価 を行った後，類似度評価を修正することでさらなる画質向上が図られ、類似度が高い 部位に，類似度が低い部位が孤立点として点在している場合，これを除去する。即ち ,微小な領域は，視認性が低い等の理由で，類似度が低い領域として周囲と別扱い する必要はな 、からである。
[0022] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低 V、領域の周囲に類似性が高!、領域が混在して 、ることを検出して，前記類似性が低 い部位を膨張する処理を行う過程で構成された。類似性評価を行った後，類似度評 価を修正することでさらなる画質向上が図られるが、類似性が低い領域の周囲に類 似性が高 ヽ領域が混在する場合は，類似性が低!ヽ部位を膨張する処理を行うこと〖こ より、合成した際に類似性が低!ヽ領域と高!ヽ領域の境界で不自然さを生じるのを防ぐ ことができる。
[0023] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低 い部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して， 前記類似性が高 、とされた部位を前記類似性が低 、部位に変更する過程力 構成 された。撮影領域内で，何らかの物体が移動した場合，物体の周囲領域は，通常， 画像のレベル値等の変化が大きく，類似性が低いと判断されるが，物体内部は，特 に，物体の色の変化が小さい場合，類似性が高いと判断されやすい。同一の移動物 体において，周囲が類似性小，内部が類似性大となる。このような場合は，同一の移 動物体は，全体を同一の処理としたほうが， 自然である。したがって，類似性が低い 部位に囲まれた領域に類似性が高い部位が存在しているときは，類似性が高いとさ れた領域を類似性が低!ヽ領域に変更する。
[0024] 更に、本発明は、撮影範囲を共有する複数の画像を重ね合わせて合成する画像 処理方法において，画像間の位置ずれパラメータを算出する位置ずれ検出過程と， 前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，補 正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価す る類似性評価過程と，前記類似性評価結果に応じて、合成処理を実施するか否かを 判定する判定過程と、前記合成処理を実施すると判定した場合に、前記補正後の複 数の画像を合成する合成過程と、前記合成処理を実施すると判定しない場合に、前 記複数の画像の 1つの画像を選択する選択過程とを有する。
[0025] 更に、本発明では、好ましくは、前記合成過程は、前記複数の画像の画素レベル 値の単純平均、又は重み付け平均による合成過程からなる。
[0026] 更に、本発明では、好ましくは、前記合成過程は、前記複数の画像の画素レベル 値の輝度線形な信号値での加算による合成過程力 なる。
[0027] 更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素 レベル値の差分による類似性評価過程力 なる。
[0028] 更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素 レベル値の差分を閾値と比較して、類似性を判定する過程力もなる。
[0029] 更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素 レベル値の差分を、画像のレベルの勾配に応じて決定された閾値と比較して、類似 性を評価する過程からなる。
[0030] 更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された 画素数に応じて判定する過程力 なる。
[0031] 更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された 画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過 程からなる。
[0032] 更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された 画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過 程からなる。
発明の効果
[0033] 複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補 正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため 、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがない 画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため 、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。
図面の簡単な説明 [図 1]本発明の一実施の形態の画像処理装置のブロック図 圆 2]本発明の一実施の形態の画像処理装置の動作説明図
[図 3]本発明の画像処理の第 1の実施の形態の処理フロー図
[図 4]図 3の類似性評価処理の詳細フロー図
[図 5]図 4のレベル差、エッジ強度の説明図
[図 6]図 4のエッジ強度の計算の説明図
[図 7]図 3の合成方法の説明図
[図 8]図 3の他の合成方法の説明図
[図 9]図 3の類似性評価修正処理フロー図
[図 10]図 9の類似性評価処理の説明図
[図 11]類似性評価結果のサンプル画像例を示す図
[図 12]類似性評価修正結果の説明図
[図 13]類似性評価修正結果の他の説明図
[図 14]本発明の画像処理の第 2の実施の形態の処理フロー図
[図 15]本発明の画像処理の第 2の実施の形態の画像処理の説明図
[図 16]図 14の画像処理の詳細処理フロー図
[図 17]図 16の合成処理のための撮像処理フロー図
[図 18]図 16の合成処理のための他の撮像処理フロー図
[図 19]図 18の撮像処理のための図 16の合成処理フロー図
[図 20]本発明の画像処理の第 3の実施の形態の処理フロー図
[図 21]図 20のインクリメントテーブルの説明図
[図 22]図 20の画像処理の撮像画像の説明図
[図 23]図 22の撮像画像のレベル分布の説明図
[図 24]図 20の画像処理の他の撮像画像の説明図
[図 25]図 24の撮像画像のレベル分布の説明図
[図 26]本発明の画像処理の第 4の実施の形態の処理フロー図
[図 27]図 26の閾値テーブルの説明図
[図 28]図 26の第 4の実施の形態の画像処理の説明図 [図 29]本発明の画像処理の第 5の実施の形態の処理フロー図
[図 30]図 29のインクリメントテーブルの説明図
[図 31]図 29の閾値テーブルの説明図
[図 32]従来の第 1の画像合成方法の説明図
[図 33]従来の第 2の画像合成方法の説明図
符号の説明
[0035] 1 撮像デバイス又は画像メモリ
2 画像処理装置
20 フレームメモリ
22 処理ユニット
30 位置ずれ検出部
32 位置ずれ補正部
34 類似性評価部
36 合成方法変更部
38 画像合成部
発明を実施するための最良の形態
[0036] 以下、本発明を画像処理装置、画像処理方法の第 1の実施の形態、類似性評価 修正方法、画像処理方法の第 2の実施の形態、画像処理方法の第 3の実施の形態、 画像処理方法の第 4の実施の形態、画像処理方法の第 5の実施の形態、他の実施 の形態の順で説明するが、本発明は、この実施の形態に限られない。
[0037] *画像処理装置 *
図 1は、本発明の一実施の形態の画像処理装置のブロック図、図 2は、その動作説 明図である。図 1に示すように、画像処理装置 2は、デジタルカメラ (カメラ付携帯を含 む）に内蔵される力 デジタルカメラに接続されるパーソナルコンピュータに内蔵され る。
[0038] 例えば、デジタルカメラ又はカメラ付携帯 (携帯電話等）に内蔵される場合には、撮 像デバイス (撮像素子） 1からの画像を処理する画像処理装置 2として、デジタルカメ ラ又はカメラ付携帯に内蔵される。又、パーソナルコンピュータに内蔵される場合に は、デジタルカメラ又はデジタルカメラ内のメモリ 1からの画像を処理するプログラムと して、構成される。
[0039] 図 1に示すように、画像処理装置 2は、フレームメモリ 20と、処理ユニット（例えば、 画像処理プロセッサ） 22とで構成される。撮像デバイス又は画像メモリ 1からの撮影 範囲を共有する複数の画像は、各々フレームメモリ 20に格納される。処理ユニット 22 は、フレームメモリ 22の複数の画像を重ね合わせて合成する処理を実行する。
[0040] 処理ユニット 22は、画像間の位置ずれパラメータを算出する位置ずれ検出過程を 実行する位置ずれ検出部 30と、位置ずれパラメータで画像間の位置ずれを補正す る位置ずれ補正過程を実行する位置ずれ補正部 32と，補正後の画像間で部位 (領 域)ごとに類似性を評価する類似性評価過程を実行する類似性評価部 34と、類似性 に応じて合成方法又は合成パラメータを変更する合成方法変更過程を実行する合 成方法変更部 36と、合成パラメータに従い、位置ずれ補正後の画像を合成する画像 合成部 38とを有する。
[0041] 図 2を参照して、図 1の構成の動作を説明する。図 2では、連写した 2枚の画像 A, B を合成する例を示し、 1枚目の画像 Aの撮像後、被写体 (人物） 102が、左方に移動 して、 2枚目の画像 Bが撮像された例を示す。先ず、位置ずれ検出部 30は、フレーム メモリ 20の 2枚の画像 (撮像画面データ) A, Bの位置ずれを検出する。例えば、周知 の KLT(Kanade— Lucas— Tomasi)変換により、特徴点を抽出し、追跡して、画像 全体の位置ずれを検出する。
[0042] 位置ずれ補正部 32は、各々の画像 A, Bを、検出されたパラメータで位置ずれ補正 する。図 2に示すように、画像全体の位置ずれ補正のため、補正後の画像 A ' , B'の 背景部分 110, 120の位置ずれは補正されるが、画像全体の位置ずれより大きく移 動した領域 (ここでは、人物としての被写体 102)の位置ずれは、補正できない。
[0043] 類似性評価部 34は、位置ずれ補正後に，画像 A ' , B'間の類似性を評価する。例 えば、画像 A' , B'の各画素のレベル変化やエッジ強度を計算し、類似度が高いか 低いかを判定する。画像合成方法変更部 36は、類似度評価部 34の判定結果により 、類似度が低い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の 画像の画素値を用いるよう、画像合成部 38に指示する。又は、類似度が低い領域の 大きさを判定し、類似度が低い領域の大きさの判定結果に応じて、画像 A' , B 'を合 成するか、 1枚の画像 (例えば、 Β' )を選択するかを決定する。画像合成部 38は、こ の指示に従い、画像 A ' , B'の合成又は選択を行い、出力する。
[0044] 図 2では、類似性評価部 34の評価結果を、画像 Cで示し、画像 A ' , B'間の類似性 の高い領域を、黒で、類似性の低い領域を白で示している。白の類似度が低い領域 は，一部の画像 (例えば、画像 Α ')の画素値を用い，黒の類似度が高い領域は、複 数の画像 A' , B 'の画素値を合成することにより、画像 Dのような，カメラが動いたこと による位置ずれ，被写体 (人物）が動いたことによる被写体ぶれがない画像を作成す ることがでさる。
[0045] *画像処理方法の第 1の実施の形態 *
図 3は、本発明の画像処理の第 1の実施の形態の処理フロー図、図 4は、図 3の類 似性評価処理の詳細フロー図、図 5は、図 4のレベル差、エッジ強度の説明図、図 6 は、図 4のエッジ強度の計算の説明図、図 7は、図 3の合成方法の説明図である。
[0046] 以下、図 3に従い、実施の形態の画像処理を説明する。
[0047] (S10)先ず、デジタルカメラで撮像する。ここでは、 1回のシャッター押下で、複数 の短時間露光撮像を行い、複数の連続画像 A, Βを取得する。
[0048] (S12)処理ユニット 20は、 2つの画像の位置ずれを補正する。ここでは、前述の
LT変換を用いる。 KLT変換法は、例えば、著者 Carlo Tomasi and Takeo Kaneda による文献「Good Features to TrackJ (IEEE Conference
on Computer Vision and Pattern
Recognition, page 593- 600)で示されるように、 2つの画像の特徴点を抽出し、追跡す ることで位置ずれを検出し、その補正を行う。尚、位置ずれの補正方法は，特にこの 方法に限るものではない。
[0049] (S14)次に，処理ユニット 20は、位置ずれ補正を行った画像間の類似性を評価し 、動きのない領域と動きのある領域を区別する。類似度の評価は、ここでは、両画像 の各画素のレベル差と，エッジ強度を用いる。実際の画像では，エッジの強い部位は ,類似度が高くても、レベル差が大きいということがあるので，両者を用いた評価が好 ましい。ただし，この方法に限定されるわけではなく，例えば，レベル差のみを用いる 方法や、輝度変化の勾配の差を用いる方法などを採用できる。図 5により、レベル差 とエッジ強度を説明すると、画像 1と画像 2のレベル差を、 Δ a (RGB値の差分の絶対 値の和）とし，画像 2のある位置（X, y)と 1画素隣 (x+ 1, y)の画素とのレベルさをェ ッジ強度 A bとした時，エッジ強度 A bが小さぐレベル差 Δ aが大きい程、類似度は 低ぐ逆に、エッジ強度 A bが大きぐレベル差 が小さいと、類似度は高い。即ち、 レベル差が大きくても、エッジ強度が大きい場合には、即ち、画像パターンのエッジ 近傍では、類似度が高い。ここで、後述する類似度評価の修正を実行することが、望 ましい。
[0050] (S16)画像 A, B (l, 2)間の類似性評価結果は、図 2のように、黒白の領域で表現 される。処理ユニット 20は、画像合成を行う。合成方法を，黒い領域 (動きのない領域 )と白い領域 (動きのある領域)とで変更する。図 7は、重み付けによる合成方法を示 し、黒い領域 (非動き領域)は、複数の画像の重み付き平均加算を行い， 白い領域（ 動き領域）は、 1枚の画像 (または， 1枚の画像の重みを大きくする）を用いる。例えば ,図 7では、画像 1,画像 2,画像 3の 3枚の画像合成を行う場合、動き領域は、画像 2 の重みを， 「1」、画像 1, 3の重みを「0」にして、画像合成する。即ち、画像 2のみを使 用する。一方、非動き領域は、画像 2の重みを「0. 5」、画像 1, 3の重みを「0. 25」に して、画像合成する。即ち、複数の画像の重み付き平均加算を行い，重みを付けて 合成する。この際、黒と白の境界が連続的になるように、境界部分の重みを平滑化す ることちでさる。
[0051] (S18)更に、合成結果において， 1枚の画像を用いた領域 (動き領域）は，複数枚 の画像を用いて合成した領域に比べ、平均化されていない分だけ、ノイズが目立つ ことがある。そこで，この動き領域のみ，メディアンフィルタを用いることで、孤立点を 除去し、ノイズを除去してもよい。
[0052] 次に、図 4により、図 3の類似性評価ステップを詳細に説明する。
[0053] (S20)先ず、処理ユニット 20は、画像 1, 2 (画像 A, B)の対応位置にある各画素の レベル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl, Gl, B1 とし、画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、下記式（1)でレベル差 Δ aを計算する。 [0054] [数 1]
Δ« = (x, y)― R2 (x, )| +
Figure imgf000014_0001
(X, y)― B2 (x, y)\
(S22)次に、処理ユニット 20は、対象画素とその周囲 4近傍の画素とのエッジ強度 A bを計算する。図 6に示すように、 3 X 3の画素マトリックスを仮定し、中心を、対象画 素 Tとすると、中心画素丁から、それぞれ、 x、 y方向に前後する 4つの画素 P1〜P4を 、評価対象とする。そして、 RGB画像の場合には、同様に、画像 2を R2, G2, B2とし 、対象画素位置を、 x、 y、 1つの隣接画素位置を、 x+ l、 yとすると、下記式 (2)で、 エッジ強度値 を計算する。
[0055] [数 2]
Δ =
Figure imgf000014_0002
(x + 1, ）一 G2 (x， y)\ + \B2 (x + l, y) - B2 (x, ) | このエッジ強度値 A bが大きいほど，エッジ強度が大きい。又、図 6に示したように、 エッジ強度値 は、対象画素 Tを中心に、 4つの隣接画素 P1〜P4の各々に対し、 計算する。即ち、エッジ強度値 は、 4つ計算される。
[0056] (S24)次に、処理ユニット 20は、類似性評価度 dを、下記式（3)で計算する。
[0057] [数 3]
Figure imgf000014_0003
A bは，ある位置の周囲 4近傍の位置 F (i, j) , j 1) }で算出するため， 4個の評価度 dを算出する。そのため，この 4つの評価度 d の値の最小値を求め，その値を、類似度評価を行う際に使用する。この評価度 dは， 式（3)より、エッジ強度 A bが小さく，レベル差 Δ aが大きいほど，大きくなる。つまり， エッジでない時に，類似度が低くなる。最小値を採用する理由は、 4つの評価度 dの 内、類似度が大き 、 (評価度が小さ!、；)ものを抽出するためである。
[0058] (S26)類似性に応じて合成方法を変更する際は，類似性評価度をあらかじめ設定 した閾値と比較することで決定する。即ち、処理ユニット 20は、ステップ S24の抽出さ れた評価度 dと、所定の閾値 dthとを比較する。処理ユニット 20は、評価度 dが、ある 閾値 dthよりも小さ 、画素は，類似性評価度が高!、領域 (類似度が高!、領域)と判定 する。又，評価度 dが、ある閾値 dthより大きい画素は、類似性評価度が低い領域 (類 似度が低い領域）と判定する。このように判定した結果は、前述の図 2の評価マップ のように、 1画面に対し、画素又は領域単位で、表される。図 2では、類似度が高いと 判定された領域を黒，低 ヽと判定された領域を白で表示して!/ヽる。
[0059] (S28)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定する 。全画素に対して、処理を終了していない時は、ステップ S20に戻る。一方、全画素 に対して、終了している時は、類似性評価処理を終了する。
[0060] 図 8は、図 3の画像合成処理の他の実施の形態の処理フロー図である。
[0061] (S30)処理ユニット 20は、画像 A, B (l, 2)間の類似性評価結果において、対象 画素は、類似性が高いか低いかを判定する。
[0062] (S32)処理ユニット 20は、図 2のように、黒い領域 (動きのない領域）と白い領域 (動 きのある領域)とで合成方法を変更するため、類似性が高い黒い領域 (非動き領域） は、複数の画像の画素値の平均値を計算する。
[0063] (S34)—方、処理ユニット 20は、類似性の低い白い領域 (動き領域）は、 1枚の画 像の画素値を用いる。
[0064] (S36)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定する 。全画素に対して、処理を終了していない時は、ステップ S30に戻る。一方、全画素 に対して、終了している時は、合成処理を終了する。
[0065] このように、非動き領域は、複数の画像を合成するため、充分な明るさで、ぶれのな い画像が得られ、動き領域は、 1枚の画像を使用するため、明るさは劣るが、ぶれの ない画像が得られる。しカゝも、動き領域は、画像合成を行わないため、処理負荷の軽 減に寄与する。
[0066] * *類似性評価修正方法 * *
次に、図 3で説明した類似性評価修正処理を説明する。この類似性評価による画 像合成処理では、画像を動き領域と非動き領域とに別け、合成方法を変えるため、 両領域で、画質が異なる場合がある。これを最小とするため、類似性評価修正処理 を行う。
[0067] 図 9は、図 3の類似性評価修正処理フロー図、図 10は、図 9の類似性評価処理の 説明図、図 11は、類似性評価結果のサンプル画像例を示す図、図 12は、類似性評 価修正結果の画像を示す図、図 13は、類似性評価修正結果の他の画像を示す図 である。
[0068] 類似度評価を行った後、図 9に示すように、類似性評価結果の修正を行うことが望 ましい。図 10に示すように、動き領域（図 2の白領域）が、孤立点として存在している 場合，孤立点のような微小な領域は，視認性が低いなどの理由で類似度が低い領域 として別扱いする必要はない。このため、類似性評価修正 1として、孤立点除去を行 う。又、類似性が低い領域の周囲に類似性が高い領域が混在する場合は，類似性 が低い部位を膨張する処理 (類似性評価修正 2)を行うことにより、合成した際に類似 性が低 、領域と高 、領域の境界で不自然さを生じるのを防ぐことができる。
[0069] 又、同一の移動物体 (動き領域）において，周囲が、類似性が低く，内部が、類似 性が高い領域となる場合がある。このような場合は，同一の移動物体は，全体を同一 の処理としたほうが， 自然である。そこで類似度が低い領域の内側の類似度が高い 領域は，類似性の低い領域に置き換える類似性評価修正 3を行う。なお，このどちら の現象も，必ずしも対応が必須なものではなぐ例えば、計算時間を優先する場合な どは、いずれか又は全部を，実施しなくてもかまわない。
[0070] 図 11乃至図 13を参照して、図 9の処理を説明する。
[0071] (S40)処理ユニット 20は、類似性が低!、部位が孤立して 、るかを判定する。例え ば、図 111の 3枚の画像 Al, A2、 A3の内、画像 Al, A2の類似性評価結果は、 C1 のようになるとし、画像 A2, A3の類似性評価結果は、 C2になるものと仮定する。類 似性評価結果 C1では、類似性の低い領域 (黒点）が、類似性の高い領域 (図 11の 白領域）に、孤立点として存在している。具体的には、例えば、類似性の高い領域に 対し、 3 X 3のマスクフィルタでスキャンし、類似性の低い孤立点を探索する。
[0072] (S42)処理ユニット 20は、マスクフィルタで、孤立点を発見した場合，孤立点のよう な微小な領域は，視認性が低 、などの理由で類似度が低 、領域として別扱 、する 必要はないため、類似性評価修正 1として、孤立点除去を行う。例えば、この孤立点 の類似性評価結果を、類似性が高いと変更する。これにより、類似性評価結果 C1は 、図 12の C4のように、類似性の低い領域 (黒点）が、類似性の高いと変更され、孤立 点は除去される。
[0073] (S44)次に、処理ユニット 20は、周囲が、類似性が低く，内部が、類似性が高い領 域があるかを判定する。例えば、図 11、図 12の類似性評価結果 CI, C4の車の窓の 内部である。具体的には、例えば、類似性の低い領域に対し、 3 X 3のマスクフィルタ でスキャンし、類似性の高!、領域が存在するかを探索する。
[0074] (S46)処理ユニット 20は、周囲が、類似性が低く，内部が、類似性が高い領域を発 見した場合には，類似性が低い部位を膨張する処理を行うことにより、合成した際に 類似性が低い領域と高い領域の境界で不自然さを生じるのを防ぐ。即ち、類似性の 低い領域を膨張処理する類似性評価修正 2を実行する。膨張処理は、周囲が、類似 性が低く，内部が、類似性が高い場合に、類似性の低い画素を膨張し、例えば、類 似性の低い 1画素を、 3 X 3の類似性の低い画素に膨張し、類似性の高い画素を潰 す。これにより、類似性評価結果 C4は、図 12の C5のように、類似性の低い領域が膨 張し、類似性の高い部分が潰される。
[0075] (S48)次に、処理ユニット 20は、類似性が高い領域が，類似性の低い領域に囲ま れているかを判定する。例えば、図 11、図 12の類似性評価結果 CI, C4の車の内部 である。具体的には、例えば、類似性の低い領域に対し、 3 X 3のマスクフィルタでス キャンし、類似性の高い領域が存在する力を探索する。
[0076] (S50)処理ユニット 20は、類似性が高!、領域が，類似性が低!、領域に囲まれて!/ヽ ることを発見した場合には，同様に、同一の移動物体は，全体を同一の処理としたほ うが， 自然であるから、そこで、類似度が低い領域の内側に存在する類似度が高い 領域は，類似性の低い領域とする処理を行う。即ち、類似性の高い領域を、類似性 が低 ヽと類似性評価結果を変更する (置き換える)。
[0077] 図 12の類似度評価結果の例を見ると，修正前の評価結果 C1では、白い領域 (類 似性が高い領域)の中に、黒い領域 (類似性が低い領域)が点在している。孤立点除 去を行うと、評価結果 C4のように、白い領域 (類似性が高い領域)の中に、点在して V、た黒 、領域 (類似性が低!、領域)は、除去される。
[0078] 更に、膨張処理を行うと、類似性評価結果 C4の車の窓部の内部が、黒い領域 (類 似性が低い領域）に変更された評価結果 C5となる。同様に、図 13のように、輪郭線 追跡を用いた膨張処理を行うと，評価結果 C6のように、車全体が、黒い領域 (類似 性が低い領域）に変更される。このようにして、修正された類似性評価結果（図 2の評 価結果 C)を用いて、画像合成を行う。
[0079] 合成方法は，前述のように、動き領域と非動き領域とで変更する。図 13に示すよう に、ここでは、図 2とは、逆に、黒い領域を類似性が低いとしているため、白い領域（ 類似性が高い領域)は、図 2と同様に、複数の画像の重み付き平均加算を行い，黒 い領域は、図 3又は図 8と同様に、 1枚の画像 (または， 1枚の画像の重みを大きくす る）を用いる。例えば、図 3と同様に、画像 1,画像 2,画像 3の 3枚の画像合成を行う 場合，図 7のような重みを付けて合成する。この際，黒と白の境界が連続的になるよう に境界部分の重みを平滑ィ匕して合成する。
[0080] 以上，述べたように，本発明によれば，背景の位置ずれによるぶれと，被写体が動 いたことによる被写体ぶれがある場合にも，画像合成による画質向上をは力ることが できる。
[0081] *画像処理方法の第 2の実施の形態 *
図 14は、本発明の画像処理の第 2の実施の形態の処理フロー図、図 15は、図 14 の画像処理方法の説明図である。
[0082] 以下、図 14に従い、この実施の形態の画像処理を説明する。
[0083] (S60)先ず、デジタルカメラで撮像する。ここでは、 1回のシャッター押下で、複数 の短時間露光撮像を行い、複数の連続画像 A, Bを取得する。 [0084] (S62)処理ユニット 20は、 2つの画像の位置ずれを補正する。ここでは、前述の LT変換を用いる。 KLT変換法は、前述のように、 2つの画像の特徴点を抽出し、追 跡することで位置ずれを検出し、その補正を行う。尚、位置ずれの補正方法は，特に この方法に限るものではな 、。
[0085] (S64)次に，処理ユニット 20は、位置ずれ補正を行った画像 A '、 B'間の類似性を 評価し、動きのない領域と動きのある領域を区別する。類似度の評価は、ここでは、 後述するように、両画像の各画素のレベル差と，エッジ強度のいずれか一方又は両 方を用いる。実際の画像では，エッジの強い部位は，類似度が高くても、レベル差が 大きいということがあるので，両者を用いた評価が好ましい。ただし，この方法に限定 されるわけではなく，例えば，レベル差のみを用いる方法や、輝度変化の勾配の差を 用いる方法などを採用できる。
[0086] (S66)画像 A' , B'間の類似性評価結果 Cは、図 15のように、黒白の領域で表現 される。図 15の評価結果 Cでは、黒の領域は、ずれ補正して動きのない領域であり、 白の領域は、ずれ補正しても動きのある（重ならない)領域を示す。処理ユニット 20は 、この動きのある領域（白領域の大きさを判断する。例えば、白領域の画素のビット数 を計数する。
[0087] (S68)処理ユニット 20は、ステップ S66の大きさ判定結果に従 、、選択的な画像合 成を行う。この実施の形態では、動きのある領域の大きさ力 所定の大きさより大きい かを判定し、動きのある領域の大きさ力 所定の大きさより大きい場合には、合成を行 わず、 1枚の画像 (例えば、 2枚目画像 Β)を出力する。一方、動きのある領域の大き さが、所定の大きさより大きくない (小さい)場合には、複数枚の合成処理を行う。この 合成処理は、黒 、領域 (動きのな 、領域)と白 、領域 (動きのある領域)とで変更せず に、全体の画像を合成する。
[0088] この類似性評価結果 Cに対し、前述の類似性評価修正処理で説明したように、孤 立点を除去し、動きのな 、領域 (重なり領域)から除外するようにしても良!、。
[0089] このように、動き領域が大きい場合には、 1枚の短露光画像を選択するため、第 1の 実施の形態に比し、画質は低下するが、処理負担を軽減して、多重写しを防止でき る。又、動き領域が小さい場合には、複数の短露光画像を合成するため、多重写しを 防止して、高画質の画像を得ることができる。
[0090] 次に、図 16乃至図 19を参照して、前述の類似性評価ステップ、動き領域の大きさ 判定ステップ、合成ステップの詳細を説明する。図 16は、図 14の類似性評価ステツ プ、動き領域の大きさ判定ステップ、合成ステップの一実施の形態の処理フロー図、 図 17は、図 16の合成処理の説明のための撮像処理フロー図、図 18は、図 16の合 成処理の説明のための他の撮像処理フロー図、図 19は、図 18の撮像処理を用いた 場合の合成処理フロー図である。
[0091] 以下、図 16により、図 14の類似性評価ステップ S64、判定ステップ S66、合成ステ ップ S68を詳細に説明する。
[0092] (S640)先ず、処理ユニット 20は、類似性が高!、画素数をカウントする類似性高力 ゥンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「0」に初期化す る。
[0093] (S642)処理ユニット 20は、画像 1, 2 (画像 A, B)の対応位置にある各画素のレべ ル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl, Gl, B1とし、 画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、前記した式（1)でレベル差 Δ a を計算する。
[0094] (S644)この画素の類似性を評価するため、レベル差 Δ aを，あらかじめ設定した閾 値 dthと比較することで決定する。即ち、処理ユニット 20は、ステップ S642で抽出さ れたレベル差 Δ aと、所定の閾値 dthとを比較する。処理ユニット 20は、レベル差 Δ a 力 ある閾値 dthよりも小さい画素は，類似性評価度が高い領域 (類似度が高い領域 )と判定し、類似性高カウンタを、インクリメントする。又，レベル差 Δ aが、ある閾値 dt hより大きい画素は、類似性評価度が低い領域 (類似度が低い領域)と判定し、類似 性低カウンタを、インクリメントする。このように判定した結果は、前述の図 2の評価マ ップのように、 1画面に対し、画素又は領域単位で、表される。図 2では、類似度が高 Vヽと判定された領域を黒，低 ヽと判定された領域を白で表示して!/、る。
[0095] (S646)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定す る。全画素に対して、処理を終了していない時は、ステップ S642に戻る。一方、全画 素に対して、終了している時は、類似性評価処理を終了する。 [0096] (S66)処理ユニット 20は、画像全体に対するこの類似度が低い領域の比率を計算 し、比率が、所定値以上かを判定する。即ち、処理ユニット 20は、類似性低カウンタ のカウント値を、画像全体の画素数 (類似性高カウンタと、類似性低カウンタのカウン ト値の和）で割り、比率を計算する。この比率が所定値 (ここでは、 0. 01 = 1 %)以上 かを判定する。処理ユニット 20は、比率が所定値より大きくない場合には、 3枚の画 像の各画素の画素値の平均値を計算し、 1枚の合成画像を作成し、終了する。
[0097] (S68)—方、処理ユニット 20は、比率が所定値より大きい場合には、 1枚の画像を 用い、合成処理しない。ここでは、 2枚目の画像を使用する。
[0098] このように、短露光画像間で類似性の高い場合には、複数の画像を合成するため、 充分な明るさで、ぶれのない画像が得られ、逆に、類似性の低い場合は、 1枚の画像 を使用するため、明るさは劣るが、ぶれのない画像が得られる。し力も、類似性の低 い画像は、画像合成を行わないため、処理負荷の軽減により寄与する。
[0099] 又、レベル差で判定して ヽるため、類似性判断処理の負荷を軽減でき、且つ画像 合成を各画像の画素値の平均値としているため、一層、処理軽減に寄与する。
[0100] 画像の画素値の平均値を計算するのは、短露光時に、連写画像の明るさが、短露 光に適切な AE (Auto Exposure)機能等により設定されている場合である。即ち、 図 17に示すように、デジタルカメラ力 短露光連写し (S700)、次に、信号増幅し (S 702) ,その後、 γ補正し (S704) ,連写画像を出力する（S706)という過程を得る A E機能が設定されて 、る場合である。
[0101] 一方、短露光連写時に、短露光でない場合 (通常露光の場合)と同様の AE機能が 設定されている場合には、図 18に示すように、デジタルカメラ力 短露光連写し (S7 10)、次に、 γ補正し (S712) ,連写画像を出力する（S714)という過程を得る。この ように短露光連写時に、短露光連写に適切な ΑΕ機能を設定して 、な 、場合には、 単純な平均値の計算では、歪が現れる。
[0102] このため、図 16のステップ S66の画像合成過程を、図 19のように変形する。先ず、 各画像のレベル値に逆 γ補正（例えば、 y = 2. 2なら、 2. 2乗）し（S66— 1) ,次に 、逆 0補正した各画像の信号値を加算し (S66— 2) ,再度、 γ補正（1Z2. 2乗)す る（S66— 3)。 [0103] *画像処理方法の第 3の実施の形態 *
図 20は、本発明の画像処理の第 3の実施の形態の処理フロー図、図 21は、そのィ ンクリメント量のテーブル説明図、図 22乃至図 25は、図 20の動作説明図である。図
20は、図 14、図 16の類似性評価ステップの変形例の処理フロー図である。
[0104] (S648)先ず、処理ユニット 20は、類似性が高!、画素数をカウントする類似性高力 ゥンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「0」に初期化す る。
[0105] (S650)処理ユニット 20は、画像 1, 2 (画像 A, B)の対応位置にある各画素のレべ ル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl, Gl, B1とし、 画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、前記した式（1)でレベル差 Δ a を計算する。
[0106] (S652)この画素の類似性を評価するため、レベル差 Δ aを，あらかじめ設定した閾 値 dthと比較することで決定する。即ち、処理ユニット 20は、ステップ S650で抽出さ れたレベル差 Δ aと、所定の閾値 dthとを比較する。処理ユニット 20は、レベル差 Δ a 力 Sある閾値 dthよりも小さ 、画素は，類似性評価度が高 、領域 (類似度が高 、領域） と判定し、類似性高カウンタを、インクリメントする。又，レベル差 Δ aが、ある閾値 dth より大きい画素は、類似性評価度が低い領域 (類似度が低い領域)と判定する。そし て、レベル差 Δ aの絶対値を、閾値 dth割った比率で、図 21のテーブル TBを参照し て、対応するインクリメント量を決定する。このインクリメント量で、類似性低カウンタを インクリメントする。
[0107] (S654)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定す る。全画素に対して、処理を終了していない時は、ステップ S650に戻る。一方、全画 素に対して、終了している時は、類似性評価処理を終了する。
[0108] このテーブル TBは、レベル差の比率が大きい程、大きいインクリメント量を設定する 。即ち、レベル差が閾値以上の場合に、レベル差の大きさに応じて、レベル差に重み を持たせて、カウントする。これにより、レベル差が、閾値から大きく離れた画素程、重 みを大きくして、カウントする。この重みを持たせて、カウントすることは、レベル差が 大きぐ多重写しが目立つ画像を効果的に検出できる。これを、図 22乃至図 25で説 明する。図 22は、撮像範囲内において、白地の背景 BGに、比較的濃い色の物体 A Aが現れている例である。この場合、手振れがあると、図 23に示すように、 1枚目の画 像レベル A—1と、 2枚目の画像レベル B—1のレベル差 Δ aは、大きい。
[0109] 又、図 24は、撮像範囲内において、色の付いた背景 BG— 1に、比較的濃い色の 物体 AAが現れている例である。この場合、手振れがあると、図 25に示すように、 1枚 目の画像レベル A— 2と、 2枚目の画像レベル B— 2のレベル差 Δ aは、小さい。
[0110] 図 22の撮像対象であると、手振れによる多重写しが目立ち、逆に、図 24の撮像対 象であると、手振れによる多重写しは目立たない。図 20に示したように、レベル差が 、閾値から大きく離れた画素程、重みを大きくして、カウントすると、図 22、図 23に示 すような、レベル差が大きぐ多重写しが目立つ画像を効果的に検出できる。逆に、 図 24、図 25の撮像画像は、レベル差が閾値より大きくても、レベル差が小さいため、 通常の重みとする。
[0111] *画像処理方法の第 4の実施の形態 *
図 26は、本発明の画像処理の第 4の実施の形態の処理フロー図、図 27は、そのィ ンクリメント量のテーブル説明図、図 28は、図 26の動作説明図である。図 26は、図 1 4、図 16の類似性評価ステップの他の変形例の処理フロー図である。
[0112] (S656)先ず、処理ユニット 20は、類似性が高!、画素数をカウントする類似性高力 ゥンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「0」に初期化す る。
[0113] (S658)処理ユニット 20は、画像 1, 2 (画像 A, B)の対応位置にある各画素のレべ ル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl, Gl, B1とし、 画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、前記した式（1)でレベル差 Δ a を計算する。
[0114] (S660)次に、処理ユニット 20は、対象画素とその周囲 4近傍の画素とのエッジ強 度 A bを計算する。図 6に示したように、 3 X 3の画素マトリックスを仮定し、中心を、対 象画素 Tとすると、中心画素丁から、それぞれ、 x、 y方向に前後する 4つの画素 Pl〜 P4を、評価対象とする。そして、 RGB画像の場合には、同様に、画像 2を R2, G2, B 2とし、対象画素位置を、 x、 y、 1つの隣接画素位置を、 x+ l、 yとすると、前述の式（ 2)で、エッジ強度値 A bを計算する。
[0115] このエッジ強度値 A bが大きいほど，エッジ強度が大きい。又、図 6に示したように、 エッジ強度値 は、対象画素 Tを中心に、 4つの隣接画素 P1〜P4の各々に対し、 計算する。即ち、エッジ強度値 A bは、 4つ計算される。この 4つのエッジ強度 A bの 絶対値の最大値を選択する。そして、絶対値 A bの最大値により、図 27のテーブル T B— 1を参照して、閾値 dthを決定する。このテーブル TB— 1は、エッジ強度が大きい 程、閾値 dthを大きく設定している。
[0116] (S662)この画素の類似性を評価するため、レベル差 Δ aを，テーブル TB— 1から 得た閾値 dthと比較することで決定する。即ち、処理ユニット 20は、ステップ S658で 抽出されたレベル差 Δ aと、エッジ強度で決定された閾値 dthとを比較する。処理ュ ニット 20は、レベル差 Δ aがある閾値 dthよりも小さい画素は，類似性評価度が高い 領域 (類似度が高い領域)と判定し、類似性高カウンタを、インクリメントする。又，レ ベル差 Δ aが、ある閾値 dthより大きい画素は、類似性評価度が低い領域 (類似度が 低い領域)と判定し、類似性低カウンタを、インクリメントする。
[0117] (S664)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定す る。全画素に対して、処理を終了していない時は、ステップ S648に戻る。一方、全画 素に対して、終了している時は、類似性評価処理を終了する。
[0118] このテーブル TB— 1は、エッジ強度 (即ち、画像勾配）が大きい程、大きい閾値を 設定する。即ち、画像のエッジの勾配により、類似性判定の閾値を変更する。エッジ 勾配が大きい程、大きい閾値を設定する。図 28に示すように、 1枚目の画像信号 A - 2と 2枚目の画像信号 B— 2とが少しずれて 、ても、エッジが多 、画像では、エッジ 近傍で、画像 A—2, B— 2のレベル差が大きくなり、少しのずれでも、類似性が低い とカウントされる。
[0119] この実施の形態では、エッジ強度が大きい場合に、閾値を大きくして、エッジ近傍で 、重ならない領域が極端に頻繁に計数されることを防止できる。即ち、エッジの多い 画像に対し、過度に、類似性が低いと計数されることを防止する。
[0120] *画像処理方法の第 5の実施の形態 *
図 29は、本発明の画像処理の第 5の実施の形態の処理フロー図、図 30は、そのィ ンクリメント量のテーブル説明図、図 31は、その閾値テープノレの説明図である。図 29 は、図 14、図 16の類似性評価ステップの更に他の変形例の処理フロー図であり、図 20と図 26の実施の形態を組み合わせたものである。
[0121] (S666)先ず、処理ユニット 20は、類似性が高!、画素数をカウントする類似性高力 ゥンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「0」に初期化す る。
[0122] (S668)処理ユニット 20は、画像 1, 2 (画像 A, B)の対応位置にある各画素のレべ ル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl, Gl, B1とし、 画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、前記した式（1)でレベル差 Δ a を計算する。
[0123] (S670)次に、処理ユニット 20は、対象画素とその周囲 4近傍の画素とのエッジ強 度 A bを計算する。図 6に示したように、 3 X 3の画素マトリックスを仮定し、中心を、対 象画素 Tとすると、中心画素丁から、それぞれ、 x、 y方向に前後する 4つの画素 Pl〜 P4を、評価対象とする。そして、 RGB画像の場合には、同様に、画像 2を R2, G2, B 2とし、対象画素位置を、 x、 y、 1つの隣接画素位置を、 x+ l、 yとすると、前述の式（ 2)で、エッジ強度値 A bを計算する。
[0124] このエッジ強度値 A bが大きいほど，エッジ強度が大きい。又、図 6に示したように、 エッジ強度値 は、対象画素 Tを中心に、 4つの隣接画素 P1〜P4の各々に対し、 計算する。即ち、エッジ強度値 A bは、 4つ計算される。この 4つのエッジ強度 A bの 絶対値の最大値を選択する。そして、絶対値 A bの最大値により、図 31のテーブル T B— 1を参照して、閾値 dthを決定する。このテーブル TB— 1は、エッジ強度が大きい 程、閾値 dthを大きく設定している。
[0125] (S672)この画素の類似性を評価するため、レベル差 Δ aを，テーブル TB— 1から 得た閾値 dthと比較することで決定する。即ち、処理ユニット 20は、ステップ S668で 抽出されたレベル差 Δ aと、エッジ強度で決定された閾値 dthとを比較する。処理ュ ニット 20は、レベル差 Δ aがある閾値 dthよりも小さい画素は，類似性評価度が高い 領域 (類似度が高い領域)と判定し、類似性高カウンタを、インクリメントする。又，レ ベル差 Δ aが、ある閾値 dthより大きい画素は、類似性評価度が低い領域 (類似度が 低い領域）と判定する。そして、レベル差 Δ aの絶対値を、閾値 dth割った比率で、図 30のテーブル TBを参照して、対応するインクリメント量を決定する。このインクリメント 量で、類似性低カウンタをインクリメントする。
[0126] (S674)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定す る。全画素に対して、処理を終了していない時は、ステップ S668に戻る。一方、全画 素に対して、終了している時は、類似性評価処理を終了する。
[0127] 図 30のテーブル TBは、レベル差の比率が大き!/、程、大き!/、インクリメント量を設定 する。即ち、レベル差が閾値以上の場合に、レベル差の大きさに応じて、レベル差に 重みを持たせて、カウントする。これにより、レベル差が、閾値から大きく離れた画素 程、重みを大きくして、カウントする。この重みを持たせて、カウントすることは、レベル 差が大きぐ多重写しが目立つ画像を効果的に検出できる。
[0128] 又、図 31のテーブル TB— 1は、エッジ強度 (即ち、画像勾配）が大きい程、大きい 閾値を設定する。即ち、画像のエッジの勾配により、類似性判定の閾値を変更する。 エッジ勾配が大きい程、大きい閾値を設定する。即ち、エッジ強度が大きい場合に、 閾値を大きくして、エッジ近傍で、重ならない領域が極端に頻繁に計数されることを 防止できる。即ち、エッジの多い画像に対し、過度に、類似性が低いと計数されること を防止する。
[0129] * *他の実施の形態 * *
前述の実施の形態では、主に、 2枚の画像の合成で説明した力 3枚以上の画像 の合成にも適用できる。又、類似性評価修正過程の一部又は全部を省略することも できる。更に、類似性評価は、レベル差の検出とエッジ強度の検出とを併用している 力 いずれか一方で良い。又、類似性評価は、画素単位に限らず、連続した複数画 素で構成される領域又は画素ブロック単位でも適用できる。
[0130] 以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、 本発明は、種々の変形が可能であり、本発明の範囲力もこれらを排除するものでは ない。
産業上の利用可能性
[0131] 複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補 正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため 、カメラが動いたことによる位置ずれ，被写体が動いたことによる、被写体ぶれがない 画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため 、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。

Claims

請求の範囲
[1] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法にぉ ヽて 画像間の位置ずれパラメータを算出する位置ずれ検出過程と，
前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と， 補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評 価する類似性評価過程と，
前記類似性評価結果に応じて、前記画像の合成方法または合成パラメータを変更 して、前記補正後の複数の画像を合成する合成過程とを有する
ことを特徴とする画像処理方法。
[2] 前記類似性評価過程は、前記画像の部分間の類似度が高!ヽか低!ヽかを評価する 過程であり，
前記合成過程は、前記類似度が低い領域に対しては、一部の前記画像の画素値 を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合 成する過程から構成された
ことを特徴とする請求項 1の画像処理方法。
[3] 前記類似性評価過程は、少なくとも前記画像の部分間のレベル差を計算し、前記 類似性を評価する過程から構成された
ことを特徴とする請求項 1の画像処理方法。
[4] 前記類似性評価過程は、前記画像の部分間のレベル差とエッジ強度とを計算し、 前記レベル差と前記エッジ強度とから類似性を評価する過程力も構成された ことを特徴とする請求項 1の画像処理方法。
[5] 前記類似性評価過程は、前記計算されたレベル差が大きぐ前記エッジ強度が小 さい場合には、類似性が低いと評価し、前記レベル差力 S小さくても、前記エッジ強度 が大き 、場合には、類似性が高!ヽと評価する過程を含む
ことを特徴とする請求項 4の画像処理方法。
[6] 前記合成された画像に対し、前記類似度が低!、領域に対してノイズ除去を行う過 程を更に有する ことを特徴とする請求項 1の画像処理方法。
[7] 前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評 価を修正する修正過程を更に有する
ことを特徴とする請求項 1の画像処理方法。
[8] 前記類似性評価の修正過程は、前記類似性が高!、部位に，類似性が低!ヽ部位が 孤立点として点在して!/ヽることを検出して、前記類似性が低!、部位を前記類似性が 高 ヽ部位に変更する過程で構成された
ことを特徴とする請求項 7の画像処理方法。
[9] 前記類似性評価の修正過程は、前記類似性が低!、領域の周囲に類似性が高!、領 域が混在して ヽることを検出して，前記類似性が低!、部位を膨張する処理を行う過 程で構成された
ことを特徴とする請求項 7の画像処理方法。
[10] 前記類似性評価の修正過程は、前記類似性が低!、部分に囲まれた領域に、前記 類似性が高 ヽ部分が存在して!/ヽることを検出して，前記類似性が高!ヽとされた部位 を前記類似性が低い部位に変更する過程力 構成された
ことを特徴とする請求項 7の画像処理方法。
[11] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法にぉ ヽて 画像間の位置ずれパラメータを算出する位置ずれ検出過程と，
前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と， 補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評 価する類似性評価過程と，
前記類似性評価結果に応じて、合成処理を実施するか否かを判定する判定過程と 前記合成処理を実施すると判定した場合に、前記補正後の複数の画像を合成する 合成過程と、
前記合成処理を実施すると判定しな!、場合に、前記複数の画像の 1つの画像を選 択する選択過程とを有する ことを特徴とする画像処理方法。
[12] 前記合成過程は、前記複数の画像の画素レベル値の単純平均、又は重み付け平 均による合成過程力 なる
ことを特徴とする請求項 11の画像処理方法。
[13] 前記合成過程は、前記複数の画像の画素レベル値の輝度線形な信号値での加算 による合成過程力 なる
ことを特徴とする請求項 11の画像処理方法。
[14] 前記類似性評価過程は、前記複数の画像の画素レベル値の差分による類似性評 価過程からなる
ことを特徴とする請求項 11の画像処理方法。
[15] 前記類似性評価過程は、前記複数の画像の画素レベル値の差分を閾値と比較し て、類似性を判定する過程力もなる
ことを特徴とする請求項 14の画像処理方法。
[16] 前記類似性評価過程は、前記複数の画像の画素レベル値の差分を、画像のレべ ルの勾配に応じて決定された閾値と比較して、類似性を評価する過程からなる ことを特徴とする請求項 15の画像処理方法。
[17] 前記判定過程は、前記類似性の低 、と判定された画素数に応じて判定する過程か らなる
ことを特徴とする請求項 11の画像処理方法。
[18] 前記判定過程は、前記類似性の低!、と判定された画素数を、画素間のレベル差に よる重みを付けて加算した結果に応じて判定する過程力 なる
ことを特徴とする請求項 17の画像処理方法。
[19] 前記判定過程は、前記類似性の低!、と判定された画素数を、画素間のレベル差に よる重みを付けて加算した結果に応じて判定する過程力 なる
ことを特徴とする請求項 16の画像処理方法。
[20] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理装置にお ヽて 前記複数の画像を格納するメモリと、 前記メモリの前記複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラ メータで画像間の位置ずれを補正する処理ユニットとを有し，
前記処理ユニットは、
前記補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性 を評価し、前記類似性評価結果に応じて、前記画像の合成装置または合成パラメ一 タを変更して、前記補正後の複数の画像を合成する
ことを特徴とする画像処理装置。
[21] 前記処理ユニットは、前記画像の部分間の類似度が高!ヽか低 ヽかを評価し、前記 類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高 V、領域に対しては、複数の前記画像の画素値を用いて合成する
ことを特徴とする請求項 20の画像処理装置。
[22] 前記処理ユニットは、少なくとも前記画像の部分間のレベル差を計算し、前記類似 性を評価する
ことを特徴とする請求項 20の画像処理装置。
[23] 前記処理ユニットは、前記画像の部分間のレベル差とエッジ強度とを計算し、前記 レベル差と前記エッジ強度とから類似性を評価する
ことを特徴とする請求項 20の画像処理装置。
[24] 前記処理ユニットは、前記計算されたレベル差が大きぐ前記エッジ強度が小さ 、 場合には、類似性が低いと評価し、前記レベル差力小さくても、前記エッジ強度が大 きい場合には、類似性が高いと評価する
ことを特徴とする請求項 23の画像処理装置。
[25] 前記処理ユニットは、前記合成された画像に対し、前記類似度が低!ヽ領域に対し てノイズ除去を行う
ことを特徴とする請求項 20の画像処理装置。
[26] 前記処理ユニットは、前記類似性評価結果に対し、前記合成した画像の画質を向 上するため類似性評価を修正する
ことを特徴とする請求項 20の画像処理装置。
[27] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が高 、部位に， 類似性が低 、部位が孤立点として点在して 、ることを検出して、前記類似性が低 ヽ 部位を前記類似性が高 、部位に変更する
ことを特徴とする請求項 26の画像処理装置。
[28] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低 、領域の周 囲に類似性が高 、領域が混在して 、ることを検出して，前記類似性が低!、部位を膨 張する
ことを特徴とする請求項 26の画像処理装置。
[29] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低!、部分に囲 まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性 が高 、とされた部位を前記類似性が低 、部位に変更する
ことを特徴とする請求項 26の画像処理装置。
[30] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理装置にお ヽて 前記複数の画像を格納するメモリと、
前記メモリの前記複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラ メータで画像間の位置ずれを補正する処理ユニットとを有し，
前記処理ユニットは、
前記補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性 を評価し、前記類似性評価結果に応じて、合成処理を実施するか否かを判定し、前 記合成処理を実施すると判定した場合に、前記補正後の複数の画像を合成し、前記 合成処理を実施すると判定しな!、場合に、前記複数の画像の 1つの画像を選択する ことを特徴とする画像処理装置。
[31] 前記処理ユニットは、前記複数の画像の画素レベル値の単純平均、又は重み付け 平均による合成処理を実行する
ことを特徴とする請求項 30の画像処理装置。
[32] 前記処理ユニットは、前記複数の画像の画素レベル値の輝度線形な信号値での加 算による合成処理を実行する
ことを特徴とする請求項 30の画像処理装置。
[33] 前記処理ユニットは、前記複数の画像の画素レベル値の差分により、前記類似性 を評価する
ことを特徴とする請求項 30の画像処理装置。
[34] 前記処理ユニットは、前記複数の画像の画素レベル値の差分を閾値と比較して、 類似性を判定する
ことを特徴とする請求項 33の画像処理装置。
[35] 前記処理ユニットは、前記複数の画像の画素レベル値の差分を、画像のレベルの 勾配に応じて決定された閾値と比較して、類似性を評価する
ことを特徴とする請求項 34の画像処理装置。
[36] 前記処理ユニットは、前記類似性の低いと判定された画素数に応じて判定する ことを特徴とする請求項 30の画像処理装置。
[37] 前記処理ユニットは、前記類似性の低!、と判定された画素数を、画素間のレベル 差による重みを付けて加算した結果に応じて判定する
ことを特徴とする請求項 36の画像処理装置。
[38] 前記処理ユニットは、前記類似性の低!、と判定された画素数を、画素間のレベル 差による重みを付けて加算した結果に応じて判定する
ことを特徴とする請求項 35の画像処理装置。
[39] 前記処理ユニットは、手振れ補正した画像を出力する
ことを特徴とする請求項 30の画像処理装置
PCT/JP2006/315121 2005-09-16 2006-07-31 画像処理方法及び画像処理装置 WO2007032156A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007535392A JP4553942B2 (ja) 2005-09-16 2006-07-31 画像処理方法及び画像処理装置
EP06781999.5A EP1933271A4 (en) 2005-09-16 2006-07-31 IMAGE PROCESSING AND PICTURE PROCESSING DEVICE
US12/076,267 US8340464B2 (en) 2005-09-16 2008-03-14 Image processing method and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2005/017147 WO2007032082A1 (ja) 2005-09-16 2005-09-16 画像処理方法及び画像処理装置
JPPCT/JP2005/017147 2005-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/076,267 Continuation US8340464B2 (en) 2005-09-16 2008-03-14 Image processing method and image processing device

Publications (1)

Publication Number Publication Date
WO2007032156A1 true WO2007032156A1 (ja) 2007-03-22

Family

ID=37864688

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2005/017147 WO2007032082A1 (ja) 2005-09-16 2005-09-16 画像処理方法及び画像処理装置
PCT/JP2006/315121 WO2007032156A1 (ja) 2005-09-16 2006-07-31 画像処理方法及び画像処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/017147 WO2007032082A1 (ja) 2005-09-16 2005-09-16 画像処理方法及び画像処理装置

Country Status (4)

Country Link
US (1) US8340464B2 (ja)
EP (1) EP1933271A4 (ja)
JP (1) JP4553942B2 (ja)
WO (2) WO2007032082A1 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263316A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008263314A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008263315A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008278444A (ja) * 2007-03-30 2008-11-13 Fujifilm Corp 撮影装置
JP2008276482A (ja) * 2007-04-27 2008-11-13 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2008301043A (ja) * 2007-05-30 2008-12-11 Fujitsu Ltd 画像合成装置と画像合成方法および画像合成プログラム
JP2009169794A (ja) * 2008-01-18 2009-07-30 Sony Corp 表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラム
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
WO2010116731A1 (ja) * 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
JP2010258933A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 画像変形装置およびその動作制御方法
JP2011504266A (ja) * 2007-11-12 2011-02-03 クゥアルコム・インコーポレイテッド ブロックベースの画像安定化
US20110058050A1 (en) * 2008-06-19 2011-03-10 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法
JP2012022652A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2012065125A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体
JP2013132082A (ja) * 2013-03-22 2013-07-04 Casio Comput Co Ltd 画像合成装置、及びプログラム
JP2013179565A (ja) * 2012-02-01 2013-09-09 Panasonic Corp 撮像装置
US8682098B2 (en) 2007-12-29 2014-03-25 Morpho, Inc. Image data processing method and image processing apparatus
JP2014068088A (ja) * 2012-09-25 2014-04-17 Sharp Corp 撮像装置および撮像装置制御方法
US8773548B2 (en) 2009-12-18 2014-07-08 Fujitsu Limited Image selection device and image selecting method
JP2014216926A (ja) * 2013-04-26 2014-11-17 リコーイメージング株式会社 合成画像生成装置及び合成画像生成方法
JP2017005555A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP2017005552A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム
JP2017005553A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム
US9646397B2 (en) 2012-04-19 2017-05-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10948728B2 (en) 2014-12-15 2021-03-16 Shimadzu Corporation Dynamic image processing device for head mounted display, dynamic image processing method for head mounted display and head mounted display system

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901228B1 (en) * 2005-06-08 2011-05-18 Fujitsu Ltd. Apparatus, method and program for image matching
JP4861109B2 (ja) * 2006-09-27 2012-01-25 富士通株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
JP4863011B2 (ja) * 2007-08-24 2012-01-25 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US7995857B2 (en) * 2007-09-03 2011-08-09 Himax Technologies Limited Method and apparatus utilizing step-wise gain control for image processing
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
JP5181948B2 (ja) * 2008-09-09 2013-04-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP5181952B2 (ja) * 2008-09-12 2013-04-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
US8111300B2 (en) 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
EP2494498B1 (en) * 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
US8860883B2 (en) * 2009-11-30 2014-10-14 Miranda Technologies Partnership Method and apparatus for providing signatures of audio/video signals and for making use thereof
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
JP5569357B2 (ja) * 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
TWI427618B (zh) * 2011-06-16 2014-02-21 Hon Hai Prec Ind Co Ltd 電子裝置及其螢幕資訊調整方法
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2605210A1 (en) * 2011-12-15 2013-06-19 ST-Ericsson SA Acquiring a picture representing a scene
JP2013162287A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9886645B2 (en) 2013-05-09 2018-02-06 National Technology & Engineering Solutions Of Sandia, Llc Image registration via optimization over disjoint image regions
US9158996B2 (en) * 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
US9449374B2 (en) 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6138079B2 (ja) * 2014-03-28 2017-05-31 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理方法
TWI518603B (zh) * 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
GB2537886B (en) * 2015-04-30 2022-01-05 Wsou Invest Llc An image acquisition technique
US9569874B2 (en) 2015-06-05 2017-02-14 International Business Machines Corporation System and method for perspective preserving stitching and summarizing views
US9715639B2 (en) 2015-06-18 2017-07-25 The Boeing Company Method and apparatus for detecting targets
US9727785B2 (en) * 2015-06-18 2017-08-08 The Boeing Company Method and apparatus for tracking targets
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6740052B2 (ja) * 2016-08-02 2020-08-12 キヤノン株式会社 撮像装置およびその制御方法
US20200013375A1 (en) * 2017-03-07 2020-01-09 Sony Corporation Information processing apparatus and information processing method
EP3668077B1 (en) * 2017-08-09 2023-08-02 FUJIFILM Corporation Image processing system, server device, image processing method, and image processing program
CN108234888B (zh) * 2018-03-14 2020-06-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109903260B (zh) * 2019-01-30 2023-05-23 华为技术有限公司 图像处理方法及图像处理装置
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
US11881129B2 (en) * 2021-04-30 2024-01-23 Microsoft Technology Licensing, Llc Systems and methods for adding persistence to single photon avalanche diode imagery
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320535A (ja) * 1997-05-22 1998-12-04 Mitsubishi Heavy Ind Ltd 背景画像自動生成装置
JPH11185018A (ja) 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2002077725A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 合成画像形成装置
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2004032592A (ja) * 2002-06-28 2004-01-29 Sanyo Electric Co Ltd 画像合成回路及びこれを具えた撮影装置
JP2004194106A (ja) 2002-12-12 2004-07-08 Canon Inc 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JP3230950B2 (ja) * 1994-06-07 2001-11-19 松下電器産業株式会社 放置物体検出装置
JPH0944681A (ja) * 1995-08-01 1997-02-14 Matsushita Electric Ind Co Ltd 移動物体領域検出装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JPH114377A (ja) 1997-06-12 1999-01-06 Agency Of Ind Science & Technol 多重シャッタによる動背景除去機構を持つデジタルスチルカメラおよびその撮影方法ならびに撮影制御プログラムを記録した記録媒体
JP4164928B2 (ja) 1999-01-28 2008-10-15 ソニー株式会社 画像信号処理装置
US6898332B2 (en) * 2000-11-15 2005-05-24 Seiko Epson Corporation Image processing device and image processing method
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP4360177B2 (ja) * 2003-10-30 2009-11-11 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
JP4419500B2 (ja) * 2003-09-30 2010-02-24 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US20050157949A1 (en) 2003-09-30 2005-07-21 Seiji Aiso Generation of still image
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320535A (ja) * 1997-05-22 1998-12-04 Mitsubishi Heavy Ind Ltd 背景画像自動生成装置
JPH11185018A (ja) 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP2002077725A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 合成画像形成装置
JP2003134385A (ja) * 2001-10-23 2003-05-09 Olympus Optical Co Ltd 画像合成装置
JP2003143484A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2004032592A (ja) * 2002-06-28 2004-01-29 Sanyo Electric Co Ltd 画像合成回路及びこれを具えた撮影装置
JP2004194106A (ja) 2002-12-12 2004-07-08 Canon Inc 撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CARLO TOMASI; TAKEO KANEDA: "Good Features to Track", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 593 - 600
See also references of EP1933271A4

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278444A (ja) * 2007-03-30 2008-11-13 Fujifilm Corp 撮影装置
JP2008263314A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008263315A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008263316A (ja) * 2007-04-10 2008-10-30 Sony Corp 撮像装置及び撮像方法
JP2008276482A (ja) * 2007-04-27 2008-11-13 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2008301043A (ja) * 2007-05-30 2008-12-11 Fujitsu Ltd 画像合成装置と画像合成方法および画像合成プログラム
JP2011504266A (ja) * 2007-11-12 2011-02-03 クゥアルコム・インコーポレイテッド ブロックベースの画像安定化
US8600189B2 (en) 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
US8682098B2 (en) 2007-12-29 2014-03-25 Morpho, Inc. Image data processing method and image processing apparatus
JP2009169794A (ja) * 2008-01-18 2009-07-30 Sony Corp 表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラム
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
US8547442B2 (en) * 2008-06-19 2013-10-01 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system
US20110058050A1 (en) * 2008-06-19 2011-03-10 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
WO2010116731A1 (ja) * 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
US8390698B2 (en) 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
JP5296193B2 (ja) * 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
JP2010258933A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 画像変形装置およびその動作制御方法
US8773548B2 (en) 2009-12-18 2014-07-08 Fujitsu Limited Image selection device and image selecting method
JP2012022652A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法
JP2012065125A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体
JP2013179565A (ja) * 2012-02-01 2013-09-09 Panasonic Corp 撮像装置
US9646397B2 (en) 2012-04-19 2017-05-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2014068088A (ja) * 2012-09-25 2014-04-17 Sharp Corp 撮像装置および撮像装置制御方法
JP2013132082A (ja) * 2013-03-22 2013-07-04 Casio Comput Co Ltd 画像合成装置、及びプログラム
JP2014216926A (ja) * 2013-04-26 2014-11-17 リコーイメージング株式会社 合成画像生成装置及び合成画像生成方法
US10948728B2 (en) 2014-12-15 2021-03-16 Shimadzu Corporation Dynamic image processing device for head mounted display, dynamic image processing method for head mounted display and head mounted display system
JP2017005555A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP2017005552A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム
JP2017005553A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置及び撮影方法、制御装置及び制御方法、並びにプログラム

Also Published As

Publication number Publication date
US20080187234A1 (en) 2008-08-07
JPWO2007032156A1 (ja) 2009-03-19
EP1933271A1 (en) 2008-06-18
US8340464B2 (en) 2012-12-25
EP1933271A4 (en) 2013-08-28
JP4553942B2 (ja) 2010-09-29
WO2007032082A1 (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
JP4553942B2 (ja) 画像処理方法及び画像処理装置
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP5076755B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR101008917B1 (ko) 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체
KR101247646B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20100123792A1 (en) Image processing device, image processing method and program
EP2088788B1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
US11151702B1 (en) Deep learning-based image fusion for noise reduction and high dynamic range
US8830359B2 (en) Image processing apparatus, imaging apparatus, and computer readable medium
JP5882702B2 (ja) 撮像装置
JP6757407B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6800090B2 (ja) 画像処理装置、及び画像処理方法、並びにプログラム及び記録媒体
JP3817635B2 (ja) カラ−画像処理装置および処理方法
JP5927051B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8478063B2 (en) Image processing apparatus and image processing method
JP3848023B2 (ja) 動き適応型映像高感度化装置
KR20160001582A (ko) 화상 처리 장치 및 화상 처리 방법
JP5146500B2 (ja) 画像合成装置、画像合成方法、及びプログラム
US20200294198A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6808446B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2006117844A1 (ja) 画像処理装置、画像処理方法、及び情報端末装置
JP6929185B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6603557B2 (ja) 画像処理装置および画像処理方法
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007535392

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006781999

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE