WO2008143360A1 - 画像処理装置又は画像処理プログラム - Google Patents

画像処理装置又は画像処理プログラム Download PDF

Info

Publication number
WO2008143360A1
WO2008143360A1 PCT/JP2008/059760 JP2008059760W WO2008143360A1 WO 2008143360 A1 WO2008143360 A1 WO 2008143360A1 JP 2008059760 W JP2008059760 W JP 2008059760W WO 2008143360 A1 WO2008143360 A1 WO 2008143360A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
alignment
unit
frequency characteristic
processing
Prior art date
Application number
PCT/JP2008/059760
Other languages
English (en)
French (fr)
Inventor
Takahiro Yano
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Publication of WO2008143360A1 publication Critical patent/WO2008143360A1/ja
Priority to US12/622,797 priority Critical patent/US8213744B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Definitions

  • the present invention relates to a technique for performing alignment processing between a plurality of images, and particularly when an error occurs in the alignment processing between a plurality of images. It relates to technology for detecting such errors.
  • BACKGROUND ART Conventionally, as a basis of image processing technology, when dealing with a plurality of images, it is essential to perform alignment processing between images in order to correspond to positions between images. For example, when performing image mosaicing processing (processing that obtains a single whole image by aligning the positions of multiple overlapping images) or super-resolution processing, it is essential to combine multiple images. If there is an error in the alignment processing of the image used at that time, the image synthesis processing is performed, and the originally obtained layer image processing result cannot be obtained.
  • image super-resolution processing has been proposed as a high-resolution image technique using multiple images (see International Publication No. 0 6 Z 0 5 2 0 2 9). With this method, multiple images are more than the pixel unit of the image! If you have to align with Noh. However, until now, no consideration has been given to how to deal with 3 ⁇ 4 ⁇ when the alignment processing has failed, and even if the processing has failed, the image processing S3 ⁇ 4 is output as it is.
  • the present invention has been invented in view of the above-described problems in the registration error detection in the alignment process between a plurality of images, and prevents erroneous determination related to the registration error and increases the resolution of the image.
  • the purpose is to detect errors in the alignment process in this state.
  • An image processing apparatus superimposes and combines an alignment unit that performs an alignment process between a plurality of images and the plurality of images that are aligned by the alignment unit, and generates a combined image.
  • An image synthesis means, a frequency characteristic measurement means for measuring a frequency characteristic of the synthesized image, and an error in alignment processing between the plurality of images are detected based on the measured frequency characteristic of the synthesized image.
  • an alignment error detection means ⁇ -
  • An image processing program superimposes an alignment procedure for performing alignment processing between a plurality of images and the plurality of images aligned in the alignment procedure to generate a composite image.
  • An error in registration processing between the plurality of images is detected based on an image synthesis procedure, a frequency characteristic measurement procedure for measuring the frequency characteristics of the synthesized image, and the measured frequency characteristics of the selfish synthesized image.
  • a misalignment detection hand and one jet are provided.
  • FIG. 1 is a configuration diagram showing an image processing apparatus according to a first embodiment.
  • FIG. 2 is a diagram showing a Bayer color filter.
  • FIG. 3 is a configuration diagram of the alignment unit (alignment means).
  • FIG. 4 is a flowchart showing the image alignment process.
  • FIG. 5 is a diagram showing the estimation of image displacement by parabolic rafting.
  • FIG. 6 is a block diagram of the image composition unit (image composition means).
  • FIG. 7A shows a standard image and a reference image on which image composition processing is performed.
  • FIG. 7B is a diagram illustrating a state where the reference image and the reference image are aligned.
  • Fig. 7C is a diagram in which the pixels of the reference image are adapted to the pixel unit of the closest composite image.
  • FIG. 8 is a flowchart showing super-resolution processing (super-resolution processing means).
  • FIG. 9A is a block diagram of the frequency characteristic measuring unit (frequency characteristic measuring means).
  • FIG. 9B is another configuration diagram of the frequency characteristic measurement unit.
  • FIG. 10A shows an error verification image.
  • Figure 10 B shows an error-free image --
  • FIG. Figure I OC is a diagram showing the difference between the DFT calculation values of the error verification image and the error-free image.
  • Fig. 11 is a flowchart showing the alignment error detection process (alignment error detection means).
  • FIG. 12 is a flowchart showing image processing executed by software.
  • FIG. 13 is a configuration diagram showing an image processing apparatus according to the second embodiment.
  • FIG. 1 is a block diagram showing an image processing apparatus according to a first embodiment.
  • the signal captured through the lens system 100, the color filter array (CFA) 101, and the charge-coupled device (CCD) 102 is amplified by an amplifier (Gain) 103 and is converted into an A-D converter (A / D D) At 104, it is converted to a digital signal.
  • the A-D converter 104 is connected to a buffer 105 (buffer memory).
  • the buffer 105 is connected to an alignment unit (alignment unit) 106 and an image recording unit (image recording unit) 1 1 1.
  • the alignment unit 106 is connected to an image composition unit (image composition unit) 107 and an image conversion unit (image conversion unit) 108.
  • the image composition unit 107 is connected to the image conversion unit 108.
  • the image conversion unit 108 is connected to a frequency characteristic measurement unit (frequency characteristic measurement unit, frequency characteristic detection unit) 109 and an image recording unit 111.
  • the frequency characteristic measurement unit 109 is connected to an alignment error detection unit (positioning error detection means) 1 10.
  • the alignment error detection unit 110 is connected to the alignment unit 106.
  • the image recording unit 1 1 1 is connected to an output interface (output) for outputting signals to the outside.
  • the external I ZF unit 1 1 3 can take various configurations, and may be configured with, for example, a touch sensor for performing various settings on the display screen, an operation button such as a shutter button, or an operation dial.
  • the wrinkle signal photographed through the lens system 100, CFA 1001, CCD10 02 is output as an analog signal.
  • C C D 100 2 a single plate C C D in which a Bayer type primary color filter is placed in front as C F A 10 1 in the imaging system is used.
  • the Bayer-type primary color filter has 2 X 2 pixels as the basic unit, and red (R) and blue (B) filters are one pixel in the basic unit, and two green pixels are arranged (see Fig. 2).
  • the CCD 10 2 captures an image when the shutter button provided on the external I / F section 1 1 3 is pressed.
  • the image data is sequentially transmitted to the alignment unit 1 0 6 or the image recording unit 1 1 1 (image recording memory) via the amplifier 1 0 3, AD deformation 1 0 4 and buffer 1 0 5.
  • the power to transfer the captured image data to the alignment unit 10 06 and the transfer to the image recording unit 1 1 1 1 depend on the storage method set via the external I ZF unit 1 1 3. In other words, if the setting is made to save the image as it is in the image recording unit 1 1 1, since the alignment processing between the plurality of images is not performed, the captured image data is recorded in the image recording unit 1 1 1. .
  • the image recording unit 1 1 1 When the image recording unit 1 1 1 is not stored, the image data taken through the buffer 1 0 5 is sequentially subjected to the alignment process (coordinate conversion process) by the alignment unit 1 0 6. . Thereafter, the image subjected to the alignment process in the alignment unit 1 06 is transferred to the image composition ⁇ 1 0 7 and the image composition process is performed. The synthesized image synthesized by the image synthesizing unit 10 07 is transferred to the image converting unit 10 8. At the same time, the image data transferred to the registration unit 10 06 may be transferred to the image conversion unit 10 8 as it is. Do not adversely Ca ⁇ 1 performs this transfer is determined by the setting processing by the external I / F unit 1 1 3.
  • the image converted by the image converter 1 0 8 is the frequency characteristic measuring unit 1 0 ⁇ -
  • the frequency characteristic measurement unit 1 0 9 measures the frequency characteristic value for the image converted by the image conversion unit 1 0 8 and transfers the frequency characteristic value to the alignment error detection unit 1 1 0. Is done.
  • the alignment error detection unit 1 1 0 performs alignment error determination based on the frequency characteristic value transferred from the frequency characteristic measurement unit 1 0 9 and outputs the alignment error determination information output as the determination result.
  • Transfer to 1 0 6 The alignment unit 10 6 performs alignment image exclusion processing, alignment processing, etc. based on the alignment error determination information transferred by the alignment error detection unit 1 1 0. I will go.
  • the image converted by the image conversion unit 10 8 is transferred to the image recording unit 1 1 1 and image recording is performed.
  • the image recorded in the image recording unit 1 1 1 can be freely used as an image resource by interconnecting with an external device of the image processing apparatus via an external input / output interface.
  • the alignment unit 10 6 includes a multi-image holding unit 10 06 a, an image selection unit 1 0 6 b, and an alignment amount estimation unit 1 0 6 c.
  • the multiple image holding unit 1 0 6 a includes an input line from the buffer 1 0 5, an output line to the image conversion unit 1 0 8, an image selection unit 1 0 6 b, and an alignment amount estimation unit 1 0 6 c Each is connected.
  • the image selection unit 1 06 b is connected to the control signal lines from the multiple image holding unit 1 0 6 a and the control unit 1 1 2.
  • the registration amount estimation unit 10 06 c is connected to the multiple image holding unit 10 06 a, the input line from the registration error detection unit 110, and the output line to the image composition unit 107.
  • the image data is sequentially transferred to the multiple image holding unit 1 0 6 a.
  • a plurality of images can be held in the plurality of images holding section 1 0 6 a.
  • the image selection unit 1 0 6 b performs image selection for performing alignment processing.
  • a reference image serving as a reference for the alignment processing and a reference image for which the amount of alignment between the reference images is to be estimated are selected.
  • an image designated in the external IZF unit 1 1 3 at a certain timing is designated as a reference image via the control unit 1 1 2, and an image shadowed thereafter is selected.
  • the first photographed image may be selected as a reference image, and the images photographed thereafter may be sequentially selected as reference images.
  • the base image and the reference image selected in the image selection unit 106 b in this way are transferred from the multiple image holding unit 106 a force to the registration amount estimation unit 106 c.
  • the standard image and reference image transferred to the registration amount estimation unit 106 c are subjected to registration amount estimation processing based on the standard image in the registration amount estimation unit 106 c.
  • the alignment amount estimation process is performed as follows.
  • the flowchart in Fig. 4 shows the details of the image displacement estimation algorithm for obtaining the pixel-corresponding position as an estimation means for estimating the image displacement (shift vector) as the alignment amount.
  • the following explanation is based on the algorithm flow.
  • step S 1 the reference image and the standard image for which the image displacement amount is to be estimated are read.
  • step S2 a global alignment process is performed between the reference image and the reference image.
  • methods such as region-based pixel matching and alignment methods based on feature point-based gradient methods can be used.
  • step S3 the reference image is deformed with a plurality of image displacements to generate an image sequence.
  • step S4 a similarity value is calculated between an image sequence obtained by deforming a plurality of reference images and a reference image.
  • the similarity value is SSD (Sum of Squared Difference) values can be used.
  • step S5 a discrete similarity map is created using the relationship between the image displacement and the similarity value.
  • step S6 search for extreme values of continuous similarity values obtained by interpolating the discrete similarity map created in step S5, and obtain the extreme values of continuous similarity values. .
  • the image displacement with that extreme value is the amount of alignment required.
  • Search methods for extreme values of similarity maps include parabolic fitting (quadratic function fitting) and spline interpolation.
  • Figure 5 shows an example of image displacement estimation performed by parabolic fitting.
  • the vertical axis represents the similarity value. The smaller the similarity value, the stronger the similarity between the deformed reference image and the reference image.
  • the extreme value search method of the similarity map by parabolic fitting or spline interpolation in step S6 it is possible to estimate the alignment amount with a resolution finer than the pixel unit of the reference image and the reference image. Alignment of one reference image of multiple images with other reference images, and the amount of alignment of the reference image with respect to the reference image is detected with a resolution higher than the pixel unit. Error detection is possible.
  • the registration amount estimated as described above in the registration amount estimation unit 1 06 c is transferred to the image composition unit 1 07 through the output line to the image composition unit 1 07.
  • the reference image and the reference image that have been registered by the registration amount estimation unit 106 c are also transferred to the image synthesis unit 107 via the output line to the image synthesis unit 107.
  • the reference image may be used a plurality of times in the alignment amount estimation unit 10 6 c. In that case, once the reference image is transferred to the image composition unit 107, it is not necessary to transfer the same reference image again.
  • the estimated registration amount estimated by the registration unit 10 6, and the reference image and the reference image subjected to the registration process are transferred to the image synthesis unit 10 7, where image synthesis is performed. Processing is performed.
  • Image composition processing in the image composition unit 1 0 7 is as follows: It is done as follows.
  • FIG. 6 shows a configuration diagram of the image composition unit 1 07.
  • the image composition unit 10 07 includes a composition unit 10 07 a, a composite image holding unit 10 07 b, and an enlargement ratio selection unit 10 07 c.
  • the composition unit 1 0 7 a is connected to the input line from the alignment unit 1 0 6, the composite image holding unit 1 0 7 b, the enlargement ratio selection unit 1 0 7 c, and the output line to the image conversion unit 1 0 8 Has been.
  • the synthesized image holding unit 1 0 7 b is connected to the synthesized unit 1 0 7 a.
  • the enlargement ratio selector 1 0 7 c is connected to the control signal lines from the combiner 1 0 7 a and the controller 1 1 2, respectively.
  • the image data and the registration amount of the standard image and the reference image input from the alignment unit 106 are sequentially transferred to the synthesis unit 10 07a, and the image synthesis process is sequentially performed.
  • the enlargement ratio of the composite image is determined.
  • the enlargement factor is selected by the enlargement factor selector 1 0 7 c and the enlargement factor is transferred to the combining unit 1 0 7 a.
  • an enlargement ratio in the enlargement ratio selection section 1 0 7 c for example, an enlargement ratio specified in the external IZF section 1 1 3 at a certain timing is used as an enlargement ratio selection section 1 0 7 c via the control section 1 1 2 May be transferred to and used. If the number of images to be combined is determined in advance, an enlargement ratio corresponding to the number of images may be set. The enlargement factor selected by the enlargement factor selection unit 1 0 7 c and transferred to the synthesis unit 1 0 7 a is used in the synthesis unit 1 0 7 a.
  • the compositing unit 107 a is provided with a memory area of a size corresponding to the enlargement ratio, and a composite image is generated in the memory area.
  • the size corresponding to the enlargement ratio is, for example, the size of the base image and the reference image before being transferred to the image composition unit 107, multiplied by the square of the enlargement ratio.
  • the reference image pixel data enlarged at the enlargement ratio is first copied to the memory area of the composite image. Next, information relatively shifted from the coordinates of the reference image is calculated from the alignment amount (deviation vector) transferred from the alignment unit 106.
  • this is calculated by multiplying the alignment amount by the enlargement factor.
  • the position of the coordinate of the composite image shifted by an amount corresponding to the alignment amount is added.
  • the pixel data of the reference image enlarged at the enlargement ratio is copied.
  • this information is ignored.
  • pixel interpolation processing may be performed based on this information.
  • the reference image and the reference image are combined after being enlarged, and are combined in a high-resolution space having a resolution higher than the pixel unit of the original reference image and reference image based on the alignment amount. Therefore, a higher resolution composite image can be acquired. In addition, more detailed frequency characteristics can be measured.
  • a composite image is generated in the memory area of the composite image.
  • a pixel belonging to the memory area is defined as an undefined pixel (a pixel having no pixel value), and for example, a value of 0 is substituted.
  • the final composite image is generated as described above.
  • Figure 7 shows a conceptual diagram of composite image generation.
  • FIG. 7A shows a standard image and a reference image on which image composition processing is performed in the composition unit 1 0 7 a.
  • the reference image is schematically represented as having pixels A to I, and the reference image having pixels J to R.
  • FIG. 7B schematically shows how the reference image and the reference image are aligned based on the alignment amount transferred from the alignment unit 106 in the composite image memory area. ing.
  • the reference image is an image serving as a reference of the composite image, it is possible to perform the alignment process deterministically in units of pixels.
  • a process is performed to determine the alignment with finer accuracy than the pixel unit of the composite image in the pixel unit of the composite image.
  • alignment processing is performed while adapting the pixels of the reference image to the pixel unit of the closest composite image.
  • Fig. 7C shows the result of registration processing for each pixel of this composite image.
  • a composite image is generated by the alignment process shown in Fig. 7C.
  • the above processing is performed independently for each RGB to generate a composite image of three RGB colors, and the combined image of the three colors is combined with the output image. To do.
  • the synthesized image generated in the synthesizing unit 1 0 7 a is transferred to the image converting unit 1 0 8 via the output line to the image converting unit 1 0 8.
  • the composite image generated by the combination of the base image and the reference image is stored in the composite image storage unit 1 0 7 b.
  • the synthesized image held in the synthesized image holding unit 10 7 b is transferred again to the synthesizing unit 1 0 7 a as a memory area of the synthesized image where the image synthesis process of the pair of the standard image and the reference image is performed again. Can be used.
  • the generated composite image is transferred again to and held in the composite image holding unit 107 b, and the image combining process of the pair of the standard image and the reference image is performed again.
  • the composite unit is again used as a memory area of the composite image. 1 0 7 Can be transferred to a and used.
  • the composite image generated by the image composition unit 1 07 as described above is transferred to the image conversion unit 1 0 8 and image conversion processing is performed.
  • the composite image transferred from the image composition unit 107 is not limited to the composite image obtained by compositing the reference image in the image composition unit, but also the composite image before the reference image is composited.
  • the image conversion process in the image conversion unit 10 8 is performed as follows.
  • interpolation or estimation of undefined pixels included in the synthesized image is performed on the synthesized image transferred from the image synthesizing unit 10 7, and pixels for all pixels are detected.
  • Process to define the value When an undefined pixel exists in the pixel in the composite image, the pixel value is assigned to the undefined pixel, thereby simplifying the calculation process of frequency characteristic acquisition.
  • interpolation processing it is possible to estimate pixel values of undefined pixels at high speed.
  • a specific method is weighted interpolation processing using a two-dimensional Gaussian function.
  • Pixel interpolation processing using logic can be used.
  • weighted interpolation processing using a two-dimensional Gaussian function for example, if there is an undefined pixel at the pixel position (i, j) of the composite image, the pixel value at that pixel position (i, j) is set to p (i , J), the method of interpolation calculation of p (i, j) may be used as shown in the following formula (1).
  • w k is a Gaussian weighting coefficient, which is a weighting coefficient having a weighting amount according to the two-dimensional Gaussian function value as it moves away from the pixel position (i, j).
  • K is an index (index) relating to the pixel position
  • w k is a Gaussian weighting factor in index k
  • p k is a pixel value in index k .
  • D (i, j) represents the set of pixel positions that are neighboring at pixel position (i, j) and whose pixel values are defined.
  • the weighted interpolation process using the two-dimensional Gaussian function described above it is possible to interpolate the undefined pixels of the composite image and complete the image conversion process in the image conversion unit 108.
  • the weighted interpolation process using a two-dimensional Gaussian function is used for interpolation of undefined pixels.
  • any method that interpolates the pixel values of undefined pixels from information around the undefined pixels can be used.
  • a technique may be used.
  • super-resolution processing which is a kind of image restoration processing, can be used.
  • super-resolution processing assumes a high-resolution image, estimates an image image from the assumed high-resolution image based on the point spread function (PSF) of the imaging system, Search for high-resolution images that reduce the difference in the observed images.
  • PSF point spread function
  • the pixel value of the undefined pixels is estimated with high accuracy by performing image super-resolution processing in the image conversion process.
  • this super-resolution processing makes it possible to restore and estimate high-definition pixel values for images other than undefined pixels.
  • step S 11 the composite image y is input.
  • step S12 an initial output image is generated.
  • this process can use the weighted interpolation process using the two-dimensional Gaussian function described above. This is the initial output image z that is defined by interpolating undefined pixels in the composite image. Is generated.
  • step S 13 super-resolution processing for minimizing the evaluation function f (z) of the following equation (2) by the steepest descent method is started.
  • f (z) ⁇ y-Az ⁇ + g (z)... (2 )
  • y the composite image (vector representation) input at S 1 1
  • z the high resolution
  • A is an image transformation matrix that represents the imaging system including PSF.
  • g (z) is a normalization term (constraint term) that takes into account the smoothness of the image and the correlation between the colors of the image. Is a weighting factor.
  • the differential value df (z) / d Z of f (z) at z is calculated, the differential value is added to Z, the image is updated, and the minimum value of f (z) is calculated.
  • the differential value (gradient) of f (z) is the weighted addition of A T (y -A z) and 3g (z) Z3 z.
  • ⁇ ⁇ is the transpose matrix of A.
  • the differential value 3f (z) Z3z is added to z, and the image is updated to obtain the minimum value of f (z).
  • z n represents the result image that has been repeatedly increased in resolution n times
  • ⁇ is the update amount step. Represents te.
  • step S13 convolution processing (convolution integration processing) with PSF (Point Spread Function) is performed on the output image z obtained in step S12 or S18. That is, A z is calculated.
  • PSF data stored in advance in the image conversion unit 108 can be used as the PSF data.
  • multiple PSF data may be retained, and appropriate PSF data may be selected according to the camera's imaging parameters that take into account imaging characteristics such as optical transfer function (OTF) and CCD aperture (CCD aperture).
  • OTF optical transfer function
  • CCD aperture CCD aperture
  • the PSF data is basically in the form of a 2D Gaussian function. PSF data is assumed to have a normal sum of data coefficients of 1. Also, if the output image contains the R G B power error, the above processing is performed independently.
  • step S14 the difference between the composite image y input in step S11 and the output image Az generated in step S13 is calculated and a difference image (y-Az) is obtained.
  • the undefined pixel is included in the composite image, but since the difference cannot be defined in the undefined pixel portion, the undefined pixel remains in the difference image. If the output image contains R GB color, the above processing is performed independently for R Q B.
  • step S15 PSF convolution processing is performed on the difference image (y-Az) generated in step S14. That is, A T (y-Az) is calculated.
  • undefined pixels may be included as pixels used for convolution processing.
  • the convolution cannot be defined for the undefined pixel, so the convolution processing is not performed for that pixel.
  • the normalization process is used to set the sum of the data coefficients of the PSF data to be used to 1. If the output image contains RGB colors, repeat the above process for R --
  • step SI6 in addition to the image A T (yA z) obtained in step S15, the regularized image to converge the solution of the output image given from S12 or S18 to the preferred image Generate (dg / dz).
  • the regularized image to converge the solution of the output image given from S12 or S18 to the preferred image Generate (dg / dz).
  • the regular tig term g (z) at S 16 be able to.
  • the output image given in S 1 2 or S 18 is processed to generate an image or the like that has been subjected to convolution processing (convolution integration processing) with a two-time Laplacian.
  • the processing at S 16 may be omitted in some cases. If the output image contains RGB colors, a processing configuration in which the above processing is performed on the luminance signal obtained from RGB may be used.
  • step S 17 the process of weighting and adding the images A T (y 1 Az) and (3 g / dz) generated in S 15 and S 16 to the output image (calculation of Equation (3)) is performed. Do. This is an output image update process, and an output image z n + 1 is obtained.
  • L 1 and ⁇ 2 be the weighting coefficients of the images A T (y-Az) and (dg / dz) obtained in S 15 and S 16, respectively.
  • the update width of the output image varies depending on the values 1 and 12; These ⁇ 1 and ⁇ 2 may be set to appropriate values in advance, or may be set to appropriate values from the outside in the external I / F unit 1 13.
  • step S 18 the sum of absolute values of the pixel values of the images generated in S 15 and S 16 is set as the scalar update amount. If the update amount is smaller than a certain threshold value ⁇ , the output image obtained in S 1 7 is regarded as the final output image, and this final output image is output in S 1 9. If the update amount is greater than or equal to the threshold value ⁇ , the output image obtained in S 17 is input again in S 13, and the output image is updated again via S 13 to S 17. This process is repeated until the update amount becomes smaller than the threshold value T in S18. If the number of repetitions exceeds a certain number (for example, 20 times -6-
  • the output image finally output by the above-described processing of S 11 to S 18 becomes an image after image conversion in the image conversion unit 108.
  • the image that has been subjected to the image conversion processing by the image conversion unit 1 0 8 is sent to the frequency characteristic measurement unit 1 0 9 where the spatial frequency characteristic is measured.
  • the image conversion unit 10 8 may perform image conversion of the reference image transferred from the alignment unit 106.
  • Image conversion with a reference image taken using a Bayer color filter as in this embodiment is based on color demosaicing processing (interpolation processing) that estimates missing color channels from color mosaic raw data. good.
  • the reference image taken through the Bayer type color filter by the demosaicing process is a full-color image in which R, G, and B pixel values are aligned at each pixel position.
  • image enlargement processing is performed in order to make the image size (or image resolution) of the reference image and the synthesized image the same.
  • the image enlargement method used here a known bicubic enlargement method, bilinear enlargement method, or the like is used.
  • the reference image on which the interpolation / enlargement processing has been performed is transferred to the frequency characteristic measurement unit 109.
  • the transfer process of the image-converted reference image to the frequency characteristic measuring unit 109 is not necessarily required.
  • an image that does not include the reference image in the image composition unit 1 Q 7 (that is, a standard enlarged by the image composition unit 10 07 at a predetermined enlargement ratio).
  • Image is also transferred to the image conversion unit 10 8.
  • the image conversion unit 10 8 performs the image conversion process in the same manner as the image conversion process of the composite image including the reference image, and transfers it to the frequency characteristic measurement unit 10 9.
  • the image transferred from the buffer 1 0 5 as described above and generated via the alignment unit 1 0 6, the image composition unit 1 0 7, and the image conversion unit 1 0 8 is the image portion ⁇ S area. Even if it is processed separately, it is good. In this case, it is preferable that the processing is performed as a single region where a part of the image includes some overlap 5). In addition, when image generation via the alignment unit 10 06, the image composition unit 10 07, and the image conversion unit 10 8 is performed separately for partial regions of the image, the partial regions are described below.
  • the image region of the frequency characteristic measurement unit may be the image region selected by the selection unit 1 0 9 a.
  • the registration processing can be performed with high accuracy even in the registration processing in the case where different positional deviations exist for each part of the image to be registered.
  • the frequency characteristic measurement unit measures the frequency characteristic for each partial area of the composite image, it is possible to detect an error in the alignment process for each partial area of the composite image.
  • the image transferred from the buffer 1 0 5 and generated through the alignment unit 1 0 6, the image composition unit 1 0 7, and the image conversion unit 1 0 8 is an image area, and The partial area
  • aligning the image in the high-frequency component area of the image it is possible to perform alignment processing in an image area rich in texture, and to perform alignment processing with high accuracy.
  • the frequency characteristic measurement method in the frequency characteristic measurement unit 109 is performed by two-dimensional Fourier transform, one-dimensional Fourier transform, image convolution processing (convolution integration processing), or the like. Note that the frequency characteristic value can be measured by the one-dimensional Fourier transform process at a higher speed than the two-dimensional Fourier transform.
  • the two-dimensional Fourier transform can measure the detailed frequency characteristic value of the composite image.
  • the frequency characteristic measurement unit 1 0 9 is the image area selection unit 1 0 9 --
  • the image area selection unit 1.09a is connected to the input line from the image conversion unit 1008 and the two-dimensional DFT unit 1009b.
  • the two-dimensional DFT unit 1 0 9 b is connected by an output line to the image region selection unit 1 0 9 a and the vertical alignment error detection unit 1 1 0.
  • Fig. 9 IV the signal flow is explained.
  • An image after image conversion is input from an input line from the image conversion unit 1 0 8 and transferred to the image area selection unit 1 0 9 a.
  • the image area selection unit 1 009 a the selected image, which is the image area to be selected, is transferred to the two-dimensional D F T unit 1 0 9 b together with the position information of the selected image area.
  • the two-dimensional DFT unit 1 0 9 b a two-dimensional DFT operation (two-dimensional discrete Fourier transform operation) of the selected image is performed.
  • the calculated value of the two-dimensional DFT calculation is transferred as a frequency characteristic output to the alignment error detection unit 110 via the output line to the alignment error detection unit 110.
  • the image input from the image conversion unit 10 8 may include an error-free image in which there is no error in image alignment.
  • the error-free image may be, for example, a reference image that has been subjected to the interpolation / enlargement processing by the image conversion unit 10 8.
  • An error-free image is, for example, an image obtained by performing image conversion in the image conversion unit 1 0 8 on an image that does not include a reference image in the image synthesis unit 10 7 (that is, a predetermined image in the image synthesis unit 1 0 7
  • the reference image enlarged at the enlargement ratio is converted into an image by the image conversion unit 10 8).
  • the reference image is shown as an example of an image before the alignment process is performed.
  • the image that does not include the reference image in the image composition unit 107 is an example of an image in a state before being superimposed by the image composition unit 107.
  • the image composition unit 1 07 performs image composition of the reference image and the standard image, and the composite image subjected to image conversion by the image conversion unit 1 0 8 is defined as an error verification image.
  • the image area selection unit 1 0 9 a in the frequency characteristic measurement unit 1 0 9 performs image area selection in the error verification image and the error-free image, and selects the selected image and the selected image.
  • the position information of the area is transferred to the 2D DFT section 1 0 9 b.
  • the error verification image and the error-free image are color images having RGB pixels, the luminance value is calculated from the RGB pixel value, and the luminance value is used as a new pixel value. It may be forwarded to b.
  • the two-dimensional D F T unit 1 009 b performs a two-dimensional D F T operation on the selected image whose region has been selected by the image region selection unit 1 0 9 a.
  • the 2D DFT calculation value of the error verification image is calculated.
  • the image transferred to the two-dimensional DFT unit 10 9 b includes an error-free image
  • the DFT calculation value of the error-free image is calculated in addition to the DFT calculation value of the error verification image.
  • the absolute value of the difference between the DFT calculation values of the error verification image and the error-free image may be taken and used as the final frequency characteristic output output from the frequency characteristic measuring unit 109.
  • an error-free image such as an image obtained by converting the image before the alignment processing or an image before being superimposed by the image composition unit
  • a registration error in the frequency characteristics of the composite image is obtained. This makes it possible to distinguish the error in the alignment process with high accuracy. Further, if the size of the synthesized image is the same as that of the image before being superimposed by the image synthesizing unit, it is possible to easily perform error determination of the alignment process. If no error-free images are included, the DFT calculation value of the error-detected image is the frequency characteristic output.
  • FIG. 10A shows image data of an error-verified image
  • FIG. 10B shows image data of an error-free image
  • FIG. 10C shows an example of a difference between DFT operation values of the error-verified image and the error-free image.
  • the image data of the error verification image has an error in the alignment process, artifacts appear in a grainy state.
  • the DFT calculation value corresponding to the difference between each DFT calculation value has a unique peak value at the vertical period of 3 pixels and the horizontal period of 3 pixels.
  • the enlargement ratio in the image composition unit 107 is 3 times, a specific peak occurs at a period of 3 pixels. Since the image is magnified, if the magnification is F, --
  • the frequency component (periodic component) that changes remarkably by this becomes the component of the F pixel period. For this reason, the difference between the DFT calculation values of the error-verified image and the error-free image has a unique peak at the F pixel cycle.
  • the frequency characteristic measuring unit 109 In the frequency characteristic measuring unit 109, two-dimensional DFT calculation is used as the frequency characteristic measuring means. However, in addition to this process, one-dimensional DFT calculation may be used.
  • FIG. 9B differs from FIG. 9A in that the 2D DFT section 1 0 9 b is replaced with the filtering section 1 0 9 b.
  • the filtering unit 10 9 b extracts image components belonging to the frequency region of 3 pixels in the vertical direction and 3 pixels in the horizontal direction.
  • Perform bandpass filtering As an example of such a bandpass filter, a bandpass filter that extracts a part of the wavelet transform coefficient may be used. As in the case of Fig.
  • the filtering result of the error-free image is added to the filtering result of the error-verified image. Calculated. The absolute value of the difference between the filtering results of the error-verified image and the error-free image is taken as the frequency characteristic output output from the final frequency characteristic measurement unit 1 0 9. If no error-free image is included, the filtering result of the error detection image is the frequency characteristic output.
  • the frequency characteristic measurement unit also transfers the position information of the image area of the selected image whose frequency characteristic has been measured by the frequency characteristic measurement unit to the alignment error detection unit 110.
  • the frequency characteristic output from the frequency characteristic measurement unit 10 9 and the position information of the image area of the selected image for which the frequency characteristic has been measured are transferred to the alignment error detection unit 1 1 0, where the registration error is detected.
  • the detection error is detected by the detection unit 110.
  • the alignment error detection process in the alignment error detection unit 110 will be described below with reference to FIG.
  • the flowchart in Fig. 11 shows the algorithm for the misalignment detection process.
  • step S 21 for the frequency characteristic output described above, for example, when the enlargement ratio in the image composition unit 10 7 is three times, the frequency characteristic output result is around 3 pixels in the horizontal period and 3 pixels in the vertical direction.
  • the frequency component is extracted for the frequency characteristics (ie, the periodic component is extracted).
  • this processing is not necessary because the component extraction has already been performed only for the frequency characteristics in the vicinity of 3 pixels in the horizontal direction and 3 pixels in the vertical direction.
  • the magnification S is three times as large as the force S, and the magnification rate may take any case, and the frequency characteristic component extraction region differs according to the magnification rate.
  • the enlargement ratio is F
  • periodic components are extracted for the frequency characteristics near the horizontal period F pixel and the vertical period F pixel.
  • a specific frequency component that changes due to an error in the alignment process is extracted from the relationship between the resolution of a plurality of images to be aligned and the resolution of the composite image (ie, enlargement ratio).
  • the influence of only the frequency component can be handled, so that it is possible to perform the registration error discrimination processing with high accuracy and efficiency.
  • step S 2 2 next, whether or not the component amount extracted in step S 21 is larger than a predetermined threshold value 40 is cut off. If the extracted frequency component amount is larger than the predetermined threshold value, the process of step S23 is performed. In step S 2 3, the alignment process in the alignment unit 106 is performed at the position to which the selected image belongs. --
  • step S24 the registration processing in the registration unit 10 6 is considered to be performed correctly for the position to which the selected image belongs, and the registration processing is correct. M "is transferred to the alignment unit 106.
  • the alignment error detection process is sequentially performed on the selected image selected by the frequency characteristic measurement unit 10 9.
  • the registration unit that receives the registration from the error detection unit 110 and detects whether the registration is incorrect or not, either excludes the image composition that has undergone the registration process, or In addition, it is possible to select whether to perform the standing-up process.
  • image generation through the alignment unit 10 06, the image composition unit 10 07, and the image conversion unit 10 8 is divided into partial regions of the image, the region where the alignment processing error occurred ⁇ May be excluded from the alignment process.
  • the alignment unit 1 0 6 receives the alignment received from the alignment error detection unit 1 1 0.
  • the signal carrying the processing error is further transferred to the image composition unit 10 07.
  • the image composition unit 10 07 performs the process of excluding the reference image used for composition in the composite image held in the composite image holding unit 10 07 b.
  • the area where the reference image is excluded is again defined as an undefined pixel.
  • the image portion ⁇ ⁇ area information determined to be a position error by the alignment error detection unit 110 is transferred to the alignment unit 100. Transferred. Subsequently, the image alignment process is performed again in the image alignment unit 10 6 for the area S of the image determined to be an error. As a result, it is possible to obtain a result in which the alignment error is not included in the composite image.
  • the image area information determined to be a position error by the alignment error detection unit 1 1 0 is transferred to the image composition unit 1 0 7, where the image composition unit 1 0 7, the image conversion unit 1 0 8, Similarly, the frequency characteristic measurement unit 10 9 and the alignment error detection unit 110 may perform image synthesis processing, image conversion processing, frequency characteristic measurement processing, and alignment error detection processing again. This process may be repeated any number of times.
  • the registration unit 106 sequentially performs registration processing, registration error detection, and the image conversion unit 10 08 performs image conversion processing in a state in which the reference image having the registration error is excluded.
  • the image conversion processing result is recorded in the image recording unit 1 1 1 by the image conversion unit 1 0 8.
  • the image recorded in the image recording unit 1 1 1 can be used as various information resources by linking with the outside through an external input / output counter interface.
  • processing by hardware including a memory and a logic circuit is assumed, but it is not necessary to be limited to such a configuration.
  • multiple colors and signals from the CCD 10 2 are used as raw data (raw data) as raw data, and are used by the controller 1 1 2 for color filters, exposure conditions during shooting, and saturation correction processing.
  • the function information can be output as header information and processed separately by software.
  • FIG. 12 shows a flowchart when the above image processing is performed by software (program) running on a computer.
  • step S 31 header information such as a plurality of images and color filter types is read.
  • step S 3 2 one of the plurality of images input in step S 3 1 is selected as a reference for alignment processing, and is set as a reference image.
  • step S 33 alignment processing is sequentially performed between the base image and images other than the base image (each image is referred to as a reference image). The details of the alignment processing in step S 33 are assumed to be realized by software processing in the above-described alignment unit 106.
  • step S 3 4 the reference image subjected to the alignment process in S 3 3, Based on the reference image and the amount of alignment between images, image composition processing is performed.
  • image composition processing is performed in software processing.
  • step S 3 5 image conversion processing is performed on the composite image that has undergone image synthesis processing in S 3 4.
  • step S 35 it is assumed that the processing in the image conversion unit 10 8 described above is realized on software.
  • step S 36 frequency characteristic measurement processing is performed on the image that has undergone image conversion processing in S 35.
  • the process in the frequency characteristic measurement unit 109 described above is realized by a two-dimensional DFT calculation process on the software process.
  • step S 37 alignment error detection processing is performed using the frequency characteristics of the image measured in S 36.
  • step S 37 it is assumed that the comparison process between the frequency component extraction process and the extracted component amount threshold value in the alignment error detection unit 110 described above is realized in software processing.
  • step S 3 8 it is determined whether the alignment process has been performed correctly using the alignment error detection result in S 3 7. If the alignment process is not performed correctly, proceed to S39. If the alignment process has been performed correctly, the process proceeds to step S 43.
  • step S 39 it is determined whether or not to exclude the image area that has not been correctly aligned. If it is determined that the image area is to be excluded, the process proceeds to step S 40. If it is determined not to exclude the image area, the process proceeds to step S 4 1.
  • step S 40 image area exclusion processing is performed. In this exclusion processing, image data exclusion processing is performed for an image region where the registration processing is not performed correctly for the composite image that has undergone image composition processing in S34. After performing the exclusion process, the process proceeds to S 4 3.
  • S41 it is determined whether or not realignment is to be performed in the image area where the alignment process has not been performed correctly. If realignment is required, proceed to step S42. If re-alignment processing is not performed, go to S43. In S 4 2, the alignment process is performed correctly. --
  • Re-alignment processing is performed for image areas that were not checked.
  • the same method as the inter-image alignment process in S 33 is used. After performing the standing-up process, go to S43.
  • step S 43 it is determined whether or not alignment processing has been performed on all of the multiple images. If registration processing has been performed on all images, the process proceeds to S 44. If alignment processing has not been performed on all images, the process returns to S 3 2. In S 3 2, select a reference image and reference image that have not yet been aligned, and repeat the processing from S 3 3 onwards again, alignment processing, image composition processing, image conversion processing, frequency characteristic measurement Processing and alignment error detection processing. 'In S 4 4, determine whether to output images. In the case of performing image output, the process proceeds to step S 45 and image output is performed using the image subjected to image conversion processing in S 35 as the final output result.
  • the software processing is terminated while the image subjected to the image conversion processing in S 35 is held in the memory section of the software. Images stored in the memory storage on the software can be read from the memory storage and used by post-processing. Through the above processing, a configuration for processing with separate software can be realized.
  • the lens system of the first embodiment 1 0 0, CFA 1 0 1, CCD 1 0 2, amplifier 1 0 3, A / D 1 0 4, buffer 1 0 5 force Image input Part 2 0 1 has been replaced.
  • the image input unit 20 0 1 includes an input interface for inputting image data from the outside, and is connected to the alignment unit 2 0 2, the image recording unit 2 0 7, and the control unit 2 0 8.
  • the alignment unit 20 02 is connected to an image input unit 2 0 1, an image composition unit 2 0 3, an image conversion unit 2 0 4, and a control unit 2 0 8.
  • the image composition unit 20 3 is connected to the alignment unit 2 0 2, the image conversion unit 2 0 4, and the control unit 2 0 8.
  • the image conversion unit 2 0 4 includes an alignment unit 2 0 2, an image composition unit 2 0 3, a frequency characteristic measurement unit 2 0 5, an image It is connected to the recording unit 2 07 and the control unit 2 0 8.
  • the frequency characteristic measurement unit 205 is connected to the image conversion unit 20 04, the alignment error detection unit 20 06, and the control unit 208.
  • the alignment error detection unit 2 06 is connected to the alignment unit 2 0 2, frequency characteristic measurement unit 2 0 5, and control unit 2 0 8.
  • the image recording unit 2 07 is connected to an external image resource output interface, an image input unit 2 0 1, an image conversion unit 2 0 4, and a control unit 2 0 8.
  • the control unit 20 8 includes an image input unit 2 0 1, an alignment unit 2 0 2, an image composition unit 2 0 3, an image conversion unit 2 0 4, a frequency characteristic measurement unit 2 0 5, an alignment error detection unit 2 0 6, connected to image recording unit 2 0 7, external I / F unit 2 0 9
  • the external I / F unit 20 9 is connected to the control unit 20 8.
  • a plurality of images input through the external input interface are sequentially input to the alignment unit 2 0 2 through the image input unit 2 0 1.
  • the images can be aligned.
  • the external I / F unit 2 0 9. Transfer images from the image input unit 2 0 1 to the image recording unit 2 0 7 via the control unit 2 0 8 and transfer the image input from the input unit 2 0 1 to the image recording unit 2 0 7 Records can be kept.
  • the image data is sequentially subjected to alignment processing by the alignment unit 2 0 2.
  • the image subjected to the alignment processing in the alignment unit 20 02 is transferred to the image combining unit 203 and image synthesis processing is performed.
  • the composite image synthesized by the image composition unit 203 is transferred to the image conversion unit 204.
  • the image data transferred to the registration unit 20 02 may be transferred to the image conversion unit 204 as it is. Whether or not the force to perform this process is sufficient is determined by the setting process by the external I / F unit 20 9.
  • the image that has been subjected to the image conversion by the image conversion unit 204 is transferred to the frequency characteristic measurement unit 205.
  • a frequency characteristic value is measured with respect to the image that has been converted, and the frequency characteristic value is transferred to the alignment error detector 2 06.
  • the alignment error detection unit 2 06 performs alignment error determination based on the frequency characteristic value transferred from the frequency characteristic measurement unit 2 0 5, and outputs the output alignment error determination information to the alignment unit 2 0 2 Forward to.
  • the alignment unit 202 performs alignment image exclusion processing, standing-up processing, etc. based on the alignment error determination information transferred from the alignment error detection unit 206, and performs sequential alignment processing. I will go.
  • the image converted by the image conversion unit 204 is transferred to the image recording unit 20 07 and image recording is performed.
  • the image recorded in the image recording unit 20 7 can be freely used as an image information resource by being interconnected with an external device of the image processing apparatus via an external output interface.
  • the same process as the alignment unit 106 in the first embodiment is performed.
  • the same processing as the image composition unit 107 in the first embodiment is performed.
  • the image conversion processing in the image conversion unit 204 the same processing as the image conversion unit 108 in the first embodiment is performed.
  • the frequency characteristic measurement process in the frequency characteristic measurement unit 205 the same process as the frequency characteristic measurement unit 1009 of the first embodiment is performed.
  • the alignment error detection processing in the alignment error detection unit 206 the same processing as that of the alignment error detection unit 110 in the first embodiment is performed.
  • the present invention when performing alignment processing between a plurality of images, synthesis between images is performed in advance according to the estimated amount of inter-image displacement estimated by the alignment processing. Subsequently, when an error occurs in the alignment process, a unique artifact generated in the image composition result is detected, and an alignment error between a plurality of images is detected based on the presence or absence of the artifact. Therefore, according to the present invention, even when aliasing is applied to an image, misjudgment regarding misalignment due to the effect of aliasing can be prevented, and misalignment can be detected stably. Also, it is possible to detect errors in the alignment process with the image resolution increased.
  • the present invention is not limited to the above-described embodiment, and it is obvious that various modifications can be made within the scope of the technical idea.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、複数の画像間の位置合わせ処理を行う位置合わせ手段（１０６、Ｓ３３）と、前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成し、合成画像を生成する画像合成手段（１０７、Ｓ３４）と、前記合成画像の周波数特性を測定する周波数特性測定手段（１０９、Ｓ３６）と、前記合成画像の前記測定された周波数特性に基づいて、前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出手段（１１０、Ｓ３８）と、を備える。

Description

明細書 画像処理装置又は画像処理プロダラム 技術分野 本発明は、 複数枚の画像間の位置合わせ処理を行う技術に関わり、 特に複数枚 の画像間において、 その位置合わせ処理に誤りが生じた場合に、 その誤りを検出 する技術に関する。 背景技術 従来、 画像処理技術の基礎として、 複数枚画像を扱う場合は、 画像間の位置対 応をとるために、画像間の位置合わせ処理を行うことは必須の技術となっている。 例えば、 イメージモザィキング処理 （重なりのある複数の画像の位置を合わせ一 枚の全体画像を得る処理） や、 超解像処理を行う場合は、 複数枚画像の合成処理 が必須となる。 その時に用いられる画像の位置合わせ処理に誤りがあれば、 画像 の合成処理として,し、 本来得たレヽ画像処理結果が得られなレヽこととなる。 例えば、 複数枚画像を用いた画像高解像度ィヒ手法として、 画像の超解像処理が 提案されている （国際公開第 0 6 Z 0 5 2 0 2 9号参照） 。 この手法では、 複数 枚画像を画像の画素単位以上の^！能で位置合わせを行わなければならなレヽ。 し かし、 今まで、 位置合わせ処理が破綻した ¾^の対処法について考慮がなされて おらず、 処理が破綻した でもそのまま画像処 S¾果を出力していた。
以上の様な課題を解決するために、 近年では、 画像の位置合わせ処理を行った 場合の、 位置合わせ誤りを検出する手法についての報告が以下のように幾つかな されている： （1 ) 張馴、 清水、 奥富 「照明変ィヒゃォクルージョンにロバストな 領域選択 2段階レジストレーシヨン」、画像の認識'理解シンポジウム（MIRU2006) 講演論文集、 2 0 0 6年 7月、 p. 229-234
( 2 ) 戸田、 塚田、 井上 「レジストレーシヨン誤差を考慮した超解像処理」 第 5 回情報科学技術フォーラム (FIT2006) 講演論文集、 2 0 0 6年、 p. 63- 64。
― 発明の開示 しかし、 この様な従来の位置合わせ誤りを検出する手法は、 位置合わせ処理後 の対応する画素間の画素値の誤差量等を指標としている。 この指標では、 画像に エイリアシングが乗っている場合、 エッジ部などの高周波を持つ画像部分で、 画 像の大局的構造が一致していても、 エイリァシングの効果により画像間の画素値 単位では画素値に差が生じる。 その結果、 画素選択により位置合わせ処理された 画素を除外してしまうという問題点があった。 また、 従来より、 超解像処理のよ うに、 複数枚画像間の位置合わせ処理をすると同時に、 画像の解像度を上げるよ うな処理を行う場合に、 画像の解像度を上げた状態にぉレ、て位置合わせ処理の誤 りを検出するような手法は提案されていなかった。
本発明は、 複数枚画像間位置合わせ処理の位置合わせ誤り検出における上記の 問題点に鑑みて発明されたものであり、 位置合わせ誤りに関する誤判断を防止す ること、 及び、 画像の解像度を上げた状態において位置合わせ処理の誤りを検出 することを目的とする。
本発明に係る画像処理装置は、 複数の画像間の位置合わせ処理を行う位置合わ せ手段と、 前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせ て合成し、 合成画像を生成する画像合成手段と、 前記合成画像の周波数特性を測 定する周波数特性測定手段と、 前記合成画像の前記測定された周波数特性に基づ いて、 前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤り検出 手段と、 を備える。 ■ -
本発明に係る画像処理プログラムは、 複数の画像間の位置合わせ処理を行う位 置合わせ手順と、 前記位置合わせ手順で位置合わせされた前記複数の画像を重ね 合わせて合成し、 合成画像を生成する画像合成手順と、 前記合成画像の周波数特 性を測定する周波数特性測定手順と、 嫌己合成画像の前記測定された周波数特性 に基づいて、 前記複数の画像間の位置合わせ処理の誤りを検出する位置合わせ誤 り検出手 1噴と、 を備える。
' 本発明では、 複数の画像間で位置合わせ処理を行った場合の、 画像の位置合わ せ処理の誤りを、 画像を合成した後に検出できる。 合成画像上で画像間の位置合 わせ処理の誤り検出を行う為に、 エイリアシング存在するエッジ部などについて も良好な、 位置合わせ誤り判別が可能となる。 図面の簡単な説明 図 1は、 第一実施形態に係る画像処理装置を示す構成図である。
図 2は、 べィヤー 色フィルタを示す図である。
図 3は、 位置合わせ部 （位置合わせ手段） の構成図である。
図 4は、 画像位置合わせ処理を示すフローチャートである。
図 5は、 パラボラフッティングによる画像変位量の推定を示す図である。 図 6は、 画像合成部 （画像合成手段） の構成図である。
図 7 Aは、 画像合成処理が行われる基準画像及び参照画像である。 図 7 Bは、 基準画像及び参照画像を位置合わせ処理をした様子を示す図である。 図 7 Cは、 参照画像の画素を、 最も近い合成画像の画素単位に適合させた図である。
図 8は、 超解像処理 （超解像処理手段） を示すフローチャートである。
図 9 Aは、 周波数特性測定部 （周波数特性測定手段） の構成図である。 図 9 B は、 周波数特性測定部の他の構成図である。
図 1 0 Aは、 誤り検証画像を示す図である。 図 1 0 Bは、 誤りなし画像を示す - -
図である。 図 I OCは、 誤り検証画像と誤りなし画像の D FT演算値の差分を示 す図である。
図 1 1は、 位置合わせ誤り検出処理 （位置合わせ誤り検出手段） を示すフロー チャートである。
図 12は、 ソフトウェアが実行する画像処理を示すフローチャートである。 図 13は、 第二の実施形態に係る画像処¾¾置を示す構成図である。 発明を実施するための最良の形態 図 1は、 第一実施形態に係る画像処理装置を示す構成図である。
レンズ系 100、 カラーフィルタアレイ （CFA) 101、 電荷結合素子 (C CD) 102を介して撮影された,信号は、 増幅器 (Ga i n) 103にて増 幅され、 A- D変觸 (A/D) 104にてデジタル信号へ変換される。 A-D変換 器 104はバッファ 105 (バッファメモリ） と接続されている。 バッファ 10 5は、 位置合わせ部 （位置合わせ手段） 106、 画像記録部 （画像記録手段） 1 1 1と接続されている。 位置合わせ部 106は、 画像合成部 （画像合成手段） 1 07、 画像変換部 （画像変換手段） 108と接続されている。 画像合成部 107 は、 画像変換部 108と接続されている。 画像変換部 108は、 周波数特性測定 部 （周波数特性測定手段、 周波数特性検出手段） 109、 画像記録部 11 1と接 続されている。 周波数特性測定部 109は位置合わせ誤り検出部 （位置合わせ誤 り検出手段） 1 10と接続されている。 位置合わせ誤り検出部 110は、 位置合 わせ部 106と接続されている。 画像記録部 1 1 1は 信号を外部へ出力する 為の、 出力インターフェース （output) と接続されている。
以下、 図 1における映像信号の流れを説明する。 外部ユーザインターフェース 部 （外部 IZF部） 113を介して I SO感度などの撮影条件を設定した後、 外 部 I/F部 113に備え付けられたシャッターボタンを半押しにすることでプリ - -
撮像モード （事前撮影モード） に入る。 外部 I ZF部 1 1 3は、 種々の構成を取 り得るものであり、 例えば、 表示画面上で各種の設定を行うタツチセンサや、 シ ャッターボタン等の操作ボタン又は操作ダイヤルなどから構成されて良い。 レン ズ系 1 0 0、 C F A 1 0 1、 C C D 1 0 2を介して撮影された赠信号は、 アナ 口グ信号として出力される。なお、本実施形態において、 C C D 1 0 2としては、 撮像系に Bayer (べィヤー） 型原色フィルタを C F A 1 0 1として前面に配置し た単板 C C Dが用いられている。 Bayer型原色フィルタは 2 X 2画素を基本単位 とし、 基本単位中に赤（R)、 青（B ) フィルタが 1画素ずつ、 緑 ） フィルタが 2画素配置される （図 2参照） 。
ここで C C D 1 0 2は、 外部 I /F部 1 1 3に備え付けられたシャッターボタ ンが押された^ \画像の撮影を行う。 増幅器 1 0 3、 A- D変鶴1 0 4、 バッ ファ 1 0 5を介して、 画像データは順次、 位置合わせ部 1 0 6または画像記録部 1 1 1 (画像記録メモリ） へ送信される。 ここで、 撮影された画像データを位置 合わせ部 1 0 6へ転送する力、 画像記録部 1 1 1へ転送するかは外部 I ZF部 1 1 3を介して設定された保存方法により異なる。 すなわち、 画像をそのまま画像 記録部 1 1 1へ保存する設定をとつた場合は、 複数枚画像間の位置合わせ処理を 行わないため、 撮影された画像データは画像記録部 1 1 1へ記録される。 画像記 録部 1 1 1への保存を行わない場合、 バッファ 1 0 5を介して撮影された画像デ ータは順次、 位置合わせ部 1 0 6により位置合わせ処理 （座標変換処理） が行わ れる。 その後、 位置合わせ部 1 0 6において位置合わせ処理がされた画像は、 画 像合成^ 1 0 7に転送され画像の合成処理が行われる。 画像合成部 1 0 7におい て画像合成された合成画像は、 画像変換部 1 0 8へ転送される。 また、 同時に位 置合わせ部 1 0 6に転送された画像データをそのままの形で画像変換部 1 0 8へ 転送しても良い。 この転送を行うカ^1わないかは、 外部 I /F部 1 1 3による設 定処理により決定される。
画像変換部 1 0 8において画像変換がなされた画像は、 周波数特性測定部 1 0 ■ -
9へ転送が行われる。 周波数特性測定部 1 0 9において、 画像変換部 1 0 8にお レヽて変換がなされた画像に対し、周波数特性値が測定され、その周波数特性値は、 位置合わせ誤り検出部 1 1 0へ転送される。 位置合わせ誤り検出部 1 1 0では、 周波数特性測定部 1 0 9より転送された周波数特性値に基づき、 位置合わせ誤り 判定が行われ、 判定結果として出力される位置合わせ誤り判定情報を位置合わせ 部 1 0 6へ転送する。 位置合わせ部 1 0 6は位置合わせ誤り検出部 1 1 0力ゝら転 送された位置合わせ誤り判定情報を元に、 位置合わせ画像除外処理、 立置合わ せ処理等を施し、 順次位置合わせ処理を行っていく。 位置合わせ処理、 画像変換 処理が終了した時点で、 画像変換部 1 0 8で画像変換された画像は、 画像記録部 1 1 1に転送され画像記録が行われる。
画像記録部 1 1 1に記録された、 画像は外部入出力インターフェースを介し、 本画像処理装置の外部の機器と相互接続を行レヽ、 画像リソースとして自由に利用 できる。
以下に、 位置合わせ部 1 0 6の位置合わせ処理について説明を行う。
上述の様に、 レンズ系 1 0 0、 C F A 1 0 1、 C C D 1 0 2を介して撮影され た映像信号は、 増幅器 1 0 3にて増幅され、 AZD 1 0 4にてデジタノレ信号へ変 換され、 バッファ 1 0 5を介して順次位置合わせ部へ転送され、 位置合わせ処理 が行われる。位置合わせ部 1 0 6の構成図を図 3に示す。位置合わせ部 1 0 6は、 複数枚画像保持部 1 0 6 a、 画像選択部 1 0 6 b , 位置合わせ量推定部 1 0 6 c で構成される。 複数枚画像保持部 1 0 6 aは、 バッファ 1 0 5からの入力線、 画 像変換部 1 0 8への出力線、 画像選択部 1 0 6 b、 位置合わせ量推定部 1 0 6 c とそれぞれ接続されている。画像選択部 1 0 6 bは、複数枚画像保持部 1 0 6 a、 制御部 1 1 2からの制御信号線とそれぞれ接続されている。 位置合わせ量推定部 1 0 6 cは複数枚画像保持部 1 0 6 a、 位置合わせ誤り検出部 1 1 0からの入力 線、 画像合成部 1 0 7への出力線とそれぞれ接続されている。
以下に、 図 3における信号の流れを説明する。 バッファ 1 0 5から入力される ■ -
画像データは順次複数枚画像保持部 1 0 6 aへと転送される。 複数枚画像保持部 1 0 6 aには、 複数枚の画像を保持することが可能である。 複数枚画像保持部 1 0 6 aにおいて、 画像データが 2枚以上蓄えられた^、 画像選択部 1 0 6 bに おいて、 位置合わせ処理を行う為の画像選択が行われる。 画像選択部 1 0 6 bで は、 位置合わせ処理の基準となる基準画像、 及び基準画像との間の位置合わせ量 を推定すべき参照画像が選択される。 基準画像及び参照画像の選択方法として、 例えば、 あるタイミングで外部 I Z F部 1 1 3において指定された画像を、 制御 部 1 1 2を介して基準画像として指定し、 それ以降に 影された画像を順次参照 画像として選択する。 また、 その他の方法としては、 はじめに撮影された画像を 基準画像として選択し、 それ以降に撮影された画像を順次参照画像として選択し て良い。 このように画像選択部 1 0 6 bにおいて選択された基準画像及び参照画 像は、 複数枚画像保持部 1 0 6 a力 ら、 位置合わせ量推定部 1 0 6 cへと転送す る。 位置合わせ量推定部 1 0 6 cへ転送された基準画像及び参照画像は、 位置合 わせ量推定部 1 0 6 cにおいて、 基準画像を基準とした位置合わせ量推定処理が 行われる。 位置合わせ量推定処理は、 以下のように行われる。
図 4のフローチャートに、 位置合わせ量としての画像変位量 （ずれべク トル） を推定する推定手段として、 画素対応位置を求める画像変位量推定のァルゴリズ ムの詳細を示す。 以下、 アルゴリズムの流れに従って説明を行う。
ステップ S 1において、 画像変位量の推定対象となる参照画像及び基準画像を それぞれ読み込む。 ステップ S 2において、 基準画像と参照画像の間で、 大局的 な位置合わせ処理を行う。 大局的な位置合わせ処理には、 領域ベースピクセルマ ツチング法や、 特徴点ベースの勾配法に基づく位置合わせ方法等の方法が利用で ぎる。
ステップ S 3において、 基準画像を複数の画像変位で変形させ、 画像列を生成 する。 ステップ S 4において、 基準画像を複数変形させた画像列と参照画像間の 類似度値を算出する。 例えば、 類似度値として、 S S D (Sum of Squared Difference) 値が使用できる。
ステップ S 5において、 画像変位と類似度値との関係を用いて、 離散的な類似 度マップを作成する。 ステップ S 6において、 ステップ S 5で作成した離散的な 類似度マップを補間することで得られる、 連続的な類似度値の極値を探索し、 連 続的な類似度値の極値を求める。 その極値を持つ画像変位が求める位置合わせ量 となる。 類似度マップの極値の探索法には、 パラボラフィッティング （二次関数 フィッティング） 、 スプライン補間法等がある。
図 5には、 画像変位推定をパラボラフッティングで行つた例を示している。 縦 軸は類似度値を表し、 類似度値が小さいほど、 変形した基準画像と参照画像間の 類似性が強くなる。 ステップ S 6におけるパラボラフィッティング又はスプライ ン補間等による類似度マップの極値探索法では、 基準画像及び参照画像の画素単 位より細かい分解能の位置合わせ量を推定できる。 複数の画像のうちの 1つの基 準画像とその他の参照画像との位置合わせし、 基準画像に対する参照画像の位置 合わせ量を、 画素単位よりも高い分解能で検出するので、 より高い分解能の位置 合わせ誤り検出が可能となる。
位置合わせ量推定部 1 0 6 cにおいて上記のように推定された位置合わせ量は、 画像合成部 1 0 7への出力線を介して、 画像合成部 1 0 7へと転送される。 また 同時に、 位置合わせ量推定部 1 0 6 cにおいて位置合わせが行われた、 基準画像 及び参照画像も画像合成部 1 0 7への出力線を介し、 画像合成部 1 0 7へと転送 される。 ここで 3枚以上の画像の位置合わせ処理を行う場合、 基準画像は位置合 わせ量推定部 1 0 6 cにおいて複数回用いられることがある。 その場合、 一度画 像合成部 1 0 7へと基準画像を転送すれば、 再び同一の基準画像を転送する必要 はない。
以上のようにして、 位置合わせ部 1 0 6で推定された位置合わせ推定量、 及ぴ 位置合わせ処理を行つた基準画像及び参照画像は、 画像合成部 1 0 7へと転送さ れ、 画像合成処理が行われる。 画像合成部 1 0 7における画像合成処理は、 以下 のように行われる。
図 6に、 画像合成部 1 0 7の構成図を示す。 画像合成部 1 0 7は、 合成部 1 0 7 a、 合成画像保持部 1 0 7 b , 拡大率選択部 1 0 7 cで構成される。 合成部 1 0 7 aは、 位置合わせ部 1 0 6からの入力線、 合成画像保持部 1 0 7 b、 拡大率 選択部 1 0 7 c、 画像変換部 1 0 8への出力線とそれぞれ接続されている。 合成 画像保持部 1 0 7 bは合成部 1 0 7 aと接続されている。 拡大率選択部 1 0 7 c は、合成部 1 0 7 a、制御部 1 1 2からの制御信号線とそれぞれ接続されている。 以下に、 図 6における信号の流れを説明する。 位置合わせ部 1 0 6から入力さ れる基準画像及び参照画像の画像データ及 立置合わせ量は順次合成部 1 0 7 a へと転送され、 順次画像合成処理が行われる。 画像合成処理を行う前に、 合成画 像の拡大率が定められている。 拡大率は、 拡大率選択部 1 0 7 cにおいて選択さ れ、 その拡大率が合成部 1 0 7 aへと転送される。 拡大率選択部 1 0 7 cにおけ る拡大率としては、 例えば、 あるタイミングで外部 I Z F部 1 1 3において指定 された拡大率を制御部 1 1 2を介して拡大率選択部 1 0 7 cへ転送し、 その拡大 率を用いても良い。 また、 画像合成を行う複数枚画像の枚数が予め決定している は、その枚数に応じた拡大率を設定するとレ、う構成にしても良いものとする。 拡大率選択部 1 0 7 cにおいて選択され、 合成部 1 0 7 aに転送された拡大率 は、 合成部 1 0 7 aにおいて利用される。 合成部 1 0 7 aに、 拡大率に応じたサ ィズのメモリ領域が設けられ、 そのメモリ領域に合成画像が生成される。 拡大率 に応じたサイズとは、 例えば、 画像合成部 1 0 7へと転送される前の基準画像及 び参照画像のサイズに、 拡大率の二乗を乗算したものである。 画像合成処理にお レ、て、 基準画像を基準とし、 はじめに上記拡大率で拡大された基準画像の画素デ ータを合成画像の上記メモリ領域にコピーする。 次に、 その基準画像の座標から 相対的にずれた情報を、 位置合わせ部 1 0 6より転送された位置合わせ量 （ずれ ベクトル） から算出する。 （例えば、 これを位置合わせ量に拡大率を乗算して算 出する。 ） その位置合わせ量に相当する分だけずれた合成画像の座標の位置に上 記拡大率で拡大された参照画像の画素データをコピーする。 ここで、 合成画像の 画素単位以上に細かレヽ位置情報が得られている は、その情報は無視して良レヽ。 ただし、 その情報に基づき画素の補間処理を行つても良いものとする。
このように、 基準画像及び参照画像は、 拡大してから合成され、 位置合わせ量 に基づいて、 当初の基準画像及び参照画像の画素単位よりも分解能の高レヽ解像度 空間において合成される。 従って、 より高い解像度の合成画像を取得することが できる。 また、 より詳細な、 周波数特性の測定を行うことができる。
このようにして合成画像のメモリ領域に合成画像を生成していく。 このような 処理を行うと、 合成画像のメモリ領域に一度も画素がコピーされないメモリ領域 が存在することがある。 そのメモリ領域に属す画素を未定義画素 （画素値の存在 しない画素） と定義し、 例えば 0の値を代入しておく。 以上の様にして最終的な 合成画像を生成する。 合成画像生成の概念図を図 7に示す。
図 7 Aは、 合成部 1 0 7 a において画像合成処理が行われる基準画像及ぴ参照 画像である。 模式的に基準画像は画素 A〜 I、 参照画像は画素 J〜Rを持つよう に表現している。 図 7 Bは、 合成画像のメモリ領域上で、 位置合わせ部 1 0 6よ り転送された位置合わせ量に基づ ヽて、 基準画像及び参照画像を位置合わせ処理 をした様子を模式的に表している。 ここで、 基準画像は合成画像の基準となる画 像なのでピクセル単位で確定的に位置合わせ処理を行うことが可能である。一方、 参照画像については、 位置合わせ量が、 合成画像の画素単位より細かい精度とな つている為、 合成画像の画素単位より細かい精度の位置合わせを合成画像の画素 単位に確定する処理を行う。 つまり、 参照画像の画素を、 最も近い合成画像の画 素単位に適合させながら位置合わせ処理を行う。 この合成画像の画素単位に、 位 置合わせ処理を行ったものが図 7 Cである。 この図 7 Cの位置合わせ処理により 合成画像が生成する。
画像合成処理の時に、 同一画素位置に 2回以上の画素位置合わせ処理が為され る場合には、 複数の画素の平均ィヒ処理を行う処理を行う。 また、 基準画像、 参照 - -
画像が Bayer型フィルタを介して撮影された R G B画像であれば、 以上の処理を R G B独立に行い、 R G B 3色の合成画像をそれぞれ生成し、 その 3色の合成画 像を合わせて出力画像とする。
上記のように、 合成部 1 0 7 aにおいて生成された合成画像は、 画像変換部 1 0 8への出力線を介して画像変換部 1 0 8へと転送される。 ここで、 3枚以上の 画像の画像合成処理を行う場合、 基準画像と参照画像の組で生成された合成画像 は、 合成画像保持部 1 0 7 bへと保持される。 この合成画像保持部 1 0 7 bに保 持された合成画像は、 再び基準画像と参照画像のペアの画像合成処理が行われる の合成画像のメモリ領域として、 再び合成部 1 0 7 aへ転送され、 利用され 得る。 その後、 生成された合成画像が再び合成画像保持部 1 0 7 bへ転送され保 持され、 再び基準画像と参照画像のペアの画像合成処理が行われる 、 合成画 像のメモリ領域として再び合成部 1 0 7 aへ転送され、 利用され得る。 以上のこ とを繰り返して、 3枚以上の画像の画像合成処理が行われる。
以上の様にして画像合成部 1 0 7で生成された合成画像は、 画像変換部 1 0 8 へと転送され、 画像変換処理が行われる。 ここで、 画像合成部 1 0 7から転送さ れる合成画像は、 画像合成部で参照画像が合成された合成画像だけでなく、 参照 画像を合成する以前の合成画像を同時に しても良レヽ。
画像変換部 1 0 8における画像変換処理は、 以下のように行われる。
一例として、 画像変換部 1 0 8において、 画像合成部 1 0 7より転送されてき た合成画像に対して、 その合成画像内に含まれる未定義画素の補間または推定を 行い、 全ての画素について画素値を定義する処理を行う。 合成画像中の画素の中 に、未定義画素が存在した場合、その未定義画素に画素値を付与することにより、 周波数特性取得の演算処理が簡単化される。 また、 補間処理を行うことで、 高速 に未定義画素の画素値推定を行うことが可能となる。
例えば、 合成画像について未定義画素の画素値を補間処理によって定義してい く場合、 具体的な方法としては、 2次元ガウシアン関数を用いた重み付け補間処 - -
理を用いた画素補間処理等が利用できる。 2次元ガウシアン関数を用いた重み付 け補間処理では、 例えば、合成画像の画素位置 （i,j) において未定義画素が存在 する場合、 その画素位置 (i,j)の画素値を p(i， j)と定義すると、 下記の数式 (1) のように p(i， j)を補間算出する方法を用いても良い。
P( J)- ~ —
D('、ソ） . . .（1)
ここで、 wkはガウシアン重み係数であり、 画素位置 (i,j)より遠ざかるに従レ、、 2 次元ガウシアン関数値に従った重み量を持つ重み係数であるとする。 また、 k は画素位置に関するィンデックス （指標） であり、 wkはィンデックス kにおける ガゥシァン重み係数、 pkはィンデックス kにおける画素値を表す。 D (i, j)は画素 位置（i, j)における近傍でかつ画素値が定義されている画素位置の集合を現す。以 上で説明した、 2次元ガゥシァン関数を用いた重み付け補間処理を用いることで、 合成画像の未定義画素を補間し、 画像変換部 108における画像変換処理を終了 することができる。 ここでは、 2次元ガウシアン関数を用いた重み付け補間処理 を未定義画素の補間に用いたが、 未定義画素の画素値を未定義画素の周辺の情報 から補間処理する方法であれば、 どのような手法を用いても構わない。
その他の画像変換処理の例として、 画像復元処理の一種である超解像処理を用 いることができる。
以下に、 他の例として、 画像合成部 107で生成された合成画像に対する画像 変換部 108の処理として、 超解像処理を適用した場合を説明する。 ここで、 超 解像処理とは、 高解像度画像を仮定し、 撮像システムの点広がり関数 （Point Spread Function： PSF) に基づき仮定した高解像度画像から 像度画像を推 定し、 その推定画像と観測された画像の差が小さくなるような高解像度画像を探 索する。 例えば、 超解像処理として、 国際公開第 06Z052029号、 国際公 開第 04/068862号に記載されたものが使用できる。 - -
合成画像の画素の中に、 未定義画素が存在した場合に、 画像変換処理において 画像の超解像処理を行うことで、 高精度に未定義画素の画素値推定を行なう。 ま た、 この超解像処理により、 未定義画素以外の画像についても、 高精細な画素値 を復元、 推定することが可能となる。
具体的な、 超解像処理のアルゴリズムを図 8のフローチャートに示す。 以下、 アルゴリズムの処理の流れに添って説明を行う。
ステップ S 1 1において、 合成画像 yの入力処理を行う。 ステップ S 1 2にお いて、 初期の出力画像を生成する。 例えば、 この処理は、 上述の 2次元ガウシァ ン関数を用いた重み付け補間処理を用いることができる。 この処理によって合成 画像の未定義画素を補間し定義した、 初期の出力画像 z。を生成しておく。
ステップ S 1 3において、 以下の数式 (2) の評価関数 f(z)を最急降下法によ り最小化する超解像処理を開始する。 f(z) = \\y-Az\\ + g(z) . . . (2) ここで yは S 1 1で入力された合成画像 （べクトル表現） 、 zは高解像度化さ れた結果画像 （ベクトル表現） 、 Aは P S F等を含めた撮像システムをあらわす 画像変換行列である。 g (z)は画像の滑らかさや画像の色の相関を考慮した正規化 項（拘束項）等である。 は重み付け係数である。最急降下法を用いた場合、 f(z) の zにおける微分値 d f(z)/d Zを計算し、 その微分値を Zに付加し、 画像を更 新させて、 f(z)の最小値を得る。 f(z)の微分値 （勾配） は、 AT (y -A z ) と 3g(z)Z3 zを重み付け加算したものとなる。 ここで Ατは Aの転置行列である。 以下の数式 (3) のように、 微分値 3f(z)Z3 zを zに付加して、 画像を更新 させ f(z)の最小値を得る。
Figure imgf000015_0001
ここで znは繰り返し n回目の高解像度化された結果画像を表し、 αは更新量の歩 み teを表す。
ステップ S 13において、 ステップ S 12または S 18より得られた出力画像 zに対し P S F (Point Spread Function：点広がり関数） とのコンボリューショ ン処理 （畳み込み積分処理） を行う。 即ち、 A zを演算する。 ここで、 PSFデ ータは、 例えば画像変換部 108に予め保持しておいた、 P S Fデータを用いる ことができる。また、 P S Fデータは複数保持しておき、光学伝達関数（OTF)、 CCDアパーチャ （CCD開口） 等の撮像特性を考慮したカメラの撮影パラメ一 タに従い適切な PSFデータを選択する構成としても良いものとする。 PSFデ ータは基本的に 2次元ガウシアン関数の形状のものを利用する。 また、 PSFデ ータはそのデータ係数の和が 1に正規ィ匕されているものとする。 また、 出力画像 が R G Bの力ラーを含むであれば、 以上の処理を R G B独立に行う。
ステップ S 14において、 ステップ S 1 1で入力された合成画像 y及びステツ プ S 13で生成された出力画像 A zについて、 その差分をとり差分画像 (y-A z) を取る。 このとき、 合成画像には未定義画素が含まれるが、 その未定義画素 部分では、 差分が定義できない為、 差分画像でも未定義画素のままとする。 出力 画像が R G Bのカラーを含むであれば、 以上の処理を R Q B独立に行う。
ステップ S 15において、 ステップ S 14で生成された差分画像 (y-Az) について、 P S Fのコンボリューシヨン処理を行う。 即ち、 AT (y-Az) を 演算する。 PSFのコンボリューシヨン処理を行う場合に、 コンボリューシヨン 処理に用いる画素として未定義画素が含まれることがある。 その未定義画素にお いてコンボリューション処理が行なわれた場合、 未定義画素についてはコンボリ ユーションが定義できない為、 その画素についてはコンボリユーション処理を行 わないこととする。 この時、 定義画素のみで P S Fのコンボリューシヨン処理を 行うと、 使用する PSFデータのデータ係数の和が 1に満たない場合がある。 そ の場合は、 使用する PSFデータのデータ係数の和を 1に設定する処理を、 正規 化処理により施す。 出力画像が RGBのカラーを含むであれば、 以上の処理を R - -
GBに対して独立に行う。
ステップ S I 6において、 ステップ S 1 5で求めた画像 AT (y-A z) に加 え、 S 1 2または S 1 8から与えられた出力画像の解を好ましい画像へ収束させ る為の正則化画像 (d g/d z) を生成する。 例えば、 出力画像のエッジは滑ら かであるという正則化条件を考慮する為に、 S 1 2または S 1 8で与えられた出 力画像について、 正則ィヒ項 g(z)を S 16で与えることができる。 具体的には、 S 1 2または S 1 8で与えられた出力画像について 2度ラプラシアンでコンボリュ ーシヨン処理 （畳み込み積分処理） をした画像等を生成する処理を行う。 S 16 での処理は、 場合により省略してもかまわないものとする。 出力画像が RGBの カラーを含むであれば、 以上の処理を RGBから得られる輝度信号について行う という処理構成をとつても良い。
ステップ S 1 7において、 S 1 5及び S 1 6において生成された画像 AT (y 一 Az) 、 (3 g/d z) を、 出力画像へ重み付け加算する処理 （数式 (3) の 計算） を行う。 これは、 出力画像の更新処理であり、 出力画像 zn+1が得られる。 S 1 5及び S 1 6で得られた画像 AT (y-Az) 、 (d g/d z) の重み付け 係数をそれぞれ; L 1及び λ 2をする。 出力画像の更新幅は、 1及び；12の値に より変化する。 この、 λ 1及び λ 2は予め適切な値を設定しておく力、 または、 外部 I/F部 1 1 3において外部より適切な値に設定しておいても良いものとす る。
ステップ S 1 8において、 S 1 5及び S 16において生成された画像の画素値 の絶対値の和をスカラーの更新量とする。 その更新量がある閾値 Τよりも小さい 場合は、 S 1 7において得られた出力画像を最終的な出力画像とみなし、 S 1 9 においてこの最終的な出力画像を出力する。 更新量が閾値 Τ以上の場合は、 S 1 7で得られた出力画像を再び S 1 3で入力し、 S 1 3〜S 1 7を介し再び出力画 像を更新する。 この処理は、 S 18において更新量が閾値 Tより小さくなるまで 繰り返される。 なお、 繰り返し回数がある一定回数を超えた場合 （例えば 20回 - 6 -
の繰り返し） 、 繰り返し処理を終了し、 出力画像を S 1 9へ進んで最終的な出力 画像として出力するという処理をとつても良い。
このように、 以上の S 1 1から S 1 8の処理によって、 最終的に出力された出 力画像が画像変換部 1 0 8における画像変換後の画像となる。 画像変換部 1 0 8 におレ、て、画像変換処理が行なわれた画像は、周波数特性測定部 1 0 9へ送られ、 空間周波数特性の測定が行なわれる。
また、 画像変換部 1 0 8は、 上記画像合成部 1 0 7からの合成画像の画像変換 以外に、 位置合わせ部 1 0 6から転送される基準画像の画像変換を行なっても良 レ、。 本実施例のようにべィヤー型色フィルタを用いて撮影された基準画像での画 像変換は、 欠けている色チャネルを色モザイク状の生データから推定するカラー デモザィキング処理 （補間処理） をとして良い。 デモザィキング処理により、 ベ ィヤー型色フィルタを解して撮影された基準画像は、 それぞれの画素位置にぉレヽ て R、 G、 Bの画素値が揃ったフルカラーの画像となる。 さらに、 画像変換処理 として、 基準画像と、 合成画像の画像サイズ （又は画像解像度） を同一とするた めに、 画像拡大処理を行う。 ここで用いる画像拡大手法は、 公知のバイキュービ ック （bicubic) 拡大法、 バイリニア （bilinear) 拡大法等を用いる。 この処理に よって、 補間 ·拡大処理が行われた基準画像は、 周波数特性測定部 1 0 9へ転送 される。 ただし、 この画像変換された基準画像の周波数特性測定部 1 0 9への転 送処理は必ずしも必要ないものとする。
. また、 画像合成部 1 0 7から転送される合成画像として、 画像合成部 1 Q 7に おける参照画像を含まない画像 （つまり、 画像合成部 1 0 7において所定の拡大 率で拡大された基準画像） も画像変換部 1 0 8に転送される も有る。 その場 合は、 画像変換部 1 0 8において、 上記参照画像を含む合成画像の画像変換処理 と同様に、 画像変換処理を施し、 周波数特性測定部 1 0 9へ転送されるものとす る。 ただし、 画像合成部 1 0 7における参照画像を含まない画像の、 画像変換後 の画像の周波数特性測定部 1 0 9への転送は、 必ずしも必要ないものとする。 - -
なお、 以上のようにバッファ 1 0 5より転送され、 位置合わせ部 1 0 6、 画像 合成部 1 0 7、 画像変換部 1 0 8を介して生成される画像は、 画像の部 ^ S域に 分けて処理されても良レヽ。 この 、 画像のそれぞれの部^^域に多少重複を含 めた部 5) 1域として処理を行うことが好ましい。 また、 位置合わせ部 1 0 6、 画 像合成部 1 0 7、 画像変換部 1 0 8を介した画像生成を画像の部分領域に分けて 行なった場合、 その部分領域を、 以下に説明する、 周波数特性測定部の画像領域 選択部 1 0 9 aで選択される画像領域としても良いものとする。 画像の部颁域 毎に位置合わせを行えば、 位置合わせする画像中の部分ごとに異なる位置ずれが 混在する場合の位置合わせ処理であっても、 高精度に位置合わせ処理を行うこと ができる。 また、 周波数特性測定部は、 合成画像の部分領域毎に周波数特性の測 定を行う場合、 合成画像の部分領域毎に位置合わせ処理の誤りの検出が可能とな る。
また、 上記バッファ 1 0 5より転送され、 位置合わせ部 1 0 6、 画像合成部 1 0 7、 画像変換部 1 0 8を介して生成される画像は、 画像の部 ^域であり、 か つその中の高周波成分を持つ部分領域であっても良いものとする。 画像の高周波 成分の部 ^域にぉレ、て画像の位置合わせを行うことで、 テクスチヤが豊富な画 像領域で位置合わせ処理が可能となり、 高精度に位置合わせ処理を行うことがで きる。 また、 テグスチヤが豊富な画像領域で位置合わせ誤り検出を行うことが可 能となり、 高精度な位置合わせ誤り検出を行うことができる。
周波数特性測定部 1 0 9における周波数特性測定方法は、 2次元フーリェ変換、 1次元フーリエ変換、 画像のコンボリューシヨン処理 （畳み込み積分処理） など によって行われる。 なお、 1次元フーリエ変換処理により、 2次元フーリエ変換よ りも高速に周波数特性値を測定することができる。 2次元フーリェ変換では、 合 成画像の詳細な周波数特性値を測定することができる。
以下、 周波数特性測定部 1 0 9について、 説明を行う。 周波数特性測定部 1 0 9の構成図を図 9 Aに示す。 周波数特性測定部 1 0 9は、 画像領域選択部 1 0 9 - -
a及び 2次元 D F T (離散フーリェ変換） 部 1 0 9 bで構成される。 画像領域選 択部 1 .0 9 aは、 画像変換部 1 0 8からの入力線、 2次元 D F T部 1 0 9 bと接 続されている。 2次元 D F T部 1 0 9 bは、 画像領域選択部 1 0 9 a及 Ό^ί立置合 わせ誤り検出部 1 1 0への出力線により接続されている。
図 9 Αにおいて、信号の流れを説明する。画像変換部 1 0 8からの入力線より'、 画像変換後の画像が入力され、 画像領域選択部 1 0 9 aへと転送される。 画像領 域選択部 1 0 9 aにおいて、 選択される画像領域である選択画像は、 選択された 画像領域の位置情報と共に 2次元 D F T部 1 0 9 bへと転送される。 2次元 D F T部 1 0 9 bにおいて、 選択画像の 2次元 D F T演算 （2次元離散フーリエ変換 演算） が行なわれる。 2次元 D F T演算の演算値が周波数特性出力として、 位置 合わせ誤り検出部 1 1 0への出力線を介し、 位置合わせ誤り検出部 1 1 0へと転 送される。
ここで、 画像変換部 1 0 8から入力される画像は、 画像の位置合わせに誤りが ない誤りなし画像を含んでよレ、。 誤りなし画像は、 例えば、 画像変換部 1 0 8で 上記補間 ·拡大処理が行われた基準画像であってよい。誤りなし画像は、例えば、 画像合成部 1 0 7における参照画像を含まない画像に対して画像変換部 1 0 8に おいて画像変換が施された画像 （つまり、 画像合成部 1 0 7において所定の拡大 率で拡大された基準画像を画像変換部 1 0 8におレ、て画像変換したもの） でも良 レ、。 なお、 ここで、 基準画像は、 位置合わせ処理が行われる前の画像の一例とし て示したものである。 また、 画像合成部 1 0 7における参照画像を含まない画像 とは、 画像合成部 1 0 7で重ね合わせられる前の状態の画像の一例として示した ものである。 さらに、 画像合成部 1 0 7において、 参照画像と基準画像との画像 合成を行い、 画像変換部 1 0 8において画像変換が施された合成画像を誤り検証 画像と定義する。 - 周波数特性測定部 1 0 9内の画像領域選択部 1 0 9 aは、 誤り検証画像及び誤 りなし画像において、 画像領域選択を行い、 その選択画像及び、 選択された画像 領域の位置情報が 2次元 D F T部 1 0 9 bへ転送される。 このとき、 誤り検証画 像と誤りなし画像が、 R G B画素を持つカラー画像である場合は、 R G Bの画素 値から輝度値を算出しその輝度値を新たな画素値として 2次元 D F T部 1 0 9 b へ転送しても良いものとする。
2次元 D F T部 1 0 9 bでは、 画像領域選択部 1 0 9 aにおいて領域選択され た選択画像について、 2次元 D F T演算を行う。 この処理によって、 誤り検証画 像の 2次元 D F T演算値が算出される。 ここで、 2次元 D F T部 1 0 9 bに転送 された画像に、 誤りなし画像が含まれている場合、 誤り検証画像の D F T演算値 に加え、 誤りなし画像の D F T演算値が算出される。 さらに、 誤り検証画像と誤 りなし画像の D F T演算値の差分の絶対値を取り、 周波数特性測定部 1 0 9より 出力される最終的な周波数特性出力としてよい。 位置合わせ処理が行なわれる前 の画像を画像変換した画像や画像合成部によって重ね合わせられる前の画像等の 誤りなし画像の周波数特性を利用することにより、 合成画像の周波数特性中の、 位置合わせ誤りによる周波数特性を際立たせ、 高精度に位置合わせ処理の誤り判 別を行うことができる。 また、 画像合成部によって重ね合わせられる前の画像と 合成画像のサイズが同一であれば、 簡便に、 位置合わせ処理の誤り判別を行うこ とができる。 なお、 誤りなし画像が含まれていない場合は、 誤り検出画像の D F T演算値が周波数特性出力となる。
図 1 0 Aに誤り検証画像の画像データ、図 1 0 Bに誤りなし画像の画像データ、 図 1 0 Cに誤り検証画像と誤りなし画像の D F T演算値の差分の例を示す。 ここ で、 誤り検証画像の画像データは、 位置合わせ処理に誤りが生じているために、 粒立った態、様でアーチファク卜が生じる。 その結果それぞれの D F T演算値の差 分の D F T演算値は、 垂直方向周期 3ピクセル、 水平方向周期 3ピクセルのとこ ろに特有のピーク値が現れている。 なお、 この例では、 画像合成部 1 0 7におけ る拡大率は 3倍であるため、 3ピクセル周期のところに、特有のピークが生じる。 画像が拡大されているため、 拡大率が F倍であれば、 画像の位置合わせ処理の誤 - -
りにより顕著に変化する周波数成分 （周期成分） は、 Fピクセル周期の成分とな る。 このため、 誤り検証画像と誤りなし画像の D F T演算値の差分は、 Fピクセ ノレ周期のところに特有のピークが生じることになる。
また、 上記周波数特性測定部 1 0 9においては、 周波数特性測定手段として、 2次元 D F T演算を用いているが、 この処理以外に 1次元 D F T演算処理を用い ても良いものとする。
また、 D F T演算処理以外にも、 上述した、 特有のピークを検出できるバンド パスフィルタリング処理を用いても良い。 この場合の周波数特性測定部 1 0 9の 構成図を図 9 Bに示す。 図 9 Bは図 9 Aと異なり、 2次元 D F T部 1 0 9 bがフ ィルタリング部 1 0 9 bに置き換えられている。フィルタリング部 1 0 9 bでは、 例えば、 上述の画像合成部 1 0 7における拡大率は 3倍である場合、 垂直方向周 期 3ピクセル、 水平方向周期 3ピクセルの周波数領域に属する画像成分を抽出す るようなバンドパスフィルタリングを行う。 その様な、 バンドパスフィルタの例 として、 ウェーブレツト変換係数の一部を抽出するバンドパスフィルタを用いて も良い。 図 9 Aの場合と同様に、 2次元 D F T部 1 0 9 bに転送された画像に、 誤りなし画像が含まれている場合、 誤り検証画像のフィルタリング結果に加え、 誤りなし画像のフィルタリング結果が算出される。 誤り検証画像と誤りなし画像 のフィルタリング結果の差分の絶対値を取り、 最終的な周波数特性測定部 1 0 9 より出力される周波数特性出力とする。 誤りなし画像が含まれていない^は誤 り検出画像のフィルタリング結果が周波数特性出力となる。 フィルタリング処理 により周波数特性を測定することで、 任意の周波数成分値をピンボイントで抽出 することが可能となる。 また、 複数のフィルタ係数を用意しておくことで、 汎用 的なコンボリューシヨン処理 （畳み込み処理） により、 周波数成分値を抽出可能 となる。
また、 周波数特性測定部からは、 周波数特性測定部で周波数特性が測定された 選択画像の画像領域の位置情報についても、 位置合わせ誤り検出部 1 1 0へと転 - -
送する。
上述の様に、 周波数特性測定部 1 0 9からの周波数特性出力および周波数特性 が測定された選択画像の画像領域の位置情報は、 位置合わせ誤り検出部 1 1 0へ と転送され、 位置合わせ誤り検出部 1 1 0におレヽて位置合わせ誤りの検出処理が 行われる。
以下に、 図 1 1を参照して、 位置合わせ誤り検出部 1 1 0における位置合わせ 誤り検出処理について説明を行う。 図 1 1のフローチャートはは、 位置合わせ誤 り検出処理のアルゴリズムを示す。
ステップ S 2 1において、 上記の周波数特性出力について、 例えば画像合成部 1 0 7における拡大率が 3倍である場合は、 周波数特性出力結果の、 水平方向周 期 3ピクセル及び垂直方向周期 3ピクセル付近の周波数特性についての周波数成 分の抽出 （つまり、 周期成分の抽出） が行なわれる。 上述のバンドパスフィルタ リングにおける、 周波数特性測定では、 既に水平方向周期 3ピクセル及び垂直方 向周期 3ピクセル付近の周波数特性についてのみ成分抽出を行なっている為、 こ の処理は必要ない。 ここでは、 拡大率が 3倍である をとっている力 S、 拡大率 は任意の場合をとつても良く、 その拡大率に従って、 周波数特性の成分抽出領域 は異なる。 例えば拡大率が F倍の場合、 周期成分の抽出は、 水平方向周期 Fピク セル及び垂直方向周期 Fピクセノレ付近の周波数特性について行なわれる。 このよ うに、位置合わせされる複数の画像の解像度と合成画像の解像度との関係 (即ち、 拡大率） 力 ら、 位置合わせ処理の誤りにより変化ずる特定の周波数成分を抽出す る。 これにより、 その周波数成分だけの影響を取り扱うことができるため、 高精 度かつ効率的に位置合わせ誤りの判別処理を行うことが可能となる。
ステップ S 2 2において、 次にステップ S 2 1において抽出された成分量が、 所定の閾値より大きいか否力 40断される。 抽出された周波数成分量が、 所定の閾 値より大きい場合には、 ステップ S 2 3の処理がなされる。 ステップ S 2 3にお いて、 位置合わせ部 1 0 6における位置合わせ処理は、 選択画像の属する位置に - -
関して位置合わせの誤りがあるとみなせ、 位置合わせが誤りであることを伝 る信号が位置合わせ部 1 0 6へと転送される。 抽出された成分量が、 所定の閾値 より小さい場合には、 ステップ S 2 4の処理がなされる。 ステップ S 2 4におい て、 位置合わせ部 1 0 6における位置合わせ処理は、 選択画像の属する位置に関 しては、 位置合わせ処理が正しく行われているとみなされ、 位置合わせ処理が正 しいことを伝 m "る信号が位置合わせ部 1 0 6へと転送される。
以上の様にして、 周波数特性測定部 1 0 9において選択された選択画像につい て、 位置合わせ誤り検出処理が順次行われていく。
このようにして、 位置合わせが誤りであるか、 誤りでないかの伝達を位置合わ せ誤り検出部 1 1 0より受けた位置合わせ部は、 位置合わせ処理を行なった画像 合成の除外を行うか、 また、 立置合わせ処理を行うかの選択を行うことができ る。 なお、 位置合わせ部 1 0 6、 画像合成部 1 0 7、 画像変換部 1 0 8を介した 画像生成を画像の部分領域に分けて行なった場合、 位置合わせ処理の誤りが生じ た部 ^域を位置合わせ処理から除外してよい。
例えば、 位置合わせが誤りであると判定された場合において、 位置合わせ処理 を行なった画像合成の除外を行う場合、 位置合わせ部 1 0 6は、 位置合わせ誤り 検出部 1 1 0より受けた位置合わせ処理の誤りを伝 ¾fる信号をさらに画像合成 部 1 0 7へ転送する。 続レ、て、 画像合成部 1 0 7は合成画像保持部 1 0 7 b内の 保持された合成画像において、 合成に用いられた参照画像の除外処理を行う。 そ の結果合成画像に位置合わせ誤りが含まれなレ、結果を得ることができる。 参照 ® 像が除外された領域は、 再び未定義画素として定義される。
また、 例えば、 位置合わせが誤りであると判定された場合において、 位置合わ せ誤り検出部 1 1 0において位置誤りであると判定された画像部^ ^域情報は、 位置合わせ部 1 0 6に転送される。 続いて、 その誤りと判定された画像の部^ S 域について、 再び画像の位置合わせ処理を位置合わせ部 1 0 6において行う。 そ の結果合成画像に位置合わせ誤りが含まれない結果を得ることができる。 また、 位置合わせ誤り検出部 1 1 0におレ、て位置誤りであると判定された画像領域情報 は、 画像合成部 1 0 7に転送され、 画像合成部 1 0 7、 画像変換部 1 0 8、 周波 数特性測定部 1 0 9、 位置合わせ誤り検出部 1 1 0において同様に、 再度、 画像 合成処理、 画像変換処理、 周波数特性測定処理、 位置合わせ誤り検出処理を行つ ても良い。 また、 この処理を何度繰り返しても良いものとする。
以上の様にして、 順次位置合わせ部 1 0 6において位置合わせ処理、 位置合わ せ誤り検出を行い、 位置合わせ誤りがある参照画像を除外した状態で、 画像変換 部 1 0 8において画像変換処理を行い、 その画像変換処理結果が画像変換部 1 0 8より画像記録部 1 1 1に記録される。 画像記録部 1 1 1に記録された画像は、 外部との入出カンターフェースにより、 外部 との連携を行い、 様々な情報資 源 （リソース） として利用できる。
上記実施形態では、 メモリや論理回路等からなるハードウエアによる処理を前 提としていたが、 このような構成に限定される必要はなレ、。 例えば、 C C D 1 0 2からの複数のカラー,信号を未処理のままの R a wデータ （生データ） とし て、 制御部 1 1 2からカラーフィルタや撮影時の露光条件や彩度補正処理に用い る関数の情報などをヘッダ情報として出力し、 別途ソフトウヱァにて処理する構 成も可能である。
図 1 2は、 上記の画像処理をコンピュータ上で動作するソフトウェア （プログ ラム） が行う場合のフローチャートを示す。 ステップ S 3 1にて、 複数の画像と カラーフィルタ種別等のヘッダ情報を読み込む。 ステップ S 3 2にて、 ステップ S 3 1で入力された複数枚画像のうちの一枚を位置合わせ処理の基準として選択 して基準画像とする。ステップ S 3 3にて、基準画像及び基準画像以外の画像（そ の中のそれぞれの画像を参照画像と呼ぶ） の間において順次、 位置合わせ処理を 行う。 ステップ S 3 3における位置合わせ処理の詳細は、 上述の位置合わせ部 1 0 6における処理を、 ソフトウェア処理上で実現したものとする。
ステップ S 3 4にて、 S 3 3において位置合わせ処理が行われた、 基準画像、 参照画像及び画像間の位置合わせ量に基づき、 画像合成処理が行われる。 S 3 4 における画像合成処理の詳細は、 上述の画像合成部 1 0 7における処理を、 ソフ トウエア処理上で実現したものとする。 ステップ S 3 5にて、 S 3 4にて画像合 成処理が行われた合成画像について、 画像変換処理が行われる。 S 3 5における 画像変換処理の詳細は、 上述の画像変換部 1 0 8における処理を、 ソフトウェア 上で実現したものとする。 ステップ S 3 6にて、 S 3 5にて画像変換処理が行わ れた画像について、 周波数特性測定処理が行われる。 S 3 6における周波数特性 測定処理の詳細は、 上述の周波数特性測定部 1 0 9における処理を、 ソフトゥェ ァ処理上での 2次元 D F T演算処理等により実現したものとする。
ステップ S 3 7にて、 S 3 6にて測定された画像の周波数特性を用いて、 位置 合わせ誤り検出処理を行う。 S 3 7において、 上述の位置合わせ誤り検出部 1 1 0における周波数成分抽出処理と抽出した成分量の閾値との比較処理を、 ソフト ウェア処理上で実現したものとする。 ステップ S 3 8において、 S 3 7における 位置合わせ誤り検出結果を用いて、 位置合わせ処理が正しく行なわれたかを判断 する。 位置合わせ処理が正しく行なわれなかつた場合は S 3 9へ進 。 位置合わ せ処理が正しく行なわれた場合はステップ S 4 3へ進む。
ステップ S 3 9において、 位置合わせが正しく行なわれなかった画像領域にお レ、て、 その画像領域を除外するかどうかを判断する。 画像領域の除外を行うと判 断した^は、 ステップ S 4 0へ進む。 画像領域の除外を行なわないと判断した 場合は、 ステップ S 4 1へ進む。 S 4 0におレ、て、 画像領域の除外処理を行う。 この除外処理では、 S 3 4において画像合成処理を行った合成画像について、 位 置合わせ処理が正しく行なわれない画像領域について画像データの除外処理を行 う。 除外処理を行った後、 S 4 3へ進む。 S 4 1において、 位置合わせ処理が正 しく行なわれなかった画像領域において、 再位置合わせを行うかどうかの判断を 行う。 再位置合わせを行う場合は、 ステップ S 4 2へ進む。 再位置合わせ処理を 行なわない場合は、 S 4 3へ進む。 S 4 2において、 位置合わせ処理が正しく行 - -
われなかった画像領域について、 再位置合わせ処理を行う。 再位置合わせ処理の 詳細は、 S 3 3における画像間位置合わせ処理と同様の手法を用いる。 立置合 わせ処理を行なった後、 S 4 3へ進む。
ステップ S 4 3において複数枚画像の全画像において、 位置合わせ処理が行な われたかを判断する。 全画像において位置合わせ処理が行なわれた場合は、 S 4 4へ進む。 全画像において位置合わせ処理が行なわれていない場合は、 S 3 2へ 戻る。 S 3 2において、 位置合わせの未だ行なわれていない基準画像及び参照画 像を選択し、 再び順次 S 3 3以降の処理を行レ、位置合わせ処理、 画像合成処理、 画像変換処理、 周波数特性測定処理、 位置合わせ誤り検出処理を行う。' S 4 4に おいて、 画像出力を行うかどうかを判別する。 画像出力を行う場合は、 ステップ S 4 5に進み、 S 3 5で画像変換処理がされた画像を最終的な出力結果として、 画像出力を行う。 画像出力を行なわない場合は、 S 3 5で画像変換処理がされた 画像をソフトウェア上のメモリ記t部に保持したままソフトウェア処理を終了す る。 ソフトウェア上のメモリ記憶部に保持した画像は、 後処理により、 メモリ記 憶部上から読み込み、 利用することが可能である。 以上の処理により、 別途ソフ トウエアにて処理する構成が実現できる。
次に、 図 1 3を参照して、 第二の実施形態について説明する。 第二の実施形態 において、 第一の実施形態のレンズ系 1 0 0、 C F A 1 0 1、 C C D 1 0 2、 増 幅器 1 0 3、 A/D 1 0 4、 バッファ 1 0 5力 画像入力部 2 0 1に置き換えられ ている。
画像入力部 2 0 1は、 外部からの画像データを入力する入力インターフェース 等からなり、 位置合わせ部 2 0 2、 画像記録部 2 0 7、 制御部 2 0 8と接続され ている。 位置合わせ部 2 0 2は、 画像入力部 2 0 1、 画像合成部 2 0 3、 画像変 換部 2 0 4、 制御部 2 0 8と接続されている。 画像合成部 2 0 3は、 位置合わせ 部 2 0 2、 画像変換部 2 0 4、 制御部 2 0 8と接続されている。 画像変換部 2 0 4は、 位置合わせ部 2 0 2、 画像合成部 2 0 3、 周波数特性測定部 2 0 5、 画像 記録部 2 0 7、 制御部 2 0 8と接続されている。 周波数特性測定部 2 0 5は、 画 像変換部 2 0 4、位置合わせ誤り検出部 2 0 6、制御部 2 0 8と接続されている。 位置合わせ誤り検出部 2 0 6は、位置合わせ部 2 0 2、周波数特性測定部 2 0 5、 制御部 2 0 8と接続されている。 画像記録部 2 0 7は、 外部への画像リソース出 力インターフェース、 画像入力部 2 0 1、 画像変換部 2 0 4、 制御部 2 0 8とそ れぞれ接続されている。 制御部 2 0 8は、 画像入力部 2 0 1、 位置合わせ部 2 0 2、 画像合成部 2 0 3、 画像変換部 2 0 4、 周波数特性測定部 2 0 5、 位置合わ せ誤り検出部 2 0 6、 画像記録部 2 0 7、 外部 I /F部 2 0 9と接続されている。 外部 I /F部 2 0 9は制御部 2 0 8と接続されている。
図 1 3における画像信号の流れを説明する。 外部入力インターフェースを介し て画像入力された複数枚画像は、 画像入力部 2 0 1を介して位置合わせ部 2 0 2 へ順次入力される。 ここで、 外部入力インターフェースを介して画像入力された 画像が単数枚の場合、 または複数枚であっても、 画像間で位置合わせが行なえる 相関がない場合には、外部 I /F部 2 0 9、制御部 2 0 8を介し、画像入力部 2 0 1より画像記録部 2 0 7へ画像転送を行レヽ、 入力部 2 0 1より入力された画像を 画像記録部 2 0 7において画像を記録保持することができる。 画像記録部 2 0 7 への記録保持を行なわない場合、 画像データは順次、 位置合わせ部 2 0 2により 位置合わせ処理が行われる。
その後、 位置合わせ部 2 0 2において位置合わせ処理がされた画像は、 画像合 成部 2 0 3に転送され画像の合成処理が行われる。 画像合成部 2 0 3におレ、て画 像合成された合成画像は、 画像変換部 2 0 4へ転送される。 また、 同時に位置合 わせ部 2 0 2に転送された画像データをそのままの形で画像変換部 2 0 4へ転送 しても良い。 この 処理を行う力 4ラわないかは、外部 I /F部 2 0 9による設定 処理により決定される。
画像変換部 2 0 4におレ、て画像変換がなされた画像は、 周波数特性測定部 2 0 5へ転送が行われる。 周波数特性測定部 2 0 5において、 画像変換部 2 0 4にお ■ -
レヽて変換がなされた画像に対し、周波数特性値が測定され、その周波数特性値は、 位置合わせ誤り検出部 2 0 6へ転送される。 位置合わせ誤り検出部 2 0 6では、 周波数特性測定部 2 0 5より転送された周波数特性値に基づき、 位置合わせ誤り 判定が行われ、 出力される位置合わせ誤り判定情報を位置合わせ部 2 0 2へ転送 する。 位置合わせ部 2 0 2は位置合わせ誤り検出部 2 0 6カゝら転送された位置合 わせ誤り判定情報を元に、位置合わせ画像除外処理、 立置合わせ処理等を施し、 順次位置合わせ処理を行つていく。 位置合わせ処理、 画像変換処理が終了した時 点で、 画像変換部 2 0 4で画像変換された画像は、 画像記録部 2 0 7に転送され 画像記録が行われる。 画像記録部 2 0 7に記録された、 画像は外部出力インター フェースを介し、 画像処¾¾置の外部の機器と相互接続を行い、 画像情報資源と して自由に利用できる。
位置合わせ部 2 0 2の位置合わせ処理については、 第一の実施形態の位置合わ せ部 1 0 6と同様の処理を行うものとする。 画像合成部 2 0 3における画像合成 処理については、 第 1の実施形態の画像合成部 1 0 7と同様の処理を行うものと する。 画像変換部 2 0 4における画像変換処理については、 第 1の実施形態の画 像変換部 1 0 8と同様の処理を行うものとする。 周波数特性測定部 2 0 5におけ る周波数特性測定処理については、 第 1の実施形態の周波数特性測定部 1 0 9と 同様の処理を行うものとする。 位置合わせ誤り検出部 2 0 6における位置合わせ 誤り検出処理については、 第 1の実施形態の位置合わせ誤り検出部 1 1 0と同様 の処理を行うものとする。
さらに、 上記実施形態ではハードウェアによる処理を前提としていたが、 この ような構成に限定される必要はない。例えば、入力される画像を Rawデータとし、 撮影時のカラーフィルタの配置情報などをヘッダ情報として出力しておけば、 別 途ソフトウエアにて処理する構成も可能である。 この^の信号処理のソフトゥ エア処理は、 第一の実施形態と同様に、 図 1 2のフローチャートに示される処理 であってよい。 - -
以上のように、 本発明では、 複数枚画像間の位置合わせ処理を行う時に、 位置 合わせ処理により推定された画像間変位の推定量に応じて、 あらかじめ画像間の 合成を行う。 続いて、 位置合わせ処理に誤りが生じた場合にその画像合成結果に 生じる特有のアーチファクトを検出し、 そのアーチファク トの有無により、 複数 枚画像間の位置合わせ誤り検出を行う。 従って、 本発明によれば、 画像にェイリ ァシングが乗っている場合でも、 そのエイリアシングの影響による位置合わせ誤 りに関する誤判断を防ぎ、 安定して位置合わせ誤りを検出することができる。 ま た、 画像の解像度を上げた状態において位置合わせ処理の誤りを検出できる。 本発明は上記の実施の形態に限定されずに、 その技術的な思想の範囲内におい て種々の変更がなしうることは明白である。
2 0 0 7年 5月 2 3日に出願された日本国特許出願 2 0 0 7— 1 3 6 6 4 7の 全内容は参照により本明細書に組み込まれる。

Claims

WO 2008/143360 .2g . PCT/JP2008/059760 請求の範囲
1. 複数の画像間の位置合わせ処理を行う位置合わせ手段 （106) と、
前記位置合わせ手段で位置合わせされた前記複数の画像を重ね合わせて合成し、 合成画像を生成する画像合成手段 （107) と、
firt己合成画像の周波数特性を測定する周波数特性測定手段 （109) と、 前記合成画像の前記測定された周波数特性に基づレ、て、 前記複数の画像間の位 置合わせ処理の誤りを検出する位置合わせ誤り検出手段 （110) と、
を備える画像処¾¾置。
2. 前記周波数特性測定手段 （109) は、 廳己合成画像の部 域毎に周波数 特性の測定を行い、
前記位置合わせ誤り検出手段 （110) は、 前記合成画像の部颁域毎に位置 合わせ処理の誤りの検出を行う請求項 1に記載の画像処理装置。
3 · 前記位置合わせ手段 （106) は、 前記複数の画像の部分領域毎に位置合わ せを行う請求項 1又は 2に記載の画像処理装置。
4. 贿己位置合わせ手段 （106) は、 前記複数の画像の高周波成分を含む部分 にお！/、て位置合わせ処理を行う請求項 1から請求項 3のレ、ずれかに記載の画像処 理装置。
5. 前記位置合わせ手段 （106) は、
lift己複数の画像のうちの 1つの基準画像とその他の参照画像との位置合わせを し、
前記基準画像に対する前記参照画像の画像変位を、 画素単位よりも高い分解能 で検出する請求項 1から請求項 4のいずれかに記載の画像処理装置 <
6. 前記画像合成手段 (107) は、 検出された前記画像変位に基づいて、 嫌己 基準画像及び前記参照画像の画素単位よりも分解能の高い解像度空間において、 前記基準画像と嫌己参照画像を合成する請求項 5に記載の画像処¾¾置。
7. 編己画像合成手段 （107) は、 さらに、 未定義画素に画素値を付与するよ うに編己合成画像を変換する画像変換手段 （108) を含む請求項 1から請求項 6のいずれかに記載の画像処理装置。
8. 前記画像変換手段 (108) は、 前記合成画像の補間処理を行う補間手段を 有する請求項 7に記載の画像処理装置。
9. 肅己画像変換手段 （108) は、 画像の超解像処理を行う超解像処理手段を 有する請求項 7に記載の画像処理装置。
10. さらに、 前記位置合わせ誤り検出手段 （110) において位置合わせ処理 の誤りを検出した場合に、 位置合わせ処理の誤りが生じた部 域を位置合わせ 処理から除外する誤り画像除外手段を含む請求項 2から請求項 9のレヽずれかに記 載の画像処¾ ^置。
1 1. さらに、 廳己位置合わせ誤り検出手段 （110) において位置合わせ処理 の誤りを検出した場合に、 位置合わせ処理の誤りが生じた部 ^KB域にっレ、て、 再 度、 位置合わせ処理を行う再位置合わせ手段を含む請求項 2から請求項 10のい ずれかに記載の画像処理装置。
12. 前記周波数特性測定手段 （109) は、 前記画像合成手段によって生成さ れた前記合成画像の 1次元フーリェ変換により、 前記合成画像の周波数特性を測 定する請求項 1から請求項 11のいずれかに記載の画像処理装置。
13. 前記周波数特性測定手段 （109) は、 前記画像合成手段によって生成さ れた前記合成画像の 2次元フーリェ変換により、 前記合成画像の周波数特性を測 定する請求項 1から請求項 12のいずれかに記載の画像処¾¾置。
14. 前記位置合わせ誤り検出手段 （110) は、 前記位置合わせ手段で位置合 わせされる ffif己複数の画像の解像度と廳己画像合成手段で合成される前記合成画 像の解像度との関係から、 位置合わせ処理の誤り〖こより変化する特定の周波数成 分を求め、 前記合成画像の周波数特性の前記特定の周波数成分を抽出する請求項
12又は 13に記載の画像処理装置。
15. 前記周波数特性測定手段 （109) は、 フィルタリング処理により 己合 成画像の周波数特性を測定する請求項 1から請求項 14のいずれかに記載の画像 処理装置。
16. 前記フィルタリング処理に用いるフィルタが、 前記位置合わせ手段で位置 合わせされる前記複数の画像の解像度と前記画像合成手段で合成される前記合成 画像の解像度との関係から特定される周波数成分を抽出するバンドパスフィルタ である請求項 15に記載の画像処理装置。
17. 前記複数の画像の解像度と前記合成画像の解像度との関係が、 前記複数の 画像の解像度に対する前記合成画像の解像度の比となる拡大率である請求項 14 から請求項 16のレ、ずれかに記載の画像処¾¾置。
18. さらに、 前記複数の画像のうちの一つを前記画像変換手段 （108) によ り変換したものに対して、 周波数特性を検出する周波数特性検出手段 （109) を備え、
前記位置合わせ誤り検出手段 （1 10) 力 tiff己周波数特性検出手段によって 検出された周波数特性を用いて、 位置合わせ処理の誤りを検出する請求項 7から 請求項 17に記載の画像処理装置。
19. さらに、 前記画像合成手段 (107) によって重ね合わせられる前の状態 での前記複数の画像のうちの一つに対して、 周波数特性を検出する周波数特性検 出手段を備え、
ffrf己位置合わせ誤り検出手段 (1 10) 、 觸己周波数特性検出手段によって 検出された周波数特性を用いて、 位置合わせ処理の誤りを検出する請求項 1から 請求項 17に記載の画像処理装置。
20. 前記画像合成手段 （107) によって重ね合わせられる前の状態が、 前記 複数の画像のうちの一つがその画像サイズを前記合成画像のサイズと同一とする よう変換された状態である請求項 19に記載の画像処理装置。
21. 複数の画像間の位置合わせ処理を行う位置合わせ手順 （S33) と、 前記位置合わせ手順で位置合わせされた前記複数の画像を重ね合わせて合成し、 合成画像を生成する画像合成手順 （S 34) と、
前記合成画像の周波数特性を測定する周波数特性測定手順 （S36) と、 前記合成画像の前記測定された周波数特性に基づレ、て、 前記複数の画像間の位 置合わせ処理の誤りを検出する位置合わせ誤り検出手順 (S 37) と、
を備える画像処理プログラム。
PCT/JP2008/059760 2007-05-23 2008-05-21 画像処理装置又は画像処理プログラム WO2008143360A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/622,797 US8213744B2 (en) 2007-05-23 2009-11-20 Image processing apparatus and storage medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007136647A JP4814840B2 (ja) 2007-05-23 2007-05-23 画像処理装置又は画像処理プログラム
JP2007-136647 2007-05-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/622,797 Continuation US8213744B2 (en) 2007-05-23 2009-11-20 Image processing apparatus and storage medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2008143360A1 true WO2008143360A1 (ja) 2008-11-27

Family

ID=40032038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/059760 WO2008143360A1 (ja) 2007-05-23 2008-05-21 画像処理装置又は画像処理プログラム

Country Status (3)

Country Link
US (1) US8213744B2 (ja)
JP (1) JP4814840B2 (ja)
WO (1) WO2008143360A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571356B2 (en) 2009-08-24 2013-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing program
US10491815B2 (en) 2017-11-10 2019-11-26 Olympus Corporation Image-processing apparatus, image-processing method, and non-transitory computer readable medium storing image-processing program
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331714B2 (en) * 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
JP5197446B2 (ja) * 2009-03-12 2013-05-15 Ｎｅｃシステムテクノロジー株式会社 画像処理装置、画像処理方法およびプログラム
US8665367B2 (en) 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
JP2013020475A (ja) * 2011-07-12 2013-01-31 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP5847510B2 (ja) * 2011-09-20 2016-01-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP5240349B2 (ja) * 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
JP5687608B2 (ja) * 2011-11-28 2015-03-18 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2015148532A (ja) 2014-02-07 2015-08-20 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2015219282A (ja) 2014-05-14 2015-12-07 ソニー株式会社 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム
JP6377258B2 (ja) * 2015-04-16 2018-08-22 三菱電機株式会社 画像処理装置及び方法、並びにプログラム及び記録媒体
JP6416740B2 (ja) * 2015-11-27 2018-10-31 日本電信電話株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP6785092B2 (ja) 2016-08-19 2020-11-18 株式会社Ｓｃｒｅｅｎホールディングス 変位検出装置、変位検出方法および基板処理装置
WO2019116517A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 画像処理装置および画像処理方法
KR102452653B1 (ko) * 2018-02-20 2022-10-11 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296666A (ja) * 1998-02-16 1999-10-29 Sony Corp 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体
JP2003274140A (ja) * 2002-03-14 2003-09-26 Ricoh Co Ltd 画像処理装置および画像処理方法とそれらのプログラムを記憶した読み出し可能な記憶媒体
JP2005352720A (ja) * 2004-06-10 2005-12-22 Olympus Corp 撮像装置および画像の高解像度化方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6155704A (en) * 1996-04-19 2000-12-05 Hughes Electronics Super-resolved full aperture scene synthesis using rotating strip aperture image measurements
US7097311B2 (en) * 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
JP4151793B2 (ja) 2004-11-15 2008-09-17 オリンパス株式会社 撮像装置および画像の高解像化方法
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
US8064712B2 (en) * 2007-01-24 2011-11-22 Utc Fire & Security Americas Corporation, Inc. System and method for reconstructing restored facial images from video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296666A (ja) * 1998-02-16 1999-10-29 Sony Corp 画像接続方法、画像接続装置、並びに、画像接続処理プログラムが格納された記録媒体
JP2003274140A (ja) * 2002-03-14 2003-09-26 Ricoh Co Ltd 画像処理装置および画像処理方法とそれらのプログラムを記憶した読み出し可能な記憶媒体
JP2005352720A (ja) * 2004-06-10 2005-12-22 Olympus Corp 撮像装置および画像の高解像度化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571356B2 (en) 2009-08-24 2013-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing program
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US10491815B2 (en) 2017-11-10 2019-11-26 Olympus Corporation Image-processing apparatus, image-processing method, and non-transitory computer readable medium storing image-processing program
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Also Published As

Publication number Publication date
US20100067820A1 (en) 2010-03-18
US8213744B2 (en) 2012-07-03
JP4814840B2 (ja) 2011-11-16
JP2008293185A (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
WO2008143360A1 (ja) 画像処理装置又は画像処理プログラム
US8073246B2 (en) Modifying color and panchromatic channel CFA image
US8068700B2 (en) Image processing apparatus, image processing method, and electronic appliance
JP4879261B2 (ja) 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
US9338364B2 (en) Imaging device and image generation method
JP2013066146A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2004068862A1 (ja) 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
WO2011099648A1 (ja) 画像処理装置
WO2005122083A1 (ja) 撮像装置および画像の高解像度化方法
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
US11816858B2 (en) Noise reduction circuit for dual-mode image fusion architecture
US20110032269A1 (en) Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
JP2002305751A (ja) カラーフィルタアレイ画像の再構成装置
JP2005045513A (ja) 画像処理装置及び歪補正方法
JP4942563B2 (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
Vandewalle et al. Double resolution from a set of aliased images
US20130155272A1 (en) Image processing device, imaging device, and image processing method
US20130147985A1 (en) Image processing device, imaging device, and image processing method
WO2012147630A1 (ja) 撮像装置及び画像生成方法
WO2023073619A1 (en) Method of and system for capturing color images
WO2023174546A1 (en) Method and image processor unit for processing image data
CN115034968A (zh) 图像重建方法、装置、模组、设备、存储介质及程序产品
Lukac et al. Bayer CFA image zooming using a normalized color-ratio model

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08764776

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08764776

Country of ref document: EP

Kind code of ref document: A1