WO2019008692A1 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDF

Info

Publication number
WO2019008692A1
WO2019008692A1 PCT/JP2017/024578 JP2017024578W WO2019008692A1 WO 2019008692 A1 WO2019008692 A1 WO 2019008692A1 JP 2017024578 W JP2017024578 W JP 2017024578W WO 2019008692 A1 WO2019008692 A1 WO 2019008692A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
resolution
image processing
low resolution
Prior art date
Application number
PCT/JP2017/024578
Other languages
English (en)
French (fr)
Inventor
古川　英治
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/024578 priority Critical patent/WO2019008692A1/ja
Publication of WO2019008692A1 publication Critical patent/WO2019008692A1/ja
Priority to US16/715,583 priority patent/US11445109B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, an image processing program, and a storage medium, and more particularly to a technology for synthesizing a higher resolution image from a plurality of images.
  • a technique for increasing the resolution of an image a plurality of images are acquired while shifting the imaging device in a direction orthogonal to the optical axis, and pixels of the plurality of images are high resolution images of higher resolution than the plurality of images.
  • a method of generating a high resolution composite image by arranging in space taking into consideration the positional displacement amount see, for example, Patent Document 1).
  • a aliasing noise occurs in an image obtained by photographing a subject such as a fine pattern.
  • aliasing noise is removed by synthesizing a plurality of images whose positions are mutually shifted, and high frequency components are reproduced, so that the effect of improving the resolution can be obtained.
  • an alignment error inevitably occurs when aligning and arranging the pixels on the high resolution image space so as to cancel the amount of movement. That is, in the synthesis of a high resolution composite image, it is ideal to arrange the pixels of a plurality of images on the image space of infinite resolution and then adjust the resolution by reduction processing etc. to a desired resolution, In practice, an infinite resolution image space can not be prepared. Therefore, in actuality, an image space having a finite resolution is set according to the available memory amount, and pixels are arranged on the image space. Therefore, an alignment error occurs when arranging the pixels, and the alignment error generates jagged artifacts, particularly at the edge portion where the brightness difference is large.
  • Patent Document 1 can be considered as a means for eliminating the jagged artifact caused by such an alignment error.
  • This technique calculates the degree of similarity between a plurality of images, and controls the composition ratio between the images based on the degree of similarity.
  • this technique is applied, for example, one of a plurality of images is used as a reference image, and the other image is used as a reference image, and the reference image and the reference image are enlarged to the same resolution as the desired high resolution composite image.
  • align the magnified reference image and the magnified reference image in consideration of the positional displacement amount between the images, calculate the difference for each area between the reference image and the reference image, and calculate both differences from the difference amount.
  • the correction process is not performed on a region having a small alignment error and a high similarity, and is performed on a region having a large alignment error and a low similarity.
  • jagged artifacts are corrected by determining the direction of the edge in the reference image and performing correction processing such as a directional filter along the direction of the edge.
  • jagged artifacts As another means of eliminating jagged artifacts, it is conceivable to determine jagged regions with a filter or the like for high resolution composite images including jagged artifacts, but jagged artifacts resulting from alignment errors, It is difficult to accurately distinguish and judge a subject having a jagged shape.
  • the present invention has been made in view of the above-described circumstances, and when combining higher-resolution images from a plurality of images, the present invention achieves both suppression of jagged artifacts and improvement in resolution of aliasing noise regions. It is an object of the present invention to provide an image processing apparatus, an imaging apparatus, an image processing method, an image processing program, and a storage medium that can be used.
  • an image processing apparatus which combines a plurality of time-series images in which positions of subjects are shifted from each other and combines an image of higher resolution than the plurality of images.
  • the plurality of images are mutually aligned on a high resolution image space having a resolution higher than that of the plurality of images based on the displacement amount between the plurality of images, and the plurality of images are synthesized
  • a high resolution combining unit for generating a high resolution composite image; and aligning the plurality of images with each other on the low resolution image space of the same or lower resolution than the plurality of images based on the positional displacement amount
  • a low resolution combining unit that combines the plurality of images by weighted addition to generate a low resolution combined image, and changes in pixel values in each region of the low resolution combined image generated by the low resolution combining unit
  • Directional features A feature value calculating section for calculating a an image processing apparatus and an image correcting unit for correcting the high-resolution synthesized image based on the feature amount calculated by the feature amount calculation unit.
  • the high resolution combining unit a plurality of images are mutually aligned on the high resolution image space and then combined, thereby eliminating aliasing noise in the individual images.
  • An image is generated.
  • jagged artifacts can occur due to registration errors of multiple images.
  • low-resolution compositing in which aliasing noises included in individual images are eliminated by combining a plurality of images in a low-resolution image space after mutually aligning them in the low-resolution image space by a low-resolution composition unit. An image is generated.
  • the feature amount calculation unit by using such a low resolution composite image, the accurate change direction of the pixel value in each area is calculated as the feature amount without being affected by aliasing noise.
  • the region may be a single pixel or a region consisting of a plurality of pixels.
  • the image correction unit can perform appropriate image processing on each area in the high resolution composite image based on the feature amount, and can maintain jagged artifacts while maintaining the resolution improvement effect in the aliasing noise area. It can be reduced. As a result, it is possible to achieve both suppression of jagged artifacts and resolution improvement of aliasing noise regions.
  • the image processing apparatus may further include a positional deviation detection unit that detects the amount of movement between the plurality of images as the amount of positional deviation between the plurality of images. By doing this, it is possible to easily calculate the amount of positional deviation between a plurality of images.
  • the high resolution combining unit may arrange each pixel of the plurality of images on the high resolution image space based on the positional displacement amount. By doing this, it is possible to easily generate a high resolution composite image.
  • the high resolution combining unit may interpolate non-disposed pixels based on pixel information disposed in the high resolution image space. By doing this, it is possible to fill in pixel information of an area in which pixels are not arranged between pixels of one high resolution synthesized image obtained by synthesizing a plurality of images by pixel arrangement, and the resolution is further improved. can do.
  • the low resolution combining unit may arrange each pixel of the plurality of images on the low resolution image space based on the positional deviation amount. By doing this, it is possible to easily generate a low resolution composite image.
  • the low resolution combining unit may interpolate unplaced pixels based on pixel information placed in the low resolution image space. By doing this, it is possible to fill in pixel information of an area where there is no pixel arrangement existing between the pixels of one low resolution synthesized image synthesized by a plurality of images by pixel arrangement, and the resolution is further improved. can do.
  • the feature amount calculation unit may calculate the direction of an edge in each region in the low resolution composite image as the feature amount.
  • the image correction unit may apply a filter along the direction of the edge calculated by the feature amount calculation unit to the high-resolution composite image. In this way, jagged artifacts in the high resolution composite image can be reduced more effectively.
  • the feature quantity calculation unit may calculate, as the feature quantity, a correlation between each area in the low resolution composite image and its surrounding area.
  • the image correction unit applies a bilateral filter to the high resolution composite image using a weighting factor set based on the distance between each area and the surrounding area, and the higher the correlation, the more the image correction unit
  • the weighting factor may be corrected such that the weighting factor decreases as the weighting factor increases and the correlation decreases. In this way, jagged artifacts in the high resolution composite image can be reduced more effectively.
  • the feature amount calculation unit may extend the distribution of the feature amounts to the resolution of the high-resolution composite image. By doing this, the spatial resolution of the feature amount calculated using the low resolution composite image can be made to coincide with the high resolution composite image, and the correction in the image correction unit can be facilitated.
  • an image acquisition unit for acquiring a plurality of time-series images
  • the image processing apparatus for processing the plurality of images acquired by the image acquisition unit.
  • An imaging device comprising the
  • the image acquisition unit includes an imaging element, a sensor shift mechanism that shifts the position of the imaging element in the direction of arrangement of pixels of the imaging element, and a shift of the imaging element by the sensor shift mechanism.
  • a sensor shift control unit may be provided to control the direction and the shift amount. By doing this, the sensor shift mechanism shifts the position of the imaging device with respect to the subject according to the shift direction and the shift amount controlled by the sensor shift control unit, and a plurality of images in which the position of the subject is shifted is acquired. Ru.
  • the image forming apparatus may further include a positional deviation detection unit that calculates the positional deviation amount from the shift direction and the shift amount of the imaging device by the sensor shift control unit. By doing this, the amount of positional deviation between a plurality of images can be calculated more easily.
  • a third aspect of the present invention is an image processing method of synthesizing a plurality of time-series images in which positions of subjects are mutually shifted and synthesizing an image having a resolution higher than that of the plurality of images.
  • the plurality of images are mutually aligned on a high resolution image space having a resolution higher than that of the plurality of images based on the displacement amount between the plurality of images, and the plurality of images are synthesized
  • a high resolution combining process for generating a high resolution composite image and aligning the plurality of images with each other on a low resolution image space of the same or lower resolution as the plurality of images based on the displacement amount
  • a feature amount calculation step of calculating a feature amount relating to reduction direction, an image processing method and an image correction step of correcting the
  • a fourth aspect of the present invention causes a computer to execute image processing for combining a plurality of time-series images in which positions of subjects are shifted from each other and combining an image having a resolution higher than that of the plurality of images.
  • An image processing program wherein the plurality of images are mutually aligned on a high resolution image space having a resolution higher than that of the plurality of images based on the positional displacement amount between the plurality of images, A high resolution combining step of combining a plurality of images to generate a high resolution combined image; and a low resolution image having a resolution equal to or lower than that of the plurality of images based on the displacement amount of the plurality of images.
  • a feature amount calculating step of calculating a feature amount regarding a change direction of a pixel value in each pixel or each region of the image, and image correction to correct the high resolution composite image based on the feature amount calculated by the feature amount calculating step An image processing program that causes a computer to execute a process.
  • a fifth aspect of the present invention causes a computer to execute image processing for synthesizing a plurality of time-series images in which positions of subjects are mutually shifted and synthesizing an image having a resolution higher than that of the plurality of images.
  • a non-transitory computer-readable storage medium storing an image processing program, wherein the image processing program is configured to generate the plurality of images based on the displacement between the plurality of images.
  • the plurality of images are mutually registered on a low resolution image space of the same or lower resolution as the plurality of images, and the plurality of images are synthesized by weighted addition to form a low resolution synthesized image.
  • ADVANTAGE OF THE INVENTION when synthesize
  • FIG. 1 is a block diagram showing an entire configuration of an image processing apparatus and an imaging apparatus according to a first embodiment of the present invention. It is a conceptual diagram explaining the image processing by the image processing apparatus of FIG. It is a figure explaining the production
  • the image processing apparatus which concerns on the 2nd Embodiment of this invention WHEREIN: It is a figure explaining the calculation method of the feature-value by a feature-value calculation part, and is a figure which shows a part of low-resolution synthetic
  • FIG. 1 shows a block configuration of the imaging device 10. As shown in FIG. 1, the imaging device 10 processes an image acquisition unit 2 that images a subject and takes it as an image, and a plurality of images taken by the image acquisition unit 2 to be processed more than the plurality of images. And an image processing apparatus 1 for generating a high resolution image.
  • the image acquisition unit 2 includes, for example, an imaging lens 3 that condenses light from a subject to form an optical image, an imaging element 4 that captures an optical image formed by the imaging lens 3 and acquires an image, and
  • the sensor shift mechanism 5 shifts the position of the element 4 in the arrangement direction of the pixels, and the sensor shift control unit 6 controls the shift direction and shift amount of the image sensor 4 by the sensor shift mechanism 5.
  • the imaging device 4 has a large number of pixels arranged two-dimensionally along horizontal and vertical directions orthogonal to each other.
  • the imaging element 4 has a so-called Bayer array structure in which four types of color filters of R, Gr, Gb, and B are arranged in two rows and two columns, and one color filter corresponds to one pixel.
  • the imaging device 4 acquires a plurality of time-series images by performing imaging a plurality of times.
  • the acquired image is output from the imaging device 4 to the frame memory 11 in the image processing apparatus 1 and stored in the frame memory 11 in time series.
  • the sensor shift mechanism 5 includes an actuator (not shown) capable of shifting the imaging device 4 in units of sub-pixels in the horizontal direction and the vertical direction of the imaging device 4.
  • the sensor shift control unit 6 controls the actuator of the sensor shift mechanism 5 to control the shift direction and the shift amount of the imaging element 4.
  • the sensor shift control unit 6 controls the sensor shift mechanism 5 to shift the imaging element 4 during execution of multiple shootings of the imaging element 4 and also performs sensor shift including information on the shift direction and shift amount of the imaging element 4
  • the control information is output to the misalignment detection unit 12 in the image processing apparatus 1.
  • the image processing apparatus 1 includes a frame memory 11, a positional deviation detection unit 12, a high resolution synthesis unit 13, a low resolution synthesis unit 14, a feature amount calculation unit 15, and an image correction unit 16.
  • FIG. 2 shows a process of image processing in the image processing apparatus 1.
  • the frame memory 11 stores a plurality of images input from the image acquisition unit 2 in time series. At this time, the frame memory 11 stores one image inputted first as a reference image and one or more images inputted thereafter as a reference image.
  • the frame memory 11 can be accessed from any of the image acquisition unit 2 and each unit 12, 13, 14, 15, 16 in the image processing apparatus 1.
  • the positional deviation detection unit 12 detects the positional deviation amount between the reference image and the reference image based on the sensor shift control information from the sensor shift control unit 6, and detects the detected positional deviation amount as the high resolution combining unit 13 It is output to the low resolution synthesis unit 14.
  • the high resolution combining unit 13 reads the reference image and the reference image from the frame memory 11. Next, the high resolution combining unit 13 aligns the reference image and the reference image based on the amount of positional deviation from the positional deviation detection unit 12, and high resolution for each color channel (R, Gr, Gb, B) Arrange on the image space.
  • FIG. 3 shows a process of generating a Gr channel high resolution composite image from one reference image and seven reference images.
  • the high resolution combining unit 13 arranges each pixel of the reference image on a high resolution image space having a resolution higher than that of the reference image and the reference image, as shown in the left row of FIG.
  • Each pixel of the reference image is arranged on the high resolution image space based on the positional displacement amount for.
  • the high resolution combining unit 13 aligns each pixel based on twice the displacement amount (shift amount). Do.
  • Pixel values may be updated by averaging.
  • the high resolution synthesizing unit 13 After arranging all the pixels of the reference image and the reference image, the high resolution synthesizing unit 13 interpolates the blank area in which neither the pixel of the reference image nor the reference image is arranged, as shown in the right column of FIG. And perform the filling process.
  • the black area indicates a blank area
  • the shaded pixels indicate pixels generated by interpolation
  • the other pixels indicate arranged pixels derived from the reference image and the reference image.
  • the interpolation method may be, for example, direction discrimination interpolation in which the edge direction is taken into consideration using the arranged surrounding pixels, or interpolation may be performed by copying the nearest pixel. .
  • the high resolution synthesizing unit 13 similarly generates a high resolution synthesized image for the R, Gb and B channels as shown in FIG.
  • the subscript numbers of R, Gr, Gb and B indicate the imaging order. That is, the subscript number “1” indicates that it is a pixel of the reference image photographed on the first image, and the subscript numbers “2” to “8” indicate the reference images photographed on the second to eighth images Indicates that the pixel is FIG. 3 and FIG. 4 show the pixel arrangement when the sensor shift control unit 6 controls the position of the imaging device 4 as follows at the time of shooting by the imaging device 4.
  • Reference image 2: One pixel horizontally with respect to the reference image, 0 pixel vertically, 3: 0 pixel in the horizontal direction, 1 pixel in the vertical direction with respect to the reference image, 4: One pixel in the horizontal direction and one pixel in the vertical direction with respect to the reference image, 5: 0.5 pixels horizontally and 0.5 pixels vertically with respect to the reference image 6: 1.5 pixels horizontally and 0.5 pixels vertically with respect to the reference image 7: 0.5 pixels horizontally and 1.5 pixels vertically with respect to the reference image 8: 1.5 pixels horizontally and 1.5 pixels vertically with respect to the reference image
  • the low resolution composition unit 14 reads the reference image and the reference image from the frame memory 11. Next, the low resolution combining unit 14 arranges the reference image and the reference image on the low resolution image space for each color channel while aligning the positions based on the positional shift amount from the positional shift detection unit 12. A low resolution composite image of Gr and Gb channels, which contains a large amount of luminance information and is suitable for calculation of feature quantities, is generated.
  • FIG. 5 illustrates a process of generating a low resolution composite image of the Gr channel and the Gb channel from one reference image and seven reference images.
  • the low resolution combining unit 14 arranges each pixel of the reference image on a low resolution image space having the same or lower resolution as the reference image and the reference image as shown in the left row of FIG. Then, each pixel of the reference image is arranged on the low resolution image space based on the displacement amount with respect to the reference image.
  • FIG. 5 shows the case where the low resolution image space has the same resolution as the reference image and the reference image. Therefore, the low resolution combining unit 14 aligns each pixel based on one time the displacement amount (shift amount).
  • the low resolution combining unit 14 adds the pixel value of the pixel to be arranged to the pixel value of the already arranged pixel by weighted addition when the pixel of the same color as the color of the pixel to be arranged is already arranged.
  • Update This generates a low resolution composite image in which the reference image and the reference image are weighted and added.
  • FIG. 5 shows an addition average in which two pixel values are added with a weight of 0.5 and added as an example of weighted addition, the two pixel values are given different weights. It is also good.
  • the pixels of the first and fifth images, the second and sixth images, the third and seventh images, and the fourth and eighth images are the same in the low resolution image space. Aligned to position. Therefore, the value of each pixel of the low resolution composite image is that of the first image and the fifth image, the second image and the sixth image, the third image and the seventh image, or the fourth image and the eighth image. It becomes an average value. For example, the value of the upper left pixel of the low resolution composite image of the Gr channel is an average value of the pixels of the fourth and eighth images.
  • the low resolution combining unit 14 averages the low resolution combined image of the Gr channel and the low resolution combined image of the Gb channel to generate a low resolution combined image of the G channel.
  • the low resolution composite image of G channel is output from the low resolution combining unit 14 to the feature amount calculating unit 15.
  • the feature amount calculation unit 15 sets one pixel in the low resolution composite image of G channel generated by the low resolution combining unit 14 as the target pixel, and calculates the direction of the edge in the target pixel as the feature amount of the target pixel. Do.
  • the feature amount calculation unit 15 repeats the calculation of the feature amount by sequentially setting all the pixels in the low resolution composite image as the target pixel. Therefore, feature quantities equal in number to the number of pixels of the low resolution composite image are calculated.
  • the calculation of the feature amount may be performed in an area unit of a plurality of pixels instead of in a unit of one pixel. That is, the feature quantity calculation unit 15 may divide the low resolution composite image into a plurality of areas, and calculate the feature quantity in each area.
  • 6A and 6B show an example of the method of calculating the direction of the edge.
  • the amount of change in pixel values in eight directions e0 to e7 is calculated using 5 ⁇ 5 pixels centered on the pixel of interest.
  • the absolute value of the difference between the pixel value of the pixel of interest and the pixel values of the other four pixels is calculated based on the following equation, and the sum of the absolute values of the differences is It is calculated.
  • the direction in which the sum is the smallest among the eight directions e0 to e7 is determined as the direction of the edge.
  • the feature amount may be determined as "no direction".
  • the above example is an example, and any other method may be used to calculate the direction of the edge.
  • the spatial resolution (the number of feature amounts) of the distribution of the feature amounts on the low resolution image space is lower than the resolution (the number of pixels of the high resolution image space) of the high resolution image space.
  • the feature amount calculation unit 15 performs processing of extending the resolution of the distribution of the feature amount to the resolution of the high resolution image space.
  • a method of expanding the resolution of the feature amount a method of increasing the number of feature amounts by the nearest neighbor method, the bilinear method, the bicubic method, or the like, such as image enlargement processing, is used.
  • the number of feature amounts is increased to the same number as the number of pixels of the high resolution composite image, and the feature amount for each pixel of the high resolution composite image is obtained.
  • the calculated feature amount is output from the feature amount calculation unit 15 to the image correction unit 16.
  • the low-resolution composite image may be enlarged to the same resolution as the high-resolution composite image, and then the feature amount of each pixel in the high-resolution low-resolution composite image may be calculated.
  • the image correction unit 16 receives the high resolution composite image from the high resolution composition unit 13 and also receives from the feature quantity calculation unit 15 a distribution of feature quantities having the same resolution as that of the high resolution composite image.
  • the image correction unit 16 generates a corrected image by applying a directional filter to the high resolution composite image in the direction of the edge which is the feature amount.
  • the generated correction image is stored in the frame memory 11.
  • the directional filter is a process of multiplying a plurality of pixels arranged in a predetermined direction by a filter coefficient.
  • FIG. 7 shows an example of directional filters and coefficients corresponding to each direction of an edge.
  • direction filters e0 to e7 corresponding to the directions e0 to e7 which are feature amounts are set.
  • the image correction unit 16 selects one of the e0 to e7 directional filters based on the feature amount, and applies the selected directional filter to the high resolution composite image.
  • FIG. 7 shows, by way of example, a directional filter in which five pixels are multiplied by a filter coefficient 0.2, any direction-dependent filter may be used. If the feature quantity is "no direction", as in the "directionless filter” of FIG. 7, only the pixel of interest may be multiplied by the coefficient 1 (substantially no filter), and the direction such as the Gaussian filter Any filter that is not dependent may be applied.
  • the imaging device 10 acquires eight images by continuously photographing the image of the subject formed by the imaging lens 3 eight times by the imaging device 4. At this time, the imaging device 4 performs imaging while the sensor shift mechanism 5 shifts the imaging device 4 based on a command signal from the sensor shift control unit 6, so that the positions of the subjects are shifted from one another. A time series image is acquired. The obtained eight images are stored in the frame memory 11.
  • the image processing method is performed.
  • the amount of misalignment between the reference image and each reference image is detected by the misalignment detection unit 12, and the amount of misalignment is input to the high resolution combining unit 13 and the low resolution combining unit 14.
  • the reference image and the reference image are read out from the frame memory 11 to the high resolution combining unit 13 and the low resolution combining unit 14.
  • the high resolution combining unit 13 arranges the pixels of the eight images on the high resolution image space for each color channel while being aligned based on the positional shift amount, so that the high resolution combined image is provided for each color channel. (High resolution synthesis process).
  • the low-resolution composition unit 14 In parallel with the generation of the high-resolution composite image, the low-resolution composition unit 14 generates a low-resolution composite image of the Gr channel by weighting the Gr channels of the eight images to each other, thereby generating the eight images.
  • the Gb channels are weighted and added to each other to generate a low resolution composite image of the Gb channel (low resolution combining process).
  • the low resolution composite image of the G channel and the low resolution composite image of the Gb channel are averaged with each other to generate the low resolution composite image of the G channel.
  • the direction of the edge in each pixel is calculated as the feature amount of each pixel of the low resolution composite image of G channel (feature amount calculation step).
  • the image correction unit 16 applies a directional filter to the high resolution composite image along the direction of the edge of each pixel, thereby correcting the high resolution composite image (image correction step).
  • aliasing noise may occur, for example, in a subject area such as a fine pattern in each image acquired by the image acquisition unit 2.
  • the positions of the objects in the eight images acquired while shifting the position of the imaging device 4 are mutually shifted by 0.5 to 1.5 pixels.
  • jagged artifacts may occur in high-resolution composite images, particularly at edge portions with large luminance differences, due to alignment errors of several pixels or so.
  • the alignment error of the pixel is caused by a control error of the position of the imaging device 4 by the sensor shift control unit 6, a positioning error of the imaging device 4 by the sensor shift mechanism 5, and the like.
  • An imaging device 10 according to the present embodiment has the same device configuration as the imaging device 10 of the first embodiment, and includes an image acquisition unit 2 and an image processing device 1.
  • the processing performed by the feature quantity calculation unit 15 and the image correction unit 16 of the image processing apparatus 1 is different from that of the first embodiment. Therefore, in the present embodiment, the processing of the feature amount calculation unit 15 and the image correction unit 16 will be described, and the description of the configuration common to the first embodiment will be omitted.
  • the feature amount calculating unit 15 sets one pixel in the low resolution composite image generated by the low resolution combining unit 14 as a target pixel, and calculates the correlation between the target pixel and peripheral pixels surrounding the target pixel as a feature amount. Do. Next, the feature amount calculation unit 15 repeats the calculation of the feature amount by sequentially setting all the pixels in the low resolution composite image as the target pixel.
  • the feature amount calculation unit 15 extends the spatial resolution of the distribution of feature amounts to the resolution of the high resolution space, thereby increasing the number of feature amounts to the same number as the number of pixels of the high resolution composite image.
  • FIG. 8 shows an example of the method of calculating the correlation.
  • a total of 25 values are calculated using 5 ⁇ 5 pixels centered on the pixel of interest.
  • the absolute value of the difference between the pixel value of the pixel of interest and the pixel value of each of the 25 pixels is calculated as the correlation based on the following equation.
  • Correlation between target pixel G22 and pixel G00
  • Correlation between target pixel G22 and pixel G01
  • Correlation between target pixel G22 and pixel G02
  • the feature quantity calculating unit 15 outputs the feature quantities, each having 25 values and the same number as the number of pixels of the high resolution composite image, to the image correction unit 16.
  • the low-resolution composite image may be enlarged to the same resolution as the high-resolution composite image, and then the feature amount of each pixel in the high-resolution low-resolution composite image may be calculated.
  • 25 values may be output as they are to the image correction unit 16 as the feature amount of each target pixel.
  • the area of 5 ⁇ 5 pixels is used to calculate the correlation, but the size of the area can be arbitrarily changed. Further, the correlation between a region of interest consisting of a plurality of pixels and a peripheral region surrounding the region of interest may be calculated.
  • the image correction unit 16 generates a corrected image by applying a bilateral filter to the high resolution composite image.
  • the weighting factor of the bilateral filter is preset based on the distance between the target pixel and the peripheral pixels.
  • the image correction unit 16 increases the weighting coefficient as the correlation with the pixel of interest increases, and the weighting coefficient decreases as the correlation with the pixel of interest decreases, based on the 25 values that are feature amounts.
  • the weighting factor is corrected, and a bilateral filter is applied to the high resolution composite image using the corrected weighting factor. This makes it possible to obtain substantially the same effect as the image correction by the direction-dependent filter of the first embodiment without being affected by jagged artefacts included in the high-resolution composite image.
  • the misregistration detection unit 12 calculates the misregistration amount between the images based on the sensor shift control information from the sensor shift control unit 6 of the image acquisition unit 2.
  • the reference image and the reference image may be read from the frame memory 11, and the amount of movement between the reference image and each reference image may be calculated as the amount of positional deviation.
  • the motion amount may be a global motion amount of the entire image or may be a local motion amount for each area.
  • the image may be divided into a plurality of blocks each having 32 ⁇ 32 pixels, and the motion vector in the horizontal direction and the vertical direction may be calculated for each block using a block matching method or the like.
  • the amount of movement is not limited to only the amount of movement in the horizontal direction and the vertical direction, and may be a change in the amount of movement in the rotational direction or scaling.
  • a plurality of images in which the positions of the subject are mutually shifted may be acquired by, for example, shifting the imaging device 4 with respect to the subject due to camera shake or the like.
  • the high resolution processing by the image processing apparatus 1 can be applied by detecting the positional displacement amount from the image by image processing. .
  • the image processing method can be implemented by an image processing program as well as when executed by the image processing apparatus 1 comprising a circuit.
  • the image processing apparatus 1 is a computer readable non-temporary storage in which a processor such as a CPU, a main storage device such as a RAM, and an image processing program for realizing all or a part of the above processing are stored. It has a medium.
  • the storage medium is a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory or the like.
  • the image processing program is read from the storage medium to the main storage device, and the processor executes information processing and arithmetic processing in accordance with the image processing program, whereby the same processing as the above-described image processing apparatus 1 is realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置（１）は、被写体の位置が相互にずれている複数枚の画像を位置ずれ量に基づいて高解像度画像空間上で相互に位置合わせし、複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部（１３）と、複数枚の画像を位置ずれ量に基づいて複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成部（１４）と、低解像度合成画像の各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出部（１５）と、特徴量に基づいて高解像度合成画像を補正する画像補正部（１６）とを備える。

Description

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
　本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体に関し、特に、複数枚の画像からより高解像度の画像を合成する技術に関するものである。
　画像を高解像度化する技術として、撮像素子を光軸に直交する方向にずらしながら複数枚の画像を取得し、複数枚の画像の画素を、該複数枚の画像よりも高い解像度の高解像度画像空間上に位置ずれ量を考慮しながら配置することで、高解像度合成画像を生成する方法が知られている（例えば、特許文献１参照。）。細かい模様等の被写体を撮影した画像には、折り返しノイズ（エイリアシング）が生じる。上記技術によれば、相互に位置がずれた複数枚の画像を合成することで折り返しノイズが除去され、高周波成分が再現されるため、解像度の向上効果が得られる。
　しかし、上記技術により解像度の向上効果を得るためには、撮像素子を目標位置に高精度に位置決めして露光中は目標位置に静止させる必要があり、技術的難易度が高い。位置決め誤差を解決する手段として、複数枚の画像間の動き量を推定し、動き量をキャンセルするように高解像度画像空間上に複数枚の画像を合成する方法があるが、誤差の無い動き量を推定することは技術的難易度が高い。
　仮に誤差の無い動き量を推定できたとしても、動き量をキャンセルするように高解像度画像空間上に画素を位置合わせして配置する際に、位置合わせ誤差が必然的に発生する。すなわち、高解像度合成画像の合成において、複数枚の画像の画素を無限解像度の画像空間上に配置し、その後に、所望の解像度まで縮小処理等で解像度を調整することが理想的であるが、実際には無限解像度の画像空間を準備することができない。そのため、実際には、利用可能なメモリ量に応じて、有限の解像度を有する画像空間を設定し、その画像空間上に画素を配置することになる。したがって、画素の配置の際に位置合わせ誤差が発生し、位置合わせ誤差により、特に輝度差の大きいエッジ部において、ギザギザのアーティファクトが発生する。
　このような位置合わせ誤差に起因するギザギザのアーティファクトを解消する手段として、特許文献１の技術の応用が考えられる。この技術は、複数枚の画像間の類似度を算出し、類似度に基づいて画像間の合成比率を制御するものである。この技術を応用する場合、例えば、複数枚の画像のうち、１枚を基準画像、それ以外の画像を参照画像とし、基準画像および参照画像を、所望の高解像度合成画像と同一の解像度まで拡大し、拡大された基準画像と拡大された参照画像とを画像間の位置ずれ量を考慮して位置合わせし、基準画像と参照画像との間で領域毎に差分を算出し、差分量から両画像の類似度を判定し、判定結果に基づいて補正処理をすることが考えられる。補正処理は、位置合わせ誤差が少なく類似度が高い領域に対しては行われず、位置合わせ誤差が大きく類似度が低い領域に対して行われる。例えば、基準画像内のエッジの方向を判定し、エッジの方向に沿った方向フィルタ等の補正処理を施すことで、ギザギザのアーティファクトの補正が行われる。
特開２０１１－１９９７８６号公報
　しかしながら、特許文献１のような技術を上述した内容で適用した場合、位置合わせ誤差に起因するギザギザのアーティファクトが生じている領域においては、画像間の差分が大きくなり類似度が低いと判定できるが、折り返しノイズが生じている細かい模様等の被写体領域でも、画像間の差分は大きくなり類似度が低いと誤判定される。折り返しノイズは基準画像および参照画像の１枚１枚に生じるため、折り返しノイズの領域ではエッジの方向を正しく検出することが難しく、その結果、折り返しノイズの領域に対して不適切な方向に方向フィルタ等の補正処理が施され得る。本来、折り返しノイズの領域では、合成により高い解像度向上効果が得られるはずであるが、不適切な方向の補正処理によって期待される解像度向上効果が得られない。
　ギザギザのアーティファクトを解消する他の手段として、ギザギザのアーティファクトを含む高解像度合成画像に対して、フィルタ等によってギザギザの領域を判定することも考えられるが、位置合わせ誤差に起因するギザギザのアーティファクトと、ギザギザの形状の被写体とを正確に区別して判定することは困難である。
　本発明は、上述した事情に鑑みてなされたものであって、複数枚の画像からより高解像度の画像を合成する際に、ギザギザのアーティファクトの抑制と折り返しノイズの領域の解像度向上とを両立することができる画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理装置であって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部と、前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成部と、該低解像度合成部によって生成された前記低解像度合成画像の各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出部と、該特徴量算出部によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。
　本態様によれば、高解像度合成部において、複数枚の画像が高解像度画像空間上で相互に位置合わせされた後に合成されることで、個々の画像内の折り返しノイズが除去された高解像度合成画像が生成される。高解像度合成画像には、複数枚の画像の位置合わせ誤差に起因するギザギザのアーティファクトが発生し得る。
　一方、低解像度合成部において、複数枚の画像が低解像度画像空間上で相互に位置合わせされた後に重み付け加算によって合成されることで、個々の画像に含まれる折り返しノイズが除去された低解像度合成画像が生成される。特徴量算出部では、このような低解像度合成画像を用いることで、折り返しノイズに影響されることなく、各領域での画素値の正確な変化方向が特徴量として算出される。領域とは、１つの画素であってもよく、複数の画素からなる領域であってもよい。
　したがって、画像補正部では、特徴量に基づいて、高解像度合成画像内の各領域に対して適切な画像処理を施すことができ、折り返しノイズ領域における解像度向上効果を維持しながら、ギザギザのアーティファクトを低減することができる。これにより、ギザギザのアーティファクトの抑制と折り返しノイズの領域の解像度向上とを両立することができる。
　上記第１の態様においては、前記複数枚の画像間の動き量を前記複数枚の画像間の位置ずれ量として検出する位置ずれ検出部を備えていてもよい。
　このようにすることで、複数枚の画像間の位置ずれ量を容易に算出することができる。
　上記第１の態様においては、前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度画像空間上に前記複数枚の画像の各画素を配置してもよい。
　このようにすることで、簡易に高解像度合成画像を生成することができる。
　上記第１の態様においては、前記高解像度合成部が、前記高解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間してもよい。
　このようにすることで、複数枚の画像を画素配置により合成した１枚の高解像度合成画像の画素間に存在する画素配置がされていない領域の画素情報を埋めることができ、解像度をより向上することができる。
　上記第１の態様においては、前記低解像度合成部が、前記位置ずれ量に基づいて前記低解像度画像空間上に前記複数枚の画像の各画素を配置してもよい。
　このようにすることで、簡易に低解像度合成画像を生成することができる。
　上記第１の態様においては、前記低解像度合成部が、前記低解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間してもよい。
　このようにすることで、複数枚の画像を画素配置により合成した１枚の低解像度合成画像の画素間に存在する画素配置がされていない領域の画素情報を埋めることができ、解像度をより向上することができる。
　上記第１の態様においては、前記特徴量算出部が、前記低解像度合成画像内の各領域におけるエッジの方向を前記特徴量として算出してもよい。この場合、前記画像補正部が、前記高解像度合成画像に対して、前記特徴量算出部によって算出された前記エッジの方向に沿ったフィルタを適用してもよい。
　このようにすることで、高解像度合成画像内のギザギザのアーティファクトをより効果的に低減することができる。
　上記第１の態様においては、前記特徴量算出部が、前記低解像度合成画像内の各領域とその周辺領域との相関を前記特徴量として算出してもよい。この場合、前記画像補正部が、前記高解像度合成画像に対して、各領域と周辺領域との距離に基づいて設定された重み係数を用いてバイラテラルフィルタを適用するとともに、前記相関が高い程、前記重み係数が大きくなり、前記相関が低い程、前記重み係数が小さくなるように、前記重み係数を補正してもよい。
　このようにすることで、高解像度合成画像内のギザギザのアーティファクトをより効果的に低減することができる。
　上記第１の態様においては、前記特徴量算出部が、前記特徴量の分布を前記高解像度合成画像の解像度に拡張してもよい。
　このようにすることで、低解像度合成画像を用いて算出された特徴量の空間的な解像度を高解像度合成画像と一致させて、画像補正部における補正を容易にすることができる。
　本発明の第２の態様は、複数枚の時系列の画像を取得する画像取得部と、該画像取得部により取得された前記複数枚の画像を処理する上記いずれかに記載の画像処理装置とを備える撮像装置である。
　上記第２の態様においては、前記画像取得部が、撮像素子と、該撮像素子の位置を該撮像素子の画素の配列方向にシフトさせるセンサシフト機構と、該センサシフト機構による前記撮像素子のシフト方向とシフト量とを制御するセンサシフト制御部とを備えていてもよい。
　このようにすることで、センサシフト制御部によって制御されたシフト方向およびシフト量に従って、センサシフト機構が被写体に対する撮像素子の位置をずらすことで、被写体の位置がずれた複数枚の画像が取得される。
　上記第２の態様においては、前記センサシフト制御部による前記撮像素子のシフト方向およびシフト量から前記位置ずれ量を算出する位置ずれ検出部を備えていてもよい。
　このようにすることで、複数枚の画像間の位置ずれ量をより容易に算出することができる。
　本発明の第３の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理方法であって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、該特徴量算出工程によって算出された特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とを含む画像処理方法である。
　本発明の第４の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムであって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、該特徴量算出工程によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる画像処理プログラムである。
　本発明の第５の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記画像処理プログラムが、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、該特徴量算出工程によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる記憶媒体である。
　本発明によれば、複数枚の画像からより高解像度の画像を合成する際に、ギザギザのアーティファクトの抑制と折り返しノイズの領域の解像度向上とを両立することができるという効果を奏する。
本発明の第１の実施形態に係る画像処理装置および撮像装置の全体構成を示すブロック図である。 図１の画像処理装置による画像処理を説明する概念図である。 高解像度合成部による高解像度合成画像の生成方法を説明する図である。 高解像度合成部によって生成された各チャネルの高解像度合成画像の例を示す図である。 低解像度合成部による低解像度合成画像の生成方法を説明する図である。 特徴量算出部による特徴量の算出方法を説明する図であり、低解像度合成画像の一部分を示す図である。 特徴量算出部によって算出される８方向を説明する図である。 画像補正部による方向フィルタの例を示す図である。 本発明の第２の実施形態に係る画像処理装置において、特徴量算出部による特徴量の算出方法を説明する図であり、低解像度合成画像の一部分を示す図である。
（第１の実施形態）
　本発明の第１の実施形態に係る画像処理装置１およびこれを備える撮像装置１０について図１から図７を参照して説明する。
　本実施形態に係る撮像装置１０は、例えば、静止画や動画像を撮影して記録するデジタルビデオカメラ、デジタルスチルカメラ等である。図１は、撮像装置１０のブロック構成を示している。図１に示されるように、撮像装置１０は、被写体を撮像して画像として取り込む画像取得部２と、画像取得部２によって取り込まれた複数枚の画像を処理して該複数枚の画像よりも高解像度の画像を生成する画像処理装置１とを備えている。
　画像取得部２は、例えば、被写体からの光を集光して光学像を形成する撮像レンズ３と、撮像レンズ３によって形成された光学像を撮像して画像を取得する撮像素子４と、撮像素子４の位置を画素の配列方向にシフトさせるセンサシフト機構５と、センサシフト機構５による撮像素子４のシフト方向およびシフト量を制御するセンサシフト制御部６とを備えている。
　撮像素子４は、相互に直交する水平方向および垂直方向に沿って２次元配列された多数の画素を有する。撮像素子４は、Ｒ、Ｇｒ、Ｇｂ、Ｂの４種類のカラーフィルタが２行２列に配置された、いわゆるベイヤ配列構造を有し、１つの画素に１つのカラーフィルタが対応している。撮像素子４は、撮影を複数回実行することによって時系列の複数枚の画像を取得する。取得された画像は、撮像素子４から画像処理装置１内のフレームメモリ１１に出力され、フレームメモリ１１に時系列に記憶される。
　センサシフト機構５は、撮像素子４を該撮像素子４の水平方向および垂直方向にサブピクセル単位でシフトさせることができるアクチュエータ（図示略）を備える。
　センサシフト制御部６は、センサシフト機構５のアクチュエータを制御することで、撮像素子４のシフト方向およびシフト量を制御する。センサシフト制御部６は、撮像素子４の複数回の撮影の実行中にセンサシフト機構５を制御して撮像素子４をシフトさせるとともに、撮像素子４のシフト方向およびシフト量の情報を含むセンサシフト制御情報を画像処理装置１内の位置ずれ検出部１２に出力する。
　画像処理装置１は、フレームメモリ１１と、位置ずれ検出部１２と、高解像度合成部１３と、低解像度合成部１４と、特徴量算出部１５と、画像補正部１６とを備えている。図２は、画像処理装置１における画像処理のプロセスを示している。
　フレームメモリ１１は、画像取得部２から入力された複数枚の画像を時系列に記憶する。このときに、フレームメモリ１１は、最初に入力された１枚の画像を基準画像として、その後に入力された１枚以上の画像を参照画像として、それぞれ記憶するようになっている。フレームメモリ１１は、画像取得部２および画像処理装置１内の各部１２，１３，１４，１５，１６のいずれからもアクセスすることができる。
　位置ずれ検出部１２は、センサシフト制御部６からのセンサシフト制御情報に基づき、基準画像と参照画像との間の位置ずれ量を検出し、検出された位置ずれ量を高解像度合成部１３および低解像度合成部１４に出力する。
　高解像度合成部１３は、フレームメモリ１１から基準画像および参照画像を読み出す。次に、高解像度合成部１３は、基準画像および参照画像を、位置ずれ検出部１２からの位置ずれ量に基づいて位置合わせしながら、色チャネル（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の高解像度画像空間上に配置する。
　図３は、１枚の基準画像および７枚の参照画像から、Ｇｒチャネルの高解像度合成画像を生成する処理を示している。高解像度合成部１３は、図３の左段に示されるように、基準画像の各画素を、基準画像および参照画像よりも高い解像度を有する高解像度画像空間上に配置し、次に、基準画像に対する位置ずれ量に基づいて参照画像の各画素を高解像度画像空間上に配置する。図３の例において、高解像度画像空間は基準画像および参照画像の４倍の解像度を有するので、高解像度合成部１３は、位置ずれ量（シフト量）の２倍に基づいて各画素を位置合わせする。画素を配置する際に、配置する画素の色と同色の画素が既に配置されている場合には、画素を新たに配置しなくてもよいし、配置する画素と既に配置されている画素とを加算平均して画素値を更新してもよい。
　基準画像および参照画像の全ての画素を配置した後、高解像度合成部１３は、図３の右段に示されるように、基準画像および参照画像のいずれの画素も配置されていない空白領域を補間して埋める処理を行う。図３において、黒い領域は、空白領域を示し、網掛け画素は、補間によって生成された画素を示し、それ以外の画素は、基準画像および参照画像由来の配置された画素を示している。これにより、高解像度合成画像が生成される。補間の方法は、例えば、配置された周囲の画素を用いて、エッジ方向を考慮した方向判別補間であってもよく、最も近くに存在する画素をコピーすることにより補間する方法であってもよい。高解像度合成部１３は、図４に示されるように、Ｒ、ＧｂおよびＢチャネルについても同様にして高解像度合成画像を生成する。
　図３および図４において、Ｒ、Ｇｒ、ＧｂおよびＢの添字番号は、撮影順を示している。すなわち、添字番号「１」は、１枚目に撮影された基準画像の画素であることを示し、添字番号「２」～「８」は、２枚目から８枚目に撮影された参照画像の画素であることを示している。図３および図４は、撮像素子４による撮影時にセンサシフト制御部６によって以下のように撮像素子４の位置を制御したときの画素配置を示している。
　１：基準画像、
　２：基準画像に対して水平方向に１画素、垂直方向に０画素、
　３：基準画像に対して水平方向に０画素、垂直方向に１画素、
　４：基準画像に対して水平方向に１画素、垂直方向に１画素、
　５：基準画像に対して水平方向に０．５画素、垂直方向に０．５画素、
　６：基準画像に対して水平方向に１．５画素、垂直方向に０．５画素、
　７：基準画像に対して水平方向に０．５画素、垂直方向に１．５画素、
　８：基準画像に対して水平方向に１．５画素、垂直方向に１．５画素、
　低解像度合成部１４は、フレームメモリ１１から基準画像および参照画像を読み出す。次に、低解像度合成部１４は、基準画像および参照画像を、位置ずれ検出部１２からの位置ずれ量に基づいて位置合わせしながら、色チャネル毎の低解像度画像空間上に配置することで、輝度情報を多く含み特徴量の算出に適したＧｒチャネルおよびＧｂチャネルの低解像度合成画像を生成する。
　図５は、１枚の基準画像および７枚の参照画像からＧｒチャネルおよびＧｂチャネルの低解像度合成画像を生成する処理を説明するものである。低解像度合成部１４は、図５の左段に示されるように、基準画像の各画素を、基準画像および参照画像と同一またはこれよりも低い解像度を有する低解像度画像空間上に配置し、次に、基準画像に対する位置ずれ量に基づいて参照画像の各画素を低解像度画像空間上に配置する。図５には、一例として、低解像度画像空間が基準画像および参照画像と同一の解像度を有する場合が示されている。したがって、低解像度合成部１４は、位置ずれ量（シフト量）の１倍に基づいて各画素を位置合わせする。
　低解像度画像空間は基準画像および参照画像と同一またはそれよりも低い解像度を有するので、低解像度画像空間上の同一位置には、異なる画像由来の複数の画素が位置合わせされる。低解像度合成部１４は、配置する画素の色と同色の画素が既に配置されている場合には、配置する画素の画素値を既に配置されている画素の画素値と重み付け加算することによって画素値を更新する。これにより、基準画像および参照画像が重み付け加算された低解像度合成画像が生成される。図５には、重み付け加算の例として、２つの画素値に０．５の重みをそれぞれ付して加算する加算平均が示されているが、２つの画素値に相互に異なる重みを付してもよい。
　図５の例では、１枚目と５枚目、２枚目と６枚目、３枚目と７枚目、４枚目と８枚目の画像の画素が、低解像度画像空間上の同一位置に位置合わせされる。したがって、低解像度合成画像の各画素の値は、１枚目と５枚目、２枚目と６枚目、３枚目と７枚目、または４枚目と８枚目の画像の画素の加算平均値となる。例えば、Ｇｒチャネルの低解像度合成画像の左上の画素の値は、４枚目と８枚目の画像の画素の加算平均値である。
　次に、低解像度合成部１４は、Ｇｒチャネルの低解像度合成画像とＧｂチャネルの低解像度合成画像とを加算平均してＧチャネルの低解像度合成画像を生成する。Ｇチャネルの低解像度合成画像は、低解像度合成部１４から特徴量算出部１５に出力される。
　なお、図５の例では、各画像の画素の低解像度画像空間上の画素位置を位置ずれ量から算出する際に、位置ずれ量の０．５画素以下を切り捨て、０．５画素よりも大きい値は切り上げているが、位置ずれ量の小数点以下を四捨五入してもよい。
　また、図５の例では、低解像度合成画像の全ての領域がいずれかの画像の画素によって埋まるが、撮像素子４のシフト方向およびシフト量によっては、低解像度合成画像にも、いずれの画像の画素も配置されない空白領域が発生し得る。このような場合には、高解像度合成画像内の空白領域の補間と同様にして、低解像度合成画像内の空白領域にも画素が補間される。
　特徴量算出部１５は、低解像度合成部１４によって生成されたＧチャネルの低解像度合成画像内の１つの画素を注目画素に設定し、注目画素におけるエッジの方向を当該注目画素の特徴量として算出する。特徴量算出部１５は、低解像度合成画像内の全ての画素を順番に注目画素に設定して特徴量の算出を繰り返す。したがって、低解像度合成画像の画素数と同数の特徴量が算出される。
　特徴量の算出は、１画素単位に代えて、複数の画素からなる領域単位で行ってもよい。すなわち、特徴量算出部１５は、低解像度合成画像を複数の領域に分割し、各領域における特徴量を算出してもよい。
　図６Ａおよび図６Ｂは、エッジの方向の算出方法の一例を示している。この例において、注目画素を中心とする５×５画素を用いて８方向ｅ０～ｅ７の画素値の変化量が算出される。具体的には、各方向ｅ０～ｅ７について、下式に基づいて、注目画素の画素値とこれ以外の４つの画素の画素値との差の絶対値が算出され、差の絶対値の和が算出される。そして、８方向ｅ０～ｅ７のうち和が最小である方向がエッジの方向に決定される。
　ｅ０＝｜Ｇ２２－Ｇ２３｜＋｜Ｇ２２－Ｇ２４｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ２１｜＋｜Ｇ２２－Ｇ２０｜
　ｅ１＝｜Ｇ２２－Ｇ２３｜＋｜Ｇ２２－Ｇ１４｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ２１｜＋｜Ｇ２２－Ｇ３０｜
　ｅ２＝｜Ｇ２２－Ｇ１３｜＋｜Ｇ２２－Ｇ０４｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ３１｜＋｜Ｇ２２－Ｇ４０｜
　ｅ３＝｜Ｇ２２－Ｇ１２｜＋｜Ｇ２２－Ｇ０３｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ３２｜＋｜Ｇ２２－Ｇ４１｜
　ｅ４＝｜Ｇ２２－Ｇ１２｜＋｜Ｇ２２－Ｇ０２｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ３２｜＋｜Ｇ２２－Ｇ４２｜
　ｅ５＝｜Ｇ２２－Ｇ１２｜＋｜Ｇ２２－Ｇ０１｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ３２｜＋｜Ｇ２２－Ｇ４３｜
　ｅ６＝｜Ｇ２２－Ｇ１１｜＋｜Ｇ２２－Ｇ００｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ３３｜＋｜Ｇ２２－Ｇ４４｜
　ｅ７＝｜Ｇ２２－Ｇ２１｜＋｜Ｇ２２－Ｇ１０｜
　　　　　　　　　　　　　＋｜Ｇ２２－Ｇ２３｜＋｜Ｇ２２－Ｇ３４｜
　方向ｅ０～ｅ７の値や分布を考慮して、例えば、方向ｅ０～ｅ７の和の全てが閾値以下である場合には、特徴量を「方向無し」に決定してもよい。
　上述の例は一例であって、エッジの方向の算出には他の任意の方法を用いてもよい。
　低解像度画像空間上における特徴量の分布の空間的な解像度（特徴量の数）は高解像度画像空間の解像度（高解像度画像空間の画素数）よりも低い。特徴量算出部１５は、特徴量の分布の解像度を高解像度画像空間の解像度まで拡張する処理を行う。特徴量の解像度を拡張する方法としては、画像拡大処理のように、ニアレストネイバ法やバイリニア法、バイキュービック法等によって特徴量の数を増大する方法が使用される。これにより、特徴量の数は、高解像度合成画像の画素数と同数まで増大され、高解像度合成画像の各画素に対する特徴量が得られる。算出された特徴量は、特徴量算出部１５から画像補正部１６へ出力される。
　あるいは、低解像度合成画像を高解像度合成画像と同一の解像度まで拡大してから、高解像度化された低解像度合成画像内の各画素の特徴量を算出してもよい。
　画像補正部１６は、高解像度合成部１３から高解像度合成画像が入力されるとともに、特徴量算出部１５から高解像度合成画像と同一の解像度の特徴量の分布が入力される。画像補正部１６は、高解像度合成画像に対して、特徴量であるエッジの方向に方向フィルタを施すことで、補正画像を生成する。生成された補正画像は、フレームメモリ１１に記憶される。
　方向フィルタは、所定の方向に配列する複数の画素にフィルタ係数を乗じる処理である。図７は、エッジの各方向に対応する方向フィルタおよび係数の例を示している。この例において、特徴量である方向ｅ０～ｅ７に対応したｅ０～ｅ７方向フィルタが設定されている。画像補正部１６は、特徴量に基づいてｅ０～ｅ７方向フィルタの中から１つを選択し、選択された方向フィルタを高解像度合成画像に施す。図７には、フィルタ係数０．２を５画素に乗じる方向フィルタが一例として示されているが、方向依存型の任意のフィルタを用いることができる。特徴量が「方向無し」である場合には、図７の「方向無しフィルタ」のように、注目画素にのみ係数１（実質的にフィルタ無し）を乗じてもよく、ガウシアンフィルタのような方向依存型ではない任意のフィルタを適用してもよい。
　次に、このように構成された本実施形態に係る画像処理装置１および撮像装置１０の作用について説明する。
　撮像装置１０は、撮像レンズ３によって形成された被写体の像を撮像素子４によって８回連続撮影することで、８枚の画像を取得する。このときに、センサシフト制御部６からの指令信号に基づいてセンサシフト機構５が撮像素子４をシフトさせながら撮像素子４が撮影を実行することで、被写体の位置が相互にずれた８枚の時系列の画像が取得される。取得された８枚の画像はフレームメモリ１１に記憶される。
　この後に、フレームメモリ１１に記憶された８枚の画像を使用して本発明の一実施形態に係る画像処理方法が実施される。
　まず、位置ずれ検出部１２によって基準画像と各参照画像との間の位置ずれ量が検出され、位置ずれ量が高解像度合成部１３および低解像度合成部１４に入力される。また、フレームメモリ１１から高解像度合成部１３および低解像度合成部１４に基準画像および参照画像が読み出される。
　高解像度合成部１３では、８枚の画像の各画素が、位置ずれ量に基づいて位置合わせされながら色チャネル毎に高解像度画像空間上に配置されることで、高解像度合成画像が色チャネル毎に生成される（高解像度合成工程）。
　高解像度合成画像の生成と並行して、低解像度合成部１４では、８枚の画像のＧｒチャネルが相互に重み付け加算されることでＧｒチャネルの低解像度合成画像が生成され、８枚の画像のＧｂチャネルが相互に重み付け加算されることでＧｂチャネルの低解像度合成画像が生成される（低解像度合成工程）。次に、Ｇｒチャネルの低解像度合成画像とＧｂチャネルの低解像度合成画像とが相互に加算平均されることで、Ｇチャネルの低解像度合成画像が生成される。
　次に、特徴量算出部１５において、Ｇチャネルの低解像度合成画像の各画素の特徴量として、各画素におけるエッジの方向が算出される（特徴量算出工程）。
　次に、画像補正部１６において、高解像度合成画像に対して各画素におけるエッジの方向に沿って方向フィルタが施されることで、高解像度合成画像が補正される（画像補正工程）。
　この場合に、画像取得部２によって取得された個々の画像には、例えば、細かい模様のような被写体領域において折り返しノイズ（エイリアシング）が発生し得る。本実施形態によれば、撮像素子４の位置をシフトさせながら取得された８枚の画像内の被写体の位置は、０．５～１．５画素だけ相互にずれている。このような８枚の画像の画素を、被写体の位置ずれ量に応じて位置合わせしながら高解像度画像空間上に配置することで、折り返しノイズが除去されるとともに高解像度化された高解像度合成画像が得られる。
　その一方で、高解像度合成画像には、画素の数ピクセル程度の位置合わせ誤差に起因して、特に輝度差の大きいエッジ部ではギザギザのアーティファクトが発生し得る。画素の位置合わせ誤差は、センサシフト制御部６による撮像素子４の位置の制御誤差やセンサシフト機構５による撮像素子４の位置決め誤差等が原因で生じる。
　低解像度合成画像においても、被写体の位置が相互に異なる８枚の画像を重み付け加算によって合成することで、折り返しノイズが低減されるとともに、ランダムノイズも低減される。特徴量の算出に１枚の画像を用いた場合には、折り返しノイズが発生している被写体領域においてエッジの方向を正確に算出することが非常に難しい。これに対し、折り返しノイズおよびランダムノイズが低減された低解像度合成画像を用いることで、上記のような被写体領域においてもエッジの方向を正確に算出することができる。
　このように正確なエッジの方向に基づいて高解像度合成画像に方向フィルタを施すことで、ギザギザのアーティファクトが適切に補正されるとともに、折り返しノイズが生じていた被写体領域においても、折り返しノイズに影響されることなく、適切な方向に方向フィルタが施される。これにより、ギザギザのアーティファクトの抑制と折り返しノイズの領域の解像度向上とを両立することができるという利点がある。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る画像処理装置１および撮像装置１０について図８を参照して説明する。
　本実施形態に係る撮像装置１０は、第１の実施形態の撮像装置１０と同一の装置構成を有し、画像取得部２と、画像処理装置１とを備える。ただし、画像処理装置１の特徴量算出部１５および画像補正部１６による処理において、第１の実施形態と異なっている。したがって、本実施形態においては、特徴量算出部１５および画像補正部１６の処理について説明し、第１の実施形態と共通する構成については説明を省略する。
　特徴量算出部１５は、低解像度合成部１４によって生成された低解像度合成画像内の１つの画素を注目画素に設定し、注目画素と該注目画素を囲む周辺画素との相関を特徴量として算出する。次に、特徴量算出部１５は、低解像度合成画像内の全ての画素を順番に注目画素に設定して特徴量の算出を繰り返す。特徴量算出部１５は、特徴量の分布の空間的な解像度を高解像度空間の解像度まで拡張することで、特徴量の数を高解像度合成画像の画素数と同数まで増大する。
　図８は、相関の算出方法の一例を示している。この例において、注目画素を中心とする５×５画素を用いて合計２５個の値が算出される。具体的には、下式に基づいて、注目画素の画素値と２５画素の各々の画素値との差の絶対値が、相関として算出される。
　注目画素Ｇ２２と画素Ｇ００との相関＝｜Ｇ２２－Ｇ００｜
　注目画素Ｇ２２と画素Ｇ０１との相関＝｜Ｇ２２－Ｇ０１｜
　注目画素Ｇ２２と画素Ｇ０２との相関＝｜Ｇ２２－Ｇ０２｜
　…
　注目画素Ｇ２２と画素Ｇ４３との相関＝｜Ｇ２２－Ｇ４３｜
　注目画素Ｇ２２と画素Ｇ４４との相関＝｜Ｇ２２－Ｇ４４｜
　すなわち、注目画素との相関が高い画素については絶対値が小さくなり、注目画素との相関が低い画素については絶対値が大きくなる。したがって、注目画素同士の相関は、ゼロと算出される。
　図８の例においては、１つの注目画素について２５個の値が特徴量として算出されるので、特徴量を拡張する際に、２５個の値を１つのセットとして扱い、セット単位で特徴量を拡張する必要がある。したがって、各々２５個の値からなり高解像度合成画像の画素数と同数の特徴量が、特徴量算出部１５から画像補正部１６へ出力される。
　あるいは、低解像度合成画像を高解像度合成画像と同一の解像度まで拡大してから、高解像度化された低解像度合成画像内の各画素の特徴量を算出してもよい。この場合は、各注目画素の特徴量として２５個の値をそのまま画像補正部１６へ出力すればよい。
　図８の例では、相関の算出に５×５画素の領域を用いることとしたが、領域のサイズは任意に変更することができる。また、複数の画素からなる注目領域と、該注目領域を囲む周辺領域との相関を算出してもよい。
　画像補正部１６は、高解像度合成画像に対してバイラテラルフィルタを施すことで、補正画像を生成する。バイラテラルフィルタの重み係数は、注目画素と周辺画素との距離に基づいて予め設定されている。画像補正部１６は、特徴量である２５個の値に基づいて、注目画素との相関が高い程、重み係数が大きくなり、注目画素との相関が低い程、重み係数が小さくなるように、重み係数を補正し、補正された重み係数を用いて高解像度合成画像に対してバイラテラルフィルタを施す。
　これにより、高解像度合成画像に含まれるギザギザのアーティファクトの影響を受けることなく、第１の実施形態の方向依存型フィルタによる画像補正とほぼ同等の効果を得ることができる。
　第１および第２の実施形態においては、位置ずれ検出部１２が、画像取得部２のセンサシフト制御部６からのセンサシフト制御情報に基づいて、画像間の位置ずれ量を算出することとしたが、これに代えて、フレームメモリ１１から基準画像および参照画像を読み出し、基準画像と各参照画像との間の動き量を位置ずれ量として算出してもよい。動き量は、画像全体のグローバルな動き量であってもよく、領域毎のローカルな動き量であってもよい。例えば、各々３２×３２画素からなる複数のブロックに画像を分割し、各ブロックについてブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを算出してもよい。動き量は、水平方向および垂直方向の動き量のみに限らず、回転方向の動き量や拡大縮小の変化であってもよい。
　被写体の連続撮影において、例えば手ぶれ等によって被写体に対する撮像素子４がシフトすることで、被写体の位置が相互にずれた複数枚の画像が取得されることがある。このように、撮像素子４のシフト方向およびシフト量が不明である場合にも、画像処理によって画像から位置ずれ量を検出することで、画像処理装置１による高解像度化処理を適用することができる。
　第１および第２の実施形態に係る画像処理方法は、回路からなる画像処理装置１によって実行される場合の他、画像処理プログラムによっても実施することができる。この場合、画像処理装置１は、ＣＰＵのようなプロセッサ、ＲＡＭ等の主記憶装置、上記処理の全てまたは一部を実現させるための画像処理プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体を備える。記憶媒体は、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または半導体メモリ等である。記憶媒体から主記憶装置に画像処理プログラムが読み出され、画像処理プログラムに従ってプロセッサが情報の加工や演算処理を実行することにより、上述の画像処理装置１と同様の処理が実現される。
１　画像処理装置
２　画像取得部
３　撮像レンズ
４　撮像素子
５　センサシフト機構
６　センサシフト制御部
１０　撮像装置
１１　フレームメモリ
１２　位置ずれ検出部
１３　高解像度合成部
１４　低解像度合成部
１５　特徴量算出部
１６　画像補正部

Claims (17)

  1. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理装置であって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部と、
    　前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成部と、
    　該低解像度合成部によって生成された前記低解像度合成画像の各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出部と、
    　該特徴量算出部によって算出された特徴量に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。
  2. 　前記複数枚の画像間の動き量を前記複数枚の画像間の位置ずれ量として検出する位置ずれ検出部を備える請求項１に記載の画像処理装置。
  3. 　前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度画像空間上に前記複数枚の画像の各画素を配置する請求項１または請求項２に記載の画像処理装置。
  4. 　前記高解像度合成部が、前記高解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間する請求項３に記載の画像処理装置。
  5. 　前記低解像度合成部が、前記位置ずれ量に基づいて前記低解像度画像空間上に前記複数枚の画像の各画素を配置する請求項１から請求項４のいずれかに記載の画像処理装置。
  6. 　前記低解像度合成部が、前記低解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間する請求項５に記載の画像処理装置。
  7. 　前記特徴量算出部が、前記低解像度合成画像内の各領域におけるエッジの方向を前記特徴量として算出する請求項１から請求項６のいずれかに記載の画像処理装置。
  8. 　前記特徴量算出部が、前記低解像度合成画像内の各領域とその周辺領域との相関を前記特徴量として算出する請求項１から請求項６のいずれかに記載の画像処理装置。
  9. 　前記特徴量算出部が、前記特徴量の分布を前記高解像度合成画像の解像度に拡張する請求項７または請求項８に記載の画像処理装置。
  10. 　前記画像補正部が、前記高解像度合成画像に対して、前記特徴量算出部によって算出された前記エッジの方向に沿ったフィルタを適用する請求項７に記載の画像処理装置。
  11. 　前記画像補正部が、前記高解像度合成画像に対して、各領域と周辺領域との距離に基づいて設定された重み係数を用いてバイラテラルフィルタを適用するとともに、前記相関が高い程、前記重み係数が大きくなり、前記相関が低い程、前記重み係数が小さくなるように、前記重み係数を補正する請求項８に記載の画像処理装置。
  12. 　複数枚の時系列の画像を取得する画像取得部と、
    　該画像取得部により取得された前記複数枚の画像を処理する請求項１から請求項１１のいずれかに記載の画像処理装置とを備える撮像装置。
  13. 　前記画像取得部が、
    　撮像素子と、
    　該撮像素子の位置を該撮像素子の画素の配列方向にシフトさせるセンサシフト機構と、
    　該センサシフト機構による前記撮像素子のシフト方向とシフト量とを制御するセンサシフト制御部とを備える請求項１２に記載の撮像装置。
  14. 　前記センサシフト制御部による前記撮像素子のシフト方向およびシフト量から前記位置ずれ量を算出する位置ずれ検出部を備える請求項１３に記載の撮像装置。
  15. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理方法であって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、
    　該特徴量算出工程によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とを含む画像処理方法。
  16. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムであって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、
    　該特徴量算出工程によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる画像処理プログラム。
  17. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、
    　前記画像処理プログラムが、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記複数枚の画像を重み付け加算により合成して低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程によって生成された前記低解像度合成画像の各画素または各領域における、画素値の変化方向に関する特徴量を算出する特徴量算出工程と、
    　該特徴量算出工程によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる、記憶媒体。
PCT/JP2017/024578 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 WO2019008692A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/024578 WO2019008692A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US16/715,583 US11445109B2 (en) 2017-07-05 2019-12-16 Image processing device, image capturing device, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024578 WO2019008692A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/715,583 Continuation US11445109B2 (en) 2017-07-05 2019-12-16 Image processing device, image capturing device, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019008692A1 true WO2019008692A1 (ja) 2019-01-10

Family

ID=64950695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024578 WO2019008692A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US11445109B2 (ja)
WO (1) WO2019008692A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11146746B2 (en) 2017-07-05 2021-10-12 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
US11776088B2 (en) * 2020-03-11 2023-10-03 Samsung Electronics Co., Ltd. Electronic device generating image data and converting the generated image data and operating method of the electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237650A (ja) * 2008-03-26 2009-10-15 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3190220B2 (ja) 1994-12-20 2001-07-23 シャープ株式会社 撮像装置
JP3471964B2 (ja) 1995-03-28 2003-12-02 キヤノン株式会社 撮像装置
JP3380402B2 (ja) 1996-08-07 2003-02-24 シャープ株式会社 撮像装置
JPH11225284A (ja) 1998-02-04 1999-08-17 Ricoh Co Ltd 画像入力装置
JP3625144B2 (ja) 1999-01-18 2005-03-02 大日本スクリーン製造株式会社 画像処理方法
JP4214460B2 (ja) 2003-02-28 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004343222A (ja) 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
WO2007142109A1 (ja) 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
JP4814840B2 (ja) 2007-05-23 2011-11-16 オリンパス株式会社 画像処理装置又は画像処理プログラム
JP5098081B2 (ja) 2007-07-19 2012-12-12 オリンパス株式会社 画像処理方法および画像処理装置
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP5409342B2 (ja) 2009-12-25 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
WO2011105391A1 (ja) 2010-02-26 2011-09-01 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP2012100129A (ja) 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
JP5837572B2 (ja) * 2011-03-28 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
WO2014185328A1 (ja) 2013-05-17 2014-11-20 リコーイメージング株式会社 撮影装置及び撮影制御システム
JP6017381B2 (ja) 2013-07-22 2016-11-02 オリンパス株式会社 像ブレ補正装置及び撮像装置
JP5788551B1 (ja) 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法
JP5847228B2 (ja) 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2016181023A (ja) 2015-03-23 2016-10-13 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2016185598A1 (ja) 2015-05-21 2016-11-24 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6508626B2 (ja) 2015-06-16 2019-05-08 オリンパス株式会社 撮像装置、処理プログラム、撮像方法
WO2016207990A1 (ja) 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP2017045273A (ja) 2015-08-26 2017-03-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017044878A (ja) 2015-08-27 2017-03-02 キヤノン株式会社 撮像装置およびその制御方法
WO2017064807A1 (ja) 2015-10-16 2017-04-20 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2018220681A1 (ja) 2017-05-29 2018-12-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2018220711A1 (ja) 2017-05-30 2018-12-06 オリンパス株式会社 画像処理装置
WO2019008693A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN111164959B (zh) 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237650A (ja) * 2008-03-26 2009-10-15 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11146746B2 (en) 2017-07-05 2021-10-12 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Also Published As

Publication number Publication date
US11445109B2 (en) 2022-09-13
US20200120271A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP6553826B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2019008692A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10636126B2 (en) Image processing device, imaging apparatus, image processing method, image processing program, and recording medium
EP1855486B1 (en) Image processor correcting color misregistration, image processing program, image processing method, and electronic camera
JP5788551B1 (ja) 画像処理装置および画像処理方法
KR100755601B1 (ko) 화소 신호 처리 장치 및 화소 신호 처리 방법
JP6326180B1 (ja) 画像処理装置
US11146746B2 (en) Image processing device, image capturing device, image processing method, and storage medium
US10389952B2 (en) Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium
JP2012019337A (ja) 画像処理装置及び方法並びにプログラム
JP2007221423A (ja) 撮像装置
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP6532328B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5505072B2 (ja) 画像データ処理装置および画像データ処理方法
JP6532411B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4334484B2 (ja) 画素信号処理装置及び方法
JP2022181027A (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
CN118338139A (zh) 用于校正图像中包括的伪影的装置
JP2017201762A (ja) 画像処理装置、画像処理方法、プログラム
JP2015027038A (ja) 色情報補完装置およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP