WO2015159581A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2015159581A1
WO2015159581A1 PCT/JP2015/054327 JP2015054327W WO2015159581A1 WO 2015159581 A1 WO2015159581 A1 WO 2015159581A1 JP 2015054327 W JP2015054327 W JP 2015054327W WO 2015159581 A1 WO2015159581 A1 WO 2015159581A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
low
correlation
resolution image
Prior art date
Application number
PCT/JP2015/054327
Other languages
English (en)
French (fr)
Inventor
康祐 梶村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580019429.8A priority Critical patent/CN106165395B/zh
Publication of WO2015159581A1 publication Critical patent/WO2015159581A1/ja
Priority to US15/285,007 priority patent/US9898803B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program, and more particularly to an image processing apparatus, an image processing method, and an image processing program that acquire an image with a high resolution by combining a plurality of images. It is.
  • Patent Document 1 discloses that an estimated high-resolution image is resampled into a low-resolution image by a point spread function (PSF function) obtained from a camera model, and the low-resolution image and the original image are resampled.
  • PSF function point spread function
  • a reconfigurable super-resolution process is disclosed in which a process for estimating a high-resolution image is repeated so that a difference in pixel value from the input image becomes small.
  • Patent Document 1 repeatedly performs a process of estimating a high-resolution image, so that the calculation cost increases.
  • the number of repetitions is limited to reduce the calculation cost, multiple images and artifacts caused by moving objects or the like in the estimated high resolution image cannot be reduced, and the image quality of the output image decreases.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to obtain an image with improved resolution while reducing multiple images and artifacts while suppressing calculation cost.
  • the present invention provides the following means.
  • the first aspect of the present invention is based on image acquisition means for acquiring a plurality of low resolution images captured in time series, motion detection means for detecting movement between the plurality of low resolution images, and the movement.
  • Positioning means for aligning a plurality of the low-resolution images and generating a high-resolution image in which the plurality of low-resolution images are arranged in a higher-resolution image space than the low-resolution images; and the high-resolution Correlation calculating means for calculating correlation information indicating a degree of correlation between corresponding regions of the low-resolution image corresponding to the partial region for each partial region of the image, and a plurality of the low-resolution images or the high-resolution images
  • a composite image generating means for generating a composite image having a resolution lower than that of the high-resolution image, and a composite ratio of the high-resolution image and the composite image based on the correlation information for each partial region.
  • the image processing apparatus calculates a composition ratio for each of the partial areas so that a ratio of the high resolution image is small and an area having a high correlation has a high ratio of the high resolution image.
  • a plurality of low-resolution images related to the same subject captured in time series are acquired, and one image obtained by increasing the resolution from the plurality of low-resolution images is acquired.
  • the alignment unit detects the motion between the plurality of images detected by the motion detection unit. While correcting, that is, aligning, a plurality of low resolution images are arranged in the high resolution image space to generate a high resolution image.
  • the high-resolution image is divided into predetermined partial areas, and correlation information indicating the degree of correlation between corresponding areas of the low-resolution image corresponding to the partial area is calculated for each partial area.
  • the synthesized image generation unit Based on the correlation information, it can be determined to some extent whether the partial region has a small correlation between a plurality of images, that is, a region having a large motion or a region including a moving object. An area where the correlation is determined to be low may have failed in alignment in the high resolution image. For this reason, the synthesized image generation unit generates a synthesized image having a lower resolution than the high resolution image from the high resolution image or the plurality of low resolution images. Then, the synthesis ratio calculation means calculates the synthesis ratio between the high resolution image and the synthesized image for each partial region based on the correlation information.
  • the composition ratio is calculated for each partial region so that the proportion of the high-resolution image is smaller in the region having lower correlation and the proportion of the high-resolution image is larger in the region having higher correlation, and the image composition means increases the proportion accordingly.
  • a composite image of the resolution image and the composite image is generated.
  • a partial region based on a region having low correlation between a plurality of low-resolution images such as a region having a large amount of motion including moving objects
  • the ratio of the composite image is increased.
  • a partial region based on a region having a high correlation among a plurality of low-resolution images, such as a still region is reliably increased in resolution by increasing the proportion of high-resolution images. Accordingly, it is possible to obtain an image with improved resolution while reducing the multiple images and artifacts while suppressing the calculation cost.
  • the composition ratio calculating unit is configured such that the partial region is the boundary region.
  • it is preferable to calculate the composition ratio so that the ratio of the high-resolution image is smaller than that in the non-boundary region.
  • the composition ratio can be varied depending on whether or not the partial areas are boundary areas. Therefore, it is possible to improve the resolution of the moire region in the still region such as the background while reliably suppressing the artifact and the multiple image even in the vicinity of the moving body boundary where the artifact and the multiple image are likely to occur.
  • the image acquisition unit acquires an image sensor that acquires a plurality of frames of an optical image of a subject in time series, a moving unit that relatively moves the position of the image sensor with respect to the optical image, and the moving unit It is good also as an imaging unit having a movement control means for controlling the relative movement direction and movement amount of the optical image and the imaging element.
  • the alignment unit may perform alignment based on at least one of the movement or the movement direction and the movement amount.
  • a high-resolution image is taken into consideration not only the movement but also the moving direction and moving amount of the image sensor. Since it can generate
  • the correlation calculating unit calculates correlation information for each partial region based on a color channel of the high-resolution image. By doing in this way, it is easy to calculate the correlation information for the partial area, and the calculation cost can be reduced while easily obtaining the correlation information.
  • the synthesized image generation unit generates an image with a resolution lower than that of the high resolution image by performing a filtering process on the high resolution image as a synthesized image. For example, a low-pass filter that reduces high-frequency components of a high-resolution image can be applied, and by generating a composite image in this way, a multiple image is generated for a region that is determined to have low correlation in the subsequent composite processing. And artifacts can be suppressed.
  • the synthesized image generation unit generates an enlarged image obtained by enlarging any one of the plurality of low resolution images to the same resolution as the high resolution image as a synthesized image.
  • an image acquisition step of acquiring a plurality of low resolution images captured in time series a motion detection step of detecting a motion between the plurality of low resolution images, and the motion Aligning a plurality of the low-resolution images based on the image, and generating a high-resolution image in which the plurality of low-resolution images are arranged in a higher-resolution image space than the low-resolution image; and Correlation calculation step for calculating correlation information indicating a degree of correlation between corresponding regions of the low resolution image corresponding to the partial region for each partial region of the high resolution image, and a plurality of the low resolution images or the high resolution images
  • a composition ratio calculating step for calculating a composition ratio for each of the partial areas and an image composition step for generating
  • a third aspect of the present invention includes an image acquisition step of acquiring a plurality of low resolution images captured in time series, a motion detection step of detecting a motion between the plurality of low resolution images, and the motion Aligning a plurality of the low-resolution images based on the image, and generating a high-resolution image in which the plurality of low-resolution images are arranged in a higher-resolution image space than the low-resolution image; and Correlation calculation step for calculating correlation information indicating a degree of correlation between corresponding regions of the low resolution image corresponding to the partial region for each partial region of the high resolution image, and a plurality of the low resolution images or the high resolution images
  • a synthesized image generating step for generating a synthesized image having a resolution lower than that of the high-resolution image, and the high-resolution image and the synthesized image based on the correlation information
  • a composite ratio calculation step for calculating a composite ratio for each partial region, and an image composition step for generating a composite
  • 1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to a first embodiment of the present invention.
  • 1 is a reference diagram illustrating a structure of an image sensor in an image processing apparatus according to a first embodiment of the present invention.
  • it is explanatory drawing which concerns on discrimination
  • it is a graph which shows the example of a synthetic
  • the image processing apparatus includes an image acquisition unit 11, a motion detection unit 12, a registration unit 13, a correlation calculation unit 14, a moving body boundary determination unit 15, a filter processing unit 16 (combined image generation unit), A composition ratio calculation unit 17 and an image composition unit 18 are provided.
  • the image acquisition unit 11 acquires a plurality of low-resolution images captured in time series.
  • an imaging element 21 that acquires an optical image of a subject
  • a shift mechanism (moving unit) 22 that moves the imaging element 21, and a moving direction and movement of the imaging element 21 by the shift mechanism 22.
  • An imaging unit including a sensor shift control unit 23 (movement control means) that controls the amount can be applied.
  • the imaging device 11 acquires a low-resolution image related to the optical image of the subject by capturing the optical image of the subject that is condensed by the imaging lens 20 and formed on the image plane of the imaging device 21.
  • a so-called super-resolution process is performed in which a low-resolution image is acquired in time series by the imaging element 21 and a high-resolution 1 image is acquired by combining these. Therefore, in the present embodiment, the image sensor 21 has the Bayer arrangement structure shown in FIG.
  • the shift mechanism 22 moves the position of the image sensor 21 relative to the optical image, and can move the image sensor 21 relative to each other in the horizontal and vertical directions in units of subpixels.
  • the sensor shift control unit 23 controls the direction and amount by which the image sensor 21 is relatively moved by the shift mechanism 22 for each frame.
  • the sensor shift control unit 23 outputs a control signal related to the moving direction and the moving amount to the shift mechanism 22 so as to move the image sensor 21 relative to the optical image according to a predetermined condition.
  • a plurality of low resolution images having sub-pixel positional shifts are captured by the image sensor 21 while the shift mechanism 22 is controlled by the sensor shift control unit 23, and the plurality of low resolution images are stored in the frame memory. 24.
  • the sensor shift control unit 23 outputs information (hereinafter referred to as “shift information”) related to the moving direction and moving amount of the image sensor 21 to the motion detecting unit 12.
  • the image acquisition unit 11 does not necessarily have to be applied with an imaging unit.
  • the image acquisition unit 11 may be configured to acquire a plurality of low-resolution images that have already been acquired in time series by an imaging apparatus outside the image processing apparatus. You can also.
  • the motion detection unit 12 detects a motion between a plurality of low resolution images stored in the frame memory 24. More specifically, the motion detection unit 12 uses any one of the plurality of low resolution images stored in the frame memory 24 as a standard image, and uses an image other than the standard image as a reference image. Movement information between the image and the reference image is acquired for each predetermined partial area. For example, using one block of 32 pixels ⁇ 32 pixels as a partial area, a motion vector in the horizontal direction and the vertical direction is acquired for each partial area by a block matching method or the like. Note that the motion information to be acquired may be not only the motion in the horizontal direction and the vertical direction, but also a change in the rotation direction and enlargement / reduction.
  • the alignment unit 13 performs alignment of a plurality of low resolution images based on the motion detected by the motion detection unit 12 or the shift information output from the sensor shift control unit 23, and an image space having a higher resolution than the low resolution image.
  • a high resolution image in which a plurality of low resolution images are arranged on the pixel is generated. More specifically, a plurality of low-resolution images stored in the frame memory 24 based on the motion information for each partial area between the low-resolution images by the motion detection unit 12 or the shift information by the sensor shift control unit 23 are converted into color channels ( Pixels are arranged on the high-resolution image space for each of R, Gr, Gb, and B) to generate a high-resolution image.
  • the pixels of the standard image are arranged in the high-resolution image space, and then the motion information for each partial area between the standard image and the reference image to be processed and the shift information of the reference image Is used to move the position of the reference image to place the pixel at a predetermined position.
  • the pixel is arranged, if the pixel having the same color as the pixel to be arranged is already arranged with the pixel of the standard image or the pixel of another reference image, it is not necessary to newly arrange the pixel.
  • the pixel value may be updated by averaging with pixels of the same color that are already arranged.
  • the alignment unit 13 performs a process of interpolating and filling a space where pixels are not yet arranged after all the images are arranged as pixels.
  • an interpolation method for example, it is possible to perform direction discrimination interpolation in consideration of the edge direction using surrounding pixels, or to copy and interpolate a pixel existing in the nearest vicinity.
  • ) is calculated and output to the synthesis ratio calculation unit 17.
  • the difference value ⁇ G is large, the degree of correlation between the corresponding areas is small, and when the difference value ⁇ G is small, the degree of correlation between the corresponding areas is high.
  • the moving object boundary determination unit 15 determines whether each partial region is a moving object boundary region based on the movement. That is, the moving body boundary determination unit 15 is based on the motion information for each partial region acquired by the motion detection unit 12, and is a boundary region of the moving body (hereinafter simply referred to as “boundary region”) and a region that is not the boundary of the moving body (hereinafter, (Referred to as “non-boundary region”).
  • boundary region a boundary region of the moving body
  • non-boundary region a region that is not the boundary of the moving body
  • FIG. 3 shows an example of moving object boundary determination when the moving object moves between the standard image 200 and the reference image 201.
  • FIG. 3 when determining whether or not the partial area 202 to be determined is a boundary area, local motion vectors of the partial area 202 and the eight partial areas 301 to 308 adjacent to the partial area 202 are calculated. The local motion vector similarity is calculated between the adjacent partial areas 301 to 308.
  • the determination target partial region 202 is a boundary region.
  • the determination-target partial area 203 has all local motion vectors similar between the eight adjacent partial areas 401 to 408, that is, it can be determined that only a group of areas having a high degree of similarity exists. Is determined.
  • the filter processing unit 16 functions as a composite image generation unit, and generates a composite image having a lower resolution than the high resolution image based on a plurality of low resolution images or high resolution images.
  • the filter processing unit 16 includes a first low-pass filter with a strong low-pass effect and a second low-pass filter with a low low-pass effect.
  • the filter processing unit 16 applies a filter process having a strong low-pass effect to the high-resolution image acquired from the alignment unit 13 by using the first low-pass filter to generate a composite image, and uses the second low-pass filter to generate a low-pass filter.
  • a high-resolution image for synthesis is generated by performing a filtering process with a weak effect.
  • the first low-pass filter that is, a filter with a strong low-pass effect, moves, for example, with respect to an area where the degree of correlation is low between a plurality of low-resolution images due to correlation information and it can be assumed that moving object alignment has failed.
  • This is a low-pass filter characteristic that greatly blurs the trajectory of the subject and attenuates the high-frequency component as much as possible.
  • the second low-pass filter that is, a filter having a low low-pass effect, is a filter having a filter characteristic that removes a minute alignment error while leaving edges and texture in a high-resolution image as much as possible.
  • the filter is a filter that attenuates only the Nyquist frequency of the high-resolution image while passing or enhancing the frequency components from the band to the Nyquist frequency band.
  • the first low-pass filter is more effective than the second low-pass filter, the first low-pass filter is generated by the first low-pass filter rather than the high-resolution image for synthesis generated by the second low-pass filter.
  • the synthesized image is a lower resolution image.
  • the composition ratio calculation unit 17 calculates the composition ratio of the high-resolution image and the image to be combined for each partial region based on the correlation information. At this time, the composition ratio calculation unit 17 calculates the composition ratio for each partial region so that the region with lower correlation has a smaller proportion of high resolution images and the region with higher correlation has a larger proportion of high resolution images. . In addition, the composition ratio calculation unit 17 calculates the composition ratio so that the proportion of the high-resolution image is smaller when the partial region is a boundary region than when the partial region is a non-boundary region.
  • Fig. 4 shows an example of the composition ratio of high-resolution images.
  • the composition ratio for the non-boundary area is indicated as A
  • the composition ratio for the boundary area is indicated as B.
  • the region having a larger difference value that is, the region having lower correlation has a smaller proportion of high resolution images and a smaller difference value.
  • a region, that is, a region having a higher correlation has a higher ratio of high resolution images.
  • the composition ratio A for the non-boundary region the composition ratio is set to 1 until the threshold 1, the composition ratio is linearly changed from the threshold 1 to the threshold 2, and when it is larger than the threshold 2, the composition ratio is set to 0. .
  • the composition ratio B with respect to the boundary area of the moving object the composition ratio is 1 until the threshold 1 ′, the composition ratio is linearly changed from the threshold 1 ′ to the threshold 2 ′, and when the composition ratio is larger than the threshold 2 ′. Is set to 0.
  • the threshold values 1 'and 2' are smaller than the threshold values 1 and 2, respectively.
  • the composition ratio is calculated so that the ratio of the high-resolution image is smaller than when the partial area is a non-boundary area.
  • the composition ratio is calculated so that the ratio of the higher resolution image becomes smaller.
  • the synthesis ratio corresponding to the correlation information (difference value) in A of FIG. 4 is applied as it is, and the difference value ⁇ G calculated by the correlation calculation unit is used as a boundary region or a non-boundary.
  • region. That is, assuming that a difference value obtained by correcting the difference value ⁇ G with an arbitrary coefficient ⁇ is ⁇ G ′, the difference value may be corrected by an equation of ⁇ G ′ ⁇ ⁇ ⁇ G, and the composite ratio may be calculated using the difference value ⁇ G ′. .
  • composition ratio of the composite image is as follows.
  • Composite ratio of image to be synthesized 1-Composite ratio of high resolution image
  • the image composition unit 18 generates a composite image of the high-resolution image for composition and the composite image according to the composition ratio, and outputs the generated composite image.
  • image processing that is, so-called super-resolution processing is performed as follows.
  • the image acquisition unit 11 acquires a plurality of low resolution images in time series and temporarily stores them in the frame memory 24.
  • the motion detection unit 12 detects a motion between a plurality of low resolution images stored in the frame memory 24, and outputs the detected motion to the alignment unit 13 and the moving body boundary determination unit 14.
  • the alignment unit 13 aligns a plurality of low-resolution images in the high-resolution image space based on the movement detected by the motion detection unit 12 or the shift information output from the sensor shift control unit 23 to thereby convert the high-resolution image.
  • the high-resolution image is generated and output to the correlation calculation unit 14 and the filter processing unit 16.
  • the correlation calculation unit 14 uses, as correlation information, the difference between the Gr pixel and the Gb pixel at the same position on the high-resolution image arranged in the high-resolution image space for each color channel by the alignment unit 13.
  • the value ⁇ G (
  • ) is calculated and output to the synthesis ratio calculation unit 17.
  • the moving body boundary determination unit 15 determines whether each partial region is a moving body boundary region or a non-boundary region based on the motion, and outputs the determination result to the composite ratio calculation unit 17.
  • the filter processing unit 16 applies a first low-pass filter to the high-resolution image to generate a composite image, and applies a second low-pass filter to generate a high-resolution image for synthesis.
  • the composite image and the high-resolution image for composition are output to the image composition unit 18.
  • the composition ratio calculation unit 17 calculates a composition ratio for each partial region based on the correlation information and whether the partial region is a boundary region.
  • the image composition unit 18 synthesizes the composite image and the high-resolution image for composition in accordance with the composition ratio calculated by the composition ratio calculation unit 17 to generate a composite image.
  • the composition ratio is calculated for each partial area based on the correlation information and whether the partial area is a boundary area. In other words, if the difference value is large and the correlation between the partial areas is low, it is highly likely that the alignment has failed. The composition ratio of the low-resolution composite image to which the filter is applied is increased.
  • the composition ratio of the synthesized image having a lower resolution is more likely to increase according to the correlation information than in the area that is not the moving body boundary.
  • afterimages and artifacts that are likely to occur at moving object boundaries can be reliably reduced, and resolution can be improved by increasing the composition ratio of high-resolution images in areas such as backgrounds that are not moving object boundaries. Can do. In other words, it is possible to obtain an image with improved resolution while reducing multiple images and artifacts while suppressing calculation cost.
  • the image processing apparatus according to the present embodiment includes an enlargement processing unit 19 instead of the filter processing unit 16 in the image processing apparatus according to the first embodiment.
  • the same components in the image processing apparatus according to the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • an enlargement processing unit 19 as a combined image generating unit is provided, and the enlargement processing unit 19 is configured to input a low resolution image directly from the frame memory 24. ing.
  • the enlargement processing unit 19 acquires a reference image from a plurality of low resolution images from the frame memory 24, enlarges the reference image to the same resolution as the high resolution image generated by the alignment unit 13, and receives the enlarged reference image.
  • a composite image is generated and output to the image composition unit 18.
  • the image synthesizing unit 18 synthesizes the high-resolution image output from the alignment unit 13 and the enlarged reference image as the synthesized image in accordance with the synthesis ratio calculated by the synthesis ratio calculation unit 17 to generate a synthesized image. Calculation of the combination ratio in the combination ratio calculation unit 17 is performed in the same manner as in the first embodiment.
  • the image processing apparatus also reduces afterimages and artifacts that are likely to occur at the moving object boundary, and the composition ratio of the high-resolution image formed by arranging a plurality of pixels in an area such as a background that is not the moving object boundary.
  • the resolution can be improved. In other words, it is possible to obtain an image with improved resolution while reducing multiple images and artifacts while suppressing calculation cost.
  • the image processing apparatus In each of the above-described embodiments, an example of generating an image having a higher resolution than the plurality of input images acquired by the image acquisition unit has been described.
  • the image processing apparatus generates an image having the same resolution as the input image. It can also be applied to processing such as noise reduction and high dynamic range by combining multiple images.
  • the image processing apparatus can be configured to be provided inside an image processing apparatus such as a digital camera.
  • the image processing program for performing the image processing can be configured to be developed and executed by a general purpose or dedicated computer, that is, the image processing apparatus can be realized by a general purpose or dedicated computer.
  • the image processing program for performing the image processing can be stored in a computer in advance, and a computer-readable storage such as a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory. It can also be stored on a medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

　時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、複数の低解像度画像間の動きに基づいて複数の低解像度画像を高解像度の画像空間上に位置合わせした高解像度画像を生成する位置合わせ手段と、高解像度画像の部分領域毎に、部分領域に相当する低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、相関情報に基づいて部分領域毎に高解像度画像と被合成画像との合成比率を算出し、合成比率に従って、高解像度画像と高解像度画像よりも低解像度の被合成画像とを合成する画像合成手段と、を備え、合成比率算出手段が、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きくなるように、部分領域毎に合成比率を算出する画像処理装置である。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、特に、複数の画像を合成処理することにより高解像度化した画像を取得する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
　従来、複数枚の入力画像からより高解像度の出力画像を生成する超解像処理が知られている。この超解像処理の一例として、特許文献１には、推定した高解像度画像を、カメラモデルから得られる点広がり関数（ＰＳＦ関数）によって低解像度画像にリサンプリングし、それらの低解像度画像と元の入力画像との画素値の差が小さくなるように高解像度画像を推定する処理を繰り返し行う再構成型超解像処理が開示されている。
特開２００６－１２７２４１号公報
　しかしながら、特許文献１の再構成型超解像処理は、高解像度画像を推定する処理を繰り返し行うため、計算コストが高くなる。一方、計算コストを抑えるために、繰り返し回数を少なく制限すると、推定高解像度画像において動体等によって生じる多重像やアーティファクトを低減しきれず、出力画像の画質が低下する。
　本発明は、上述した事情に鑑みてなされたものであって、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、複数の前記低解像度画像間の動きを検出する動き検出手段と、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段と、を備え、前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理装置である。
　本態様によれば、時系列的に撮像された同一被写体に係る複数の低解像度画像を取得し、これら複数の低解像度画像から高解像度化した１の画像を取得する。この場合において、低解像度画像中の動きに起因して高解像度化した画像において多重像などが生じることを防止するため、位置合わせ手段により、動き検出手段において検出された複数の画像間の動きを補正、すなわち位置合わせしながら、高解像度画像空間上に複数の低解像度画像を画素配置して高解像度画像を生成する。高解像度画像を所定の部分領域に区分し、この部分領域に相当する低解像度画像の対応領域間の相関の度合いを示す相関情報を部分領域毎に算出する。相関情報により、当該部分領域が複数の画像間の相関が小さい、すなわち、動きの大きい領域や動体を含む領域であるかをある程度判断することができる。相関が低いと判断される領域は、高解像度画像において位置合わせが失敗している可能性がある。このため、被合成画像生成手段により、高解像度画像又は複数の低解像度画像から、高解像度画像よりも低解像度の被合成画像を生成する。そして、合成比率算出手段により、相関情報に基づいて高解像度画像と被合成画像との合成比率を部分領域毎に算出する。このとき、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きくなるように部分領域毎に合成比率を算出し、画像合成手段がこれに従って高解像度画像と被合成画像との合成画像を生成する。
　このようにすることで、合成画像の生成に際して、例えば動体を含む等動きの大きい領域など、複数の低解像度画像間において相関性の低い領域に基づく部分領域については、被合成画像の割合を高くすることによって、多重像やアーティファクトを抑制する。一方、例えば静止領域など、複数の低解像度画像間において相関性の高い領域に基づく部分領域については、高解像度画像の割合を高くすることで確実に高解像度化する。従って、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。
　上記した態様において、前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定手段を備え、前記合成比率算出手段が、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出することが好ましい。
　このようにすることで、部分領域間の相関情報が同程度であっても、当該部分領域が境界領域であるか否かに応じて合成比率を異ならせることができる。従って、アーティファクトや多重像が生じやすい動体境界周辺においても、確実にアーティファクトや多重像を抑制しながら、背景などの静止領域におけるモアレ領域の解像度を向上することができる。
　上記した態様において、前記画像取得手段が、時系列的に被写体の光学像を複数フレーム取得する撮像素子と、前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、を有する撮像ユニットであることとしてもよい。
　また、上記した態様において、前記位置合わせ手段が、前記動き、又は前記移動方向及び前記移動量の少なくとも一方に基づいて位置合わせを行うこととしてもよい。
　このようにすることで、撮像ユニットにより時系列的に画素をずらしながら取得された複数の低解像度画像について、動きのみならず、撮像素子の移動方向や移動量をも考慮して高解像度画像を生成することができるので、解像度を向上させながら、より多重像等の抑制効果が向上する。
　上記した態様において、前記相関算出手段が、前記高解像度画像の色チャネルに基づいて部分領域毎の相関情報を算出することが好ましい。
　このようにすることで、当該部分領域に対する相関情報の算出が容易であり、相関情報を容易に取得しつつ計算コストを低減することができる。
　上記した態様において、前記被合成画像生成手段が、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成することが好ましい。
　例えば、高解像度画像の高周波成分を低減させるローパスフィルタなどを適用することができ、このようにして被合成画像を生成することで、後の合成処理において相関が低いと判断される領域について多重像やアーティファクトを抑制することができる。
　上記した態様において、前記被合成画像生成手段が、複数の前記低解像度画像のうち何れか１の画像を前記高解像度画像と同解像度に拡大した拡大画像を被合成画像として生成することが好ましい。
　このようにして被合成画像を生成することで、後の合成処理において相関が低いと判断される領域について多重像やアーティファクトを抑制することができる。
　また、本発明の第２の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理方法である。
　さらに、本発明の第３の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する処理をコンピュータに実行させる画像処理方法プログラムである。
　本発明によれば、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができるという効果を奏する。
本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置における撮像素子の構造を示す参考図である。 本発明の第１の実施形態において、動体の境界領域と非境界領域との判別に係る説明図である。 本発明の第１の実施形態において、合成比率の例を示すグラフである。 本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。
（第１の実施形態）
　以下に、本発明の第１の実施形態に係る画像処理装置について図面を参照して説明する。
　図１に示すように、画像処理装置は、画像取得部１１、動き検出部１２、位置合わせ部１３、相関算出部１４、動体境界判定部１５、フィルタ処理部１６（被合成画像生成手段）、合成比率算出部１７、及び画像合成部１８を備えている。
　画像取得部１１は、時系列的に撮像された複数の低解像度画像を取得する。画像取得部１１として、本実施形態においては、被写体の光学像を取得する撮像素子２１、撮像素子２１を移動させるシフト機構（移動手段）２２、及びシフト機構２２による撮像素子２１の移動方向及び移動量を制御するセンサシフト制御部２３（移動制御手段）を備えた撮像ユニットを適用することができる。
　撮像素子１１は、撮像レンズ２０によって集光され、撮像素子２１の像面上に結像された被写体の光学像を撮像することにより、被写体の光学像に係る低解像度画像を取得する。本実施形態における画像処理装置では、撮像素子２１により低解像度画像を時系列的に取得し、これらを合成することにより高解像度の１の画像を取得する、所謂超解像処理を行っている。このため、本実施形態において撮像素子２１は、図２に示すベイヤー配列構造を有している。
　シフト機構２２は、光学像に対する撮像素子２１の位置を相対的に移動させるものであり、撮像素子２１を水平、垂直方向にサブピクセル単位で相対移動させることができるようになっている。センサシフト制御部２３は、シフト機構２２によって撮像素子２１を相対移動させる方向と量とをフレーム毎に制御する。
　すなわち、センサシフト制御部２３は、予め定めた条件に従って、撮像素子２１を光学像に対して相対移動させるように移動方向及び移動量に関する制御信号をシフト機構２２に出力する。画像取得部１１では、センサシフト制御部２３によりシフト機構２２を制御しながら、撮像素子２１により互いにサブピクセルの位置ずれを有する複数の低解像度画像を撮像し、これら複数の低解像度画像をフレームメモリ２４に記憶する。また、センサシフト制御部２３は、撮像素子２１の移動方向及び移動量に関する情報（以下、「シフト情報」という）を動き検出部１２に出力する。
　なお、画像取得部１１として、必ずしも撮像ユニットを適用する必要はなく、例えば、画像処理装置の外部の撮像装置によって既に時系列に取得された複数の低解像度画像を一時に取得する構成とすることもできる。
　動き検出部１２は、フレームメモリ２４に記憶された複数の低解像度画像間の動きを検出する。より具体的には、動き検出部１２は、フレームメモリ２４に格納された複数の低解像度画像のうち、何れか１の低解像度画像を基準画像とし、基準画像以外の画像を参照画像として、基準画像と参照画像との間の動き情報を所定の部分領域毎に取得する。例えば、３２画素×３２画素からなる１ブロックを部分領域として、部分領域毎にブロックマッチング法等により水平方向と垂直方向の動きベクトルを取得する。なお、取得する動き情報は、水平方向と垂直方向の動きだけでなく、回転方向や拡大縮小の変化でも良い。
　位置合わせ部１３は、動き検出部１２において検出した動き又はセンサシフト制御部２３から出力されたシフト情報に基づいて複数の低解像度画像の位置合わせを行い、低解像度画像よりも高解像度の画像空間上に複数の低解像度画像を画素配置した高解像度画像を生成する。より具体的には、動き検出部１２による低解像度画像間の部分領域毎の動き情報又はセンサシフト制御部２３によるシフト情報に基づいてフレームメモリ２４に記憶された複数の低解像度画像を色チャネル（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の高解像度画像空間上に画素配置して、高解像度画像を生成する。
　画素配置の手順としては、まず基準画像の画素を高解像度画像空間上に画素配置し、次に基準画像と処理対象の参照画像との間の部分領域毎の動き情報及び当該参照画像のシフト情報を用いて、参照画像の位置を移動させて所定位置に画素配置する。画素配置する際には、配置する画素の色と同色の画素が、既に基準画像の画素や他の参照画像の画素で配置されている場合には、新たに画素配置しなくても良いし、既に配置されている同色画素と加算平均して画素値を更新しても良い。
　また、位置合わせ部１３は、全ての画像を画素配置した後に、まだ画素配置されていない空間を補間して埋める処理を行う。補間の方法は、例えば、周囲の配置されている画素を用いてエッジ方向を考慮した方向判別補間を施したり、最近傍に存在する画素をコピーして補間したりすることができる。
　相関算出部１４は、高解像度画像の部分領域毎に、その部分領域に相当する低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する。すなわち、相関算出部１４は、相関情報として、位置合わせ部１３で色チャネルごとに高解像度画像空間上に画素配置された高解像度画像上の同一位置のＧｒ画素とＧｂ画素の差分値ΔＧ＝（｜Ｇｒ－Ｇｂ｜）を算出し、合成比率算出部１７に出力する。差分値ΔＧが大きい場合には、対応領域間の相関の度合いが小さく、差分値ΔＧが小さい場合には、対応領域間の相関の度合いが大きいということができる。
　動体境界判定部１５は、動きに基づいて、各部分領域が動体の境界領域であるか否かを判定する。つまり、動体境界判定部１５は、動き検出部１２で取得された部分領域毎の動き情報に基づいて、動体の境界領域（以下、単に「境界領域」という）と動体の境界でない領域（以下、「非境界領域」という）を判定する。部分領域が境界領域であるか否かを判定するために、例えば、判定対象の部分領域と当該部分領域に隣接する周囲の部分領域とのローカル動きベクトルの類似度を算出することができる。
　図３に、基準画像２００と参照画像２０１間で動体が動いたときの動体境界判定の一例を示す。図３において、判定対象の部分領域２０２について境界領域であるか否かを判定する場合、部分領域２０２と、部分領域２０２に隣接する８つの部分領域３０１～３０８とのローカル動きベクトルを算出し、隣接する部分領域３０１～３０８間においてローカル動きベクトルの類似度を算出する。
　８つの隣接する部分領域３０１～３０８のうち、ローカル動きベクトルの類似度が高い領域群（部分領域３０５，３０７，３０８）と類似度が低い領域群（接領域３０１～３０４，３０６）の２つの領域群が存在するため、判定対象の部分領域２０２が境界領域であると判定する。一方、判定対象の部分領域２０３は、隣接する８つの部分領域４０１～４０８間においてローカル動きベクトルがすべて類似しており、つまり、類似度が高い領域群のみが存在すると判断できるため、非境界領域と判定する。
　フィルタ処理部１６は、被合成画像生成手段として機能し、複数の低解像度画像又は高解像度画像に基づいて、高解像度画像よりも低解像度の被合成画像を生成する。本実施形態において、フィルタ処理部１６は、ローパス効果の強い第１のローパスフィルタ及びローパス効果の弱い第２のローパスフィルタを備えている。フィルタ処理部１６は、位置合わせ部１３から取得した高解像度画像に対して、第１のローパスフィルタによりローパス効果の強いフィルタ処理を施して被合成画像を生成すると共に、第２のローパスフィルタによりローパス効果の弱いフィルタ処理を施して合成用の高解像度画像を生成する。
　第１のローパスフィルタ、つまりローパス効果の強いフィルタは、例えば、相関情報により複数の低解像度画像間において相関の度合いが低く、動体の位置合わせが失敗していると想定できる領域等に対し、動く被写体の軌道を大きくぼかし、出来る限り高周波成分を減衰させる低域通過フィルタ特性であり、あたかも露光内の動体ぶれのようにするフィルタである。
　第２のローパスフィルタ、つまり、ローパス効果の弱いフィルタとは、例えば、高解像度画像におけるエッジやテクスチャをできる限り残しつつ、微小な位置合わせ誤差を除去するようなフィルタ特性をもつフィルタであり、低域からナイキスト周波数帯域までの周波数成分は通過または強調しつつ、高解像度画像のナイキスト周波数のみを減衰させるようなフィルタである。
　なお、第１のローパスフィルタは、第２のローパスフィルタに比して、その効果が強いため、第２のローパスフィルタによって生成させる合成用の高解像度画像よりも、第１のローパスフィルタによって生成される被合成画像のほうが低解像度の画像となる。
　合成比率算出部１７は、相関情報に基づいて、高解像度画像と被合成画像との合成比率を部分領域毎に算出する。このとき、合成比率算出部１７は、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きくなるように、部分領域毎に合成比率を算出する。また、合成比率算出部１７は、部分領域が境界領域である場合、非境界領域である場合よりも、高解像度画像の割合が小さくなるように合成比率を算出する。
　図４に、高解像度画像の合成比率の例を示す。図４中、非境界領域に対する合成比率をＡ、境界領域に対する合成比率をＢとして示す。図４に示すように、非境界領域に対する合成比率Ａも、境界領域に対する合成比率Ｂも共に、差分値が大きい領域、つまり相関性の低い領域ほど高解像度画像の割合が小さく、差分値が小さい領域、つまり相関性の高い領域ほど高解像度画像の割合が大きい合成比率となっている。
　さらに、非境界領域に対する合成比率Ａでは、閾値１までは合成比率を１とし、閾値１から閾値２までは合成比率を直線的に変化させ、閾値２より大きい場合は合成比率を０にしている。一方、動体の境界領域に対する合成比率Ｂでは、閾値１’までは合成比率を１とし、閾値１’から閾値２’までは合成比率を直線的に変化させ、閾値２’より大きい場合は合成比率を０にしている。閾値１’と閾値２’はそれぞれ閾値１と閾値２よりも小さな値としている。
　このように、部分領域が境界領域である場合、非境界領域である場合よりも、高解像度画像の割合が小さくなるように合成比率を算出する。つまり、閾値を制御することで、部分領域が動体の境界領域である場合と非境界領域である場合とが、互いに同一の差分値（相関情報）を有している場合でも、境界領域の方が、より高解像度画像の割合が小さくなるように合成比率を算出する。
　なお、例えば、合成比率については、図４のＡの相関情報（差分値）に応じた合成比率をそのまま適用し、相関算出部で算出された差分値ΔＧ自体を、境界領域であるか非境界領域であるかに応じて補正するようにしてもよい。つまり、差分値ΔＧを任意の係数αにより補正した差分値をΔＧ’とすると、ΔＧ’＝α×ΔＧの式で差分値を補正し、その差分値ΔＧ’で合成比率を算出してもよい。例えば境界領域でα＝１．５、非境界領域でα＝１．０として差分値を補正すれば、境界領域のほうがより合成比率が０に近づく方向に差分値の寄与度を高くすることができる。
　なお、被合成画像の合成比率は、以下のようになる。
　　被合成画像の合成比率＝１－高解像度画像の合成比率
　画像合成部１８は、合成比率に従って、合成用の高解像度画像と被合成画像との合成画像を生成し、生成された合成画像を出力する。
　このように構成された本実施形態に係る画像処理装置においては、以下のように画像処理、すなわち所謂超解像処理が行われる。
　まず、画像取得部１１が時系列的に複数の低解像度画像を取得し、フレームメモリ２４に一時的に記憶する。続いて、動き検出部１２が、フレームメモリ２４に記憶された複数の低解像度画像間の動きを検出し、検出した動きを位置合わせ部１３及び動体境界判定部１４に出力する。
　位置合わせ部１３では、動き検出部１２において検出した動き又はセンサシフト制御部２３から出力されたシフト情報に基づいて複数の低解像度画像を高解像度画像空間上に位置合わせすることにより高解像度画像を生成し、高解像度画像を相関算出部１４及びフィルタ処理部１６に出力する。相関算出部１４では、相関算出部１４は、相関情報として、位置合わせ部１３で色チャネルごとに高解像度画像空間上に画素配置された高解像度画像上の同一位置のＧｒ画素とＧｂ画素の差分値ΔＧ＝（｜Ｇｒ－Ｇｂ｜）を算出し、合成比率算出部１７に出力する。動体境界判定部１５は、動きに基づいて、各部分領域が動体の境界領域であるか非境界領域であるかを判定し、判定結果を合成比率算出部１７に出力する。
　フィルタ処理部１６は、高解像度画像に対して、第１のローパスフィルタを適用して被合成画像を生成すると共に、第２のローパスフィルタを適用して合成用の高解像度画像を生成し、被合成画像と合成用の高解像度画像とを画像合成部１８に出力する。
　合成比率算出部１７は、相関情報及び当該部分領域が境界領域であるか否かに基づいて部分領域毎に合成比率を算出する。
　画像合成部１８は、合成比率算出部１７により算出された合成比率に従って、被合成画像と合成用の高解像度画像とを合成して合成画像を生成する。
　本実施形態によれば、部分領域毎の合成比率を算出する際に、相関情報及び当該部分領域が境界領域であるか否かに基づいて部分領域毎に合成比率を算出している。つまり、差分値が大きく部分領域間の相関性が低い場合は位置合わせが失敗している可能性が高いため、ローパス効果の弱いフィルタを適用した高解像度画像の合成比率が小さく、ローパス効果の強いフィルタを適用した低解像度の被合成画像の合成比率が大きくなるようにする。
　また、境界領域においては動体境界でない領域よりも相関情報に応じてより低解像度である被合成画像の合成比率が大きくなりやすいようにしている。このようにすることで、動体境界で生じやすい残像やアーティファクトを確実に低減することができると共に、動体境界でない背景などの領域では高解像度画像の合成比率を大きくすることにより、解像度を向上させることができる。つまり、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。
（第２の実施形態）
　以下、本発明の第２の実施形態に係る画像処理装置について図面を参照して説明する。本実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置におけるフィルタ処理部１６に代えて拡大処理部１９を有している。本実施形態に係る画像処理装置おいて、第１の実施形態に係る画像処理装置における同一の構成については同一の符号を付しその説明を省略する。
　本実施形態では、図５に示すように、被合成画像生成手段としての拡大処理部１９を備えており、拡大処理部１９は、フレームメモリ２４から直接、低解像度画像が入力されるようになっている。
　拡大処理部１９では、フレームメモリ２４から複数の低解像度画像のうち基準画像を取得し、この基準画像を位置合わせ部１３において生成される高解像度画像と同じ解像度に拡大して拡大基準画像を被合成画像として生成し、画像合成部１８に出力する。画像合成部１８では、位置合わせ部１３から出力された高解像度画像と被合成画像としての拡大基準画像とを合成比率算出部１７により算出された合成比率に従って合成し、合成画像を生成する。合成比率算出部１７における合成比率の算出は上述の第１の実施形態と同様に行われる。
　従って、本実施形態に係る画像処理装置によっても、動体境界で生じやすい残像やアーティファクトを低減し、動体境界でない背景などの領域では複数枚の画素が配置されてできた高解像度画像の合成比率を大きくすることにより、解像度を向上させることができる。
　つまり、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。
　なお、上述した各実施形態では、画像取得部で取得した複数枚の入力画像よりも高解像度の画像を生成する例について説明したが、上記画像処理装置を、入力画像と同じ解像度の画像を生成するような複数枚合成によるノイズリダクションや高ダイナミックレンジ化などの処理に適用することもできる。
　また、上述した各実施形態に係る画像処理装置は、デジタルカメラ等の画像処理装置の内部に備えられる構成とすることができる。また、上記画像処理を行う画像処理プログラムが汎用又は専用のコンピュータにより展開され実行される構成とすることもできる、すなわち汎用又は専用のコンピュータにより上記画像処理装置を実現することができる。
　なお、上記画像処理を行う画像処理プログラムは、予めコンピュータに記憶しておくことができるのは勿論、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等のコンピュータ読み取り可能な記憶媒体に記憶しておくこともできる。
１１　画像取得部
１２　動き検出部
１３　位置合わせ部
１４　相関算出部
１５　動体境界判定部
１６　フィルタ処理部（被合成画像生成手段）
１７　合成比率算出部
１８　画像合成部
１９　拡大処理部
２１　撮像素子
２２　シフト機構（移動手段）
２３　センサシフト制御部（移動制御手段）

Claims (9)

  1. 　時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、
    　複数の前記低解像度画像間の動きを検出する動き検出手段と、
    　前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、
    　前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、
    　複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、
    　前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、
    　前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段と、を備え、
    　前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理装置。
  2. 　前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定手段を備え、
    　前記合成比率算出手段が、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する請求項１記載の画像処理装置。
  3. 　前記画像取得手段が、
    　時系列的に被写体の光学像を複数フレーム取得する撮像素子と、
    　前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、
    　該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、を有する撮像ユニットである請求項１又は請求項２記載の画像処理装置。
  4. 　前記位置合わせ手段が、前記動き、又は前記移動方向及び前記移動量の少なくとも一方に基づいて位置合わせを行う請求項３記載の画像処理装置。
  5. 　前記相関算出手段が、前記高解像度画像の色チャネルに基づいて部分領域毎の相関情報を算出する請求項１乃至請求項４の何れか１項記載の画像処理装置。
  6. 　前記被合成画像生成手段が、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成する請求項１乃至請求項５の何れか１項記載の画像処理装置。
  7. 　前記被合成画像生成手段が、複数の前記低解像度画像のうち何れか１の画像を前記高解像度画像と同解像度に拡大した拡大画像を被合成画像として生成する請求項１乃至請求項５の何れか１項記載の画像処理装置。
  8. 　時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
    　複数の前記低解像度画像間の動きを検出する動き検出ステップと、
    　前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
    　前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
    　複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
    　前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
    　前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、
    　前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理方法。
  9. 　時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
    　複数の前記低解像度画像間の動きを検出する動き検出ステップと、
    　前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
    　前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
    　複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
    　前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
    　前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、
    　前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する処理をコンピュータに実行させる画像処理方法プログラム。
PCT/JP2015/054327 2014-04-16 2015-02-17 画像処理装置、画像処理方法及び画像処理プログラム WO2015159581A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580019429.8A CN106165395B (zh) 2014-04-16 2015-02-17 图像处理装置、图像处理方法及图像处理程序
US15/285,007 US9898803B2 (en) 2014-04-16 2016-10-04 Image processing apparatus, image processing method, and recording medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-084556 2014-04-16
JP2014084556A JP5847228B2 (ja) 2014-04-16 2014-04-16 画像処理装置、画像処理方法及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/285,007 Continuation US9898803B2 (en) 2014-04-16 2016-10-04 Image processing apparatus, image processing method, and recording medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2015159581A1 true WO2015159581A1 (ja) 2015-10-22

Family

ID=54323799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/054327 WO2015159581A1 (ja) 2014-04-16 2015-02-17 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US9898803B2 (ja)
JP (1) JP5847228B2 (ja)
CN (1) CN106165395B (ja)
WO (1) WO2015159581A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493521A4 (en) * 2016-07-29 2019-07-31 Guangdong OPPO Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR SYNTHESIS OF SEVERAL INDIVIDUAL IMAGES
US11146746B2 (en) 2017-07-05 2021-10-12 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
US10805649B2 (en) 2017-01-04 2020-10-13 Samsung Electronics Co., Ltd. System and method for blending multiple frames into a single frame
US10715727B2 (en) * 2017-05-16 2020-07-14 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
CN111164959B (zh) * 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
CN111345026B (zh) 2018-08-27 2021-05-14 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN109934193B (zh) * 2019-03-20 2023-04-07 福建师范大学 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
US20220301193A1 (en) * 2019-09-02 2022-09-22 Sony Group Corporation Imaging device, image processing device, and image processing method
IL274418B (en) * 2020-05-03 2021-12-01 Elbit Systems Electro Optics Elop Ltd Systems and methods for enhanced motion detection, objective tracking, situational awareness and super-resolution video using microscanning images
JP2023103116A (ja) * 2022-01-13 2023-07-26 Ｔｖｓ Ｒｅｇｚａ株式会社 画像処理回路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142109A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
WO2011024249A1 (ja) * 2009-08-24 2011-03-03 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2011165043A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837575B2 (ja) 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
WO2008114499A1 (ja) * 2007-03-20 2008-09-25 Panasonic Corporation 撮影装置および撮影方法
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP5365823B2 (ja) * 2011-10-14 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142109A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
WO2011024249A1 (ja) * 2009-08-24 2011-03-03 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2011165043A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493521A4 (en) * 2016-07-29 2019-07-31 Guangdong OPPO Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR SYNTHESIS OF SEVERAL INDIVIDUAL IMAGES
US11146746B2 (en) 2017-07-05 2021-10-12 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Also Published As

Publication number Publication date
CN106165395B (zh) 2019-06-04
US9898803B2 (en) 2018-02-20
JP2015204599A (ja) 2015-11-16
CN106165395A (zh) 2016-11-23
JP5847228B2 (ja) 2016-01-20
US20170024856A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10636126B2 (en) Image processing device, imaging apparatus, image processing method, image processing program, and recording medium
JP6553826B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
JP4480760B2 (ja) 画像データ処理方法および画像処理装置
JP6326180B1 (ja) 画像処理装置
US11146746B2 (en) Image processing device, image capturing device, image processing method, and storage medium
US11445109B2 (en) Image processing device, image capturing device, image processing method, and storage medium
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
JP2012186593A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
JP2011055259A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP6135937B2 (ja) 画像処理方法および画像処理装置
JP5505072B2 (ja) 画像データ処理装置および画像データ処理方法
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2015159778A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109754370B (zh) 图像去噪方法及装置
JP2015019318A (ja) 撮像装置、撮像装置の制御方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15779209

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15779209

Country of ref document: EP

Kind code of ref document: A1