WO2011018878A1 - 画像処理システム、画像処理方法および画像処理用プログラム - Google Patents

画像処理システム、画像処理方法および画像処理用プログラム Download PDF

Info

Publication number
WO2011018878A1
WO2011018878A1 PCT/JP2010/004686 JP2010004686W WO2011018878A1 WO 2011018878 A1 WO2011018878 A1 WO 2011018878A1 JP 2010004686 W JP2010004686 W JP 2010004686W WO 2011018878 A1 WO2011018878 A1 WO 2011018878A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution image
super
current frame
image
low
Prior art date
Application number
PCT/JP2010/004686
Other languages
English (en)
French (fr)
Inventor
池谷彰彦
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/390,012 priority Critical patent/US8712175B2/en
Priority to JP2011526682A priority patent/JPWO2011018878A1/ja
Publication of WO2011018878A1 publication Critical patent/WO2011018878A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Definitions

  • the present invention relates to an image processing system, an image processing method, and an image processing program, and more particularly to an image processing system, an image processing method, and an image processing program that can improve the quality of moving images.
  • the moving image super-resolution technology is used for up-conversion for displaying, for example, an image shot with SD (Standard Definition) resolution on a television receiver with HD (High Definition) resolution.
  • SD Standard Definition
  • HD High Definition
  • Patent Document 1 describes a high-resolution image generation method for generating a high-resolution image from a plurality of low-resolution images with positional deviation.
  • each pixel of a plurality of low resolution images is associated with a certain position in the high resolution image space.
  • the plurality of low resolution images are pixels sampled at unequal intervals in the high resolution space.
  • pixel positions sampled at unequal intervals (referred to as observation pixel positions) are approximated by pixel positions of a high-resolution image. At this time, there may be a plurality of observation pixel positions approximated to a certain high-resolution pixel position, or they may not exist.
  • a Kalman filter is known as a method for estimating the state of various systems.
  • the Kalman filter is described in Non-Patent Document 1, for example.
  • the noises w t and v t follow the normal distribution given by the following expressions (1) and (2), state prediction and updating are repeated sequentially. To calculate a least squares solution.
  • JP 2008-109375 A paragraphs 0022-0034
  • Patent Document 1 has a problem that the image quality of the super-resolution image is lowered when the alignment of the low-resolution image fails.
  • the present invention provides an image processing system, an image processing method, and an image processing system that can solve the problem that the image quality of a high resolution image is deteriorated due to the failure of image alignment when the resolution of a moving image is increased.
  • An object is to provide an image processing program.
  • An image processing system calculates a geometric transformation parameter representing a geometric transformation of an image from a previous frame to a current frame, and generates a geometric transformation parameter calculation means for calculating a reliability of the geometric transformation parameter, and generates it in the previous frame.
  • a super-resolution image prediction means for generating a prediction of the super-resolution image of the current frame by deforming the super-resolution image based on the geometric transformation parameter, and a prediction result of the super-resolution image of the current frame
  • the low-resolution image is calculated by simulation, the difference between the low-resolution image that is the input image of the current frame and the low-resolution image calculated by the simulation is calculated, and the difference is the same number of pixels as the super-resolution image.
  • the image processing method calculates a geometric transformation parameter representing a geometric transformation of an image from the previous frame to the current frame, calculates a reliability of the geometric transformation parameter, and generates a super solution generated in the previous frame.
  • the image image is transformed based on the geometric transformation parameters to generate a prediction of the super resolution image of the current frame, and the low resolution image of the current frame is calculated by simulation from the prediction result of the super resolution image of the current frame,
  • the difference between the low-resolution image that is the input image of the current frame and the low-resolution image calculated by simulation is calculated, and the difference is upsampled to the same number of pixels as the super-resolution image.
  • the image processing program calculates a geometric transformation parameter that represents a geometric transformation of an image from the previous frame to the current frame, and calculates a reliability of the geometric transformation parameter.
  • a super-resolution image prediction process for generating a prediction of a super-resolution image of the current frame by transforming the super-resolution image generated in the previous frame based on a geometric transformation parameter; and a super-resolution of the current frame
  • the low resolution image of the current frame is calculated from the prediction result of the image by simulation, and the difference between the low resolution image that is the input image of the current frame and the low resolution image calculated by the simulation is calculated.
  • the present invention in the case of increasing the resolution of a moving image, it is possible to solve the problem that the image quality of a high resolution image is deteriorated due to the failure of image alignment.
  • step S5 It is a flowchart which shows the example of the process progress of the prediction result update (step S5) of the super-resolution image in 1st Embodiment. It is a block diagram which shows the example of the image processing system of the 2nd Embodiment of this invention. It is a flowchart which shows the example of the process progress in 2nd Embodiment. It is a flowchart which shows the example of the process progress of the prediction result update (step S44) of the super-resolution image in 2nd Embodiment. It is a block diagram which shows the specific structural example of the image processing system by this invention. It is a block diagram which shows the minimum structure of this invention.
  • FIG. FIG. 1 is an explanatory diagram showing the relationship between an input low resolution image and an output super resolution image in the present invention.
  • the image processing system of the present invention receives a low-resolution image sequence and outputs a super-resolution image sequence obtained by the super-resolution processing.
  • the image processing system of the present invention receives, for example, an SD resolution image and outputs an HD resolution image.
  • SD and HD are examples of resolution, and images of other resolutions may be input / output.
  • the low resolution image is represented by y
  • the super resolution image is represented by x.
  • the low resolution image y and the super resolution image x are obtained by storing pixel values in an image in a column vector in raster scan order.
  • a symbol y representing a low resolution image and a symbol x representing a super resolution image are represented by subscripts representing frames.
  • the current frame to be processed is represented by t
  • the previous frame is represented by t-1.
  • M t, t -1 from the super-resolution image x t-1 in the frame t-1, is a matrix representing the geometric conversion to super-resolution image x t in the frame t.
  • w t is a vector representing noise (predictive noise) independent of geometric transformation.
  • the relationship between the low-resolution image y t and the super-resolution image x t in the current frame t can be represented by the formula (4) shown below.
  • B is a matrix representing a blur in the low-resolution image y t generation.
  • D is a matrix representing downsampling when the low-resolution image yt is generated.
  • v t is a vector representing noise (observation noise).
  • FIG. 2 shows an example of an image to be blurred
  • FIG. 2 illustrates an image of 5 ⁇ 5 pixels.
  • the pixel values a 22 and the pixel values a 11 of its neighboring pixels a 12, a 13, a 21, a 23, a 31 , A 32 , a 33 with the average value.
  • FIG. 3 is a column vector representing the image illustrated in FIG.
  • FIG. 4 is an example of the matrix B representing blurring. However, in FIG. 4, elements for two rows of the matrix B are shown, and the other rows are not shown. In FIG. 4, of the two specifically shown rows, the first row is referred to as the k-th row for convenience and the next row is referred to as the (k + 1) -th row.
  • the first condition is that each row corresponds to each pixel in the image.
  • the second condition is that when the number of pixels used for the average calculation is n, the value of each component in each row is the pixel corresponding to the row whose pixel value is multiplied by that component and the pixels in the vicinity thereof. If it is a value, it is set to 1 / n, and is set to 0 if the pixel value to be multiplied is a pixel value of a pixel other than the pixel corresponding to the row and its neighboring pixels. Note that this condition is an example. For example, instead of making the values of the rows of the matrix B uniform, the matrix B may be determined so as to satisfy other conditions such as setting based on a normal distribution.
  • the matrix D indicating downsampling may be determined so as to satisfy the following condition, for example.
  • the first condition is that each row corresponds to each pixel of the image after downsampling.
  • the second condition is that the value of each component in each row is 1 if the pixel value multiplied by the component is the pixel value of the pixel that remains after downsampling, and 0 if the pixel value of the pixel to be thinned out. It is.
  • This condition is an example, and the matrix D may be determined so as to satisfy other conditions.
  • the image processing system of the present invention predicts the super-resolution image in the current frame from the known x t-1 (ie, the super-resolution image in the previous frame).
  • the image processing system of the present invention performs a calculation using the low-resolution image y t in the current frame, and the calculation result by performing a weighted calculation in the prediction result of the super-resolution image, the super-resolution An image is generated.
  • the image processing system of the present invention performs low-resolution image simulation by simulating an imaging process when photographing a subject in the real world with a camera on the prediction result of the super-resolution image. Is generated.
  • the image processing system of the present invention the difference between the low-resolution image obtained by the simulation and the low-resolution image y t in the current frame is calculated, and upsampling the difference.
  • a super-resolution image is generated as a weighted calculation result between the calculation result and the prediction result of the super-resolution image.
  • the prediction result of the super-resolution image represented as x p, the super-resolution image determined expressed as x r, are denoted with subscript indicating the frame, respectively.
  • the prediction result of the super-resolution image of the current frame t is expressed as x p, t, represents the super-resolution image determined in the current frame t x r, and t.
  • a super-resolution image determined in the previous frame is represented as xr, t-1 .
  • X p and x r in each frame are also expressed as column vectors in which pixel values in the image are arranged in raster scan order.
  • a low-resolution image is obtained by simulation from the prediction result xp, t of the super-resolution image
  • conversion corresponding to blurring and downsampling may be performed on xp , t .
  • B is a matrix representing blur
  • D is a matrix representing downsampling.
  • an example in which a low-resolution image is calculated from the prediction result xp, t of the super-resolution image using the matrices B and D in this way is taken as an example.
  • the method of obtaining the low-resolution image using the matrices B and D is an example of simulation. If the simulation represents the imaging process of the subject, the low-resolution image is derived from x p, t by another simulation. May be.
  • FIG. 7 is a block diagram showing an example of the image processing system according to the first embodiment of the present invention.
  • the image processing system 20 according to the first embodiment includes a geometric transformation matrix calculation unit 21, a super-resolution image prediction unit 22, a super-resolution image update unit 23, and an error parameter setting unit 24.
  • the geometric transformation matrix calculation means 21 calculates a transformation matrix representing a geometrical transformation from the super-resolution image in the previous frame to the super-resolution image in the current frame.
  • this transformation matrix is referred to as a geometric transformation matrix and denoted as M t, t ⁇ 1 .
  • M t, t-1 is the geometric deformation corresponding to the geometric deformation of the low-resolution image y t-1 in the previous frame t-1 to the low-resolution image y t in the current frame t
  • This is a transformation matrix realized between super-resolution images.
  • M t, t ⁇ 1 is a transformation matrix that realizes a translation of 5s pixels.
  • the geometric transformation matrix calculation means 21 calculates the reliability of prediction based on the geometric transformation matrix M t, t ⁇ 1 . That is, the reliability of the prediction result when the super-resolution image of the current frame is predicted using the geometric transformation matrix M t, t ⁇ 1 is calculated.
  • this reliability can be referred to as the reliability of geometric transformation by M t, t ⁇ 1 , and is hereinafter referred to as geometric transformation reliability.
  • the super-resolution image predicting means 22 uses the M t, t ⁇ 1 calculated by the geometric transformation matrix calculating means 21 to use the super-resolution image x r, t ⁇ generated in the previous frame t ⁇ 1. 1 is generated to generate a prediction x p, t of the super-resolution image of the current frame t. Further, the super-resolution image prediction unit 22 calculates a prior error matrix.
  • the prior error matrix is an error related to the super-resolution image x t of the current frame, and represents an error estimated from the past observation history (ie, y 1 , y 2 ,..., Y t ⁇ 1 ). It is a matrix.
  • the pre-error matrix denoted as P b, further, subjecting the subscript represents the frame to the code.
  • the prior error matrix P b, t in the current frame t represents an error related to x t estimated from each low resolution image from y 1 to y t ⁇ 1 .
  • the super-resolution image predicting means 22 may calculate the prior error matrix P b, t in the current frame t by the following equation (5).
  • M t, t ⁇ 1 T is a transposed matrix of M t, t ⁇ 1 .
  • Q is a covariance matrix representing a normal distribution with respect to the prediction noise w t in Equation (3). It can be said that the covariance matrix Q is a parameter for calculating the prior error matrix P b, t .
  • the covariance matrix Q is determined by the error parameter setting unit 24 based on the geometric transformation reliability.
  • the super-resolution image updating unit 23 performs a simulation on the prediction result x p, t of the super-resolution image, and calculates a low-resolution image of the current frame t in a simulated manner. Further, super-resolution image updating means 23 calculates a low-resolution image y t in the current frame t, the difference between the low-resolution image obtained by the simulation. Further, the super-resolution image updating unit 23 calculates the Kalman gain, and uses the calculated difference, the Kalman gain, and the prediction result x p, t of the super-resolution image, and weights the difference and x p, t. Calculate the average. This calculation result is a super-resolution image x r, t in the current frame t.
  • the super-resolution image prediction means 22 uses the super-resolution image prediction means 22 to generate a predicted x p, t + 1 of frame t + 1 of the super-resolution image.
  • the super-resolution image updating unit 23 calculates a posterior error matrix.
  • the posterior error matrix is an error relating to the super-resolution image x t of the current frame, and is a past observation history (ie, y 1 , y 2 ,..., Y t ⁇ 1 ) and a low value of the current frame t. is a matrix representing the error estimated from resolution image y t.
  • the prior error matrix P a, t in the current frame t represents an error related to x t estimated from the low resolution images from y 1 to y t .
  • the posterior error matrix P a, t ⁇ 1 in the immediately preceding frame represents an error related to x t estimated from the low resolution images from y 1 to y t ⁇ 1 .
  • a method for calculating the posterior error matrix will be described later.
  • the super-resolution image updating unit 23 may calculate the Kalman gain K t by calculating the following equation (6), where K t is the Kalman gain in the current frame t.
  • Equation (6) P b, t T is a transposed matrix of P b, t , and similarly, (DB) T is a transposed matrix of (DB). Further, “ ⁇ 1” in Equation (6) represents an inverse matrix.
  • R is a covariance matrix representing a normal distribution with respect to the observation noise v t in equation (4). Covariance matrix R can be considered to be a parameter for calculating the Kalman gain K t. The covariance matrix R is determined by the error parameter setting unit 24 based on the geometric transformation reliability.
  • B is a matrix representing blurring
  • D is a matrix representing downsampling.
  • the error parameter setting means 24 is based on the geometric transformation reliability calculated by the geometric transformation matrix calculating means 21, and the covariance matrix Q representing the normal distribution with respect to the prediction noise w t and the covariance representing the normal distribution with respect to the observation noise v t. Set the variance matrix R. In other words, the error parameter setting means 24 determines the parameter Q used when calculating the prior error matrix P b, t and the parameter R used when calculating the Kalman gain K t based on the geometric transformation reliability. .
  • Geometric transformation matrix calculation means 21, super-resolution image prediction means 22, super-resolution image update means 23, and error parameter setting means 24 are realized by, for example, a CPU of a computer that operates according to an image processing program.
  • the CPU reads an image processing program stored in a program storage means (not shown) of the computer, and the CPU follows the program according to the geometric transformation matrix calculation means 21, super-resolution image prediction means 22, and super-resolution image update. It operates as means 23 and error parameter setting means 24.
  • the geometric transformation matrix calculation unit 21, the super-resolution image prediction unit 22, the super-resolution image update unit 23, and the error parameter setting unit 24 may be realized as separate circuits.
  • FIG. 8 is a flowchart illustrating an example of processing progress in the first embodiment.
  • the image processing system 20 receives a low resolution image forming a low resolution moving image in time order.
  • the geometric transformation matrix calculation unit 21 the geometric transformation matrix M t, and calculates the t-1 (step S1).
  • step S1 the geometric transformation matrix calculation unit 21 uses a low-resolution image y t-1 of the previous frame of the current frame, and a low-resolution image y t of the current frame t, geometric transformation matrix M t and t ⁇ 1 are calculated.
  • the geometric transformation matrix calculation unit 21 enlarges the low resolution images y t ⁇ 1 and y t to an image having the same number of pixels as the super resolution image.
  • the low resolution images y t ⁇ 1 and y t are enlarged at an enlargement ratio from the low resolution image to the super resolution image.
  • This enlargement process may be performed by, for example, bilinear interpolation or bicubic interpolation.
  • An image obtained by enlarging a low-resolution image y t-1 and Y t-1 mark the image obtained by enlarging a low-resolution image y t and Y t.
  • Y t-1 can be regarded as approximating the super-resolution image in the frame t ⁇ 1
  • the geometric transformation matrix calculation means 21, M t, M t in which the difference between t-1 by Y t-1 the result of the conversion and Y t is minimized may be calculated to t-1. That is, the geometric transformation matrix calculation means 21, M t, will change the t-1, M t, may be specified to t-1 when the value of formula (7) below is minimized.
  • This method is called the gradient method. Note that the calculation method of M t, t ⁇ 1 shown here is an example, and M t, t ⁇ 1 may be calculated by other methods.
  • the geometric transformation matrix calculation means 21 calculates the geometric transformation reliability (step S2).
  • An example of the calculation method of geometric transformation reliability is shown.
  • a geometric transformation reliability may be determined.
  • the geometric transformation matrix calculating means 21 calculates the pixel for each corresponding pixel of Y ′ and the reference image Y t.
  • the absolute value of the difference between the values (luminance values) is calculated, the reciprocal of the average value of the absolute values in the entire image is calculated, and the value is used as the geometric transformation reliability. Note that this geometric transformation reliability calculation method is merely an example, and the geometric transformation matrix calculation means 21 may calculate the geometric transformation reliability by another method.
  • the error parameter setting means 24 After the geometric transformation reliability is calculated, the error parameter setting means 24, according to the geometric transformation reliability, the covariance matrix Q representing the normal distribution with respect to the prediction noise w t and the covariance representing the normal distribution with respect to the observation noise v t.
  • a dispersion matrix R is set (step S3).
  • the geometric transformation reliability is represented by r. Further, it is assumed that the geometric transformation reliability r is normalized so as to be a value in the range from 0 to 1.
  • the geometric transformation reliability r may be normalized by, for example, the geometric transformation matrix calculation means 21.
  • the error parameter setting unit 24 may perform this.
  • the error parameter setting means 24 derives a new covariance matrix Q by performing the following equation (8) for Q calculated in the previous frame. That is, a result obtained by multiplying Q calculated in the previous frame by (1-r) is set as a new Q.
  • the error parameter setting means 24 derives a new covariance matrix R by performing the following equation (9) for R calculated in the previous frame. In other words, a result obtained by multiplying R calculated in the previous frame by r is set as a new R.
  • the super-resolution image predicting means 22 transforms the super-resolution image x r, t-1 generated in the previous frame t-1 using the geometric transformation matrix M t, t-1 .
  • the prediction xp, t of the super-resolution image of the current frame t is generated (step S4).
  • the super-resolution image predicting means 22 converts the column vector representing the super-resolution image x r, t ⁇ 1 into the geometric transformation matrix M t, t ⁇ 1 as shown in the following equation (10). The multiplication from the right side is performed to generate a predicted xp, t of the super-resolution image.
  • the super-resolution image predicting means 22 also calculates the prior error matrix P b, t when generating x p, t in step S4.
  • the super-resolution image predicting means 22 may calculate the prior error matrix P b, t in the current frame t by the above-described equation (5).
  • the super-resolution image predicting unit 22 uses the covariance matrix Q set by the error parameter setting unit 24 in step S3, and P b, t Is calculated.
  • step S4 the super-resolution image updating means 23 updates the super-resolution image x r, t in the current frame by updating the prediction result x p, t of the super-resolution image calculated in step S4. Calculate (step S5).
  • FIG. 9 is a flowchart illustrating an example of a process progress of the super-resolution image prediction result update (step S5) in the first embodiment.
  • B used in Equation (6) is a matrix representing blurring
  • D is a matrix representing downsampling.
  • the super-resolution image updating means 23 the prediction result x p of the super-resolution image of the current frame t calculated in In step S4 (see FIG. 8), by simulation from t, the low resolution of the current frame t An image is generated. Then, the super-resolution image updating unit 23 calculates a difference between the low-resolution image y t actually input in the current frame t and the low-resolution image generated from x p, t by simulation (step S32). ). In this example, the super-resolution image updating unit 23 obtains a low-resolution image by calculating DBx p, t by simulation using a matrix B representing blurring and a matrix D representing downsampling. Then, the difference between y t, may be determined by calculating the (y t -DBx p, t) .
  • Equation (11) the Kalman gain K t is a matrix that performs upsampling and weighting on (y t ⁇ DBx p, t ).
  • the weighted addition represented by Expression (11) is an aspect of calculating the weighted average of x p, t and (y t ⁇ DBx p, t ).
  • the super-resolution image updating unit 23 calculates a posterior error matrix Pa, t in the current frame t (step S34).
  • the super-resolution image updating unit 23 may calculate P a, t by performing the following equation (12).
  • I is a unit matrix.
  • the super-resolution image updating unit 23 passes x r, t and P a, t calculated in the current frame t to the super-resolution image prediction unit 22.
  • step S4 of the next frame t + 1 processing is performed using this xr, t as a super-resolution image of the previous frame.
  • step S33 of the next frame t + 1 this P a, t is used when calculating the prior error matrix P b, t + 1 .
  • the image processing system 20 performs the processing of steps S1 to S5 each time a low resolution image of each frame is input. As a result, a super-resolution image is obtained for each frame. A sequence of super-resolution images for each frame becomes a super-resolution moving image. Therefore, the image processing system 20 can generate a super-resolution moving image from a low-resolution moving image. The image processing system 20 outputs super-resolution images in the order of frames.
  • the super-resolution image prediction means 22 calculates the prior error matrix P b, t using this Q
  • the super-resolution image update means 23 calculates the Kalman gain using the P b, t and R. To do.
  • the super-resolution image updating unit 23 calculates the super-resolution image x r, t in the current frame using the Kalman gain. Therefore, the image processing system 20 sets the parameters Q and R according to the case even when the alignment of the images Y t ⁇ 1 and Y t fails, and sets the super-resolution image x r, t . Since the calculation is performed, it is possible to prevent deterioration of the image quality of the super-resolution image.
  • the image processing system 20 uses the low resolution input in the current frame t when the reliability of prediction of the super resolution image using the geometric transformation matrix M t, t ⁇ 1 is low. It is possible to increase the weight for the image y t.
  • the reliability of super-resolution image prediction using the geometric transformation matrix M t, t-1 is high , the weight for the prediction result x p, t of the super-resolution image can be increased. As a result, it is possible to prevent the super-resolution image from failing even when the prediction of the super-resolution image by the geometric transformation matrix M t, t ⁇ 1 fails.
  • the super-resolution image updating unit 23 updates the prediction result of the super-resolution image of the current frame t in step S33 using the difference calculated in step S32. Therefore, the accuracy of the super-resolution image can be increased. Specifically, when the resolution is reduced by reducing the super-resolution image, an image having a small difference from the original low-resolution image is obtained. This means that the generated super-resolution image has high accuracy.
  • the first frame an image obtained by up-sampling the low-resolution image of the first frame to the same number of pixels as the super-resolution image is regarded as a super-resolution image, and the processing shown in FIG. 8 is performed.
  • the posterior error matrix Pa , 1 in the first frame is, for example, a unit matrix.
  • the same image as the low-resolution image of the first frame is used as the low-resolution image in the frame immediately before the first frame, and the low-resolution image of the first frame is upsampled.
  • the processing shown in FIG. 8 may be performed from the first frame by regarding the image as the super-resolution image in the frame immediately before the first frame. Also in this case, it may be assumed that the posterior error matrix in the frame immediately before the first frame is, for example, a unit matrix.
  • the image may be completely different between the current frame t and the previous frame t-1.
  • the error parameter setting unit 24 sets all the components of the covariance matrix Q related to the prediction noise to 0, and the image processing system 30 may generate a super-resolution image from only the low-resolution image of the current frame t. Good.
  • the super-resolution image prediction unit 22 may use an image obtained by enlarging the low-resolution image of the current frame t as the prediction of the super-resolution image of the current frame t. Other operations are the same as those in the first embodiment.
  • Whether or not a scene change has occurred may be determined based on whether or not the geometric transformation reliability is equal to or less than a predetermined threshold.
  • This threshold value may be determined as a small value such that a value equal to or less than the threshold value can be regarded as zero. Then, for example, the error parameter setting unit 24 determines that a scene change has occurred if the geometric transformation reliability is equal to or less than a threshold value, and determines that no scene change has occurred if the geometric transformation reliability is greater than the threshold value. That's fine.
  • the error parameter setting unit 24 determines, for each pixel, the absolute value of the difference between corresponding pixels between the low resolution image of the current frame t and the low resolution image of the previous frame t ⁇ 1.
  • the error parameter setting unit 24 determines that a scene change has occurred if the sum of absolute values of differences obtained for the entire image (all pixels) is equal to or greater than a threshold value, and determines that a scene change has occurred if the absolute sum of differences is less than the threshold value. It may be determined that no has occurred.
  • a super-resolution image is generated by advancing the processing sequence from the previous frame to the previous frame instead of proceeding from the previous frame. Also good. That is, the image processing system of the present invention predicts the super-resolution image of the current frame t based on the geometric transformation from the super-resolution image of the previous frame t + 1 in terms of time, and inputs the prediction result. updated based on the low resolution image y t, it may be generated super-resolution image of the current frame t.
  • the low-resolution image y t in the current frame t, x p, low-resolution image DBx p was determined by simulation from t, the difference between t (y t -DBx p, t ) with respect to
  • a matrix for performing upsampling and weighting for example, Kalman gain K t
  • Matrix for performing up-sampling and weighting may be other than the Kalman gain K t.
  • Embodiment 2 In the first embodiment, the case where weighting calculation using the Kalman gain is performed is shown.
  • a super-resolution image in the current frame is calculated by performing the following equation (13) instead of equation (11) using the geometric transformation reliability that is a scalar as a weighting factor.
  • x r, t is calculated.
  • r is the geometric transformation reliability. However, it is assumed that the geometric transformation reliability r is normalized so as to be a value in the range from 0 to 1.
  • U is a matrix indicating that (y t ⁇ DBx p, t ) is up-sampled to the same number of pixels as the super-resolution image by bilinear interpolation or bicubic interpolation, for example.
  • FIG. 10 is a block diagram showing an example of an image processing system according to the second embodiment of the present invention.
  • the image processing system 30 according to the second embodiment includes a geometric transformation matrix calculation unit 21, a super-resolution image prediction unit 22, and a super-resolution image update unit 33. Constituent elements similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 7, and detailed description thereof is omitted.
  • the super-resolution image prediction means 22 does not calculate the prior error matrix.
  • the error parameter setting unit 24 is not provided, and the geometric transformation matrix calculation unit 21 inputs the calculated geometric transformation reliability to the super-resolution image update unit 33.
  • the super-resolution image updating unit 33 does not calculate the posterior error matrix and the Kalman gain.
  • the geometric transformation matrix calculation unit 21, the super-resolution image prediction unit 22, and the super-resolution image update unit 33 are realized by a CPU of a computer that operates according to an image processing program, for example.
  • the CPU reads an image processing program stored in program storage means (not shown) of the computer, and the CPU follows the program according to the geometric transformation matrix calculation means 21, super-resolution image prediction means 22, and super-resolution image update. Operates as means 33.
  • the geometric transformation matrix calculation unit 21, the super-resolution image prediction unit 22, and the super-resolution image update unit 33 may be realized as separate circuits.
  • FIG. 11 is a flowchart illustrating an example of processing progress of the present embodiment.
  • the image processing system 30 receives a low-resolution image forming a low-resolution moving image in order of time.
  • the geometric transformation matrix calculation means 21 calculates a geometric transformation matrix M t, t ⁇ 1 (step S41).
  • the operation in step S41 is the same as step S1 in the first embodiment (see FIG. 8).
  • the geometric transformation matrix calculation unit 21 generates an image Y t-1 obtained by enlarging the low resolution image y t-1 and an image Y obtained by enlarging the low resolution image y t. t is generated.
  • Y t ⁇ 1 and Y t are images having the same number of pixels as the super-resolution image.
  • the geometric transformation matrix calculation means 21 may specify M t, t ⁇ 1 when the value of Equation (7) is minimum.
  • step S42 calculates the geometric transformation reliability (step S42).
  • the operation in step S42 is the same as that in step S2 (see FIG. 8) in the first embodiment. That is, the geometric transformation matrix calculation unit 21, among the M t, the image was enlarged from Teikai image image at t-1 calculated Y t-1, Y t, based on the image Y t corresponding to the current frame, Y t ⁇ 1 is converted with the geometric transformation matrix M t, t ⁇ 1 and the difference between the reference image Y t and the geometric transformation reliability decreases, and the smaller the difference, the higher the geometric transformation reliability.
  • the geometric transformation reliability may be determined.
  • the geometric transformation matrix calculation means 21 normalizes the geometric transformation reliability r so that the value of the geometric transformation reliability r becomes a value in the range from 0 to 1.
  • the geometric transformation matrix calculating unit 21 inputs the calculated geometric transformation reliability to the super-resolution image updating unit 33.
  • the super-resolution image predicting means 22 transforms the super-resolution image x r, t-1 generated in the previous frame t-1 using the geometric transformation matrix M t, t-1 .
  • the prediction xp, t of the super-resolution image of the current frame t is generated (step S43).
  • the operation in step S43 is the same as the xp , t generation operation in step S4 (see FIG. 8). That is, the super-resolution image prediction unit 22 may obtain the prediction x p, t of the super-resolution image of the current frame t by performing the calculation of the above-described equation (10).
  • the super-resolution image updating unit 33 updates the super-resolution image x r, t in the current frame by updating the prediction result x p, t of the super-resolution image calculated in step S43. Calculate (step S44). This mode of operation is different from that of the first embodiment.
  • FIG. 12 is a flowchart illustrating an example of processing progress of the super-resolution image prediction result update (step S44) in the second embodiment.
  • step S44 the super-resolution image updating unit 33, the prediction result x p of the super-resolution image of the current frame t calculated in step S43, the simulation from t, the low of the current frame t A resolution image is generated. Then, the super-resolution image updating unit 33 calculates a difference between the low-resolution image y t actually input in the current frame t and the low-resolution image generated from x p, t by simulation (step S51). ).
  • the process of step S51 is the same as that of step S32 (refer FIG. 9) in 1st Embodiment.
  • the super-resolution image updating unit 33 obtains a low-resolution image by calculating DBx p, t by simulation using a matrix B representing blurring and a matrix D representing downsampling. Then, the difference between y t, may be determined by calculating the (y t -DBx p, t) .
  • the super-resolution image updating unit 33 calculates a weighted average between the prediction result x p, t of the super-resolution image of the current frame t and the difference (y t ⁇ DBx p, t ) calculated in step S51. Calculate (step S52). Specifically, the super-resolution image updating unit 33 sets the geometric transformation reliability r input to the geometric transformation matrix calculating unit 21 as the weighting coefficient on the x p, t side, and sets (1-r) as the difference (y t ⁇ DBx p, t ) side weighting coefficient.
  • the super-resolution image updating unit 33 performs the calculation of the above-described equation (13) using the weighting factors r and (1-r) in this way.
  • the super-resolution image updating unit 33 performs a loop process of steps S51 to S54. After step S52, the super-resolution image updating unit 33 determines whether or not to end this loop process (step S53). For example, the super-resolution image updating means 33, and x r, t obtained in step S52 immediately before, x r were determined in the previous step S52, if the difference between t is equal to or less than the threshold value, x r, What is necessary is just to determine that t has converged and to end the loop processing.
  • step S52 the x r, t obtained in step S52 immediately before, x r were determined in the previous step S52, is larger than the difference threshold between t, is regarded as x r, t has not converged, loop Can be determined to continue.
  • the super-resolution image updating unit 33 updates the prediction result x p, t of the super-resolution image to x r, t obtained in the immediately preceding step S52 (Ste S54). Then, the super-resolution image updating unit 33 repeats the loop processing from step S51 onward using the prediction x p, t of the new super-resolution image.
  • step S53 may be performed by another method. For example, if the number of executions of the loop processing in steps S51 to S54 is determined in advance and the number of executions of the process of calculating xr, t (step S52) reaches a predetermined number, the super-resolution image updating unit 33 It may be determined that the loop process is finished.
  • the same effect as in the first embodiment can be obtained, and a highly accurate super-resolution image can be generated. That is, when the geometric transformation reliability r is low , the accuracy of xr , t can be prevented from decreasing by adjusting the weight of U (y t ⁇ DBx p, t ) to be high.
  • FIG. 13 shows a specific configuration example of the image processing system according to the present invention.
  • the computer 40 is provided with an image input means 41 for sequentially inputting the low resolution image for each frame as a moving image of the low resolution image.
  • the computer 40 is provided with image output means 42 for sequentially outputting the super-resolution image for each frame as a moving image of the super-resolution image.
  • the computer 40 further includes a storage medium 43 that stores an image processing program.
  • the storage medium 43 is realized by a storage device such as a magnetic disk or a semiconductor memory, for example, but the aspect of the storage medium 43 is not particularly limited.
  • the storage medium 43 may be a storage medium that is removable from the computer.
  • a CPU (not shown) of the computer 40 reads an image processing program from the storage medium 43 and, for example, the image processing system 20 (see FIG. 7) of the first embodiment or the second embodiment according to the program.
  • the image processing system 30 (see FIG. 10) operates.
  • the geometric transformation parameter calculation means 51 calculates a geometric transformation parameter (for example, a geometric transformation matrix M t, t-1 ) representing the geometric transformation of the image from the previous frame to the current frame. Then, the reliability of the geometric transformation parameter (for example, the geometric transformation reliability) is calculated.
  • a geometric transformation parameter for example, a geometric transformation matrix M t, t-1
  • the resolution image prediction means 52 (for example, the super resolution image prediction means 22) predicts the super resolution image of the current frame by deforming the super resolution image generated in the previous frame based on the geometric transformation parameter. Is generated.
  • a geometric transformation parameter for example, a geometric transformation matrix M t, t-1 ) representing a geometric transformation of an image from the previous frame to the current frame is calculated, and a reliability of the geometric transformation parameter (for example, a geometric transformation reliability) )
  • a reliability of the geometric transformation parameter for example, a geometric transformation reliability
  • the super-resolution image generation means calculates the low-resolution image of the current frame by simulation from the prediction result of the super-resolution image of the current frame.
  • the difference between the low resolution image (for example, y t ) that is the input image of the current frame and the low resolution image (for example, DBx p, t ) calculated by simulation, and applying the Kalman filter The weighted average of the result of up-sampling the difference (for example, (y t ⁇ DBx p, t )) to the same number of pixels as the super-resolution image and the prediction result of the super-resolution image of the current frame is calculated.
  • An image processing system that uses the calculation result of the weighted average as a super-resolution image of the current frame.
  • the Kalman gain the difference between the low-resolution image calculated by the low-resolution image and simulation is the input image of the current frame (e.g., (y t -dbx p, )) Multiplied by, by adding the prediction result of the super-resolution image of the current frame, the difference between the results obtained by up-sampling the same number of pixels and the super-resolution image, the prediction result of the super-resolution image of the current frame
  • r is the super-resolution image of the current frame.
  • the weighted average is calculated using 1 ⁇ r as the weighting coefficient of the prediction result of the current frame, and 1 ⁇ r as the weighting coefficient of the upsampling result of the difference between the low resolution image that is the input image of the current frame and the low resolution image calculated by the simulation Image processing system.
  • the super-resolution image generation means performs simulation calculation representing the imaging process (for example, blurring and down-sampling) of the subject on the prediction result of the super-resolution image of the current frame, thereby reducing the current frame
  • An image processing system for calculating a resolution image An image processing system for calculating a resolution image.
  • the present invention can be suitably applied to an image processing system that converts a moving image of a low resolution image into a moving image of a high resolution image.
  • an image processing system that converts a moving image of a low resolution image into a moving image of a high resolution image.
  • NTSC National Television System Committee
  • it can be applied to an image processing system that saves while converting in real time to an image quality equivalent to high definition or a resolution equivalent to high definition.
  • a video signal recorded in the NTSC format is played back by a playback device, it can also be applied to an image processing system that outputs to a display device while converting in real time to an image quality equivalent to high definition or a resolution equivalent to high definition.
  • receiving and displaying NTSC video with a high-definition television receiver it can also be applied to a television receiver that displays images converted in real time to the same image quality or resolution equivalent to high-definition. It is.
  • Geometric transformation matrix calculation means 22 Super-resolution image prediction means 23, 33 Super-resolution image update means 24 Error parameter setting means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

　幾何変換パラメータ算出手段は、前フレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、その幾何変換パラメータの信頼度を計算する。解像画像予測手段は、前フレームの超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーション結果との差分を計算し、当該差分のアップサンプリング結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する。このとき、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。

Description

画像処理システム、画像処理方法および画像処理用プログラム
　本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、動画像を高画質化できる画像処理システム、画像処理方法および画像処理用プログラムに関する。
　同じ被写体を撮影した複数枚の低解像画像から、より高い解像度をもつ高解像画像を生成する技術が種々提案されている（例えば、特許文献１参照）。この高解像画像は、超解像画像と呼ばれる。なお、低解像画像は、低解像度画像と呼ばれることもある。高解像画像は高解像度画像と呼ばれることもある。
　近年では、静止画像だけでなく、動画像にも同技術を適用し、低解像の動画像から、より高い解像度の動画像を生成する動画超解像技術に対するニーズが高まっている。動画超解像技術は、例えば、ＳＤ（Standard Definition ）解像度で撮影された映像を、ＨＤ（High Definition ）解像度のテレビジョン受像機で表示するためのアップコンバートに利用される。
　特許文献１には、位置ずれのある複数の低解像度画像から高解像度画像を生成する高解像度画像生成方法が記載されている。特許文献１に記載の方法では、複数の低解像度画像の各画素は、高解像度画像空間のある位置に対応付けられる。つまり、位置合わせの後では、複数の低解像度画像は、高解像度空間内で不等間隔にサンプリングされた画素であるとする。特許文献１に記載の方法では、この不等間隔にサンプリングされた画素位置（観測画素位置と称する）を高解像度画像の画素位置で近似する。このとき、ある高解像度画素位置に近似される観測画素位置は、複数あったり、あるいは、存在しなかったりすることも考えられる。特許文献１に記載の方法では、各高解像度画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成する。特許文献１に記載の方法では、この画像を「平均画像」と称している。また、各高解像度画素位置に近似された観測画素も、同様に１つの画像となる。特許文献１では、この画像を「重み画像」と称している。特許文献１に記載の方法では、複数の低解像度画像と、位置合わせによって得られた低解像度画像の位置ずれ情報から、平均画像および重み画像を生成する。そして、生成された平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成する。また、特許文献１に記載の方法では、低解像度画像が取得される毎に、平均画像および重み画像を更新し、逐次的に高解像度画像を生成する。
　また、種々のシステム等の状態を推定する手法として、カルマンフィルタが知られている。カルマンフィルタは、例えば、非特許文献１に記載されている。非特許文献１に記載されたカルマンフィルタでは、ノイズｗｔ，ｖｔが以下に示す式（１）、式（２）で与えられる正規分布に従う場合に、状態の予測と更新を逐次的に繰り返すことにより、最小二乗解を計算する。
　ｗｔ～Ｎ（０，Ｑ）　　　　　式（１）
　ｖｔ～Ｎ（０，Ｒ）　　　　　式（２）
特開２００８－１０９３７５号公報（段落００２２－００３４）
Greg Welch, Gray Bishop, "An Introduction to the Kalman Filter," Technical Report TR 95-041, University of North Carolina, Department of Computer Science, 1995.
　特許文献１に記載された方法では、低解像度画像の位置合わせに失敗した場合において、超解像画像の画質が低くなってしまうという問題があった。
　そこで、本発明は、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。
　本発明による画像処理システムは、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、超解像画像生成手段は、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。
　また、本発明による画像処理方法は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算し、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。
　また、本発明による画像処理用プログラムは、コンピュータに、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、超解像画像生成処理で、幾何変換パラメータの信頼度に基づいて重み付き平均を計算させることを特徴とする。
　本発明によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。
本発明において入力される低解像画像と出力される超解像画像との関係を示す説明図である。 ぼかしの対象となる画像の例を示す説明図である。 図２に例示する画像を表す列ベクトルを示す説明図である。 ぼかしを表す行列Ｂの例を示す説明図である。 ダウンサンプリング後の画像の例を示す説明図である。 ダウンサンプリングを表す行列Ｄの例を示す説明図である。 本発明の第１の実施形態の画像処理システムの例を示すブロック図である。 第１の実施形態における処理経過の例を示すフローチャートである。 第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の画像処理システムの例を示すブロック図である。 第２の実施形態における処理経過の例を示すフローチャートである。 第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。 本発明による画像処理システムの具体的な構成例を示すブロック図である。 本発明の最小構成を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明において、入力される低解像画像と出力される超解像画像との関係を示す説明図である。本発明の画像処理システムには、低解像画像のシーケンスが入力され、超解像処理によって得られた超解像画像のシーケンスを出力する。本発明の画像処理システムは、例えば、ＳＤ解像度の画像を入力され、ＨＤ解像度の画像を出力する。ただし、ＳＤ、ＨＤは解像度の例示であり、他の解像度の画像を入出力してもよい。また、以下の説明では、低解像画像をｙで表し、超解像画像をｘで表す。低解像画像ｙおよび超解像画像ｘは、画像中の画素値をラスタスキャン順に列ベクトルに格納したものである。また、低解像画像を表す符号ｙや、超解像画像を表す符号ｘには、フレームを表す添え字を付して表す。そして、処理対象とする現フレームをｔで表し、その１つ前のフレームをｔ－１で表す。
　現フレームｔにおける超解像画像ｘｔと、その１つ前のフレームｔ－１における超解像画像ｘｔ－１との関係は、以下に示す式（３）で示すことができる。
　ｘｔ＝Ｍｔ，ｔ－１ｘｔ－１＋ｗｔ　　　　　式（３）
　式（３）において、Ｍｔ，ｔ－１は、フレームｔ－１における超解像画像ｘｔ－１から、フレームｔにおける超解像画像ｘｔへの幾何変換を表す行列である。ｗｔは、幾何変換に独立なノイズ（予測ノイズ）を表すベクトルである。
　また、現フレームｔにおける低解像画像ｙｔと超解像画像ｘｔとの関係は、以下に示す式（４）で示すことができる。
　ｙｔ＝ＤＢｘｔ＋ｖｔ　　　　　式（４）
　Ｂは、低解像画像ｙｔ生成時におけるぼかしを表す行列である。Ｄは、低解像画像ｙｔ生成時におけるダウンサンプリングを表す行列である。ｖｔは、ノイズ（観測ノイズ）を表すベクトルである。
　図２ないし図４を用いて、ぼかしの模擬の例を説明する。ぼかしは、画像内の画素毎に、画素値を、近傍の他の画素の画素値との平均値で置き換えることで模擬できる。図２は、ぼかしの対象となる画像の例を示し、図２では、５×５画素の画像を例示している。例えば、画素値ａ２２の画素に着目した場合、その着目画素の画素値を、その画素値ａ２２およびその近傍画素の画素値ａ１１，ａ１２，ａ１３，ａ２１，ａ２３，ａ３１，ａ３２，ａ３３の平均値で置き換える。また、例えば、画素値ａ２３の画素に着目した場合、その着目画素の画素値を、その画素値ａ２３およびその近傍画素の画素値ａ１２，ａ１３，ａ１４，ａ２２，ａ２４，ａ３２，ａ３３，ａ３４の平均値で置き換える。他の画素についても、同様に画素値の置換を行うことで、ぼかしを模擬できる。図３は、図２に例示する画像を表す列ベクトルである。図４は、ぼかしを表す行列Ｂの例である。ただし、図４では、行列Ｂの２行分の要素を示し、他の行の図示は省略している。図４において、具体的に示した２行のうち、最初の行を便宜的にｋ行目と称し、その次の行をｋ＋１行目と称することとする。
　図２に示す画像は、図３に示す列ベクトルで表すことができる。従って、この列ベクトルに乗じる行列Ｂとして、図４に例示する行列を用いればよい。図４に示すｋ行目は、画素値ａ２２の置換に用いる行列成分である。また、図４に示すｋ＋１行目は、画素値ａ２３の置換に用いる行列成分である。なお、上述のように、図４では他の行を省略している。図４に示す行列Ｂの右側から、図３に示す列ベクトルを乗じれば、各画素の平均値を計算することができる。図４に示す行列Ｂの他の行の計算に関しても同様である。従って、ぼかしを示す行列Ｂは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行が画像中の各画素に対応していることである。第２の条件は、平均計算に用いる画素の個数をｎとしたときに、各行の個々の成分の値を、その成分に乗じられる画素値がその行に対応する画素およびその近傍の画素の画素値である場合には１／ｎとし、その乗じられる画素値がその行に対応する画素およびその近傍の画素以外の画素の画素値である場合には０とすることである。なお、この条件は一例であり、例えば、行列Ｂの各行の値を均等とするかわりに、正規分布に基づいて設定するなど、他の条件を満足するように行列Ｂを定めてもよい。
　図５および図６を用いて、ダウンサンプリングの模擬の例を説明する。図５は、ダウンサンプリング後の画像の例を示す説明図である。図６は、ダウンサンプリングを表す行列Ｄの例である。ここでは、図２に例示する画像を、図５に例示する画像にダウンサンプリングする場合を例にして説明する。ダウンサンプリングでは、画像の画素値を間引けばよい。例えば、図６に示す行列Ｄに、図３に示す画像の列ベクトルを右側から乗じれば、画素値ａ１１，ａ１３，ａ１５，ａ３１，ａ３３，ａ３５，ａ５１，ａ５３，ａ５５を含む画像（図５参照）を得ることができる。従って、ダウンサンプリングを示す行列Ｄは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行がダウンサンプリング後の画像の各画素と対応していることである。第２の条件は、各行の個々の成分の値を、その成分に乗じられる画素値がダウンサンプリング後も残す画素の画素値であれば１とし、間引く画素の画素値であれば０とすることである。なお、この条件は一例であり、他の条件を満足するように行列Ｄを定めてもよい。
　式（３）および式（４）において、ｙｔを「観測結果」、ｘｔを「直接観測できない状態」と捉えると、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言える。
　本発明の画像処理システムは、既知のｘｔ－１（すなわち前のフレームにおける超解像画像）から現フレームにおける超解像画像を予測する。また、本発明の画像処理システムは、現フレームにおける低解像画像ｙｔを用いた演算を行い、その演算結果と、超解像画像の予測結果とで重み付き演算を行うことによって、超解像画像を生成する。具体的には、本発明の画像処理システムは、超解像画像の予測結果に対して、実世界中の被写体をカメラで撮影する際の撮像プロセスを模擬するシミュレーションを行うことにより低解像画像を生成する。そして、本発明の画像処理システムは、現フレームにおける低解像画像ｙｔとシミュレーションで得た低解像画像との差分を計算し、その差分をアップサンプリングする。この演算結果と、超解像画像の予測結果との重み付き演算結果として、超解像画像を生成する。
　以下の説明では、超解像画像の予測結果をｘｐと表し、確定した超解像画像をｘｒと表し、それぞれフレームを示す添え字を付して示す。例えば、現フレームｔの超解像画像の予測結果はｘｐ，ｔと表し、現フレームｔで確定した超解像画像をｘｒ，ｔと表す。また、例えば、１つ前のフレームにおいて確定した超解像画像をｘｒ，ｔ－１と表す。各フレームにおけるｘｐ，ｘｒも、画像中の画素値をラスタスキャン順に並べた列ベクトルとして表現される。
　超解像画像の予測結果ｘｐ，ｔからシミュレーションにより低解像画像を得る場合、例えば、ｘｐ，ｔに対して、ぼかしおよびダウンサンプリングに相当する変換を行えばよい。具体的には、ＤＢｘｐ，ｔを計算することによって、予測結果ｘｐ，ｔから模擬的に低解像画像を得ることができる。既に説明したように、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。以下の説明では、このように行列Ｂ，Ｄを用いて超解像画像の予測結果ｘｐ，ｔから低解像画像を計算する場合を例にする。ただし、行列Ｂ，Ｄを用いて低解像画像を得る方法は、シミュレーションの一例であり、被写体の撮像プロセスを表すシミュレーションであれば、他のシミュレーションによってｘｐ，ｔから低解像画像を導出してもよい。
　既に説明したように、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言うことができる。そして、カルマンフィルタによれば、状態空間モデルで表現された問題において、前の時刻における状態と、現在の観測結果から、現在の時刻の状態を推定することができる。式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるために、カルマンフィルタを適用することができる。以下、本発明にカルマンフィルタを適用した場合を例にして説明する。
　図７は、本発明の第１の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態の画像処理システム２０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段２３と、誤差パラメータ設定手段２４とを備える。
　幾何変換行列算出手段２１は、１つ前のフレームにおける超解像画像から現フレームの超解像画像への幾何的な変形を表す変換行列を算出する。以下、この変換行列を幾何変換行列と呼び、Ｍｔ，ｔ－１と記す。具体的は、Ｍｔ，ｔ－１は、１つ前のフレームｔ－１における低解像画像ｙｔ－１から現フレームｔにおける低解像画像ｙｔへの幾何変形に相当する幾何変形を、超解像画像間で実現する変換行列である。例えば、低解像画像ｙｔ－１から低解像画像ｙｔへの幾何変形が５画素分の平行移動であったとする。また、低解像画像から超解像画像への拡大率がｓであるとする。この場合、Ｍｔ，ｔ－１は、５ｓ画素分の平行移動を実現する変換行列となる。
　さらに、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ－１による予測の信頼度を計算する。すなわち、幾何変換行列Ｍｔ，ｔ－１を用いて現フレームの超解像画像を予測したときにおける、その予測結果の信頼度を計算する。以下、この信頼度は、Ｍｔ，ｔ－１による幾何変換の信頼度ということができ、以下、幾何変換信頼度と記す。
　超解像画像予測手段２２は、幾何変換行列算出手段２１によって算出されたＭｔ，ｔ－１を用いて、１つ前のフレームｔ－１で生成された超解像画像ｘｒ，ｔ－１を変形させることによって、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する。さらに、超解像画像予測手段２２は、事前誤差行列を計算する。
　事前誤差行列とは、現フレームの超解像画像ｘｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ１，ｙ２，・・・，ｙｔ－１）から推定した誤差を表す行列である。以下、事前誤差行列をＰｂと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐｂ，ｔは、ｙ１からｙｔ－１までの各低解像画像から推定したｘｔに関する誤差を表している。
　超解像画像予測手段２２は、現フレームｔにおける事前誤差行列Ｐｂ，ｔを、以下に示す式（５）により計算すればよい。
　Ｐｂ，ｔ＝Ｍｔ，ｔ－１Ｐａ，ｔ－１Ｍｔ，ｔ－１ Ｔ＋Ｑ　　　　　式（５）
　式（５）において、Ｍｔ，ｔ－１ ＴはＭｔ，ｔ－１の転置行列である。また、Ｑは、式（３）における予測ノイズｗｔに関する正規分布を表す共分散行列である。共分散行列Ｑは、事前誤差行列Ｐｂ，ｔを計算するためのパラメータであるということができる。共分散行列Ｑは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。
　超解像画像更新手段２３は、超解像画像の予測結果ｘｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段２３は、現フレームｔにおける低解像画像ｙｔと、シミュレーションで得た低解像画像との差分を計算する。また、超解像画像更新手段２３は、カルマンゲインを計算し、計算した差分、カルマンゲイン、および超解像画像の予測結果ｘｐ，ｔを用いて、差分とｘｐ，ｔとの重み付き平均を計算する。この計算結果が、現フレームｔにおける超解像画像ｘｒ，ｔである。そして、次のフレームｔ＋１に関する処理では、ｘｒ，ｔは、超解像画像予測手段２２がフレームｔ＋１の超解像画像の予測ｘｐ，ｔ＋１を生成する際に用いられる。また、超解像画像更新手段２３は、事後誤差行列を計算する。
　事後誤差行列とは、現フレームの超解像画像ｘｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ１，ｙ２，・・・，ｙｔ－１）および現フレームｔの低解像画像ｙｔから推定した誤差を表す行列である。以下、事後誤差行列をＰａと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐａ，ｔは、ｙ１からｙｔまでの各低解像画像から推定したｘｔに関する誤差を表している。また、その１つ前のフレームにおける事後誤差行列Ｐａ，ｔ－１は、ｙ１からｙｔ－１までの各低解像画像から推定したｘｔに関する誤差を表している。事後誤差行列の計算方法については、後述する。
　超解像画像更新手段２３は、現フレームｔにおけるカルマンゲインをＫｔとすると、以下に示す式（６）の計算を行うことによってカルマンゲインＫｔを計算すればよい。
　Ｋｔ＝Ｐｂ，ｔ Ｔ（ＤＢ）Ｔ（ＤＢＰｂ，ｔ Ｔ（ＤＢ）Ｔ＋Ｒ）－１　　　式（６）
　式（６）において、Ｐｂ，ｔ ＴはＰｂ，ｔの転置行列であり、同様に、（ＤＢ）Ｔは（ＤＢ）の転置行列である。また、式（６）における“－１”は逆行列を表す。また、Ｒは、式（４）における観測ノイズｖｔに関する正規分布を表す共分散行列である。共分散行列Ｒは、カルマンゲインＫｔを計算するためのパラメータであるということができる。共分散行列Ｒは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。また、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。
　誤差パラメータ設定手段２４は、幾何変換行列算出手段２１によって算出された幾何変換信頼度に基づいて、予測ノイズｗｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖｔに関する正規分布を表す共分散行列Ｒを設定する。換言すれば、誤差パラメータ設定手段２４は、事前誤差行列Ｐｂ，ｔを計算する際に用いるパラメータＱと、カルマンゲインＫｔを計算する際に用いるパラメータＲを、幾何変換信頼度に基づいて定める。
　幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４がそれぞれ別々の回路として実現されていてもよい。
　次に、動作について説明する。
　図８は、第１の実施形態における処理経過の例を示すフローチャートである。画像処理システム２０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像ｙｔが入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ－１を算出する（ステップＳ１）。
　ステップＳ１では、幾何変換行列算出手段２１は、現フレームの１つ前のフレームの低解像画像ｙｔ－１と、現フレームｔの低解像画像ｙｔとを用いて、幾何変換行列Ｍｔ，ｔ－１を算出する。このとき、幾何変換行列算出手段２１は、低解像画像ｙｔ－１およびｙｔを、超解像画像と同画素数の画像に拡大する。言い換えれば、低解像画像から超解像画像への拡大率で低解像画像ｙｔ－１およびｙｔを拡大する。この拡大処理は、例えば、バイリニア補間やバイキュービック補間によって行えばよい。低解像画像ｙｔ－１を拡大した画像をＹｔ－１とし、低解像画像ｙｔを拡大した画像をＹｔと記す。ここで、Ｙｔ－１は、フレームｔ－１における超解像画像に近似し、Ｙｔは、現フレームｔにおける超解像画像に近似しているとみなすことができ、幾何変換行列算出手段２１は、Ｙｔ－１からＹｔへの幾何的な変形を表す変換行列をＭｔ，ｔ－１として算出する。
　また、幾何変換行列算出手段２１は、Ｍｔ，ｔ－１によってＹｔ－１を変換した結果とＹｔとの差が最小となるＭｔ，ｔ－１を求めればよい。すなわち、幾何変換行列算出手段２１は、Ｍｔ，ｔ－１を変更していき、以下に示す式（７）の値が最小となるときのＭｔ，ｔ－１を特定すればよい。
Figure JPOXMLDOC01-appb-M000001
　この方法は、勾配法と呼ばれる。なお、ここで示したＭｔ，ｔ－１の算出方法は例示であり、他の方法でＭｔ，ｔ－１を計算してもよい。
　続いて、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ２）。幾何変換信頼度の算出方法の一例を示す。幾何変換行列算出手段２１は、Ｍｔ，ｔ－１算出時に低解像画像から拡大した画像Ｙｔ－１，Ｙｔのうち、現フレームに対応する画像Ｙｔを基準として、Ｙｔ－１を幾何変換行列Ｍｔ，ｔ－１で変換した結果と、基準画像Ｙｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。例えば、Ｙｔ－１を幾何変換行列Ｍｔ，ｔ－１で変換した結果をＹ’とすると、幾何変換行列算出手段２１は、Ｙ’および基準画像Ｙｔの対応する各画素同士に関して、画素値（輝度値）の差の絶対値を計算し、その絶対値の画像全体における平均値の逆数を算出し、その値を幾何変換信頼度とすればよい。なお、この幾何変換信頼度の算出方法は例示であり、幾何変換行列算出手段２１は、他の方法で幾何変換信頼度を算出してもよい。
　幾何変換信頼度が算出された後、誤差パラメータ設定手段２４は、幾何変換信頼度に応じて、予測ノイズｗｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖｔに関する正規分布を表す共分散行列Ｒを設定する（ステップＳ３）。
　ステップＳ３では、誤差パラメータ設定手段２４は、幾何変換信頼度が大きくなるほど、Ｑの各成分の値が小さくなり、Ｒの各成分の値が大きくなるようにし、幾何変換信頼度が小さくなるほど、Ｑの各成分の値が大きくなり、Ｒの各成分の値が小さくなるように、共分散行列Ｑ，Ｒを設定する。ここで、Ｑの各成分とはＱの全ての成分を意味する。同様に、Ｒの各成分とはＲの全ての成分を意味する。
　幾何変換信頼度に応じたＱ，Ｒの設定の一例を示す。以下、幾何変換信頼度をｒで表す。また、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。幾何変換信頼度ｒの正規化は、例えば幾何変換行列算出手段２１が行ってもよい。あるいは、誤差パラメータ設定手段２４が行ってもよい。誤差パラメータ設定手段２４は、前のフレームで算出したＱに対して、以下に示す式（８）の計算を行うことによって、新たに共分散行列Ｑを導出する。すなわち、前のフレームで算出したＱに（１－ｒ）を乗じた結果を、新たなＱとする。
　Ｑ←（１－ｒ）×Ｑ　　　　　　式（８）
　同様に、誤差パラメータ設定手段２４は、前のフレームで算出したＲに対して、以下に示す式（９）の計算を行うことによって、新たに共分散行列Ｒを導出する。すなわち、前のフレームで算出したＲにｒを乗じた結果を、新たなＲとする。
　Ｒ←ｒ×Ｒ　　　　　式（９）
　なお、最初に式（８）、式（９）の演算を行う場合のために、Ｑ，Ｒの初期値を予め定めておけばよい。そして、最初に式（８）、式（９）の演算を行う場合には、Ｑ，Ｒの初期値を用いればよい。
　次に、超解像画像予測手段２２は、１つ前のフレームｔ－１で生成された超解像画像ｘｒ，ｔ－１を、幾何変換行列Ｍｔ，ｔ－１を用いて変形させることで、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する（ステップＳ４）。具体的には、超解像画像予測手段２２は、以下に示す式（１０）のように、超解像画像ｘｒ，ｔ－１を表す列ベクトルを幾何変換行列Ｍｔ，ｔ－１に右側から乗じる演算を行って、超解像画像の予測ｘｐ，ｔを生成する。
　ｘｐ，ｔ＝Ｍｔ，ｔ－１ｘｒ，ｔ－１　　　　　式（１０）
　また、超解像画像予測手段２２は、ステップＳ４でｘｐ，ｔを生成する際に、事前誤差行列Ｐｂ，ｔも合わせて計算する。超解像画像予測手段２２は、ステップＳ４で、現フレームｔにおける事前誤差行列Ｐｂ，ｔを、前述の式（５）により計算すればよい。ただし、式（５）の計算でＰｂ，ｔを算出する際に、超解像画像予測手段２２は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｑを用いてＰｂ，ｔを算出する。
　ステップＳ４の次に、超解像画像更新手段２３は、ステップＳ４で計算された超解像画像の予測結果ｘｐ，ｔを更新することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ５）。図９は、第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。
　ステップＳ５において、超解像画像更新手段２３は、まず、現フレームｔにおけるカルマンゲインＫｔを計算する（ステップＳ３１）。超解像画像更新手段２３は、ステップＳ３１で、現フレームｔにおけるカルマンゲインＫｔを、前述の式（６）の計算を行うことにより計算すればよい。ただし、式（６）の計算でＫｔを算出する際に、超解像画像更新手段２３は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｒを用いてＫｔを算出する。
　また、式（６）で用いるＢはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。このＢ，Ｄは、後述のステップＳ３２で、超解像画像の予測結果に対するシミュレーションを行うときに用いる行列Ｂ，Ｄと同一の行列である。
　ステップＳ３１の後、超解像画像更新手段２３は、ステップＳ４（図８参照）で計算された現フレームｔの超解像画像の予測結果ｘｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段２３は、実際に現フレームｔにおいて入力された低解像画像ｙｔと、シミュレーションによってｘｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ３２）。本例では、超解像画像更新手段２３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘｐ，ｔの計算により求める。そして、ｙｔとの差分を、（ｙｔ－ＤＢｘｐ，ｔ）の計算によって求めればよい。
　次に、超解像画像更新手段２３は、現フレームｔの超解像画像の予測結果ｘｐ，ｔと、ステップＳ３２で計算した差分（ｙｔ－ＤＢｘｐ，ｔ）との重み付き平均を計算することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ３３）。具体的には、超解像画像更新手段２３は、ステップＳ３１で計算したカルマンゲインＫｔを用いて、以下の式（１１）に示す計算を行えばよい。
ｘｒ，ｔ＝ｘｐ，ｔ＋Ｋｔ（ｙｔ－ＤＢｘｐ，ｔ）　　　　　式（１１）
　式（１１）において、カルマンゲインＫｔは、（ｙｔ－ＤＢｘｐ，ｔ）に対するアップサンプリングおよび重み付けを行う行列である。式（１１）で表される重み付き加算は、ｘｐ，ｔと（ｙｔ－ＤＢｘｐ，ｔ）との重み付き平均の計算の一態様である。
　また、カルマンゲインＫｔは、共分散行列Ｑ，Ｒを用いて計算されているので、幾何変換信頼度がカルマンゲインＫｔに反映されている。
　ステップＳ３３の後、超解像画像更新手段２３は、現フレームｔにおける事後誤差行列Ｐａ，ｔを計算する（ステップＳ３４）。超解像画像更新手段２３は、以下に示す式（１２）の計算を行うことでＰａ，ｔを算出すればよい。
　Ｐａ，ｔ＝（Ｉ－ＫｔＤＢ）Ｐｂ，ｔ　　　　　式（１２）
　式（１２）においてＩは単位行列である。
　超解像画像更新手段２３は、現フレームｔで計算したｘｒ，ｔおよびＰａ，ｔを超解像画像予測手段２２に渡す。次のフレームｔ＋１のステップＳ４では、１つ前のフレームの超解像画像として、このｘｒ，ｔを用いて処理を行う。また、次のフレームｔ＋１のステップＳ３３では、事前誤差行列Ｐｂ，ｔ＋１を計算する場合に、このＰａ，ｔを用いる。
　画像処理システム２０は、ステップＳ１～Ｓ５の処理を、各フレームの低解像画像が入力されるたびに行う。この結果、フレーム毎に超解像画像が得られる。そして、フレーム毎の超解像画像のシーケンスが超解像動画像となる。よって、画像処理システム２０によって、低解像の動画像から超解像動画像を生成することができる。画像処理システム２０は、フレーム順に超解像画像を出力する。
　本実施形態によれば、幾何変換行列算出手段２１が、ステップＳ１で、低解像画像ｙｔ－１およびｙｔを超解像画像と同画素数の画像Ｙｔ－１，Ｙｔに拡大し、Ｙｔ－１からＹｔへの幾何的な変形を表す変換行列をＭｔ，ｔ－１を算出し、さらに幾何変換信頼度を計算する。幾何変換信頼度の値が小さい場合は、変換の信頼度が低く、画像の位置合わせがうまくいっていないことを意味する。逆に、幾何変換信頼度の値が大きい場合は、変換の信頼度が高く、画像の位置合わせがうまくいっていることを意味する。本実施形態では、誤差パラメータ設定手段２４が、幾何変換信頼度に基づいて共分散行列Ｑ，Ｒを設定する。そして、超解像画像予測手段２２は、このＱを用いて事前誤差行列Ｐｂ，ｔを計算し、超解像画像更新手段２３は、そのＰｂ，ｔおよびＲを用いてカルマンゲインを計算する。さらに、超解像画像更新手段２３は、そのカルマンゲインを用いて現フレームにおける超解像画像ｘｒ，ｔを計算する。従って、画像処理システム２０は、画像Ｙｔ－１，Ｙｔの位置合わせに失敗するような場合でも、その場合に応じたパラメータＱ，Ｒを設定して、超解像画像ｘｒ，ｔを計算するので、超解像画像の画質低下を防止することができる。
　すなわち、超解像画像更新手段２３が、フレーム毎に、重み付けを行うための行列としてカルマンゲインを計算するが、このカルマンゲインに、幾何変換信頼度が反映されている。この結果、フレーム毎に適切な重みが設定されるので、超解像画像の画質を向上させることができる。
　より具体的に説明すると、画像処理システム２０は、幾何変換行列Ｍｔ，ｔ－１を用いた超解像画像の予測の信頼性が低い場合には、現フレームｔに入力された低解像画像ｙｔに関する重みを大きくすることができる。逆に、幾何変換行列Ｍｔ，ｔ－１を用いた超解像画像の予測の信頼性が高い場合には、超解像画像の予測結果ｘｐ，ｔに対する重みを大きくすることができる。その結果、幾何変換行列Ｍｔ，ｔ－１による超解像画像の予測に失敗することがあっても、超解像画像が破綻することを防ぐことができる。
　また、本発明では、超解像画像更新手段２３が、ステップＳ３２で計算した差分を用いて、ステップＳ３３で現フレームｔの超解像画像の予測結果を更新する。従って、超解像画像の精度を高めることができる。具体的には、超解像画像を縮小して低解像度化した場合に、元の低解像画像との差が小さい画像が得られる。このことは、生成した超解像画像の精度が高いことを意味する。
　なお、画像シーケンスにおける第１のフレーム（最初のフレーム）には、その１つ前のフレームが存在しない。そこで、第１のフレームに関しては、第１のフレームの低解像画像を超解像画像の画素数と同じ画素数にアップサンプリングした画像を、超解像画像とみなし、図８に示す処理を第２のフレームから行ってもよい。この場合、第２のフレームに関して式（５）の計算を行う場合には、第１のフレームにおける事後誤差行列Ｐａ，１が例えば単位行列であると仮定してよい。
　また、第１のフレームの１つ前のフレームにおける低解像画像として、第１のフレームの低解像画像と同一の画像を用い、また、第１のフレームの低解像画像をアップサンプリングした画像を、第１のフレームの１つ前のフレームにおける超解像画像をみなして、第１のフレームから図８に示す処理を行ってもよい。この場合にも、第１のフレームの１つ前のフレームにおける事後誤差行列が例えば単位行列であると仮定すればよい。
　また、シーンチェンジ直後のように、現フレームｔと、その前のフレームｔ－１とで画像が完全に異なる場合がある。この場合には、誤差パラメータ設定手段２４は、予測ノイズに関する共分散行列Ｑの成分を全て０とし、画像処理システム３０は現フレームｔの低解像画像だけから超解像画像を生成してもよい。この場合、超解像画像予測手段２２は、現フレームｔの低解像画像を拡大した画像を現フレームｔの超解像画像の予測とすればよい。他の動作は、上記の第１の実施形態と同様である。
　シーンチェンジがあったか否かの判定は、幾何変換信頼度が予め定めた閾値以下となっているか否かにより判定すればよい。この閾値は、閾値以下の値が０と見なせる程度の小さな値として定めておけばよい。そして、例えば、誤差パラメータ設定手段２４が、幾何変換信頼度が閾値以下であるならば、シーンチェンジが生じたと判定し、幾何変換信頼度が閾値より大きければ、シーンチェンジは生じていないと判定すればよい。
　また、シーンチェンジの他の判定方法として、以下の方法を採用してもよい。例えば、誤差パラメータ設定手段２４が、現フレームｔの低解像画像と、前のフレームｔ－１の低解像画像とで、対応する画素同士の差分の絶対値を画素毎に判定する。誤差パラメータ設定手段２４は、画像全体（全画素）について求めた差分の絶対値の総和が閾値以上であれば、シーンチェンジが生じたと判定し、差分の絶対の総和が閾値未満であればシーンチェンジが生じていないと判定してもよい。
　なお、ここでは、誤差パラメータ設定手段２４がシーンチェンジの有無の判定を行う場合を例にしたが、他の構成要素がシーンチェンジの有無を判定してもよい。
　また、現フレームｔがシーンチェンジ直後と判定された場合、処理の順序を過去のフレームから進めるのではなく、時間的に後のフレームから前のフレームに進めることで超解像画像を生成してもよい。すなわち、本発明の画像処理システムは、時間的に先のフレームｔ＋１の超解像画像からの幾何変換に基づいて、現フレームｔの超解像画像を予測し、その予測結果を、入力された低解像画像ｙｔに基づいて更新して、現フレームｔの超解像画像を生成してもよい。
　次に、第１の実施形態の変形例について説明する。
　上記の説明では、式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるためにカルマンフィルタを適用する場合を示した。カルマンフィルタの代わりに他のフィルタを用いてもよい。例えば、以下に示す参考文献等に記載されたパーティクルフィルタを適用してもよい。
［参考文献］
　M.Sanjeev Arulampalam, Simon Maskell, Neil Gordon, Tim Clapp, "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking," IEEE Transactions on Signal Processing Vol.50, No.2, pp.174-188, 2002.
　また、上記の例では、現フレームｔにおける低解像画像ｙｔと、ｘｐ，ｔからシミュレーションで求めた低解像画像ＤＢｘｐ，ｔとの差分（ｙｔ－ＤＢｘｐ，ｔ）に対して、アップサンプリングおよび重み付けを行うための行列（例えばカルマンゲインＫｔ）を乗算する場合を説明した。アップサンプリングおよび重み付けを行うための行列は、カルマンゲインＫｔ以外であってもよい。
実施形態２．
　第１の実施形態では、カルマンゲインを用いた重み付け計算を行う場合を示した。第２の実施形態では、スカラである幾何変換信頼度を重み係数として用いて、式（１１）の代わりに、以下に示す式（１３）の計算を行うことによって、現フレームにおける超解像画像ｘｒ，ｔを計算する。
　ｘｒ，ｔ＝ｒ×ｘｐ，ｔ＋（１－ｒ）Ｕ（ｙｔ－ＤＢｘｐ，ｔ）　　　　　式（１３）
　式（１３）において、ｒは、幾何変換信頼度である。ただし、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。Ｕは、例えばバイリニア補間またはバイキュービック補間等により、（ｙｔ－ＤＢｘｐ，ｔ）を超解像画像と同画素数にアップサンプリングすることを表す行列である。
　図１０は、本発明の第２の実施形態の画像処理システムの例を示すブロック図である。第２の実施形態の画像処理システム３０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段３３とを備える。第１の実施形態と同様の構成要素については、図７と同一の符号を付し、詳細な説明を省略する。ただし、超解像画像予測手段２２は事前誤差行列を算出しない。また、本実施形態では、誤差パラメータ設定手段２４を備えず、幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。
　超解像画像更新手段３３は、超解像画像の予測結果ｘｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段３３は、現フレームｔにおける低解像画像ｙｔと、シミュレーションで得た低解像画像との差分を計算する。この処理は、第１の実施形態における超解像画像構成手段２３の処理と同様である。ただし、超解像画像更新手段３３は、計算した差分と、現フレームにおける超解像画像の予測結果ｘｐ，ｔとの重み付き平均を計算して、現フレームｔにおける超解像画像ｘｒ，ｔを計算する場合に、幾何変換信頼度ｒと、（１－ｒ）とをそれぞれ重み係数として、前述の式（１３）に示す重み付き平均の計算を行う。
　従って、本実施形態では、超解像画像更新手段３３は、事後誤差行列およびカルマンゲインを算出しない。
　幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３がそれぞれ別々の回路として実現されていてもよい。
　次に、本実施形態の動作について説明する。図１１は、本実施形態の処理経過の例を示すフローチャートである。
　画像処理システム３０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像が入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ－１を算出する（ステップＳ４１）。ステップＳ４１の動作は、第１の実施形態のステップＳ１（図８参照）と同様である。例えば、幾何変換行列算出手段２１は、第１の実施形態と同様に、低解像画像ｙｔ－１を拡大した画像Ｙｔ－１を生成し、低解像画像ｙｔを拡大した画像Ｙｔを生成する。Ｙｔ－１，Ｙｔは、超解像画像と同画素数の画像である。そして、幾何変換行列算出手段２１は、前述の式（７）の値が最小となるときのＭｔ，ｔ－１を特定してもよい。
　次に、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ４２）。ステップＳ４２の動作は、第１の実施形態のステップＳ２（図８参照）と同様である。すなわち、幾何変換行列算出手段２１は、Ｍｔ，ｔ－１算出時に低解像画像から拡大した画像Ｙｔ－１，Ｙｔのうち、現フレームに対応する画像Ｙｔを基準として、Ｙｔ－１を幾何変換行列Ｍｔ，ｔ－１で変換した結果と、基準画像Ｙｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。ただし、幾何変換行列算出手段２１は、幾何変換信頼度ｒの値が０から１までの範囲の値となるように幾何変換信頼度ｒを正規化する。幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。
　次に、超解像画像予測手段２２は、１つ前のフレームｔ－１で生成された超解像画像ｘｒ，ｔ－１を、幾何変換行列Ｍｔ，ｔ－１を用いて変形させることで、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する（ステップＳ４３）。ステップＳ４３の動作は、ステップＳ４（図８参照）におけるｘｐ，ｔ生成動作と同様である。すなわち、超解像画像予測手段２２は、前述の式（１０）の計算を行うことによって、現フレームｔの超解像画像の予測ｘｐ，ｔを求めればよい。
　ステップＳ４３の次に、超解像画像更新手段３３は、ステップＳ４３で計算された超解像画像の予測結果ｘｐ，ｔを更新することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ４４）。この動作の態様は、上述の第１の実施形態と異なる。図１２は、第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。
　第２の実施形態では、ステップＳ４４において、超解像画像更新手段３３は、ステップＳ４３で計算された現フレームｔの超解像画像の予測結果ｘｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段３３は、実際に現フレームｔにおいて入力された低解像画像ｙｔと、シミュレーションによってｘｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ５１）。ステップＳ５１の処理は、第１の実施形態におけるステップＳ３２（図９参照）と同様である。例えば、超解像画像更新手段３３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘｐ，ｔの計算により求める。そして、ｙｔとの差分を、（ｙｔ－ＤＢｘｐ，ｔ）の計算によって求めればよい。
　次に、超解像画像更新手段３３は、現フレームｔの超解像画像の予測結果ｘｐ，ｔと、ステップＳ５１で計算した差分（ｙｔ－ＤＢｘｐ，ｔ）との重み付き平均を計算する（ステップＳ５２）。具体的には、超解像画像更新手段３３は、幾何変換行列算出手段２１に入力された幾何変換信頼度ｒをｘｐ，ｔ側の重み係数とし、（１－ｒ）を、差分（ｙｔ－ＤＢｘｐ，ｔ）側の重み係数とする。ただし、ｘｐ，ｔ側と、（ｙｔ－ＤＢｘｐ，ｔ）とは、画素数が異なっているので、（ｙｔ－ＤＢｘｐ，ｔ）にＵ（アップサンプリングを表す行列）を乗じ、その結果に（１－ｒ）を乗じる。超解像画像更新手段３３は、このように重み係数ｒ、（１－ｒ）を用いて、前述の式（１３）の計算を行う。
　図１２に示すように、超解像画像更新手段３３は、ステップＳ５１～Ｓ５４のループ処理を行う。ステップＳ５２の次には、超解像画像更新手段３３は、このループ処理を終了するか否かを判定する（ステップＳ５３）。例えば、超解像画像更新手段３３は、直前のステップＳ５２で求めたｘｒ，ｔと、前回のステップＳ５２で求めたｘｒ，ｔとの差が閾値以下になったならば、ｘｒ，ｔが収束したとみなし、ループ処理を終了すると判定すればよい。また、直前のステップＳ５２で求めたｘｒ，ｔと、前回のステップＳ５２で求めたｘｒ，ｔとの差が閾値より大きければ、ｘｒ，ｔが収束していないとみなして、ループ処理を続行すると判定すればよい。
　ループ処理を続行する場合（ステップＳ５３のＮ）、超解像画像更新手段３３は、超解像画像の予測結果ｘｐ，ｔを、直前のステップＳ５２で求めたｘｒ，ｔに更新する（ステップＳ５４）。そして、超解像画像更新手段３３は、その新たな超解像画像の予測ｘｐ，ｔを用いて、ステップＳ５１以降のループ処理を繰り返す。
　ループ処理を終了すると判定した場合（ステップＳ５３のＹ）、超解像画像更新手段３３は、直前のステップＳ５２で計算されたｘｒ，ｔを現フレームｔの超解像画像として出力する。
　なお、ステップＳ５３の終了判定は、他の方法で行ってもよい。例えば、ステップＳ５１～Ｓ５４のループ処理の実行回数を予め定めておき、ｘｒ，ｔを計算する処理（ステップＳ５２）の実施回数が所定回数に達したならば、超解像画像更新手段３３は、ループ処理を終了すると判定してもよい。
　第２の実施形態においても、第１の実施形態と同様の効果が得られ、精度の高い超解像画像を生成することができる。すなわち、幾何変換信頼度ｒが低い場合には、Ｕ（ｙｔ－ＤＢｘｐ，ｔ）の重みを高くするように調整することで、ｘｒ，ｔの精度低下を防止することができる。
　なお、カルマンフィルタを適用した第１の実施形態と、第２の実施形態とを比較すると、カルマンフィルタを適用した場合の方が、ループ処理を繰り返す必要がなく、演算時間を短縮できる。よって、第１の実施形態のようにカルマンフィルタを適用して処理を行うことが好ましい。
　図１３は、本発明による画像処理システムの具体的な構成例を示す。コンピュータ４０には、低解像画像の動画として、フレーム毎の低解像画像が順次入力される画像入力手段４１が設けられる。同様に、コンピュータ４０には、超解像画像の動画として、フレーム毎の超解像画像を順次出力する画像出力手段４２が設けられる。さらに、コンピュータ４０は、画像処理用プログラムを記憶する記憶媒体４３を備える。記憶媒体４３は、例えば、磁気ディスク、半導体メモリ等の記憶装置によって実現されるが、記憶媒体４３の態様は特に限定されない。記憶媒体４３は、コンピュータに着脱可能な記憶媒体であってもよい。コンピュータ４０のＣＰＵ（図示略）は、記憶媒体４３から画像処理用プログラムを読み込み、そのプログラムに従って、例えば、第１の実施形態の画像処理システム２０（図７参照）、または、第２の実施形態の画像処理システム３０（図１０参照）として、動作する。
　次に、本発明の最小構成について説明する。図１４は、本発明の最小構成を示すブロック図である。本発明の画像処理システムは、幾何変換パラメータ算出手段５１と、超解像画像予測手段５２と、超解像画像生成手段５３とを備える。
　幾何変換パラメータ算出手段５１（例えば、幾何変換行列算出手段２１）は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍｔ，ｔ－１）を算出し、当該幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する。
　解像画像予測手段５２（例えば、超解像画像予測手段２２）は、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。
　超解像画像生成手段５３（例えば、超解像画像更新手段２３，３３）は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する。そして、超解像画像生成手段５３は、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。
　そのような構成によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。
　また、上記の実施形態には、以下の（１）～（５）に示す構成の画像処理システムが開示されている。
（１）前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍｔ，ｔ－１）を算出し、幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する幾何変換パラメータ算出手段（例えば、幾何変換行列算出手段２１）と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測（例えば、ｘｐ，ｔ）を生成する超解像画像予測手段（例えば、超解像画像予測手段２２）と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘｐ，ｔ）との差分を計算し、当該差分（例えば、（ｙｔ－ＤＢｘｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段（例えば、超解像画像更新手段２３，３３）とを備え、超解像画像生成手段が、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする画像処理システム。
（２）超解像画像生成手段（例えば、第１の実施形態における超解像画像更新手段２３）が、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘｐ，ｔ）との差分を計算し、カルマンフィルタを適用することによって、当該差分（例えば、（ｙｔ－ＤＢｘｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする画像処理システム。
（３）前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズ（例えば、ｗｔ）を表す第１の誤差パラメータ（例えば、共分散行列Ｑ）と、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズ（例えば、ｖｔ）を表す第２の誤差パラメータ（例えば、共分散行列Ｒ）とを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段（例えば、誤差パラメータ設定手段２４）を備え、超解像画像生成手段が、第１の誤差パラメータと第２の誤差パラメータとに基づくカルマンゲイン（例えば、Ｋｔ）を計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分（例えば、（ｙｔ－ＤＢｘｐ，ｔ））を乗じ、現フレームの超解像画像の予測結果に加算することで、差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する画像処理システム。
（４）超解像画像生成手段（例えば、第２の実施形態における超解像画像更新手段３３）が、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１－ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する画像処理システム。
（５）超解像画像生成手段が、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセス（例えば、ぼかしおよびダウンサンプリング）を表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する画像処理システム。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年８月１３日に出願された日本特許出願２００９－１８７７６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、低解像画像の動画を高解像画像の動画に変換する画像処理システムに好適に適用できる。例えば、ＮＴＳＣ（National Television System Committee）方式のビデオカメラで撮影された動画像を録画する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら保存する画像処理システムに適用できる。また、ＮＴＳＣ方式で録画されたビデオ信号を再生機で再生する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示機器に出力する画像処理システムにも適用可能である。また、ハイビジョン対応のテレビジョン受像機でＮＴＳＣ方式の映像を受信し、表示する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示するテレビジョン受像機にも適用可能である。
　２１　幾何変換行列算出手段
　２２　超解像画像予測手段
　２３，３３　超解像画像更新手段
　２４　誤差パラメータ設定手段

Claims (15)

  1. 　前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、
    　前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、
    　現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、
    　超解像画像生成手段は、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算する
    　ことを特徴とする画像処理システム。
  2. 　超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
    　請求項１に記載の画像処理システム。
  3. 　前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段を備え、
    　超解像画像生成手段は、
    　前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
    　請求項２に記載の画像処理システム。
  4. 　超解像画像生成手段は、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１－ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
    　請求項１に記載の画像処理システム。
  5. 　超解像画像生成手段は、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
    　請求項１から請求項４のうちのいずれか１項に記載の画像処理システム。
  6. 　前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、
    　当該幾何変換パラメータの信頼度を計算し、
    　前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、
    　現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、
    　前記重み付き平均を計算する際に、前記幾何変換パラメータの信頼度に基づいて重み付き平均を計算する
    　ことを特徴とする画像処理方法。
  7. 　現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
    　請求項６に記載の画像処理方法。
  8. 　前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定し、
    　前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、
    　カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
    　請求項７に記載の画像処理方法。
  9. 　幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１－ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
    　請求項６に記載の画像処理方法。
  10. 　現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
    　請求項６から請求項９のうちのいずれか１項に記載の画像処理方法。
  11. 　コンピュータに、
    　前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、
    　前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、
    　現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、
    　前記超解像画像生成処理で、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算させる
    　ための画像処理用プログラム。
  12. 　コンピュータに、
    　超解像画像生成処理で、
    　現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とさせる
    　請求項１１に記載の画像処理用プログラム。
  13. 　コンピュータに、
    　前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定処理を実行させ、
    　超解像画像生成処理で、
    　前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算させ、
    　カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算させる
    　請求項１２に記載の画像処理用プログラム。
  14. 　コンピュータに、
    　超解像画像生成処理で、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１－ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算させる
    　請求項１１に記載の画像処理用プログラム。
  15. 　コンピュータに、
    　超解像画像生成処理で、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出させる
    　請求項１１から請求項１４のうちのいずれか１項に記載の画像処理用プログラム。
PCT/JP2010/004686 2009-08-13 2010-07-22 画像処理システム、画像処理方法および画像処理用プログラム WO2011018878A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/390,012 US8712175B2 (en) 2009-08-13 2010-07-22 Image processing system, image processing method and program for image processing
JP2011526682A JPWO2011018878A1 (ja) 2009-08-13 2010-07-22 画像処理システム、画像処理方法および画像処理用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-187768 2009-08-13
JP2009187768 2009-08-13

Publications (1)

Publication Number Publication Date
WO2011018878A1 true WO2011018878A1 (ja) 2011-02-17

Family

ID=43586061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004686 WO2011018878A1 (ja) 2009-08-13 2010-07-22 画像処理システム、画像処理方法および画像処理用プログラム

Country Status (3)

Country Link
US (1) US8712175B2 (ja)
JP (1) JPWO2011018878A1 (ja)
WO (1) WO2011018878A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001895B2 (en) * 2011-06-08 2015-04-07 Panasonic Intellectual Property Management Co., Ltd. Image display device and image processing device
GB201313682D0 (en) * 2013-07-31 2013-12-18 Mbda Uk Ltd Method and apparatus for tracking an object
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
US10554713B2 (en) 2015-06-19 2020-02-04 Microsoft Technology Licensing, Llc Low latency application streaming using temporal frame transformation
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
US10867375B2 (en) * 2019-01-30 2020-12-15 Siemens Healthcare Gmbh Forecasting images for image processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
WO2005024723A1 (ja) * 2003-09-08 2005-03-17 Nec Corporation 画像合成システム、画像合成方法及びプログラム
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
WO2007122911A1 (ja) * 2006-03-30 2007-11-01 Nec Corporation 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム
JP2008140012A (ja) * 2006-11-30 2008-06-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010134582A (ja) * 2008-12-03 2010-06-17 Tokyo Institute Of Technology 画像処理装置及び画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060247070A1 (en) * 2001-06-11 2006-11-02 Recognition Insight, Llc Swing position recognition and reinforcement
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7555143B2 (en) * 2005-02-09 2009-06-30 Lawrence Livermore National Security, Llc Real-time geo-registration of imagery using COTS graphics processors
WO2007027893A2 (en) * 2005-08-30 2007-03-08 The Regents Of The University Of California, Santa Cruz Kernel regression for image processing and reconstruction
JP4670058B2 (ja) 2006-10-25 2011-04-13 国立大学法人東京工業大学 高解像度画像生成方法
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272751A (ja) * 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
WO2005024723A1 (ja) * 2003-09-08 2005-03-17 Nec Corporation 画像合成システム、画像合成方法及びプログラム
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
WO2007122911A1 (ja) * 2006-03-30 2007-11-01 Nec Corporation 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム
JP2008140012A (ja) * 2006-11-30 2008-06-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2010134582A (ja) * 2008-12-03 2010-06-17 Tokyo Institute Of Technology 画像処理装置及び画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B.B. READY ET AL.: "A Kalman- filter based method for creation of super- resolved mosaicks", PROCEEDINGS OF THE 2006 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, 19 May 2006 (2006-05-19), pages 3417 - 3422, XP010921786, DOI: doi:10.1109/ROBOT.2006.1642224 *
S. FARSIU ET AL.: "Video-to- video dynamic super-resolution for grayscale and color sequences", EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING, vol. 2006, no. 61859, 31 January 2006 (2006-01-31), pages 1 - 15 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
US8712175B2 (en) 2014-04-29
US20120141042A1 (en) 2012-06-07
JPWO2011018878A1 (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
WO2011018878A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラム
JP4968259B2 (ja) 画像高解像度化装置及び画像高解像度化方法並びにプログラム
JP4600209B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9258518B2 (en) Method and apparatus for performing super-resolution
US7440619B2 (en) Image matching method and image interpolation method using the same
US8913822B2 (en) Learning apparatus and method, image processing apparatus and method, program, and recording medium
EP2688282B1 (en) Image processing device, image processing method, and image processing program
JP5497066B2 (ja) ビデオに含まれるノイズを低減する方法、装置およびプログラム
JP5837572B2 (ja) 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2011180798A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8233748B2 (en) Image-resolution-improvement apparatus and method
JP2021184594A (ja) ビデオフレームの補間装置及び方法
JP2020027557A (ja) 超解像装置およびそのプログラム
JP2020086891A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
US20130120461A1 (en) Image processor and image processing method
JP2000354244A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP5181345B2 (ja) 画像処理装置及び画像処理方法
US9462293B1 (en) Super resolution weighting blending
JP5435242B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP6671975B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム
JP2011248475A (ja) 画像処理装置、画像処理方法
JP4714062B2 (ja) 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体
van Eekeren et al. Evaluation of turbulence mitigation methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10808064

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011526682

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13390012

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10808064

Country of ref document: EP

Kind code of ref document: A1