WO2013073388A1 - Interlace/progressive conversion device, motion vector estimation device, and method and program for said devices - Google Patents

Interlace/progressive conversion device, motion vector estimation device, and method and program for said devices Download PDF

Info

Publication number
WO2013073388A1
WO2013073388A1 PCT/JP2012/078422 JP2012078422W WO2013073388A1 WO 2013073388 A1 WO2013073388 A1 WO 2013073388A1 JP 2012078422 W JP2012078422 W JP 2012078422W WO 2013073388 A1 WO2013073388 A1 WO 2013073388A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
image
interlace
input
progressive
Prior art date
Application number
PCT/JP2012/078422
Other languages
French (fr)
Japanese (ja)
Inventor
彰彦 池谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013073388A1 publication Critical patent/WO2013073388A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Definitions

  • the present invention relates to an interlace / progressive conversion device, a motion vector estimation device, a method thereof, and a program thereof.
  • the process of estimating the movement of each pixel between successive frames in a moving image is performed by MPEG (Moving Picture Experts Group) encoding method and device, or by denoising by aligning and synthesizing images of multiple frames. It is used for a three-dimensional noise removal method and apparatus to be performed and a super-resolution technique for generating a high-resolution image from a plurality of frames of images.
  • MPEG Motion Picture Experts Group
  • FIG. 1 shows the results of estimating two luminance images f and f ′ at a predetermined time interval in a moving image including a minute motion and the motion vector from f to f ′ in each pixel.
  • the horizontal direction component of the motion vector at the coordinate (x, y) is represented by u (x, y) and the vertical direction component is represented by v (x, y).
  • Non-Patent Document 1 An example of a normal motion vector estimation method is described in Non-Patent Document 1.
  • an energy function E expressed by the following equation is considered.
  • the first term is called the data term
  • the second term is called the regularization term.
  • It is a partial differential in the direction of the axis and time axis and is expressed by the following equation.
  • Is a gradient vector at coordinates (x, y) and is expressed by the following equation.
  • the first term in the right side ⁇ of the above expression is called a data term, and the luminance value on the images f and f ′ changes before and after the movement with the motion vectors u (x, y) and v (x, y). It represents the restriction of not.
  • the second term is called a smoothing term and represents a constraint that the motion vectors u (x, y) and v (x, y) change smoothly in space. The strength of both constraints is adjusted by the smoothing term weight ⁇ .
  • the optimal motion vectors u (x, y) and v (x, y) are those that minimize the energy function.
  • u (x, y) and v (x, y) of the energy function are obtained by setting the partial differentiation of u (x, y) and v (x, y) of the energy function to 0, the following constraint equations regarding u (x, y) and v (x, y) are obtained.
  • ⁇ is a Laplace operator
  • ⁇ u (x, y) and ⁇ v (x, y) are expressed by the following equations.
  • the constraint equation is an equation relating to the motion vectors u (x, y) and v (x, y) of each coordinate.
  • Patent Document 1 describes a technique in which a motion vector is detected without using iterative calculation in view of the fact that iterative calculation takes a long time.
  • Patent Document 2 describes a technique related to a motion detection circuit, but only detects the presence or absence of motion, and cannot detect a motion vector.
  • Patent Document 3 describes a technique for detecting a motion vector by switching a gradient method or a block matching method according to the number of detected gradient portions. However, this technique seeks only one motion vector for the entire image.
  • Patent Document 4 describes a technique for detecting a motion vector of an original resolution image after detecting a motion vector from a reduced image. However, this technique relates to an improvement in the search range of motion vectors.
  • Patent Document 5 describes a technique for determining a hierarchy at which motion detection is started using data obtained by performing discrete wavelet decomposition on an image in a hierarchical motion vector detection method.
  • Non-Patent Document 1 The problem with the technique of Non-Patent Document 1 is that the amount of calculation is large. The reason is that it is practically impossible to solve the above simultaneous equations analytically because it is a huge matrix operation of (number of pixels ⁇ 2) ⁇ (number of pixels ⁇ 2) dimensions, and generally u (x , Y) and v (x, y) are given initial values, and it is necessary to optimize them by iterative calculation.
  • An object of the present invention is to provide a motion vector estimation device that can estimate a motion vector with a smaller amount of calculation, an interlace progressive conversion device including the motion vector estimation device, a method thereof, and a program thereof.
  • an interlace / progressive conversion device for converting an input interlace moving image including an input even field image and an input odd field image into a progressive moving image, based on the input even field image.
  • Virtual even field generation means for generating a virtual even field including a line at the same position as the line of the input odd field image, and the input odd field image based on the virtual even field image and the input odd field image
  • a first motion vector estimating means for estimating a motion vector for each of a plurality of pixel groups each including one or more pixels by iterative calculation, and the first motion vector estimating means
  • the input odd number Field composition for generating the progressive moving picture by synthesizing the motion compensation means for compensating the motion of each of a plurality of pixel groups included in the coded picture, the input odd field picture after motion compensation, and the input even field picture
  • the first motion vector estimation means performs the iterative calculation on a pixel group having a high frequency component among the plurality of pixel groups included in the input image
  • an interlace / progressive conversion method for converting an input interlace moving image including an input even field image and an input odd field image into a progressive moving image, based on the input even field image.
  • a virtual even field generation step for generating a virtual even field including a line at the same position as a line of the input odd field image, and the input odd field image based on the virtual even field image and the input odd field image
  • a first motion vector estimation step for estimating a motion vector for each of a plurality of pixel groups each including one or more pixels by iterative calculation, and the first motion vector estimation step
  • the motion vector estimated by A field for generating the progressive moving image by synthesizing the motion compensation step for compensating for the motion of each of the plurality of pixel groups included in the odd field image, the input odd field image after motion compensation, and the input even field image.
  • Synthesizing, and the first motion vector estimation step includes performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image,
  • an interlace / progressive conversion method comprising the step of performing the iterative calculation for a pixel group having no high frequency component among the plurality of pixel groups included in an input image.
  • a virtual even field generation means for generating a virtual even field image including a line at the same position as the line of the input odd field image based on the input even field image, and the virtual even field image First motion vector estimation for estimating a motion vector for each of a plurality of pixel groups included in the input odd field image and including one or more pixels, based on the input odd field image Means and the first Motion compensation means for compensating for the motion of each of the plurality of pixel groups included in the input odd field image based on the motion vector estimated by the motion vector estimation means, the input odd field image after motion compensation, and the input even field image
  • a computer that functions as a field synthesizing unit that generates the progressive moving image by synthesizing the image, and the first motion vector estimating unit has a high-
  • a motion vector can be estimated with a smaller amount of calculation.
  • the state when the iterative calculation for only the high-frequency pixel converges is almost the same as the state when the iterative calculation for all the pixels converges only for the high-frequency pixel. Therefore, if the iterative calculation for only the high frequency pixel has converged, the iterative calculation is performed for only the low frequency pixel.
  • the convergence process in the iterative calculation for only the low-frequency pixel after the iterative calculation for only the high-frequency pixel is continued after the convergence for only the high-frequency pixel first when the iterative calculation is performed for all the pixels. It is substantially the same as the convergence process in the iterative calculation performed only for the low frequency pixels.
  • the number of pixels to be calculated per iteration can be reduced.
  • the amount of calculation can be reduced.
  • iterative calculation is performed only for high-frequency pixels first and then iterative calculation is performed only for low-frequency pixels, the convergence of the calculation is almost the same as when iterating for all pixels from the beginning to the end. Since it does not change, even if iterative calculation is performed only for high-frequency pixels first and then iterative calculation is performed only for low-frequency pixels, the state of convergence of the calculation is compared to the case of iterative calculation for all pixels from the beginning to the end The total number of iterations does not increase. Therefore, in the present embodiment, the overall calculation amount can be reduced.
  • FIG. 4 shows the entire image processing method performed by this image processing apparatus.
  • the entire iterative calculation is divided into a plurality of stages, and in each stage, the iterative calculation is applied only to pixels that are expected to converge at each stage, and the number of iterations determined for each stage is reached. Or when the difference between the result of the previous iteration calculation for each pixel and the result of this iteration calculation is less than or equal to a predetermined threshold, the iteration calculation is terminated and the process proceeds to the next stage.
  • the result of the iterative calculation is, for example, an energy function value.
  • an iterative calculation method for example, a gradient method, a conjugate gradient method, a Gauss-Newton method, or a Levenberg-Marquardt method is used.
  • the motion vector estimation apparatus 101 includes a high frequency / low frequency determination unit 103, an iteration count determination unit 105, a partial differential coefficient calculation unit 107, and a motion vector estimation unit 109.
  • the high frequency / low frequency determination unit 103 determines whether each pixel of the current frame f includes a high frequency. If the high frequency / low frequency determination unit 103 includes the high frequency, the high frequency / low frequency determination unit 103 determines that the pixel is a high frequency pixel and includes the high frequency. If not, the pixel is determined to be a low frequency pixel.
  • including a high frequency means that an output level equal to or higher than a predetermined value can be obtained when a high-frequency pass / low-frequency blocking spatial filter is applied around the pixel.
  • the high frequency / low frequency determination unit 103 outputs a high frequency mask image as shown in FIG. 5 based on the determination result for each pixel. In FIG. 5, the white part is composed of high frequency pixels, and the black part is composed of low frequency pixels.
  • the iteration number determination unit 105 determines the number of iterations i 1 in the iterative calculation for the high-frequency pixel and the low-frequency pixel based on the ratio between the high-frequency pixels and all the pixels included in the high-frequency mask image, a parameter having a predetermined value, and the like.
  • I 1 and i 2 for determining the number of iterations i 2 ⁇ i 1 in the iteration calculation and the number of iterations i MAX ⁇ i 2 in the iteration calculation for all pixels are calculated.
  • i 1 ratio high (i MAX -n)
  • i 2 i MAX ⁇ n
  • i 1 and i 2 are obtained.
  • ratio high is the ratio of high- frequency pixels in the entire image
  • n is a predetermined parameter
  • i MAX is the total number of iterations.
  • ratio high may also be a predetermined parameter.
  • the partial differential coefficient calculation unit 107 is based on the pixels included in the current frame image f and the pixels included in the next frame image f ′, and the partial differentiation in the x direction of the motion vector for each pixel value f (x, y). Coefficient f x (x, y), partial differential coefficient f y (x, y) in the y direction of the motion vector for each pixel, partial differential coefficient f t (x, y) in the time direction of the motion vector for each pixel y) is calculated.
  • Motion vector estimation unit 109 an input high-frequency mask image, the number of iterations i 1, i 2, i MAX , partial derivatives f x (x, y), f y (x, y), f t (x, y) and Based on these inputs, the motion vectors u (x, y) and v (x, y) for each high frequency pixel of the current frame image f are estimated, and the motion for each low frequency pixel of the current frame image f is estimated. The vectors u (x, y) and v (x, y) are estimated.
  • the calculation based on the iterative calculation method for solving the constraint equation is repeated the number of times specified by the number of iterations i 1 .
  • the calculation based on the iterative calculation method for solving the constraint equation is repeated for the number of times specified by the number of iterations i 2 -i 1 .
  • the calculation by the iterative calculation method for solving the constraint equation is repeated for all the pixels for the number of times designated by the number of iterations i MAX -i 2 .
  • the high frequency / low frequency determination unit 103 determines whether each pixel of the current frame image f is a high frequency pixel or a low frequency pixel (step S201).
  • the iteration number determination unit 105 determines (calculates) the number of times i 1 , i 2 , i MAX related to the number of iterations (step S203).
  • the partial differential coefficient calculation unit 107 performs partial differential coefficients f x (x, y), f y (x, y), and f t (x, y) for each pixel value f (x, y) of the current frame image. y) is calculated (step S205).
  • the high-frequency pixels contained in the current frame image, the iterative calculation for solving the above constraint equation for obtaining the motion vector was repeated once i
  • the low-frequency pixels contained in the current frame image obtains a motion vector the iterative calculation for solving the constraint equation iteratively i 2 -i 1 time for, for all the frequency pixels contained in the current frame image, the iterative calculation for solving the above constraint equation for obtaining the motion vector i MAX repeated twice -i (step S207, S209).
  • the reason for performing iterative calculation for low-frequency pixels, iteratively calculating for high-frequency pixels, and then performing iterative calculation for all pixels is to perform processing that integrates adjacent pixels by performing iterative calculation for all pixels. This is because the motion vector estimated at the boundary between the high-frequency pixel and the low-frequency pixel has continuity.
  • the second embodiment is a multi-resolution version of the first embodiment.
  • FIG. 6 shows an image processing apparatus according to the second embodiment.
  • FIG. 7 shows the entire image processing method performed by the image processing apparatus.
  • a motion vector is obtained from low-resolution images in the vertical direction 1/4 and the horizontal direction 1/4. Then, at the next resolution level of 1/2 in the vertical direction and 1/2 in the horizontal direction, the motion vector obtained at the resolution level of 1/4 in the previous vertical direction and 1/4 in the horizontal direction is converted into the vertical direction 1 / 2.
  • the motion vector at the resolution level of 1/2 in the vertical direction and 1/2 in the horizontal direction is obtained after the initial value of the motion vector is upscaled according to the resolution level of 1/2 in the horizontal direction. Such processing is repeated until the final resolution level, that is, the same resolution level as the resolution level of the input image.
  • the motion vector estimation apparatus 101B includes a high frequency / low frequency determination unit 103B, an iteration count determination unit 105B, a partial differential coefficient calculation unit 107B, a motion vector estimation unit 109B, a resolution pyramid creation unit 111, and A motion vector upscaling unit 113 is included.
  • the resolution pyramid creation unit 111 is a primary low-resolution image having a resolution of 1/2 in the vertical direction and 1/2 in the horizontal direction, 1/4 in the vertical direction, and 1 / in the horizontal direction.
  • a secondary low-resolution image with a resolution of 4 is created.
  • a high-frequency component is removed by applying a Gaussian filter, and then the pixel is moved in the vertical direction. And every other pixel in the horizontal direction.
  • this is a method when the resolution one step lower than a certain resolution is 1/2.
  • a resolution that is one step lower than a certain resolution may be other than 1/2. In this case, for example, filtering and resampling are performed according to the resolution.
  • the high frequency / low frequency determination unit 103B, the iteration number determination unit 105B, the partial differential coefficient calculation unit 107B, and the motion vector estimation unit 109B are respectively the high frequency / low frequency determination unit 103, the iteration number determination unit 105, and the partial differentiation of the first embodiment. This is the same as the coefficient calculation unit 107 and the motion vector estimation unit 109.
  • the high frequency / low frequency determination unit 103B, the iteration number determination unit 105B, the partial differential calculation unit 107B, and the motion vector estimation unit 109B are the same resolution image (original resolution image) as the input image, the primary low resolution image, 2
  • the next low resolution image operates in the order of the secondary resolution image, the primary low resolution, and the original resolution image.
  • the motion upscaling unit 113 converts the motion vector obtained for the pixels included in the image of the current resolution to a resolution of double vertical and double horizontal by a predetermined method (for example, bilinear interpolation, nearest neighbor interpolation, bicubic interpolation, etc.).
  • the upscaled motion vector is fed back to the motion vector estimation unit 109B as an initial value for obtaining a motion vector for a pixel included in the next pixel (double vertical and double horizontal). To do.
  • Steps S201, S203, S205, S207, and S209 are the same as steps S201, S203, S205, S207, and S209 of the embodiment, respectively, and a duplicate description is omitted.
  • i MAX is changed to i r MAX for each resolution r, and i 1 and i 2 are changed to i r 1 and i r 2 accordingly .
  • the resolution pyramid creation unit 111 creates an original resolution image, a primary low resolution image, and a secondary low resolution image for each of the current frame image f and the next frame image f ′ (step S221).
  • steps S201, S203, S205, S207, and S209 are executed.
  • the motion vector upscaling unit 113 upscales the motion vector (step S223).
  • step S225 it is determined whether or not the current resolution is the final resolution (i.e., the original resolution) (step S225). If not (NO in step S225), the resolution is advanced by one stage (the resolution is vertically 2). If the answer is YES (YES in step S225), the motion vector currently obtained is set as the final estimated motion vector, and the process is terminated.
  • the final resolution i.e., the original resolution
  • the third embodiment is an application of the motion vector estimation apparatus 101 or 101B of the first or second embodiment to an interlace / progressive conversion apparatus.
  • the interlace progressive conversion device 121 includes a motion vector estimation device 101 or 101B, a motion compensation unit 123, and a field synthesis unit 125.
  • the motion vector estimation device 101 or 101B uses an odd field image or an even field image of interlaced images as a field image for motion vector estimation, and two fields sandwiching the target field image. image based on the partial differential coefficient of the constraint equation for calculating the motion vector f x (x, y), f y (x, y), determine the f t (x, y), these partial derivative
  • the motion vector for the pixel included in the target field image is estimated by solving the used constraint equation by iterative calculation.
  • the motion vector is between a field image that is a target of motion vector estimation and a field image adjacent thereto.
  • the motion compensation unit 123 performs motion compensation on the pixel of the field image that is the target of motion vector estimation using the motion vector estimated by the motion vector estimation device 101 or 101B.
  • the field synthesis unit 125 obtains a progressive image by synthesizing the field image motion-compensated by the motion compensation unit 123 and the other field image included in the input interlaced image. Is output.
  • the effect of the first to third embodiments is that an estimated motion vector having the same accuracy as that of the normal technique can be obtained with a smaller calculation amount than that of the normal technique.
  • the reason is that the entire iterative calculation is divided into a plurality of stages, and in each stage, only pixels that are expected to converge in the same stage are subjected to the iterative calculation.
  • the resolution pyramid creation unit 111 shown in FIG. 6 generates a resolution pyramid for each of the current frame image f and the next frame image f ′. Specifically, a high frequency component is removed by applying a Gaussian filter to each of the current frame image f and the next frame image f ′ (hereinafter referred to as “original frame image”), and then one pixel is set. By sampling every other time, a primary low-resolution image having an image resolution of 1/2 in the vertical direction and 1/2 in the horizontal direction with respect to the original frame image is generated.
  • the resolution pyramid creation unit 111 applies the Gaussian filter and sampling every other pixel to the primary resolution frame image, so that the image resolution is 1 ⁇ 4 vertical and 1 / horizontal with respect to the original frame image. 4 is generated.
  • resolutions of 1/4, 1/2, and equal magnification with respect to the resolution of the original image are referred to as resolution levels 1, 2, and 3, respectively.
  • a high frequency mask image representing is generated.
  • horizontal and vertical Sobel filters represented by the following coefficient matrix are applied to the current frame image f to calculate luminance gradient components in the horizontal and vertical directions at each coordinate, A pixel whose luminance gradient strength obtained based on the luminance gradient component in the vertical direction exceeds a threshold value is determined as a high frequency pixel.
  • a pixel that is not a high-frequency pixel is set as a low-frequency pixel.
  • a square sum, an absolute value sum, or a maximum value of the luminance gradient component in the horizontal direction and the luminance gradient component in the vertical direction is set as the luminance gradient.
  • pixels with low frequency components and no high frequency components are classified as low frequency pixels, pixels with no low frequency components, pixels with high frequency components, and pixels with high frequency components and with high frequency components. Are classified as high-frequency pixels.
  • the iteration number determination unit 105B calculates the iteration times i r 1 , i r 2 , and i r MAX that end the stages 1, 2, and 3 at the current resolution level r.
  • i r MAX is calculated by the following equation.
  • i MAX is a predetermined maximum number of iterations
  • ⁇ is a parameter (0 ⁇ ⁇ 1) that attenuates the maximum number of iterations as the resolution level advances.
  • ⁇ r-1 represents ⁇ to the (r-1) power.
  • the number of iterations i r 1 ending stage 1 at the current resolution level r i.e.
  • i r 1 ratio high ⁇ (i r MAX ⁇ n)
  • i r 2 i r MAX ⁇ n
  • ratio high is the ratio of high- frequency pixels in the entire image at the current resolution level r
  • n is a predetermined parameter.
  • the partial differential coefficient calculation unit 107B calculates three partial differential coefficients f X (x, y) and f Y (x required for the motion vector estimation process from the images f and f ′ at the current resolution level r. , Y), f t (x, y).
  • the motion vector estimation unit 109B executes motion vector estimation processing in the order of stages 1 to 3.
  • stage 1 iterative calculation is performed for high-frequency pixels (white pixels in the high-frequency mask image in FIG. 5), and the estimated motion vector for the high-frequency pixels is optimized. This stage runs from the first to the ir first iteration.
  • stage 2 iterative calculation is performed for the low frequency pixels (black pixels in the high frequency mask image in FIG. 5), and the estimated motion vector for the low frequency pixels is optimized. This stage runs from i r 1 +1 to i r 2 iterations.
  • stage 3 iterative calculation is performed for all the pixels in the image to optimize the estimated motion vector for all the pixels.
  • the motion upscaling unit 113 generates the initial value of the estimated motion vector of the next resolution level r + 1 by upscaling the estimated motion vector images u and v to twice the resolution by bilinear interpolation.
  • Example 1 is for the case where the input is a progressive moving image.
  • the input is an interlaced video
  • there is a time lag between the even and odd fields in the image so if there is horizontal movement between the subject and the camera, combing noise will appear on the image. Occurs.
  • An example of an interlaced image in which combing noise is generated is shown in FIG. It is difficult to correctly estimate a motion vector between images in which such combing noise occurs.
  • the second embodiment is configured in view of this point.
  • a motion vector is obtained between two field images included in an interlaced moving image
  • motion compensation is performed in advance for either an even field image or an odd field image.
  • a progressive image in which the time lag between the two has been eliminated is generated (hereinafter, this processing is referred to as IP conversion (interlace / progressive conversion)), and this is referred to as the first embodiment.
  • IP conversion interlace / progressive conversion
  • Example 2 is a specific embodiment of the second embodiment of the present invention.
  • FIG. 10 shows the state of the IP conversion operation in the second embodiment.
  • a case will be described in which motion compensation is performed on an odd field on the basis of an even field. Note that in the case of motion compensation for even fields, the processing described below may be executed simply by exchanging odd fields and even fields.
  • an interlaced moving image F as an input is separated into an even field image f even and an odd field image f odd, and an IP conversion motion vector u IP for each pixel (x, y) on the odd field image f odd.
  • the motion vectors u IP (x, y) and v IP (x, y) are obtained by averaging “odd field image f odd ” and “line evenly adjacent to each other on the even field image f even ”. It is assumed that the motion between the image f ave (virtual even field image) composed of the lines obtained by the above is calculated using the first embodiment. Lines obtained by averaging the line adjacent to each other up and down on the even-numbered field image f the even is not in the even-numbered field image f the even originally line, above for comparison with in the odd field lines This is a virtual line obtained by averaging. That is, the odd field image f odd is treated as the current frame image f in the first embodiment, and the following formula: Is processed as the next frame image f ′ in the first embodiment, and the processing of the first embodiment is executed.
  • motion vectors u IP (x, y) and v IP (x, y) for IP conversion and motion vectors u (x, y) and v (x, y) between progressive images estimated thereafter are used.
  • initial values of motion vectors u (x, y) and v (x, y) between progressive images may be set as follows.
  • ⁇ y is an operator that doubles the number of pixels in the y-axis direction of the image.
  • the motion vector u (x, y) for each pixel between the frames of the progressive video can be expected to reduce the number of iterations required to calculate v (x, y). Therefore, even if the total number of resolution levels for calculating u (x, y) and v (x, y) and the maximum number of iterations i r MAX at each resolution level r are set to a smaller value than in the first embodiment. Good.
  • a progressive image having the same frame rate as that of the input interlaced image is obtained.
  • a progressive image having a frame rate that is twice the frame rate of the input interlaced image is obtained.
  • the even field with motion compensation and the odd field without motion compensation are combined to generate one odd frame and alternately connect even frames and odd frames.
  • initial values of motion vectors u (x, y) and v (x, y) between progressive images are the same as those in the second embodiment. From Changed to
  • the fourth embodiment is for further improving the accuracy of the IP conversion motion vectors u IP (x, y) and v IP (x, y) estimated in the second and third embodiments.
  • Example 4 as a pretreatment, and the even field image f the even of the current frame, the motion vector u the even between even-numbered field image f 'the even of the next frame (x, y), v even (x, y) and The estimation is performed by the process shown in the first embodiment.
  • the u even (x, y) and v even (x, y) and the IP conversion motion vectors u IP (x, y) and v IP (x, y) There is a correlation. Focusing on this point, initial values of motion vectors u IP (x, y) and v IP (x, y) for IP conversion are set as follows.
  • the reduction in the number of iterations by providing an appropriate initial value in the second, third, and fourth embodiments is realized by a method different from the above-described embodiment.
  • the constraint equations for u (x, y) and v (x, y) in the fifth embodiment are as follows.
  • u 0 (x, y) and v 0 (x, y) are initial values of u (x, y) and v (x, y), respectively
  • w u (x, y) and w v ( x, y) represents the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively.
  • the motion vector estimation device and interlace / progressive conversion device described above can be realized by hardware, software, or a combination thereof.
  • the motion vector estimation method performed by the above-described motion vector estimation device and other devices, and the interlace / progressive conversion method performed by the above-described interlace / progressive conversion device and other devices also include hardware, software, or a combination thereof.
  • "realized by software” means realized by a computer reading and executing a program.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disc), CD-ROM (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • An interlace / progressive conversion device for converting an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
  • Virtual even field generation means for generating a virtual even field including a line at the same position as the line of the input odd field image based on the input even field image;
  • Based on the virtual even field image and the input odd field image iteratively calculates a motion vector for each of the plurality of pixel groups included in the input odd field image, each including one or more pixels.
  • First motion vector estimation means for estimating by Motion compensation means for compensating for the motion of each of a plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation means;
  • Field synthesizing means for generating the progressive moving image by synthesizing the input odd field image after motion compensation and the input even field image;
  • the first motion vector estimation means includes: After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image.
  • An interlace / progressive conversion device comprising means for performing the iterative calculation for a pixel group.
  • Appendix 2 An interlace / progressive conversion device according to appendix 1, A second motion vector estimating means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image; The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image.
  • An interlace / progressive conversion device characterized in that the interlace / progressive conversion device is used as an initial value at the time of estimation.
  • the interlace / progressive conversion device includes: The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace progressive converter.
  • the interlace / progressive conversion device includes: Means for generating a first low-resolution image having a lower resolution than the input image based on the input image; Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
  • An interlace / progressive conversion apparatus further comprising:
  • the interlace / progressive conversion device includes: Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image; Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
  • An interlace / progressive conversion apparatus further comprising:
  • the interlace / progressive conversion device includes: An interlace / progressive conversion apparatus, further comprising means for determining whether or not each of the plurality of pixel groups has a high-frequency component.
  • the third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator.
  • a motion vector estimation device that is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
  • Have The first motion vector estimation step includes: After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image.
  • An interlace progressive conversion method comprising the step of performing the iterative calculation for a pixel group.
  • the interlace / progressive conversion method includes: The method further comprises the step of performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace / progressive conversion method.
  • the interlace progressive conversion method according to any one of appendices 12 to 15,
  • the first motion vector estimation step includes: Generating a first low-resolution image having a lower resolution than the input image based on the input image; Estimating a motion vector for the input image after estimating a motion vector for the first low-resolution image and then using a motion vector estimated for the first low-resolution image as an initial value;
  • the interlace progressive conversion method further comprising:
  • the interlace / progressive conversion method includes: Generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image; Estimating a motion vector for the first low-resolution image after estimating a motion vector for the second low-resolution image, using the motion vector estimated for the second low-resolution image as an initial value;
  • the interlace progressive conversion method further comprising:
  • the interlace progressive conversion method according to any one of appendices 12 to 17,
  • the first motion vector estimation step includes:
  • the interlace / progressive conversion method further comprising the step of determining whether or not each of the plurality of pixel groups has a high frequency component.
  • the interlace progressive conversion method according to any one of appendices 12 to 18, comprising: The interlace / progressive transformation method, wherein the iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term.
  • Appendix 20 The interlace / progressive conversion method according to any one of appendices 12 to 19, The interlace / progressive conversion method, wherein the input even field image and the input odd field image are interchanged with each other.
  • a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated in the first motion vector estimation step is used as a progressive video.
  • a motion vector estimation method which is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
  • An interlace / progressive conversion program for causing a computer to function as an interlace / progressive conversion device that converts an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
  • Virtual even field generation means for generating a virtual even field image including a line at the same position as the line of the input odd field image based on the input even field image;
  • a motion vector is estimated for each of a plurality of pixel groups included in the input odd field image, each including one or more pixels.
  • the first motion vector estimation means includes: After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image.
  • An interlace / progressive conversion program comprising means for performing the iterative calculation on a pixel group.
  • (Appendix 24) An interlace / progressive conversion program according to attachment 23, Further, the computer functions as second motion vector estimation means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image, The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image.
  • a program for interlace / progressive conversion characterized in that it is used as an initial value at the time of estimation.
  • the first motion vector estimation means includes: The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Program for interlaced progressive conversion.
  • the first motion vector estimation means includes: Means for generating a first low-resolution image having a lower resolution than the input image based on the input image; Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
  • An interlace / progressive conversion program characterized by further comprising:
  • the first motion vector estimation means includes: Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image; Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
  • An interlace / progressive conversion program characterized by further comprising:
  • the interlace / progressive conversion program according to any one of appendices 23 to 28,
  • the first motion vector estimation means includes: A program for interlace / progressive conversion, further comprising means for determining whether each of the plurality of pixel groups has a high-frequency component.
  • Appendix 30 An interlace / progressive conversion program according to any one of appendices 23 to 29, The iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term, and a program for interlace progressive conversion .
  • a motion vector estimation program for causing a computer to function as third motion vector estimation means for estimating a motion vector for each pixel group between frames of a progressive moving image generated by the interlace / progressive conversion device,
  • the third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator.
  • a motion vector estimation program characterized by being used as an initial value when estimating a motion vector for each pixel group between image frames.
  • a motion vector estimation program comprising: The motion vector estimation program, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
  • the present invention can be applied to a purpose of obtaining a motion at each pixel in a video at high speed.
  • the present invention can be applied to uses such as three-dimensional noise removal that removes noise by aligning and synthesizing images of a plurality of frames and super-resolution that generates a high resolution image from images of a plurality of frames.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

Provided is an interlace/progressive conversion device containing a motion vector estimation device capable of estimating the motion vector with less calculations. An interlace/progressive conversion device is provided with a means for generating a virtual field image on the basis of an even-number field image, a means for estimating the motion vectors of pixels contained in an odd-number field image on the basis of the virtual field image and the odd-number field image, a means for compensating for the motions of each of a plurality of pixel groups contained in the odd-number field image by means of the motion vectors, and a means for generating a progressive moving image by synthesizing the even-number field image and the odd-number field image subjected to motion compensation, wherein the motion vector estimating means makes repetitive calculations with regard to the pixel groups that do not have a high frequency component from among the plurality of pixel groups contained in an input image after making repetitive calculations with regard to the pixel groups that have a high frequency component from among the plurality of pixel groups contained in the input image.

Description

インターレース・プログレッシブ変換装置及び動きベクトル推定装置、それらの方法並びにそれらのプログラムInterlace / progressive conversion device, motion vector estimation device, method thereof, and program thereof
　本発明は、インターレース・プログレッシブ変換装置及び動きベクトル推定装置、それらの方法並びにそれらのプログラムに関する。 The present invention relates to an interlace / progressive conversion device, a motion vector estimation device, a method thereof, and a program thereof.
　動画像中の連続するフレーム間での各画素の動きを推定する処理は、ＭＰＥＧ(Moving Picture Experts Group)符号化方法及び装置や、複数フレームの画像を位置合わせし、合成することでノイズ除去を行う３次元ノイズ除去方法及び装置や、複数フレームの画像から高解像画像を生成する超解像技術に用いられている。 The process of estimating the movement of each pixel between successive frames in a moving image is performed by MPEG (Moving Picture Experts Group) encoding method and device, or by denoising by aligning and synthesizing images of multiple frames. It is used for a three-dimensional noise removal method and apparatus to be performed and a super-resolution technique for generating a high-resolution image from a plurality of frames of images.
　微小な運動を含む動画像中の所定の時間間隔の二枚の輝度画像ｆ、ｆ’と、各画素におけるｆからｆ’への動きベクトルを推定した結果を図１に示す。以下では、座標（ｘ，ｙ）における動きベクトルの水平方向成分をｕ（ｘ，ｙ）、垂直方向成分をｖ（ｘ，ｙ）で表すこととする。 FIG. 1 shows the results of estimating two luminance images f and f ′ at a predetermined time interval in a moving image including a minute motion and the motion vector from f to f ′ in each pixel. Hereinafter, the horizontal direction component of the motion vector at the coordinate (x, y) is represented by u (x, y) and the vertical direction component is represented by v (x, y).
　通常の動きベクトル推定方法の一例が非特許文献１に記載されている。同手法では、次の式で表されるエネルギー関数Ｅを考える。
Figure JPOXMLDOC01-appb-M000004
 　ここで、第１項はデータ項と呼ばれ、第２項は正則化項と呼ばれる。また、ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、ｆｔ（ｘ，ｙ）はそれぞれ座標（ｘ，ｙ）における、画素値の振幅ｆ（ｘ，ｙ）のｘ軸、ｙ軸および時間軸方向の偏微分であり、次式で表される。
Figure JPOXMLDOC01-appb-M000005
 また、
Figure JPOXMLDOC01-appb-M000006
 は座標（ｘ，ｙ）における勾配ベクトルであり、次式で表される。
Figure JPOXMLDOC01-appb-M000007
 　上式右辺｛｝内の第１項はデータ項と呼ばれ、動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）での移動前後で、画像ｆ、ｆ’上での輝度値が変化しないという制約を表す。同様に第２項は平滑化項と呼ばれ、動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）が空間的に滑らかに変化するという制約を表す。両制約の強さは、平滑化項重みαによって調整する。 An example of a normal motion vector estimation method is described in Non-Patent Document 1. In this method, an energy function E expressed by the following equation is considered.
Figure JPOXMLDOC01-appb-M000004
 Here, the first term is called the data term, and the second term is called the regularization term. Further, f x (x, y) , f y (x, y), f t (x, y) x -axis of each coordinate (x, y) in the, pixel value amplitude f (x, y), y It is a partial differential in the direction of the axis and time axis and is expressed by the following equation.
Figure JPOXMLDOC01-appb-M000005
 Also,
Figure JPOXMLDOC01-appb-M000006
 Is a gradient vector at coordinates (x, y) and is expressed by the following equation.
Figure JPOXMLDOC01-appb-M000007
 The first term in the right side {} of the above expression is called a data term, and the luminance value on the images f and f ′ changes before and after the movement with the motion vectors u (x, y) and v (x, y). It represents the restriction of not. Similarly, the second term is called a smoothing term and represents a constraint that the motion vectors u (x, y) and v (x, y) change smoothly in space. The strength of both constraints is adjusted by the smoothing term weight α.
　最適な動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）は、上記エネルギー関数を最小にするものである。このとき、上記エネルギー関数のｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）についての偏微分を０とすることで、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に関する以下の拘束式を得る。
Figure JPOXMLDOC01-appb-M000008
 　ここで、Δはラプラス演算子であり、Δｕ（ｘ，ｙ）、Δｖ（ｘ，ｙ）は次式で表される。
Figure JPOXMLDOC01-appb-M000009
 The optimal motion vectors u (x, y) and v (x, y) are those that minimize the energy function. At this time, by setting the partial differentiation of u (x, y) and v (x, y) of the energy function to 0, the following constraint equations regarding u (x, y) and v (x, y) are obtained. obtain.
Figure JPOXMLDOC01-appb-M000008
 Here, Δ is a Laplace operator, and Δu (x, y) and Δv (x, y) are expressed by the following equations.
Figure JPOXMLDOC01-appb-M000009
　上記拘束式は、各座標の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に関する方程式であり、この連立方程式を解くことで、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）が求まる。 The constraint equation is an equation relating to the motion vectors u (x, y) and v (x, y) of each coordinate. By solving these simultaneous equations, u (x, y) and v (x, y) are I want.
　なお、特許文献１には、反復計算が長時間を要することに鑑み、反復計算を用いずに、動きベクトルを検出することとした技術が記載されている。 Note that Patent Document 1 describes a technique in which a motion vector is detected without using iterative calculation in view of the fact that iterative calculation takes a long time.
　特許文献２には、動き検出回路に関する技術が記載されているが、動きの有無を検出するのみであり、動きベクトルを検出することはできない。 Patent Document 2 describes a technique related to a motion detection circuit, but only detects the presence or absence of motion, and cannot detect a motion vector.
　特許文献３には、検出された勾配部の数に応じて、勾配法又はブロックマッチング法を切り替えて、動きベクトルを検出する技術が記載されている。しかし、この技術は、画像全体についての１つのみの動きベクトルを求めるものである。 Patent Document 3 describes a technique for detecting a motion vector by switching a gradient method or a block matching method according to the number of detected gradient portions. However, this technique seeks only one motion vector for the entire image.
　特許文献４には、縮小画像から動きベクトルを検出してから、元の解像度の画像の動きベクトルを検出する技術が記載されている。しかし、この技術は、動きベクトルの探索範囲の改良に関するものである。 Patent Document 4 describes a technique for detecting a motion vector of an original resolution image after detecting a motion vector from a reduced image. However, this technique relates to an improvement in the search range of motion vectors.
　特許文献５には、階層的に動きベクトルを検出する方法において、画像を離散ウェーブレット分解して得たデータを用いて、動きの検出を開始する階層を決定する技術が記載されている。 Patent Document 5 describes a technique for determining a hierarchy at which motion detection is started using data obtained by performing discrete wavelet decomposition on an image in a hierarchical motion vector detection method.
特開平６－１５０００７号公報JP-A-6-150007 特開２０００－１１５５８５号公報JP 2000-115585 A 特開２００９－８８８８４号公報JP 2009-88884 A 特開２０１０－７４４９６号公報JP 2010-74496 A 特開２０１１－８２７００号公報JP 2011-82700 A
　上記の非特許文献１の技術の問題点は、計算量が多いということである。その理由は、上記連立方程式を解析的に解くことは、（画素数×２）×（画素数×２）次元の巨大な行列演算となるため、事実上不可能であり、一般にはｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に初期値を与え、これを反復計算によって最適化する必要があるためである。 The problem with the technique of Non-Patent Document 1 is that the amount of calculation is large. The reason is that it is practically impossible to solve the above simultaneous equations analytically because it is a huge matrix operation of (number of pixels × 2) × (number of pixels × 2) dimensions, and generally u (x , Y) and v (x, y) are given initial values, and it is necessary to optimize them by iterative calculation.
　本発明の目的は、より少ない計算量で、動きベクトルを推定できる動きベクトル推定装置及びそれを含むインターレース・プログレッシブ変換装置、それらの方法並びにそれらのプログラムを提供することにある。 An object of the present invention is to provide a motion vector estimation device that can estimate a motion vector with a smaller amount of calculation, an interlace progressive conversion device including the motion vector estimation device, a method thereof, and a program thereof.
　本発明の第１の観点によれば、入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置であって、前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成手段と、前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定手段と、前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、を備え、前記第１の動きベクトル推定手段は、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換装置が提供される。 According to a first aspect of the present invention, there is provided an interlace / progressive conversion device for converting an input interlace moving image including an input even field image and an input odd field image into a progressive moving image, based on the input even field image. Virtual even field generation means for generating a virtual even field including a line at the same position as the line of the input odd field image, and the input odd field image based on the virtual even field image and the input odd field image A first motion vector estimating means for estimating a motion vector for each of a plurality of pixel groups each including one or more pixels by iterative calculation, and the first motion vector estimating means The input odd number Field composition for generating the progressive moving picture by synthesizing the motion compensation means for compensating the motion of each of a plurality of pixel groups included in the coded picture, the input odd field picture after motion compensation, and the input even field picture And the first motion vector estimation means performs the iterative calculation on a pixel group having a high frequency component among the plurality of pixel groups included in the input image, and then performs the input image An interlace / progressive conversion device is provided that includes means for performing the iterative calculation on a pixel group that does not have a high-frequency component among the plurality of pixel groups included in the pixel group.
　本発明の第２の観点によれば、入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換方法であって、前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成ステップと、前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定ステップと、前記第１の動きベクトル推定ステップにより推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償ステップと、動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成ステップと、を有し、前記第１の動きベクトル推定ステップは、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とするインターレース・プログレッシブ変換方法が提供される。 According to a second aspect of the present invention, there is provided an interlace / progressive conversion method for converting an input interlace moving image including an input even field image and an input odd field image into a progressive moving image, based on the input even field image. A virtual even field generation step for generating a virtual even field including a line at the same position as a line of the input odd field image, and the input odd field image based on the virtual even field image and the input odd field image A first motion vector estimation step for estimating a motion vector for each of a plurality of pixel groups each including one or more pixels by iterative calculation, and the first motion vector estimation step By the motion vector estimated by A field for generating the progressive moving image by synthesizing the motion compensation step for compensating for the motion of each of the plurality of pixel groups included in the odd field image, the input odd field image after motion compensation, and the input even field image. Synthesizing, and the first motion vector estimation step includes performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, There is provided an interlace / progressive conversion method comprising the step of performing the iterative calculation for a pixel group having no high frequency component among the plurality of pixel groups included in an input image.
　本発明の第３の観点によれば、入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラムであって、前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールド画像を生成する仮想偶数フィールド生成手段と、前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを推定する第１の動きベクトル推定手段と、前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、としてコンピュータを機能させ、前記第１の動きベクトル推定手段は、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換用プログラムが提供される。 According to the third aspect of the present invention, for interlace / progressive conversion for causing a computer to function as an interlace / progressive conversion device that converts an input interlaced video including an input even field image and an input odd field image into a progressive video. A virtual even field generation means for generating a virtual even field image including a line at the same position as the line of the input odd field image based on the input even field image, and the virtual even field image First motion vector estimation for estimating a motion vector for each of a plurality of pixel groups included in the input odd field image and including one or more pixels, based on the input odd field image Means and the first Motion compensation means for compensating for the motion of each of the plurality of pixel groups included in the input odd field image based on the motion vector estimated by the motion vector estimation means, the input odd field image after motion compensation, and the input even field image And a computer that functions as a field synthesizing unit that generates the progressive moving image by synthesizing the image, and the first motion vector estimating unit has a high-frequency component among the plurality of pixel groups included in the input image. Means for performing the iterative calculation on a pixel group having no high-frequency component among the plurality of pixel groups included in the input image after performing the iterative calculation on the pixel group. An interlace / progressive conversion program is provided.
　本発明によれば、より少ない計算量で、動きベクトルを推定できる。 According to the present invention, a motion vector can be estimated with a smaller amount of calculation.
動画像中の所定の時間間隔の二枚の輝度画像間の各画素についての動きベクトルを説明するための図である。It is a figure for demonstrating the motion vector about each pixel between the two luminance images of the predetermined time interval in a moving image. 本発明の実施形態により行なわれる画素の種類毎の反復計算の回数を説明するための図である。It is a figure for demonstrating the frequency | count of the iterative calculation for every kind of pixel performed by embodiment of this invention. 本発明の実施形態１による動きベクトル推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the motion vector estimation apparatus by Embodiment 1 of this invention. 本発明の実施形態１による動きベクトル推定方法を示すフローチャートである。It is a flowchart which shows the motion vector estimation method by Embodiment 1 of this invention. 本発明の実施形態で利用する高周波マスク画像の一例を示す図である。It is a figure which shows an example of the high frequency mask image utilized by embodiment of this invention. 本発明の実施形態２による動きベクトル推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the motion vector estimation apparatus by Embodiment 2 of this invention. 本発明の実施形態２による動きベクトル推定方法を示すフローチャートである。It is a flowchart which shows the motion vector estimation method by Embodiment 2 of this invention. 本発明の実施形態２による動きベクトル推定方法を説明するための概念図である。It is a conceptual diagram for demonstrating the motion vector estimation method by Embodiment 2 of this invention. 本発明の実施形態３によるインターレース・プログレッシブ変換装置の構成を示すブロック図である。It is a block diagram which shows the structure of the interlace progressive converter by Embodiment 3 of this invention. 本発明の実施形態３によるインターレース・プログレッシブ変換方法を説明するための第１の概念図である。It is a 1st conceptual diagram for demonstrating the interlace progressive conversion method by Embodiment 3 of this invention. 本発明の実施形態３によるインターレース・プログレッシブ変換方法を説明するための第２の概念図である。It is a 2nd conceptual diagram for demonstrating the interlace progressive conversion method by Embodiment 3 of this invention.
　以下、図面を参照して本発明を実施するための形態について詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
　本実施形態では、反復計算による最適化の過程で、画素によって動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の値が収束するまでに必要な反復回数が異なる点に着目する。具体的には、画像上で高周波をもつ画素（エッジ付近の画素など）は、反復計算の初期段階で収束するのに対し、低周波をもつ画素（輝度変化の少ない平坦領域中の画素など）は、高周波画素よりも遅れて収束が始まる。本実施形態では、この特性を利用し、図２に示すように、反復計算全体を複数のステージにわけ、各ステージにおいて、該各ステージでの収束が見込まれる画素だけに反復計算を行うことで、本発明の目的を達成することができる。 In the present embodiment, attention is paid to the fact that the number of iterations required until the values of motion vectors u (x, y) and v (x, y) converge depending on pixels in the optimization process by iterative calculation. Specifically, pixels with a high frequency on the image (such as pixels near the edge) converge at the initial stage of the iterative calculation, whereas pixels with a low frequency (such as pixels in a flat region with little luminance change). Converges later than the high-frequency pixel. In this embodiment, by using this characteristic, as shown in FIG. 2, the entire iterative calculation is divided into a plurality of stages. The object of the present invention can be achieved.
　すなわち、全画素について反復計算を行なった場合であっても、高周波画素のみについて反復計算を行なった場合であっても、反復計算の初期において高周波画素について計算が収束するまでの反復回数はさほど変わらない。従って、まず最初に高周波画素のみについて反復計算をする。そうすると、その反復計算からは低周波画素についての計算が除外されるので、１回の反復当たりに計算の対象となる画素数を削減することができる。 That is, even when iterative calculation is performed for all pixels or only for high-frequency pixels, the number of iterations until the calculation for high-frequency pixels converges at the initial stage of the iterative calculation varies greatly. Absent. Therefore, first, iterative calculation is performed only for high-frequency pixels. Then, since the calculation for the low frequency pixel is excluded from the iterative calculation, the number of pixels to be calculated per one iteration can be reduced.
　高周波画素のみについての反復計算が収束した時点での状態は、全画素についての反復計算が高周波画素のみについて収束した時点での状態とほぼ同じである。従って、高周波画素のみについての反復計算が収束したならば、次に、低周波画素のみについて反復計算をする。高周波画素のみについて反復計算をした後に行なわれる低周波画素のみについての反復計算における収束過程は、全画素について反復計算が行なわれる場合に、最初に実質的に高周波画素のみについて収束した後に引き続き行なわれる実質的に低周波画素のみについて行なわれる反復計算における収束過程とほぼ同じである。従って、高周波画素のみについての反復計算が収束したならば、次に、低周波画素のみについて反復計算をしても何ら問題は生じない。低周波画素のみについての反復計算からは、高周波画素についての計算は除外されるので、１回の反復当たりに計算の対象となる画素数を削減することができる。 The state when the iterative calculation for only the high-frequency pixel converges is almost the same as the state when the iterative calculation for all the pixels converges only for the high-frequency pixel. Therefore, if the iterative calculation for only the high frequency pixel has converged, the iterative calculation is performed for only the low frequency pixel. The convergence process in the iterative calculation for only the low-frequency pixel after the iterative calculation for only the high-frequency pixel is continued after the convergence for only the high-frequency pixel first when the iterative calculation is performed for all the pixels. It is substantially the same as the convergence process in the iterative calculation performed only for the low frequency pixels. Therefore, if the iterative calculation for only the high frequency pixel has converged, then no problem will occur even if the iterative calculation is performed for only the low frequency pixel. Since the calculation for the high frequency pixel is excluded from the iterative calculation for only the low frequency pixel, the number of pixels to be calculated per one iteration can be reduced.
　従って、仮に、本実施形態における反復数の合計が、通常の計算における反復数と同じであったとしても、１回の反復当たりの計算対象となる画素数を削減することができるので、全体の計算量を削減することができる。また、最初に高周波画素のみについて反復計算をした後に、低周波画素のみについて反復計算をしても、計算の収束の様子は、最初から最後まで全画素について反復計算をする場合と比べて、殆ど変わらないので、最初に高周波画素のみについて反復計算をした後に、低周波画素のみについて反復計算をしても、計算の収束の様子は、最初から最後まで全画素について反復計算をする場合と比べて、反復数の合計は、増えるようなことはない。従って、本実施形態では、全体の計算量を削減することができる。 Therefore, even if the total number of iterations in this embodiment is the same as the number of iterations in normal calculation, the number of pixels to be calculated per iteration can be reduced. The amount of calculation can be reduced. Moreover, even if iterative calculation is performed only for high-frequency pixels first and then iterative calculation is performed only for low-frequency pixels, the convergence of the calculation is almost the same as when iterating for all pixels from the beginning to the end. Since it does not change, even if iterative calculation is performed only for high-frequency pixels first and then iterative calculation is performed only for low-frequency pixels, the state of convergence of the calculation is compared to the case of iterative calculation for all pixels from the beginning to the end The total number of iterations does not increase. Therefore, in the present embodiment, the overall calculation amount can be reduced.
　なお、高周波画素について反復計算をし、低周波画素について反復計算をし、最後に、全画素について反復計算を行なう。その理由は、最後に全画素について反復計算を行なうことにより、隣接画素を統合した処理をして、高周波画素と低周波画素との境界において推定した動きベクトルに連続性を持たせるためである。 Note that iterative calculation is performed for high-frequency pixels, iterative calculation is performed for low-frequency pixels, and finally, iterative calculation is performed for all pixels. The reason for this is that, finally, the iterative calculation is performed for all the pixels to perform processing that integrates adjacent pixels so that the motion vector estimated at the boundary between the high-frequency pixel and the low-frequency pixel has continuity.
　［実施形態１］
　次に、実施形態１による画像処理装置を図３に示す。また、この画像処理装置により行なわれる画像処理方法の全体を図４に示す。 [Embodiment 1]
Next, an image processing apparatus according to Embodiment 1 is shown in FIG. FIG. 4 shows the entire image processing method performed by this image processing apparatus.
　本実施の形態では、反復計算全体を複数のステージにわけ、各ステージにおいて、該各ステージでの収束が見込まれる画素だけに関して反復計算を適用し、該各ステージごとに決められた反復回数に達した時、又は、各画素における前回の反復計算の結果と今回の反復計算の結果との差分が所定の閾値以下となった時に、反復計算を打ち切り、次のステージへと進むため、通常技術より少ない計算量で、通常技術と同等精度の動きベクトル推定結果が得られる。ここで、反復計算の結果としては、例えば、エネルギー関数の値である。また、反復計算方法としては、例えば、勾配法、共役勾配法、ガウス・ニュートン法、レーベンバーグ・マルカート（Levenberg-Marquardt）法を利用する。 In this embodiment, the entire iterative calculation is divided into a plurality of stages, and in each stage, the iterative calculation is applied only to pixels that are expected to converge at each stage, and the number of iterations determined for each stage is reached. Or when the difference between the result of the previous iteration calculation for each pixel and the result of this iteration calculation is less than or equal to a predetermined threshold, the iteration calculation is terminated and the process proceeds to the next stage. With a small amount of calculation, a motion vector estimation result with the same accuracy as that of the conventional technique can be obtained. Here, the result of the iterative calculation is, for example, an energy function value. As an iterative calculation method, for example, a gradient method, a conjugate gradient method, a Gauss-Newton method, or a Levenberg-Marquardt method is used.
　図３を参照すると、実施形態１による動きベクトル推定装置１０１は、高周波／低周波判定部１０３、反復回数決定部１０５、偏微分係数計算部１０７及び動きベクトル推定部１０９を含む。 Referring to FIG. 3, the motion vector estimation apparatus 101 according to the first embodiment includes a high frequency / low frequency determination unit 103, an iteration count determination unit 105, a partial differential coefficient calculation unit 107, and a motion vector estimation unit 109.
　高周波／低周波判定部１０３は、現フレームｆの各画素が高周波数を含むか否かを判定し、高周波数を含む場合には、その画素は高周波画素であると判断し、高周波数を含まない場合には、その画素は低周波画素であると判断する。ここで、高周波数を含むとは、その画素を中心にして、高周波数通過／低周波数阻止の空間フィルタをかけた場合に、所定値以上の出力レベルが得られることをいう。高周波／低周波判定部１０３は、各画素についての判定結果を基に、図５に示すような、高周波マスク画像を出力する。図５において、白色の部分が高周波画素より成り、黒色の部分が低周波画素より成る。 The high frequency / low frequency determination unit 103 determines whether each pixel of the current frame f includes a high frequency. If the high frequency / low frequency determination unit 103 includes the high frequency, the high frequency / low frequency determination unit 103 determines that the pixel is a high frequency pixel and includes the high frequency. If not, the pixel is determined to be a low frequency pixel. Here, including a high frequency means that an output level equal to or higher than a predetermined value can be obtained when a high-frequency pass / low-frequency blocking spatial filter is applied around the pixel. The high frequency / low frequency determination unit 103 outputs a high frequency mask image as shown in FIG. 5 based on the determination result for each pixel. In FIG. 5, the white part is composed of high frequency pixels, and the black part is composed of low frequency pixels.
　反復回数決定部１０５は、高周波マスク画像に含まれる高周波画素と全画素との割合、所定の値のパラメータ等に基づいて、高周波画素についての反復計算での反復回数ｉ１、低周波画素についての反復計算での反復回数ｉ２－ｉ１、全画素についての反復計算での反復回数ｉＭＡＸ－ｉ２を決定するためのｉ１、ｉ２を算出する。具体的には、
　　　ｉ１＝ｒａｔｉｏhigh・（ｉMAX－ｎ）
　　　ｉ２＝ｉMAX－ｎ
により、ｉ１、ｉ２を求める。ここで、ｒａｔｉｏhighは画像全体に占める高周波画素の割合であり、ｎはあらかじめ決められたパラメータであり、ｉMAXは合計反復回数である。但し、ｒａｔｉｏhighも予め決められたパラメータであるとしてもよい。 The iteration number determination unit 105 determines the number of iterations i 1 in the iterative calculation for the high-frequency pixel and the low-frequency pixel based on the ratio between the high-frequency pixels and all the pixels included in the high-frequency mask image, a parameter having a predetermined value, and the like. I 1 and i 2 for determining the number of iterations i 2 −i 1 in the iteration calculation and the number of iterations i MAX −i 2 in the iteration calculation for all pixels are calculated. In particular,
i 1 = ratio high (i MAX -n)
i 2 = i MAX −n
Thus, i 1 and i 2 are obtained. Here, ratio high is the ratio of high- frequency pixels in the entire image, n is a predetermined parameter, and i MAX is the total number of iterations. However, ratio high may also be a predetermined parameter.
　偏微分係数計算部１０７は、現フレーム画像ｆに含まれる画素と次フレーム画像ｆ’に含まれる画素を基に、各画素値ｆ（ｘ，ｙ）についての動きベクトルのｘ方向についての偏微分係数ｆｘ（ｘ，ｙ）、各画素についての動きベクトルのｙ方向についての偏微分係数ｆｙ（ｘ，ｙ）、各画素についての動きベクトルの時間方向についての偏微分係数ｆｔ（ｘ，ｙ）を計算する。 The partial differential coefficient calculation unit 107 is based on the pixels included in the current frame image f and the pixels included in the next frame image f ′, and the partial differentiation in the x direction of the motion vector for each pixel value f (x, y). Coefficient f x (x, y), partial differential coefficient f y (x, y) in the y direction of the motion vector for each pixel, partial differential coefficient f t (x, y) in the time direction of the motion vector for each pixel y) is calculated.
　動きベクトル推定部１０９は、高周波マスク画像、反復回数ｉ１、i２、ｉMAX、偏微分係数ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、ｆｔ（ｘ，ｙ）を入力し、これらの入力に基づいて、現フレーム画像ｆの各高周波画素についての動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を推定し、現フレーム画像ｆの各低周波画素についての動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を推定する。ここで、高周波マスク画像により高周波画素であると判定された画素については、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉ１により指定された回数だけ繰り返す。また、高周波マスク画像により低周波画素であると判定された画素については、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉ２－ｉ１により指定された回数だけ繰り返す。更に、全画素について、上記拘束式を解くための反復計算の解法による計算を、反復回数ｉＭＡＸ－ｉ２により指定された回数だけ繰り返す。 Motion vector estimation unit 109, an input high-frequency mask image, the number of iterations i 1, i 2, i MAX , partial derivatives f x (x, y), f y (x, y), f t (x, y) and Based on these inputs, the motion vectors u (x, y) and v (x, y) for each high frequency pixel of the current frame image f are estimated, and the motion for each low frequency pixel of the current frame image f is estimated. The vectors u (x, y) and v (x, y) are estimated. Here, for a pixel determined to be a high frequency pixel by the high frequency mask image, the calculation based on the iterative calculation method for solving the constraint equation is repeated the number of times specified by the number of iterations i 1 . For a pixel determined to be a low-frequency pixel by the high-frequency mask image, the calculation based on the iterative calculation method for solving the constraint equation is repeated for the number of times specified by the number of iterations i 2 -i 1 . Further, the calculation by the iterative calculation method for solving the constraint equation is repeated for all the pixels for the number of times designated by the number of iterations i MAX -i 2 .
　次に、図４を参照して、図３に示す動きベクトル推定装置の動作について説明をする。図４を参照すると、まず、高周波／低周波判定部１０３は、現フレーム画像ｆの各画素について、高周波画素であるのか、或いは、低周波画素であるのかの判定を行なう（ステップＳ２０１） Next, the operation of the motion vector estimation apparatus shown in FIG. 3 will be described with reference to FIG. Referring to FIG. 4, first, the high frequency / low frequency determination unit 103 determines whether each pixel of the current frame image f is a high frequency pixel or a low frequency pixel (step S201).
　次に、反復回数決定部１０５は、反復回数に関連した回数ｉ１、ｉ２、ｉMAXを決定する（算出する）（ステップＳ２０３）。 Next, the iteration number determination unit 105 determines (calculates) the number of times i 1 , i 2 , i MAX related to the number of iterations (step S203).
　次に、偏微分係数計算部１０７は、現フレーム画像の各画素値ｆ（ｘ，ｙ）についての偏微分係数ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、ｆｔ（ｘ，ｙ）を算出する（ステップＳ２０５）。 Next, the partial differential coefficient calculation unit 107 performs partial differential coefficients f x (x, y), f y (x, y), and f t (x, y) for each pixel value f (x, y) of the current frame image. y) is calculated (step S205).
　次に、現フレーム画像に含まれる高周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をi１回反復し、現フレーム画像に含まれる低周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をｉ２－i１回反復し、現フレーム画像に含まれる全周波画素について、動きベクトルを求めるための上記拘束式を解くための反復計算をｉMAX－i２回繰り返す（ステップＳ２０７、Ｓ２０９）。但し、各反復の途中で、計算結果が収束した画素については、それ以降は、反復計算を行なわなくてもよい。 Next, the high-frequency pixels contained in the current frame image, the iterative calculation for solving the above constraint equation for obtaining the motion vector was repeated once i, the low-frequency pixels contained in the current frame image, obtains a motion vector the iterative calculation for solving the constraint equation iteratively i 2 -i 1 time for, for all the frequency pixels contained in the current frame image, the iterative calculation for solving the above constraint equation for obtaining the motion vector i MAX repeated twice -i (step S207, S209). However, it is not necessary to perform the iterative calculation for the pixels for which the calculation result has converged during each iteration.
　なお、低周波画素について反復計算をし、高周波画素について反復計算をし、それから、全画素について反復計算を行なう理由は、全画素について反復計算を行なうことにより、隣接画素を統合した処理をして、高周波画素と低周波画素との境界において推定した動きベクトルに連続性を持たせるためである。 The reason for performing iterative calculation for low-frequency pixels, iteratively calculating for high-frequency pixels, and then performing iterative calculation for all pixels is to perform processing that integrates adjacent pixels by performing iterative calculation for all pixels. This is because the motion vector estimated at the boundary between the high-frequency pixel and the low-frequency pixel has continuity.
　［実施形態２］
　次に、実施形態２について図面を参照して詳細に説明する。 [Embodiment 2]
Next, Embodiment 2 will be described in detail with reference to the drawings.
　実施形態２は、実施形態１を多重解像度化したものである。 The second embodiment is a multi-resolution version of the first embodiment.
　実施形態２による画像処理装置を図６に示す。また、この画像処理装置により行なわれる画像処理方法の全体を図７に示す。 FIG. 6 shows an image processing apparatus according to the second embodiment. FIG. 7 shows the entire image processing method performed by the image processing apparatus.
　実施形態２では、図８に示すように、縦方向１／４、横方向１／４の低解像画像で動きベクトルを求める。そして、次の縦方向１／２、横方向１／２の解像度レベルでは、１つ前の縦方向１／４、横方向１／４の解像度レベルで求まった動きベクトルを、該縦方向１／２、横方向１／２の解像度レベルにあわせてアップスケーリングしたものを動きベクトルの初期値としてから、該縦方向１／２、横方向１／２の解像度レベルでの動きベクトルを求める。このような処理を最終解像度レベル、すなわち入力画像の解像度レベルと同じ解像度レベル、まで繰り返す。このような構成をとることで、実施形態１では正しく推定できないような大きな動きベクトルも推定することが可能となる。 In the second embodiment, as shown in FIG. 8, a motion vector is obtained from low-resolution images in the vertical direction 1/4 and the horizontal direction 1/4. Then, at the next resolution level of 1/2 in the vertical direction and 1/2 in the horizontal direction, the motion vector obtained at the resolution level of 1/4 in the previous vertical direction and 1/4 in the horizontal direction is converted into the vertical direction 1 / 2. The motion vector at the resolution level of 1/2 in the vertical direction and 1/2 in the horizontal direction is obtained after the initial value of the motion vector is upscaled according to the resolution level of 1/2 in the horizontal direction. Such processing is repeated until the final resolution level, that is, the same resolution level as the resolution level of the input image. By adopting such a configuration, it is possible to estimate a large motion vector that cannot be correctly estimated in the first embodiment.
　図６を参照すると、実施形態２による動きベクトル推定装置１０１Ｂは、高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分係数計算部１０７Ｂ、動きベクトル推定部１０９Ｂ、解像度ピラミッド作成部１１１及び動きベクトルアップスケーリング部１１３を含む。 Referring to FIG. 6, the motion vector estimation apparatus 101B according to the second embodiment includes a high frequency / low frequency determination unit 103B, an iteration count determination unit 105B, a partial differential coefficient calculation unit 107B, a motion vector estimation unit 109B, a resolution pyramid creation unit 111, and A motion vector upscaling unit 113 is included.
　解像度ピラミッド作成部１１１は、現フレーム画像ｆ、次フレーム画像ｆ’それぞれについて、縦方向１／２、横方向１／２の解像度の１次低解像度画像、縦方向１／４、横方向１／４の解像度の２次低解像度画像を作成する。ある解像度の画像から、それと比較して縦方向１／２、横方向１／２の解像度の画像を作成する際には、ガウシアンフィルタを適用することで高周波成分を除去した後、画素を縦方向及び横方向に１画素おきにサンプリングする。但し、これは、或る解像度に比べて、それよりも一段階低い解像度が１／２である場合の方法である。或る解像度に比べて、それよりも一段階低い解像度が１／２以外であってもよく、その場合には、例えば、解像度に応じたフィルタリングとリサンプリングをする。 For each of the current frame image f and the next frame image f ′, the resolution pyramid creation unit 111 is a primary low-resolution image having a resolution of 1/2 in the vertical direction and 1/2 in the horizontal direction, 1/4 in the vertical direction, and 1 / in the horizontal direction. A secondary low-resolution image with a resolution of 4 is created. When creating an image with a resolution of 1/2 in the vertical direction and 1/2 in the horizontal direction from an image with a certain resolution, a high-frequency component is removed by applying a Gaussian filter, and then the pixel is moved in the vertical direction. And every other pixel in the horizontal direction. However, this is a method when the resolution one step lower than a certain resolution is 1/2. A resolution that is one step lower than a certain resolution may be other than 1/2. In this case, for example, filtering and resampling are performed according to the resolution.
　高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分係数計算部１０７Ｂ及び動きベクトル推定部１０９Ｂは、それぞれ、実施形態１の高周波／低周波判定部１０３、反復回数決定部１０５、偏微分係数計算部１０７及び動きベクトル推定部１０９と同様なものである。但し、高周波／低周波判定部１０３Ｂ、反復回数決定部１０５Ｂ、偏微分計算部１０７Ｂ及び動きベクトル推定部１０９Ｂは、入力画像と同一の解像度の画像（原解像度画像）、１次低解像度画像、２次低解像度画像について、２次解像度画像、１次低解像度、原解像度画像の順に動作する。 The high frequency / low frequency determination unit 103B, the iteration number determination unit 105B, the partial differential coefficient calculation unit 107B, and the motion vector estimation unit 109B are respectively the high frequency / low frequency determination unit 103, the iteration number determination unit 105, and the partial differentiation of the first embodiment. This is the same as the coefficient calculation unit 107 and the motion vector estimation unit 109. However, the high frequency / low frequency determination unit 103B, the iteration number determination unit 105B, the partial differential calculation unit 107B, and the motion vector estimation unit 109B are the same resolution image (original resolution image) as the input image, the primary low resolution image, 2 The next low resolution image operates in the order of the secondary resolution image, the primary low resolution, and the original resolution image.
　動きアップスケーリング部１１３は、現在の解像度の画像に含まれる画素について求まった動きベクトルを所定の方法（例えば、ｂｉｌｉｎｅａｒ補間、最近傍補間、ｂｉｃｕｂｉｃ補間等）により縦２倍、横２倍の解像度にアップスケーリングして、アップスケーリングされた動きベクトルを、次の（縦２倍、横２倍の）解像度の画素に含まれる画素について動きベクトルを求める際の初期値として、動きベクトル推定部１０９Ｂにフィードバックする。 The motion upscaling unit 113 converts the motion vector obtained for the pixels included in the image of the current resolution to a resolution of double vertical and double horizontal by a predetermined method (for example, bilinear interpolation, nearest neighbor interpolation, bicubic interpolation, etc.). The upscaled motion vector is fed back to the motion vector estimation unit 109B as an initial value for obtaining a motion vector for a pixel included in the next pixel (double vertical and double horizontal). To do.
　次に、図７を参照して、図６に示す動きベクトル推定装置１０１Ｂの動作について説明をする。 Next, the operation of the motion vector estimation apparatus 101B shown in FIG. 6 will be described with reference to FIG.
　ステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９は、それぞれ、実施形態のステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９と同様であるので、重複した説明を省略する。但し、ｉMAXは、解像度ｒ毎に異ならせてｉｒ MAXとなり、これに応じて、ｉ１、ｉ２は、ｉｒ １、ｉｒ ２となる。 Steps S201, S203, S205, S207, and S209 are the same as steps S201, S203, S205, S207, and S209 of the embodiment, respectively, and a duplicate description is omitted. However, i MAX is changed to i r MAX for each resolution r, and i 1 and i 2 are changed to i r 1 and i r 2 accordingly .
　まず、解像度ピラミッド作成部１１１は、現フレーム画像ｆ及び次フレーム画像ｆ’のそれぞれについて、原解像度画像、１次低解像度画像及び２次低解像度画像を作成する（ステップＳ２２１）。 First, the resolution pyramid creation unit 111 creates an original resolution image, a primary low resolution image, and a secondary low resolution image for each of the current frame image f and the next frame image f ′ (step S221).
　次に、ステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７、Ｓ２０９を実行する。 Next, steps S201, S203, S205, S207, and S209 are executed.
　次に、動きベクトルアップスケーリング部１１３は、動きベクトルをアップスケーリングする（ステップＳ２２３）。 Next, the motion vector upscaling unit 113 upscales the motion vector (step S223).
　次に、現在の解像度が最終解像度（すなわち、原解像度）であるか否かを判断し（ステップＳ２２５）、そうでなければ（ステップＳ２２５でＮＯ）、解像度を１ステージ進めて（解像度を縦２倍、横２倍に上げて）、ステップＳ２０１に戻り、そうであれば（ステップＳ２２５でＹＥＳ）、現在求まっている動きベクトルを最終の推定動きベクトルとして、処理を終了する。 Next, it is determined whether or not the current resolution is the final resolution (i.e., the original resolution) (step S225). If not (NO in step S225), the resolution is advanced by one stage (the resolution is vertically 2). If the answer is YES (YES in step S225), the motion vector currently obtained is set as the final estimated motion vector, and the process is terminated.
　［実施形態３］
　次に、実施形態３について図面を参照して詳細に説明する。 [Embodiment 3]
Next, Embodiment 3 will be described in detail with reference to the drawings.
　実施形態３は、実施形態１又は２の動きベクトル推定装置１０１又は１０１Ｂをインターレース・プログレッシブ変換装置に応用したものである。 The third embodiment is an application of the motion vector estimation apparatus 101 or 101B of the first or second embodiment to an interlace / progressive conversion apparatus.
　図９を参照すると、実施形態３によるインターレース・プログレッシブ変換装置１２１は、動きベクトル推定装置１０１又は１０１Ｂ、動き補償部１２３及びフィールド合成部１２５を含む。 Referring to FIG. 9, the interlace progressive conversion device 121 according to the third embodiment includes a motion vector estimation device 101 or 101B, a motion compensation unit 123, and a field synthesis unit 125.
　図１０に示すように、動きベクトル推定装置１０１又は１０１Ｂは、インターレース画像のうちの奇数フィールド画像又は偶数フィールド画像を動きベクトル推定の対象となるフィールド画像として、対象となるフィールド画像を挟む２つのフィールド画像を基に、動きベクトルを算出するための上記拘束式の偏微分係数ｆｘ（ｘ，ｙ）、ｆｙ（ｘ，ｙ）、ｆｔ（ｘ，ｙ）を求め、これら偏微分係数を用いた上記拘束式を、反復計算により解くことにより、対象となるフィールド画像に含まれる画素についての動きベクトルを推定する。なお、動きベクトルは、動きベクトル推定の対象となるフィールド画像とそれに隣接するフィールド画像との間のものである。 As shown in FIG. 10, the motion vector estimation device 101 or 101B uses an odd field image or an even field image of interlaced images as a field image for motion vector estimation, and two fields sandwiching the target field image. image based on the partial differential coefficient of the constraint equation for calculating the motion vector f x (x, y), f y (x, y), determine the f t (x, y), these partial derivative The motion vector for the pixel included in the target field image is estimated by solving the used constraint equation by iterative calculation. The motion vector is between a field image that is a target of motion vector estimation and a field image adjacent thereto.
　動き補償部１２３は、動きベクトル推定の対象となったフィールド画像の画素を、動きベクトル推定装置１０１又は１０１Ｂで推定した動きベクトルにより動き補償する。 The motion compensation unit 123 performs motion compensation on the pixel of the field image that is the target of motion vector estimation using the motion vector estimated by the motion vector estimation device 101 or 101B.
　図１０、１１に示すように、フィールド合成部１２５は、動き補償部１２３により動き補償されたフィールド画像と入力インターレース画像に含まれる他方のフィールド画像を合成することにより、プログレッシブ画像を得て、これを出力する。 As shown in FIGS. 10 and 11, the field synthesis unit 125 obtains a progressive image by synthesizing the field image motion-compensated by the motion compensation unit 123 and the other field image included in the input interlaced image. Is output.
　実施形態１～３の効果は、通常技術より少ない計算量で、通常技術と同等精度の推定動きベクトルが得られることにある。 The effect of the first to third embodiments is that an estimated motion vector having the same accuracy as that of the normal technique can be obtained with a smaller calculation amount than that of the normal technique.
　その理由は、反復計算全体を複数のステージにわけ、各ステージにおいて、同ステージでの収束が見込まれる画素だけを反復計算を行う対象とするためである。 The reason is that the entire iterative calculation is divided into a plurality of stages, and in each stage, only pixels that are expected to converge in the same stage are subjected to the iterative calculation.
　次に、具体的な実施例を用いて上記実施形態を説明する。本実施例は実施形態２に関するものである。 Next, the above embodiment will be described using a specific example. This example relates to the second embodiment.
　はじめに、図６に示す解像度ピラミッド作成部１１１は、現フレーム画像ｆと、次フレーム画像ｆ’それぞれについて、解像度ピラミッドを生成する。具体的には、現フレーム画像ｆ、次フレーム画像ｆ’の各々（以下、「原フレーム画像」という。）に対して、ガウシアンフィルタを適用することで高周波成分を除去した後、画素を１画素おきにサンプリングすることで、画像解像度が原フレーム画像に対して縦方向１／２、横方向１／２となる１次低解像画像を生成する。 First, the resolution pyramid creation unit 111 shown in FIG. 6 generates a resolution pyramid for each of the current frame image f and the next frame image f ′. Specifically, a high frequency component is removed by applying a Gaussian filter to each of the current frame image f and the next frame image f ′ (hereinafter referred to as “original frame image”), and then one pixel is set. By sampling every other time, a primary low-resolution image having an image resolution of 1/2 in the vertical direction and 1/2 in the horizontal direction with respect to the original frame image is generated.
　さらに、解像度ピラミッド作成部１１１は、１次解像度フレーム画像に対して、上記ガウシアンフィルタおよび１画素おきのサンプリングを適用することで、画像解像度が原フレーム画像に対して縦１／４、横１／４となる２次低解像画像を生成する。 Furthermore, the resolution pyramid creation unit 111 applies the Gaussian filter and sampling every other pixel to the primary resolution frame image, so that the image resolution is ¼ vertical and 1 / horizontal with respect to the original frame image. 4 is generated.
　以下では、元画像の解像度に対して１／４倍、１／２倍、等倍の解像度をそれぞれ解像度レベル１、２、３ということとする。 In the following, resolutions of 1/4, 1/2, and equal magnification with respect to the resolution of the original image are referred to as resolution levels 1, 2, and 3, respectively.
　続いて、解像度レベル１から３の順で、以下の処理を繰り返す。はじめに、高周波／低周波判定部１０３Ｂ現在の解像度レベルｒ（ｒ＝１、２、３）の現フレーム画像ｆ中の各画素について、高周波成分をもつか否かを判定し、高周波成分をもつ画素を表す高周波マスク画像を生成する。具体的には、現フレーム画像ｆに対して以下の係数行列で表される水平、および垂直方向のＳｏｂｅｌフィルタを適用し、各座標における水平、および垂直方向の輝度勾配成分を算出し、水平、および垂直方向の輝度勾配成分を基にして求めた輝度勾配強度がしきい値を超える画素を高周波画素と判定する。そして、高周波画素でない画素を低周波画素とする。ここで、例えば、水平方向の輝度勾配成分と垂直方向の輝度勾配成分の自乗和、絶対値和又は最大値などを輝度勾配とする。 Subsequently, the following processing is repeated in the order of resolution levels 1 to 3. First, the high frequency / low frequency determination unit 103B determines whether each pixel in the current frame image f at the current resolution level r (r = 1, 2, 3) has a high frequency component, and a pixel having a high frequency component. A high frequency mask image representing is generated. Specifically, horizontal and vertical Sobel filters represented by the following coefficient matrix are applied to the current frame image f to calculate luminance gradient components in the horizontal and vertical directions at each coordinate, A pixel whose luminance gradient strength obtained based on the luminance gradient component in the vertical direction exceeds a threshold value is determined as a high frequency pixel. A pixel that is not a high-frequency pixel is set as a low-frequency pixel. Here, for example, a square sum, an absolute value sum, or a maximum value of the luminance gradient component in the horizontal direction and the luminance gradient component in the vertical direction is set as the luminance gradient.
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000010
　こうすることにより、低周波成分あり、且つ、高周波成分なしの画素は、低周波画素に分類され、低周波成分なし、且つ、高周波成分ありの画素と高周波成分あり、且つ、高周波成分ありの画素は高周波画素に分類される。 By doing this, pixels with low frequency components and no high frequency components are classified as low frequency pixels, pixels with no low frequency components, pixels with high frequency components, and pixels with high frequency components and with high frequency components. Are classified as high-frequency pixels.
　次に、反復回数決定部１０５Ｂは、現解像度レベルｒにおけるステージ１、２、３それぞれを終了する反復回数ｉｒ １、ｉｒ ２、ｉｒ MAXを計算する。はじめに、ｉｒ MAXを次式により計算する。
　　　ｉｒ MAX＝βr-1・ｉMAX
ここで、ｉMAXは予め決められた最大反復回数であり、βは解像度レベルが進むごとに最大反復回数を減衰させるパラメータ（ただし、０＜β＜１）である。βr-1は、βの（ｒ－１）乗を表す。続いて、現在の解像度レベルｒにおけるステージ１、すなわち高周波画素に関する推定動きを最適化するステージ、を終了する反復回数ｉｒ １、およびステージ２、すなわち低周波画素に関する推定動きを最適化するステージ、を終了する反復回数ｉｒ ２を次式により計算する。
　　　ｉｒ １＝ｒａｔｉｏhigh・（ｉr MAX－ｎ）
　　　ｉｒ ２＝ｉr MAX－ｎ
　ここで、ｒａｔｉｏhighは現解像度レベルｒにおける画像全体に占める高周波画素の割合であり、ｎはあらかじめ決められたパラメータである。 Next, the iteration number determination unit 105B calculates the iteration times i r 1 , i r 2 , and i r MAX that end the stages 1, 2, and 3 at the current resolution level r. First, i r MAX is calculated by the following equation.
i r MAX = β r-1 · i MAX
Here, i MAX is a predetermined maximum number of iterations, and β is a parameter (0 <β <1) that attenuates the maximum number of iterations as the resolution level advances. β r-1 represents β to the (r-1) power. Subsequently, the number of iterations i r 1 ending stage 1 at the current resolution level r, i.e. the stage for optimizing the estimated motion for high-frequency pixels, and stage 2, i.e. the stage for optimizing the estimated motion for low-frequency pixels, the number of iterations i r 2 to end is calculated by the following equation.
i r 1 = ratio high · (i r MAX −n)
i r 2 = i r MAX −n
Here, ratio high is the ratio of high- frequency pixels in the entire image at the current resolution level r, and n is a predetermined parameter.
　続いて、偏微分係数計算部１０７Ｂは、現在の解像度レベルｒの画像ｆおよびｆ’とから、動きベクトル推定処理で必要となる３つの偏微分係数ｆX（ｘ，ｙ）、ｆY（ｘ，ｙ）、ｆt（ｘ，ｙ）を計算する。 Subsequently, the partial differential coefficient calculation unit 107B calculates three partial differential coefficients f X (x, y) and f Y (x required for the motion vector estimation process from the images f and f ′ at the current resolution level r. , Y), f t (x, y).
　次に、動きベクトル推定部１０９Ｂは、ステージ１から３の順に、動きベクトル推定処理を実行する。 Next, the motion vector estimation unit 109B executes motion vector estimation processing in the order of stages 1 to 3.
　具体的には、はじめに、ステージ１において、高周波画素（図５中の高周波マスク画像における白画素）について、反復計算を行い、高周波画素に対する推定動きベクトルを最適化する。このステージは第１回から第ｉｒ １回の反復まで実行する。続いて、ステージ２において、低周波画素（図５中の高周波マスク画像における黒画素）について、反復計算を行い、低周波画素に対する推定動きベクトルを最適化する。このステージは第ｉｒ １＋１回から第ｉｒ ２回の反復まで実行する。最後に、ステージ３において、画像中の全画素について、反復計算を行い、全画素に対する推定動きベクトルを最適化する。 Specifically, first, in stage 1, iterative calculation is performed for high-frequency pixels (white pixels in the high-frequency mask image in FIG. 5), and the estimated motion vector for the high-frequency pixels is optimized. This stage runs from the first to the ir first iteration. Subsequently, in stage 2, iterative calculation is performed for the low frequency pixels (black pixels in the high frequency mask image in FIG. 5), and the estimated motion vector for the low frequency pixels is optimized. This stage runs from i r 1 +1 to i r 2 iterations. Finally, in stage 3, iterative calculation is performed for all the pixels in the image to optimize the estimated motion vector for all the pixels.
　なお、各ステージにおける動きベクトル推定処理は、非特許文献１に開示された手法により行う。 Note that the motion vector estimation processing in each stage is performed by the method disclosed in Non-Patent Document 1.
　以上の処理により、解像度レベルｒにおける全画素についての動きベクトルが推定される。 Through the above processing, motion vectors for all pixels at the resolution level r are estimated.
　最後に、動きアップスケーリング部１１３は、推定された動きベクトル画像ｕ、ｖをｂｉｌｉｎｅａｒ補間により２倍の解像度にアップスケールすることにより、次の解像度レベルｒ＋１の推定動きベクトルの初期値を生成する。 Finally, the motion upscaling unit 113 generates the initial value of the estimated motion vector of the next resolution level r + 1 by upscaling the estimated motion vector images u and v to twice the resolution by bilinear interpolation.
　上記処理を解像度レベル３まで繰り返すことで、現フレームと次フレームとの間での原解像度での全ての画素についての動きベクトルが推定される。 繰 り 返 す By repeating the above processing up to resolution level 3, motion vectors for all pixels at the original resolution between the current frame and the next frame are estimated.
　実施例１は、入力がプログレッシブ動画像の場合のためのものである。入力がインターレース動画像の場合、画像中の偶数フィールドと奇数フィールドとの間に時間的なずれがあるため、被写体とカメラとの間に水平方向の動きがある場合には、画像上にコーミングノイズが発生する。コーミングノイズが発生しているインターレース画像の例を図１１（ａ）に示す。このようなコーミングノイズが発生している画像同士で動きベクトルを正しく推定するのは困難である。 Example 1 is for the case where the input is a progressive moving image. When the input is an interlaced video, there is a time lag between the even and odd fields in the image, so if there is horizontal movement between the subject and the camera, combing noise will appear on the image. Occurs. An example of an interlaced image in which combing noise is generated is shown in FIG. It is difficult to correctly estimate a motion vector between images in which such combing noise occurs.
　実施例２はこの点に鑑みて構成されたものであり、インターレース動画像に含まれる２つのフィールド画像間で動きベクトルを求める際に、あらかじめ偶数フィールド画像と奇数フィールド画像の一方を動き補償することで、両者の間の時間的なずれが解消されたプログレッシブ画像（図１１（ｂ）参照）を生成し（以下、本処理をＩＰ変換（インターレース・プログレッシブ変換）と呼ぶ）、これを実施例１への入力とすることで、コーミングノイズの存在するインターレース動画像に対しても正しい動きを推定する。 The second embodiment is configured in view of this point. When a motion vector is obtained between two field images included in an interlaced moving image, motion compensation is performed in advance for either an even field image or an odd field image. Thus, a progressive image (see FIG. 11B) in which the time lag between the two has been eliminated is generated (hereinafter, this processing is referred to as IP conversion (interlace / progressive conversion)), and this is referred to as the first embodiment. As an input to, correct motion is estimated even for interlaced moving images in which combing noise exists.
　なお、実施例２は、実施例１と同様に、本発明の第２の実施の形態を具体化したものである。 Note that, as in Example 1, Example 2 is a specific embodiment of the second embodiment of the present invention.
　実施例２におけるＩＰ変換の動作の様子を図１０に示す。ここでは、例として、偶数フィールドを基準として、奇数フィールドを動き補償する場合について説明する。なお、偶数フィールドを動き補償する場合については、以下に述べる処理を、奇数フィールドと偶数フィールドを互いに入れ替えて実行するだけでよい。 FIG. 10 shows the state of the IP conversion operation in the second embodiment. Here, as an example, a case will be described in which motion compensation is performed on an odd field on the basis of an even field. Note that in the case of motion compensation for even fields, the processing described below may be executed simply by exchanging odd fields and even fields.
　はじめに、入力であるインターレース動画像Ｆを偶数フィールド画像ｆevenと奇数フィールド画像ｆoddとに分離し、奇数フィールド画像ｆodd上の各画素（ｘ，ｙ）について、ＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）を求める。 First, an interlaced moving image F as an input is separated into an even field image f even and an odd field image f odd, and an IP conversion motion vector u IP for each pixel (x, y) on the odd field image f odd. Find (x, y), v IP (x, y).
　ここで、動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）は、「奇数フィールド画像ｆodd」と、「偶数フィールド画像ｆeven上で上下に隣接するライン同士を平均化することにより得られたラインにより構成される画像ｆave（仮想偶数フィールド画像）」との間の動きを実施例１を用いて算出したものとする。偶数フィールド画像ｆeven上で上下に隣接するライン同士を平均化することにより得られたラインは、偶数フィールド画像ｆevenには元々ないラインであり、奇数フィールドにあるラインと比較するために上記の平均化により得られた仮想的なラインである。すなわち、奇数フィールド画像ｆoddを実施例１における現フレーム画像ｆとして扱い、次式：
Figure JPOXMLDOC01-appb-M000011
 で与えられる仮想偶数フィールド画像ｆaveを実施例１における次フレーム画像ｆ’として扱い、実施例１の処理を実行する。 Here, the motion vectors u IP (x, y) and v IP (x, y) are obtained by averaging “odd field image f odd ” and “line evenly adjacent to each other on the even field image f even ”. It is assumed that the motion between the image f ave (virtual even field image) composed of the lines obtained by the above is calculated using the first embodiment. Lines obtained by averaging the line adjacent to each other up and down on the even-numbered field image f the even is not in the even-numbered field image f the even originally line, above for comparison with in the odd field lines This is a virtual line obtained by averaging. That is, the odd field image f odd is treated as the current frame image f in the first embodiment, and the following formula:
Figure JPOXMLDOC01-appb-M000011
 Is processed as the next frame image f ′ in the first embodiment, and the processing of the first embodiment is executed.
　次に、奇数フィールド画像ｆoddを動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）を用いて動き補償した画像
Figure JPOXMLDOC01-appb-M000012
 を生成し、これと偶数フィールド画像ｆevenとを統合することで、プログレッシブ画像
Figure JPOXMLDOC01-appb-M000013
 を生成する。 Next, an image obtained by performing motion compensation on the odd field image f odd using the motion vectors u IP (x, y) and v IP (x, y).
Figure JPOXMLDOC01-appb-M000012
 And the even field image f even is integrated to create a progressive image.
Figure JPOXMLDOC01-appb-M000013
 Is generated.
　以上が、実施例２における、ＩＰ変換処理の流れである。本処理を、映像中の各フレーム画像に対して適用することで、インターレース画像からプログレッシブ画像への変換を行い、これらプログレッシブ画像を実施例１への入力とすることで、各フレームにおける動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を推定する。 The above is the flow of the IP conversion process in the second embodiment. By applying this processing to each frame image in the video, conversion from an interlaced image to a progressive image is performed, and these progressive images are input to the first embodiment, whereby the motion vector u in each frame is converted. (X, y) and v (x, y) are estimated.
　なお、一般に、ＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）と、その後に推定するプログレッシブ画像間の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）との間には強い相関がある。この点に着目し、プログレッシブ画像間の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値をそれぞれ次のように設定してもよい。
ここで、↑ｙは画像のy軸方向の画素数を２倍に拡大するオペレータである。 In general, motion vectors u IP (x, y) and v IP (x, y) for IP conversion and motion vectors u (x, y) and v (x, y) between progressive images estimated thereafter are used. There is a strong correlation with. Focusing on this point, initial values of motion vectors u (x, y) and v (x, y) between progressive images may be set as follows.
Here, ↑ y is an operator that doubles the number of pixels in the y-axis direction of the image.
　これらを初期値として用いて、実施例１に従って、プログレッシブ動画像のフレーム間における画素毎の動きベクトルを推定することにより、プログレッシブ動画像間のフレーム間における画素毎の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を算出するために必要な反復計算回数を減らせられるという効果が期待できる。そこで、ｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）を算出する際の総解像度レベル数および各解像度レベルｒにおける最大反復回数ｉｒ MAXを第１の実施例より少ない値に設定してもよい。 By using these as initial values and estimating the motion vector for each pixel between the frames of the progressive video according to the first embodiment, the motion vector u (x, y) for each pixel between the frames of the progressive video. , V (x, y) can be expected to reduce the number of iterations required to calculate v (x, y). Therefore, even if the total number of resolution levels for calculating u (x, y) and v (x, y) and the maximum number of iterations i r MAX at each resolution level r are set to a smaller value than in the first embodiment. Good.
　実施例３では、入力するインターレース画像のフレームレートと同一のフレームレートのプログレッシブ画像を得る。 In the third embodiment, a progressive image having the same frame rate as that of the input interlaced image is obtained.
　実施例３では、入力するインターレース画像のフレームレートの２倍のフレームレートのプログレッシブ画像を得る。 In the third embodiment, a progressive image having a frame rate that is twice the frame rate of the input interlaced image is obtained.
　具体的には、動き補償した奇数フィールドと動き補償をしていない偶数フィールドとを統合することにより、１つの偶数フレームを生成する他に、動き補償した偶数フィールドと動き補償をしていない奇数フィールドとを統合することにより１つの奇数フレームを生成し、偶数フレームと奇数フレームとを交互につなぐ。 Specifically, by integrating the odd field with motion compensation and the even field without motion compensation, in addition to generating one even frame, the even field with motion compensation and the odd field without motion compensation. Are combined to generate one odd frame and alternately connect even frames and odd frames.
　この場合、プログレッシブ画像間の動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値は、実施例２の
Figure JPOXMLDOC01-appb-M000015
 から
Figure JPOXMLDOC01-appb-M000016
 に変更される。 In this case, initial values of motion vectors u (x, y) and v (x, y) between progressive images are the same as those in the second embodiment.
Figure JPOXMLDOC01-appb-M000015
 From
Figure JPOXMLDOC01-appb-M000016
 Changed to
　実施例４は、実施例２、３において推定する、ＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ、ｙ）の精度をさらに向上させるためのものである。 The fourth embodiment is for further improving the accuracy of the IP conversion motion vectors u IP (x, y) and v IP (x, y) estimated in the second and third embodiments.
　実施例４では、前処理として、現フレームの偶数フィールド画像ｆevenと、次フレームの偶数フィールド画像ｆ’evenとの間の動きベクトルｕeven（ｘ，ｙ）、ｖeven（ｘ，ｙ）を、実施例１に示した処理によって推定する。一般に、このｕeven（ｘ，ｙ）、ｖeven（ｘ，ｙ）と、次に求めるＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）との間には強い相関がある。この点に着目し、ＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）の初期値をそれぞれ次のように設定する。
　　　ｕeven（ｘ，ｙ）／２
　　　ｖeven（ｘ，ｙ）／２
これらを初期値として用いることにより、ＩＰ変換用の動きベクトルｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）を算出するために必要な反復計算回数を減らせられるという効果が奏される。そこで、ｕIP（ｘ，ｙ）、ｖIP（ｘ，ｙ）を算出する際の総解像度レベル数および各解像度レベルｒにおける最大反復回数ｉｒ MAXを実施例１より少ない値に設定してもよい。 In Example 4, as a pretreatment, and the even field image f the even of the current frame, the motion vector u the even between even-numbered field image f 'the even of the next frame (x, y), v even (x, y) and The estimation is performed by the process shown in the first embodiment. Generally, there is a strong relationship between the u even (x, y) and v even (x, y) and the IP conversion motion vectors u IP (x, y) and v IP (x, y) to be obtained next. There is a correlation. Focusing on this point, initial values of motion vectors u IP (x, y) and v IP (x, y) for IP conversion are set as follows.
u even (x, y) / 2
v even (x, y) / 2
By using these as initial values, there is an effect that it is possible to reduce the number of iterations necessary for calculating motion vectors u IP (x, y) and v IP (x, y) for IP conversion. Therefore, even when u IP (x, y) and v IP (x, y) are calculated, the total number of resolution levels and the maximum number of iterations i r MAX at each resolution level r are set to values smaller than those in the first embodiment. Good.
　実施例５では、実施例２、３、４における、適切な初期値を与えることによる反復回数削減を、前記実施例とは異なる方法で実現するものである。実施例５におけるｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）に関する拘束式は、以下の通りである。
Figure JPOXMLDOC01-appb-M000017
 ここで、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す。 In the fifth embodiment, the reduction in the number of iterations by providing an appropriate initial value in the second, third, and fourth embodiments is realized by a method different from the above-described embodiment. The constraint equations for u (x, y) and v (x, y) in the fifth embodiment are as follows.
Figure JPOXMLDOC01-appb-M000017
 Here, u 0 (x, y) and v 0 (x, y) are initial values of u (x, y) and v (x, y), respectively, and w u (x, y) and w v ( x, y) represents the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively.
　なお、上記の動きベクトル推定装置及びインターレース・プログレッシブ変換装置は、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の動きベクトル推定装置その他の装置等により行なわれる動きベクトル推定方法及び上記のインターレース・プログレッシブ変換装置その他の装置等により行なわれるインターレース・プログレッシブ変換方法も、ハードウェア、ソフトウェア又はこれらに組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 Note that the motion vector estimation device and interlace / progressive conversion device described above can be realized by hardware, software, or a combination thereof. In addition, the motion vector estimation method performed by the above-described motion vector estimation device and other devices, and the interlace / progressive conversion method performed by the above-described interlace / progressive conversion device and other devices also include hardware, software, or a combination thereof. Can be realized. Here, "realized by software" means realized by a computer reading and executing a program.
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disc), CD-ROM (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)). The program may also be supplied to the computer by various types of temporary computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 Some or all of the above embodiments can be described as in the following supplementary notes, but are not limited thereto.
　（付記１）
　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置であって、
　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成手段と、
　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定手段と、
　前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、
　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、
　を備え、
　前記第１の動きベクトル推定手段は、
　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 1)
An interlace / progressive conversion device for converting an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
Virtual even field generation means for generating a virtual even field including a line at the same position as the line of the input odd field image based on the input even field image;
Based on the virtual even field image and the input odd field image, iteratively calculates a motion vector for each of the plurality of pixel groups included in the input odd field image, each including one or more pixels. First motion vector estimation means for estimating by
Motion compensation means for compensating for the motion of each of a plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation means;
Field synthesizing means for generating the progressive moving image by synthesizing the input odd field image after motion compensation and the input even field image;
With
The first motion vector estimation means includes:
After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace / progressive conversion device comprising means for performing the iterative calculation for a pixel group.
　（付記２）
　付記１に記載のインターレース・プログレッシブ変換装置であって、
　前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定手段を更に備え、
　前記第１の動きベクトル推定手段は、前記第２の動きベクトル推定手段により推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 2)
An interlace / progressive conversion device according to appendix 1,
A second motion vector estimating means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image;
The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image. An interlace / progressive conversion device characterized in that the interlace / progressive conversion device is used as an initial value at the time of estimation.
　（付記３）
　付記１に記載のインターレース・プログレッシブ変換装置であって、
　以下の拘束式：
Figure JPOXMLDOC01-appb-M000018
 但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
を前記反復計算に適用する拘束式適用手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 3)
An interlace / progressive conversion device according to appendix 1,
The following constraint formula:
Figure JPOXMLDOC01-appb-M000018
 However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) further includes a constraint applying means for applying the recursive calculation to each of the coordinates u 0 (x, y) and v 0 (x, y). -Progressive conversion device.
　（付記４）
　付記１乃至３の何れか１に記載のインターレース・プログレッシブ変換装置であって、
　前記第１の動きベクトル推定手段は、
　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 4)
The interlace / progressive conversion device according to any one of appendices 1 to 3,
The first motion vector estimation means includes:
The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace progressive converter.
　（付記５）
　付記１乃至４の何れか１に記載のインターレース・プログレッシブ変換装置であって、
　前記第１の動きベクトル推定手段は、
　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
　を更に備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 5)
The interlace / progressive conversion device according to any one of appendices 1 to 4,
The first motion vector estimation means includes:
Means for generating a first low-resolution image having a lower resolution than the input image based on the input image;
Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
An interlace / progressive conversion apparatus, further comprising:
　（付記６）
　付記５に記載のインターレース・プログレッシブ変換装置であって、
　前記第１の動きベクトル推定手段は、
　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
　を更に備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 6)
The interlace / progressive conversion device according to appendix 5,
The first motion vector estimation means includes:
Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
An interlace / progressive conversion apparatus, further comprising:
　（付記７）
　付記１乃至６の何れか１に記載のインターレース・プログレッシブ変換装置であって、
　前記第１の動きベクトル推定手段は、
　複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 7)
The interlace / progressive conversion device according to any one of appendices 1 to 6,
The first motion vector estimation means includes:
An interlace / progressive conversion apparatus, further comprising means for determining whether or not each of the plurality of pixel groups has a high-frequency component.
　（付記８）
　付記１乃至７の何れか１に記載のインターレース・プログレッシブ変換装置であって、
　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 8)
The interlace / progressive conversion device according to any one of appendices 1 to 7,
The interlace / progressive transformation apparatus, wherein the iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term.
　（付記９）
　付記１乃至８の何れか１に記載のインターレース・プログレッシブ変換装置であって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とするインターレース・プログレッシブ変換装置。 (Appendix 9)
The interlace / progressive conversion device according to any one of appendices 1 to 8,
The interlace / progressive conversion device, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
　（付記１０）
　付記１乃至８の何れか１に記載のインターレース・プログレッシブ変換装置の各手段と、
　前記インターレース・プログレッシブ変換装置により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定手段を備え、
　前記第３の動きベクトル推定手段は、前記第１の動きベクトル推定手段により推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定装置。 (Appendix 10)
Each means of the interlace progressive conversion device according to any one of appendices 1 to 8,
A third motion vector estimating means for estimating a motion vector for each pixel group between frames of the progressive video generated by the interlace / progressive conversion device;
The third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator. A motion vector estimation device that is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
　（付記１１）
　付記１０に記載の動きベクトル推定装置であって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定装置。 (Appendix 11)
The motion vector estimation device according to attachment 10, wherein
The motion vector estimation device, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
　（付記１２）
　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換方法であって、
　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成ステップと、
　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定ステップと、
　前記第１の動きベクトル推定ステップにより推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償ステップと、
　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成ステップと、
　を有し、
　前記第１の動きベクトル推定ステップは、
　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 12)
An interlace / progressive conversion method for converting an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
A virtual even field generation step of generating a virtual even field including a line at the same position as a line of the input odd field image based on the input even field image;
Based on the virtual even field image and the input odd field image, iteratively calculates a motion vector for each of the plurality of pixel groups included in the input odd field image, each including one or more pixels. A first motion vector estimation step estimated by
A motion compensation step of compensating for the motion of each of the plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation step;
A field combining step of generating the progressive moving image by combining the input odd field image after motion compensation and the input even field image;
Have
The first motion vector estimation step includes:
After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace progressive conversion method comprising the step of performing the iterative calculation for a pixel group.
　（付記１３）
　付記１２に記載のインターレース・プログレッシブ変換方法であって、
　前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定ステップを更に有し、
　前記第１の動きベクトル推定ステップでは、前記第２の動きベクトル推定ステップにより推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 13)
The interlace / progressive conversion method according to attachment 12, wherein
A second motion vector estimation step for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image;
In the first motion vector estimation step, a motion vector calculated based on the motion vector estimated in the second motion vector estimation step is used as a motion vector for each of a plurality of pixel groups included in the input odd field image. An interlace / progressive conversion method, characterized in that the method is used as an initial value when estimating a value.
　（付記１４）
　付記１２に記載のインターレース・プログレッシブ変換方法であって、
　以下の拘束式：
Figure JPOXMLDOC01-appb-M000019
 但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
を前記反復計算に適用する拘束式適用ステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 14)
The interlace / progressive conversion method according to attachment 12, wherein
The following constraint formula:
Figure JPOXMLDOC01-appb-M000019
 However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) further includes a constraining formula application step that applies the reliability to the iterative calculation representing the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively. -Progressive conversion method.
　（付記１５）
　付記１２乃至１４の何れか１に記載のインターレース・プログレッシブ変換方法であって、
　前記第１の動きベクトル推定ステップは、
　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なうステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 15)
The interlace / progressive conversion method according to any one of appendices 12 to 14,
The first motion vector estimation step includes:
The method further comprises the step of performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace / progressive conversion method.
　（付記１６）
　付記１２乃至１５の何れか１に記載のインターレース・プログレッシブ変換方法であって、
　前記第１の動きベクトル推定ステップは、
　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成するステップと、
　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定するステップと、
　を更に有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 16)
The interlace progressive conversion method according to any one of appendices 12 to 15,
The first motion vector estimation step includes:
Generating a first low-resolution image having a lower resolution than the input image based on the input image;
Estimating a motion vector for the input image after estimating a motion vector for the first low-resolution image and then using a motion vector estimated for the first low-resolution image as an initial value;
The interlace progressive conversion method further comprising:
　（付記１７）
　付記１６に記載のインターレース・プログレッシブ変換方法であって、
　前記第１の動きベクトル推定ステップは、
　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成するステップと、
　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定するステップと、
　を更に有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 17)
The interlace / progressive conversion method according to attachment 16, wherein
The first motion vector estimation step includes:
Generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
Estimating a motion vector for the first low-resolution image after estimating a motion vector for the second low-resolution image, using the motion vector estimated for the second low-resolution image as an initial value;
The interlace progressive conversion method further comprising:
　（付記１８）
　付記１２乃至１７の何れか１に記載のインターレース・プログレッシブ変換方法であって、
　前記第１の動きベクトル推定ステップは、
　複数の画素群それぞれについて高周波成分を有するか否かを判定するステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 18)
The interlace progressive conversion method according to any one of appendices 12 to 17,
The first motion vector estimation step includes:
The interlace / progressive conversion method further comprising the step of determining whether or not each of the plurality of pixel groups has a high frequency component.
　（付記１９）
　付記１２乃至１８の何れか１に記載のインターレース・プログレッシブ変換方法であって、
　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 19)
The interlace progressive conversion method according to any one of appendices 12 to 18, comprising:
The interlace / progressive transformation method, wherein the iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term.
　（付記２０）
　付記１２乃至１９の何れか１に記載のインターレース・プログレッシブ変換方法であって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていることを特徴とするインターレース・プログレッシブ変換方法。 (Appendix 20)
The interlace / progressive conversion method according to any one of appendices 12 to 19,
The interlace / progressive conversion method, wherein the input even field image and the input odd field image are interchanged with each other.
　（付記２１）
　付記１２乃至１９の何れか１に記載のインターレース・プログレッシブ変換方法の各ステップと、
　前記インターレース・プログレッシブ変換方法により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定ステップを有し、
　前記第３の動きベクトル推定ステップでは、前記第１の動きベクトル推定ステップにより推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定方法。 (Appendix 21)
Each step of the interlace progressive conversion method according to any one of appendices 12 to 19,
A third motion vector estimation step for estimating a motion vector for each pixel group between frames of the progressive video generated by the interlace / progressive conversion method;
In the third motion vector estimation step, a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated in the first motion vector estimation step is used as a progressive video. A motion vector estimation method which is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
　（付記２２）
　付記２１に記載の動きベクトル推定方法であって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定方法。 (Appendix 22)
The motion vector estimation method according to attachment 21, wherein
The motion vector estimation method, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
　（付記２３）
　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラムであって、
　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールド画像を生成する仮想偶数フィールド生成手段と、
　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを推定する第１の動きベクトル推定手段と、
　前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、
　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、
　としてコンピュータを機能させ、
　前記第１の動きベクトル推定手段は、
　　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 23)
An interlace / progressive conversion program for causing a computer to function as an interlace / progressive conversion device that converts an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
Virtual even field generation means for generating a virtual even field image including a line at the same position as the line of the input odd field image based on the input even field image;
Based on the virtual even field image and the input odd field image, a motion vector is estimated for each of a plurality of pixel groups included in the input odd field image, each including one or more pixels. First motion vector estimation means;
Motion compensation means for compensating for the motion of each of a plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation means;
Field synthesizing means for generating the progressive moving image by synthesizing the input odd field image after motion compensation and the input even field image;
Function as a computer
The first motion vector estimation means includes:
After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace / progressive conversion program comprising means for performing the iterative calculation on a pixel group.
　（付記２４）
　付記２３に記載のインターレース・プログレッシブ変換用プログラムであって、
　更に、前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定手段としてコンピュータを機能させ、
　前記第１の動きベクトル推定手段は、前記第２の動きベクトル推定手段により推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 24)
An interlace / progressive conversion program according to attachment 23,
Further, the computer functions as second motion vector estimation means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image,
The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image. A program for interlace / progressive conversion, characterized in that it is used as an initial value at the time of estimation.
　（付記２５）
　付記２３に記載のインターレース・プログレッシブ変換用プログラムであって、
　更に、
　以下の拘束式：
Figure JPOXMLDOC01-appb-M000020
 但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
を前記反復計算に適用する拘束式適用手段としてコンピュータを機能させることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 25)
An interlace / progressive conversion program according to attachment 23,
Furthermore,
The following constraint formula:
Figure JPOXMLDOC01-appb-M000020
 However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) represents the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively, and causes the computer to function as a constraint application means for applying to the iterative calculation. Program for interlaced progressive conversion.
　（付記２６）
　付記２３乃至２５の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記第１の動きベクトル推定手段は、
　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 26)
An interlace / progressive conversion program according to any one of appendices 23 to 25,
The first motion vector estimation means includes:
The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Program for interlaced progressive conversion.
　（付記２７）
　付記２３乃至２６の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記第１の動きベクトル推定手段は、
　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
　を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 27)
An interlace / progressive conversion program according to any one of appendices 23 to 26,
The first motion vector estimation means includes:
Means for generating a first low-resolution image having a lower resolution than the input image based on the input image;
Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
An interlace / progressive conversion program characterized by further comprising:
　（付記２８）
　付記２７に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記第１の動きベクトル推定手段は、
　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
　を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 28)
An interlace / progressive conversion program according to attachment 27,
The first motion vector estimation means includes:
Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
An interlace / progressive conversion program characterized by further comprising:
　（付記２９）
　付記２３乃至２８の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記第１の動きベクトル推定手段は、
　複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 29)
The interlace / progressive conversion program according to any one of appendices 23 to 28,
The first motion vector estimation means includes:
A program for interlace / progressive conversion, further comprising means for determining whether each of the plurality of pixel groups has a high-frequency component.
　（付記３０）
　付記２３乃至２９の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 30)
An interlace / progressive conversion program according to any one of appendices 23 to 29,
The iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term, and a program for interlace progressive conversion .
　（付記３１）
　付記２３乃至３０の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていることを特徴とするインターレース・プログレッシブ変換用プログラム。 (Appendix 31)
The interlace / progressive conversion program according to any one of appendices 23 to 30,
The interlace / progressive conversion program, wherein the input even field image and the input odd field image are interchanged.
　（付記３２）
　付記１乃至９の何れか１に記載のインターレース・プログレッシブ変換装置の各手段と、
　前記インターレース・プログレッシブ変換装置により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定手段としてコンピュータを機能させるための動きベクトル推定用プログラムであって、
　前記第３の動きベクトル推定手段は、前記第１の動きベクトル推定手段により推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定用プログラム。 (Appendix 32)
Each means of the interlace progressive conversion device according to any one of appendices 1 to 9,
A motion vector estimation program for causing a computer to function as third motion vector estimation means for estimating a motion vector for each pixel group between frames of a progressive moving image generated by the interlace / progressive conversion device,
The third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator. A motion vector estimation program characterized by being used as an initial value when estimating a motion vector for each pixel group between image frames.
　（付記３３）
　付記３２に記載の動きベクトル推定用プログラムであって、
　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定用プログラム。 (Appendix 33)
A motion vector estimation program according to attachment 32, comprising:
The motion vector estimation program, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
　本願は、日本の特願２０１１－２４９６７８（２０１１年１１月１５日に出願）に基づいたものであり、又は、特願２０１１－２４９６７８に基づくパリ条約の優先権を主張するものである。特願２０１１－２４９６７８の開示内容は、特願２０１１－２４９６７８を参照することにより本明細書に援用される。 This application is based on Japanese Patent Application No. 2011-249678 (filed on November 15, 2011), or claims the priority of the Paris Convention based on Japanese Patent Application No. 2011-249678. The disclosure of Japanese Patent Application No. 2011-249678 is incorporated herein by reference to Japanese Patent Application No. 2011-249678.
　本発明の代表的な実施形態が詳細に述べられたが、様々な変更（changes）、置き換え（substitutions）及び選択（alternatives）が請求項で定義された発明の精神と範囲から逸脱することなくなされることが理解されるべきである。また、仮にクレームが出願手続において補正されたとしても、クレームされた発明の均等の範囲は維持されるものと発明者は意図する。 Although exemplary embodiments of the present invention have been described in detail, various changes, substitutions and alternatives may be made without departing from the spirit and scope of the invention as defined in the claims. It should be understood. In addition, the inventors intend that the equivalent scope of the claimed invention is maintained even if the claim is amended in the application procedure.
　本発明によれば、映像中の各画素における動きを高速に求めるといった用途に適用できる。 According to the present invention, the present invention can be applied to a purpose of obtaining a motion at each pixel in a video at high speed.
　また、複数フレームの画像を位置合わせし、合成することでノイズ除去を行う３次元ノイズ除去や、複数フレームの画像から高解像画像を生成する超解像といった用途にも適用可能である。 Also, the present invention can be applied to uses such as three-dimensional noise removal that removes noise by aligning and synthesizing images of a plurality of frames and super-resolution that generates a high resolution image from images of a plurality of frames.
　１０１、１０１Ｂ　動きベクトル推定装置
　１０３、１０３Ｂ　高周波／低周波判定部
　１０５、１０５Ｂ　反復回数決定部
　１０７、１０７Ｂ　偏微分係数計算部
　１０９、１０９Ｂ　動きベクトル推定部
　１１１　解像度ピラミッド作成部
　１１３　動きベクトルアップスケーリング部 101, 101B Motion vector estimation device 103, 103B High frequency / low frequency determination unit 105, 105B Iteration number determination unit 107, 107B Partial differential coefficient calculation unit 109, 109B Motion vector estimation unit 111 Resolution pyramid creation unit 113 Motion vector upscaling unit

Claims (33)

  1. 　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置であって、
    　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成手段と、
    　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定手段と、
    　前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、
    　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、
    　を備え、
    　前記第１の動きベクトル推定手段は、
    　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換装置。     An interlace / progressive conversion device for converting an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
    Virtual even field generation means for generating a virtual even field including a line at the same position as the line of the input odd field image based on the input even field image;
    Based on the virtual even field image and the input odd field image, iteratively calculates a motion vector for each of the plurality of pixel groups included in the input odd field image, each including one or more pixels. First motion vector estimation means for estimating by
    Motion compensation means for compensating for the motion of each of a plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation means;
    Field synthesizing means for generating the progressive moving image by synthesizing the input odd field image after motion compensation and the input even field image;
    With
    The first motion vector estimation means includes:
    After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace / progressive conversion device comprising means for performing the iterative calculation for a pixel group.
  2. 　請求項１に記載のインターレース・プログレッシブ変換装置であって、
    　前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定手段を更に備え、
    　前記第１の動きベクトル推定手段は、前記第２の動きベクトル推定手段により推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to claim 1,
    A second motion vector estimating means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image;
    The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image. An interlace / progressive conversion device characterized in that the interlace / progressive conversion device is used as an initial value at the time of estimation.
  3. 　請求項１に記載のインターレース・プログレッシブ変換装置であって、
    　以下の拘束式：
    Figure JPOXMLDOC01-appb-M000001
     但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
    を前記反復計算に適用する拘束式適用手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to claim 1,
    The following constraint formula:
    Figure JPOXMLDOC01-appb-M000001
     However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) further includes a constraint applying means for applying the recursive calculation to each of the coordinates u 0 (x, y) and v 0 (x, y). -Progressive conversion device.
  4. 　請求項１乃至３の何れか１に記載のインターレース・プログレッシブ変換装置であって、
    　前記第１の動きベクトル推定手段は、
    　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to any one of claims 1 to 3,
    The first motion vector estimation means includes:
    The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace progressive converter.
  5. 　請求項１乃至４の何れか１に記載のインターレース・プログレッシブ変換装置であって、
    　前記第１の動きベクトル推定手段は、
    　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
    　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
    　を更に備えることを特徴とするインターレース・プログレッシブ変換装置。     The interlace progressive converter according to any one of claims 1 to 4, wherein
    The first motion vector estimation means includes:
    Means for generating a first low-resolution image having a lower resolution than the input image based on the input image;
    Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
    An interlace / progressive conversion apparatus, further comprising:
  6. 　請求項５に記載のインターレース・プログレッシブ変換装置であって、
    　前記第１の動きベクトル推定手段は、
    　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
    　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
    　を更に備えることを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to claim 5, comprising:
    The first motion vector estimation means includes:
    Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
    Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
    An interlace / progressive conversion apparatus, further comprising:
  7. 　請求項１乃至６の何れか１に記載のインターレース・プログレッシブ変換装置であって、
    　前記第１の動きベクトル推定手段は、
    　複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とするインターレース・プログレッシブ変換装置。     The interlace progressive converter according to any one of claims 1 to 6,
    The first motion vector estimation means includes:
    An interlace / progressive conversion apparatus, further comprising means for determining whether or not each of the plurality of pixel groups has a high-frequency component.
  8. 　請求項１乃至７の何れか１に記載のインターレース・プログレッシブ変換装置であって、
    　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to any one of claims 1 to 7, comprising:
    The interlace / progressive transformation apparatus, wherein the iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term.
  9. 　請求項１乃至８の何れか１に記載のインターレース・プログレッシブ変換装置であって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とするインターレース・プログレッシブ変換装置。     An interlace progressive converter according to any one of claims 1 to 8, comprising:
    The interlace / progressive conversion device, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
  10. 　請求項１乃至８の何れか１に記載のインターレース・プログレッシブ変換装置の各手段と、
    　前記インターレース・プログレッシブ変換装置により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定手段を備え、
    　前記第３の動きベクトル推定手段は、前記第１の動きベクトル推定手段により推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定装置。     Each means of the interlace progressive conversion device according to any one of claims 1 to 8,
    A third motion vector estimating means for estimating a motion vector for each pixel group between frames of the progressive video generated by the interlace / progressive conversion device;
    The third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator. A motion vector estimation device that is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
  11. 　請求項１０に記載の動きベクトル推定装置であって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定装置。     The motion vector estimation device according to claim 10,
    The motion vector estimation device, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
  12. 　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換方法であって、
    　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールドを生成する仮想偶数フィールド生成ステップと、
    　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを反復計算により推定する第１の動きベクトル推定ステップと、
    　前記第１の動きベクトル推定ステップにより推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償ステップと、
    　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成ステップと、
    　を有し、
    　前記第１の動きベクトル推定ステップは、
    　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なうステップを有することを特徴とするインターレース・プログレッシブ変換方法。     An interlace / progressive conversion method for converting an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
    A virtual even field generation step of generating a virtual even field including a line at the same position as a line of the input odd field image based on the input even field image;
    Based on the virtual even field image and the input odd field image, iteratively calculates a motion vector for each of the plurality of pixel groups included in the input odd field image, each including one or more pixels. A first motion vector estimation step estimated by
    A motion compensation step of compensating for the motion of each of the plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation step;
    A field combining step of generating the progressive moving image by combining the input odd field image after motion compensation and the input even field image;
    Have
    The first motion vector estimation step includes:
    After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace progressive conversion method comprising the step of performing the iterative calculation for a pixel group.
  13. 　請求項１２に記載のインターレース・プログレッシブ変換方法であって、
    　前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定ステップを更に有し、
    　前記第１の動きベクトル推定ステップでは、前記第２の動きベクトル推定ステップにより推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to claim 12, comprising:
    A second motion vector estimation step for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image;
    In the first motion vector estimation step, a motion vector calculated based on the motion vector estimated in the second motion vector estimation step is used as a motion vector for each of a plurality of pixel groups included in the input odd field image. An interlace / progressive conversion method, characterized in that the method is used as an initial value when estimating a value.
  14. 　請求項１２に記載のインターレース・プログレッシブ変換方法であって、
    　以下の拘束式：
    Figure JPOXMLDOC01-appb-M000002
     但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
    を前記反復計算に適用する拘束式適用ステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to claim 12, comprising:
    The following constraint formula:
    Figure JPOXMLDOC01-appb-M000002
     However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) further includes a constraining formula application step that applies the reliability to the iterative calculation representing the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively. -Progressive conversion method.
  15. 　請求項１２乃至１４の何れか１に記載のインターレース・プログレッシブ変換方法であって、
    　前記第１の動きベクトル推定ステップは、
    　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なうステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to any one of claims 12 to 14,
    The first motion vector estimation step includes:
    The method further comprises the step of performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Interlace / progressive conversion method.
  16. 　請求項１２乃至１５の何れか１に記載のインターレース・プログレッシブ変換方法であって、
    　前記第１の動きベクトル推定ステップは、
    　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成するステップと、
    　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定するステップと、
    　を更に有することを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to any one of claims 12 to 15,
    The first motion vector estimation step includes:
    Generating a first low-resolution image having a lower resolution than the input image based on the input image;
    Estimating a motion vector for the input image after estimating a motion vector for the first low-resolution image and then using a motion vector estimated for the first low-resolution image as an initial value;
    The interlace progressive conversion method further comprising:
  17. 　請求項１６に記載のインターレース・プログレッシブ変換方法であって、
    　前記第１の動きベクトル推定ステップは、
    　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成するステップと、
    　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定するステップと、
    　を更に有することを特徴とするインターレース・プログレッシブ変換方法。     The interlace progressive conversion method according to claim 16, comprising:
    The first motion vector estimation step includes:
    Generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
    Estimating a motion vector for the first low-resolution image after estimating a motion vector for the second low-resolution image, using the motion vector estimated for the second low-resolution image as an initial value;
    The interlace progressive conversion method further comprising:
  18. 　請求項１２乃至１７の何れか１に記載のインターレース・プログレッシブ変換方法であって、
    　前記第１の動きベクトル推定ステップは、
    　複数の画素群それぞれについて高周波成分を有するか否かを判定するステップを更に有することを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to any one of claims 12 to 17,
    The first motion vector estimation step includes:
    The interlace / progressive conversion method further comprising the step of determining whether or not each of the plurality of pixel groups has a high frequency component.
  19. 　請求項１２乃至１８の何れか１に記載のインターレース・プログレッシブ変換方法であって、
    　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換方法。     The interlace progressive conversion method according to any one of claims 12 to 18, comprising:
    The interlace / progressive transformation method, wherein the iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term.
  20. 　請求項１２乃至１９の何れか１に記載のインターレース・プログレッシブ変換方法であって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていることを特徴とするインターレース・プログレッシブ変換方法。     An interlace progressive conversion method according to any one of claims 12 to 19, comprising:
    The interlace / progressive conversion method, wherein the input even field image and the input odd field image are interchanged with each other.
  21. 　付記１２乃至１９の何れか１に記載のインターレース・プログレッシブ変換方法の各ステップと、
    　前記インターレース・プログレッシブ変換方法により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定ステップを有し、
    　前記第３の動きベクトル推定ステップでは、前記第１の動きベクトル推定ステップにより推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定方法。     Each step of the interlace progressive conversion method according to any one of appendices 12 to 19,
    A third motion vector estimation step for estimating a motion vector for each pixel group between frames of the progressive video generated by the interlace / progressive conversion method;
    In the third motion vector estimation step, a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated in the first motion vector estimation step is used as a progressive video. A motion vector estimation method which is used as an initial value when estimating a motion vector for each pixel group between frames of an image.
  22. 　請求項２１に記載の動きベクトル推定方法であって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定方法。     The motion vector estimation method according to claim 21,
    The motion vector estimation method, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
  23. 　入力偶数フィールド画像と入力奇数フィールド画像を含む入力インターレース動画像をプログレッシブ動画像に変換するインターレース・プログレッシブ変換装置としてコンピュータを機能させるためのインターレース・プログレッシブ変換用プログラムであって、
    　前記入力偶数フィールド画像を基に、前記入力奇数フィールド画像のラインと同一の位置にあるラインを含む仮想偶数フィールド画像を生成する仮想偶数フィールド生成手段と、
    　前記仮想偶数フィールド画像と前記入力奇数フィールド画像を基に、前記入力奇数フィールド画像に含まれる複数の画素群であって、それぞれ１以上の画素を含む複数の画素群それぞれについての動きベクトルを推定する第１の動きベクトル推定手段と、
    　前記第１の動きベクトル推定手段により推定された動きベクトルにより前記入力奇数フィールド画像に含まれる複数の画素群それぞれの動きを補償する動き補償手段と、
    　動き補償後の前記入力奇数フィールド画像と、前記入力偶数フィールド画像を合成することにより前記プログレッシブ動画像を生成するフィールド合成手段と、
    　としてコンピュータを機能させ、
    　前記第１の動きベクトル推定手段は、
    　　前記入力画像に含まれる前記複数の画素群のうち高周波成分を有する画素群を対象とする前記反復計算を行なった後に、前記入力画像に含まれる前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なう手段を備えることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program for causing a computer to function as an interlace / progressive conversion device that converts an input interlaced moving image including an input even field image and an input odd field image into a progressive moving image,
    Virtual even field generation means for generating a virtual even field image including a line at the same position as the line of the input odd field image based on the input even field image;
    Based on the virtual even field image and the input odd field image, a motion vector is estimated for each of a plurality of pixel groups included in the input odd field image, each including one or more pixels. First motion vector estimation means;
    Motion compensation means for compensating for the motion of each of a plurality of pixel groups included in the input odd field image by the motion vector estimated by the first motion vector estimation means;
    Field synthesizing means for generating the progressive moving image by synthesizing the input odd field image after motion compensation and the input even field image;
    Function as a computer
    The first motion vector estimation means includes:
    After performing the iterative calculation on a pixel group having a high-frequency component among the plurality of pixel groups included in the input image, the high-frequency component is not included in the plurality of pixel groups included in the input image. An interlace / progressive conversion program comprising means for performing the iterative calculation on a pixel group.
  24. 　請求項２３に記載のインターレース・プログレッシブ変換用プログラムであって、
    　更に、前記入力奇数フィールド画像を挟む２つの入力偶数フィールド画像間での複数の画素群それぞれについての動きベクトルを推定する第２の動きベクトル推定手段としてコンピュータを機能させ、
    　前記第１の動きベクトル推定手段は、前記第２の動きベクトル推定手段により推定された動きベクトルを基に算出した動きベクトルを、前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを推定する際の初期値として利用することを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to claim 23,
    Further, the computer functions as second motion vector estimation means for estimating a motion vector for each of a plurality of pixel groups between two input even field images sandwiching the input odd field image,
    The first motion vector estimation means uses a motion vector calculated based on the motion vector estimated by the second motion vector estimation means for each of a plurality of pixel groups included in the input odd field image. A program for interlace / progressive conversion, characterized in that it is used as an initial value at the time of estimation.
  25. 　請求項２３に記載のインターレース・プログレッシブ変換用プログラムであって、
    　更に、
    　以下の拘束式：
    Figure JPOXMLDOC01-appb-M000003
     但し、ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）はそれぞれ推定する動きベクトルｕ（ｘ，ｙ）、ｖ（ｘ，ｙ）の初期値であり、ｗｕ（ｘ，ｙ）、ｗｖ（ｘ，ｙ）はそれぞれ座標ｕ０（ｘ，ｙ）、ｖ０（ｘ，ｙ）の信頼度を表す
    を前記反復計算に適用する拘束式適用手段としてコンピュータを機能させることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to claim 23,
    Furthermore,
    The following constraint formula:
    Figure JPOXMLDOC01-appb-M000003
     However, u 0 (x, y) and v 0 (x, y) are initial values of motion vectors u (x, y) and v (x, y) to be estimated, respectively, and w u (x, y), w v (x, y) represents the reliability of coordinates u 0 (x, y) and v 0 (x, y), respectively, and causes the computer to function as a constraint application means for applying to the iterative calculation. Program for interlaced progressive conversion.
  26. 　請求項２３乃至２５の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記第１の動きベクトル推定手段は、
    　前記複数の画素群のうち高周波成分を有さない画素群を対象とする前記反復計算を行なった後に、前記複数の画素群全体を対象とする前記反復計算を行なう手段を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to any one of claims 23 to 25, comprising:
    The first motion vector estimation means includes:
    The apparatus further comprises means for performing the iterative calculation for the entire plurality of pixel groups after performing the iterative calculation for the pixel group having no high frequency component among the plurality of pixel groups. Program for interlaced progressive conversion.
  27. 　請求項２３乃至２６の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記第１の動きベクトル推定手段は、
    　前記入力画像を基に、該入力画像よりも解像度が低い第１次低解像度画像を生成する手段と、
    　該第１次低解像度画像について動きベクトルを推定した後に、該第１次低解像度画像について推定した動きベクトルを初期値として、前記入力画像について動きベクトルを推定する手段と、
    　を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to any one of claims 23 to 26, comprising:
    The first motion vector estimation means includes:
    Means for generating a first low-resolution image having a lower resolution than the input image based on the input image;
    Means for estimating a motion vector for the first low-resolution image, and then estimating a motion vector for the input image, using the motion vector estimated for the first low-resolution image as an initial value;
    An interlace / progressive conversion program characterized by further comprising:
  28. 　請求項２７に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記第１の動きベクトル推定手段は、
    　前記第１次低解像度画像を基に、該第１次低解像度画像よりも解像度が低い第２次低解像度画像を生成する手段と、
    　該第２次低解像度画像について動きベクトルを推定した後に、該第２次低解像度画像について推定した動きベクトルを初期値として、前記第１次低解像度画像について動きベクトルを推定する手段と、
    　を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlaced progressive conversion program according to claim 27,
    The first motion vector estimation means includes:
    Means for generating a second low-resolution image having a lower resolution than the first low-resolution image based on the first low-resolution image;
    Means for estimating a motion vector for the first low resolution image after estimating a motion vector for the second low resolution image, using the motion vector estimated for the second low resolution image as an initial value;
    An interlace / progressive conversion program characterized by further comprising:
  29. 　請求項２３乃至２８の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記第１の動きベクトル推定手段は、
    　複数の画素群それぞれについて高周波成分を有するか否かを判定する手段を更に備えることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to any one of claims 23 to 28, comprising:
    The first motion vector estimation means includes:
    A program for interlace / progressive conversion, further comprising means for determining whether each of the plurality of pixel groups has a high-frequency component.
  30. 　請求項２３乃至２９の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記反復計算は、前記動きベクトルを推定するためのエネルギー関数であって、データ項と正則化項を含むエネルギー関数を最小化させるための反復計算であることを特徴とするインターレース・プログレッシブ変換用プログラム。     An interlace / progressive conversion program according to any one of claims 23 to 29,
    The iterative calculation is an energy function for estimating the motion vector, and is an iterative calculation for minimizing an energy function including a data term and a regularization term, and a program for interlace progressive conversion .
  31. 　請求項２３乃至３０の何れか１に記載のインターレース・プログレッシブ変換用プログラムであって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていることを特徴とするインターレース・プログレッシブ変換用プログラム。     A program for interlace progressive conversion according to any one of claims 23 to 30,
    The interlace / progressive conversion program, wherein the input even field image and the input odd field image are interchanged.
  32. 　請求項１乃至８の何れか１に記載のインターレース・プログレッシブ変換装置の各手段と、
    　前記インターレース・プログレッシブ変換装置により生成されたプログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する第３の動きベクトル推定手段としてコンピュータを機能させるための動きベクトル推定用プログラムであって、
    　前記第３の動きベクトル推定手段は、前記第１の動きベクトル推定手段により推定された前記入力奇数フィールド画像に含まれる複数の画素群それぞれについての動きベクトルを基に算出した動きベクトルを、プログレッシブ動画像のフレーム間における画素群毎の動きベクトルを推定する際の初期値として利用することを特徴とする動きベクトル推定用プログラム。     Each means of the interlace progressive conversion device according to any one of claims 1 to 8,
    A motion vector estimation program for causing a computer to function as third motion vector estimation means for estimating a motion vector for each pixel group between frames of a progressive moving image generated by the interlace / progressive conversion device,
    The third motion vector estimator calculates a motion vector calculated based on a motion vector for each of a plurality of pixel groups included in the input odd field image estimated by the first motion vector estimator. A motion vector estimation program characterized by being used as an initial value when estimating a motion vector for each pixel group between image frames.
  33. 　請求項３２に記載の動きベクトル推定用プログラムであって、
    　前記入力偶数フィールド画像と前記入力奇数フィールド画像が相互に入れ替わっていて、前記仮想偶数フィールドが仮想奇数フィールドに置き換わっていることを特徴とする動きベクトル推定用プログラム。     A motion vector estimation program according to claim 32, comprising:
    The motion vector estimation program, wherein the input even field image and the input odd field image are interchanged with each other, and the virtual even field is replaced with a virtual odd field.
PCT/JP2012/078422 2011-11-15 2012-11-02 Interlace/progressive conversion device, motion vector estimation device, and method and program for said devices WO2013073388A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011249678 2011-11-15
JP2011-249678 2011-11-15

Publications (1)

Publication Number Publication Date
WO2013073388A1 true WO2013073388A1 (en) 2013-05-23

Family

ID=48429455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/078422 WO2013073388A1 (en) 2011-11-15 2012-11-02 Interlace/progressive conversion device, motion vector estimation device, and method and program for said devices

Country Status (2)

Country Link
JP (1) JPWO2013073388A1 (en)
WO (1) WO2013073388A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266395A (en) * 2003-02-28 2004-09-24 Toshiba Corp Device and method for sequential scanning conversion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266395A (en) * 2003-02-28 2004-09-24 Toshiba Corp Device and method for sequential scanning conversion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIASE LEE ET AL.: "Motion Extraction of Time Varying Images Using Virtual Gradient Method", TRANSACTION OF THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, vol. 11, no. 9, September 1998 (1998-09-01), pages 483 - 490 *

Also Published As

Publication number Publication date
JPWO2013073388A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5385969B2 (en) Method and apparatus for super-resolution of images
Takeda et al. Super-resolution without explicit subpixel motion estimation
JP6056766B2 (en) Motion vector estimation apparatus, motion vector estimation method, and motion vector estimation program
EP2141653A2 (en) Computing higher resolution images from multiple lower resolution images
US20060002635A1 (en) Computing a higher resolution image from multiple lower resolution images using model-based, robust bayesian estimation
KR20070119879A (en) A method for obtaining super-resolution image from low-resolution image and the apparatus therefor
JP6236259B2 (en) Image processing apparatus, image processing method, and image processing program
KR101756841B1 (en) Method and apparatus for block-based converting image resolution
Khattab et al. Regularization-based multi-frame super-resolution: a systematic review
JP2016134075A (en) Super-resolution device and program
Maiseli et al. A robust super-resolution method with improved high-frequency components estimation and aliasing correction capabilities
Takeda et al. Spatiotemporal video upscaling using motion-assisted steering kernel (mask) regression
Zhang et al. Video superresolution reconstruction using iterative back projection with critical‐point filters based image matching
WO2013073388A1 (en) Interlace/progressive conversion device, motion vector estimation device, and method and program for said devices
Sv et al. Detail warping based video super-resolution using image guides
Takeda et al. Locally adaptive kernel regression for space-time super-resolution
JP6059899B2 (en) Frame interpolation apparatus and program
Pang et al. Efficient video stabilization with dual-tree complex wavelet transform
Wan et al. Super-resolution image reconstruction
JP2013115658A (en) Space-time low correlation image super resolution apparatus, image space super resolution apparatus, and program thereof
Fedak et al. Image and video super-resolution via accurate motion estimation
Nguyen et al. Super-resolution image construction from high-speed camera sequences
Mansouri et al. Joint super-resolution and segmentation from a set of low resolution images using a Bayesian approach with a Gauss-Markov-Potts prior
WO2023174546A1 (en) Method and image processor unit for processing image data
Omer et al. Super-resolution based on region-matching motion estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12849623

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013544210

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12849623

Country of ref document: EP

Kind code of ref document: A1