WO2010026838A1 - フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム - Google Patents

フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム Download PDF

Info

Publication number
WO2010026838A1
WO2010026838A1 PCT/JP2009/062948 JP2009062948W WO2010026838A1 WO 2010026838 A1 WO2010026838 A1 WO 2010026838A1 JP 2009062948 W JP2009062948 W JP 2009062948W WO 2010026838 A1 WO2010026838 A1 WO 2010026838A1
Authority
WO
WIPO (PCT)
Prior art keywords
corresponding point
frame
function
image
partial area
Prior art date
Application number
PCT/JP2009/062948
Other languages
English (en)
French (fr)
Inventor
和男 寅市
徳安 武
ジョナ ガンバ
康宏 大宮
Original Assignee
独立行政法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008227626A external-priority patent/JP4931884B2/ja
Priority claimed from JP2008227627A external-priority patent/JP4743449B2/ja
Application filed by 独立行政法人科学技術振興機構 filed Critical 独立行政法人科学技術振興機構
Priority to US13/061,924 priority Critical patent/US20110187924A1/en
Priority to CN2009801415165A priority patent/CN102187665A/zh
Priority to EP09811367.3A priority patent/EP2330818A4/en
Publication of WO2010026838A1 publication Critical patent/WO2010026838A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Definitions

  • the present invention relates to a frame rate conversion device that converts a frame rate of a video to an arbitrary frame rate, a corresponding point estimation device that estimates a corresponding point between frame images in the frame rate conversion device, a corresponding point estimation method, and a corresponding point. It relates to an estimation program.
  • This application claims priority on the basis of Japanese Patent Application No. 2008-227626 and Japanese Patent Application No. 2008-227627 filed in Japan on September 4, 2008, and these applications are referred to. Are incorporated herein by reference.
  • the multi-frame inverse transform method pays attention to the fact that the subject shown in the reference frame is also shown in another frame, and detects the subject's movement with high accuracy within the pixel interval. A plurality of sample values whose positions are slightly shifted with respect to the portion are obtained to increase the resolution.
  • technologies related to digital video production there is a technology for converting video shot with a film or the like and video signals recorded with the same number of frames into various frame rates. This technique is known from Patent Document 2 and the like. In particular, when converting a progressive video signal system video composed of 24 frames / second into a progressive video signal system video composed of 60 frames / second and recording it, conversion using a conversion system called 2: 3 pull-down is performed.
  • One of the digital signal technologies for video, images, and audio is compression coding that reduces the amount of information, but the signal theory is typically the Shannon sampling theorem, and more recently the wavelet transform theory. Etc. Also, for example, music CDs use linear PCM (Pulse Code Modulation) without compression, but signal theory is also Shannon's sampling theorem.
  • MPEG is known as a compression technology for moving images such as video and animation images.
  • the adoption of the MPEG-2 system in digital broadcasting and DVD, the Internet streaming of third-generation mobile phones, and mobile communication In recent years, digital compression technology for video signals has become very familiar due to the adoption of the MPEG-4 system and the like.
  • MPEG2 ISO (International Organization for Standardization) / IEC (International Electrotechnical Commitment) 13818-2) is a method defined as a general-purpose image encoding method, and can support both an interlaced scanning method and a sequential scanning method. In addition, it is defined so as to be compatible with both standard resolution images and high-definition images. MPEG2 is currently widely used in a wide range of applications for professional use and consumer use.
  • image data of a standard resolution of 720 ⁇ 480 pixels and interlaced scanning method can be compressed to a bit rate of 4 to 8 [Mbps], and a high resolution image of 1920 ⁇ 1080 pixels and interlaced scanning method can be used.
  • Data can be compressed to a bit rate of 18 to 22 [Mbps], and a high compression rate can be ensured with high image quality.
  • the amount of information is compressed by reducing redundancy in the time direction and the spatial direction. Therefore, in inter-frame predictive coding for the purpose of reducing temporal redundancy, motion is detected and a predicted image is created in block units with reference to the front or rear picture, and the obtained predicted image and the encoded image are encoded.
  • a picture is a term representing a single screen, which means a frame in a progressive image and a frame or field in an interlaced image.
  • an interlaced image is an image in which one frame is composed of two fields having different times.
  • one frame may be processed as a frame, processed as two fields, or processed as a frame structure or a field structure for each block in the frame. it can.
  • a conventional AD conversion / DA conversion system based on the Shannon sampling theorem handles a signal whose band is limited by the Nyquist frequency.
  • a function for reproducing a signal in a limited band is used to reproduce a signal that has become discrete by sampling into a continuous wave.
  • various properties of images such as images (moving images), characters and graphics, natural images, or signals such as sounds can be classified using a fluency function.
  • the regular function based on Shannon's sampling theorem is one of the fluency functions, and only fits one of the various properties of the signal.
  • the quality of the reproduced signal after DA conversion may be limited.
  • the wavelet transform theory which is one of the above fluency function spaces, represents a signal using a mother wavelet that decomposes the object with resolution, but the optimal mother wavelet is not always given to the signal, and D- This may limit the quality of the reproduction signal after A conversion.
  • the fluency function is a function categorized by the parameter m (m is a positive integer from 1 to ⁇ ). m represents that the function can be continuously differentiated only (m ⁇ 2) times. Incidentally, since the regular function can be differentiated any number of times, m is ⁇ .
  • the fluency function is composed of (m ⁇ 1) -th order functions.
  • the fluency DA function in the fluency function is given a numerical value at the k-th sampling point k ⁇ of interest, where the sampling interval is ⁇ . It is a function that becomes 0 at other sample points. All signal properties can be classified by a fluency function having a parameter m, and are classified by the parameter m. Therefore, the fluency information theory using the fluency function includes the Shannon sampling theorem and wavelet transformation theory, which only represent some of the properties of conventional signals, and is a theoretical system that represents the entire signal. Positioned.
  • the frame rate of 24 frames / second of a movie is converted to 30 frames / second of video, or the TV image is increased to 60 to 120 frames / second for high definition
  • conversion to a portable frame rate that is, 15 frames / second is required
  • a method of generating a new frame by thinning out frames or performing internal interpolation of frames before and after has become mainstream.
  • the conventional method of generating a new frame by thinning out the frames or performing internal interpolation of the preceding and following frames has problems such as that the motion of the video is not smooth and the video is not linear.
  • an object of the present invention is to provide a frame rate conversion apparatus capable of reproducing with a clear and smooth motion even if the number of frames is increased or decreased in view of the conventional problems as described above.
  • Another object of the present invention is to provide a corresponding point estimation device, a corresponding point estimation method, and a corresponding point estimation program capable of accurately grasping corresponding points between frame images in a frame rate conversion device.
  • video generally there are many scenes where similar scenes continue before and after a frame, and this feature is used to increase the frame rate by using a plurality of pieces of information to improve the image quality.
  • a high-quality interpolated frame is constructed by estimating local corresponding points between a plurality of frames and interpolating corresponding image points.
  • video correspondence points between frames are tracked, the time transition is expressed as a function, and the number of frames is increased or decreased by generating a frame under function interpolation by the ratio between the original frame and the number of frames to be converted. Even get clear and smooth video signals.
  • the present invention is a frame rate conversion apparatus, and for each of a plurality of pixels in a reference frame, a corresponding point estimation processing unit that estimates each corresponding point in a plurality of image frames at different times, and each estimated image For each corresponding point in the frame, a first gradation value generation processing unit that obtains a gradation value of each corresponding point from gradation values indicating the shades of neighboring pixels, and a plurality of pixels in the reference frame Second tone value generation for approximating the gray level on the corresponding point locus from the estimated gradation value of each corresponding point in each image frame with a fluency function and obtaining each gradation value of the corresponding point in the interpolated frame from the function
  • a third gradation value generation processing unit that generates a gradation value of a pixel near each corresponding point in the interpolation frame from a gradation value of each corresponding point in the interpolation frame; Characterized in that it comprises a.
  • the present invention is also a frame rate conversion apparatus, wherein a plurality of pixels in a reference frame are approximated by a first function approximating unit that approximates the density distribution of the pixels and a time approximated by the first function approximating unit.
  • a corresponding point estimator that performs a correlation operation with a function of the gray distribution in the plurality of reference frames having different values and sets each position giving the maximum value as a corresponding point position corresponding to the plurality of reference frames, and
  • the corresponding point position in each reference frame estimated by the corresponding point estimation unit is coordinated by the horizontal and vertical distances from the origin of the reference frame, and the horizontal direction of the coordinate point in a plurality of reference frames having different times.
  • a second function approximation unit that converts each change in position and vertical position into a time series signal, and approximates the time series signal of each reference frame; With respect to the interpolation frame at any time between the plurality of reference frames, the corresponding position in the interpolation frame corresponding to the corresponding point position of the reference frame is set as the corresponding point position by the function approximated by the second function approximation unit.
  • the gray value at the corresponding point position of the interpolated frame is obtained by interpolation with the gray value at the corresponding point of the reference frame, and the first function approximation is applied according to the gray value of the corresponding point of the interpolated frame,
  • a third function approximating unit that obtains a gray level distribution in the vicinity of the corresponding point and converts the gray level distribution in the vicinity of the corresponding point to a gray level value of a pixel point in the interpolation frame;
  • the present invention is a corresponding point estimation device provided as a corresponding point estimation processing unit in the frame rate conversion device, the first partial region extracting means for extracting a partial region of a frame image, and the first part A second partial region extracting unit for extracting a partial region of another continuous frame image similar to the partial region extracted by the region extracting unit; and the first partial region extracting unit and the second partial region extracting unit.
  • the present invention is a corresponding point estimation method executed by the corresponding point estimation device, wherein the extraction is performed by a first partial region extraction step for extracting a partial region of a frame image and the first partial region extraction step.
  • a second partial region extracting step for extracting a partial region of another continuous frame image similar to the selected partial region, and each portion extracted in the first partial region extracting step and the second partial region extracting step.
  • a function approximating step for converting the region into the same ratio, expressing the shade of each converted image as a function with a piecewise polynomial, and outputting it, a correlation value calculating step for calculating the correlation value of the output obtained in the function approximating step, and A deviation amount calculating step of calculating a positional deviation of the image that gives the maximum correlation value calculated in the correlation value calculating step and outputting the calculated value as a deviation amount of the corresponding point.
  • the present invention is a corresponding point estimation program executed by a computer provided in the corresponding point estimation device, wherein the first partial area extracting means extracts a partial area of a frame image, and the first partial area Extracted by the second partial region extracting means for extracting a partial region of another continuous frame image similar to the partial region extracted by the extracting means, and by the first partial region extracting means and the second partial region extracting means.
  • Function approximating means for converting each of the sub-regions into the same ratio, expressing the shade of each converted image as a function with a piecewise polynomial, and outputting a correlation value of the output of the function approximating means;
  • the deviation amount calculating means for calculating the positional deviation of the image giving the maximum correlation value calculated by the correlation value calculating means and outputting the calculated value as the deviation amount of the corresponding point, Characterized in that to function Yuta.
  • video correspondence points between frames are tracked, the time transition is expressed as a function, and a function-interpolated frame is generated by the ratio between the original frame and the number of frames to be converted. A clear and smooth video signal can be obtained.
  • the shade of the image is regarded as a continuous change state, and a partial region of the frame image is extracted, and a partial region of another continuous frame image similar to the extracted partial region is extracted and extracted.
  • Each partial region is converted to the same ratio, the correlation value of the output in which the density of each converted image is expressed as a function with a piecewise polynomial is calculated, the positional deviation of the image giving the maximum value of the calculated correlation value is calculated, By using the calculated value as the shift amount of the corresponding point, the corresponding point of the image can be accurately grasped.
  • the present invention it is possible to extract image corresponding points without any deviation between frames, and it is possible to perform high resolution conversion such as compression accuracy, image interpolation, and frame rate conversion.
  • high resolution conversion such as compression accuracy, image interpolation, and frame rate conversion.
  • high-definition such as an increase in the size of a television receiver and moving-image playback on a mobile terminal, leading to an expansion of the usage mode of moving images.
  • FIG. 1 is a block diagram illustrating a configuration example of a frame rate conversion apparatus.
  • FIG. 2A and FIG. 2B are diagrams schematically showing a process for increasing the frame rate by the frame rate conversion apparatus.
  • FIG. 3 is a flowchart showing the execution procedure of the high frame rate processing by the frame rate conversion apparatus.
  • FIG. 4A, FIG. 4B, FIG. 4C, and FIG. 4D are diagrams schematically showing the contents of the high frame rate processing by the frame rate conversion device.
  • FIG. 5 is a diagram for explaining the non-uniform interpolation processing in the frame rate conversion apparatus.
  • FIG. 6 is a diagram for explaining image interpolation processing for determining a value of a pixel position newly generated when the resolution of an image is converted.
  • FIG. 7A and 7B are diagrams illustrating examples of the uniform interpolation function and the non-uniform interpolation function.
  • FIG. 8 is a diagram schematically showing the contents of the image interpolation processing.
  • FIG. 9 is a block diagram illustrating a configuration example of the enlargement interpolation processing device.
  • FIG. 10 is a block diagram illustrating a configuration example of the SRAM selection unit in the above-described enlargement interpolation processing apparatus.
  • FIG. 11 is a block diagram illustrating a configuration example of an image processing block in the above-described enlargement interpolation processing apparatus.
  • 12A and 12B are diagrams schematically showing two frame images input to the image processing module in the enlargement interpolation processing device.
  • FIG. 13 is a flowchart showing the procedure of enlargement interpolation processing in the enlargement interpolation processing device.
  • FIG. 14 is a block diagram illustrating a configuration example of a frame rate conversion apparatus having an enlargement interpolation processing function.
  • FIG. 15 is a block diagram showing a configuration of a video signal conversion system to which the present invention is applied.
  • FIG. 16 is a block diagram showing a system model used to construct a preprocessing unit in the video signal conversion system.
  • FIG. 17 is a block diagram showing a restoration system model used for constructing a pre-processing unit in the video signal conversion system.
  • FIG. 18 is a flowchart showing the procedure of each process of the characteristics of the inverse filter used in the preprocessing unit.
  • FIG. 19 is a block diagram showing a configuration of a compression encoding processing unit in the video signal conversion system.
  • FIG. 20 is a block diagram illustrating a configuration of a corresponding point estimation unit provided in the compression encoding processing unit.
  • FIG. 21 is a diagram for explaining a space for performing 2m-order interpolation to which a correlation function between frames belongs.
  • 22A, 22B, 22C, and 22D are diagrams schematically illustrating how a motion vector is determined by corresponding point estimation by the corresponding point estimation unit.
  • FIG. 23 is a diagram showing a comparison between a motion vector determined by corresponding point estimation by the corresponding point estimation unit and a motion vector determined by conventional block matching.
  • FIG. 24 is a diagram for explaining the origin of the frame image handled by the motion function processing unit included in the compression encoding processing unit.
  • 25A, 25B, and 25C are diagrams schematically illustrating the movement of the image of each frame as the movement of the X coordinate and the Y coordinate of each frame.
  • FIG. 26 is a diagram schematically showing the contents of the process for estimating the position between frames.
  • 27A and 27B are diagrams schematically illustrating a configuration example of a video data stream generated by MPEG encoding and a configuration example of a generated video data stream generated by an encoding processing unit in the video signal conversion system.
  • FIG. 28 is a diagram illustrating an example of a bit format of an I picture and a Q picture in the video data stream generated by the encoding processing unit.
  • FIG. 29 is a diagram illustrating an example of the bit format of the D picture in the video data stream generated by the encoding processing unit.
  • 30A and 30B are diagrams showing changes in the X coordinate and the Y coordinate of the corresponding point in an example of the bit format of the D picture.
  • FIG. 31 is a diagram schematically illustrating an example in which each X coordinate value of each D picture in the corresponding region is calculated from the X coordinate values of the preceding and following pictures by interpolation calculation.
  • FIG. 33 is a diagram illustrating an example of a high resolution interpolation approach.
  • FIG. 34 is a diagram illustrating a specific example of a pixel structure for interpolation.
  • FIG. 35 is a diagram showing a comparison between the intermediate frame generated by the higher frame rate processing unit and the intermediate frame generated by the conventional method.
  • (A), (B1), and (C1) An example of half-precision motion estimation is shown, and (A), (B2), and (C2) show examples of non-uniform interpolation.
  • the frame rate conversion apparatus 1 is configured as shown in FIG. 1, for example.
  • the frame rate conversion apparatus 1 inserts an interpolated frame between original frames, thereby moving a moving image having a low frame rate (30 frames / second in this example) shown in FIG. 2A.
  • the high frame rate conversion processing to convert to a high frame rate moving image (60 frames / second in this example) shown in FIG. 2B is performed.
  • the corresponding point estimation processing unit 2 the first gradation value generation processing unit 3,
  • the computer functions as a second gradation value generation processing unit 4 and a third gradation value generation processing unit 5.
  • the corresponding point estimation processing unit 2 estimates each corresponding point in a plurality of image frames at different times for a plurality of pixels in the reference frame.
  • the first gradation value generation processing unit 3 calculates, for each corresponding point in each image frame estimated by the corresponding point estimation processing unit 2, the gradation of each corresponding point from the gradation value indicating the density of neighboring pixels. Find the key value.
  • the second tone value generation processing unit 4 calculates, for a plurality of pixels in the reference frame, the shading on the locus of corresponding points from the estimated tone values of the corresponding points in the image frames. And the tone value of each corresponding point in the interpolation frame is obtained from the function. Further, the third gradation value generation processing unit 5 generates the gradation value of the pixel near each corresponding point in the interpolation frame from the gradation value of each corresponding point in the interpolation frame.
  • the frame rate conversion apparatus 1 performs estimation by performing corresponding point estimation processing according to the procedure of steps S1 to S4 shown in the flowchart of FIG. 3 by executing a video signal conversion program read from a storage unit (not shown) by a computer.
  • the gradation value of the corresponding point of the interpolation frame is generated by uniform interpolation using the gradation value of the corresponding point, and further, the gradation value of the pixel at the pixel point near the corresponding point of the interpolation frame is generated by non-uniform interpolation.
  • Corresponding point estimation processing for estimating the corresponding points Pn (k + 1), Pn (k + 2),... P (k + m) in the frame (k + 1), (k + 2),... F (k + m) is performed (step S1). .
  • first gradation value generation processing is performed for obtaining each gradation value from gradation values indicating the shades of neighboring pixels (step S2).
  • each tone value at P (k + m) that is, the density on the corresponding point locus of each image frame (k + 1), (k + 2),... F (k + m) is approximated by a fluency function, and each image is obtained from the function.
  • a second tone value generation process is performed for obtaining each tone value of the corresponding point in the interpolated frame between frames (k + 1), (k + 2),... F (k + m) (step S3).
  • step S3 as shown in FIG.
  • step S4 from the gradation values of the corresponding points in the interpolation frame F (k + 1/2) generated by the second gradation value generation processing in step S3, non-uniform interpolation is performed.
  • pixel points on one frame do not always move to pixel points at different positions on other frames, and usually correspond to pixels. That is, when one natural image is continuous information, it represents pixel information at different positions on the two frames.
  • the image interpolation process for determining the value of the position of the pixel u ( ⁇ x , ⁇ y ) newly generated when the resolution of the image is converted is the original pixel u (x i , y j ) And the interpolation function h (x).
  • FIG. 7A shows interpolation information for each pixel, that is, for example, as shown in FIG. 8, the interpolated pixel values x and ⁇ of frame 1 (F1) and frame 2 (F2) are used as pixel information in the vertical (horizontal) direction.
  • unequal interpolation is performed based on the amount of frame shift, and pixel information at a desired position ⁇ in frame 1 is determined.
  • a clear and smooth motion video signal can be obtained, and a clear and smooth motion video display can be performed at a frame rate suitable for the display.
  • the gradation value of the corresponding point estimated by performing the corresponding point estimation process is used.
  • the frame rate conversion apparatus 1 may have a function of performing the high frame rate processing as described above and performing an enlargement interpolation process using a two-frame image. For example, as shown in FIG.
  • the function of performing the enlargement interpolation process using the two-frame image is configured by an input data control circuit 51, an output synchronization signal generation circuit 52, an SRAM 53, an SRAM selection unit 54, and an image processing module 55.
  • the input data control circuit 51 performs control to sequentially input the input image supplied together with the horizontal synchronization signal and the vertical synchronization signal, that is, image information of each pixel, to the SRAM selection unit 54.
  • the output synchronization signal generation circuit 52 generates an output side synchronization signal based on the supplied horizontal synchronization signal and vertical synchronization signal, outputs the generated output side synchronization signal, and supplies it to the SRAM selection unit 54.
  • the SRAM selection unit 54 is configured as shown in FIG. 10, for example, and corresponds to the memory selection signal supplied from the control signal switching circuit 54A based on the write control signal and the read control signal generated in the supplied synchronization signal.
  • the input data input via the input data control circuit 51 is stored in the SRAM 53 frame by frame by the write data selection unit 54B and the read data selection unit 54C that perform the above operations, and two frames of images are simultaneously output to the output synchronization signal generation circuit.
  • the data is read out in synchronization with the output side synchronization signal generated by 52.
  • the image processing module 55 is configured as shown in FIG. 11, for example, which performs image interpolation processing based on inter-frame information. That is, the image processing module 55 receives the window setting unit 55A, the first equal interpolation processing unit 55B, and the second equal interpolation from which two frames of image information simultaneously read from the SRAM 53 via the SRAM selection unit 54 are input.
  • the input non-uniform interpolation processing unit 55F is included.
  • two window images f and g input via the SRAM selection unit 54 are windowed at predetermined points (p, q) by the window setting unit 55A.
  • the shift amount estimation unit 55D shifts the window of one frame image g by the shift amount ( ⁇ x, ⁇ y) and performs an inner product operation on the pixel value of the relative position (x, y) in the window. Let the value be a cross-correlation value Rpq ( ⁇ x, ⁇ y).
  • the shift amount ( ⁇ x, ⁇ y) that maximizes the cross-correlation value Rpq ( ⁇ x, ⁇ y) around the point (p, q) is extracted by changing the shift amount ( ⁇ x, ⁇ y).
  • the cross-correlation values Rpq ( ⁇ x, ⁇ y) can also be obtained by performing Fourier transform on the pixel data in the windows of the two frame images f and g, respectively.
  • enlargement interpolation processing is performed according to the procedure as shown in the flowchart of FIG. That is, in the image processing module 55, when the two frame images f and g are read from the SRAM 53 via the SRAM selection unit 54 (step A), the two frame images f and g are obtained by the correlation calculation processing in the deviation amount estimation unit 55D.
  • the shift amount ( ⁇ x, ⁇ y) is calculated (step B).
  • the interpolated pixel value obtained by the uniform interpolation for the image f of the frame 1 is calculated by the first uniform interpolation processing unit 55B, thereby expanding in the horizontal direction or the vertical direction (step C). Further, the interpolation pixel value obtained by uniform interpolation for the image g of frame 2 is calculated by the second uniform interpolation processing unit 55C, thereby expanding in the horizontal direction or the vertical direction (step D). Further, the pixel value at the pixel position obtained by moving the enlarged image of frame 2 by the amount of displacement relative to frame 1 is calculated by the displacement amount correction unit 55E (step E).
  • non-uniform interpolation processing unit 55F non-uniform interpolation is performed on the pixel value at the position to be obtained in frame 1 from a total of four pixel values, that is, two interpolated pixel values in frame 1 and two pixel values in the moving position of frame 2. Then, enlargement calculation is performed in the vertical direction or horizontal direction (step F), and the interpolation calculation result of frame 1 is output as an enlarged image (step G).
  • the frame rate conversion apparatus 110 having a function of performing such an enlargement interpolation process is configured as shown in FIG. 14, for example.
  • the frame rate conversion apparatus 110 includes a computer that functions as a first function approximation processing unit 111, a corresponding point estimation processing unit 112, a second function approximation processing unit 113, and a third function approximation processing unit 114.
  • the first function approximation processing unit 111 performs a first function approximation process for approximating the density distribution of a plurality of pixels in the reference frame.
  • the corresponding point estimation processing unit 112 performs a correlation operation with the functions of the gray distribution in the plurality of reference frames having different times approximated by the first function approximation processing unit 111, and gives the maximum value thereof. Corresponding point estimation processing is performed in which the position corresponds to the corresponding point position in the plurality of reference frames.
  • the second function approximation processing unit 113 coordinates the corresponding point position in each reference frame estimated by the corresponding point estimation processing unit 112 with the horizontal and vertical distances from the origin of the reference frame, and changes the time. Each change of the horizontal position and the vertical position of the coordinate point in a plurality of reference frames is converted into a time series signal, and a second function approximation is performed to approximate the time series signal of each reference frame.
  • the third function approximation processing unit 114 corresponds to the corresponding point position of the reference frame with respect to the interpolation frame at an arbitrary time between the plurality of reference frames by the function approximated by the second function approximation processing unit 113.
  • the corresponding position in the interpolation frame is set as the corresponding point position, and the gray value at the corresponding point position of the interpolation frame is obtained by interpolation with the gray value at the corresponding point of the reference frame, and the gray value of the corresponding point of the interpolation frame is obtained.
  • a gray distribution near the corresponding point is obtained, and a third function approximation process for converting the gray value near the corresponding point into the gray value of the pixel point in the interpolation frame is performed. .
  • the first function approximation processing unit 111 performs function approximation of the density distribution of a plurality of pixels in the reference frame
  • the corresponding point estimation processing unit 112 performs the first function approximation processing.
  • the correlation calculation is performed with the function of the gray distribution in the plurality of reference frames having different times approximated by the unit 111, and each position giving the maximum value is set as the corresponding point position corresponding to the plurality of reference frames
  • the second function approximation processing unit 113 coordinates the corresponding point position in each reference frame estimated by the corresponding point estimation processing unit 112 with the horizontal and vertical distances from the origin of the reference frame, and changes the time.
  • the interpolation frame at an arbitrary time between the plurality of reference frames is set to the corresponding point position of the reference frame.
  • the corresponding position in the corresponding interpolation frame is set as the corresponding point position, and the gray value at the corresponding point position of the interpolation frame is obtained by interpolation with the gray value at the corresponding point of the reference frame.
  • the present invention is applied to, for example, a video signal conversion system 100 configured as shown in FIG. 15, and the frame rate conversion device 1 is mounted on the video signal conversion system 100 as the high frame rate processing unit 40.
  • the video signal conversion system 100 includes a preprocessing unit 20 that performs noise removal processing on image information input from an image input unit 10 such as an imaging device, and image information that has been subjected to noise removal processing by the preprocessing unit 20 is input.
  • a compression encoding processing unit 30 that compresses and encodes the input image information, a high frame rate processing unit 40 that increases the image information compressed and encoded by the compression encoding processing unit 30, and the like.
  • the pre-processing unit 20 in the video signal conversion system 100 performs a filtering process to remove noise such as blur and camera shake included in the input image information by an image tensor calculation technique and a blur function adaptive correction process technique. Then, the output of the deterioration model 21 of the blur function H (x, y) to which the true input image f (x, y) is input by the system model as shown in FIG.
  • the observed image g (x, y) is obtained by adding the noise n (x, y) to the input image signal, and the observed image g is input by the restoration system model as shown in FIG.
  • the preprocessing unit 20 performs filtering processing to be removed by an image tensor calculation technique and a blur function adaptive correction technique, and evaluates an original image using characteristics of a Kronecker product.
  • An observation image g (x, y) obtained by adding noise n (x, y) to can be expressed by the following equation (1).
  • h (x, y; x ′, y ′) represents the impulse response of the deteriorated system. Since the image used is a discrete quantity, the image model of the input image f (x, y) can be rewritten as shown in Expression (3).
  • H k (x) H l (y) becomes a point spread function (PSF) H of the degradation model by expressing it in a matrix form as in the following equation (4).
  • the characteristics of the inverse filter 22 are determined by a learning process according to the procedure shown in the flowchart of FIG. That is, in the learning process, first, the input image g is read as an observation image g (x, y) (step S11a),
  • Singular value decomposition (SVD) is performed (step S13a). Further, a point spread function (PSF) H of the degradation model is read (step S11b),
  • a degradation model represented by the Kronecker product is constructed (step S12b), and a singular value decomposition (SVD) of the function H of the degradation model is performed (step S13b).
  • SVD singular value decomposition
  • step S14 As a new image g KPA is calculated (step S14). And about the calculated new image g KPA ,
  • step S16 It is determined whether or not the test condition is satisfied (step S16).
  • k is a repetition number
  • ⁇ and c are thresholds for determination, respectively.
  • the determination result in the step S16 is False, that is, when the f K obtained in step S15 does not satisfy the above test conditions, the function H of the deterioration model,
  • Step S17 the process returns to step S13b, singular value decomposition (SVD) is performed on the function HK + 1 obtained in step S16, and the processes from step S13b to step S17 are performed. repeatedly performs the determination result in step S16 is True, that is, when f K obtained in the step S15 is the test condition is satisfied, the f K obtained in step S15
  • Step S18 the learning process for one input image g is terminated.
  • the characteristics of the inverse filter 22 are determined by performing the learning process on a large number of input images g. That is, here, h (x, y) * f (x, y) is represented as Hf, and the system equation is
  • the new image g E is configured as preservation and enhancement of edge details of the original image.
  • the new image g E is configured as preservation and enhancement of edge details of the original image.
  • CEP and CEN are edge preservation and edge enhancement operators, respectively.
  • C EN ⁇ 2 f
  • C EP Gaussian kernel
  • the video signal conversion system 100 compresses and encodes the image information subjected to the noise removal processing by the preprocessing unit 20 by the compression encoding processing unit 30, and converts the compression encoded image information to the frame rate conversion processing unit 40. To increase the frame rate.
  • the compression coding processing unit 30 in the video signal conversion system 100 performs compression coding processing based on the fluency theory. As shown in FIG. 19, the first functioning processing unit 31 and the second functioning processing are performed.
  • the first function processing unit 31 includes a corresponding point estimation unit 31A that performs corresponding point estimation between a plurality of frame images on the image information that has been subjected to noise removal processing by the preprocessing unit 20, and the corresponding point estimation unit. It comprises a motion function processing unit 31B for converting the image information of the motion part using the image information of the corresponding point of each frame image estimated by 31A.
  • the corresponding point estimation unit 31A is configured as shown in FIG. 20, for example.
  • the corresponding point estimation unit 31A includes a first partial region extraction unit 311 that extracts a partial region of a frame image and other consecutive frame images similar to the partial region extracted by the first partial region extraction unit 311.
  • a second partial region extraction unit 312 that extracts the partial regions of the first partial region extraction unit 311 and the partial regions extracted by the first partial region extraction unit 311 and the second partial region extraction unit 312 to the same ratio
  • a function approximating unit 313 for expressing and outputting the shade of each image by a piecewise polynomial according to the fluency theory
  • a correlation value calculating unit 314 for calculating a correlation value of the output of the function approximating unit 313, and the correlation value calculating unit 314
  • the shift amount calculation unit 315 calculates the position shift of the image that gives the maximum correlation value calculated by the above and outputs the calculated value as the shift amount of the corresponding point.
  • the first partial region extraction unit 311 extracts the partial region of the frame image as a template, and other continuous similarities to the partial region extracted by the first partial region extraction unit 311.
  • a partial region of the frame image is extracted by the second partial region extraction unit 312, and each partial region extracted by the first partial region extraction unit 311 and the second partial region extraction unit 312 by the function approximation unit 313 is extracted.
  • the image is converted to the same ratio, and the density of each converted image is expressed as a function with a piecewise polynomial.
  • the corresponding point estimation unit 31A captures the lightness and darkness of the image as a continuous change state, and estimates the corresponding point of the image by fluency information theory.
  • the corresponding point estimation unit 31A and the second partial region extraction unit 311 It consists of a partial area extraction unit 312, a function approximation unit 313, a correlation value calculation unit 314, and a deviation amount calculation unit 315.
  • the first partial region extraction unit 311 extracts a partial region of the frame image from the input image.
  • the second partial region extraction unit 312 extracts partial regions of other continuous frame images similar to the partial region extracted by the first partial region extraction unit 311.
  • the function approximating unit 313 converts the partial regions extracted by the first partial region extracting unit 311 and the second partial region extracting unit 312 into the same ratio, and the density of each converted image is converted to a fluency theory.
  • the correlation value calculation unit 314 calculates the correlation value of the output of the function approximation unit 313. Further, the deviation amount calculation unit 315 calculates the positional deviation of the image that gives the maximum correlation value calculated by the correlation value calculation unit 314, and outputs the calculated value as the deviation amount of the corresponding point.
  • the first partial region extraction unit 311 extracts a partial region of the frame image as a template, and is continuous similar to the partial region extracted by the first partial region extraction unit 311.
  • the partial areas of the other frame images are extracted by the second partial area extraction unit 312, and the respective parts extracted by the function approximation unit 313 by the first partial region extraction unit 311 and the second partial region extraction unit 312.
  • the area is converted to the same ratio, and the density of each converted image is expressed as a function with a piecewise polynomial.
  • the images f 1 (x, y) and f 2 (x, y) belong to the space S (m) (R 2 ), and ⁇ m (t) is (m ⁇ 2) It is expressed as the following equation (5) by a piecewise polynomial,
  • the correlation function c ( ⁇ 1 , ⁇ 2 ) between frames can be expressed as the following equation (7).
  • Equation (8) the frame correlation function can be expressed by the following Equation (8).
  • the correlation function c ( ⁇ 1, ⁇ 2) between the frame belongs to the space S (2m) (R 2) for performing 2m following interpolation as shown in FIG. 21, space performs the 2m order interpolation S ( 2m) (sampling frequency [psi 2m of R 2) ( ⁇ 1, ⁇ 2) is present uniquely, the correlation function c (tau 1 between the frame, tau 2), at the following equation (9) expressed.
  • Equation (8) a (2m-1) th order piecewise polynomial function can be constructed to interpolate the correlation surface. That is, the block-based motion vector estimation approach appropriately obtains an initial estimate of the separate block motion vectors in equation (7), and then applies equation (8) to obtain real motion of arbitrary accuracy. .
  • the general form of the separable correlation surface interpolation function is expressed by equation (10),
  • Ck and dl are interpolation coefficients
  • M 2m (x) ⁇ 2m ( x + 2)
  • ⁇ ⁇ m (x) is an (m ⁇ 1) -order B-spline.
  • the correlation function c ( ⁇ 1 , ⁇ 2 ) can be approximated by the following equation (11) by the appropriate stroke limit in the equation (10).
  • m 2
  • a desired interpolation formula is obtained by substituting the following formula (12) into formula (11).
  • the motion vector v is derived using the following equation (13).
  • the correlation function c ( ⁇ 1 , ⁇ 2 ) can be reproduced using only integer point information, and the correlation value calculation unit 314 uses the correlation function c ( ⁇ 1 , ⁇ 2 ) to calculate the function approximation unit.
  • the correlation value of the output of 313 is calculated.
  • the deviation amount calculation unit 315 calculates the motion vector V by the equation (13) indicating the positional deviation of the image that gives the maximum value of the correlation value calculated by the correlation value calculation unit 314, and obtains the obtained motion vector V. Output as the deviation of the corresponding point.
  • how the motion vector V is determined by the corresponding point estimation by the corresponding point estimation unit 31A is schematically shown in FIGS. 22A, 22B, 22C, and 22D. That is, in the corresponding point estimation unit 31A, as shown in FIG. 22A, a partial region of the frame image (k) is extracted, and a partial region of another continuous frame image similar to this partial region is extracted. As shown in
  • the correlation between each frame is calculated using the correlation function c ( ⁇ 1 , ⁇ 2 ) expressed by the following equation, and as shown in FIG.
  • the movement of the pixel in the frame image (k) is determined as shown in FIG. 22D.
  • the motion vector of each block of the frame image (k) determined as described above is obtained by comparing the motion vector of each block of the same frame image (k) with that determined by the conventional block matching. It will change smoothly. That is, for example, as shown in FIG. 23 (A), when frame 1 and frame 2 in which the subject rotates, quadruple enlargement is performed by 2-frame corresponding point estimation and non-uniform interpolation.
  • the motion vector estimated at the estimated corresponding point by the conventional block matching has a portion where the change is not smooth.
  • the corresponding point estimating unit 31A having the above-described configuration
  • the change in the motion vector estimated at the estimated corresponding point is generally smooth as shown in (B2) and (C2) of FIG.
  • the amount of calculation with an accuracy of 1 / N is N 2 in the present method, while N 2 in the conventional method.
  • the motion function processing unit 31B functions the image information of the motion part using the motion vector V obtained by the corresponding point estimation in the corresponding point estimation unit 31A.
  • the movement amount that is, the shift amount of the corresponding point corresponds to the change in the coordinate position x, y of the frame.
  • the origin of the frame is taken at the upper left corner, for example, regarding the movement of the image of each frame as shown in FIG. 25A
  • the X coordinate, Y of each frame as shown in FIG. 25B and FIG. It is expressed as a coordinate movement, and the change in the movement of each of the X coordinate and the Y coordinate is approximated by a function to be converted into a function. Then, as shown in FIG.
  • the second functioning processing unit 32 encodes an input image by fluency functioning processing that approximates contour, shading, and interframe information based on the fluency information theory, and includes an automatic region classification processing unit. 32A, an outline function approximation processing unit 32B, a tone function conversion processing unit 32C, a frequency function approximation processing unit 32D, and the like.
  • signals are classified into classes specified by the order m in the concept of signal space.
  • the fluency model is a model that clarifies the relationship between signals belonging to the signal space m S and discrete-time signals by defining a fluency sampling function.
  • the contour function approximation processing unit 32B includes an automatic contour classification processing unit 321 and a function approximation processing unit 322, and includes a piecewise plane region (m ⁇ 2) and a piecewise curved surface region (m ⁇ 2) classified by the region automatic classification processing unit 32A.
  • m 3
  • the frequency function approximation processing unit 32D performs frequency function approximation processing by LOT (logical orthogonal transformation), DCT, or the like for the irregular region classified by the region automatic classification processing unit 2, that is, the region that cannot be expressed as a polynomial.
  • the second function processing unit 32 can express the shading and contour of an image using a number of multivariable fluency functions for each frame of the video.
  • the encoding processing unit 33 describes and encodes each image information functioned by the first functioning processing unit 31 and the second functioning processing unit 32 in a predetermined format.
  • the I picture indicated by the frame image data recording the entire screen the B picture indicated by the difference image data predicted from the preceding and succeeding pictures, the changed part predicted from the immediately preceding I picture and the P picture.
  • a P picture indicated by the difference image data is defined, and for each image group (GOP) obtained by grouping frames along the time axis, encoded data of a luminance signal and a color signal and quantized after DCT conversion.
  • GOP image group
  • FIG. 27A has been performed as an encoded data string of each picture having a value, whereas the encoding processing unit 33 in the video signal conversion system 100 is performed. Then, for example, an encoding process for generating a video data stream configured as shown in FIG. 27B is performed. That is, in the encoding processing unit 33, the I picture indicated by the frame image function data in which the entire screen is recorded, the D picture indicated by the frame interpolation difference image function data of the preceding and succeeding I picture-Q picture and Q picture-Q picture. The Q picture indicated by the difference frame image function data from the immediately preceding I picture or P picture is defined, and for each image group (GOP) in which frames along the time axis are grouped, each picture function data is indicated.
  • GOP image group
  • an encoding process for generating a video data stream having a configuration as shown in FIG. 27B is performed as an encoded data sequence of pictures.
  • a sequence header S is added to the video data stream shown in FIGS. 27A and 27B.
  • an example of the bit format of the I picture and the Q picture in the video data stream generated by the encoding processing unit 33 includes header information, an image Width information, image height information, information indicating that the object type is a contour, information indicating the segment type in the contour object, coordinate information of the start point, midpoint, and end point, and the object type are areas. Information indicating the above, color information of the area object, and the like.
  • FIG. 30A and FIG. 30B show changes in the X coordinate and the Y coordinate of the corresponding point of region number 1 in the example of the D picture bit format shown in FIG. For example, as shown in FIG.
  • each X coordinate value of each D picture (D21, D22, D23) in the corresponding region is interpolated from the X coordinate value of the preceding and following pictures (Q1, Q2, Q3, Q4). It can be calculated by calculation. Also, each Y coordinate value of each D picture (D21, D22, D23) in the corresponding region can be calculated from the Y coordinate values of the preceding and following pictures (Q1, Q2, Q3, Q4) by interpolation calculation.
  • the image information input from the image input unit 10 such as the imaging device is subjected to noise removal processing by the preprocessing unit 20, and the noise removal processing is performed by the preprocessing unit 20.
  • the applied image information is compression-encoded by the compression-encoding processor 30, and the high-frame-rate processor 40 using the frame rate conversion device 1 tracks video corresponding points between frames, and the time transition is a function.
  • the function interpolation frame is generated by expressing the ratio of the original frame and the number of frames to be converted. That is, the video signal conversion system 100 expresses a contour or the like using a number of fluency functions for each video frame, and expresses a discrete frame sequence by a continuous function based on a piecewise polynomial in the time direction, thereby allowing an arbitrary frame rate. High-definition video can be played back.
  • the signal space in the class specified by the order m is classified based on the frequency that the signal is continuously differentiable. For any m> 0, subspace spanned is expressed by a (m ⁇ 1) -order piecewise polynomial that can be continuously differentiated only (m ⁇ 2) times.
  • ⁇ (x) is expressed by the following equation (15).
  • ⁇ (x) is a sampling function
  • a section function can be obtained by a sampling sequence and a convolution operation.
  • ⁇ 1
  • the equation (14) can be expressed as a piecewise polynomial given by the following equation (16).
  • FIG. 33 shows an example of high resolution interpolation.
  • FIG. 34 shows a specific example of a pixel structure for interpolation.
  • the pixel Px F1 of Frame_1 is a different motion vector that changes the pixel Px F2 in Frame_2.
  • the pixel Px Tg is a target pixel for interpolation.
  • FIG. 35 illustrates the concept of one-dimensional image interpolation from two consecutive frames.
  • the motion estimation is based on an all search block matching algorithm whose block size and search window size are known.
  • the high resolution frame pixel is represented by f ( ⁇ x , ⁇ y ), and the pixel structure is as shown in one example of the high resolution interpolation approach of FIG.
  • two consecutive frames are obtained from the video sequence and represented by f 1 (x, y) and f 2 (x, y).
  • an initial estimation of the motion vector is performed.
  • the initial estimation of the motion vector is performed. here,
  • a motion vector is obtained from one nearby pixel.
  • uniform horizontal interpolation is performed as follows.
  • non-uniform vertical interpolation using the pixels obtained in the fourth step is executed according to equation (20).
  • the fourth and fifth steps are repeated for all pixels in the high resolution image.
  • moving picture coding based on the fluency theory a signal space suitable for the original signal is selected, and the function is converted into a highly compressed image while preserving sharpness.
  • a motion vector can be obtained with arbitrary accuracy by accurately determining a function space to which a correlation function between frames belongs based on the fluency theory.
  • moving picture coding based on the fluency theory a signal space suitable for the original signal is selected, and the function is converted into a highly compressed image while preserving sharpness.
  • the number of frames can be increased or decreased.
  • a clear and smooth motion video signal can be obtained, and a clear and smooth motion video display can be performed at a frame rate suitable for the display. For example, as shown in FIG. 35A, when generating a frame at an arbitrary time between the frame k and the frame k + 1, the interpolation frame F (k + 1/2) is generated by equal interpolation, and the 1 ⁇ 2 precision is obtained.
  • image information input from the image input unit 10 such as an imaging device is subjected to noise removal processing by the preprocessing unit 20, and the image information subjected to noise removal processing by the preprocessing unit 20 is processed.
  • the compression encoding processing unit 30 performs compression encoding
  • the high frame rate processing unit 40 tracks video correspondence points between frames, expresses the time transition as a function, and compares the ratio between the original frame and the number of frames to be converted.
  • the image information compression-encoded by the compression-encoding processor 30 is increased in frame rate, so that a video signal with clear and smooth motion can be obtained.

Abstract

　基準フレームにおける複数個の画素について、対応点推定処理部（２）により時間を異にする複数の画像フレームにおける各対応点を推定し、推定した各画像フレームにおける各対応点について、第１の階調値生成処理部（３）により、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求め、上記基準フレームにおける複数個の画素に対して、第２の階調値生成処理部（４）により、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求め、上記補間フレームにおける各対応点の階調値から、第３の階調値生成処理部（５）により、上記補間フレームにおける各画素の階調値を生成する。

Description

フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム
　本発明は、映像のフレームレートを任意のフレームレートに変換するフレームレート変換装置、並びに、上記フレームレート変換装置におけるフレーム画像間の対応点を推定する対応点推定装置、対応点推定方法及び対応点推定プログラムに関する。
　本出願は、日本国において２００８年９月４日に出願された日本特許出願番号２００８－２２７６２６及び日本特許出願番号２００８－２２７６２７を基礎として優先権を主張するものであり、これらの出願は参照することにより、本出願に援用される。
　近年、映画やテレビジョン放送、漫画などの映像・画像のネットワーク配信が増大し、表示画像の高精細化が求められている。
　従来、表示画像の高精細化に対応するための高解像度化変換処理では、フレーム毎の画素点における離散した濃淡値の変化から相関を求める方法が採られている。
　例えば、高解像度のテレビジョン受像機やディスプレイにおいて画像を表示する場合に、画像データの画素数をパネルの画素数に増やす高解像度化変換処理の手法として、線形内挿法や複数フレーム劣化逆変換法が知られている（例えば、特開２００８－９８８０３３号公報参照）。
　複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
　また、デジタル映像制作に関する技術の１つとして、フィルムなどで撮影した映像やそれと同等のフレーム数で記録した映像信号を様々なフレームレートに変換する技術がある。この技術は特許文献２等で公知である。特に、２４フレーム／秒で構成されるプログレッシブ映像信号方式の映像を、６０フレーム／秒で構成されるプログレッシブ映像信号方式の映像に変換して記録する場合、２：３プルダウンという変換方式での変換が一般的に使われている（例えば、特開２００３－２８４００７号公報参照）。
　また、近年、動画性能を向上させるために、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するフレームレート変換処理が行われている（例えば、特開２００８－１６７１０３号公報）。
　近年、デジタル信号技術の進展に伴い、映像（動画像）、画像又は音声を対象にした、通信、放送、記録媒体［ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）］、医用画像、印刷等の分野がマルチメディア産業或いはＩＴ（Information Technology）として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のＣＤでは、圧縮を伴わないリニアＰＣＭ（Pulse Code Modulation）が用いられるが、信号理論は同様にシャノンの標本化定理である。
　従来、映像、アニメ画像などの動画の圧縮技術としてＭＰＥＧが知られており、デジタル放送やＤＶＤにおけるＭＰＥＧ－２方式の採用や、第３世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるＭＰＥＧ－４方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムＬＳＩの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。
　ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commit ion）１３８１８－２）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。ＭＰＥＧ２では、例えば７２０×４８０画素の標準解像度、飛び越し走査方式の画像データを４～８〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、また１９２０×１０８０画素の高解像度 、飛び越し走査方式の画像データを１８～２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。
　一般に動画像の符号化では、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
　従来のシャノンの標本化定理に基づくＡ－Ｄ変換／Ｄ－Ａ変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、Ｄ－Ａ変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数（正則函数）が用いられていた。
　本願発明者の一人は、映像（動画像）、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質を、フルーエンシ函数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則函数は、フルーエンシ函数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。したがって、種々の性質をもつ信号をシャノンの標本化定理に基づく上記正則函数のみで扱うのでは、Ｄ－Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
　上記フルーエンシ函数空間の１つであるウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりＤ－Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
　ここで、フルーエンシ函数は、パラメータｍ（ｍは１～∞の正の整数）によって類別される函数である。ｍは、その函数が（ｍ－２）回のみ連続微分可能であることを表す。因みに、上記正則函数は何回でも微分可能であるので、ｍが∞である。更に、フルーエンシ函数は、（ｍ－１）次の函数で構成され、特にフルーエンシ 函数の内のフルーエンシＤＡ函数は、標本間隔をτとして、着目するｋ番目の標本点ｋτで数値が与えられるが、その他の標本点では０となる函数である。
　信号の性質は、パラメータｍを持つフルーエンシ函数によって全てが分類可能となり、パラメータｍによってクラス分けされる。そのため、フルーエンシ函数を用いたフルーエンシ 情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような函数を用いることにより、Ｄ－Ａ変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。
　ところで、従来のフレーム毎の画素点における離散した濃淡値の変化から相関を求める方法では、対応する画像が画素間に存在する場合は対応点がずれる問題があった。
　また、従来、映画の２４フレーム／秒のフレームレートをビデオの３０フレーム／秒に変換したり、ＴＶの映像を高精細化のために６０乃至１２０フレーム／秒に高フレームレート化することや、携帯のフレームレートすなわち１５フレーム／秒に変換することが要求されているが、フレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法が主流となっている。
　しかしながら、従来のフレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法では、映像の動きが円滑でない、映像が線形でないなどの問題点があった。
　そこで、本発明の目的は、上述の如き従来の問題点に鑑み、フレーム数を増減しても鮮明で円滑な動きで再生可能なフレームレート変換装置を提供することにある。
　また、本発明の他の目的は、フレームレート変換装置におけるフレーム画像間の対応点を正確に把握することのできる対応点推定装置、対応点推定方法及び対応点推定プログラムを提供することにある。
　映像では、一般にフレームの前後で似通ったシーンが続く場面が多いので、この特徴を利用し、複数の情報を用いて、高フレームレート化を行い、高画質化を図る。複数フレーム間の局所的な対応点を推定し、対応する画像点を内挿することにより高画質な内挿フレームを構成する。
　本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間下フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得る。
　すなわち、本発明は、フレームレート変換装置であって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点近傍の画素の階調値を生成する第３の階調値生成処理部とを備えることを特徴とする。
　また、本発明は、フレームレート変換装置であって、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似部と、上記第１の函数近似部により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定部と、上記対応点推定部により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似部と、上記第２の函数近似部で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡分布から補間フレームにおける画素点の濃淡値に変換する第３の函数近似部とを備えることを特徴とする。
　また、本発明は、上記フレームレート変換装置に対応点推定処理部として備えられる対応点推定装置であって、フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなることを特徴とする。
　また、本発明は、上記対応点推定装置により実行される対応点推定方法であって、フレーム画像の部分領域を抽出する第１の部分領域抽出ステップと、上記第１の部分領域抽出ステップで抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出ステップと、上記第１の部分領域抽出ステップ及び上記第２の部分領域抽出ステップで抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似ステップと、上記函数近似ステップで得られる出力の相関値を演算する相関値演算ステップと、上記相関値演算ステップで算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップとを有することを特徴とする。
　さらに、本発明は、上記対応点推定装置に備えられるコンピュータにより実行される対応点推定プログラムであって、フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段として、上記コンピュータを機能させることを特徴とする。
　本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができる。
　したがって、本発明によれば、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
　また、本発明では、画像の濃淡を連続的な変化状態として捉え、フレーム画像の部分領域を抽出するとともに、抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出し、抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現した出力の相関値を算出し、算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量とすることにより、画像の対応点を正確に把握することができる。
　したがって、本発明によれば、フレーム間でずれのない画像対応点の抽出が可能となり、圧縮精度、画像補間、フレームレート変換などの高解像度変換を構成に行うことが可能となる。また、テレビジョン受像機の大型化、モバイル端末の動画再生などの高精細化に対応可能で、動画の利用形態の拡大に繋がる。
　本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされる。
図１は、フレームレート変換装置の構成例を示すブロック図である。 図２Ａ及び図２Ｂは、上記フレームレート変換装置による高フレームレート化処理を模式的に示す図である。 図３は、上記フレームレート変換装置による高フレームレート化処理の実行手順を示すフローチャートである。 図４Ａ，図４Ｂ，図４Ｃ，図４Ｄは、上記フレームレート変換装置による高フレームレート化処理の内容を模式的に示す図である。 図５は、上記フレームレート変換装置おける不均等補間処理の説明に供する図である。 図６は、画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。 図７Ａ及び図７Ｂは、均等補間函数と不均等補間函数の例を示す図である。 図８は、上記画像補間処理の内容を模式的に示す図である。 図９は、拡大補間処理装置の構成例を示すブロック図である。 図１０は、上記拡大補間処理装置におけるＳＲＡＭ選択部の構成例を示すブロック図である。 図１１は、上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。 図１２Ａ及び図１２Ｂは、上記拡大補間処理装置における画像処理モジュールに入力される２つのフレーム画像を模式的に示す図である。 図１３は、上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。 図１４は、拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。 図１５は、本発明を適用した映像信号変換システムの構成を示すブロック図である。 図１６は、上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。 図１７は、上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。 図１８は、上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。 図１９は、上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。 図２０は、上記圧縮符号化処理部に備えられた対応点推定部の構成を示すブロック図である。 図２１は、フレーム間の相関関数が属する２ｍ次補間を行う空間の説明に供する図である。 図２２Ａ，図２２Ｂ，図２２Ｃ，図２２Ｄは、上記対応点推定部による対応点推定による動きベクトルの決定の様子を模式的に示す図である。 図２３は、上記対応点推定部による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。 図２４は、上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。 図２５Ａ，図２５Ｂ，図２５Ｃは、各フレームの画像の動きを各フレームのＸ座標、Ｙ座標の動きとして模式的に示す図である。 図２６は、フレーム間の位置を推定処理の内容を模式的に示す図である。 図２７Ａ及び図２７Ｂは、ＭＰＥＧ符号化により生成した映像データストリームの構成例と、上記映像信号変換システムにおける符号化処理部により生成された生成映像データストリームの構成例を模式的に示す図である。 図２８は、上記符号化処理部により生成される映像データストリームにおけるＩピクチャ及びＱピクチャのビットフォーマットの一例を示す図である。 図２９は、上記符号化処理部により生成される映像データストリームにおけるＤピクチャのビットフォーマットの一例を示す図である。 図３０Ａ及び図３０Ｂは、上記Ｄピクチャのビットフォーマットの一例における対応点のＸ座標の変化及びＹ座標の変化を示す図である。 図３１は、対応領域内の各Ｄピクチャの各Ｘ座標値を前後のピクチャのＸ座標値から補間演算により算出する例を模式的に示す図である。 図３２は、（ｍ＝３）クラスの不均等フルーエンシ補間函数を示す図である。 図３３は、高解像度補間アプローチの実例を示す図である。 図３４は、補間のためのピクセル構造の具体例を示す図である。 図３５は、上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図であり、（Ａ），（Ｂ１），（Ｃ１）は従来の１／２精度の動き推定の例を示し、（Ａ），（Ｂ２），（Ｃ２）は不均等補間の例を示す。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
　本発明に係るフレームレート変換装置１は、例えば、図１に示すように構成される。
　このフレームレート変換装置１は、例えば図２Ａ，図２Ｂに示すように、原フレーム間に補間フレームを挿入することにより、図２Ａに示す低フレームレート（この例では３０フレーム／秒）の動画を図２Ｂに示す高フレームレートの動画（この例では６０フレーム／秒）に変換する高フレームレート化処理を行うもので、対応点推定処理部２、第１の階調値生成処理部３、第２の階調値生成処理部４、第３の階調値生成処理部５として機能するコンピュータからなる。
　このフレームレート変換装置１において、対応点推定処理部２は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。
　また、第１の階調値生成処理部３は、上記対応点推定処理部２により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各対応点の階調値を求める。
　また、第２の階調値生成処理部４は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。
　さらに、第３の階調値生成処理部５は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点近傍の画素の階調値を生成する。
　このフレームレート変換装置１は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することにより、図３のフローチャートに示すステップＳ１～ステップＳ４の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点近傍の画素点における画素の階調値を生成する高フレームレート化処理を実行する。
　すなわち、このフレームレート変換装置１では、先ず、図４Ａに示すように、時間ｔ＝ｋの画像フレームを基準フレームＦ（ｋ）とし、基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）について、時間ｔ＝ｋ＋１の画像フレームＦ（ｋ＋１）、時間ｔ＝ｋ＋２の画像フレームＦ（ｋ＋２）、・・・時間ｔ＝ｋ＋ｍの画像フレームＦ（ｋ＋ｍ）における各動きベクトルを求めて、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）を推定する対応点推定処理を行う（ステップＳ１）。
　次に、上記ステップＳ１で推定した各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）について、図４Ｂに示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理を行う（ステップＳ２）。
　次に、上記基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）に対して、図４Ｃに示すように、上記ステップＳ２で生成した各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）における各階調値、すなわち、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）間の補間フレームにおける対応点の各階調値を求める第２の階調値生成処理を行う（ステップＳ３）。
　次のステップＳ４では、図４Ｄに示すように、上記ステップＳ３の第２の階調値生成処理により生成した補間フレームＦ（ｋ＋１／２）における各対応点の階調値から、不均等補間により時間ｔ＝ｋ＋１／２の補間フレームＦ（ｋ＋１／２）における各画素の階調値を生成する第３の階調値生成処理を行う（ステップＳ４）。
　ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、１つの自然画は、連続した情報としたとき、２つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図５の（Ａ），（Ｂ）に示すような２つのフレーム画像を同一点で重ね合わせると、各フレームの画素点（ここでは、説明のため粗くしている）の関係は、図５の（Ｃ）に示すような関係となる。すなわち、画像の移動分ずれる。この２つのフレーム画像を用いて、第１フレームの格子点（印のない画素点）の濃淡値を求めるためには、不均等補間処理が必要となる。
　例えば、図６に示すように、画像の解像度を変換した際に新たに生成された画素ｕ（τｘ，τｙ）位置の値を決める画像補間処理は、原画素ｕ（ｘｉ，ｙｊ）と補間函数ｈ（ｘ）の畳み込み処理により行われる。
Figure JPOXMLDOC01-appb-M000001
 　そして、複数のフレーム画像を用いて同一部分画像を対応させ、図７Ａに示すような均等補間函数を用いて所望の対応点近傍における水平（垂直）方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図８に示すように、フレーム１（Ｆ１）及びフレーム２（Ｆ２）の各内挿画素値×，△を垂直（水平）方向の画素情報として、図７Ｂに示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、フレーム１における所望の位置○の画素情報を決定する。
　このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
　均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、挿入される補間フレームの画像は動きのある部分が劣化するが、このフレームレート変換装置１のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、動きのある部分が劣化することなく高フレームレート化することができた。
　ここで、フレームレート変換装置１は、上述の如き高フレームレート化処理を行うとともに、２フレーム画像を用いて拡大補間処理を行う機能を備えるものとすることができる。２フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図９に示すように、入力データ制御回路５１、出力同期信号生成回路５２、ＳＲＡＭ５３、ＳＲＡＭ選択部５４、画像処理モジュール５５により構成される拡大補間処理装置５０により実現される。
　この拡大補間処理装置５０において、入力データ制御回路５１は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をＳＲＡＭ選択部５４に順次入力する制御を行う。
　出力同期信号生成回路５２は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにＳＲＡＭ選択部５４に供給する。
　ＳＲＡＭ選択部５４は、例えば、図１０に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路５４Ａから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部５４Ｂと読み出しデータ選択部５４Ｃにより、入力データ制御回路５１を介して入力される入力画像を１フレームごとＳＲＡＭ５３に格納し、同時に２フレームの画像を出力同期信号生成回路５２により生成された出力側同期信号に同期して読み出す。
　また、画像処理モジュール５５は、フレーム間情報による画像補間処理を行う例えば、図１１に示すように構成される。
　すなわち、画像処理モジュール５５は、ＳＲＡＭ選択部５４を介してＳＲＡＭ５３から同時に読み出された２フレームの画像情報が入力される窓設定部５５Ａ、第１の均等補間処理部５５Ｂ及び第２の均等補間処理部５５Ｃ、上記窓設定部５５Ａにより上記２フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部５５Ｄ、このずれ量推定部５５Ｄにより推定されたずれ量ベクトルと上記第２の均等補間処理部５５Ｃにより補間された画素の情報入力されるずれ補正部５５Ｅ、このずれ補正部５５Ｅにより補正された画素の情報及び上記第１の補間処理部５５Ｂにより補間された画素の情報が入力される不均等補間処理部５５Ｆからなる。
　画像処理モジュール５５では、図１２Ａ，図１２Ｂに示すように、ＳＲＡＭ選択部５４を介して入力される２つのフレーム画像ｆ，ｇについて、窓設定部５５Ａにより所定のポイント（ｐ，ｑ）にウインドウを設定し、ずれ量推定部５５Ｄにより、片方のフレーム画像ｇのウインドウをずれ量（τｘ，τｙ）だけずらして、ウインドウ内の相対位置（ｘ，ｙ）の画素値により内積演算を行い、その値を相互相関値Ｒｐｑ（τｘ，τｙ）とする。
Figure JPOXMLDOC01-appb-M000002
 　そして、ずれ量（τｘ，τｙ）を変化させてポイント（ｐ，ｑ）の回りでの相互相関値Ｒｐｑ（τｘ，τｙ）が最大となるずれ量（τｘ，τｙ）を抽出する。
Figure JPOXMLDOC01-appb-M000003
 　なお、２つのフレーム画像ｆ，ｇのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Ｒｐｑ（τｘ，τｙ）を求めることもできる。
　そして、この拡大補間処理装置５０では、図１３のフローチャートに示すように手順に従って拡大補間処理を行う。
　すなわち、画像処理モジュール５５では、ＳＲＡＭ５３からＳＲＡＭ選択部５４を介して２つのフレーム画像ｆ，ｇが読み出されると（ステップＡ）、ずれ量推定部５５Ｄで相関演算処理により２つのフレーム画像ｆ，ｇのずれ量（τｘ，τｙ）を演算する（ステップＢ）。
　そして、フレーム１の画像ｆについて均等補間による内挿画素値を第１の均等補間処理部５５Ｂで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＣ）。
　また、フレーム２の画像ｇについて均等補間による内挿画素値を第２の均等補間処理部５５Ｃで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＤ）。
　さらに、フレーム２の拡大画像をフレーム１に対するずれ量分移動した画素位置での画素値をずれ量補正部５５Ｅにより演算する（ステップＥ）。
　そして、不均等補間処理部５５Ｆにおいて、フレーム１の内挿画素値２点とフレーム２の移動位置の画素値２点の計４点の画素値からフレーム１における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い（ステップＦ）、フレーム１の補間演算結果を拡大画像として出力する（ステップＧ）。
　このような拡大補間処理を行う機能を備えるフレームレート変換装置１１０は、例えば、図１４に示すように構成される。
　このフレームレート変換装置１１０は、第１の函数近似処理部１１１、対応点推定処理部１１２、第２の函数近似処理部１１３、第３の函数近似処理部１１４として機能するコンピュータからなる。
　第１の函数近似処理部１１１は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理を行う。
　対応点推定処理部１１２は、上記第１の函数近似処理部１１１により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。
　第２の函数近似処理部１１３は、上記対応点推定処理部１１２により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似を行う。
　第３の函数近似処理部１１４は、上記第２の函数近似処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理を行う。
　このフレームレート変換装置１１０では、第１の函数近似処理部１１１により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部１１２により、上記第１の函数近似処理部１１１で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第２の函数近似処理部１１３により、上記対応点推定処理部１１２で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第３の函数近似処理部１１４により、第２の函数近似処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。
　本発明は、例えば図１５に示すような構成の映像信号変換システム１００に適用され、上記フレームレート変換装置１が高フレームレート化処理部４０として映像信号変換システム１００に搭載される。
　この映像信号変換システム１００は、撮像装置等の画像入力部１０から入力される画像情報にノイズ除去処理を施す前処理部２０、上記前処理部２０によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部３０、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部４０などからなる。
　この映像信号変換システム１００における前処理部２０は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図１６に示すようなシステムモデルにより、真の入力画像ｆ（ｘ，ｙ）が入力されるぼけ函数Ｈ（ｘ，ｙ）の劣化モデル２１の出力
Figure JPOXMLDOC01-appb-M000004
 にノイズｎ（ｘ，ｙ）を付加することにより観測画像ｇ（ｘ，ｙ）を得て、図１７に示すようなリストレーションシステムモデルにより、上記入力映像信号を入力して、前記観測画像ｇ（ｘ，ｙ）に一致する様にモデルを適応修正し、入力映像信号から推定された真の入力画像
Figure JPOXMLDOC01-appb-M000005
 を得る逆フィルタ２２からなる。
　前処理部２０は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。
　クロネッカー積は、次のように定義される。
　Ａ＝［ａｉｊ］をｍｎ行列、Ｂ＝［ｂｉｊ］をｓｔ行列とするとき、クロネッカー積
Figure JPOXMLDOC01-appb-M000006
 は、次のような、ｍｓ×ｎｔ行列である。
Figure JPOXMLDOC01-appb-M000007
 　ここで、
Figure JPOXMLDOC01-appb-M000008
 は、クロネッカー積演算子を表す。
　また、クロネッカー積の基本的な性質は、次の通りである。
Figure JPOXMLDOC01-appb-M000009
 　ここで、
Figure JPOXMLDOC01-appb-M000010
 は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。
　この前処理部２０における画像モデルでは、未知の真の入力画像ｆ（ｘ，ｙ）が存在するものと仮定して、上記劣化モデル２１の出力
Figure JPOXMLDOC01-appb-M000011
 にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）は、次の式（１）にて表すことができる。
Figure JPOXMLDOC01-appb-M000012
 　ここで、
Figure JPOXMLDOC01-appb-M000013
 は、この画像システムにより得られる劣化画像を代表し、また、ｎ（ｘ，ｙ）は付加したノイズである。そして、劣化画像
Figure JPOXMLDOC01-appb-M000014
 は、次の式（２）で示される。
Figure JPOXMLDOC01-appb-M000015
 　ここで、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、劣化システムのインパルス応答を代表している。
　使用される画像は離散量であるから、入力画像ｆ（ｘ，ｙ）の画像モデルは、式（３）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000016
 　ここで、Ｈｋ（ｘ）Ｈｌ（ｙ）は、次の式（４）のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈとなる。
Figure JPOXMLDOC01-appb-M000017
 　上記逆フィルタ２２の特性は、図１８のフローチャートに示す手順にしたがった学習処理により決定される。
　すなわち、学習処理では、先ず、入力画像ｇを観測画像ｇ（ｘ，ｙ）として読み込み（ステップＳ１１ａ）、
Figure JPOXMLDOC01-appb-M000018
 として画像ｇＥを構成して（ステップＳ１２ａ）、
Figure JPOXMLDOC01-appb-M000019
 の特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ａ）。
　また、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈを読み込み（ステップＳ１１ｂ）、
Figure JPOXMLDOC01-appb-M000020
 なるクロネッカー積で示される劣化モデルを構築して（ステップＳ１２ｂ）、上記劣化モデルの函数Ｈの特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ｂ）。
　ここで、システム方程式ｇは
Figure JPOXMLDOC01-appb-M000021
 と書き直すことができる。
　そして、
Figure JPOXMLDOC01-appb-M000022
 として新たな画像ｇＫＰＡを算出する（ステップＳ１４）。
　そして、算出した新たな画像ｇＫＰＡについて、
Figure JPOXMLDOC01-appb-M000023
 なる最小化処理を行い（ステップＳ１５）、得られたｆＫについて、
Figure JPOXMLDOC01-appb-M000024
 なるテスト条件を満たすか否かを判定する（ステップＳ１６）。
　ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。
　そして、上記ステップＳ１６における判定結果がFalse、すなわち、上記ステップＳ１５で得られたｆＫが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Ｈについて、
Figure JPOXMLDOC01-appb-M000025
 なる最小化処理を行い（ステップＳ１７）、上記ステップＳ１３ｂに戻り、上記ステップＳ１６で得られた函数ＨＫ＋１について特異値分解（SVD:singular value decomposition）を行い、上記ステップＳ１３ｂからステップＳ１７の処理を繰り返し行い、上記ステップＳ１６における判定結果がTrue、すなわち、上記ステップＳ１５で得られたｆＫが上記テスト条件を満たす場合に、上記ステップＳ１５で得られたｆＫを
Figure JPOXMLDOC01-appb-M000026
 として（ステップＳ１８）、１の入力画像ｇに対する学習処理を終了する。
　上記逆フィルタ２２の特性は、上記学習処理を多数の入力画像ｇについて行うことにより決定される。
　すなわち、ここでは、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を
Figure JPOXMLDOC01-appb-M000027
 とし、また、
Figure JPOXMLDOC01-appb-M000028
 として、ｆを近似して、目的とする新たな画像ｇＥを次のように導出している。
Figure JPOXMLDOC01-appb-M000029
 　ここで、Ｅは予測を示す。新たな画像ｇＥは、原画像のエッジ細部の保存や強調として構成される。
　新たな画像ｇＥは、
Figure JPOXMLDOC01-appb-M000030
 として得られる。ここで、ＣＥＰとＣＥＮは、それぞれエッジ保存とエッジ強調の演算子である。
　そして、シンプルなラプラシアンカーネルＣＥＮ＝∇２ｆと制御パラメータβとγを持ったガウシャンカーネルＣＥＰを選択し、
Figure JPOXMLDOC01-appb-M000031
 とする。
　そして、
Figure JPOXMLDOC01-appb-M000032
 　として、最小化問題を再構築し、次の特異値分解（SVD:singular value decomposition）から
Figure JPOXMLDOC01-appb-M000033
 上記劣化モデルの函数Ｈを
Figure JPOXMLDOC01-appb-M000034
 として推定して用いる。
　この映像信号変換システム１００における前処理部２０のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。
　この映像信号変換システム１００は、上記前処理部２０によりノイズ除去処理が施された画像情報について、圧縮符号化処理部３０により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部４０により高フレームレート化する。
　この映像信号変換システム１００における圧縮符号化処理部３０は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図１９に示すように、第１の函数化処理部３１、第２の函数化処理部３２、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部３３などを備える。
　第１の函数化処理部３１は、上記前処理部２０によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部３１Ａと、上記対応点推定部３１Ａにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部３１Ｂからなる。
　対応点推定部３１Ａは、例えば、図２０に示すように構成される。
　すなわち、対応点推定部３１Ａは、フレーム画像の部分領域を抽出する第１の部分領域抽出部３１１と、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出部３１２と、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する函数近似部３１３と、上記函数近似部３１３の出力の相関値を演算する相関値演算部３１４と、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算部３１５とからなる。
　この対応点推定部３１Ａでは、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
　この対応点推定部３１Ａは、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第１の部分領域抽出部３１１と、第２の部分領域抽出部３１２と、函数近似部３１３と、相関値演算部３１４と、ずれ量演算部３１５からなる。
　この対応点推定部３１Ａにおいて、第１の部分領域抽出部３１１は、入力画像についてフレーム画像の部分領域を抽出する。
　また、第２の部分領域抽出部３１２は、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。
　また、函数近似部３１３は、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。
　また、相関値演算部３１４は、上記函数近似部３１３の出力の相関値を演算する。
　さらに、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力する。
　そして、この対応点推定部３１では、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
　ここで、画像ｆ１（ｘ，ｙ），ｆ２（ｘ，ｙ）は、空間Ｓ（ｍ）（Ｒ２）に属していると仮定し、φｍ（ｔ）を（ｍ－２）次の区分多項式で次の式（５）のように表し、
Figure JPOXMLDOC01-appb-M000035
 上記空間Ｓ（ｍ）（Ｒ２）を次の式（６）のように表すと、
Figure JPOXMLDOC01-appb-M000036
 フレーム間の相関関数ｃ（τ１，τ２）は、次の式（７）として表すことができる。
Figure JPOXMLDOC01-appb-M000037
 とする。そして、上記仮定、すなわち、
Figure JPOXMLDOC01-appb-M000038
 から、フレーム相関関数を表す式（７）は、次の式（８）で示すことができる。
Figure JPOXMLDOC01-appb-M000039
 　すなわち、上記フレーム間の相関関数ｃ（τ１，τ２）は、図２１に示すような２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）に属し、上記２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）の標本化周波数ψ２ｍ（τ１，τ２）は一意的に存在し、上記フレーム間の相関関数ｃ（τ１，τ２）は、次の式（９）にて表される。
Figure JPOXMLDOC01-appb-M000040
 　式（８）から、相関面を補間するために、（２ｍ－１）次の区分的な多項式の関数を構築することができる。
　すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式（７）の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式（８）を適用する。
　分離可能な相関面補間関数の一般形は、式（１０）にて表され、
Figure JPOXMLDOC01-appb-M000041
 　ここで、Ｃｋとｄｌが補間係数であり、Ｍ２ｍ（ｘ）＝φ２ｍ（ｘ＋２）・φｍ（ｘ）は、（ｍ－１）次のＢ－スプラインである。
　式（１０）における適切な打ちきり制限により、上記相関関数ｃ（τ１，τ２）は、次の式（１１）によって近似することができる。
Figure JPOXMLDOC01-appb-M000042
 　ここで、Ｋ１＝［τ１］－ｓ＋１，Ｋ２＝［τ２］＋ｓ，Ｌ１＝［τ２］－ｓ＋１，Ｌ２＝［τ２］＋ｓであり、ｓはφｍ（ｘ）を定める。
　そして、例えば、ｍ＝２のとき、次の式（１２）を式（１１）に代入することにより、望ましい補間式を得る。
Figure JPOXMLDOC01-appb-M000043
 　動きベクトルvは、次の式（１３）を使って導出される。
Figure JPOXMLDOC01-appb-M000044
 　上記相関関数ｃ（τ１，τ２）は、整数点の情報だけを用いて再生することができ、相関値演算部３１４は、上記相関関数ｃ（τ１，τ２）により上記函数近似部３１３の出力の相関値を算出する。
　そして、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを示す式（１３）により動きベクトルＶを演算し、得られる動きベクトルＶを対応点のずれ量として出力する。
　ここで、上記対応点推定部３１Ａによる対応点推定による動きベクトルＶの決定の様子を図２２Ａ，図２２Ｂ，図２２Ｃ，図２２Ｄに模式的に示す。
　すなわち、この対応点推定部３１Ａでは、図２２Ａに示すように、フレーム画像（ｋ）の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図２２Ｂに示すように、
Figure JPOXMLDOC01-appb-M000045
 にて表される相関関数ｃ（τ１，τ２）を用いて各フレーム間の相関を計算して、図２２Ｃに示すように、相関曲面のピーク点で動きを検出し、動きベクトルvを上記式（１３）にて求めることにより、図２２Ｄに示すように、フレーム画像（ｋ）における画素の動きを決定する。
　このようにして決定されたフレーム画像（ｋ）の各ブロックの動きベクトルは、同じフレーム画像（ｋ）の各ブロックの動きベクトルを従来のブロックマッチングにより決定されたものと比較して、各ブロック間で滑らかに変化するものとなる。
　すなわち、例えば、図２３の（Ａ）に示すように、被写体が回転する動きのあるフレーム１とフレーム２について、２フレーム対応点推定と不均等補間により４倍拡大を行ったところ、図２３の（Ｂ１），（Ｃ１）に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかなでない部分が生じたが、上述の如き構成の対応点推定部３１Ａによる推定対応点で推定された動きベクトルの変化は、図２３の（Ｂ２），（Ｃ２）に示すように、全体的に滑らかなものとなっている。しかも、１／Ｎの精度での計算量は、従来手法ではＮ２であるのに対し、本手法ではＮとなる。
　そして、動き函数化処理部３１Ｂでは、上記対応点推定部３１Ａにおける対応点推定により得られる動きベクトルＶを用いて、動き部分の画像情報を函数化する。
　すなわち、動き函数化処理部３１Ｂでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置ｘ、ｙの変化に対応するので、図２４に示すように、フレームの原点を左上隅に取った場合、例えば、図２５Ａに示すような各フレームの画像の動きについて、図２５Ｂ，図２５Ｃに示すように各フレームのＸ座標、Ｙ座標の動きとして表し、Ｘ座標、Ｙ座標それぞれの動きの変化を函数近似して函数化する。そして、図２６に示すように、その函数で補間してフレーム間Ｔの位置を推定することにより動き補償を行う。
　また、第２の函数化処理部３２は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部３２Ａ、輪郭線函数近似処理部３２Ｂ、濃淡函数化処理部３２Ｃ、周波数函数近似処理部３２Ｄなどからなる。
　領域自動分類処理部３２Ａは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）、不規則領域（高次領域、例えばｍ≧４）に分類する。
　フルーエンシ情報理論では、信号を信号空間という概念で次数ｍによって指定されるクラスに分類する。
　信号空間ｍＳは、（ｍ－２）回連続微分可能な変数を持つ（ｍ－１）次の区分的多項式によって表される。
　信号空間ｍＳは、ｍ＝１のとき、階段関数のものと等しくなり、またｍ＝∞のとき、フーリエべき関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間ｍＳに属する信号と離散時間信号との関係を明確化するモデルである。
　輪郭線函数近似処理部３２Ｂは、輪郭自動分類処理部３２１と関数近似処理部３２２からなり、上記領域自動分類処理部３２Ａにより分類された区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）に含まれる直線、円弧、２次曲線を上記輪郭自動分類処理部３２１により抽出して関数近似処理部３２２により関数近似する。
　濃淡函数化処理部３２Ｃは、上記領域自動分類処理部３２Ａにより分類される区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）について、フルーエンシ函数を用いて濃淡函数化処理を行う。
　周波数函数近似処理部３２Ｄは、上記領域自動分類処理部２により分類される不規則領域、すなわち、多項式表現できない領域について、ＬＯＴ（論理直交変換）やＤＣＴ等により周波数函数近似処理を行う。
　この第２の函数化処理部３２では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。
　そして、符号化処理部３３は、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する。
　ここで、ＭＰＥＧ符号化では、画面全てを記録したフレーム画像データで示されるＩピクチャ、前後のピクチャから予測した差分画像データで示されるＢピクチャ、直前のＩピクチャ、Ｐピクチャから予測した変化部分の差分画像データで示されるＰピクチャが定義され、時間軸に沿ったフレームをグループ化した画像群（ＧＯＰ）毎に、輝度信号と色信号の符号化データであってＤＣＴ変換後の量子化された値を持つ各ピクチャの符号化データ列として例えば図２７Ａに示すような構成の映像データストリームを生成する符号化処理が行われていたのに対し、この映像信号変換システム１００における符号化処理部３３では、例えば図２７Ｂに示すような構成の映像データストリームを生成する符号化処理が行われる。
　すなわち、上記符号化処理部３３では、画面全てを記録したフレーム画像函数データで示されるＩピクチャ、前後のＩピクチャ－Ｑピクチャ、Ｑピクチャ－Ｑピクチャのフレーム補間差分画像函数データで示されるＤピクチャ、直前のＩピクチャ又はＰピクチャからの差分フレーム画像函数データで示されるＱピクチャが定義され、時間軸に沿ったフレームをグループ化した画像群（ＧＯＰ）毎に、各画像函数データで示される各ピクチャの符号化データ列として例えば図２７Ｂに示すような構成の映像データストリームを生成する符号化処理が行われる。
　なお、図２７Ａ，図２７Ｂに示した映像データストリームには、シーケンスヘッダＳが付加されている。
　上記符号化処理部３３により生成される映像データストリームにおけるＩピクチャ及びＱピクチャのビットフォーマットの一例を図２８に示すように、Ｉピクチャ及びＱピクチャを示す画像函数データには、ヘッダ情報、画像の幅情報、画像の高さ情報、オブジェクトの種類が輪郭で有ることを示す情報、輪郭オブジェクトにおけるセグメントの種類を示す情報と、その始点、中点、終点の座標情報、オブジェクトの種類が領域で有ることを示す情報、領域オブジェクトの色情報などが含まれている。
　また、上記符号化処理部３３により生成される映像データストリームにおけるＤピクチャのビットフォーマットの一例を図２９に示す。Ｄピクチャを示す画像函数データには、フレーム分割数、フレーム内領域数、対応領域番号、前のＩピクチャ又はＱピクチャの対応領域の中心Ｘ座標及び中心Ｙ座標、後ろのＩピクチャ又はＱピクチャの対応領域の中心Ｘ座標及び中心Ｙ座標等の情報が含まれている。上記図１５に示したＤピクチャのビットフォーマットの一例における領域番号１の対応点のＸ座標の変化及びＹ座標の変化を図３０Ａ，図３０Ｂに示す。
　そして、例えば図３１に示すように、対応領域内の各Ｄピクチャ（Ｄ２１、Ｄ２２、Ｄ２３）の各Ｘ座標値は、前後のピクチャ（Ｑ１、Ｑ２，Ｑ３，Ｑ４）のＸ座標値から、補間演算により算出することができる。また、対応領域内の各Ｄピクチャ（Ｄ２１、Ｄ２２、Ｄ２３）の各Ｙ座標値は、前後のピクチャ（Ｑ１、Ｑ２，Ｑ３，Ｑ４）のＹ座標値から、補間演算により算出することができる。
　そして、この映像信号変換システム１００では、上述の如く、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記フレームレート変換装置１を用いた高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。
　すなわち、この映像信号変換システム１００は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。
　フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数ｍによって指定されるクラスにおける信号空間を分類する。
　そして、どのようなｍ＞０に対しても、subspace spannedは、（ｍ－２）回のみ連続微分可能な（ｍ－１）次の区分的な多項式によって表される。
（ｍ＝３）クラスの標本化関数ψ(x)は、１回のみ連続微分可能な２次の区分多項式の線形結合により次の式（１４）で表される。
Figure JPOXMLDOC01-appb-M000046
 　ここで、φ(x)は次の式（１５）で示される。
Figure JPOXMLDOC01-appb-M000047
 　そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。
　ここで、τ＝１のとき、式（１４）は、次の式（１６）よって与えられる区分的な多項式
として表されることができる。
Figure JPOXMLDOC01-appb-M000048
 　例えば、（ｍ＝３）クラスの不均等フルーエンシ補間函数
Figure JPOXMLDOC01-appb-M000049
 は、図２７に示すような函数である。
　不均等補間フルーエンシ関数
Figure JPOXMLDOC01-appb-M000050
 は、度数２の８部分多項式から成り、（ｍ＝３）クラスの不均等補間フルーエンシ関数は、図３２で示すようにｓ１（ｘ）～Ｓ８（ｘ）に指定される不均等の間隔で定められ、その構成要素は、次の式（１７）で与えられる。
Figure JPOXMLDOC01-appb-M000051
 　ここで、
である。
　ここで、高解像度補間の実例を図３３に示す。また、図３４は、補間のためのピクセル構造の具体例を示している。
　図３４において、Frame_1のピクセルＰｘＦ１は、Frame_2でピクセルＰｘＦ２を変える異なる動きベクトル
Figure JPOXMLDOC01-appb-M000053
 を持つ。ピクセルＰｘＴｇは、補間のターゲット画素である。
　図３５は２つの連続的なフレームから一次元イメージ補間の概念を例示している。
　動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。
　高解像度フレームピクセルは、f（τx，τy）によって表され、ピクセル構造は、図３４の高解像度補間アプローチの１例に示すようである。
　第１のステップでは、ビデオ・シーケンスから２つの連続的なフレームを得て、ｆ１（ｘ，ｙ）とｆ２（ｘ，ｙ）によって表す。
　第２のステップでは、動きベクトルの初期推定を行う。
Figure JPOXMLDOC01-appb-M000054
 にて、動きベクトルの初期推定を行う。
　ここで、
Figure JPOXMLDOC01-appb-M000055
 である。
　式（１８）において、
Figure JPOXMLDOC01-appb-M000056
 はサーチウインドウの平均を表し、そして、
Figure JPOXMLDOC01-appb-M000057
 はマッチングにおける現ブロックの平均を表す。
　第３のステップでは、式（１２）と式（１７）を用いた全ピクセル
Figure JPOXMLDOC01-appb-M000058
 のために、第２ステップから動きベクトル
Figure JPOXMLDOC01-appb-M000059
 付近の一つのピクセルの中から動きベクトルを得る。
　第４のステップでは、以下の通りに均等水平補間を実行する。
Figure JPOXMLDOC01-appb-M000060
 　第５のステップでは、第４のステップで得られるピクセルを使っている不均等垂直補間を式（２０）により実行する。
Figure JPOXMLDOC01-appb-M000061
 　第４のステップと第５のステップは、高解像度イメージで全てのピクセルのために繰り返される。
　フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
　フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。
　フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
　このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
　例えば、図３５の（Ａ）に示すように、フレームｋとフレームｋ＋１の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、図３５の（Ｂ１），（Ｃ１）に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部４０のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図３５の（Ｂ２），（Ｃ２）に示すように、動きのある部分が劣化することなく高フレームレート化することができた。
　この映像信号変換システム１００では、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。

Claims (7)

  1. １．基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、
    　推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第１の階調値生成処理部と、
    　上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、
    　上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点近傍の画素の階調値を生成する第３の階調値生成処理部と
    　を備えるフレームレート変換装置。
  2. ２．上記対応点推定処理部は、
    　フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、
    　上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、
    　上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各部分画像それぞれの濃淡を区分多項式で函数表現して出力する函数近似手段と、
    　上記函数近似手段の各出力である函数の相関値を演算する相関値演算手段と、
    　上記相関値演算手段により算出される相関値の最大値を与える画像位置から位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段と
    　からなる請求の範囲第１項記載のフレームレート変換装置。
  3. ３．基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似部と、
    　上記第１の函数近似部により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定部と、
    　上記対応点推定部により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似部と、
    　上記第２の函数近似部で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡分布から補間フレームにおける画素点の濃淡値に変換する第３の函数近似部と
    　を備えるフレームレート変換装置。
  4. ４．上記対応点推定処理部は、
    　フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、
    　上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、
    　上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、
    　上記函数近似手段の出力の相関値を演算する相関値演算手段と、
    　上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段と
    　からなる請求の範囲第３項記載のフレームレート変換装置。
  5. ５．請求の範囲第１項又は第３項に記載されたフレームレート変換装置に対応点推定処理部として備えられる対応点推定装置であって、
    　フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、
    　上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、
    　上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、
    　上記函数近似手段の出力の相関値を演算する相関値演算手段と、
    　上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段と
    　からなる対応点推定装置。
  6. ６．請求の範囲第５項に記載された対応点推定装置により実行される対応点推定方法であって、
    　フレーム画像の部分領域を抽出する第１の部分領域抽出ステップと、
    　上記第１の部分領域抽出ステップで抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出ステップと、
    　上記第１の部分領域抽出ステップ及び上記第２の部分領域抽出ステップで抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似ステップと、
    　上記函数近似ステップで得られる出力の相関値を演算する相関値演算ステップと、
    　上記相関値演算ステップで算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップと
    　を有する対応点推定方法。
  7. ７．請求の範囲第５項に記載された対応点推定装置に備えられるコンピュータにより実行される対応点推定プログラムであって、
    　フレーム画像の部分領域を抽出する第１の部分領域抽出手段と、
    　上記第１の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出手段と、
    　上記第１の部分領域抽出手段及び上記第２の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、
    　上記函数近似手段の出力の相関値を演算する相関値演算手段と、
    　上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段として、
    　上記コンピュータを機能させる対応点推定プログラム。
PCT/JP2009/062948 2008-09-04 2009-07-17 フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム WO2010026838A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/061,924 US20110187924A1 (en) 2008-09-04 2009-07-17 Frame rate conversion device, corresponding point estimation device, corresponding point estimation method and corresponding point estimation program
CN2009801415165A CN102187665A (zh) 2008-09-04 2009-07-17 帧频变换装置、及其对应点推测装置、对应点推测方法及对应点推测程序
EP09811367.3A EP2330818A4 (en) 2008-09-04 2009-07-17 BILDFREQUENZVERWANDLUNGSVÄRICHTUNG AND APPROPRIATE PUNKBAETZUNGSVÄRICHTUNG, CORRESPONDING PUNKSCHÄTZUNGS PROCESS AND CORRESPONDING PARTICULAR RANKING PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008227626A JP4931884B2 (ja) 2008-09-04 2008-09-04 フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム
JP2008-227627 2008-09-04
JP2008-227626 2008-09-04
JP2008227627A JP4743449B2 (ja) 2008-09-04 2008-09-04 対応点推定装置、対応点推定方法及び対応点推定プログラム

Publications (1)

Publication Number Publication Date
WO2010026838A1 true WO2010026838A1 (ja) 2010-03-11

Family

ID=41797011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/062948 WO2010026838A1 (ja) 2008-09-04 2009-07-17 フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム

Country Status (4)

Country Link
US (1) US20110187924A1 (ja)
EP (1) EP2330818A4 (ja)
CN (1) CN102187665A (ja)
WO (1) WO2010026838A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
CN104079926B (zh) * 2014-07-04 2016-02-17 南京富士通南大软件技术有限公司 一种远程桌面软件的视频性能测试方法
US9917898B2 (en) * 2015-04-27 2018-03-13 Dental Imaging Technologies Corporation Hybrid dental imaging system with local area network and cloud
CN109698977B (zh) * 2019-01-23 2022-04-05 深圳大普微电子科技有限公司 视频图像的还原方法及装置
CN109905624B (zh) 2019-03-01 2020-10-16 北京大学深圳研究生院 一种视频帧插值方法、装置及设备
CN114974171B (zh) * 2022-03-09 2024-01-26 康佳集团股份有限公司 基于显示装置的刷新率控制方法、装置、显示终端及介质
WO2024073076A1 (en) * 2022-09-30 2024-04-04 Tesla, Inc. Systems and methods for accelerated video-based training of machine learning models

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246992A (ja) * 1991-01-31 1992-09-02 Sony Corp 画像変換装置
JPH1168515A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi データ補間方法
JP2002199400A (ja) * 2000-12-22 2002-07-12 Victor Co Of Japan Ltd 動画像表示システム、フレーム間補間方法及び背景動画像作成方法
JP2003167103A (ja) 2001-11-26 2003-06-13 Ind Technol Res Inst 傾斜拡散反射体の製造方法と構造体
JP2003284007A (ja) 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd 映像撮像装置、映像変換装置及び映像編集装置
JP2008098033A (ja) 2006-10-13 2008-04-24 Canon Inc 有機ｅｌ表示装置
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
JP2008227626A (ja) 2007-03-08 2008-09-25 System K:Kk ネットワークカメラの通信システムおよび通信方法
JP2008227627A (ja) 2007-03-08 2008-09-25 Ricoh Co Ltd 画像処理装置、画像形成装置、及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2312983C (en) * 1997-12-05 2008-06-03 Force Technology Corp. Continuous gradation compression and expansion of an image or acoustics data based on a polynomial approximation
US6924816B2 (en) * 2000-03-17 2005-08-02 Sun Microsystems, Inc. Compensating for the chromatic distortion of displayed images
US7302111B2 (en) * 2001-09-12 2007-11-27 Micronic Laser Systems A.B. Graphics engine for high precision lithography
US7770799B2 (en) * 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246992A (ja) * 1991-01-31 1992-09-02 Sony Corp 画像変換装置
JPH1168515A (ja) * 1997-08-19 1999-03-09 Kazuo Toraichi データ補間方法
JP2002199400A (ja) * 2000-12-22 2002-07-12 Victor Co Of Japan Ltd 動画像表示システム、フレーム間補間方法及び背景動画像作成方法
JP2003167103A (ja) 2001-11-26 2003-06-13 Ind Technol Res Inst 傾斜拡散反射体の製造方法と構造体
JP2003284007A (ja) 2002-03-20 2003-10-03 Matsushita Electric Ind Co Ltd 映像撮像装置、映像変換装置及び映像編集装置
JP2008099281A (ja) * 2006-10-12 2008-04-24 Thomson Licensing 動き補償画像の補間方法、及びその方法を実現する装置
JP2008098033A (ja) 2006-10-13 2008-04-24 Canon Inc 有機ｅｌ表示装置
JP2008227626A (ja) 2007-03-08 2008-09-25 System K:Kk ネットワークカメラの通信システムおよび通信方法
JP2008227627A (ja) 2007-03-08 2008-09-25 Ricoh Co Ltd 画像処理装置、画像形成装置、及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2330818A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845137A (zh) * 2022-03-21 2022-08-02 南京大学 一种基于图像配准的视频光路重建方法及其装置

Also Published As

Publication number Publication date
CN102187665A (zh) 2011-09-14
EP2330818A4 (en) 2013-06-19
EP2330818A1 (en) 2011-06-08
US20110187924A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
WO2010026839A1 (ja) 映像信号変換システム
Song et al. Video super-resolution algorithm using bi-directional overlapped block motion compensation and on-the-fly dictionary training
WO2010026838A1 (ja) フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム
US7420487B2 (en) Denoising video
US8462989B2 (en) Scaling an image based on a motion vector
CN102714726B (zh) 使用元数据的用于时间缩放的边缘增强
Yuen Coding artifacts and visual distortions
US20060093232A1 (en) Unified metric for digital video processing (umdvp)
JP2008518318A (ja) ボケた画像部分の画質を向上する方法
JP2005176381A (ja) 適応的動き補償の補間方法及び装置
Zhang et al. A spatio-temporal auto regressive model for frame rate upconversion
KR100584597B1 (ko) 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
EP2368368B1 (en) Method for browsing video streams
JP4931884B2 (ja) フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム
JP3405788B2 (ja) 動画像符号化装置と動画像復号化装置
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP5081109B2 (ja) 映像信号変換システム
JP5042171B2 (ja) フィルタリング処理装置及びフィルタリング処理方法
JP5011854B2 (ja) 高解像度画像処理装置
JP4743449B2 (ja) 対応点推定装置、対応点推定方法及び対応点推定プログラム
JP5042172B2 (ja) 動画処理装置及び動画処理方法
US20090153733A1 (en) Method and apparatus for interpolating image
JP4552262B2 (ja) ノイズ低減装置および方法
Song et al. High-resolution image scaler using hierarchical motion estimation and overlapped block motion compensation
JP3896635B2 (ja) 画像データ変換装置及び方法、予測係数生成装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980141516.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09811367

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009811367

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13061924

Country of ref document: US