KR20150135635A - An appratus for estimating a motion vector for frame rate conversion and a method thereof - Google Patents

An appratus for estimating a motion vector for frame rate conversion and a method thereof Download PDF

Info

Publication number
KR20150135635A
KR20150135635A KR1020140061872A KR20140061872A KR20150135635A KR 20150135635 A KR20150135635 A KR 20150135635A KR 1020140061872 A KR1020140061872 A KR 1020140061872A KR 20140061872 A KR20140061872 A KR 20140061872A KR 20150135635 A KR20150135635 A KR 20150135635A
Authority
KR
South Korea
Prior art keywords
frame
interpolation
block
motion information
generating
Prior art date
Application number
KR1020140061872A
Other languages
Korean (ko)
Other versions
KR101574205B1 (en
Inventor
김진태
한동일
최재훈
김재광
김동기
Original Assignee
주식회사 칩스앤미디어
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어, 세종대학교산학협력단 filed Critical 주식회사 칩스앤미디어
Priority to KR1020140061872A priority Critical patent/KR101574205B1/en
Publication of KR20150135635A publication Critical patent/KR20150135635A/en
Application granted granted Critical
Publication of KR101574205B1 publication Critical patent/KR101574205B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

According to an embodiment of the present invention, a motion information estimating apparatus for converting a frame rate, comprises: an input unit in which image frames including first, second, and third frames are sequentially inputted; a first comparison unit for performing bi-directional interpolation by using the first and third frames together which are positioned at temporally bi-direction with respect to the second frame, and generating a first interpolation block to compare the same with an original block of the second frame; a second comparison unit for performing the interpolation by using only the first frame and generating a second interpolation block to compare the same with the original block of the second frame; a third comparison unit for performing the interpolation by using only the third frame and generating a third interpolation block to compare the same with the original block of the second frame; and a motion information generation unit for selecting an interpolation method having the most similarity based on a comparison result of the first, second, and third comparison units, and generating motion information corresponding to an interpolation target block based on the image frames and selected interpolation method.

Description

프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치{AN APPRATUS FOR ESTIMATING A MOTION VECTOR FOR FRAME RATE CONVERSION AND A METHOD THEREOF}[0001] The present invention relates to a method and apparatus for estimating motion information for frame rate conversion,

본 발명은 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 효율적으로 정확한 움직임 정보를 판별할 수 있는 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치에 관한 것이다.The present invention relates to a motion information estimation method and apparatus for frame rate conversion, and more particularly, to a motion information estimation method and apparatus for frame rate conversion capable of efficiently discriminating accurate motion information.

일반적으로 사용되는 프레임 율 변환 (Frame rate up-conversion. FRC) 방법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다. The commonly used frame rate up-conversion (FRC) method is one of the most important issues in recent years due to the explosive increase in image information and display formats.

프레임 율 변환은 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요하다. 예를 들어 기존의 동영상들은 초당 24, 25, 30 의 프레임 율을 가지지만, HDTV와 멀티미디어 PC시스템은 화면 깜빡임과 같은 화질열화를 줄이고, 보여 지는 영상의 질을 향상시키기 위해 더욱 높은 프레임 율을 지원한다. Frame rate conversion is necessary for conversion between various display formats with different frame rates. For example, existing videos have frame rates of 24, 25, and 30 per second, but HDTV and multimedia PC systems support higher frame rates to reduce picture quality degradation such as screen flickering and improve the quality of the displayed image. do.

그러므로 HDTV나 멀티미디어 환경에서 동영상을 재생 할 경우 지원하는 프레임 율로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있다. 기존의 경우, 프레임 상향 변환을 위해 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 프레임 율 변환 알고리즘이 사용되었다. 하지만 이와 같은 단순한 알고리즘들은 motion judder 와 motion blur 와 같은 화질열화를 유발한다. Therefore, when the video is played back in the HDTV or multimedia environment, the higher the frame rate, the better the picture quality can be expected. Conventionally, a simple frame rate conversion algorithm such as frame iteration or linear interpolation with temporal filtering is used for frame up-conversion. However, these simple algorithms cause image degradation such as motion judder and motion blur.

이와 같은 화질열화를 방지하기 위해, 움직임 보상 보간 (MCI) 을 이용한 다양한 움직임 보상 프레임 율 변환 (MC-FRC) 알고리즘이 개발되고 있다. 이와 같은 MCI 기법의 경우, 모든 보간 과정이 움직임 정보에 의해 이루어지기 때문에 영상 내 객체들의 실제 움직임 정보 (true motion vector) 를 추정해 내는 것이 매우 중요하다. In order to prevent such deterioration of image quality, various motion compensation frame rate conversion (MC-FRC) algorithms using motion compensation interpolation (MCI) are being developed. In this MCI method, it is very important to estimate the true motion vector of the objects in the image because all the interpolation processes are performed by the motion information.

하지만, 움직임 추정시 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 정확한 실제 움직임 정보를 추정하지 못하는 경우가 많다. 이와 같이 잘못 추정된 움직임 정보는 보간된 영상에서 block artifact 와 같은 화질열화를 유발하게 된다. 잘못된 움직임 정보 추정으로 인한 화질열화는 그 빈도가 극히 낮다면 움직임보상 보간 기법의 여러 장점으로 인해 무시될 수 있으나, 실제로는 기존의 MC-FRC 기법으로는 영상의 특징에 따라 움직임 정보 추정 실패는 무척 빈번히 발생하며 이는 대량의 block artifact 를 유발하여 시청자의 눈에 심하게 거슬리게 되어 실제 움직임 정보를 정확히 추정하는 방법이 필요하다.However, there are many cases where accurate motion information can not be estimated due to noise, brightness change, existence of a local minimum value due to the presence of a similar image, and object shading at the time of motion estimation. Such erroneously estimated motion information causes image degradation such as block artifact in the interpolated image. If the frequency is extremely low, the degradation of image quality due to erroneous motion information estimation can be ignored due to various merits of the motion compensation interpolation technique. However, according to the existing MC-FRC technique, And this causes a large amount of block artifacts, which seriously disturbs the eyes of viewers, and a method of accurately estimating actual motion information is needed.

본 발명의 실시 예는 상기와 같은 문제점을 해결하기 위한 것으로, 실제 움직임벡터와 가깝게 정확히 추정할 수 있는 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치를 제공함에 있다.In order to solve the above problems, an embodiment of the present invention provides a motion information estimation method and apparatus for frame rate conversion that can accurately estimate a motion vector closely to an actual motion vector.

또한 본 발명의 실시 예는 움직임 추정 시 영상내의 각 블록간의 차이를 이용하여 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 잘못된 움직임 추정이 되었을 경우에도 실제적인 움직임 정보값을 추정 가능하게 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치를 제공함에 있다.Also, in the embodiment of the present invention, even when incorrect motion estimation is performed due to noise, brightness change, existence of a local minimum value due to the presence of a similar image, object shading, etc., And to provide a method and apparatus for motion information estimation for frame rate conversion so that actual motion information values can be estimated.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 프레임 율 변환을 위한 움직임 정보 추정 장치에 있어서, 제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 입력부; 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제1 비교부; 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제2 비교부; 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제3 비교부; 및 상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 움직임 정보 생성부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for estimating motion information for frame rate conversion, the apparatus comprising: a motion estimation unit for estimating motion information of an image frame including a first frame, a second frame, An input unit for inputting time-series data; A first interpolation unit for performing bidirectional interpolation using both the first frame and the third frame temporally positioned in both directions based on the second frame and generating a first interpolation block to compare the first interpolation block with the original block of the second frame, A comparator; A second comparison unit for performing interpolation using only the first frame, generating a second interpolation block and comparing the generated second interpolation block with an original block of the second frame; A third comparing unit for performing interpolation using only the third frame, generating a third interpolation block and comparing the third interpolation block with the original block of the second frame, And an interpolation method selecting unit that selects an interpolation scheme having the highest degree of similarity based on the comparison result of the first comparison unit, the second comparison unit, and the third comparison unit, and selects, based on the image frames and the selected interpolation scheme, And a motion information generating unit for generating motion information.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 프레임 율 변환을 위한 움직임 정보 추정 방법에 있어서, 제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 단계; 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계; 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임과 원본 블록과 비교하는 단계; 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임과 원본 블록과 비교하는 단계; 및 각각의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of estimating motion information for frame rate conversion, the method comprising the steps of: estimating motion information of an image frame including a first frame, a second frame, A time-series input; Performing bi-directional interpolation using a first frame and a third frame temporally positioned in both directions with reference to the second frame, generating a first interpolation block and comparing the generated first interpolation block with an original block of the second frame; Performing interpolation using only the first frame, generating a second interpolation block, and comparing the second frame with the original block; Performing interpolation using only the third frame, generating a third interpolation block, and comparing the second frame with the original block; And selecting the interpolation scheme having the highest degree of similarity based on the comparison results and generating motion information corresponding to the block to be interpolated based on the image frames and the selected interpolation scheme.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법들은 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체로 구현될 수 있다.According to an aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for execution on a computer.

본 발명의 실시 예에 따르면, 유사도 비교를 통해 실제 움직임 정보 추정에 따라 원본과 가장 일치하는 움직임 정보를 생성함으로써 프레임 율 보간 효과를 높이고, 자연스럽고 부드러운 영상을 디스플레이 할 수 있다.According to the embodiment of the present invention, motion information that best matches the original according to the motion information estimation through the similarity comparison is generated, thereby enhancing the frame rate interpolation effect and displaying a natural smooth image.

특히, 본 발명의 실시예에 따르면, 양 방향 및 각 방향 보간 방식 중 선택적 보간을 수행함으로써, 움직임 정보를 가지지 않는 블록에 대해서도 정확한 움직임벡터를 찾을 수 있는 효과가 있다.Particularly, according to the embodiment of the present invention, by performing selective interpolation among the bi-directional and directional interpolation methods, an accurate motion vector can be found for a block having no motion information.

또한, 본 발명의 실시 예에 따르면, 예외적인 경우를 제외한 대부분의 영상들로부터 실제 움직임 정보와 거의 유사한 움직임 정보를 추정할 수 있는 효과가 있다.In addition, according to the embodiment of the present invention, there is an effect that motion information almost similar to actual motion information can be estimated from most images except exceptional cases.

그리고, 본 발명의 실시 예에 따르면, 움직임 정보를 추정함에 있어, 영상 유사도 분석도 동시에 가능하므로, 프레임 율 보간 성능의 평가 수단으로서도 효과적으로 활용될 수 있는 장점이 있다.According to the embodiment of the present invention, since the image similarity analysis can also be performed at the same time in estimating the motion information, there is an advantage that it can be effectively utilized also as the means for evaluating the frame rate interpolation performance.

도 1은 본 발명의 실시 예에 따른 움직임 정보 추정 장치를 포함하는 전체 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 움직임 정보 추정 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 도식화하여 설명하기 위한 도면들이다.
도 7 내지 도 9는 본 발명의 실시 예에 따른 움직임 정보 추정 장치의 움직임 정보 추정 예를 설명하기 위한 도면들이다.
도 10 및 도 11은 본 발명의 실시 예에 따른 움직임 정보 추정 장치로부터 출력되는 움직임 정보에 의해 보간된 영상의 화질을 종래 기술과 비교 설명하기 위한 도면들이다.1 is a diagram for explaining an overall system including a motion information estimation apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a motion information estimation apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a motion information estimation method according to an embodiment of the present invention.
FIGS. 4 to 6 are diagrams illustrating a motion information estimation method according to an embodiment of the present invention.
7 to 9 are views for explaining an example of motion information estimation in the motion information estimation apparatus according to the embodiment of the present invention.
FIGS. 10 and 11 are diagrams for comparing image quality of an image interpolated by the motion information outputted from the motion information estimation apparatus according to an embodiment of the present invention, with those of the prior art.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the invention. Thus, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. Furthermore, all of the conditional terms and embodiments listed herein are, in principle, intended only for the purpose of enabling understanding of the concepts of the present invention, and are not intended to be limiting in any way to the specifically listed embodiments and conditions .

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.It is also to be understood that the detailed description, as well as the principles, aspects and embodiments of the invention, as well as specific embodiments thereof, are intended to cover structural and functional equivalents thereof. It is also to be understood that such equivalents include all elements contemplated to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future, i.e., the structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, it should be understood that the block diagrams herein represent conceptual views of exemplary circuits embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudo code, and the like are representative of various processes that may be substantially represented on a computer-readable medium and executed by a computer or processor, whether or not the computer or processor is explicitly shown .

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the figures, including the functional blocks depicted in the processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims hereof, the elements represented as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements performing the function or firmware / microcode etc. , And is coupled with appropriate circuitry to execute the software to perform the function. It is to be understood that the invention defined by the appended claims is not to be construed as encompassing any means capable of providing such functionality, as the functions provided by the various listed means are combined and combined with the manner in which the claims require .

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: There will be. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)를 포함하는 전체 시스템을 설명하기 위한 도면이다.
1 is a diagram for explaining an overall system including an apparatus 100 for estimating motion information according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)를 포함하는 전체 시스템은 움직임 정보 추정 장치(100) 및 보간 처리 장치(200)를 포함하여 구성될 수 있다.Referring to FIG. 1, an overall system including an apparatus 100 for estimating motion information according to an embodiment of the present invention may include a motion information estimation apparatus 100 and an interpolation processing apparatus 200.

움직임 정보 추정 장치(100)는 프레임 율 변환을 위한 움직임 정보를 추정 하고, 상기 움직임 정보에 따라 최적의 보간 방식을 결정하며, 상기 결정된 보간 방식에 따라 움직임 정보를 생성하여 보간 처리 장치(200)로 출력한다. 움직임 정보는 예를 들어, 순차적인 영상 프레임간의 화소 이동을 나타내기 위한 움직임 벡터 정보를 포함할 수 있다. 따라서, 움직임 정보 추정 장치(100)는 움직임 벡터 정보를 생성하여 출력할 수 있다. The motion information estimation apparatus 100 estimates motion information for frame rate conversion, determines an optimal interpolation method according to the motion information, generates motion information according to the determined interpolation method, and outputs the motion information to the interpolation processing unit 200 Output. The motion information may include, for example, motion vector information for indicating pixel shift between successive image frames. Therefore, the motion information estimation apparatus 100 can generate and output motion vector information.

또한, 움직임 정보 추정 장치(100)는 각각의 보간 방식에 따른 움직임 정보를 획득하여, 보간된 프레임들과 원본 프레임간의 블록별 유사도를 연산하여 그 비교 결과에 따라 적절한 보간 방식을 블록별로 선택할 수 있다. 그리고, 움직임 정보 추정 장치(100)는 선택된 보간 방식을 각 블록에 대응시켜 저장할 수 있다. 또한, 움직임 정보 추정 장치(100)는 움직임 정보를 포함하는 보간 정보를 생성하여, 보간 처리 장치(200)로 출력할 수 있다.In addition, the motion information estimation apparatus 100 acquires motion information according to each interpolation method, calculates the degree of similarity between the interpolated frames and the original frame, and selects an appropriate interpolation method on a block-by-block basis according to the comparison result . Then, the motion information estimation apparatus 100 can store the selected interpolation method in association with each block. The motion information estimation apparatus 100 can also generate interpolation information including motion information and output it to the interpolation processing apparatus 200. [

한편, 보간 처리 장치(200)는 보간 정보로부터 움직임 정보를 식별하고, 식별된 움직임 정보에 기초하여 각 보간 대상 블록에 대응되는 영상 블록을 입력 영상으로부터 보간하여 중간 블록을 생성하며, 생성된 중간 블록들을 이용하여 중간 프레임을 출력함으로써 영상 보간을 완료하는 역할을 수행한다.
On the other hand, the interpolation processing device 200 identifies the motion information from the interpolation information, generates an intermediate block by interpolating the image block corresponding to each of the interpolation object blocks from the input image based on the identified motion information, And outputs the intermediate frame to complete the image interpolation.

이하에서는, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)의 구성 및 동작을 보다 상세하게 설명하도록 한다.
Hereinafter, the configuration and operation of the motion information estimation apparatus 100 according to the embodiment of the present invention will be described in more detail.

도 2는 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)의 구성을 설명하기 위한 블록도이다.2 is a block diagram illustrating a configuration of an apparatus 100 for estimating motion information according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)는 영상 프레임들이 시계열적으로 입력되는 입력부(105), 제1 비교부(110), 제2 비교부(120), 제3 비교부(130), 움직임 정보 생성부(140) 및 저장부(150)를 포함하고, 움직임 정보 생성부(140)는 보간 방식 선택부(141) 및 움직임 정보 결정부(143)를 포함한다.2, an apparatus 100 for estimating motion information according to an exemplary embodiment of the present invention includes an input unit 105 for inputting image frames in a time-series manner, a first comparing unit 110, a second comparing unit 120, The motion information generating unit 140 includes an interpolation method selecting unit 141 and a motion information determining unit 143. The motion estimating unit 140 includes a motion estimating unit 140, do.

입력부(105)는 시계열적으로 입력되는 영상 프레임들을 수신한다. 영상 프레임들은 제1 프레임, 제2 프레임 및 제3 프레임을 포함할 수 있다. 제1 프레임, 제2 프레임 및 제3 프레임은 시간 순서에 따라 순서적으로 배열되는 복수의 영상 프레임들일 수 있다. 프레임 율 보간이 수행되면, 제1 프레임 및 제2 프레임 사이에 보간된 중간 프레임이 생성될 수 있고, 제2 프레임 및 제3 프레임 사이에 보간된 중간 프레임이 다시 생성될 수 있다. 이와 같이 시계열적으로 입력되는 영상 프레임들에서 프레임 율이 보간되면, 시간적으로 중간에 위치하는 중간 프레임들이 더 생성되어 삽입되어야 한다.The input unit 105 receives image frames input in a time series. The image frames may include a first frame, a second frame, and a third frame. The first frame, the second frame, and the third frame may be a plurality of image frames arranged in order according to a time sequence. When frame rate interpolation is performed, an interpolated intermediate frame between the first frame and the second frame may be generated, and an interpolated intermediate frame between the second frame and the third frame may be generated again. When the frame rate is interpolated in the time-series input image frames, intermediate frames located in the middle of time are generated and inserted.

한편, 제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.On the other hand, the first comparator 110 performs bidirectional interpolation using both the first frame and the third frame temporally positioned in both directions with reference to the second frame, generates a first interpolation block, Compare with the original block of 2 frames.

제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며, 상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성할 수 있다.The first comparing unit 110 may acquire first motion information corresponding to a specific block from the first frame temporally preceding the second frame with reference to the second frame, The third motion information corresponding to the specific block is obtained from the third frame, and the first interpolation block may be generated based on the average value of the first motion information and the third motion information.

따라서, 제1 비교부(110)는 제1 프레임 및 제3 프레임으로부터 양 방향으로 추정되는 움직임 정보의 평균값을 이용하여 보간을 수행함으로써, 제1 보간 블록을 획득할 수 있다. 제1 비교부(110)는 제1 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제1 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제1 비교부(110)는 양 방향 보간을 통해 획득되는 제1 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.Accordingly, the first comparison unit 110 can obtain the first interpolation block by performing the interpolation using the average value of the motion information estimated in both directions from the first frame and the third frame. The first comparing unit 110 may extract the original block at the same position as the first interpolation block from the second frame and obtain similarity information by comparing the original block with the first interpolation block. The similarity information may be obtained, for example, by SAD (SUM OF ABSOLUTE DIFFERENCE) or PEEK TO NOISE RATIO (PSNR) operation between pixels included in each block. In this manner, the first comparing unit 110 can output the comparison result between the first interpolation block obtained through the bidirectional interpolation and the original block.

그리고, 제2 비교부(120)는 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.The second comparison unit 120 performs interpolation using only the first frame, generates a second interpolation block, and compares the second interpolation block with the original block of the second frame.

여기서, 제2 비교부(120)는 상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제1 보간 블록을 생성함으로써, 제1 프레임으로부터 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제2 보간 블록을 획득할 수 있다.Here, the second comparison unit 120 generates the first interpolation block based on the first motion information corresponding to a specific block from the first frame temporally preceding the second frame with respect to the second frame, The second interpolation block can be obtained by performing the interpolation using only the motion information estimated in one direction from the first interpolation block.

예를 들어, 제2 비교부(120)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 상기 원본 블록을 제2 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 전술한 바와 같이, 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제2 비교부(110)는 제1 프레임으로부터의 일 방향 보간을 통해 획득되는 제2 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.For example, the second comparison unit 120 may extract the original block at the same position as the second interpolation block from the second frame, and compare the original block with the second interpolation block to obtain the similarity information . As described above, the similarity information may be obtained, for example, by a SUM OF ABSOLUTE DIFFERENCE (SAD) or a PEEK TO NOISE RATIO (PSNR) operation between pixels included in each block. In this way, the second comparison unit 110 can output the comparison result between the second interpolation block obtained through the one-directional interpolation from the first frame and the original block.

또한, 제3 비교부(130)는 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.Also, the third comparing unit 130 performs interpolation using only the third frame, generates a third interpolation block, and compares the third interpolation block with the original block of the second frame.

여기서, 제3 비교부(130)는 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성할 수 있다.Here, the third comparison unit 130 may generate the third interpolation block based on the third motion information corresponding to the specific block from the third frame temporally behind the second frame.

예를 들어, 제3 비교부(130)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 상기 원본 블록을 제3 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 마찬가지로, 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제3 비교부(130)는 제3 프레임으로부터의 다른 일 방향 보간을 통해 획득되는 제3 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.For example, the third comparison unit 130 may extract the original block at the same position as the second interpolation block from the second frame, and compare the original block with the third interpolation block to obtain the similarity information . Likewise, the similarity information may be obtained, for example, by a SUM OF ABSOLUTE DIFFERENCE (SAD) or a PEEK TO NOISE RATIO (PSNR) operation between pixels included in each block. In this manner, the third comparison unit 130 can output the comparison result between the third interpolation block obtained through the other one-directional interpolation from the third frame and the original block.

한편, 움직임 정보 생성부(140)는 상기 제1 비교부(110), 제2 비교부(120) 및 제3 비교부(130)의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성한다. 여기서, 상기 보간 대상 블록은 시간적으로 상기 제1 프레임 및 상기 제2 프레임 사이에 위치한 적어도 하나의 중간 프레임에 포함된 블록일 수 있다.On the other hand, the motion information generating unit 140 selects the interpolation method having the highest degree of similarity based on the comparison result of the first comparing unit 110, the second comparing unit 120, and the third comparing unit 130 , And generates motion information corresponding to the block to be interpolated based on the image frames and the selected interpolation method. Here, the interpolation target block may be a block included in at least one intermediate frame located between the first frame and the second frame in terms of time.

따라서, 움직임 정보 생성부(140)는 상기 제1 보간 블록, 상기 제2 보간 블록 및 상기 제3 보간 블록과 원본 블록과의 유사도 비교 결과에 따라 적어도 하나의 보간 기준 프레임 위치를 선택할 수 있다. Therefore, the motion information generation unit 140 can select at least one interpolation reference frame position according to the result of the similarity comparison between the first interpolation block, the second interpolation block, and the third interpolation block and the original block.

예를 들어, 제1 비교부(110)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 양 방향에 위치한 두 프레임일 수 있다.For example, when it is determined that the degree of similarity output from the first comparison unit 110 is the highest, the interpolation reference frame corresponding to the block may be two frames positioned in both directions in a time series from the intermediate frame as the interpolation object frame .

또한, 제2 비교부(120)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 앞 방향에 위치한 하나의 프레임일 수 있다.If it is determined that the degree of similarity output from the second comparison unit 120 is the highest, the interpolation reference frame corresponding to the block may be one frame located in the forward direction in time series from the intermediate frame as the interpolation object frame.

그리고, 제3 비교부(130)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 뒤 방향에 위치한 하나의 프레임일 수 있다.If it is determined that the degree of similarity output from the third comparison unit 130 is the highest, the interpolation reference frame corresponding to the block may be one frame positioned backward in time from the intermediate frame as the interpolation object frame.

그리고, 저장부(150)는 상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 보간 정보로서 저장한다. 저장된 보간 정보는 보간 대상 블록의 위치 정보와 함께 보간 처리 장치(200)로 전달될 수 있다.The storage unit 150 stores the selected interpolation method information as interpolation information corresponding to the position information of the block to be interpolated. The stored interpolation information may be transmitted to the interpolation processing device 200 together with the position information of the block to be interpolated.

저장부(150)는 움직임 정보 추정 장치(100)의 동작을 위한 프로그램 또는 정보를 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The storage unit 150 may store a program or information for operation of the motion information estimation apparatus 100, and temporarily store input / output data. The storage unit 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) A random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) A magnetic disk, and / or an optical disk.

이와 같은 움직임 정보 추정 장치(100)의 구성에 따라, 입력된 영상의 블록별로 가장 유사도가 높은 보간 방식을 선택할 수 있으며, 그 보간 방식에 따라 양 방향, 일 방향 또는 다른 일 방향으로의 보간을 적응적으로 수행함으로써, 실제와 가까운 움직임 정보를 추정할 수 있고, 프레임 율 변환을 위한 영상의 중간 프레임 보간의 성능을 향상시킬 수 있다.
According to the configuration of the motion information estimation apparatus 100, the interpolation method having the highest degree of similarity can be selected for each block of the inputted image, and the interpolation in both directions, one direction or another direction can be adapted It is possible to estimate motion information that is close to the actual motion and improve the performance of the intermediate frame interpolation for the frame rate conversion.

도 3은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a motion information estimation method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)는 입력되는 영상 프레임들을 시계열적으로 수신한다(S101).Referring to FIG. 3, the motion information estimation apparatus 100 according to an exemplary embodiment of the present invention receives input image frames in a time series manner (S101).

그리고, 움직임 정보 추정 장치(100)는 보간 대상 블록 및 위치 정보에 대한 인덱싱을 수행한다(S103).Then, the motion information estimation apparatus 100 performs indexing on the block to be interpolated and the position information (S103).

움직임 정보 추정 장치(100)는 원본 영상의 프레임들로부터 각각의 보간 대상 프레임들을 식별하고, 각 보간 대상 프레임에 포함된 블록들에 대응되는 위치 정보를 인덱싱할 수 있다. 인덱싱을 통해 보간 대상 프레임에 포함되는 보간 대상 블록들의 위치별로 보간이 수행될 수 있다.The motion information estimation apparatus 100 can identify each of the interpolation object frames from the frames of the original image and index the position information corresponding to the blocks included in each of the interpolation object frames. Interpolation can be performed for each position of the interpolation target blocks included in the interpolation object frame through indexing.

다음으로, 움직임 정보 추정 장치(100)는 제1 프레임 및 제3 프레임을 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 획득한다(S105).Next, the motion information estimation apparatus 100 performs bidirectional interpolation using the first frame and the third frame, and acquires a first interpolation block (S105).

전술한 바와 같이, 제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성할 수 있다. As described above, the first comparing unit 110 performs bidirectional interpolation using both the first frame and the third frame temporally positioned in both directions with reference to the second frame, and generates a first interpolation block can do.

예를 들어, 제1 비교부(110)는 제1 프레임 및 제3 프레임으로부터 양 방향으로 추정되는 움직임 정보의 평균값을 이용하여 보간을 수행함으로써, 제1 보간 블록을 획득할 수 있다. 보다 구체적으로, 제1 비교부(110)는 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며, 상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성할 수 있다.For example, the first comparison unit 110 may obtain the first interpolation block by performing the interpolation using the average value of the motion information estimated in both directions from the first frame and the third frame. More specifically, the first comparison unit 110 obtains first motion information corresponding to a specific block from the first frame, and outputs the first motion information to the specific block from the third frame temporally behind the second frame Acquire the corresponding third motion information, and generate the first interpolation block based on the average value of the first motion information and the third motion information.

그리고, 움직임 정보 추정 장치(100)는 제2 프레임의 원본 블록과 상기 제1 보간 블록을 비교하여 유사도를 산출한다(S107).Then, the motion information estimation apparatus 100 compares the original block of the second frame with the first interpolation block to calculate the similarity (S107).

제1 비교부(110)는 제1 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제1 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.The first comparing unit 110 may extract the original block at the same position as the first interpolation block from the second frame and obtain similarity information by comparing the original block with the first interpolation block.

따라서, 제1 비교부(110)는 원본 프레임의 원본 블록과 상술한 제1 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.Accordingly, the first comparison unit 110 may calculate the similarity by comparing the original block of the original frame with the first interpolation block. The degree of similarity can be calculated using at least one of the above-described SAD or PSNR, for example.

다음으로, 움직임 정보 추정 장치(100)는 제1 프레임을 이용하여 일 방향 보간을 수행하고, 제2 보간 블록을 획득한다(S105).Next, the motion information estimation apparatus 100 performs one-directional interpolation using the first frame and acquires a second interpolation block (S105).

전술한 바와 같이, 제2 비교부(120)는 상기 제2 프레임을 기준으로 시간적으로 앞 방향에 위치한 제1 프레임을 함께 이용하여 일 방향 보간을 수행하고, 제2 보간 블록을 생성할 수 있다. As described above, the second comparison unit 120 may perform the one-directional interpolation using the first frame temporally positioned in the forward direction with reference to the second frame, and may generate the second interpolation block.

예를 들어, 제2 비교부(110)는 제1 프레임으로부터 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제2 보간 블록을 획득할 수 있다. For example, the second comparison unit 110 can obtain the second interpolation block by performing interpolation using only motion information estimated in one direction from the first frame.

보다 구체적으로, 제2 비교부(120)는 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제1 움직임 정보에만 기초하여 상기 제2 보간 블록을 생성할 수 있다.More specifically, the second comparing unit 120 may acquire first motion information corresponding to a specific block from the first frame, and may generate the second interpolation block based only on the first motion information.

그리고, 움직임 정보 추정 장치(100)는 제2 프레임의 원본 블록과 상기 제2 보간 블록을 비교하여 유사도를 산출한다(S109).Then, the motion information estimation apparatus 100 compares the original block of the second frame with the second interpolation block to calculate the similarity (S109).

마찬가지로, 제2 비교부(120)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제2 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.Similarly, the second comparison unit 120 can extract the original block at the same position as the second interpolation block from the second frame described above, and obtain the similarity information by comparing with the second interpolation block.

따라서, 제2 비교부(120)는 원본 프레임의 원본 블록과 상술한 제2 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.Accordingly, the second comparison unit 120 can calculate the similarity by comparing the original block of the original frame with the second interpolation block. The degree of similarity can be calculated using at least one of the above-described SAD or PSNR, for example.

이후, 움직임 정보 추정 장치(100)는 제3 프레임을 이용하여 다른 일 방향 보간을 수행하고, 제3 보간 블록을 획득한다(S111).Thereafter, the motion information estimation apparatus 100 performs another one-directional interpolation using the third frame and obtains the third interpolation block (S111).

전술한 바와 같이, 제3 비교부(130)는 상기 제2 프레임을 기준으로 시간적으로 뒤 방향에 위치한 제3 프레임을 함께 이용하여 다른 일 방향 보간을 수행하고, 제3 보간 블록을 생성할 수 있다. As described above, the third comparison unit 130 may perform another one-directional interpolation using the third frame located temporally backward with respect to the second frame as a reference, and generate a third interpolation block .

예를 들어, 제3 비교부(130)는 제3 프레임으로부터 다른 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제3 보간 블록을 획득할 수 있다. For example, the third comparing unit 130 can obtain the third interpolation block by performing interpolation using only the motion information estimated in the other direction from the third frame.

보다 구체적으로, 제3 비교부(130)는 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보를 획득하고, 상기 제3 움직임 정보에만 기초하여 상기 제3 보간 블록을 생성할 수 있다.More specifically, the third comparing unit 130 may acquire third motion information corresponding to a specific block from the third frame, and may generate the third interpolation block based only on the third motion information.

그리고, 움직임 정보 추정 장치(100)는 제2 프레임의 원본 블록과 상기 제3 보간 블록을 비교하여 유사도를 산출한다(S115).Then, the motion information estimation apparatus 100 compares the original block of the second frame with the third interpolation block to calculate the similarity (S115).

마찬가지로, 제3 비교부(130)는 제3 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제3 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.Similarly, the third comparing unit 130 can extract the original block at the same position as the third interpolation block from the second frame, and obtain the similarity information by comparing with the third interpolation block.

따라서, 제3 비교부(130)는 원본 프레임의 원본 블록과 상술한 제3 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.Accordingly, the third comparison unit 130 can calculate the similarity by comparing the original block of the original frame with the above-described third interpolation block. The degree of similarity can be calculated using at least one of the above-described SAD or PSNR, for example.

이후, 움직임 정보 추정 장치(100)는 산출된 유사도에 따라 보간 방식을 선택한다(S117).Thereafter, the motion information estimation apparatus 100 selects the interpolation method according to the calculated similarity (S117).

보간 방식 선택부(141)는 유사도가 가장 높게 나타나는 비교부를 선택함으로써 보간 방식을 선택할 수 있다. The interpolation method selector 141 can select an interpolation method by selecting a comparator having the highest similarity.

예를 들어, 보간 방식 선택부(141)는 제1 비교부(110)의 유사도가 가장 높은 경우, 보간 방식을 양 방향 보간 방식으로 선택할 수 있다.For example, the interpolation method selection unit 141 can select the interpolation method as the bi-directional interpolation method when the degree of similarity of the first comparison unit 110 is the highest.

또한, 보간 방식 선택부(141)는 제2 비교부(120)의 유사도가 가장 높은 경우, 보간 방식을 전 프레임으로부터 보간 대상 중간 프레임으로의 일 방향 보간 방식으로 선택할 수 있다.If the degree of similarity of the second comparison unit 120 is the highest, the interpolation scheme selection unit 141 can select the interpolation scheme as a one-direction interpolation scheme from the previous frame to the intermediate frame to be interpolated.

또한, 보간 방식 선택부(141)는 제3 비교부(130)의 유사도가 가장 높은 경우, 보간 방식을 뒤 프레임으로부터 보간 대상 중간 프레임으로의 다른 일 방향 보간 방식으로 선택할 수 있다.If the degree of similarity of the third comparison unit 130 is the highest, the interpolation scheme selection unit 141 can select the interpolation scheme as another one-direction interpolation scheme from the subsequent frame to the interpolation object intermediate frame.

보간 방식이 선택되면, 움직임 정보 추정 장치(100)는 보간 방식에 따라 보간 대상 블록에 대응되는 움직임 정보를 추출한다(S119). If the interpolation method is selected, the motion information estimation apparatus 100 extracts motion information corresponding to the block to be interpolated according to the interpolation method (S119).

이와 같이, 유사도에 따라 선택된 보간 방식으로 추출된 움직임 정보는 실제 움직임 정보와 동일성 있는 정보일 수 있다.As described above, the motion information extracted by the interpolation method selected according to the degree of similarity may be the same information as the actual motion information.

그리고, 추출된 움직임 정보 및 유사도 정보는 저장부(150)에 저장되어 활용되거나, 보간 처리 장치(200)로 전달되어, 실제 중간 프레임 보간에 이용될 수 있다.The extracted motion information and similarity information may be stored in the storage unit 150 or transmitted to the interpolation processing unit 200 and may be used for actual intermediate frame interpolation.

이후, 움직임 정보 추정 장치(100)는 보간 대상 블록이 프레임 내 마지막 블록의 마지막 위치인지를 판단한다(S121). 마지막 블록의 마지막 위치인 경우, 움직임 정보 추정을 종료하고, 그렇지 않은 경우 다시 보간 대상 블록 및 위치 정보 인덱싱을 수행하여 그 다음 보간 대상 블록 또는 다음 위치에 대한 S105 내지 S119 단계를 수행하도록 제어한다.Thereafter, the motion information estimation apparatus 100 determines whether the current block to be interpolated is the last position of the last block in the frame (S121). If it is the last position of the last block, the motion information estimation is terminated. Otherwise, the block to be interpolated and the position information indexing are performed again to control the steps S105 to S119 for the next block or next position to be interpolated.

도 4 내지 도 6은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 도식화하여 설명하기 위한 도면들이다.FIGS. 4 to 6 are diagrams illustrating a motion information estimation method according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 제1 비교부(110)에서 생성되는 양 방향 보간 방식에 의한 제1 보간 블록을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이, 제1 비교부(110)는 시계열적으로 배열되는 제1 프레임, 제2 프레임 및 제3 프레임 중, 중간에 위치한 제2 프레임에 대해 원본 블록을 지정할 수 있다.4 is a view for explaining a first interpolation block by a bi-directional interpolation method generated by the first comparing unit 110 according to the embodiment of the present invention. As shown in FIG. 4, the first comparing unit 110 may designate an original block for a second frame located in the middle of a first frame, a second frame, and a third frame that are arranged in a time series.

그리고, 제1 비교부(110)는 제2 프레임의 전, 후에 위치한 제1 프레임과 제3 프레임으로부터 각각 보간을 수행한 값의 평균값을 연산하여 얻어지는 제1 움직임 정보에 기초하여, 제1 보간 블록을 생성할 수 있다.Based on the first motion information obtained by calculating an average of the values obtained by interpolating from the first frame and the third frame positioned before and after the second frame, Can be generated.

이후, 제1 비교부(110)는 도 4에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제1 유사도를 획득할 수 있다.Then, as shown in FIG. 4, the first comparison unit 110 may obtain the first similarity as a comparison result through comparison of similarity with the original block designated previously.

도 5는 본 발명의 실시 예에 따른 제2 비교부(120)에서 생성되는 일 방향 보간 방식에 의한 제2 보간 블록을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 제2 비교부(120)는 제2 프레임에 대해 원본 블록을 지정할 수 있다.5 is a diagram for explaining a second interpolation block by the unidirectional interpolation method generated by the second comparison unit 120 according to the embodiment of the present invention. As shown in FIG. 5, the second comparison unit 120 may designate the original block for the second frame.

그리고, 제2 비교부(120)는 제2 프레임의 전에 위치한 제1 프레임으로부터 일 방향으로 보간을 수행한 결과로 얻어지는 제2 움직임 정보에 기초하여, 제2 보간 블록을 생성할 수 있다.The second comparison unit 120 can generate the second interpolation block based on the second motion information obtained as a result of performing the interpolation in one direction from the first frame positioned before the second frame.

이후, 제2 비교부(120)는 도 5에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제2 유사도를 획득할 수 있다.Then, as shown in FIG. 5, the second comparison unit 120 may obtain the second similarity as a comparison result through comparison of similarity with the original block designated previously.

도 6은 본 발명의 실시 예에 따른 제3 비교부(130)에서 생성되는 다른 일 방향 보간 방식에 의한 제3 보간 블록을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 제3 비교부(130)는 시계열적으로 배열되는 제1 프레임, 제2 프레임 및 제3 프레임 중, 중간에 위치한 제2 프레임에 대해 원본 블록을 지정할 수 있다.FIG. 6 is a diagram for explaining a third interpolation block by another one-direction interpolation method generated by the third comparison unit 130 according to the embodiment of the present invention. As shown in FIG. 6, the third comparing unit 130 may designate a source block for a second frame located in the middle of the first frame, the second frame and the third frame that are arranged in a time series.

그리고, 제3 비교부(130)는 제2 프레임의 후에 위치한 제3 프레임으로부터 다른 일 방향으로 보간을 수행한 결과로 얻어지는 제3 움직임 정보에 기초하여 제3 보간 블록을 생성할 수 있다.The third comparing unit 130 may generate the third interpolation block based on the third motion information obtained as a result of performing the interpolation in the other direction from the third frame located after the second frame.

이후, 제3 비교부(130)는 도 6에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제3 유사도를 획득할 수 있다.Then, as shown in FIG. 6, the third comparing unit 130 may obtain the third similarity as the comparison result through comparing the similarity with the original block designated previously.

그리고, 보간 방식 선택부(141)는 이와 같이 획득되는 제1 유사도, 제2 유사도 및 제3 유사도를 비교하여, 특정 블록에 대해 가장 높은 유사도를 갖는 보간 방식을 선택할 수 있으며, 해당 블록에 대응되는 위치 정보와 보간 방식을 포함하는 보간 정보를 생성하여 저장하거나, 움직임 정보 결정부(143)로 전달할 수 있다. 움직임 정보 결정부(143)는 보간 정보에 기초하여 각각의 프레임 사이에 생성되는 중간 프레임들의 움직임 정보를 추정할 수 있다.The interpolation method selector 141 can select the interpolation method having the highest degree of similarity for the specific block by comparing the first similarity, the second similarity, and the third similarity thus obtained, The interpolation information including the position information and the interpolation method may be generated and stored or may be transmitted to the motion information determination unit 143. [ The motion information determination unit 143 may estimate the motion information of the intermediate frames generated between the respective frames based on the interpolation information.

이 때, 도 4 내지 도 6 각각에 도시된 바와 같이, 제1 프레임 및 제2 프레임 사이에 위치한 중간 프레임의 움직임 정보 추정에 있어서, 앞서 판단된 보간 방식이 동일하게 이용될 수 있다. 따라서, 움직임 정보 추정 장치(100)에서 출력되는 움직임 정보는 실제 중간 프레임의 보간에 그대로 이용될 수 있으며, 실제에 가까운 움직임 벡터 복원 및 이를 이용한 원본 영상 복원을 가능하게 한다.
In this case, as shown in FIGS. 4 to 6, in the motion information estimation of the intermediate frame located between the first frame and the second frame, the previously determined interpolation method can be used equally. Therefore, the motion information output from the motion information estimation apparatus 100 can be used as it is for interpolation of the actual intermediate frame, and restoration of the motion vector close to the actual motion and restoration of the original image using the motion vector can be performed.

도 7 내지 도 9는 본 발명의 실시 예에 따른 움직임 정보 추정 장치의 움직임 정보 추정 예를 설명하기 위한 도면들이다.7 to 9 are views for explaining an example of motion information estimation in the motion information estimation apparatus according to the embodiment of the present invention.

도 7은 제1 비교부(110)에서 제1 프레임 및 제3 프레임의 양 방향 보간을 수행하여 생성되는 제1 보간 프레임(제1 보간 블록의 집합)의 특정 블록과 원본인 제2 프레임의 원본 블록을 비교하여 획득되는 유사도가 35인 것을 나타낸다.FIG. 7 is a diagram illustrating an example of a structure of a specific block of a first interpolation frame (a set of first interpolation blocks) generated by performing a bidirectional interpolation between a first frame and a third frame in the first comparison unit 110, And the degree of similarity obtained by comparing the blocks is 35.

도 8은 제2 비교부(120)에서 제1 프레임으로부터의 일 방향 보간을 수행하여 생성되는 제2 보간 프레임(제2 보간 블록의 집합)의 특정 블록과 원본인 제2 프레임의 원본 블록을 비교하여 획득되는 유사도가 33인 것을 나타낸다.FIG. 8 is a view for comparing a specific block of a second interpolation frame (a set of second interpolation blocks) generated by performing a one-directional interpolation from the first frame in the second comparison unit 120 with an original block of the second frame as an original And the degree of similarity obtained is 33.

도 9는 제3 비교부(130)에서 제1 프레임으로부터의 일 방향 보간을 수행하여 생성되는 제3 보간 프레임(제3 보간 블록의 집합)의 특정 블록과 원본인 제3 프레임의 원본 블록을 비교하여 획득되는 유사도가 32인 것을 나타낸다.9 compares a specific block of a third interpolation frame (a set of third interpolation blocks) generated by performing a one-directional interpolation from the first frame in the third comparison unit 130 with an original block of the third frame as an original And the degree of similarity obtained is 32.

도 7 내지 도 9와 같이 유사도가 판별된 경우, 결과적으로 보간 방식 선택부(141)는 이와 같이 획득되는 유사도가 가장 높은 제1 비교부(110)의 보간 방식인 양 방향 보간을 선택할 수 있다. 그리고, 보간 방식 선택부(141)는 해당 블록에 대응되는 위치 정보와 양 방향 보간 방식 정보를 포함하는 보간 정보를 생성하여 저장하거나, 움직임 정보 결정부(143)로 전달할 수 있다. 움직임 정보 결정부(143)는 보간 정보에 기초하여, 보간 대상 블록 부분에 대해, 상기 제1 프레임과 상기 제2 프레임 사이에 생성되는 중간 프레임의 움직임 정보를 양 방향 보간 방식으로 추정하여 출력할 수 있다.
As a result, when the similarity is determined as shown in FIGS. 7 to 9, the interpolation method selector 141 can select the two-direction interpolation, which is the interpolation method of the first comparator 110 having the highest degree of similarity thus obtained. The interpolation method selection unit 141 may generate and store interpolation information including positional information and bidirectional interpolation method information corresponding to the block, or may transmit the interpolation information to the motion information determination unit 143. Based on the interpolation information, the motion information determination unit 143 estimates and outputs the motion information of the intermediate frame generated between the first frame and the second frame in the bidirectional interpolation method with respect to the current block to be interpolated have.

도 10 및 도 11은 본 발명의 실시 예에 따른 움직임 정보 추정 장치로부터 출력되는 움직임 정보에 의해 보간된 영상의 화질을 종래 기술과 비교 설명하기 위한 도면들이다.FIGS. 10 and 11 are diagrams for comparing image quality of an image interpolated by the motion information outputted from the motion information estimation apparatus according to an embodiment of the present invention, with those of the prior art.

도 10(A)는 기존의 움직임 정보 추정 방식을 이용하여 프레임 율 보간된 영상의 중간 프레임을 나타내며, 도 10(B)는 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)에 의해 출력되는 움직임 정보를 이용하여 획득되는 프레임 율 보간된 영상의중간 프레임을 나타낸다.
FIG. 10A shows an intermediate frame of the frame-rate interpolated image using the existing motion information estimation method. FIG. 10B shows an intermediate frame of the frame-rate interpolated image outputted by the motion information estimation apparatus 100 according to the embodiment of the present invention Frame rate obtained by using motion information represents an intermediate frame of an interpolated image.

도 10에 도시된 바와 같이, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)는 실제와 동일성 있는 움직임 정보를 추정할 수 있기 때문에 기존의 방식보다 화질 열화를 줄일 수 있음을 확인할 수 있다.As shown in FIG. 10, since the motion information estimation apparatus 100 according to the embodiment of the present invention can estimate the motion information that is the same as the actual motion information, it can be confirmed that image quality degradation can be reduced compared to the conventional method.

또한, 도 11은 도 10의 영상 일부(300, 400)를 각각 확대한 것으로, 도 10에 도시된 바와 같이, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)에서는 기존에 존재하던 화질 열화 부분이 사라짐을 확인할 수 있다.10, the motion information estimating apparatus 100 according to the embodiment of the present invention, as shown in FIG. 10, enlarges the image portions 300 and 400 of FIG. 10, The part disappears.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention may be implemented as a program for execution on a computer and stored in a computer-readable recording medium. Examples of the computer-readable recording medium include a ROM, a RAM, a CD- , A floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet).

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

100: 움직임 벡터 추정 장치
105: 입력부
110: 제1 비교부
120: 제2 비교부
130: 제3 비교부
141: 보간 방식 선택부
143: 움직임 정보 결정부
150: 저장부
200: 보간 처리 장치100: a motion vector estimation device
105: Input unit
110:
120:
130: third comparator
141: Interpolation method selector
143: Motion information determination unit
150:
200: interpolation processing device

Claims (15)

프레임 율 변환을 위한 움직임 정보 추정 장치에 있어서,
제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 입력부;
상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제1 비교부;
상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제2 비교부;
상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제3 비교부; 및
상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 유사도에 따른 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 움직임 정보 생성부를 포함하는 프레임 율 변환을 위한 움직임 정보 추정 장치.A motion information estimating apparatus for frame rate conversion,
An input unit for inputting image frames including a first frame, a second frame, and a third frame in a time-series manner;
A first interpolation unit for performing bidirectional interpolation using both the first frame and the third frame temporally positioned in both directions based on the second frame and generating a first interpolation block to compare the first interpolation block with the original block of the second frame, A comparator;
A second comparison unit for performing interpolation using only the first frame, generating a second interpolation block and comparing the generated second interpolation block with an original block of the second frame;
A third comparing unit for performing interpolation using only the third frame, generating a third interpolation block and comparing the third interpolation block with the original block of the second frame, And
And a second interpolation unit that selects an interpolation scheme according to the degree of similarity based on the comparison result of the first comparison unit, the second comparison unit, and the third comparison unit, and determines, based on the image frames and the selected interpolation scheme, motion information And a motion information generating unit for generating a motion information of the frame based on the motion information. 제1항에 있어서,
상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 저장하는 저장부를 더 포함하는 움직임 정보 추정 장치.The method according to claim 1,
And a storage unit for storing the selected interpolation scheme information corresponding to the position information of the block to be interpolated. 제1항에 있어서,
상기 보간 대상 블록은 시간적으로 상기 제1 프레임 및 상기 제2 프레임 사이에 위치한 적어도 하나의 중간 프레임에 포함된 블록인 것을 특징으로 하는 움직임 정보 추정 장치.The method according to claim 1,
Wherein the interpolation target block is a block included in at least one intermediate frame located between the first frame and the second frame in terms of time. 제1항에 있어서,
상기 제1 비교부는,
상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고,
상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며,
상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성하는
움직임 정보 추정 장치.The method according to claim 1,
Wherein the first comparison unit comprises:
Acquiring first motion information corresponding to a specific block from the first frame temporally preceding the second frame,
Acquiring third motion information corresponding to the specific block from the third frame temporally behind the second frame,
And generates the first interpolation block based on the average value of the first motion information and the third motion information
A motion information estimating apparatus. 제1항에 있어서,
상기 제2 비교부는,
상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제1 보간 블록을 생성하는
움직임 정보 추정 장치.The method according to claim 1,
Wherein the second comparison unit comprises:
Generates the first interpolation block based on first motion information corresponding to a specific block from the first frame temporally preceding the second frame
A motion information estimating apparatus. 제1항에 있어서,
상기 제3 비교부는,
상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성하는
움직임 정보 추정 장치.The method according to claim 1,
Wherein the third comparison unit comprises:
The third interpolation block is generated based on third motion information corresponding to a specific block from the third frame temporally behind the second frame
A motion information estimating apparatus. 제1항에 있어서,
상기 움직임 정보 생성부는
상기 제1 보간 블록, 상기 제2 보간 블록 및 상기 제3 보간 블록과 원본 블록과의 유사도 비교 결과에 따라 적어도 하나의 보간 기준 프레임 위치를 선택하는
움직임 정보 추정 장치.The method according to claim 1,
The motion information generation unit
At least one interpolation reference frame position is selected according to a result of the similarity comparison between the first interpolation block, the second interpolation block, and the third interpolation block and the original block
A motion information estimating apparatus. 프레임 율 변환을 위한 움직임 정보 추정 방법에 있어서,
제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 단계;
상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계;
상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임과 원본 블록과 비교하는 단계;
상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임과 원본 블록과 비교하는 단계; 및
각각의 비교 결과에 기초하여, 유사도에 따른 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 단계를 포함하는 프레임 율 변환을 위한 움직임 정보 추정 방법.A motion information estimation method for frame rate conversion,
Comprising: inputting image frames including a first frame, a second frame, and a third frame in a time-series manner;
Performing bi-directional interpolation using a first frame and a third frame temporally positioned in both directions with reference to the second frame, generating a first interpolation block and comparing the generated first interpolation block with an original block of the second frame;
Performing interpolation using only the first frame, generating a second interpolation block, and comparing the second frame with the original block;
Performing interpolation using only the third frame, generating a third interpolation block, and comparing the second frame with the original block; And
Selecting an interpolation scheme according to the degree of similarity based on each comparison result and generating motion information corresponding to the block to be interpolated based on the image frames and the selected interpolation scheme, Information estimation method. 제8항에 있어서,
상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 저장하는 단계를 더 포함하는
움직임 정보 추정 방법.9. The method of claim 8,
And storing the selected interpolation method information corresponding to the position information of the block to be interpolated
Motion information estimation method. 제8항에 있어서,
상기 보간 대상 블록은 시간적으로 상기 제1 프레임 및 상기 제2 프레임 사이에 위치한 적어도 하나의 중간 프레임에 포함된 블록인 것을 특징으로 하는 움직임 정보 추정 방법.9. The method of claim 8,
Wherein the interpolation target block is a block included in at least one intermediate frame located between the first frame and the second frame in terms of time. 제8항에 있어서,
제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하는 단계;
상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하는 단계; 및
상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성하는 단계를 포함하는
움직임 정보 추정 방법.9. The method of claim 8,
Generating a first interpolation block and comparing the first interpolation block with an original block of the second frame,
Obtaining first motion information corresponding to a specific block from the first frame temporally preceding the second frame;
Obtaining third motion information corresponding to the specific block from the third frame temporally behind the second frame; And
And generating the first interpolation block based on an average value of the first motion information and the third motion information
Motion information estimation method. 제8항에 있어서,
상기 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제1 보간 블록을 생성하는 단계를 포함하는
움직임 정보 추정 방법.9. The method of claim 8,
And generating the second interpolation block and comparing the second interpolation block with the original block of the second frame,
And generating the first interpolation block based on first motion information corresponding to a specific block from the first frame temporally preceding the second frame with respect to the second frame
Motion information estimation method. 제8항에 있어서,
상기 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성하는 단계를 포함하는
움직임 정보 추정 방법.9. The method of claim 8,
And generating the third interpolation block and comparing the third interpolation block with the original block of the second frame,
And generating the third interpolation block based on third motion information corresponding to a specific block from the third frame temporally behind the second frame
Motion information estimation method. 제8항에 있어서,
상기 움직임 정보를 생성하는 단계는,
상기 제1 보간 블록, 상기 제2 보간 블록 및 상기 제3 보간 블록과 원본 블록과의 유사도 비교 결과에 따라 적어도 하나의 보간 기준 프레임 위치를 선택하는 단계를 포함하는
움직임 정보 추정 방법.9. The method of claim 8,
Wherein the step of generating the motion information comprises:
Selecting at least one interpolation reference frame position according to a result of comparing the degree of similarity between the first interpolation block, the second interpolation block, and the third interpolation block and the original block,
Motion information estimation method. 제8항 내지 제14항에 기재된 방법 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method according to any one of claims 8 to 14.
KR1020140061872A 2014-05-22 2014-05-22 An appratus for estimating a motion vector for frame rate conversion and a method thereof KR101574205B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140061872A KR101574205B1 (en) 2014-05-22 2014-05-22 An appratus for estimating a motion vector for frame rate conversion and a method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061872A KR101574205B1 (en) 2014-05-22 2014-05-22 An appratus for estimating a motion vector for frame rate conversion and a method thereof

Publications (2)

Publication Number Publication Date
KR20150135635A true KR20150135635A (en) 2015-12-03
KR101574205B1 KR101574205B1 (en) 2015-12-04

Family

ID=54867672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061872A KR101574205B1 (en) 2014-05-22 2014-05-22 An appratus for estimating a motion vector for frame rate conversion and a method thereof

Country Status (1)

Country Link
KR (1) KR101574205B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145482A1 (en) 2019-01-11 2020-07-16 Samsung Electronics Co., Ltd. Electronic device for controlling frame rate of image sensor and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692913B2 (en) 2009-10-08 2011-06-01 日本ビクター株式会社 Frame rate conversion apparatus and method
KR101341871B1 (en) 2012-09-12 2014-01-07 포항공과대학교 산학협력단 Method for deblurring video and apparatus thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145482A1 (en) 2019-01-11 2020-07-16 Samsung Electronics Co., Ltd. Electronic device for controlling frame rate of image sensor and method thereof
EP3850826A4 (en) * 2019-01-11 2021-11-24 Samsung Electronics Co., Ltd. Electronic device for controlling frame rate of image sensor and method thereof

Also Published As

Publication number Publication date
KR101574205B1 (en) 2015-12-04

Similar Documents

Publication Publication Date Title
US10404917B2 (en) One-pass video stabilization
US7899122B2 (en) Method, apparatus and computer program product for generating interpolation frame
TWI435608B (en) Apparatus and method for frame rate conversion
US20070230830A1 (en) Apparatus for creating interpolation frame
CN106254885B (en) Data processing system, method of performing motion estimation
US10412462B2 (en) Video frame rate conversion using streamed metadata
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
US20120093231A1 (en) Image processing apparatus and image processing method
US8861603B2 (en) System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video
KR20050061556A (en) Image processing unit with fall-back
KR20130023644A (en) Method and apparatus for image frame interpolation
US8565309B2 (en) System and method for motion vector collection for motion compensated interpolation of digital video
KR101740124B1 (en) An appratus for frame rate conversion and a method thereof
KR101050135B1 (en) Intermediate image generation method using optical information
US8244055B2 (en) Image processing apparatus and method, and program
JP4873765B2 (en) Video signal processing apparatus and video signal processing method
KR101574205B1 (en) An appratus for estimating a motion vector for frame rate conversion and a method thereof
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
KR101574301B1 (en) An appratus for frame rate conversion and a method thereof
JP2009239698A (en) Video image converting device, and video image converting method
KR101740125B1 (en) An appratus for hole interpolation for a frame rate conversioned video and a method thereof
JP6582994B2 (en) Image processing apparatus, image processing method, and program
JP2006215657A (en) Method, apparatus, program and program storage medium for detecting motion vector
KR101215128B1 (en) Method for frame interpolation

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180910

Year of fee payment: 4