KR20090022377A - 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법 - Google Patents

움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법 Download PDF

Info

Publication number
KR20090022377A
KR20090022377A KR1020070087682A KR20070087682A KR20090022377A KR 20090022377 A KR20090022377 A KR 20090022377A KR 1020070087682 A KR1020070087682 A KR 1020070087682A KR 20070087682 A KR20070087682 A KR 20070087682A KR 20090022377 A KR20090022377 A KR 20090022377A
Authority
KR
South Korea
Prior art keywords
motion vector
current block
block
motion
mad
Prior art date
Application number
KR1020070087682A
Other languages
English (en)
Inventor
조양호
이호영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070087682A priority Critical patent/KR20090022377A/ko
Publication of KR20090022377A publication Critical patent/KR20090022377A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 시스템 및 방법이 개시된다. 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 시스템은 적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류하는 인접 블록 분류부, 분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정하는 초기 움직임 벡터 결정부, 상기 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정하는 탐색 영역 설정부 및 상기 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정하는 움직임 추정 수행부를 포함한다.
프레임률, 움직임 추정, 움직임 보상, 인접 블록, 탐색 영역, MAD (Mean Absolute Difference)

Description

움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 시스템 및 방법 {SYSTEM AND METHOD FOR CONVERTING FRAME RATE OF IMAGE SEQUENCE USING MOTION ESTIMATION AND MOTION COMPENSATION}
본 발명은 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 시스템 및 방법에 관한 것으로, 특히, 움직임 추정으로 결정된 움직임 벡터를 이용하여 움직임 보상 과정에서 현재 프레임과 이전 프레임 사이의 새로운 프레임을 생성하는 동영상의 프레임률 변환 시스템 및 방법에 관한 것이다.
기존에 존재하는 동영상은 다른 프레임률을 가진다. 예를 들어, 필름은 24fps, PAL은 50fps, NTSC는 60fps의 프레임률을 가진다.
프레임률이 낮은 영상을 프레임률이 높은 기기에 재생하는 경우, 단순히 프레임을 반복하여 프레임률을 향상하게 되면 모션 저더(motion judder)가 발생하였다. 즉, 동일한 프레임이 반복됨으로 인해 이동하는 물체의 움직임이 부자연스럽게 인지되는 문제점이다.
또한 LCD(Liquid crystal display) 기기의 경우, LCD 구조에 따른 응답 속도의 제약으로 인해, 고속으로 움직임이 발생하는 동영상에서 모션 블러(motion blur) 문제가 발생하였다. 즉, 이동 객체가 몇몇 프레임에 걸친 이미지 내에 나타나고, 시청자의 눈이 그 이동 객체의 모션을 따를 때, 그 몇몇 프레임의 이미지가 오버랩되는 것을 의미한다.
디스플레이된 이미지가 이전 프레임으로부터 현재 프레임으로 스위칭되기 전에 같은 이전 프레임 상의 이미지가 계속 디스플레이 되고 있지만, 이전 프레임 이미지 상의 이동 객체가 이동하는 방향으로 이동하는 동안 사람의 눈은 다음 프레임 상의 이미지의 디스플레이를 예측하고 그것을 본다. 이러한 사람의 눈과 동영상의 프레임 간격의 차이 때문에 모션 블러 현상이 발생하는 데, 이러한 문제점을 해결하기 위해서는 디스플레이의 프레임률이 높아져야 한다. 이에 따라, 입력 영상 신호의 프레임률을 프레임간 움직임 정보를 통해 증가시킴으로써 동영상의 부자연스러운 모션이 개선될 수 있다.
이러한 문제점을 해결하기 위해 입력 영상 신호의 프레임률을 증가시키기 위한 방법은 기존에 제시되었으나, 이들 발명은 움직임 추정 및 보상 과정의 연산량이 많고, 효율이 떨어지는 단점이 있다.
따라서, 움직임 추정 및 움직임 보상 과정에서 연산량 감소와 정확도 향상을 통한 영상 신호간의 프레임률을 향상시키는 발명이 절실히 요구되었다.
본 발명은 움직임 추정과 움직임 보상을 이용함으로써 이전 프레임과 현재 프레임 사이의 새로운 프레임을 생성하는 동영상의 프레임률 변환 시스템 및 방법을 제공한다.
본 발명은 프레임내의 블록간 움직임 벡터의 시공간적인 상관성을 이용하여 탐색 영역을 가변적으로 설정함으로써 정확도가 높은 동영상 프레임률 변환 시스템 및 방법을 제공한다.
본 발명은 초기에 소수의 인접 블록을 이용하여 움직임 추정을 수행하고, MAD가 큰 경우 탐색 영역을 확장함으로써 연산량을 감소시키는 동영상 프레임률 변환 시스템 및 방법을 제공한다.
본 발명은 움직임 보상 과정에서 현재 블록을 가변적인 부블록으로 분할하고, 인접 블록의 움직임 벡터를 참조함으로써 움직임 보상의 오류를 은닉할 수 있는 동영상 프레임률 변환 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 동영상의 프레임률 변환 시스템은 적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류하는 인접 블록 분류부, 분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정하는 초기 움직임 벡터 결정부, 상기 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정하는 탐색 영역 설정부 및 상기 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정하는 움직임 추정 수행부를 포함한다.
본 발명의 일실시예에 따른 동영상의 프레임률 변환 시스템은 적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 이용하여 MAD를 계산하는 MAD 계산부 및 상기 MAD가 최소인 움직임 벡터에 대해 상기 MAD를 미리 설정한 기준치와 비교한 결과에 따라 상기 현재 블록에 대한 움직임 벡터의 추정 방식을 결정하는 움직임 추정 방식 결정부를 더 포함한다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 시스템은 인접 블록의 MAD를 이용하여 현재 블록을 가변적인 부블록으로 분할하는 현재 블록 분할부 및 분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 부블록에 인접하는 각 블록의 움직임 벡터를 이용하여, 상기 현재 블록의 움직임 벡터를 보상하는 움직임 벡터 보상부를 포함한다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류하는 단계, 분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정하는 단계, 상기 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정하는 단계 및 상기 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정하는 단계를 포함한다.
본 발명에 따르면, 움직임 추정과 움직임 보상을 이용함으로써 이전 프레임과 현재 프레임 사이의 새로운 프레임을 생성하는 동영상의 프레임률 변환 시스템 및 방법이 제공된다.
본 발명에 따르면, 프레임내의 블록간 움직임 벡터의 시공간적인 상관성을 이용하여 탐색 영역을 가변적으로 설정함으로써 정확도가 높은 동영상 프레임률 변환 시스템 및 방법이 제공된다.
본 발명에 따르면, 초기에 소수의 인접 블록을 이용하여 움직임 추정을 수행하고, MAD가 큰 경우 탐색 영역을 확장함으로써 연산량을 감소시키는 동영상 프레임률 변환 시스템 및 방법이 제공된다.
본 발명에 따르면, 움직임 보상 과정에서 현재 블록을 가변적인 부블록으로 분할하고, 인접하는 인접블록의 움직임 벡터를 참조함으로써 움직임 보상의 오류를 은닉할 수 있는 동영상 프레임률 변환 시스템 및 방법이 제공된다.
이하 첨부된 도면을 참조하여 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 시스템 및 방법에 대해서 자세히 설명하도록 하겠다.
도 1은 본 발명의 일실시예에 있어서 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 시스템을 도시한 블록 다이어그램이다.
본 발명은 프레임률이 낮은 영상 신호에서 프레임률이 높은 영상 신호로 프레임률을 변환하기 위한 것이다. 구체적으로, 본 발명은 이전 프레임과 현재 프레임을 통해 움직임 정보를 추출하고, 이를 이용하여 새로운 중간 프레임을 생성하는 방법이다.
이전 프레임과 현재 프레임을 통해 움직임 정보를 추출하는 과정은 움직임 추정(101)을 통해 진행된다. 그리고, 움직임 추정(101)을 통해 도출된 현재 블록의 움직임 벡터를 이용하여 움직임 보상(102)을 하고, 보상된 움직임 벡터를 이용하여 중간 프레임을 생성할 수 있다.
도 1에서 입력 영상은 동일한 크기의 블록으로 분할되어 있다. 현재 프레임은 움직임 추정 과정이 진행되는 프레임이고, 이전 프레임은 움직임 추정 과정이 완료된 프레임에 해당할 수 있다.
기본적으로 움직임 추정(101)에 있어, 소수의 블록만을 이용하여 움직임 추정(101)을 수행할 수 있다. 이 때, 소수의 블록은 현재 블록과 상관도가 높은 인접 블록을 포함하고, 제로 움직임 벡터도 포함할 수 있다. 소수의 블록만을 이용하여 현재 블록의 움직임 벡터를 추정하는 움직임 추정(101)을 수행한다.
이 때 MAD(Mean Absolute difference)가 미리 설정한 기준치 이상인 경우 탐색 영역을 이용하여 별도의 현재 블록의 움직임 추정(101)을 수행한다. 반대로, MAD가 미리 설정한 기준치를 초과하지 않는 경우, 상기 소수의 블록 중 MAD가 최소인 인접블록의 움직임 벡터를 현재 블록의 움직임 벡터로 추정할 수 있다.
움직임 보상(102) 과정에서, 인접 블록과의 특성을 고려하여 현재 블록을 가변적인 부블록으로 분할한 뒤, 움직임 추정(101)을 통해 추정된 움직임 벡터를 인접 블록의 움직임 벡터를 이용하여 각 부블록별로 보상하고, 보상된 움직임 벡터를 이용하여 이전 프레임과 현재 프레임을 보간할 수 있다. 보간 과정을 통해 새 로운 중간 프레임이 생성되어 프레임률이 증가하는 효과를 볼 수 있다.
움직임 추정(101)과 움직임 보상(102)에 대해서는 이하 도 2 내지 도 11을 통해 상세한 예를 들어 설명하도록 하겠다.
도 2는 본 발명의 일실시예에 있어서 움직임 추정 및 움직임 보상을 구체적으로 도시한 블록 다이어그램이다.
움직임 추정은 MAD 계산부(201), 움직임 추정 방식 결정부(202), 인접 블록 분류부(203), 초기 움직임 벡터 결정부(204), 탐색 영역 설정부(205) 및 움직임 추정 수행부(206)을 통해 수행될 수 있다.
MAD 계산부(201)는 적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 이용하여 MAD를 계산할 수 있다. 여기서, MAD는 현재 블록에 대해 적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 추정했을 때, 추정된 움직임 벡터의 오류에 해당한다.
이 때, 적어도 하나의 인접 블록은 현재 블록의 움직임 벡터와 상관성이 높게 도출되는 블록으로, MPEG 나 H.264와 같은 영상 압축 과정에서도 사용되는 것이다. 인접 블록의 구체적인 예는 도 3을 통해 설명하도록 하겠다.
움직임 추정 방식 결정부(202)는 MAD가 최소인 움직임 벡터에 대해 MAD를 미리 설정한 기준치와 비교한 결과에 따라 상기 현재 블록에 대한 움직임 벡터의 추정 방식을 결정할 수 있다.
일례로, 움직임 추정 방식 결정부(202)는 상기 MAD가 미리 설정한 기준치를 초과하지 않는 경우 상기 MAD가 최소인 움직임 벡터를 상기 현재 블록의 움직임 벡 터로 추정할 수 있다. MAD가 미리 설정한 기준치를 초과하지 않는 경우는 인접 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 추정했을 때 오차가 작은 것을 의미한다.
따라서, 넓은 범위의 인접 블록을 대상으로 하지 않아도 소수의 인접 블록만으로 현재 블록의 움직임 벡터를 추정할 수 있다. 이 경우, 별도의 움직임 벡터 추정 과정이 요구되지 않는다.
그러나, 움직임 추정 방식 결정부(202)는 MAD가 미리 설정한 기준치를 초과하는 경우 상기 인접 블록의 특성에 따라 설정된 가변적인 탐색 영역을 이용하여 상기 현재 블록의 움직임 벡터를 추정하는 것을 특징으로 할 수 있다.
즉, MAD가 미리 설정한 기준치를 초과하면, 인접 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 추정했을 때 오차가 크다는 것을 의미한다. 이 경우, 현재 블록의 움직임이 이전 블록과 달리 급격하게 변하거나 다른 방향으로 변하는 것을 의미한다. 따라서, 소수의 인접 블록보다 더 넓은 범위의 인접 블록, 즉 탐색 영역을 이용하여 현재 블록의 움직임 벡터를 추정할 수 있다. 이 때, 별도의 움직임 벡터 추정 과정이 요구되는 데 구체적인 과정은 다음의 구성에 의해 수행될 수 있다.
인접 블록 분류부(203)는 적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류한다. 다시 말해서, 인접 블록의 움직임 벡터가 어떤 후보 움직임 벡터로 결정되었느냐를 판단하여 상기 후보 움직임 벡터의 종류에 대응하는 대표 특 성으로 분류하는 것을 의미한다.
일례로, 후보 움직임 벡터는 제로 움직임 벡터, 상기 인접 블록과 상관 관계에 있는 적어도 하나의 블록의 움직임 벡터, 또는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터 중 어느 하나의 움직임 벡터인 것에 해당할 수 있다. 이에 대한 구체적인 예는 도 4에서 구체적으로 설명하기로 하겠다.
초기 움직임 벡터 결정부(204)는 분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정할 수 있다. 구체적으로 보면, 현재 블록에 시공간적으로 인접하는 인접 블록에 분류된 대표 특성을 통해 현재 블록의 초기 움직임 벡터를 결정할 수 있다.
일례로, 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우 해당 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
또한, 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않는 경우 대표 특성이 가장 많은 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
또한, 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않고 상기 대표 특성이 전부 다른 경우 MAD가 최소가 되는 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
각각의 경우마다 결정된 현재 블록의 초기 움직임 벡터를 이용하여 움직임 추정을 위한 탐색 영역을 설정할 수 있다. 초기 움직임 벡터를 결정하고, 상기 초 기 움직임 벡터를 이용하여 탐색 영역을 설정하는 과정은 도 5 내지 도 7을 통해 상세히 설명하도록 한다.
탐색 영역 설정부(205)는 현재 블록의 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변적으로 설정할 수 있다. 이 때, 탐색 영역 설정부(205)는 초기 움직임 벡터의 크기가 커질수록 탐색 영역의 크기를 작아지도록 설정할 수 있다.
즉, 초기 움직임 벡터가 작은 경우에 MAD가 크게 나왔을 경우에는, 상대적으로 넓은 탐색 영역을 설정하여 움직임 추정을 수행하도록 하여, 최적의 움직임 벡터를 추정한다. 이와 반대로 초기 움직임 벡터가 큰 경우에 MAD가 크게 나왔을 경우에는, 움직임 추정을 위한 최대 탐색 범위를 초과하는 움직임이 발생한 경우이거나 움직임 벡터의 오류가 누적되어 전달된 경우이므로, 인접 블록과의 움직임 벡터 특성을 유지하도록 하여 화질의 오류를 감소하는데 중점을 둔다. 따라서 이 경우에는 좁은 탐색 영역을 설정하여 움직임 추정을 수행하도록 하며, 이를 통해 계산량을 줄일 수 있는 장점도 있다.
탐색 영역을 초기 움직임 벡터에 따라 가변적으로 설정하는 구체적인 과정은 도 8을 통해 설명하도록 한다.
움직임 추정 수행부(206)는 탐색 영역의 움직임 벡터를 이용하여 현재 블록의 움직임을 추정할 수 있다. 이 때, 움직임 추정 수행부(206)는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터를 현재 블록의 움직임 벡터로 추정할 수 있다.
부가적으로, 움직임 추정 수행부(206)는 이전 블록 중 주요 블록으로 간주된 블록의 움직임 벡터를 후보 벡터로 하여, 움직임 추정을 수행할 수 있다. 즉, 움직임 추정 과정에서 탐색 영역을 사용하여, 움직임 벡터가 추정된 블록은 주요 블록으로 간주할 수 있다. 이와 같이 주요 블록으로 정의된 블록의 움직임 벡터를 현재 블록의 움직임 벡터 추정을 위해 추가적으로 사용함으로써 움직임 벡터 추정의 정확도를 향상할 수 있다.
구체적으로 보면, 본 발명의 움직임 추정 과정에서, 탐색 영역을 이용하여 움직임 벡터가 결정된 블록은 이전 블록과 상이한 움직임 벡터를 가지는 오브젝트(object)의 경계로 간주할 수 있다. 이러한, 오브젝트의 경계 정보를 이용하여 현재 블록의 움직임 벡터를 추정하는 경우, 만약 현재 블록도 동일한 오브젝트에 속해 있다면, 주요 블록의 움직임 벡터와 동일한 움직임 벡터를 가질 수 있다. 따라서, 현재 블록의 움직임 벡터를 추정할 때, 주요 블록의 움직임 벡터를 부가적인 후보 움직임 벡터로 사용하는 것이 효과적이다. 주요 블록에 대해서는 도 9를 통해 구체적으로 설명하기로 한다.
움직임 추정을 통해 결정된 움직임 벡터를 이용하여 움직임 보상 과정을 수행하고, 보상된 움직임 벡터를 이용하여 이전 프레임과 현재 프레임을 보간할 수 있다.
이 때, 움직임 보상은 현재 블록 분할부(207), 움직임 벡터 보상부(208), 프레임 보간부(209)를 통해 수행될 수 있다.
현재 블록 분할부(207)는 인접 블록의 MAD를 이용하여 현재 블록을 가변적 인 부블록(sub-block)으로 분할할 수 있다. 구체적으로, 인접 블록의 MAD를 평균한 값을 이용하여 부블록의 넓이를 결정할 수 있다. 이 때, 가중치를 이용하여 인접 블록의 MAD를 평균한 값이 작을수록 부블록의 넓이를 크게 조절할 수 있다.
일례로, 현재 블록은 x방향과 y 방향으로 분할되어 4개의 영역으로 분할될 수 있으며, 각 분할된 영역은 동일하지 않고 각각 다를 수 있다. 다만, 현재 블록이 분할되는 방법은 이에 한정되지 않는다. 분할된 각 부블록에서 해당되는 인접 블록의 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 추정된 움직임 벡터의 오류가 감소할 수 있다. 현재 블록을 각 부블록으로 분류하는 구체적인 과정은 도 10 및 도 11을 통해 구체적으로 설명하겠다.
움직임 벡터 보상부(208)는 분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 보상할 수 있다.
일례로, 움직임 벡터 보상부(208)는 분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 평균하여 상기 현재 블록의 움직임 벡터를 보상할 수 있다.
프레임 보간부(209)는 보상된 상기 현재 블록의 움직임 벡터를 이용하여 이전 프레임과 현재 프레임에 대해 보간을 수행할 수 있다. 일례로, 새롭게 생성될 중간 프레임이 이전 프레임과 현재 프레임에 대해 보상된 현재 블록의 움직임 벡터의 절반을 이용하여 보간을 수행할 수 있다. 보간하는 과정은 하기 수학식 1을 통해 수행될 수 있다.
Figure 112007063302746-PAT00001
여기서,
Figure 112007063302746-PAT00002
는 이전 프레임과 현재 프레임을 보간할 때 사용되는 가중치를 의미하며, v는 보상된 움직임 벡터를 의미한다. 또한, t는 중간 프레임일 때의 시간, t-1은 이전 프레임, t+1은 현재 프레임일 때의 시간을 의미한다.
도 3은 본 발명의 일실시예에 있어서 현재 프레임과 이전 프레임에 포함된 현재 블록과 인접 블록들을 도시한 도면이다.
도 3은 이전 프레임(301)과 현재 프레임(302)에서 인접 블록을 도시한 도면이다. 빗금친 인접 블록은 이미 움직임 벡터의 추정이 완료된 블록을 의미한다. 현재 블록은 움직임 벡터의 추정이 이루어지고 있는 블록을 의미한다.
일례로, 현재 프레임의 인접 블록 중 MV1, MV2, MV3는 현재 블록의 추정을 위해 사용되는 인접 블록의 움직임 벡터를 의미한다. 이미 언급했듯이, 현재 블록에 대한 인접 블록의 MV1, MV2, MV3는 현재 블록의 움직임 벡터와의 상관도가 높기 때문에 현재 블록의 움직임 벡터를 추정할 때 주로 이용될 수 있다.
다시 말해서, 본 발명에서 언급하는 인접 블록은 원칙적으로 도 3의 빗금친 부분을 전부 해당하나 현재 블록에 대해 움직임 추정을 수행하는 경우 인접 블록 중 현재 블록의 좌측 블록(MV1), 상단 블록(MV2), 우측 상단 블록(MV3)을 이용하는 것이 바람직하다.
일례로, 움직임 벡터 추정 방식 결정부(202)는 제로 움직임 벡터, 인접 블록의 MV1, MV2, MV3를 이용하여 MAD를 계산할 수 있다. 이 때, 움직임 벡터 추정 방식 결정부(202)는 MAD가 최소가 되는 움직임 벡터에 대해 미리 설정한 기준치를 비교하여 움직임 벡터 추정 방식을 결정할 수 있다.
도 4는 본 발명의 일실시예에 있어서 현재 블록의 움직임 벡터의 결정 원인인후보 움직임 벡터들을 도시한 도면이다.
후보 움직임 벡터는 인접 블록에 대한 움직임 벡터의 결정 원인이 되는 움직임 벡터를 의미할 수 있다. 도 4에서 볼 수 있듯이, 후보 움직임 벡터는 제로 움직임 벡터(401), 상기 인접 블록과 상관 관계에 있는 적어도 하나의 블록의 움직임 벡터(402, 403, 404), 또는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터(405) 중 어느 하나의 움직임 벡터인 것을 의미할 수 있다.
즉, 이미 움직임 벡터의 추정이 끝난 인접 블록은 제로 움직임 벡터(401), 인접블록과 상관 관계에 있는 좌측 블록의 움직임 벡터(402), 상단 블록의 움직임 벡터(403), 우측 상단의 움직임 벡터(404) 및 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터(405) 중 어느 하나로 움직임 벡터가 추정될 수 있다.
일례로, 인접 블록 분류부(203)는 인접 블록의 움직임 벡터가 결정될 때 사용된 제로 움직임 벡터(401), 인접블록과 상관 관계에 있는 좌측 블록의 움직임 벡터(402), 상단 블록의 움직임 벡터(403), 우측 상단의 움직임 벡터(404) 및 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터(405) 중 하나의 후보 움직임 벡터에 따라 각각의 인접 블록을 대표 특성으로 분류할 수 있다.
도 4에서 볼 수 있듯이, 일례로, 대표 특성은 후보 움직임 벡터에 따라 ⓞ,①,②,③,④로 할당될 수 있다. 따라서, 분류된 대표 특성을 이용하여 해당 인접 블록의 움직임 벡터가 결정될 때 사용된 후보 움직임 벡터를 알 수 있다. 예를 들어, 현재 프레임의 어느 인접 블록이 대표특성 ③으로 할당된 경우 해당 인접 블록의 움직임 벡터는 우측 상단의 인접 블록의 움직임 벡터를 통해 추정된 것으로 간주할 수 있다.
도 5는 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제1 과정을 도시한 도면이다.
도 5 내지 도 7은 현재 블록의 움직임 벡터를 추정함에 있어 소수의 인접 블록에 대한 움직임 벡터가 아닌 탐색 영역을 가변적으로 설정하여 현재 블록의 움직임 벡터를 추정하는 것을 도시하고 있다. 다만, 탐색 영역을 설정할 때 초기 움직임 벡터를 이용하고, 상기 초기 움직임 벡터는 분류된 대표 특성을 통해 결정될 수 있다.
도 5에서, 인접 블록은 현재 블록의 좌측, 상단, 우측 상단의 블록으로 가정한다. 프레임(501)에서 볼 수 있듯이, 좌측의 인접 블록은 ④, 상단의 인접 블록은 ⓞ, 우측 상단의 인접 블록은 ①으로 대표 특성이 분류된 것을 볼 수 있다.
일례로, 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제1 과정은 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우 해당 움직임 벡터를 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
프레임(501)을 살펴보면, 인접 블록 중에 현재 블록의 좌측에 위치한 인접 블록이 ④으로 분류되었으므로 따라서 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우에 해당한다. 그래서 프레임(502)에서 볼 수 있듯이, 초기 움직임 벡터 결정부(204)는 현재 블록의 좌측에 위치한 인접 블록의 움직임 벡터(MV4)를 현재 블록의 초기 움직임 벡터(MVinital)로 결정할 수 있다.
그러면, 프레임(503)에서 볼 수 있듯이, 탐색 영역 설정부(205)는 결정된 초기 움직임 벡터에 따라 탐색 영역을 설정할 수 있다.
도 6은 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제2 과정을 도시한 도면이다.
도 6에서, 인접 블록은 현재 블록의 좌측, 상단, 우측 상단의 블록으로 가정한다. 프레임(601)에서 볼 수 있듯이, 좌측의 인접 블록은 ①, 상단의 인접 블록은 ①, 우측 상단의 인접 블록은 ③으로 대표 특성이 분류된 것을 볼 수 있다.
일례로, 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제2 과정은 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않는 경우 대표 특성이 가장 많은 인접 블록의 움직임 벡터를 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
프레임(601)을 살펴보면, 3개의 인접 블록 중 대표 특성 ④은 존재하지 않 지만, 대표 특성 ①이 가장 많은 것을 알 수 있다. 따라서, 프레임(602)에서 볼 수 있듯이, 초기 움직임 벡터 결정부(204)는 대표 특성 ①으로 분류된 인접 블록의 움직임 벡터(MV1)는 현재 블록의 초기 움직임 벡터(MVinital)로 결정될 수 있다.
그러면, 프레임(603)에서 볼 수 있듯이, 탐색 영역 설정부(205)는 결정된 초기 움직임 벡터에 따라 탐색 영역을 설정할 수 있다.
도 7은 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제3 과정을 도시한 도면이다.
도 7에서, 인접 블록은 현재 블록의 좌측, 상단, 우측 상단의 블록으로 가정한다. 프레임(701)에서 볼 수 있듯이, 좌측의 인접 블록은 ③, 상단의 인접 블록은 ①, 우측 상단의 인접 블록은 ②으로 대표 특성이 분류된 것을 볼 수 있다.
일례로, 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제3 과정은 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않고 대표 특성이 전부 다른 경우 MAD가 최소가 되는 인접 블록의 움직임 벡터를 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
프레임(701)을 살펴보면, 3개의 인접 블록 중 대표 특성 ④이 포함되지 않고, 각 인접 블록마다 다른 대표 특성이 할당된 것을 볼 수 있다. 이 때, 프레임(701)에서 볼 수 있듯이, MAD가 최소인 인접 블록의 움직임 벡터는 현재 블록의 우측 상단에 있는 인접 블록의 움직임 벡터(MVminMAD)임을 알 수 있다.
따라서, 프레임(702)에서 볼 수 있듯이, 초기 움직임 벡터 결정부(204)는 현재 블록의 우측 상단에 있는 인접 블록의 움직임 벡터(MVminMAD)를 현재 블록의 초기 움직임 벡터(MVinital)로 결정할 수 있다.
그러면, 프레임(703)에서 볼 수 있듯이, 탐색 영역 설정부(205)는 결정된 초기 움직임 벡터에 따라 탐색 영역을 설정할 수 있다.
도 5 내지 도 7에서 볼 수 있듯이, 각 인접 블록들의 대표 특성에 따라 현재 블록도 가능한 인접 블록의 대표 특성과 유사하게 유지함으로써 블록 간에 움직임 벡터의 상관성을 유지할 수 있다. 블록 간에 움직임 벡터의 상관성이 유지됨에 따라, 신뢰성이 있는 움직임 추정 과정이 이루어 질 수 있는 것이다.
도 8은 본 발명의 일실시예에 있어서 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변하는 과정을 도시한 도면이다.
프레임(801)은 결정된 초기 움직임 벡터의 크기가 작을 때 탐색 영역이 커지는 것을 보여주고 있다. 반대로, 프레임(802)은 결정된 초기 움직임 벡터의 크기가 클 때 탐색 영역이 작아지는 것을 보여주고 있다.
즉, 초기 움직임 벡터의 크기가 작은 경우 상대적으로 넓은 탐색 영역에서 움직임 추정을 수행하여 급격한 움직임 벡터의 변화에 대응할 수 있게 된다. 반대로, 초기 움직임 벡터의 크기가 큰 경우 상대적으로 좁은 탐색 영역에서 움직임 추정을 수행하여 계산량을 줄이고, 보다 빠르게 움직임 추정을 수행할 수 있게 된다. 초기 움직임 벡터에 따라 탐색 영역의 크기가 가변되더라도 탐색 영역 내부의 움직임 벡터와 현재 블록의 움직임 벡터는 그대로 상관도가 유지될 수 있다.
도 9는 본 발명의 일실시예에 있어서 현재 블록의 움직임 벡터를 추정하기 위해 사용되는 주요 블록을 도시한 도면이다.
움직임 추정 수행부(206)는 탐색 영역 내에서 MAD가 미리 설정한 기준치 이상인 블록을 주요 블록으로 설정하고, 주요 블록 중 MAD가 최소가 되는 주요 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 추정할 수 있다.
즉, 탐색 영역 내에서 MAD가 큰 블록은 이전 프레임의 동일한 위치의 블록들과 상이한 움직임 벡터를 가지게 되는 객체의 경계로 간주될 수 있다. 이러한 블록을 주요 블록으로 설정할 수 있다. 주요 블록은 현재 블록의 움직임 벡터를 추정하기 이전에 미리 설정되어 있을 수 있다.
도 9에서 볼 수 있듯이, 현재 블록(901)에 대해 주요 블록(902, 903, 904)가 설정되어 있다. 먼저, 탐색 영역 내의 움직임 벡터를 이용하여 계산한 MAD가 미리 설정한 기준치 이상일 경우, 움직임 추정 수행부(206)는 탐색 영역 내의 움직임 벡터와 설정된 주요 블록(902, 903, 904)를 사용하여 현재 블록(901)의 움직임 추정을 수행할 수 있다.
움직임 추정 수행부(206)는 탐색 영역 내의 주요 블록(902,903,904) 중 MAD가 최소가 되는 주요 블록의 움직임 벡터를 현재 블록(901)의 움직임 벡터로 추정할 수 있다.
주요 블록(902, 903, 904)의 움직임 벡터는 이전 프레임에서 이미 주요한 움직임 벡터로 판단될 수 있다. 따라서, 이러한 주요 블록(902,903,904)의 움직임 벡터를 현재 블록(901)의 움직임 추정을 위한 후보 움직임 벡터로 사용함으로써, 현재 블록(901)의 급격한 움직임 벡터의 변화를 효과적으로 대응할 수 있다.
도 10은 본 발명의 일실시예에 있어서 가변적으로 분할된 부블록에 대해 인접블록을 참조하는 과정을 도시한 도면이다.
현재 블록 분할부(207)는 인접 블록의 MAD를 이용하여 현재 블록을 가변적인 부블록으로 분할할 수 있다. 도 10에서 볼 수 있듯이, 현재 블록(가운데 5번 블록)이 4개의 부블록(sub-block)으로 분할된 것을 볼 수 있다.
현재 블록의 각 부블록은 인접한 인접블록을 참조하여 결정될 수 있다. 일례로, 프레임(1001)은 좌측 상단의 부블록이 인접 블록 1,2,4를 참조하는 것을 나타내고 있다. 프레임(1002)는 우측 상단의 부블록이 인접 블록 2,3,6을 참조하는 것을 볼 수 있다. 프레임(1003)은 좌측 하단의 부블록이 인접 블록 4,7,8을 참조하는 것을 볼 수 있다. 프레임(1004)은 우측 하단의 부블록이 인접 블록 6,8,9를 참조하는 것을 볼 수 있다. 분할된 각 부블록에서 해당되는 인접 블록의 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 움직임 추정 과정에서 나타난 오류를 줄일 수 있다.
도 10의 부블록은 일례에 불과하고, 참조되는 인접 블록에 따라 변경될 수 있다. 즉, 현재 블록의 각 부블록은 참조한 인접 블록의 움직임 벡터에 대한 MAD를 이용하여 가변적으로 변경될 수 있다. 부블록을 구하는 구체적인 과정은 도 11에서 언급하도록 한다.
도 11은 본 발명의 일실시예에 있어서 현재 블록을 가변적으로 분할하는 과정을 설명하기 위한 도면이다.
일례로, 현재 블록 분할부(207)는 부블록의 크기를 가변하기 위해 먼저 y방향으로 블록을 분할한 yseg(1101)를 결정하고, 위쪽 블록을 분할하기 위한 xup _ seg(1102)지점과 아래쪽 블록을 분할할 xdown _ seg(1103)지점을 결정할 수 있다.
부블록을 분할하기 위한 yseg(1101)는 현재 블록에 인접하는 인접 블록 중 위쪽 블록의 MAD 평균(MADup)과 아래쪽 블록의 MAD 평균(MADdown)을 비교하여 결정될 수 있다. 위쪽 블록의 MAD 평균(MADup)과 아래쪽 블록의 MAD 평균(MADdown)은 하기 수학식 2를 통해 결정될 수 있다. 현재 블록에 인접하는 위쪽 블록과 아래쪽 블록은 도 10을 참조할 수 있다.
Figure 112007063302746-PAT00003
Figure 112007063302746-PAT00004
최종 yseg(1101)는 하기 수학식 3을 통해 결정될 수 있다.
Figure 112007063302746-PAT00005
Figure 112007063302746-PAT00006
여기서,
Figure 112007063302746-PAT00007
는 가중치를 의미하고,
Figure 112007063302746-PAT00008
는 현재 블록의 높이를 의미한다.
이 때, MADup값이 MADdown보다 작게 되면,
Figure 112007063302746-PAT00009
는 0.5보다 작게 되어 최종적으로 yseg(1101)는
Figure 112007063302746-PAT00010
/2보다 크게 된다. 즉, MAD가 작게 나타나는 인접 블록을 현재 블록에 많이 참조하게 하여 움직임 보상시 오류를 감소시킬 수 있다.
xup _ seg(1102)와 xdown _ seg(1103)도 yseg(1101)와 동일한 방법으로 계산될 수 있다. 참고로, xup _ seg(1102)은 하기 수학식 4를 통해 계산될 수 있다.
Figure 112007063302746-PAT00011
Figure 112007063302746-PAT00012
Figure 112007063302746-PAT00013
Figure 112007063302746-PAT00014
여기서,
Figure 112007063302746-PAT00015
는 가중치를 의미하고,
Figure 112007063302746-PAT00016
는 현재 블록의 넓이를 의미한다. xdown_seg(1103)은 xup _ seg(1102)의 지점을 결정하는 방식과 동일하다.
결과적으로, 현재 블록 분할부(207)는 인접 블록의 MAD를 평균한 값을 이용하여 부블록의 넓이를 결정할 수 있다. 이 때, 가중치를 이용하여 인접 블록의 MAD를 평균한 값이 작을수록 부블록이 현재 블록의 넓이를 크게 조절할 수 있다.
도 12는 본 발명의 일실시예에 있어서 움직임 추정 과정을 설명하기 위한 동영상 프레임률 변환 방법을 도시한 순서도이다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법에 있어 움직임 추정 과정은 다음과 같은 과정을 포함할 수 있다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 이용하여 MAD를 계산한다(S1201).
또한, 본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 MAD가 최소인 움직임 벡터에 대해 상기 MAD를 미리 설정한 기준치와 비교하여 상기 현재 블록에 대한 움직임 벡터의 추정 방식을 결정한다(S1202).
움직임 벡터의 추정 방식을 결정하는 단계(S1203)는 상기 MAD가 미리 설정한 기준치를 초과하지 않는 경우 상기 MAD가 최소인 움직임 벡터를 상기 현재 블록 의 움직임 벡터로 추정할 수 있다.
움직임 벡터의 추정 방식을 결정하는 단계(S1203)는 MAD가 미리 설정한 기준치를 초과하는 경우 상기 인접 블록의 특성에 따라 설정된 가변적인 탐색 영역을 이용하여 상기 현재 블록의 움직임 벡터를 추정할 수 있다.
또한, 본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류한다(S1202).
이 때, 상기 후보 움직임 벡터는 제로 움직임 벡터, 상기 인접 블록과 상관 관계에 있는 적어도 하나의 블록의 움직임 벡터, 또는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터 중 어느 하나의 움직임 벡터인 것을 특징으로 한다.
또한, 본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정한다(S1203).
이 때, 현재 블록의 초기 움직임 벡터를 결정하는 단계(S1203)는 상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우 해당 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
이 때, 현재 블록의 초기 움직임 벡터를 결정하는 단계(S1203)는 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않는 경우 상기 대표 특성이 가장 많은 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
이 때, 현재 블록의 초기 움직임 벡터를 결정하는 단계(S1203)는 인접 블록 의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않고 상기 대표 특성이 전부 다른 경우 MAD가 최소가 되는 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정할 수 있다.
또한, 본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정한다(S1204).
이 때, 탐색 영역을 가변적으로 설정하는 단계(S1204)는 현재 블록의 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변적으로 설정할 수 있다.
이 때, 탐색 영역을 가변적으로 설정하는 단계(S1204)는 초기 움직임 벡터의 크기가 커질수록 상기 탐색 영역의 크기를 작아지도록 설정할 수 있다.
또한, 본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정한다(S1206).
이 때, 현재 블록의 움직임을 추정하는 단계(S1206)는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 추정할 수 있다.
이 때, 현재 블록의 움직임을 추정하는 단계(S1206)는 탐색 영역 내에서 MAD가 미리 설정한 기준치 이상인 블록을 주요 블록으로 설정하고, 상기 주요 블록 중 MAD가 최소가 되는 주요 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 추정할 수 있다.
도 13은 본 발명의 일실시예에 있어서 움직임 보상 과정을 설명하기 위한 동영상 프레임률 변환 방법을 도시한 순서도이다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 인접 블록의 MAD를 이용하여 현재 블록을 가변적인 부블록으로 분할할 수 있다(S1301).
이 때, 현재 블록을 가변적인 부블록으로 분할하는 단계(S1301)는 인접 블록의 MAD를 평균한 값을 이용하여 상기 부블록의 넓이를 결정할 수 있다.
이 때, 현재 블록을 가변적인 부블록으로 분할하는 단계(S1301)는 가중치를 이용하여 상기 인접 블록의 MAD를 평균한 값이 작을수록 상기 부블록의 넓이를 크게 조절할 수 있다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 보상할 수 있다(S1302).
이 때, 상기 현재 블록의 움직임 벡터를 보상하는 방법(S1302)는 분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 평균하여 상기 현재 블록의 움직임 벡터를 보상할 수 있다.
본 발명의 일실시예에 따른 동영상 프레임률 변환 방법은 보상된 상기 현재 블록의 움직임 벡터를 이용하여 이전 프레임과 현재 프레임에 대해 보간을 수행한다(S1303).
도 12 및 도 13에서 설명되지 않는 부분은 도 1내지 도 11에 이미 언급된 내용을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률 변환 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로 그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 시스템을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 있어서 움직임 추정 및 움직임 보상을 구체적으로 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 있어서 현재 프레임과 이전 프레임에 포함된 현재 블록과 인접 블록들을 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서 현재 블록의 움직임 벡터의 결정 원인인 후보 움직임 벡터들을 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제1 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제2 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서 인접 블록의 대표 특성에 따른 초기 움직임 벡터의 설정과 탐색 영역을 설정하는 제3 과정을 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 있어서 현재 블록의 움직임 벡터를 추정하기 위해 사용되는 주요 블록을 도시한 도면이다.
도 10은 본 발명의 일실시예에 있어서 가변적으로 분할된 부블록에 대해 인접 블록을 참조하는 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 있어서 현재 블록을 가변적으로 분할하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 있어서 움직임 추정 과정을 설명하기 위한 동영상 프레임률 변환 방법을 도시한 순서도이다.
도 13은 본 발명의 일실시예에 있어서 움직임 보상 과정을 설명하기 위한 동영상 프레임률 변환 방법을 도시한 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
101: 움직임 추정 102: 움직임 보상

Claims (35)

  1. 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 시스템에 있어서,
    적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류하는 인접 블록 분류부;
    분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정하는 초기 움직임 벡터 결정부;
    상기 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정하는 탐색 영역 설정부; 및
    상기 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정하는 움직임 추정 수행부
    를 포함하는 동영상 프레임률 변환 시스템.
  2. 제1항에 있어서,
    상기 후보 움직임 벡터는,
    제로 움직임 벡터, 상기 인접 블록과 상관 관계에 있는 적어도 하나의 블록의 움직임 벡터, 또는 탐색 영역 내에서 MAD(Mean Absolute Difference)가 최소가 되는 지점의 움직임 벡터 중 어느 하나의 움직임 벡터인 것을 특징으로 하는 동영 상 프레임률 변환 시스템.
  3. 제1항에 있어서,
    상기 초기 움직임 벡터 결정부는,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우 해당 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  4. 제1항에 있어서,
    상기 초기 움직임 벡터 결정부는,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않는 경우 상기 대표 특성이 가장 많은 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  5. 제1항에 있어서,
    상기 초기 움직임 벡터 결정부는,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않고 상기 대표 특성이 전부 다른 경우 MAD가 최소가 되는 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  6. 제1항에 있어서,
    상기 탐색 영역 설정부는,
    상기 현재 블록의 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변적으로 설정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  7. 제6항에 있어서,
    상기 탐색 영역 설정부는,
    상기 초기 움직임 벡터의 크기가 커질수록 상기 탐색 영역의 크기를 작아지도록 설정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  8. 제1항에 있어서,
    상기 움직임 추정 수행부는,
    상기 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 추정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  9. 제8항에 있어서,
    상기 움직임 추정 수행부는,
    상기 탐색 영역 내에서 MAD가 미리 설정한 기준치 이상인 블록을 주요 블록 으로 설정하고,
    상기 주요 블록 중 MAD가 최소가 되는 주요 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 추정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  10. 제1항에 있어서,
    적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 이용하여 MAD를 계산하는 MAD 계산부; 및
    상기 MAD가 최소인 움직임 벡터에 대해 상기 MAD를 미리 설정한 기준치와 비교한 결과에 따라 상기 현재 블록에 대한 움직임 벡터의 추정 방식을 결정하는 움직임 추정 방식 결정부
    를 더 포함하는 동영상 프레임률 변환 시스템.
  11. 제10항에 있어서,
    상기 움직임 추정 방식 결정부는,
    상기 MAD가 미리 설정한 기준치를 초과하지 않는 경우 상기 MAD가 최소인 움직임 벡터를 상기 현재 블록의 움직임 벡터로 추정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  12. 제10항에 있어서,
    상기 움직임 추정 방식 결정부는,
    상기 MAD가 미리 설정한 기준치를 초과하는 경우 상기 인접 블록의 특성에 따라 설정된 가변적인 탐색 영역을 이용하여 상기 현재 블록의 움직임 벡터를 추정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  13. 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 시스템에 있어서,
    인접 블록의 MAD를 이용하여 현재 블록을 가변적인 부블록으로 분할하는 현재 블록 분할부;
    분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 보상하는 움직임 벡터 보상부
    를 포함하는 동영상 프레임률 변환 시스템.
  14. 제13항에 있어서,
    상기 현재 블록 분할부는,
    상기 인접 블록의 MAD를 평균한 값을 이용하여 상기 부블록의 넓이를 결정하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  15. 제14항에 있어서,
    상기 현재 블록 분할부는,
    가중치를 이용하여 상기 인접 블록의 MAD를 평균한 값이 작을수록 상기 부블록의 넓이를 크게 조절하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  16. 제13항에 있어서,
    상기 움직임 벡터 보상부는,
    분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록에 인접하는 블록의 움직임 벡터를 평균하여 상기 현재 블록의 움직임 벡터를 보상하는 것을 특징으로 하는 동영상 프레임률 변환 시스템.
  17. 제13항에 있어서,
    보상된 상기 현재 블록의 움직임 벡터를 이용하여 이전 프레임과 현재 프레임에 대해 보간을 수행하는 프레임 보간부
    를 더 포함하는 동영상 프레임률 변환 시스템.
  18. 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 방법에 있어서,
    적어도 하나의 인접 블록 각각에 대해 움직임 벡터의 결정 원인이 되는 후보 움직임 벡터를 이용하여 상기 인접 블록을 대표 특성에 따라 분류하는 단계;
    분류된 상기 대표 특성을 이용하여 현재 블록의 초기 움직임 벡터를 결정하는 단계;
    상기 초기 움직임 벡터에 따라 상기 현재 블록에 대한 탐색 영역을 가변적으로 설정하는 단계; 및
    상기 탐색 영역의 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 추정하는 단계
    를 포함하는 동영상 프레임률 변환 방법.
  19. 제18항에 있어서,
    상기 후보 움직임 벡터는,
    제로 움직임 벡터, 상기 인접 블록과 상관 관계에 있는 적어도 하나의 블록의 움직임 벡터, 또는 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터 중 어느 하나의 움직임 벡터인 것을 특징으로 하는 동영상 프레임률 변환 방법.
  20. 제18항에 있어서,
    현재 블록의 초기 움직임 벡터를 결정하는 상기 단계는,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하는 경우 해당 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  21. 제18항에 있어서,
    현재 블록의 초기 움직임 벡터를 결정하는 상기 단계는,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않는 경우 상기 대표 특성이 가장 많은 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  22. 제18항에 있어서,
    현재 블록의 초기 움직임 벡터를 결정하는 상기 단계는,,
    상기 인접 블록의 움직임 벡터 중 탐색 영역을 사용하여 결정된 움직임 벡터가 존재하지 않고 상기 대표 특성이 전부 다른 경우 MAD가 최소가 되는 인접 블록의 움직임 벡터를 상기 현재 블록의 초기 움직임 벡터로 결정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  23. 제18항에 있어서,
    탐색 영역을 가변적으로 설정하는 상기 단계는,
    상기 현재 블록의 초기 움직임 벡터의 크기에 따라 탐색 영역의 크기를 가변적으로 설정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  24. 제23항에 있어서,
    탐색 영역을 가변적으로 설정하는 상기 단계는,
    상기 초기 움직임 벡터의 크기가 커질수록 상기 탐색 영역의 크기를 작아지 도록 설정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  25. 제18항에 있어서,
    현재 블록의 움직임을 추정하는 상기 단계는,
    상기 탐색 영역 내에서 MAD가 최소가 되는 지점의 움직임 벡터를 상기 현재 블록의 움직임 벡터로 추정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  26. 제25항에 있어서,
    현재 블록의 움직임을 추정하는 상기 단계는,
    상기 탐색 영역 내에서 MAD가 미리 설정한 기준치 이상인 블록을 주요 블록으로 설정하고,
    상기 주요 블록 중 MAD가 최소가 되는 주요 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 추정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  27. 제18항에 있어서,
    적어도 하나의 인접 블록의 움직임 벡터와 제로 움직임 벡터를 이용하여 MAD를 계산하는 단계; 및
    상기 MAD가 최소인 움직임 벡터에 대해 상기 MAD를 미리 설정한 기준치와 비교하여 상기 현재 블록에 대한 움직임 벡터의 추정 방식을 결정하는 단계
    를 더 포함하는 동영상 프레임률 변환 방법.
  28. 제27항에 있어서,
    움직임 벡터의 추정 방식을 결정하는 상기 단계는,
    상기 MAD가 미리 설정한 기준치를 초과하지 않는 경우 상기 MAD가 최소인 움직임 벡터를 상기 현재 블록의 움직임 벡터로 추정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  29. 제27항에 있어서,
    움직임 벡터의 추정 방식을 결정하는 상기 단계는,
    상기 MAD가 미리 설정한 기준치를 초과하는 경우 상기 인접 블록의 특성에 따라 설정된 가변적인 탐색 영역을 이용하여 상기 현재 블록의 움직임 벡터를 추정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  30. 움직임 추정과 움직임 보상을 이용한 동영상 프레임률 변환 방법에 있어서,
    인접 블록의 MAD를 이용하여 현재 블록을 가변적인 부블록으로 분할하는 단계; 및
    분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 이용하여 상기 현재 블록의 움직임 벡터를 보상하는 단계
    를 포함하는 동영상 프레임률 변환 방법.
  31. 제30항에 있어서,
    현재 블록을 가변적인 부블록으로 분할하는 상기 단계는,
    상기 인접 블록의 MAD를 평균한 값을 이용하여 상기 부블록의 넓이를 결정하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  32. 제31항에 있어서,
    현재 블록을 가변적인 부블록으로 분할하는 상기 단계는,
    가중치를 이용하여 상기 인접 블록의 MAD를 평균한 값이 작을수록 상기 부블록의 넓이를 크게 조절하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  33. 제30항에 있어서,
    현재 블록의 움직임 벡터를 보상하는 상기 단계는;
    분할된 각 부블록에 할당된 현재 블록의 움직임 벡터와 상기 각 부블록과 인접하는 블록의 움직임 벡터를 평균하여 상기 현재 블록의 움직임 벡터를 보상하는 것을 특징으로 하는 동영상 프레임률 변환 방법.
  34. 제30항에 있어서,
    보상된 상기 현재 블록의 움직임 벡터를 이용하여 이전 프레임과 현재 프레 임에 대해 보간을 수행하는 단계
    를 더 포함하는 동영상 프레임률 변환 방법.
  35. 제18항 내지 제34항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020070087682A 2007-08-30 2007-08-30 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법 KR20090022377A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070087682A KR20090022377A (ko) 2007-08-30 2007-08-30 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070087682A KR20090022377A (ko) 2007-08-30 2007-08-30 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20090022377A true KR20090022377A (ko) 2009-03-04

Family

ID=40692258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070087682A KR20090022377A (ko) 2007-08-30 2007-08-30 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20090022377A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
WO2012108701A3 (ko) * 2011-02-09 2012-12-13 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
KR101651626B1 (ko) 2015-04-02 2016-09-05 주식회사 우진아이엔에스 공조기용 댐퍼 개폐 각도 제한장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
WO2011155779A3 (ko) * 2010-06-11 2012-05-03 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
US9716898B2 (en) 2011-02-09 2017-07-25 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US9148666B2 (en) 2011-02-09 2015-09-29 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US9521426B2 (en) 2011-02-09 2016-12-13 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
WO2012108701A3 (ko) * 2011-02-09 2012-12-13 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
US9832482B2 (en) 2011-02-09 2017-11-28 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US9973776B2 (en) 2011-02-09 2018-05-15 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US10158878B2 (en) 2011-02-09 2018-12-18 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US10448046B2 (en) 2011-02-09 2019-10-15 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US10609409B2 (en) 2011-02-09 2020-03-31 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US10848781B2 (en) 2011-02-09 2020-11-24 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
KR101651626B1 (ko) 2015-04-02 2016-09-05 주식회사 우진아이엔에스 공조기용 댐퍼 개폐 각도 제한장치

Similar Documents

Publication Publication Date Title
JP4519396B2 (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
KR101498207B1 (ko) 초고해상도 영상의 프레임 레이트 변환 장치 및 방법
US6990148B2 (en) Apparatus for and method of transforming scanning format
US8736767B2 (en) Efficient motion vector field estimation
EP2030440B1 (en) Scaling an image based on a motion vector
JP2004297719A (ja) フレーム補間方法及びこれを用いた画像表示システム
JP5777311B2 (ja) 低解像度ビデオから高解像度ビデオを生成する方法
US7868946B2 (en) Adaptive motion compensated interpolating method and apparatus
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
KR101418116B1 (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
JP5669523B2 (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
US20170064325A1 (en) Method and apparatus for interpolating video frame by using supplemental information
JP2000224593A (ja) フレーム補間方法および装置およびこの方法を記録した記録媒体
KR20050035704A (ko) 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
KR20050107849A (ko) 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
KR20090022377A (ko) 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법
JP2003284075A (ja) 動画像符号化方法と装置及び復号化方法と装置
KR101337206B1 (ko) 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
KR102242334B1 (ko) 데이터 변형을 통한 고해상도 동영상 프레임 율 고속 변환 방법 및 장치
KR101215128B1 (ko) 프레임 보간 방법
US20110142127A1 (en) Image Processing Device

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination