KR101852967B1 - 프레임 율 검출 방법 및 프레임 율 변환 방법 - Google Patents

프레임 율 검출 방법 및 프레임 율 변환 방법 Download PDF

Info

Publication number
KR101852967B1
KR101852967B1 KR1020170180665A KR20170180665A KR101852967B1 KR 101852967 B1 KR101852967 B1 KR 101852967B1 KR 1020170180665 A KR1020170180665 A KR 1020170180665A KR 20170180665 A KR20170180665 A KR 20170180665A KR 101852967 B1 KR101852967 B1 KR 101852967B1
Authority
KR
South Korea
Prior art keywords
frame rate
frame
frames
time stamp
output
Prior art date
Application number
KR1020170180665A
Other languages
English (en)
Inventor
이재헌
김대현
김태진
Original Assignee
주식회사 아나패스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아나패스 filed Critical 주식회사 아나패스
Priority to KR1020170180665A priority Critical patent/KR101852967B1/ko
Application granted granted Critical
Publication of KR101852967B1 publication Critical patent/KR101852967B1/ko
Priority to US16/190,353 priority patent/US10382718B2/en
Priority to CN202011246853.5A priority patent/CN112437241B/zh
Priority to CN201811494081.XA priority patent/CN109982021B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 실시예에 의한 프레임 율 검출 방법은: (a) 미리 정해진 입력 프레임 율에 따라 순차적으로 제공된 프레임들에 대하여, 미리 정해진 길이를 가지는 윈도우 내에서 서로 다른 프레임의 개수를 계수(count)하는 과정 및 (b) 미리 정해진 길이, 개수 및 입력 프레임 율로 프레임 율 연산을 수행한다.

Description

프레임 율 검출 방법 및 프레임 율 변환 방법{FRAME RATE DETECTION METHOD AND FRAME RATE CONVERSION METHOD}
본 기술은 프레임 율 검출 방법 및 프레임 율 변환 방법에 관련된다.
프레임율 변환(FRC, frame rate conversion) 또는 프레임 보간(MCFI, motion compensated frame interpolation)은 디지털 TV를 포함하는 현대 디스플레이 장치의 주요한 기능으로, 모션 블러(motion blur) 및 모션 저더(motion judder) 제거를 목표로 한다. 모션 블러는 낮은 소스 프레임 속도 또는 LCD 디스플레이의 샘플 앤 홀드 유형 특성에 기인한 것으로, 프레임 보간(MCFI)과 디스플레이의 새로 고침 프레임 율(refresh frame rate)을 증가시켜 제거할 수 있다. 모션 저더는 영화 등의 소스 프레임 율(frame rate)을 디스플레이 장치의 프레임 율로 변환하는 프로세싱에 의하여 발생하며, 소스 프레임 율 감지 및 동작 보상 프레임 보간 등으로 제거 할 수 있다.
TV 방송에서 스트리밍(streaming)까지 콘텐츠 소비 패턴이 확장 및 변경되면서 소스의 화질 및 형식 범위가 크게 다양화되는 추세이다. 프레임 율 변환(FRC)의 관점에서는 60Hz 뿐만 아니라 50Hz, 30Hz, 24Hz, 12Hz, 8Hz 등의 다양한 프레임 율을 가지는 콘텐츠가 있다. 이러한 콘텐츠를 미리 정해진 프레임 율, 예를 들어 60Hz 로 출력하려면 소스 콘텐츠를 미리 정해진 프레임율로 변환하여야 한다.
일 예로, 24Hz의 프레임율을 가지는 소스를 60Hz로 변환하기 위하여는 소스의 인접한 두 프레임 에서 최초 프레임을 두 번 반복하여 삽입하고, 두번째 프레임을 반복하여 삽입하는 패턴을 반복 수행하여 60Hz로 변환한다. 그러나, 당초 소스에서 등간격으로 배치된 프레임이 변환 과정을 거치면 등간격으로 반복되지 않아, 변환된 프레임들을 그대로 디스플레이하면 고르지 않은 움직임인 저더가 발생한다.
디스플레이 장치는 저더를 제거하기 위하여 소스의 프레임율을 감지하고 반복 삽입된 프레임을 제거한다. 이어서 반복되지 않은 프레임들로 움직임 추정(ME, motion estimation), 움직임 보상(MC, motion compensation)을 수행하여 프레임 보간을 수행한다.
종래 기술에서는 입력된 프레임들에서 반복 패턴을 검출하고 사전 정의된 패턴 중에서 가장 일치하는 패턴을 찾아서 소스의 프레임 율을 식별한다. 일 예로, 어느 한 프레임이 세번 반복되고, 다음 프레임이 두 번 반복되는 형태가 반복되면 소스의 프레임율을 24Hz로 식별하였다. 일치하는 반복 패턴이 없는 경우에는 소스 프레임 율을 60Hz로 지정하였다. 소스의 프레임 율을 식별한 이후, 복수의 프레임 율 변환 시나리오들 중에서, 식별된 소스 프레임 율에 부합하도록 하드웨어를 제어하여 프레임 보간을 수행하였다.
종래의 소스 프레임 율 검출 방법에 의하면, 하나의 소스 내에 다양한 프레임 율로 상호 전환될 때 출력 프레임 율이 갑작스럽게(abruptly) 변화한다. 또한, 입력 프레임에 디지털 노이즈 또는 불량 편집이 있으면 프레임율에 변화가 없어도 갑작스러운 변경이 발생할 수 있다. 이러한 경우 일치하는 패턴이 없어 검색 결과가 기본값인 60Hz로 변화하며, 부정확하거나 거친 움직임 추정, 움직임 보상 및 프레임 보간 수행으로 인해 화면에 저더가 남아 있거나 오히려 악화 될 수 있다.
또한, 종래 기술에 의한 프레임 율 변환 방법은 소스 프레임 율에 따라 미리 정해진 움직임 추정, 움직임 보상 및 프레임 보간 시나리오들 중에서 검출된 프레임 율에 부합하는 시나리오를 선택하여 수행한다. 따라서 종래 기술에 의하면 현존하는 소스 콘텐츠의 프레임율에 상응하는 시나리오를 모두 마련하여야 하고, 그에 따라 프레임 율을 변환하여야 하므로, 하드웨어 및 소프트웨어 측면에서 부하가 발생한다.
본 실시예는 상기한 종래 기술에 의한 프레임 율 검출 방법 및 프레임 율 변환 방법의 단점을 개선하는 것이 주된 목적의 하나이다.
본 실시예에 의한 프레임 율 변환 방법은 입력으로 제공된 프레임들에 대한 소스 프레임 율을 검출하는 단계, 입력으로 제공된 프레임 들 중 서로 다른 프레임에 대하여 검출된 프레임 율에 상응하는 타임 스탬프를 부가하여 저장하는 단계 및 타임 스탬프가 부가되어 저장된 서로 다른 프레임들로부터 출력되어야 할 타임 스탬프에 출력 프레임을 형성하는 단계를 포함한다.
본 실시예에 의한 프레임 율 변환 방법은 출력 프레임을 형성할 모 프레임들을 선정하는 단계와, 모 프레임들로부터 움직임 벡터를 구하고, 모프레임 들의 타임 스탬프로부터 움직임 보상율을 구하는 단계, 및 움직임 벡터와 움직임 보상율로 보간된 프레임(interpolated frame)을 출력 타임 스탬프에 형성하는 단계를 포함한다.
본 실시예의 프레임 율 검출 방법에 의하면 노이즈와 잘못된 편집에 강하고, 정확하게 프레임 율을 검출할 수 있다는 장점이 제공된다. 또한, 타임 스탬프에 기반한 본 실시예의 프레임 율 변환 방법은 시나리오에 기반(scenario based)한 방법이 아니므로 프레임 율 변환 방법을 구현하는데 소모되는 리소스를 감소시킬 수 있으며, 급작스러운 프레임 율 변환에도 불구하고 부드러운 프레임 율 전환이 가능하다는 장점이 제공된다.
도 1은 본 실시예에 의한 소스의 프레임 율 검출 방법의 개요를 도시한 순서도이다.
도 2는 24Hz의 프레임 율을 가지는 소스를 60Hz의 입력 프레임 율로 수신한 경우에, 본 실시예의 동작을 설명하기 위한 도면이다.
도 3은 30Hz의 프레임 율을 가지는 소스가 60Hz의 입력 프레임 율로 제공된 경우에, 5개의 프레임 길이를 가지는 윈도우를 이용하여 소스의 프레임 율을 구하는 과정을 도시한 도면이다.
도 4 및 도 5는 노이즈에 강한(robust)한 프레임 율 연산 방법의 개요를 예시하는 블록도이다.
도 6은 소스 프레임 율 24Hz의 프레임들이 60Hz의 입력 프레임 율로 제공된 경우, 본 실시예의 동작을 개요적으로 도시한 도면이다.
도 7은 본 실시예에 의한 프레임 율 변환 방법의 개요를 도시한 순서도이다.
도 8은 입력 타임 스탬프가 부가된 서로 다른 프레임들로부터 출력 프레임을 형성하는 단계를 보다 자세히 설명하는 순서도이다.
도 9는 모 프레임들로부터 출력 프레임을 형성하는 단계를 설명하기 위한 개요도이다.
도 10은 본 실시예에 의한 프레임 율 변환 방법을 설명하기 위한 개요도이다.
도 11는 움직임 보상을 수행하여 새로운 프레임을 형성하는 과정을 설명하기 위한 도면이다.
도 12 및 도 13은 본 실시예에 의한 프레임 율 변환 방법의 다른 예를 설명하기 위한 개요도로, 프레임 율 24Hz의 소스를 60Hz의 프레임 율로 변환(up conversion)하는 것을 예시한다.
도 14에서 (a) 내지 (l)은 본 실시예에 의한 프레임 검출 방법으로 소스의 프레임 율을 검출하고, 본 실시예에 의한 프레임 율 변환 방법에 따라 목적하는 프레임 율로 변환을 수행한 실험 결과를 도시한다.
도 15은 60Hz의 프레임 율을 가지는 소스에서 24Hz로 프레임 율을 변환하는 과정에서 노이즈 등에 의한 오류가 개입하는 경우의 결과를 도시한 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 개시의 실시예들을 설명하기 위하여 참조되는 도면은 설명의 편의 및 이해의 용이를 위하여 의도적으로 크기, 높이, 두께 등이 과장되어 표현되어 있으며, 비율에 따라 확대 또는 축소된 것이 아니다. 또한, 도면에 도시된 어느 구성요소는 의도적으로 축소되어 표현하고, 다른 구성요소는 의도적으로 확대되어 표현될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
본 실시예의 설명에서 프레임이라 함은 인터레이스 이미지(interlaced image)에 대한 디인터레이스(de-interlace) 과정이 수행된 이미지 프레임 혹은 프로그레시브(progressive) 이미지 프레임을 의미하는 것이다. 또한, 이하의 도면에서, 프레임에 부가되는 A와 B등의 영문자는 프레임의 식별자(descriptor)로, 프레임의 반복 패턴을 설명하기 위하여 사용한다.
프레임 율 검출 방법
이하에서는 첨부된 도면들을 참조하여 본 실시예에 의한 소스의 프레임 율을 검출하는 방법을 설명한다. 도 1은 본 실시예에 의한 소스의 프레임 율 검출 방법의 개요를 도시한 순서도이다. 도 1을 참조하면, 본 실시예에 의한 프레임 율 검출 방법은 (a) 소스(source)의 프레임들이 반복되어 입력 프레임 율로 입력된 프레임들에 대하여, 미리 정해진 길이를 가지는 윈도우 내에서 서로 다른 프레임의 개수를 계수(count)하는 과정(S100) 및 (b) 윈도우 길이(k)에 대한 서로 다른 프레임 개수의 비율로 입력 프레임 율을 연산하여 연산을 수행하는 과정(S200)을 수행하여 소스의 프레임 율을 검출한다.
도 2는 24Hz의 프레임 율을 가지는 소스를 60Hz의 입력 프레임 율로 수신한 경우에, 본 실시예의 동작을 설명하기 위한 도면이다. 도 2를 참조하면, 순차적으로 입력 프레임들에 대하여 프레임 차이 시퀀스(FDS, frame difference sequence)를 형성한다. 일 실시예에서, 순차적으로 입력된 프레임이 직전 프레임과 상이하면 1을 부여하고, 동일하면 0을 부여하여 프레임 차이 시퀀스를 형성한다.
프레임 A는 직전 프레임과 상이하여 1로 표시될 수 있고, 이후 두 프레임은 서로 동일하므로 각각 0으로 표시될 수 있다. 다음 프레임 B는 이전 프레임과 상이하므로 1로 표시될 수 있고, 다음 프레임은 직전 프레임과 동일하므로 0으로 표시될 수 있다. 일 실시예로, 프레임 차이 시퀀스(FDS)에서 1로 표시된 프레임 들은 버퍼에 저장될 수 있다.
미리 정해진 길이(k)를 가지는 윈도우(w) 내에서 서로 다른 프레임의 개수(NOF, Number of Original Frame)를 파악한다(S100). 프레임 차이 시퀀스(FDS)는 현재 프레임과 직전 프레임이 서로 다르면 1을 부여하고, 서로 동일하면 0을 부여하므로, 윈도우(w) 내의 1의 개수를 도합하면 윈도우 내에 포함된 서로 다른 프레임 개수를 파악할 수 있다. 도 2로 예시된 실시예와 같이 윈도우(w)를 이동하면서 윈도우 내에 포함된 서로 다른 프레임들의 개수(NOF)를 파악한다.
일 실시예에서, 프레임 차이 시퀀스(FDS)로부터 서로 다른 프레임들이 반복되는 단위(unit)를 파악할 수 있다. 도 2로 예시된 실시예에 의하면 [10010] 이 주기적으로 반복되는 것을 파악할 수 있으며, 이는 서로 다른 두 개의 프레임들이 3개/2개로 반복되고, 5개 프레임을 반복 단위로 하여 주기적으로 제공되는 것을 나타낸다.
검출된 서로 다른 프레임의 개수와 윈도우의 길이로부터 프레임 율을 연산한다. 도 2로 예시된 실시예에서, 윈도우 길이(k)는 5개의 프레임이며, 윈도우(w) 내에 2개의 서로 다른 프레임을 포함한다. 이에 대하여 소스 프레임 율(F)은 아래의 수학식 1과 같이 윈도우 길이(k)에 대한 서로 다른 프레임 개수의 비율로 입력 프레임 율을 연산하여 소스의 프레임 율을 구할 수 있다.
Figure 112017129645582-pat00001
(k: 윈도우 길이, n: 서로 다른 프레임의 개수, T: 입력 프레임 율, F 소스의 프레임 율)
수학식 1을 소스의 프레임 율 F에 대하여 정리하면 수학식 2와 같다.
Figure 112017129645582-pat00002
(k: 윈도우 길이, n: 서로 다른 프레임의 개수, T: 입력 프레임 율, F 소스의 프레임 율)
즉, 소스의 프레임 율은 수학식 1과 같이 프레임 길이에 대한 윈도우 내의 서로 다른 프레임의 개수의 비율로 입력 프레임 율을 연산하여 얻거나, 수학식 2와 같이 입력 프레임 율 T를 프레임 길이로 나누고, 서로 다른 프레임 개수를 곱하여 소스의 프레임 율 F을 구할 수 있다.
이를 연산하면 소스의 프레임 율 F는 24이고, 윈도우를 이동하면서 소스의 프레임 율을 연산하여도 동일한 값으로 수렴한다. 연산된 소스의 프레임 율은 제공된 소스의 프레임 율과 동일하다.
도 3은 30Hz의 프레임 율을 가지는 소스가 60Hz의 입력 프레임 율로 제공된 경우에, 5개의 프레임 길이를 가지는 윈도우를 이용하여 소스의 프레임 율을 구하는 과정을 도시한 도면이다. 도 3을 참조하면, 순차적으로 제공된 프레임들로부터 프레임 차이 시퀀스(FDS)를 형성한다. 도시된 실시예에서, 프레임 차이 시퀀스(FDS)는 [10]이 연속되며, 반복 단위는 2 프레임이다. 반복 단위가 짧아지면 잘못 파악될 수 있으므로, 반복 단위의 오류를 방지하기 위하여 이러한 경우의 반복 단위를 4 프레임이라고 할 수 있다.
5 개의 프레임 길이(length)를 가지는 윈도우(w)를 이용하여 윈도우(w) 내의 서로 다른 프레임의 개수 n을 구한다. 도 3으로 예시된 실시예에서, 윈도우(w)가 이동함에 따라 윈도우(w) 내의 서로 다른 프레임 개수(NOF)는 3과 2로 진동한다.
NOF가 3일 때 소스의 프레임 율을 수학식 2를 이용하여 연산하면 F= 3*(60/5) = 36으로 연산된다. 또한, 윈도우가 이동하여 n이 2일 때 소스의 프레임 율을 연산하면 F=2*(60/5)=24로 연산된다. 윈도우(w)를 이동하면서 연산된 소스의 프레임 율은 도시된 바와 같이 36과 24로 진동(oscillate)한다. 그러나, 진동하는 값들에 대한 평균을 취하면 프레임 율은 30Hz로 연산되어 제공된 소스의 프레임 율과 일치한다.
일 실시예로, 평균 연산은 프레임의 반복 단위의 정수배에 해당하는 개수의 프레임을 대상으로 수행할 수 있다. 다른 실시예로, 평균 연산은 연속적으로 제공되는 프레임들에 대하여 미리 정해진 프레임 개수에 대하여 수행할 수 있다. 산술 평균을 취하는 프레임의 개수가 반복 단위의 정수배이거나, 프레임의 개수가 증가할수록 연산된 프레임 율의 정확도가 증가한다. 또한, 프레임의 개수가 증가할수록 노이즈에 강한 특성을 가진다.
도 4 및 도 5는 노이즈에 강한(robust)한 프레임 율 연산 방법의 개요를 예시하는 블록도이다. 도 4를 참조하면, 각각의 윈도우 길이(i, j, k, l, m, n)를 가지는 윈도우들을 이용하여 프레임 차이 시퀀스(FDS)로부터 윈도우 내의 서로 다른 프레임의 개수(NOF)를 찾는다(NOF counteri, NOF counterj, NOF counterk, NOF counterl, NOF counterm, NOF countern).
일 실시예로, 윈도우 길이는 현재 사용되는 프레임 변환 방식에 상응하도록 정해질 수 있다. 표 1은 현재 사용되는 프레임 반복 방식의 일부를 도시한다. 아래의 표 1을 참조하면, 현재 사용되는 프레임 변환 방식들은 8Hz, 12Hz, 24Hz, 25Hz, 30Hz 및 50Hz 등의 프레임 율을 가지는 소스를 각각의 반복 패턴에 따라 삽입하여 입력 프레임 율(60Hz)로 변환한다. 각각의 반복 방식에 따른 프레임의 반복 단위를 보면 4, 5, 6, 10, 12 및 15 프레임이다. 일 실시예로, 프레임 율 연산을 위한 윈도우 길이(i, j, k, l, m, n)는 이들 반복 단위에 부합되도록 정해질 수 있다.
소스 프레임 율 반복 패턴 반복 단위(frames)
8Hz AAAAAAAABBBBBBB 15
12Hz AAAAAABBBB 10
12Hz AAAAABBBBB 10
24Hz AABBCCDDDD 10
24Hz AABBBCCCDD 10
24Hz AAABB 5
25Hz AAABBCCCDDEE 12
30Hz AABB 4
50Hz ABCDEE 6
윈도우 내의 서로 다른 프레임의 개수(NOF)들은 각 윈도우 길이에 상응하는 값으로 곱해진다. 윈도우 길이가 i이고, 입력 프레임 율이 THz 일 때, 곱해지는 값은 수학식 2와 같이 T/i 이다. 일 예로, 윈도우 길이가 4이고, 입력 프레임 율이 60Hz 이면, 60/4 = 15가 윈도우 내의 서로 다른 프레임의 개수(NOF)와 곱해져 프레임 율이 연산된다(수학식 2 참조).
서로 다른 길이를 가지는 윈도우로 연산된 각각의 프레임 율(FRi, FRj, FRk, FRl, FRm, FRn)들은 합산되어 산술 평균이 연산된다. 예시된 실시예에 따라 복수의 서로 다른 길이를 가지는 윈도우를 이용하여 프레임 율(FR1)을 연산하면, 노이즈에 의한 오연산의 영향을 감소시킬 수 있어서 프레임 율 연산에서 노이즈 민감도를 낮출 수 있다.
도 5를 참조하면, 이전 스테이지에서 연산된 프레임 율(FR1)은 복수의 길이(i, j, k, l, m, n)로 시간 평균 연산(AVGi, AVGj, AVGk, AVGl, AVGm, AVGn)이 수행된다. 길이는 시간 평균 연산에 사용되는 프레임 율(FR1)의 개수를 의미하고, 길이가 6이면, 최근 순차적으로 제공된 6개의 프레임 율(FR1)에 대하여 시간 평균 연산이 수행되는 것을 의미한다.
일 예로, 시간 평균 연산의 길이는 서로 다른 프레임의 개수를 계수하는데 사용한 윈도우의 길이와 동일할 수 있다. 다른 예로, 시간 평균 연산의 길이는 서로 다른 프레임의 개수를 계수하는데 사용한 윈도우의 길이의 정수배에 상응할 수 있다.
이전 스테이지에서 제공된 프레임 율(FR1)에 대하여 시간 평균 연산을 수행하고, 연산 결과에 가중치(weight, wi, wj, wk, wl, wm, wn)를 곱한 후, 각각의 연산 결과를 합산하여 가중 평균(weighted average)을 연산한다. 일 실시예로, 가중치는 정수일 수 있으며, 프레임 율(FR1)의 시간 평균이 수렴하면 1씩 증가하여 시간 평균 연산의 길이까지 증가할 수 있다. 또한, 가중치는 프레임 율(FR1)의 시간 평균이 수렴하지 않으면 1씩 감소하여 0까지 감소할 수 있다. 일 실시예로, 시간 평균 연산의 길이가 5이면, 가중치는 0 내지 5일 수 있다. 가중치는 연산된 시간 평균이 일정한 값에 수렴하면 증가하고, 진동하거나 발산하면 감소할 수 있다.
도 6은 소스 프레임 율 24Hz의 프레임들이 60Hz의 입력 프레임 율로 제공된 경우, 본 실시예의 동작을 개요적으로 도시한 도면이다. 도시된 실시예는 4, 5, 6, 10, 12 및 15의 길이를 가지는 윈도우와, 동일한 길이를 가지는 평균 연산기를 이용하여 연산을 수행한다. 도 6을 참조하면, 프레임이 순차적으로 제공됨에 따라 프레임 차이 시퀀스(FDS)를 구한다. 프레임 차이 시퀀스(FDS)는 [10010]이 반복되므로 반복 단위는 5 프레임이며, 볼드로 표시된 바와 같이 5의 배수에 상응하는 길이를 가지는 윈도우에서 얻어진 서로 다른 프레임(NOF)의 개수는 수렴하는 것을 확인할 수 있다.
서로 다른 프레임(NOF) 개수는 윈도우의 길이에 상응하는 값으로 곱하여지고, 합산되어 산술 평균이 연산된다. 윈도우 길이가 4이고, 입력 프레임 율이 60Hz 이면, 60/4 = 15가 윈도우 내의 서로 다른 프레임의 개수(NOF)와 곱해지고, 윈도우 길이가 5이면, 60/5 = 20이 곱해지며, 윈도우 길이가 6이면, 60/6 = 10이 곱해지고, 윈도우 길이가 10이면, 60/10 = 6이 곱해지며, 윈도우 길이가 12이면, 60/12 = 5가 곱해지며, 윈도우 길이가 15이면, 60/15 = 4가 곱해진다(수학식 2 참조). 연산된 값들은 합산되어 프레임 율 산술 평균(FR1)이 연산된다.
프레임 율 산술 평균(FR1)은 서로 다른 길이로 시간 평균 연산이 수행되고, 연산 결과에 가중치(weight, wi, wj, wk, wl, wm, wn)가 곱해진 연산 결과들을 합산하여 가중 평균(weighted average)이 연산된다.
가중치는 시간 평균값이 발산하거나, 진동하면 1씩 감소하며, 0을 최소값으로 한다. 또한, 가중치는 시간 평균값이 수렴함에 따라 1씩 증가하며, 시간 평균이 연산되는 길이를 최대값으로 한다. 연산의 결과가 수렴하면, 해당 연산 결과가 프레임 율 연산에 높은 비중으로 참여하도록 하며, 수렴하지 않는 값들이 프레임 율 연산에 높은 비중으로 참여하는 것을 막는다.
도 6으로 도시된 바와 같이 2번째 스테이지를 거쳐 연산된 프레임 율(FR2)은 시간이 경과함에 따라 소스의 프레임 율인 24Hz로 수렴하는 것을 확인할 수 있다.
프레임 율 변환 방법
이하에서는 첨부된 도면들을 참조하여 본 실시예에 의한 프레임 율 변환 방법을 설명하도록 한다. 도 7은 본 실시예에 의한 프레임 율 변환 방법의 개요를 도시한 순서도이다. 도 7을 참조하면, 본 실시예에 의한 프레임 율 변환 방법은 입력으로 제공된 소스 프레임들에 대한 소스 프레임 율을 검출하는 단계(S150)와, 입력으로 제공된 프레임 들 중 서로 다른 프레임에 대하여 검출된 프레임 율에 상응하는 타임 스탬프를 부가하여 저장하는 단계(S250) 및 타임 스탬프가 부가되어 저장된 서로 다른 프레임들로부터 출력되어야 할 타임 스탬프에 출력 프레임을 형성하는 단계(S350)를 포함한다.
타임 스탬프(time stamp)는 프레임들이 배치된 시간 척도를 의미한다. 일 실시예로, 0에서 1초까지의 간격을 타임 스탬프로 표시하면 0에서 L로 표시할 수 있으며, 1 초 이후에는 다시 0에서 L로 표시할 수 있다(타임 스탬프의 주기는 L). 일 예로, 소스 프레임 율 이 60 Hz일 때, 어느 인접한 두 프레임들은 0초와 1/60초에 배치될 수 있으며, 이를 타임 스탬프로 나타내면 각각 0과
Figure 112017129645582-pat00003
으로 나타낼 수 있다.
일 실시예로, 본 실시예에 의한 타임 스탬프는 8Hz, 12Hz, 24Hz, 30Hz, 50Hz, 60Hz, 120Hz 등의 통상 사용되는 프레임 율의 공배수(common multiple)일 수 있으며,있다. 타임 스탬프는 현재 사용되거나 근래에 사용될 수 있는 프레임 율로 형성된 소스 프레임들 사이의 간격을 정수로 표시할 수 있도록 한다.
다른 실시예에서, 프레임은 임의의 수로, 8Hz, 12Hz, 24Hz, 30Hz, 50Hz, 60Hz, 120Hz 등의 통상 사용되는 프레임 율로 나뉘어 지지 않을 수 있다. 프레임 율로 나뉘어 지지 않는 경우에는 반올림(round-up) 연산을 수행하여 프레임 들이 위치하는 타임 스탬프를 얻을 수 있다.
일 실시예에서, 0에서 1초까지의 간격에 상응하는 타임 스탬프는 0 ~ 90000일 수 있으며, 다음 타임 스탬프의 주기(L)는 통상 사용되는 프레임 율의 공배수(common multiple)인 90,000일 수 있는 0부터 다시 시작한다. 다른 실시예에서, 0 ~ 1초의 간격에 상응하는 타임 스탬프는 0 ~ 90000의 정수배일 수 있으며, 다음 타임 스탬프는 0부터 다시 시작한다. 다만, 이것은 수식적 계산을 용이하게 하기 위한 것으로, 본 발명의 권리 범위를 제한하기 위한 것이 아니다.
소스의 프레임 율 타임 스탬프 간격
8Hz 11250
12Hz 7500
24Hz 3750
25Hz 3600
30Hz 3000
50Hz 1800
60Hz 1500
120Hz 750
표 2는 예시적인 프레임 율에 상응하는 프레임 들의 타임 스탬프 간격을 표시한 표이다. 표 2에 예시된 바와 같이, 미리 정해진 프레임 율로 형성된 프레임들은 정수로 표시된 타임 스탬프 간격만큼 이격된다. 일 예로, 프레임 율 60Hz로 형성된 프레임들은 각 프레임 별로 1/60sec의 간격으로 이격된다. 이를 타임 스탬프 간격으로 표시하면 프레임 율 60Hz로 형성된 프레임들은 각 프레임 별로 1500 타임 스탬프 간격만큼 이격된 것으로 표시할 수 있다. 다른 예로, 프레임 율 24Hz로 형성된 프레임들은 각 프레임 별로 1/24sec의 간격으로 이격된다. 이를 타임 스탬프 간격으로 표시하면 각 프레임 별로 3750 타임 스탬프 간격만큼 이격된 것으로 표시할 수 있다.
일 실시예로, 입력된 프레임들에 부가되는 입력 타임 스탬프와, 출력될 프레임이 출력되는 출력 타임 스탬프는 아래의 수학식 3과 같이 연산될 수 있다.
Figure 112017129645582-pat00004
Figure 112017129645582-pat00005
(fn: 검출된 소스의 프레임 율, fo: 출력 프레임 율, L: 타임 스탬프 주기, its: 입력 타임 스탬프, ots: 출력 타임 스탬프)
순차적으로 입력된 프레임들은 위에서 설명된 실시예와 같이 프레임 율이 검출된다. 반복되어 제공된 프레임을 제거하기 위하여 프레임 차이 시퀀스(FDS)에서 1로 표시된 프레임들을 검출된 소스의 프레임 율에 상응하는 타임 스탬프와 함께 버퍼에 저장한다(S250).
도 8은 입력 타임 스탬프가 부가된 서로 다른 프레임들로부터 출력 프레임을 형성하는 단계(S350)를 보다 자세히 설명하는 순서도이다. 도 9는 모 프레임들(mother frame, Fk, Fk + 1)로부터 출력 프레임을 형성하는 단계를 설명하기 위한 개요도이다. 도 8 및 도 9를 참조하면, 보간된 출력 프레임을 형성하기 위한 모 프레임(mother frame, Fk, Fk + 1)들을 선정한다(S352). 일 실시예로, 모 프레임(Fk, Fk + 1)은 버퍼에 저장된 프레임들 중 출력 프레임들의 타임 스탬프를 사이에 두고 있는 인접한 두 프레임으로 선정될 수 있다. 일 예로, 모 프레임(Fk, Fk + 1)들은 프레임 차이 시퀀스(FDS)에서 1로 표시된 프레임들 출력 타임 스탬프를 사이에 두고 서로 인접한 프레임이다.
모 프레임(Fk, Fk + 1)들로부터 움직임 벡터(MV, motion vector)를 구하고, 및타임 스탬프를 이용하여 움직임 보상율(motion compensation ratio, α)을 구한다(S354). 움직임 벡터(MV)는 모 프레임들(Fk, Fk + 1)에서 움직이는 오브젝트(O)에 대한 움직임 추정(ME)를 수행하여 구할 수 있다. 움직임 보상율(motion compensation ratio)은 타임 스탬프를 이용하여 아래의 수학식과 같이 구할 수 있다.
Figure 112017129645582-pat00006
움직임 추정과 움직임 보상을 수행하여 구한 움직임 벡터와 움직임 보상율을 이용하여 출력 타임 스탬프에 보간된 프레임(FMC)를 형성한다(S356). 일 실시예로, 모 프레임과 보간된 프레임의 출력 타임 스탬프가 일치할 수 있다. 일 예로, 소스 프레임 율이 30Hz 이고, 출력 프레임 율이 60Hz인 경우와 같은 경우에는 모 프레임과 보간된 프레임의 출력 타임 스탬프가 일치할 수 있으며, 이 경우에는 모 프레임을 출력 타임 스탬프에 출력하도록 할 수 있다. 다른 예로, 움직임 보상율(α)가 0일 수 있으며, 이러한 경우도 모 프레임과 출력 프레임의 출력 타임 스탬프가 일치할 경우와 동일하며, 이 경우에도 모 프레임을 출력 타임 스탬프에 출력하도록 할 수 있다.
이하에서는 본 실시예에 의한 프레임 율 변환 방법의 구현예를 도면들을 참조하여 설명하도록 한다. 도 10은 본 실시예에 의한 프레임 율 변환 방법을 설명하기 위한 개요도이다. 도 10으로 예시된 실시예는 프레임 율 30Hz의 소스를 60Hz의 프레임 율로 변환(up conversion)하는 것을 예시한다. 다만, 소스는 입력 타임 스탬프로 저장되며, 출력은 출력 타임 스탬프에 따라 형성되나, 이하에서는 간결한 설명과 용이한 이해를 위하여 소스와 출력을 동일한 타임 스탬프 상에 배치하여 설명하도록 한다.
도 10을 참조하면, 인접한 30Hz의 소스 프레임들은 서로 타임 스탬프 간격 3000만큼 이격되어 있으며, 출력은 60Hz의 프레임 율을 가지므로 인접한 출력 프레임들은 1500 타임 스탬프 간격만큼 이격되어야 한다. 또한, 출력 프레임들은 실선으로 도시된 소스의 인접한 모 프레임들(F1, F2)과, 인접한 입력 프레임으로 프레임 보간을 수행하여 얻어진 하나의 프레임(FMC)을 목적하는 타임 스템프 스탬프 1500에 형성하여 출력 프레임 율에 부합하는 프레임들을 형성할 수 있다.
도 11는 움직임 보상을 수행하여 새로운 프레임을 형성하는 과정을 설명하기 위한 도면이다. 도 11을 참조하면, 서로 인접한 두 모 프레임(F1, F2)에서 오브젝트(O)가 이동하는 경우를 가정한다. 출력 프레임(FMC)을 형성할 모 프레임(F1, F2)를 선정한다(S352). 상술한 바와 같이 모 프레임들은 버퍼에 저장된 프레임들 중, 출력 프레임(FMC)이 형성될 타임 스탬프인 1500를 사이에 두고 있는 인접한 프레임들(F1, F2)로 선정할 수 있다.
모 프레임(F1, F2)들로부터 움직임 벡터(motion vector) 및 움직임 보상율(motion compensation ratio, α)을 구한다(S354). 오브젝트(O)가 비록 가속 운동을 하는 경우라 하더라도 프레임과 프레임 사이에 상응하는 짧은 시간 동안은 등속 운동으로 근사(approximate)될 수 있다.
이로부터 움직이는 오브젝트(O)에 대하여 움직임 추정(ME)을 수행하여 움직임 벡터(MV)를 구하고, 움직임 보상(MC)을 수행하여 움직임 보상율(α)을 구한다. 움직임 보상율(α)는 타임 스탬프를 이용하여 아래와 같이 연산될 수 있다.
Figure 112017129645582-pat00007
움직임 보상율(α)로 보상된 움직임 벡터(αMV)를 이용하여 보간 프레임(FMC)을 형성하고, 출력 프레임 율에 상응하는 타임 스탬프인 1500에 삽입하여 프레임 율 변환을 수행할 수 있다(S356). 또한, 모 프레임들(F1, F2)의 출력 타임 스탬프는 입력 타임 스탬프와 일치하므로 모 프레임들(F1, F2)을 출력 프레임으로 사용할 수 있다.
도 12 및 도 13은 본 실시예에 의한 프레임 율 변환 방법의 다른 예를 설명하기 위한 개요도로, 프레임 율 24Hz의 소스를 60Hz의 프레임 율로 변환(up conversion)하는 것을 예시한다. 도 12는 및 도 13은 모 프레임(F1, F2)을 이용하여 타임 스탬프 3000에 보간된 프레임을 형성하는 것을 설명하기 위한 개요도이다. 도 12 및 도 13을 참조하면, 출력 프레임율에 상응하는 타임 스탬프 3000을 사이에 둔 인접한 프레임들(F1, F2)을 모 프레임으로 선정한다(S352). 상술한 바와 같이 모 프레임들은 버퍼에 저장된 프레임들 중, 출력 프레임(FMC)이 형성될 타임 스탬프인 3000을 사이에 두고 있는 인접한 프레임들(F1, F2)로 선정할 수 있다.
일 실시예에서, 인접한 모 프레임들(F1, F2)로부터 움직임 보상을 수행하여 새로운 프레임들을 형성하나, 모 프레임들 중 어느 하나는 출력에 삽입되지 않고 삭제될 수 있다. 모 프레임(F1)의 입력 타임 스탬프와 출력 타임 스탬프는 서로 일치하므로(혹은 움직임 보상율이 0이므로) 출력 프레임으로 출력된다.
서로 인접한 두 소스 프레임(F1, F2)에서 움직이는 오브젝트(O)에 대한 움직임 추정(ME)을 수행하여 움직임 벡터(MV)를 구하고, 움직임 보상(MC)을 수행하여 움직임 보상율(α)을 구한다(S352). 이로부터 오브젝트(O)에 대한 움직임 보상율(α)을 수학식 3과 타임 스탬프(td1, td2)를 이용하여 연산할 수 있다. 일 예로, 새로이 형성될 프레임 FMC2에서 움직임 보상율(α)을 연산하면, 아래의 수학식 6의 연산 결과와 같다.
Figure 112018033131048-pat00031
타임 스탬프를 이용하여 구해진 움직임 보상율(α)로 보상된 움직임 벡터(αMV)를 이용하여 보간 프레임(FMC)을 형성하고, 출력 프레임 율에 상응하는 타임 스탬프인 3000에 삽입하여 프레임 율 변환을 수행할 수 있다(S356).
실험 결과
도 14에서 (a) 내지 (l)은 본 실시예에 의한 프레임 검출 방법으로 소스의 프레임 율을 검출하고, 본 실시예에 의한 프레임 율 변환 방법에 따라 목적하는 프레임 율로 변환을 수행한 실험 결과를 도시한다.
도 14(a)는 60Hz의 프레임 율을 가지는 소스에서 8Hz, 12Hz, 24Hz, 25Hz, 30Hz, 50Hz의 프레임 율로 변환하는 경우를 도시하고, 도 14(b)는 8Hz, 12Hz, 24Hz, 25Hz, 30Hz, 50Hz의 프레임 율을 가지는 소스에서 60Hz로 변환하는 경우를 도시한다. 도 14(c)는 24Hz의 프레임 율을 가지는 소스에서 8Hz, 12Hz, 25Hz, 30Hz, 50Hz, 60Hz의 프레임 율로 변화하는 경우를 도시하며, 도 14(d)는 그 역을 도시한다. 도 14(e)는 30Hz의 프레임 율을 가지는 소스에서 8Hz, 12Hz, 25Hz, 24Hz, 50Hz, 60Hz의 프레임 율로 변화하는 경우를 도시하며, 도 14(f)는 그 역을 도시한다. 도 14(g)는 12Hz의 프레임 율을 가지는 소스에서 8Hz, 30Hz, 25Hz, 24Hz, 50Hz, 60Hz의 프레임 율로 변화하는 경우를 도시하며, 도 14(h)는 그 역을 도시한다. 도 14(i)는 8Hz의 프레임 율을 가지는 소스에서 12Hz, 30Hz, 25Hz, 24Hz, 50Hz, 60Hz의 프레임 율로 변화하는 경우를 도시하며, 도 14(j)는 그 역을 도시한다. 도 14(k)는 50Hz의 프레임 율을 가지는 소스에서 12Hz, 30Hz, 25Hz, 24Hz, 8Hz, 60Hz의 프레임 율로 변화하는 경우를 도시하며, 도 14(l)는 그 역을 도시한다.
도 14를 살펴보면, 어느 한 프레임 율을 가지는 소스로부터 다른 프레임 율로 변환하는 과정에서 대략 12 프레임 ~ 22 프레임 내에서 변환이 완료되어 신속하게 프레임 율 변환이 이루어지는 것을 알 수 있다. 나아가, 급격한 프레임 율의 변화가 이루어지는 경우에도 글리치(glitch)가 발생하지 않고 부드럽게 프레임 율 변환이 이루어지는 것을 확인할 수 있다. 이러한 결과로부터 보다 자연스럽고 부드러운 움직임 추정 및 움직임 보상이 가능하다는 장점이 제공된다.
도 15은 60Hz의 프레임 율을 가지는 소스에서 24Hz로 프레임 율을 변환하는 과정에서 노이즈 등에 의한 오류가 개입하는 경우의 결과를 도시한 도면이다. 도 15를 참조하면, 복수개의 오류가 개입한 경우에도 오류가 없는 경우(0 error)와 대비하여 프레임 율 변환이 비교적 신속하게 이루어지는 것을 확인할 수 있다. 따라서 본 실시예는 비교적 노이즈에 강한(robust)한 특성을 가지는 것을 확인할 수 있다.
본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 실시를 위한 실시예로, 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
S100 내지 S300: 본 실시예에 의한 프레임 율 검출 방법의 각 단계
S150 내지 S350: 본 실시예에 의한 프레임 율 변환 방법의 각 단계

Claims (19)

  1. 프레임 율 변환 방법으로, 상기 프레임 율 변환 방법은:
    입력으로 제공된 프레임들에 대한 소스 프레임 율을 검출하는 단계,
    상기 입력으로 제공된 프레임 들 중 서로 다른 프레임에 대하여 검출된 상기 프레임 율에 상응하는 타임 스탬프를 부가하여 저장하는 단계 및
    상기 타임 스탬프가 부가되어 저장된 서로 다른 프레임들로부터 출력되어야 할 타임 스탬프에 출력 프레임을 형성하는 단계를 포함하며,
    상기 소스 프레임 율을 검출하는 단계는,
    미리 정해진 입력 프레임 율에 따라 상기 입력으로 제공되는 프레임들에 대하여, 미리 정해진 길이를 가지는 윈도우 내에서 서로 다른 프레임의 개수를 계수(count)하는 과정 및
    상기 미리 정해진 길이, 상기 개수 및 상기 입력 프레임 율로 연산을 수행하여 순차적으로 제공되는 프레임들의 소스 프레임 율을 검출하는 과정을 포함하는 프레임 율 변환 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 연산을 수행하는 과정은,
    수학식
    Figure 112018033131048-pat00009

    (j: 윈도우 길이, n: 서로 다른 프레임의 개수, T: 입력 프레임 율, F 소스의 프레임 율)
    을 연산하여 수행하는 프레임 율 변환 방법.
  4. 제1항에 있어서,
    상기 연산을 수행하는 과정은,
    Figure 112018033131048-pat00010

    (j: 윈도우 길이, n: 서로 다른 프레임의 개수, T: 입력 프레임 율, F 소스의 프레임 율)
    을 연산하여 수행하는 프레임 율 변환 방법.
  5. 제1항에 있어서,
    상기 타임 스탬프를 부가하는 과정은,
    미리 정해진 타임 스탬프의 주기를 상기 소스의 프레임 율로 나눈 값의 배수로 부가하여 수행하는 프레임 율 변환 방법.
  6. 제5항에 있어서,
    상기 미리 정해진 타임 스탬프의 주기는 사용 소스 프레임 율의 공배수(common multiple)인 프레임 율 변환 방법.
  7. 제5항에 있어서,
    상기 미리 정해진 타임 스탬프의 주기는 사용 소스 프레임 율의 공배수(common multiple)가 아닌 프레임 율 변환 방법.
  8. 제1항에 있어서,
    상기 타임 스탬프를 부가하는 과정은, 수학식
    Figure 112017129645582-pat00011

    (fn: 검출된 소스의 프레임 율, L: 소스 프레임율의 공배수타임 스탬프 주기, its: 입력 타임 스탬프)
    를 연산하여 수행하는 프레임 율 변환 방법.
  9. 제1항에 있어서,
    상기 출력 프레임을 형성하는 단계는,
    상기 저장된 프레임들 중 인접한 프레임들의 상기 타임 스탬프로 움직임 보상을 수행하여 목적하는 타임 스탬프에 프레임을 형성하는 프레임 율 변환 방법.
  10. 제1항에 있어서,
    상기 출력 프레임을 형성하는 단계는,
    상기 타임 스탬프가 부가되어 저장된 프레임들 중 목적하는 출력 타임 스탬프를 사이에 둔 두 프레임의 상기 타임 스탬프로 움직임 보상율 연산을 수행하는 과정과,
    상기 목적하는 출력 타임 스탬프에 연산된 상기 움직임 보상율을 이용하여 프레임을 보간하여 형성하는 과정을 포함하는 프레임 율 변환 방법.
  11. 제1항에 있어서,
    상기 출력되어야 할 타임 스탬프는 수학식
    Figure 112017129645582-pat00012

    (fo: 출력 프레임 율, L: 타임 스탬프 주기, ots: 출력 타임 스탬프)
    을 연산하여 얻어지는 프레임 율 변환 방법.
  12. 입력으로 제공된 프레임들에 대하여 미리 정해진 타임 스탬프의 주기를 소스의 프레임 율로 나눈 값의 배수인 타임 스탬프를 부가하는 단계와,
    출력 프레임을 형성할 모 프레임들을 선정하는 단계와,
    상기 모 프레임들로부터 움직임 벡터를 구하고, 상기 모 프레임 들의 상기 타임 스탬프로부터 움직임 보상율을 구하는 단계 및
    상기 움직임 벡터와 상기 움직임 보상율로 보간된 프레임(interpolated frame)을 출력 타임 스탬프에 형성하는 단계를 포함하는 프레임 율 변환 방법.
  13. 제12항에 있어서,
    상기 모 프레임들을 선정하는 단계는,
    상기 출력 타임 스탬프를 사이에 둔 인접한 프레임들을 선정하여 수행하는 프레임율 변환 방법.
  14. 제12항에 있어서,
    상기 움직임 보상율을 구하는 단계는,
    상기 모 프레임들 사이에서 움직이는 오브젝트에 대하여 상기 출력 타임 스탬프에 대한 상기 모프레임들 사이의 타임 스탬프 간격의 비율을 연산하여 수행하는 프레임 율 변환 방법.
  15. 제12항에 있어서,
    상기 움직임 보상율을 구하는 단계는, 수학식
    Figure 112017129645582-pat00013

    (td1: 제1 모 프레임으로부터 출력 프레임의 타임 스탬프 간격, td2: 출력 프레임으로부터 제2 모 프레임까지의 출력 프레임의 타임 스탬프 간격)을 연산하여 수행하는 프레임 율 변환 방법.
  16. 제12항에 있어서,
    상기 움직임 보상율을 구하는 단계는, 수학식
    Figure 112017129645582-pat00014

    (otsl: l 번째 출력 프레임의 타임 스탬프, itsk: k 번째 모프레임의 타임 스탬프, itsk +1: k+1 번째 모프레임의 타임 스탬프)을 연산하여 수행하는 프레임 율 변환 방법.
  17. 제12항에 있어서,
    상기 보간된 프레임(interpolated frame)을 출력 타임 스탬프에 형성하는 단계는
    상기 모 프레임들 사이의 출력 프레임 율에 상응하는 타임 스탬프에 상기 보간된 프레임을 형성하여 수행하는 프레임 율 변환 방법.
  18. 제12항에 있어서,
    상기 출력 타임 스탬프는 수학식
    Figure 112017129645582-pat00015

    (fn: 소스 프레임 율, fo: 출력 프레임 율, L: 타임 스탬프 주기, ots: 출력 타임 스탬프)
    을 연산하여 얻어지는 프레임 율 변환 방법.

  19. 제12항에 있어서,
    상기 타임 스탬프를 부가하는 단계는,
    상기 입력으로 제공된 프레임들 중 서로 다른 프레임에 대하여 수행하는 프레임 율 변환 방법.


KR1020170180665A 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법 KR101852967B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170180665A KR101852967B1 (ko) 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법
US16/190,353 US10382718B2 (en) 2017-12-27 2018-11-14 Frame rate detection method and frame rate conversion method
CN202011246853.5A CN112437241B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法
CN201811494081.XA CN109982021B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180665A KR101852967B1 (ko) 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법

Publications (1)

Publication Number Publication Date
KR101852967B1 true KR101852967B1 (ko) 2018-06-07

Family

ID=62621915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180665A KR101852967B1 (ko) 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법

Country Status (1)

Country Link
KR (1) KR101852967B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866795A (zh) * 2019-11-28 2021-05-28 三星电子株式会社 电子设备及其控制方法
US11109033B2 (en) 2018-11-21 2021-08-31 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068502A (ko) * 2007-12-24 2009-06-29 엘지디스플레이 주식회사 움직임 보상 방법, 움직임 보상 장치, 이를 구비한액정표시장치 및 그 구동 방법
KR20110062914A (ko) * 2009-12-04 2011-06-10 한국전자통신연구원 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
KR20120033296A (ko) * 2009-05-27 2012-04-06 소니 주식회사 정보 처리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068502A (ko) * 2007-12-24 2009-06-29 엘지디스플레이 주식회사 움직임 보상 방법, 움직임 보상 장치, 이를 구비한액정표시장치 및 그 구동 방법
KR20120033296A (ko) * 2009-05-27 2012-04-06 소니 주식회사 정보 처리 장치 및 방법
KR20110062914A (ko) * 2009-12-04 2011-06-10 한국전자통신연구원 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109033B2 (en) 2018-11-21 2021-08-31 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof
US11825094B2 (en) 2018-11-21 2023-11-21 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof
CN112866795A (zh) * 2019-11-28 2021-05-28 三星电子株式会社 电子设备及其控制方法
WO2021107293A1 (en) * 2019-11-28 2021-06-03 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11233970B2 (en) 2019-11-28 2022-01-25 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11778139B2 (en) 2019-11-28 2023-10-03 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN112866795B (zh) * 2019-11-28 2023-12-29 三星电子株式会社 电子设备及其控制方法

Similar Documents

Publication Publication Date Title
US7343044B2 (en) Interpolation image generating method and apparatus
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
US6509930B1 (en) Circuit for scan conversion of picture signal using motion compensation
KR100396558B1 (ko) 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
US8559517B2 (en) Image processing apparatus and image display apparatus provided with the same
US7535513B2 (en) Deinterlacing method and device in use of field variable partition type
US8284306B2 (en) Method and unit to process an image signal involving frame rate conversion to improve image quality
JP2003174628A (ja) 動き補償補間のための画素値選択装置及び方法
KR101852967B1 (ko) 프레임 율 검출 방법 및 프레임 율 변환 방법
US7760001B2 (en) Signal processing apparatus
JP4538174B2 (ja) 映像信号のテレシネ変換方式検出装置
KR100732683B1 (ko) 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
CN112437241B (zh) 帧速率检测方法和帧速率转换方法
TWI517715B (zh) 圖幀速率轉換的方法及影像處理裝置
US20120274845A1 (en) Image processing device and method, and program
KR101893204B1 (ko) 프레임 율 검출 방법 및 프레임 율 변환 방법
JP2006310985A (ja) フレームレート変換装置及び表示装置
CN101616291B (zh) 图像处理设备和方法及其程序
US8279931B2 (en) Motion vector estimator for reducing film judder
TWI812483B (zh) 運動估計與運動補償方法及其視訊處理器
JP4929963B2 (ja) プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置
US8405767B2 (en) Image processing device
JP2014187690A (ja) 映像信号処理装置及び方法
CN101895672A (zh) 侦测移动图像的电路与方法
JP2010147699A (ja) 補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant