KR102121395B1 - 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법 - Google Patents

영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102121395B1
KR102121395B1 KR1020140137629A KR20140137629A KR102121395B1 KR 102121395 B1 KR102121395 B1 KR 102121395B1 KR 1020140137629 A KR1020140137629 A KR 1020140137629A KR 20140137629 A KR20140137629 A KR 20140137629A KR 102121395 B1 KR102121395 B1 KR 102121395B1
Authority
KR
South Korea
Prior art keywords
motion
scaling
size
frame
image frame
Prior art date
Application number
KR1020140137629A
Other languages
English (en)
Other versions
KR20160001570A (ko
Inventor
안태경
임형준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/742,238 priority Critical patent/US10382782B2/en
Publication of KR20160001570A publication Critical patent/KR20160001570A/ko
Application granted granted Critical
Publication of KR102121395B1 publication Critical patent/KR102121395B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

영상 프레임 보간 장치가 개시된다. 영상 프레임 보간 장치는, 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 추정된 모션을 스케일링하는 모션 스케일링부 및, 내부 메모리를 이용하여, 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며, 모션 스케일링부는, 추정된 모션의 크기 및 모션 보상부에 구비된 내부 메모리의 크기에 기초하여 추정된 모션을 스케일링할 수 있다.

Description

영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법 { Image frame interpolation apparatus, Display apparatus and control method thereof }
본 발명은 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 ME/MC 기반 FRC기술을 이용하여 영상 프레임 보간을 수행하는 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법에 관한 것이다.
LCD와 같은 Hold-type 디스플레이에서 발생하는 Motion Blur 및 24Hz로 이루어진 Film 영상에서 발생하는 Motion Judder와 같이 낮은 Frame Rate로 인하여 발생하는 문제를 해결하기 위하여 FRC 기술이 널리 사용되고 있다. 원본 동영상의 프레임율이 24Hz 또는 60Hz일 때, FRC 기술로 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다.
하지만, 최근에는 DTV의 해상도가 FHD→4K→8K로 증가함에 따라 이를 지원하기 위한 FRC Chip의 크기가 급격히 증가하는 문제가 대두되고 있다. FRC 크기의 증가로 인한 소비 전력과 발열 문제로 Chip 구현 자체가 힘들어지고 있어 FRC 크기 저감 방안이 주요 이슈 중의 하나이다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, ME/MC 기반 FRC 적용 시 검출된 모션을 스케일링하여 FRC Chip의 크기를 감소시킬 수 있는 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치는, 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 기설정된 크기 이하의 내부 메모리를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며, 상기 모션 스케일링부는, 상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링한다.
또한, 상기 모션 추정부는, 상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며, 상기 모션 스케일링부는, 상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링할 수 있다.
또한, 상기 모션 스케일링부는, 상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다.
또한, 상기 모션 스케일링부는, 상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다.
또한, 상기 모션 스케일링부는, 아래의 수식에 기초하여 모션 벡터를 스케일링할 수 있다.
Figure 112014097160316-pat00001
여기서, MVme(x, y)는 모션 추정부에서 검출된 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 모션 보상부로 출력되는 스케일링된 모션을 의미한다.
여기서, 상기 제1 영상 프레임은 이전 영상 프레임이고, 상기 제2 영상 프레임은 현재 영상 프레임이 될 수 있다.
또한, 상기 모션 보상부에 구비된 내부 메모리는, 상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 방송 신호를 수신하는 방송 수신부, 상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 프레임 레이트 변환부 및, 상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 디스플레이부를 포함하며, 상기 프레임 레이트 변환부는, 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 기설정된 크기 이하의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며, 상기 모션 스케일링부는, 상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링할 수 있다.
여기서, 상기 모션 보상부에 구비된 내부 메모리는, 상기 모션 추정부에 구비된 내부 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법은, 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 단계, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링 단계 및, 기설정된 크기 이하의 상기 메모리를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 단계를 포함한다.
또한, 상기 모션을 추정하는 단계는, 상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며, 상기 추정된 모션을 스케일링하는 단계는, 상기 적어도 하나의 모션 벡터의 크기 및 상기 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링할 수 있다.
또한, 상기 추정된 모션을 스케일링하는 단계는, 상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다.
또한, 상기 추정된 모션을 스케일링하는 단계는, 상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다.
또한, 상기 추정된 모션을 스케일링하는 단계는, 아래의 수식에 기초하여 모션 벡터를 스케일링할 수 있다.
Figure 112014097160316-pat00002
여기서, MVme(x, y)는 검출 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 스케일링된 모션을 의미한다.
여기서, 상기 제1 영상 프레임은 이전 영상 프레임이고, 상기 제2 영상 프레임은 현재 영상 프레임이 될 수 있다.
여기서, 상기 모션 보상에 이용되는 메모리는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 방송 신호를 수신하는 단계, 상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 단계 및, 상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 단계를 포함하며, 상기 프레임 레이트를 변환하는 단계는, 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하고, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하며, 기설정된 크기 이하의 상기 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다.
여기서, 상기 모션 보상에 이용되는 메모리는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 만큼 작은 크기를 가질 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 화질 저하를 최소화하면서 MC Search Range Memory를 대폭 저감할 수 있으므로, 8K UHD와 같은 차세대 초고해상도 영상에도 대응 가능한 FRC Chip을 제공할 수 있게 된다.
도 1은 본 발명의 이해를 돕기 위한 프레임 레이트 변환 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 구성을 설명하기 위한 도면이다.
도 3a 및 도 3b는 도 2에 도시된 영상 프레임 보간 장치가 적용될 수 있는 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 4는 본 발명의 일 실시 예에 따라 보간 영상 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따라 모션 스케일링을 수행하는 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 기술적 효과를 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 이해를 돕기 위한 프레임 레이트 변환 동작을 설명하기 위한 도면이다.
프레임 레이트 변환(FRC : Frame Rate Conversion)은 디스플레이를 통해 출력될 비디오의 프레임 레이트를 변환하는 기능을 말한다. FRC를 이용하여 비디오의 프레임 레이트를 증가시키면, 비디오에 나타나는 움직임이 보다 매끄럽고 자연스러워지게 된다. 따라서, FRC 기술을 이용하여 120Hz의 영상을 구현하면, 동영상의 화질은 매우 우수해진다.
예를 들어, 도시된 바와 같이 원본 동영상의 프레임율이 60Hz일 때, 원본 동영상의 프레임들 사이를 보간하여 보간 프레임을 생성함으로써, 프레임율을 120Hz 또는 240Hz로 변환할 수 있다. 특히, ME/MC(Motion EstimationㆍMotion Compensation) FRC의 경우, 프레임 레이트를 일정 수준으로 증가시키고(예를 들어, 60Hz에서 120Hz로 증가시키고), 프레임 레이트 증가를 위해 삽입되는 프레임에 모션 예측 및 보정 정도를 조절함으로써, 프레임 레이트의 레벨을 조절하게 된다. 예를 들어, 비디오의 프레임 레이트를 60Hz에서 120Hz로 증가시키고자 한다면, 매 프레임 마다 하나의 프레임을 추가하여 프레임 개수가 초당 60개인 입력 비디오를 초당 프레임 개수가 120개인 비디오로 변환하여 출력할 수 있게 된다.
이하에서는, 본 발명의 일 실시 예에 따라 ME/MC FRC 방식을 수행하는 방법에 대해 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 구성을 설명하기 위한 도면이다.
도 2에 따르면 영상 프레임 보간 장치(100)는 모션 추정부(110), 모션 스케일링부(120) 및 모션 보상부(130)를 포함한다.
모션 추정부(110)는 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정한다. 여기서, 제1 영상 프레임은 이전 영상 프레임이고, 제2 영상 프레임은 현재 영상 프레임이 될 수 있다.
구체적으로, 모션 추정부(110)는 제1 영상 프레임의 축소 영상 및 제2 영상 프레임의 축소 영상에 기초하여 적어도 하나의 모션 벡터를 생성할 수 있다. 즉, 모션 추정부(110)는 영상의 해상도 증가로 인해 과도하게 커지는 FRC chip 크기를 줄이기 위하여 축소된 영상에서 모션을 검출할 수 있다. 예를 들어, 영상을 1/4로 축소하여 모션을 검출할 경우 모션 추정부(110)에 구비된 내부 메모리의 크기도 1/4로 저감할 수 있게 되며 화질 저하도 크지 않게 된다.
또는 경우에 따라 모션 추정부(110)는 제1 영상 프레임에 대한 영상 데이터의 일부 및 제2 영상 프레임에 대한 영상 데이터의 일부 만을 이용하여 보간 프레임을 생성할 수 있다. 이에 따라 모션 추정부(110)에 구비된 내부 메모리의 크기도 저감할 수 있고, 보간 프레임을 생성하기 위해 필요한 연산량을 줄일 수 있어 빠른 속도로 보간 프레임을 생성할 수 있다.
모션 스케일링부(120)는 모션 추정부(110)에서 추정된 모션을 스케일링한다.
구체적으로, 모션 스케일링부(120)는, 모션 추정부(110)에서 생성된 적어도 하나의 모션 벡터의 크기 및 후술하는 모션 보상부(130)의 내부 메모리 크기에 기초하여 적어도 하나의 모션 벡터를 스케일링할 수 있다.
특히, 모션 스케일링부(120)는 모션 추정부(110)에서 생성된 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 모션 보상부(130)의 내부 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다. 이 경우, 모션 스케일링부(120)는 결정된 스케일링 값에 따라 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다.
모션 스케일링부(120)는 아래의 수학식 1에 기초하여 모션 벡터를 스케일링할 수 있다.
Figure 112014097160316-pat00003
여기서, 여기서, MVme(x, y)는 모션 추정부(110)에서 검출한 Motion Vector를 나타내고 MCSR은 모션 보상부(130)의 Search Range를 나타내며, MVmc(x, y)는 모션 보상부(130)로 출력되는 스케일링된 모션을 의미한다.
모션 보상부(130)는 내부 메모리를 이용하여, 모션 스케일링부(120)에서 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다. 여기서, 내부 메모리는, 모션 추정부(110)에 구비된 내부 메모리의 크기보다 기설정된 크기 이하 작은 값을 가질 수 있다. 예를 들어, 기존에 모션 보상부(130)에 구비된 내부 메모리가 2000만 G/C의 크기를 가진 경우, 본 발명의 일 실시 예에 따라 모션 보상부(130)에 구비된 내부 메모리는1000만 G/C의 크기를 가질 수 있다. 이에 따라 메모리의 Search Range는 기존에 비하여 감소될 수 있으나, 스케일링된 모션에 기초하여 보상을 수행하므로 전혀 문제가 없게 된다.
도 3a 및 도 3b는 도 2에 도시된 영상 프레임 보간 장치가 적용될 수 있는 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 3a는 본 발명의 일 실시 예에 따른 디스플레이 장치가 디지털 TV로 구현된 경우를 상정한 것으로, 도 3a에 따르면 디스플레이 장치(200)는 방송 수신부(210), 방송신호 분리부(220), 오디오 처리부(230), 오디오 출력부(240), 비디오 처리부(250), 디스플레이부(260), 저장부(270) 및 제어부(280)를 포함한다.
방송 수신부(210)는 공중(Air) 또는 케이블을 통해 무선 또는 유선으로 수신되는 방송들 중 어느 하나를 선국하여 복조한다.
방송 분리부(220)는 방송 수신부(210)에서 수신된 방송신호를 오디오 신호, 비디오 신호 및 부가 데이터로 분리하여 출력한다. 방송신호로부터 분리된 오디오 신호와 비디오 신호는 오디오 처리부(230)와 비디오 처리부(250)로 각각 인가된다. 부가 데이터는 제어부(290)로 인가되는데, 부가 데이터는 PSIP(Program and SystemInformation Protocol) 정보일 수 있다.
오디오 처리부(230)는 방송 분리부(220)에서 출력되는 오디오 신호를 디코딩한다. 그리고, 오디오 처리부(230)는 디코딩된 오디오 신호를 TV에 마련된 스피커를 통해 출력가능한 포맷의 오디오 신호로 변환한다.
오디오 출력부(240)는 오디오 처리부(230)에서 출력되는 오디오 신호를 스피커를 통해 출력한다.
비디오 처리부(250)는 방송신호 분리부(220)에서 출력되는 비디오 신호에 대해 비디오 디코딩, 비디오 스케일링 등의 영상 신호처리를 수행한다. 비디오 처리부(250)에 대해서는 도 3b를 참고하여 상세히 설명하도록 한다.
도 3b는 본 발명의 일 실시예에 따른, 비디오 처리부의 상세 블럭도이다.
도 3b에 도시된 바와 같이, 비디오 처리부(250)는 비디오 디코딩부(251), 스케일링부(252) 및 프레임 레이트 변환(FRC : Frame Rate Conversion)부(253)를 포함한다.
비디오 디코딩부(251)는 방송신호 분리부(220)에서 출력되는 비디오 신호를 디코딩한다. 이에 따라, 비디오 디코딩부(251)에서는 압축해제된 비디오 신호가 출력된다.
스케일링부(252)는 비디오 디코딩부(251)에서 출력되는 디코딩된 비디오 신호에 대한 비디오의 크기를 디스플레이부(260)에 적합한 크기로 스케일링한다.
프레임 레이트 변환부(253)는 스케일링부(252)에서 스케일링된 비디오에 대해 프레임 레이트 변환을 수행한다. 예를 들어, 스케일링부(252)로부터 전달되는 비디오의 프레임 레이트가 60Hz인 경우, 프레임 레이트 변환부(253)는 비디오의 프레임 레이트를 120Hz로 변환시킬 수 있다. 상술한 도 2에 도시된 영상 프레임 보간 장치는 이러한 프레임 레이트 변환부(253)로서 구현될 수 있다.
디스플레이부(260)는 비디오 처리부(250)에서 출력되는 비디오를 디스플레이한다. 즉, 디스플레이부(260)는 동작 예측 및 보정 기술에 따라 프레임 레이트가 변환된 비디오를 출력하게 되며, 이에 따라 출력되는 영상은 움직임이 더욱 부드러운 영상으로 표현될 수 있게 된다.
제어부(270)는 상술한 구성요소들의 전반적인 동작을 제어한다.
도 4는 본 발명의 일 실시 예에 따라 보간 영상 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 4에 도시된 바에 따르면, 시간 t의 제 1 영상 프레임(410) 및 시간 t+d 의 제 2 영상 프레임(420) 사이를 보간하여 보간 영상 프레임(430)을 생성하기 위해서 모션 벡터(440)가 예측된다.
구체적으로, 제 2 영상 프레임(420)의 블록(421)과 유사한 블록(411)을 제 1 영상 프레임(410)에서 검색하고, 검색 결과에 기초하여 움직임 벡터(440)를 예측한다. 도 4에서는 순방향(forward) 모션 벡터(440)를 생성되는 것으로 도시되었으나, 이에 한정되지 않고 제 1 영상 프레임(410)을 기준으로 제 2 영상 프레임(420)에서 움직임 예측을 수행하여 역방향(backward) 움직임 벡터를 생성할 수도 있다. 이어서, 생성된 모션 벡터(440)에 기초하여 제 1 영상 프레임(410)과 제 2 영상 프레임(420) 사이의 보간 영상 프레임을 생성할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 모션 스케일링을 수행하는 방법을 설명하기 위한 도면이다.
도 5에 도시된 바에 따르면, ME 블럭(110')에서는 상술한 바와 같이 입력된 영상의 축소 영상으로부터 모션을 검출한다. 이어서, Motion Scaling 블럭(120')은 검출된 모션들 중 가장 큰 모션을 판단한 후, 판단된 가장 큰 모션에 대하여 ME 블럭(110')의 Search Range 대비 MC 블럭(130')의 Search Range에 대한 스케일링 비율을 산출한다. 이 후, Motion Scaling 블럭(120')은 산출된 스케일링 비율에 맞춰 영상 프레임에 대응되는 전체 Motion을 다운 스케일링한 후 MC 블럭(130')으로 전달하게 된다. 이 경우, 스케일링된 모션은 상술한 수학식 1에 의해 획득될 수 있다.
예를 들어, 도시된 바와 같이 ME 블럭(110')에서 검출된 모션들(MVme) 중 가장 큰 모션(max MVme)이 200 pixel이고, MC 블럭(130')의 Search Range(MCSR)이 120 pixel인 경우, 스케일링 비율 120/200=0.6을 산출하고, 산출된 스케일링 비율에 따라 전체 모션을 다운 스케일링하여 MC 블럭(130')으로 전달하게 된다.
즉, ME 블럭(110')에서 검출한 모션이 하나라도 MC 블럭(130')의 Search Range를 벗어나는 경우 해당 비율만큼 전체 Motion을 축소함으로써 적인 크기의 MC Search Range Memory 만으로도 MC를 수행하여 Interpolation 프레임을 생성할 수 있게 된다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 기술적 효과를 설명하기 위한 도면들이다.
도 6a는 종래 기술에 따른 이중상 발생 현상을 나타내는 도면이고, 도 6b는 본 발명의 일 실시 예에 따른 이중상 발생 현상을 나타내는 도면이다.
도 6a에 도시된 바와 같이 기존 방식에 따라 MC 블럭의 Search Range Memory 크기 만을 감소시킨 경우에는 모션의 크기 만큼 이중상이 발생하고, 심한 Motion Judder가 발생하게 된다. 반면, 도 6b에 도시된 바와 같이 MC 블럭의 Search Range Memory 크기를 감소시킴과 동시에 모션을 스케일링한 경우 Scaling 비율만큼만 이중상이 나타나고 그만큼 Motion Judder 또한 약하게 발생하게 된다.
예를 들어, 컨텐츠의 모션이 MC Search Range를 벗어나는 200 이고 Scaling 비율이 0.6이라면 기존 방식에서는 이중상이 200 pixel 만큼 나타나게 되고 본 발명의 일 실시 예에 따른 방식에서는 80 pixel 만큼의 이중상이 나타나게 된다. 따라서, 본 발명의 일 실시 예에 따르면, Motion Judder는 기존 방식의 40% 수준으로 감소하게 된다.
도 7은 본 발명의 일 실시 예에 따른 영상 프레임 보간 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 영상 프레임 보간 장치의 제어 방법에 따르면, 우선 모션 추정 블럭에서 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정한다(S710). 여기서, 제1 영상 프레임은 이전 영상 프레임이고, 제2 영상 프레임은 현재 영상 프레임이 될 수 있다.
이어서, 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 추정된 모션을 스케일링한다(S720).
이 후, 기설정된 크기 이하의 메모리를 이용하여, 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성한다(S730). 이 경우, 모션 보상에 이용되는 메모리의 크기는, 모션 추정에 이용되는 메모리의 크기보다 기설정된 크기 이하 작은 크기를 가질 수 있다.
또한, 모션을 추정하는 S710 단계에서는, 제1 영상 프레임의 축소 영상 및 제2 영상 프레임의 축소 영상에 기초하여 적어도 하나의 모션 벡터를 생성하며, 추정된 모션을 스케일링하는 S720 단계에서는, 적어도 하나의 모션 벡터의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 적어도 하나의 모션 벡터를 스케일링할 수 있다.
또한, 추정된 모션을 스케일링하는 S720 단계에서는, 생성된 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 모션 보상에 이용되는 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 적어도 하나의 모션 벡터를 다운 스케일링할 수 있다.
또한, 추정된 모션을 스케일링하는 S720 단계에서는, 결정된 스케일링 값에 따라 제1 영상 프레임 및 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링할 수 있다.
또한, 추정된 모션을 스케일링하는 S720 단계에서는, 상술한 수학식 1에 기초하여 모션 벡터를 스케일링할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, FRC 기술을 적용하기 위한 FRC chip의 크기를 감소시키면서 이로 인한 화질 저하를 방지할 수 있게 된다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 디스플레이 장치나 사용자 단말 장치에 대한 소프트웨어 업그레이드만으로도 구현될 수 있다.
또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 모션 추정부 120: 모션 스케일링부
130: 모션 보상부

Claims (18)

  1. 제1 크기의 내부 메모리를 이용하여 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부;
    상기 추정된 모션을 스케일링하는 모션 스케일링부; 및
    상기 제1 크기보다 기 설정된 크기만큼 작은 제2 크기의 내부 메모리 를 이용하여, 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부;를 포함하며,
    상기 모션 스케일링부는,
    상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 영상 프레임 보간 장치.
  2. 제1항에 있어서,
    상기 모션 추정부는,
    상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며,
    상기 모션 스케일링부는,
    상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
  3. 제2항에 있어서,
    상기 모션 스케일링부는,
    상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 내부 메모리에 저장된 영역(Search Range)를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
  4. 제3항에 있어서,
    상기 모션 스케일링부는,
    상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치.
  5. 제2항에 있어서,
    상기 모션 스케일링부는,
    아래의 수식에 기초하여 모션 벡터를 스케일링하는 것을 특징으로 하는 영상 프레임 보간 장치;
    Figure 112014097160316-pat00004

    여기서, 여기서, MVme(x, y)는 상기 모션 추정부에서 검출된 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 모션 보상부로 출력되는 스케일링된 모션을 의미한다.
  6. 제1항에 있어서,
    상기 제1 영상 프레임은 이전 영상 프레임이고,
    상기 제2 영상 프레임은 현재 영상 프레임인 것을 특징으로 하는 영상 프레임 보간 장치.
  7. 삭제
  8. 방송 신호를 수신하는 방송 수신부;
    상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 프레임 레이트 변환부; 및
    상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 디스플레이부;를 포함하며,
    상기 프레임 레이트 변환부는,
    제1 크기의 내부 메모리를 이용하여 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 모션 추정부, 상기 추정된 모션을 스케일링하는 모션 스케일링부 및, 상기 제1 크기보다 기 설정된 크기만큼 작은 제2 크기의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 모션 보상부를 포함하며,
    상기 모션 스케일링부는,
    상기 추정된 모션의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 것을 특징으로 하는 디스플레이 장치.
  9. 삭제
  10. 영상 프레임 보간 장치의 제어 방법에 있어서,
    제1 크기의 내부 메모리를 이용하여 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하는 단계;
    상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하는 단계; 및
    상기 제1 크기보다 기 설정된 크기만큼 작은 제2 크기의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 모션을 추정하는 단계는,
    상기 제1 영상 프레임에 대한 적어도 하나의 제1 영상 데이터 및 상기 제2 영상 프레임에 대한 적어도 하나의 제2 영상 데이터에 기초하여 적어도 하나의 모션 벡터를 생성하며,
    상기 추정된 모션을 스케일링하는 단계는,
    상기 적어도 하나의 모션 벡터의 크기 및 상기 내부 메모리의 크기에 기초하여 상기 적어도 하나의 모션 벡터를 스케일링하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 추정된 모션을 스케일링하는 단계는,
    상기 적어도 하나의 모션 벡터 중 가장 큰 모션 값을 갖는 모션 벡터의 크기가 상기 메모리의 search range를 벗어나지 않도록 하는 스케일링 값을 결정하고, 결정된 스케일링 값에 기초하여 상기 적어도 하나의 모션 벡터를 다운 스케일링하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 추정된 모션을 스케일링하는 단계는,
    상기 결정된 스케일링 값에 따라 상기 제1 영상 프레임 및 상기 제2 영상 프레임 전체에 대응되는 복수의 모션 벡터를 모두 스케일링하는 것을 특징으로 하는 제어 방법.
  14. 제11항에 있어서,
    상기 추정된 모션을 스케일링하는 단계는,
    아래의 수식에 기초하여 모션 벡터를 스케일링하는 것을 특징으로 하는 제어 방법;
    Figure 112014097160316-pat00005

    여기서, MVme(x, y)는 검출 Motion Vector, MCSR은 상기 메모리의 Search Range, MVmc(x, y)는 상기 스케일링된 모션을 의미한다.
  15. 제10항에 있어서,
    상기 제1 영상 프레임은 이전 영상 프레임이고,
    상기 제2 영상 프레임은 현재 영상 프레임인 것을 특징으로 하는 제어 방법.
  16. 삭제
  17. 디스플레이 장치의 제어 방법에 있어서,
    방송 신호를 수신하는 단계;
    상기 수신된 방송 신호에 포함된 비디오 신호의 프레임 레이트를 변환하는 단계; 및
    상기 프레임 레이트가 변환된 비디오 신호를 디스플레이하는 단계;를 포함하며,
    상기 프레임 레이트를 변환하는 단계는,
    제1 크기의 내부 메모리를 이용하여 상기 비디오 신호에 포함된 제1 영상 프레임 및 제2 영상 프레임에 기초하여 모션을 추정하고, 상기 추정된 모션의 크기 및 모션 보상에 이용되는 메모리의 크기에 기초하여 상기 추정된 모션을 스케일링하며, 상기 제1 크기보다 기 설정된 크기만큼 작은 제2 크기의 내부 메모리를 이용하여 상기 스케일링된 모션에 대한 보상을 수행하여 보간 프레임을 생성하는, 제어 방법.
  18. 삭제
KR1020140137629A 2014-06-27 2014-10-13 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법 KR102121395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/742,238 US10382782B2 (en) 2014-06-27 2015-06-17 Image frame interpolation apparatus, display apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462018086P 2014-06-27 2014-06-27
US62/018,086 2014-06-27

Publications (2)

Publication Number Publication Date
KR20160001570A KR20160001570A (ko) 2016-01-06
KR102121395B1 true KR102121395B1 (ko) 2020-06-10

Family

ID=55165422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140137629A KR102121395B1 (ko) 2014-06-27 2014-10-13 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102121395B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102547085B1 (ko) * 2018-12-26 2023-06-23 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
KR20210023158A (ko) 2019-08-22 2021-03-04 (주)넥서스일렉트로닉스 초고선명 텔레비전 영상 제공 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207915A1 (en) 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207915A1 (en) 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression

Also Published As

Publication number Publication date
KR20160001570A (ko) 2016-01-06

Similar Documents

Publication Publication Date Title
EP3232669B1 (en) Video frame processing method, video processing chip, motion estimation and motion compensation chip
US9094657B2 (en) Electronic apparatus and method
US8385422B2 (en) Image processing apparatus and image processing method
US8462989B2 (en) Scaling an image based on a motion vector
US9204086B2 (en) Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
EP2355038A1 (en) Image processor and image processing method
US20110050991A1 (en) System and method for frame rate conversion using multi-resolution temporal interpolation
JP2009532984A (ja) 補償アーチファクトに対する保護を有する動き補償フレームレート変換
US20110122227A1 (en) 3d image display apparatus and display method
US7295245B2 (en) Method and apparatus for converting frame rate using time shifting and motion compensation
US20190141287A1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
KR102121395B1 (ko) 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법
CN105210366A (zh) 图像处理装置和图像处理方法
US8244055B2 (en) Image processing apparatus and method, and program
US10382782B2 (en) Image frame interpolation apparatus, display apparatus and control method thereof
US9275468B2 (en) Fallback detection in motion estimation
JP5015089B2 (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
US8045817B2 (en) Method for improving image quality, and image signal processing apparatus and AV device using the same
US8699577B2 (en) Method and apparatus for interpolating image
KR102192488B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US8817191B2 (en) Image processing apparatus and image processing method
JP2007288483A (ja) 画像変換装置
CN112544075B (zh) 显示装置、信号处理装置和信号处理方法
KR101057999B1 (ko) 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체
KR101574301B1 (ko) 프레임 율 변환 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant