KR102411911B1 - 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 - Google Patents

프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 Download PDF

Info

Publication number
KR102411911B1
KR102411911B1 KR1020150186479A KR20150186479A KR102411911B1 KR 102411911 B1 KR102411911 B1 KR 102411911B1 KR 1020150186479 A KR1020150186479 A KR 1020150186479A KR 20150186479 A KR20150186479 A KR 20150186479A KR 102411911 B1 KR102411911 B1 KR 102411911B1
Authority
KR
South Korea
Prior art keywords
size
block
frame
preset
interpolation process
Prior art date
Application number
KR1020150186479A
Other languages
English (en)
Other versions
KR20170076345A (ko
Inventor
임형준
최성훈
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150186479A priority Critical patent/KR102411911B1/ko
Priority to US15/194,737 priority patent/US9749579B2/en
Publication of KR20170076345A publication Critical patent/KR20170076345A/ko
Application granted granted Critical
Publication of KR102411911B1 publication Critical patent/KR102411911B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

프레임 레이트 변환(Frame Rate Conversion) 장치가 개시된다. 프레임 레이트 변환 장치는, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리 및 상기 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역에 나머지 영역과 상이한 보간 처리를 적용하여, 상기 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성하는 프로세서를 포함한다.

Description

프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법{APPARATUS AND METHOD FOR FRAME RATE CONVERSION}
본 발명은 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법에 대한 것으로, 보다 상세하게는 움직임 추정을 이용하여 프레임 레이트 변환을 수행하는 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법이다.
전자 기술의 발달과 함께, 디스플레이 장치에서 고해상도, 고품질 영상을 구현하기 위한 기술 개발이 활발하다.
이러한 기술 개발의 결과로, 최근에는 FHD(Full High Definition) 해상도를 가지는 방송 서비스뿐만 아니라, HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition) 방송도 서비스되고 있다.
한편, 디스플레이 장치가 대형화되고 영상 출력 방식에 변화가 생기면서, 디스플레이 장치가 수신하는 비디오 영상의 프레임만으로는 현실감 있는 영상을 재현하는데 어려움이 발생하였다. 일 예로, 빠르게 움직이는 물체가 흐릿하게 디스플레이되는 모션 블러(motion blur) 현상이 있다.
이러한 문제점을 해결하기 위하여, 비디오 영상의 프레임과 프레임 사이에 보간 프레임을 삽입하여, 비디오 영상의 초당 프레임 수를 높이는 기술에 대한 연구가 활발하다.
하지만, 영상 프레임에 포함된 개별 영역의 특성 때문에 보간된 프레임에 화질열화 현상이 발생하는 경우가 발생하였다.
이에 따라, 보간 프레임을 생성하는 데 있어, 영상 프레임의 개별 영역의 특성을 고려하여 보간 프레임을 좀 더 완벽하게 보간 해낼 방안에 대한 필요성이 대두 되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 영상 프레임에 포함된 오브젝트의 특성에 기초하여 움직임 추정을 수행하는 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프레임 레이트 변환(Frame Rate Conversion) 장치는, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리 및 상기 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역에 나머지 영역과 상이한 보간 처리를 적용하여, 상기 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 오브젝트의 크기가 기설정된 크기보다 작은 오브젝트 영역에 대해서, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 상기 보간 처리를 수행할 수 잇다.
또한, 상기 프로세서는, 상기 오브젝트의 움직임이 기설정된 속도 이상인 경우, 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 상기 보간 처리를 수행할 수 있다
또한, 상기 프로세서는, 상기 오브젝트의 크기가 기설정된 크기보다 작은 경우, 상기 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 상기 오브젝트가 패턴 형상인지 여부를 결정할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 패턴 형상인 경우, 상기 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 설정된 오브젝트의 블록에 대응되는 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 대표 화소 값 및 상기 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 보간 처리를 수행할 수 있다.
한편, 본 발명의 일 실시 예에 따른 프레임 레이트 변환 방법은, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계, 상기 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역에 나머지 영역과 상이한 보간 처리를 적용하는 단계 및 상기 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성하는 단계를 포함한다.
여기서, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트의 크기가 기설정된 크기보다 작은 오브젝트 영역에 대해서, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트의 움직임이 기설정된 속도 이상인 경우, 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트의 크기가 기설정된 크기보다 작은 경우, 상기 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 상기 보간 처리를 수행할 수 있다.
이 경우, 상기 프레임 레이트 변환 방법은, 상기 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 상기 오브젝트가 패턴 형상인지 여부를 결정하는 단계를 더 포함할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트가 패턴 형상인 경우, 상기 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 설정된 오브젝트의 블록에 대응되는 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 상기 보간 처리를 수행할 수 있다.
또한, 상기 보간 처리를 적용하는 단계는, 상기 오브젝트의 대표 화소 값 및 상기 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 보간 처리를 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 비디오 처리 과정을 설명하기 위한 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 프레임 레이트 변환을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 프레임 레이트 변환 장치의 구성을 설명하기 위한 블럭도이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 블록 매칭을 설명하기 위한 도면이다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 6a 및 6b는 본 발명의 다른 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 나타내는 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 프레임 변환 장치의 프레임 변환 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치(10)의 비디오 처리 과정을 설명하기 위한 블록도이다.
도 1을 참조하면, 비디오 신호는 비디오 디코딩부(11), 스케일링부(12), 프레임 레이트 변환(FRC: Frame Rate Conversion)부(13) 및 디스플레이(14)에서 순차적으로 처리된다.
비디오 디코딩부(11)는 비디오 신호를 디코딩한다. 이에 따라, 비디오 디코딩부(11)에서는 압축이 해제된 비디오 신호가 출력된다.
스케일링부(12)는 비디오 디코딩부(11)에서 출력되는 디코딩된 비디오 신호에 대한 비디오의 크기를 디스플레이 장치(10)의 디스플레이(14)에 적합한 크기로 스케일링한다.
프레임 레이트 변환부(13)는 스케일링부(12)에서 스케일링된 비디오에 대해 프레임 레이트 변환을 수행한다. 예를 들어, 스케일링부(12)로부터 전달되는 비디오 프레임 레이트가 60Hz인 경우, 프레임 레이트 변환부(13)는 비디오의 프레임 레이트를 120Hz로 변환시킬 수 있다. 여기서, 프레임 레이트 변환은 입력되는 영상을 구성하는 복수의 프레임 사이에 보간 프레임을 삽입하여 수행될 수 있다. 이를, 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시 예에 따른 프레임 레이트 변환을 설명하기 위한 도면이다.
도 2 에서, 참조 번호 230을 현재 프레임, 참조 번호 210을 이전 프레임이라고 가정한다.
도 2를 참조하면, 현재 프레임(230)은 이전 프레임(210)에서 일정한 부분이 변화된 상태를 갖는다. 예를 들어, 도 2와 같이, 자동차(211)는 이전 프레임(210)에서 제1 블록(212)에 위치하다가, 현재 프레임(230)에서는 제3 블록(232)에 위치한다.
이 경우, 보간 프레임(220)은 현재 프레임(230)에서 이전 프레임(210)으로의 상태 변화에서 중간 상태를 갖는다. 따라서, 보간 프레임(220)에서 자동차(211)는 이전 프레임(210)에서의 자동차(211)의 위치(212) 및 현재 프레임(230)의 자동차의 위치(232)의 중간(222)에 위치한다.
결론적으로, 이전 프레임(210)의 상태 및 현재 프레임(230)의 상태의 중간 상태에 대응되는 보간 프레임(220)을 생성하여, 이전 프레임(210) 및 현재 프레임(230) 사이에 삽입함으로써, 프레임 레이트를 변환시킬 수 있다. 이때, 이전 프레임(210) 및 현재 프레임(230) 사이에 n 개의 보간 프레임을 삽입하면, 프레임 레이트는 n배 커진다.
한편, 상술한 보간 프레임(220)을 생성하는 데에는, 움직임 예측 및 보정(ME/MC : Motion Estimation / Motion Conpensation) 기술이 적용될 수 있다. 상술한 예와 같이, 동작 예측 및 보정 기술이 적용되면, 프레임 레이트 변환부(13)는 이전 프레임과 이후 프레임의 동작을 바탕으로 중간 프레임의 동작을 예측하여 보정된 프레임을 생성하여 삽입하게 된다. 여기서, 움직임 예측은 참조 프레임의 매칭되는 블록을 현재 블록에 위치시키기 위한 움직임 또는 변위 벡터의 예측이다. 또한, 움직임 보상은 참조 프레임 내의 블록을 현재 프레임 내의 매칭되는 블록에 실제적으로 정렬시키는 과정이다.
상술한 바와 같이, 움직임 예측 및 보정 기술이 적용되면, 프레임 레이트가 변환된 영상은 더욱 부드러운 영상으로 표현된다. 특히, 움직임 예측에 대하여는 도 3에서 상세히 설명한다.
디스플레이(14)는 프레임 레이트 변환부(13)에서 출력되는 영상 프레임을 순차적으로 디스플레이 한다.
도 3은 본 발명의 일 실시 예에 따른 프레임 레이트 변환 장치(100)의 구성을 설명하기 위한 블록도이다.
도 3에 따르면, 프레임 레이트 변환 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)는 데이터를 저장한다. 특히, 메모리(110)는 입력되는 영상을 구성하는 복수의 프레임을 저장할 수 있다. 일 예로, 메모리(110)는 RAM일 수 있으나 이에 제한되지는 않는다.
프로세서(120)는 프레임 레이트 변환 장치(100)의 전반적인 동작을 제어한다.
프로세서(120)는 보간 프레임을 생성하기 위하여 움직임 벡터를 추정한다. 이를 위해, 프로세서(120)는 현재 프레임의 블록과 인접한 프레임들 사이의 블록 매칭을 수행한다.
여기서, 블록 매칭이란 현재 프레임과 인접한 프레임들에서, 현재 프레임의 블록과 일치하는 블록을 탐색하는 과정을 말한다. 이러한 블록 매칭을 통하여, 현재 프레임의 블록과 인접한 프레임들의 사이에서 매칭되는 블록이 결정된 경우, 매칭되는 블록들 각각의 위치 사이의 차이에 기초하여 움직임 벡터를 결정할 수 있다. 이를, 도 4a 및 도 4b를 참조하여 상세히 설명한다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 블록 매칭을 설명하기 위한 도면이다.
이하에서, 블록 매칭 및 움직임 추정은 블록 단위로 수행되는 것으로 가정한다. 또한, 블록 매칭은 현재 프레임(410) 및 이전 프레임(420) 사이에서 수행되는 것으로 가정한다. 여기서, 블록은 프레임을 구성하는 기설정된 단위를 말한다. 예를 들어, 블록은 복수의 화소를 포함하는 정사각형 또는 직사각형일 수 있으며, 임의의 기하학적 형태일 수도 있다. 또한, 일정한 크기의 데이터 단위로 제한되지 않는다.
도 4a는 본 발명의 일 실시 예에 따른 현재 프레임(410)을 도시한다. 현재 프레임(410)은 입력되는 영상을 구성하는 복수의 프레임 중 어느 하나의 프레임이다. 현재 프레임(410)의 블록(411)은 4개의 화소로 구성되는데, 4개의 화소는 각각의 화소 값을 가진다.
한편, 프로세서(120)는 특정한 범위 내에서 블록 매칭을 수행할 수 있다.
예를 들면, 도 4b와 같이, 프로세서(120)는 이전 프레임(420)의 블록 중, 현재 프레임(410)의 블록(411)과 동일한 위치의 블록(412)으로부터 상하좌우로 4 개의 화소까지(화소의 좌표 (0,4), (9,4), (9,13), (0,13)를 꼭지점으로 하는 사각형 범위 내)를 블록 매칭의 범위로 설정할 수 있다.
구체적으로, 블록 매칭을 수행하기 위해, 프로세서(120)는 블록 매칭 범위에서 현재 프레임(410)의 블록(411)을 구성하는 복수의 화소의 화소 값들과 이전 프레임(420)을 구성하는 블록들을 구성하는 복수의 화소 값들의 차이 값을 계산할 수 있다.
예를 들면, 도 4a 및 도 4b에서 처럼, 현재 프레임(410)의 블록(411)을 구성하는 복수의 화소의 각 화소 값은 좌측 위부터 시계 방향으로 100, 101, 102, 103이며, 블록 매칭의 대상이 되는 이전 프레임(420)의 블록(413)(좌표(8,12))을 구성하는 복수의 화소의 화소 값은 좌측 위부터 시계 방향으로, 99, 100, 101, 101인 경우를 가정한다. 이 경우, 프로세서(120)는 각각의 화소 값의 차이를 계산하여 그 절대 값을 더할 수 있으며, 그 결과 값은 5이다. 이를, 블록 매칭 값이라 정의한다. 즉,　 블록 매칭 값이란, 현재 프레임의 블록을 구성하는 복수의 화소 각각의 화소 값 및 현재 프레임의 블록의 블록 매칭 대상이 되는 현재 프레임의 인접한 프레임의 블록을 구성하는 복수의 화소 각각의 화소 값의 차이의 절대 값을 합한 값이다.
한편, 프로세서(120)는 블록 매칭을 블록 매칭 범위의 모든 블록들에 대해 수행한다. 그 결과로, 프로세서(120)는 가장 작은 블록 매칭 값을 갖는 이전 프레임(420)의 블록(413)을 현재 프레임(410)의 블록(411)에 매칭되는 블록으로 결정한다.
그리고, 프로세서(120)는 현재 프레임(410)의 블록(411)에 매칭되는 블록(413)과 현재 프레임(410)의 블록(411)의 위치(여기서는, 좌표 값)를 이용하여 현재 프레임(410)의 블록(411)의 움직임 벡터를 결정할 수 있다. 예를 들면, 프로세서(120)는 현재 프레임(410)의 블록(411)의 좌표 (4,8) 및 이와 매칭되는 이전 프레임(420)의 블록(413)의 좌표 (8,12)에 기초하여 현재 프레임(410)의 블록(411)의 움직임 벡터를 (4,4)로 결정할 수 있다.
이와 같이, 프로세서(120)는 상술한 방법에 기초하여 현재 프레임의 블록에 대한 움직임 벡터를 추정할 수 있다.
다만, 프로세서(120)는 현재 프레임에 포함된 특정 영역의 경우, 현재 프레임의 특정 영역을 제외한 나머지 영역과 상이한 방식으로 움직임 추정할 수 있다.
이하에서, 설명의 편의를 위해, 현재 프레임의 특정 영역의 크기(즉, 현재 프레임에 포함된 오브젝트의 크기)를 가로 및 세로의 화소의 개수로 표현한다. 예를 들어, 현재 프레임의 특정 영역의 크기가 가로 및 세로로 각각 N 개의 화소로 구성되었다면, 현재 프레임의 특정 영역의 크기는 N×N으로 정의될 수 있다.
구체적으로, 프로세서(120)는 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역은 나머지 영역과 상이한 보간 처리를 적용하여, 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성한다. 여기에서, 오브젝트 영역은 현재 프레임에서 오브젝트를 포함하는 영역이 될 수 있다.
먼저, 프로세서(120)는 현재 프레임에 포함된 오브젝트의 크기가 기설정된 크기보다 작은 경우, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 오브젝트를 포함하는 오브젝트 영역에 대한 보간 처리를 수행할 수 있다.
여기서, 움직임 추정을 위한 블록의 기설정된 크기는 블록 매칭을 수행할 때 영상 프레임에 적용되는 블록의 크기로, 기설정되어 있을 수 있다. 예를 들어, 도 4 a의 경우, 기설정된 크기는 2×2가 될 수 있다.
즉, 프로세서(120)는 현재 프레임에 포함된 오브젝트의 크기가 기설정된 크기보다 작은 경우, 오브젝트 영역 이외의 영역에 블록 매칭 시 적용되는 블록의 크기보다 작은 크기로 해당 오브젝트를 포함하는 오브젝트 영역에 대한 블록 매칭을 수행할 수 있다.
예를 들어, 도 4a와 같이, 움직임 추정을 위한 블록의 크기가 2×2로 기설정된 경우를 가정한다. 이 경우, 프로세서(120)는 오브젝트의 크기가 기설정된 크기보다 작은 경우, 2×2보다 작은 크기의 블록 가령, 1×1의 크기를 갖는 블록을 이용하여 오브젝트 영역에 대한 블록 매칭을 수행할 수 있다.
이 경우, 오브젝트 영역에 적용되는 블록의 크기는 시스템에서 기설정되어 있을 수 있거나, 오브젝트의 크기에 따라 적응적으로 결정될 수 있다.
예를 들어, 프로세서(120)는 오브젝트가 1×1의 크기를 갖는 경우, 오브젝트의 크기와 같은 1×1 크기의 블록을 이용하여 오브젝트 영역에 대한 블록 매칭을 수행할 수 있다.
한편, 오브젝트를 포함하는 오브젝트 영역에 대한 블록 매칭 시, 다른 영역보다 작은 크기의 블록을 이용하여 블록 매칭을 수행할지 여부는 오브젝트의 크기에 따라 결정될 수 있다.
즉, 상술한 바와 같이, 프로세서(120)는 오브젝트가 기설정된 크기보다 작은 크기를 갖는 경우, 오브젝트를 포함하는 오브젝트 영역은 다른 영역보다 작은 크기의 블록을 이용하여 블록 매칭을 수행할 수 있다.
여기서, 기설정된 크기는 시스템 내에서 기설정된 값으로, 블록 매칭 오류가 발생할 확률에 기초하여 결정될 수 있다.
예를 들어, 오브젝트의 크기가 작은 경우, 오브젝트를 포함하는 오브젝트 영역에 대해 다른 영역과 동일한 크기의 블록으로 블록 매칭을 수행할 경우, 블록 내에서 오브젝트가 차지하는 비율은 상대적으로 적다는 점에서, 블록 내에서 오브젝트를 제외한 나머지 영역에 의한 영향으로 블록 매칭 오류가 발생할 확률이 상대적으로 높을 수 있다.
이에 따라, 오브젝트의 크기 및 블록 매칭 시 이용되는 블록의 크기에 따른 오류 발생 확률을 최소화하기 위해, 블록의 크기 대비 특정한 크기 이하의 오브젝트에 대해서는 다른 영역보다 작은 크기의 블록을 이용하여 블록 매칭을 수행할 수 있다.
이하에서는, 도 5를 참조하여 오브젝트의 크기에 따른 블록 매칭 방법을 보다 상세히 설명한다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 5a에서, 움직임 추정을 위해 설정된 현재 프레임(510)의 블록들 각각의 크기는 10×10인 것으로 가정한다. 또한, 현재 프레임(510)에서 오브젝트(512)의 크기는 5×5인 것으로 가정한다. 또한, 움직임 추정을 위한 블록의 크기를 기설정된 크기보다 작도록 설정하기 위한 기준이 되는 기설정된 오브젝트의 크기는 5x5인 것으로 가정한다.
도 5b는, 도 5a와 같이, 움직임 추정을 위해 기설정된 현재 프레임(510)의 블록들의 크기가 10x10인 상태에서, 오브젝트(512)의 크기에 따라 오브젝트(512)를 포함하는 블록(511)의 움직임 추정을 위해 설정된 크기를 재설정하는 과정을 설명하기 위한 도면이다.
도 5b를 참조하면, 현재 프레임에 포함된 오브젝트(512)의 크기가 움직임 추정을 위한 블록의 크기를 기설정된 크기보다 작도록 설정하기 위한 기준이 되는 기설정된 오브젝트의 크기(여기서, 5×5) 이하인 것으로 판단된 경우, 프로세서(120)는 움직임 추정을 위한 블록의 크기를　 5x5로 재설정할 수 있다. 이 경우, 프로세서(120)는 보간 프레임 생성을 위한 움직임 추정에 있어서, 움직임 추정을 위한 단위가 되는 블록의 크기를 5×5로 설정하여 움직임 추정을 수행한다.
상술한 내용과 같이, 오브젝트의 크기에 따라 움직임 추정을 수행하기 위한 블록의 크기를 조정하여 블록 매칭을 수행함으로써, 작은 크기의 오브젝트에 대해서도 정확한 움직임 추정을 수행할 수 있다. 한편, 프로세서(120)는 오브젝트의 움직임이 기설정된 속도 이상인 경우, 인접 프레임에서, 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 보간 처리를 수행할 수 있다. 여기서, 오브젝트의 블록은 오브젝트의 일부 또는 오브젝트의 전체를 포함하고 있는 블록이다.
여기서, 움직임 벡터의 탐색을 위해 기설정된 영역은 블록 매칭을 수행할 때 영상 프레임에 적용되는 블록 매칭 영역으로, 기설정 되어 있을 수 있다. 즉, 움직임 벡터의 탐색을 위해 기설정된 영역은 블록 매칭을 수행하기 위해 사전에 설정된 일반적인 블록 매칭 영역의 크기일 수 있다. 예를 들어, 도 4b의 경우, 기설정된 영역의 크기는 10x10이 될 수 있다.
즉, 프로세서(120)는 현재 프레임에 포함된 오브젝트의 움직임이 기설정된 속도 이상인 경우, 움직임 벡터의 탐색을 위해 일반적으로 적용되는 블록 매칭 영역의 크기보다 더 큰 크기로 해당 오브젝트를 포함하는 오브젝트 영역에 대한 블록 매칭을 수행할 수 있다.
예를 들어, 움직임 벡터의 탐색 영역이 10x10인 경우를 가정한다. 이 경우, 프로세서(120)는 오브젝트의 움직임 속도가 기설정된 속도 이상인 경우, 10x10 보다 더 큰 크기의 블록 매칭 영역 가령, 20x20의 크기를 갖는 블록 매칭 영역에 대하여 오브젝트 영역에 대한 블록 매칭을 수행할 수 있다. 이 경우, 블록 매칭 영역은, 화소의 프레임 내의 특정 좌표로 표현될 수 있다. 오브젝트의 움직임 속도에 따른 블록 매칭 영역의 확장에 대하여는 도 6a 및 도 6b를 참조하여 후술한다. 한편, 오브젝트를 포함하는 오브젝트 영역에 대한 블록 매칭 시, 움직임 벡터 탐색을 위해 기설정된 영역을 재설정할지 여부는 오브젝트의 움직임 속도에 따라 결정될 수 있다. 여기서, 블록 매칭은, 상술한 바와 같이, 움직임 벡터를 탐색을 위한 과정 중 일부이다. 따라서, 움직임 벡터 탐색을 위해 기설정된 영역은 블록 매칭을 위해 기설정된 영역과 동일한 의미로 사용될 수 있다.
즉, 상술한 바와 같이, 프로세서(120)는 오브젝트의 움직임 속도가 기설정된 속도 이상인 경우, 움직임 벡터를 탐색하기 위해 기설정된 영역을 확장하여 재설정할 수 있다.
여기서, 오브젝트 움직임의 기설정된 속도는 시스템 내에서 기설정된 값으로, 블록 매칭 오류가 발생할 확률에 기초하여 결정될 수 있다.
예를 들어, 오브젝트의 움직임 속도가 큰 경우에 있어서, 블록 매칭 영역의 크기를 블록 매칭의 일반적인 경우와 동일한 크기로 설정하여 블록 매칭을 수행하는 경우, 오브젝트의 움직임 속도가 빨라 일반적인 경우의 블록 매칭 영역 내에 오브젝트가 존재하는 비율이 상대적으로 적다는 점에서 블록 매칭 오류가 발생할 확률이 상대적으로 높을 수 있다.
이에 따라, 오브젝트의 움직임 속도에 따른 오류 발생 확률을 최소화하기 위해, 오브젝트의 움직임 속도가 특정 속도 이상인 경우에 대해서는 일반적인 경우의 블록 매칭 영역의 크기보다 더 큰 블록 매칭 영역에 대하여 블록 매칭을 수행할 수 있다.
도 6a 및 6b는 본 발명의 다른 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 6a 및 6b에서, 이전 프레임(610)은 현재 프레임(620)의 인접 프레임이다. 한편, 오브젝트(611)는 이전 프레임(610)의 제1 블록(612)및 현재 프레임(620)의 제2 블록(621)에 위치한다고 가정한다. 먼저, 프로세서(120)는 오브젝트(611)의 속도를 판단한다.
구체적으로, 프로세서(120)는 현재 프레임(620) 내에서의 오브젝트의 위치 및 이전 프레임(610) 내에서의 오브젝트의 위치에 기초하여 오브젝트의 속도를 판단할 수 있다.
도 6a 및 도 6b를 참조하면, 프로세서(120)는 이전 프레임(610)의 오브젝트(611)의 중심 좌표와 현재 프레임(620)의 오브젝트(611)의 중심 좌표 간의 차이 값을 이용하여 오브젝트의 움직임 속도를 구할 수 있다.
예를 들면, 프로세서(120)는 이전 프레임(610)의 오브젝트(611)의 중심 좌표와 현재 프레임(620)의 오브젝트(611)의 중심 좌표 간의 차이 값을 이전 프레임(610)의 재생 시각 및 현재 프레임(620)의 재생 시각의 차이 값으로 나눈 값을 움직임 속도로 결정할 수 있다.
다른 예로, 프로세서(120)는 이전 프레임(610)의 오브젝트(611)의 중심 좌표와 현재 프레임(620)의 오브젝트(611)의 중심 좌표 간의 차이 값 자체를 움직임 속도로 결정할 수 있다. 이는, 프레임과 프레임 간의 재생 시간의 차이는 일정하기 때문이다.
오브젝트(611)의 속도가 결정되면, 프로세서(120)는 오브젝트(611)의 기설정된 움직임 속도와 비교하여, 블록 매칭 영역을 확장할지 여부를 결정한다.
예를 들면, 도 6b와 같이, 오브젝트(611)의 속도가 오브젝트(611)의 기설정된 움직임 속도 이상으로 판단되면, 프로세서(120)는 현재 프레임(620)과 인접하는 프레임에서 블록 매칭을 위한 블록 매칭 영역을 제1 블록 매칭 영역(622)에서 제2 블록 매칭 영역(623)으로 확장하여 블록 매칭을 수행할 수 있다.
여기서, 제1 블록 매칭 영역(622)은 프레임 레이트 변환 장치(100)에서 일반적인 보간 처리를 위해 기설정된 블록 매칭 영역이다. 예를 들면, 이전 프레임(610)의 블록을 기준으로 이전 프레임(610)의 인접한 블록에 대하여 블록 매칭을 수행하는 경우에도, 제1 블록 매칭 영역(622)의 크기와 동일한 크기의 블록 매칭 영역(613)이 적용된다.
또한, 제2 블록 매칭 영역(623)은 오브젝트(611)의 움직임 속도에 기초하여 적응적으로 결정될 수 있다. 예를 들면, 오브젝트(611)의 움직임 속도가 증가하는 정도에 따라, 제2 블록 매칭 영역(623)은 제1 블록 매칭 영역(622)의 크기의 n배 만큼씩 증가할 수 있다.
한편, 상술한 오브젝트의 크기 및 속도가 함께 고려되어 움직임 추정을 위한 블록의 크기 및 움직임 벡터 탐색을 위한 블록 매칭 영역의 크기가 조정될 수도 있다.
예를 들면, 프로세서(120)는 오브젝트의 크기가 기설정된 크기 이하이고 오브젝트의 움직임 속도가 기설정된 속도 이상인 경우, 움직임 추정을 수행하기 위한 블록의 크기 및 블록 매칭 영역의 크기 중 적어도 하나를 조정하여 움직임 추정을 수행할 수 있다.
한편, 프로세서(120)는 오브젝트의 크기가 기설정된 크기보다 작은 경우, 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 보간 처리를 수행할 수 있다. 여기서, 오브젝트의 움직임 속도에 대하여 상술한 내용과 중복되는 설명은 생략한다.
여기서, 움직임 벡터를 평탄화하기 위한 필터링은, 움직임 추정을 수행하여 결정된 블록의 움직임 벡터 각각의 크기를 평준화하는 과정이다. 일 예로, 필터링을 위한 필터로 LPF(Low Pass Filter)가 사용될 수 있다. 이 경우, 필터링 강도는 영상의 특성, 디스플레이 장치의 특성 등에 따라 기설정될 수 있다. 여기서, 기설정된 필터링 강도는 프레임 레이트 변환 장치(100)에서 일반적인 보간 처리를 위해 기설정된 움직임 벡터의 필터링 강도이다.
즉, 프로세서(120)는 오브젝트의 크기가 기설정된 크기보다 작은 경우, 움직임 벡터를 평탄화하기 위해 기설정된 필터링 강도를 작게 조정하고, 조정된 필터링 강도에 따라 필터링된 움직임 벡터를 이용하여 보간 프레임을 생성할 수 있다. 이에 따라, 프로세서(120)는 크기가 작은 오브젝트에 대응되는 움직임 벡터의 필터링을 제한하여 오브젝트의 실제적인 움직임이 반영된 보간 처리를 수행할 수 있다.
한편, 프로세서(120)는 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 보간 처리를 수행할 수 있다. 여기서, 프로세서(120)는 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 오브젝트가 패턴 형상인지 여부를 결정할 수 있다. 이 경우, 엣지는 오브젝트가 가지는 특정한 형상의 윤곽이다.
구체적으로, 오브젝트를 포함하는 오브젝트 영역에 대한 블록 매칭 시, 다른 영역보다 큰 크기의 블록을 이용하여 블록 매칭을 수행할지 여부는 오브젝트가 패턴 형상인지에 따라 결정될 수 있다.
즉, 상술한 바와 같이, 프로세서(120)는 오브젝트가 패턴 형상인 경우, 오브젝트를 포함하는 오브젝트 영역은 다른 영역보다 큰 크기의 블록을 이용하여 매칭을 수행할 수 있다.
예를 들어, 프레임을 구성하는 오브젝트 대부분이 패턴 형상인 경우, 오브젝트를 포함하는 특정 오브젝트 영역에 대해 다른 영역과 동일한 크기의 블록으로 블록 매칭을 수행할 경우, 프레임을 구성하는 오브젝트 대부분이 동일한 패턴 형상을 가지므로, 특정 오브젝트 영역을 제외한 나머지 영역에 대한 블록 매칭에서 오류가 발생할 확률이 상대적으로 더 높을 수 있다.
이에 따라, 오브젝트의 형상에 따른 오류 발생 확률을 최소화하기 위해, 패턴 형상을 가지는 오브젝트가 포함된 프레임에서는 일반적인 블록 매칭 경우의 블록의 크기보다 더 크게 설정된 블록을 이용하여 블록 매칭을 수행할 수 있다.
오브젝트가 패턴 형상인 경우의 보간 처리에 대하여, 도 7을 참조하여 상세히 설명한다.
도 7은 본 발명의 또 다른 실시 예에 따른 보간 처리를 설명하기 위한 도면이다.
도 7을 참조하면, 프로세서(120)는 현재 프레임(710)에 포함된 오브젝트 A 및 오브젝트 B가 패턴인지 여부를 판단하고, 그 결과에 따라 보간을 수행하는 단위가 되는 블록의 크기를 조정한다.
구체적으로, 프로세서(120)는 프레임에서 반복되는 오브젝트 A 및 오브젝트 B의 엣지를 판단할 수 있다. 그리고, 프로세서(120)는 판단된 엣지에 기초하여, 오브젝트 A 및 오브젝트 B의 엣지 방향(C 방향) 및 오브젝트 A 및 오브젝트 B의 엣지가 반복되는 방향(D 방향)을 판단할 수 있다. 여기서, 프로세서(120)는 엣지 방향(C 방향)이 동일한 경우 및 엣지가 일정한 방향(D 방향)으로 반복되는 경우 중 적어도 하나인 경우에서 해당 엣지를 가지는 오브젝트를 패턴 형상으로 판단한다.
여기서, 패턴 형상은 오브젝트 A 및 오브젝트 B가 교번적으로 반복하는 경우뿐만 아니라, 오브젝트 A 또는 오브젝트 B 중 하나가 반복하는 경우도 될 수 있다. 또한, 패턴 형상은 서로 다른 방향의 엣지를 가지는 오브젝트가 반복하는 경우가 될 수도 있다. 즉, 프로세서(120)는 엣지를 가지는 특정 오브젝트가 반복되는 경우이면 특정 오브젝트의 반복을 패턴 형상으로 판단할 수 있다.
프로세서(120)는 오브젝트가 패턴 형상으로 판단되면, 기존의 움직임 추정을 위한 블록의 크기를 확장하여 움직임 추정을 수행할 수 있다. 이를 통하여, 현재 프레임(710)에 포함된 패턴 형상에 대한 움직임 추정의 오류를 감소시킬 수 있다.
또한, 프로세서(120)는, 오브젝트가 패턴 형상인 경우, 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 보간 처리를 수행할 수 있다.
즉, 프로세서(120)는 오브젝트가 패턴 형상인 경우, 움직임 벡터를 평탄화하기 위해 기설정된 필터링 강도를 크게 조정하고, 조정된 필터링 강도에 따라 필터링된 움직임 벡터를 이용하여 보간 프레임을 생성할 수 있다. 이에 따라, 프로세서(120)는 패턴 형상의 오브젝트에 대응되는 움직임 벡터의 필터링을 강화하여 오브젝트의 실제적인 움직임 정도가 반영된 보간 처리를 수행할 수 있다.
또한, 프로세서(120)는, 오브젝트가 패턴 형상인 경우, 설정된 오브젝트의 블록에 대응되는 인접 프레임에서, 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 보간 처리를 수행할 수 있다.
예를 들어, 프레임을 구성하는 오브젝트 대부분이 패턴 형상인 경우, 오브젝트를 포함하는 특정 오브젝트 영역에 대해 일반적인 블록 매칭 영역의 크기를 적용하여 블록 매칭을 수행할 경우, 프레임에 존재하는 오브젝트들이 동일한 패턴 형상인 점에서, 블록 매칭에서 오류가 발생할 확률이 상대적으로 더 높을 수 있다.
이에 따라, 블록 매칭 시 오류 확률을 최소화하기 위해, 패턴 형상을 포함하는 프레임의 경우, 일반적인 블록 매칭 영역의 크기보다 작은 크기의 블록 매칭 영역을 이용하여 블록 매칭을 수행할 수 있다.
한편, 프로세서(120)는 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 보간 처리를 수행할 수 있다. 여기서, 삽입된 오브젝트는 자막, 로고와 같은 인위적인 컨텐츠일 수 있다.
일 예로, 프로세서(120)는, 현재 프레임이 반투명한 로고를 포함하는 경우, 반투명한 로고를 포함하는 블록에 대한 움직임 추정이 불가능하다고 판단하고, 움직임 추정을 수행하지 않고 프레임을 생성할 수 있다. 구체적으로, 프로세서(120)는 움직임 추정이 불가능한 경우, 현재 프레임 및 이전 프레임 각각의 동일 위치에 있는 화소의 화소 값들의 평균 값을 보간 프레임의 동일 위치의 화소의 화소 값으로 결정하여 현재 프레임 및 이전 프레임 사이의 보간 프레임을 생성할 수 있다. 또는, 프로세서(120)는 현재 프레임 및 이전 프레임 중 하나와 동일한 프레임을 보간 프레임으로 생성할 수도 있다.
다른 예로, 방송사의 로고는 현재 프레임뿐만 아니라 모든 영상 프레임에서 고정된 위치에 있다. 구체적으로, 프로세서(120)는 방송사의 로고가 각 프레임의 일정한 영역에 위치하는 경우, 해당 방송사 로고의 영역에 대한 움직임 추정을 수행하지 않고, 방송사 로고를 하나의 영상을 구성하는 모든 프레임의 특정 영역에 위치시킬 수 있다.
한편, 프로세서(120)는 오브젝트의 대표 화소 값 및 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 보간 처리를 수행할 수 있다. 여기서, 오브젝트의 크기, 속도 및 형상 중 하나에 기초한 보간 처리는 상술하였으므로 상세한 설명은 생략한다.
구체적으로, 프로세서(120)는 오브젝트의 대표 화소 값을 이용하여 보간 처리를 수행할 수 있다. 여기서, 대표 화소 값은, 오브젝트를 구성하는 화소들의 화소 값 중 가장 많은 화소들이 가지는 화소 값이다.
예를 들어, 작은 크기를 가지면 빠른 움직임을 가지는 오브젝트가 있는 경우, 프로세서(120)는 대표 화소 값을 오브젝트를 구성하는 모든 화소의 화소 값으로 적용할 수 있다. 또한, 프로세서(120)는 대표 화소 값을 비율적으로 오브젝트를 구성하는 화소들에 적용할 수 있다. 이 경우, 오브젝트의 대표 화소 값 및 오브젝트를 구성하는 화소들의 화소 값 각각의 대표 화소 값에 대한 비율이 영상 프레임 송신단으로부터 전달될 수 있다.
한편, 영상을 구성하는 복수의 프레임에 포함된 오브젝트에 관한 정보는 메타데이터로서 영상 프레임의 송신단에서 생성되어 영상 데이터와 함께 압축되어 전송되거나, 영상 데이터와 다른 채널을 이용하여 전송될 수 있다. 일 예로, 오브젝트에 관한 정보는 SEI (Supplemental Enhancement Information) 메시지에 포함되어 영상 데이터 수신단으로 전송될 수 있다. 여기서, SEI는 주로 영상 데이터의 복호화 시작 위치에 대한 정보를 포함하는 메시지이다.
또한, 영상을 구성하는 복수의 프레임에 포함된 오브젝트에 관한 정보는 메타데이터로서 영상 데이터 수신단에서 복호화된 영상 프레임으로부터 생성되어 프레임 레이트 변환 장치(100)에 제공될 수도 있다.
상술한 영상 데이터 송신단 및 수신단에서 생성된 오브젝트에 관한 정보는 오브젝트 영역의 상이한 보간 처리를 위한 다양한 정보를 포함한다. 예를 들면, 오브젝트의 크기, 오브젝트의 대표 화소 값, 오브젝트 형상의 종류(예를 들면, 오브젝트가 패턴 형상인 경우 패턴의 엣지 방향, 패턴의 주기, 패턴 영역의 움직임 등), 오브젝트의 움직임 정보(예를 들면, 블록 매칭/탐색 범위, 오브젝트의 속도, 오브젝트의 이동 방향 등), 오브젝트의 특성에 따른 움직임 프레임 보간 가능 여부, 오브젝트의 전경 처리 여부, 오브젝트를 구성하는 블록의 움직임 벡터 평탄화 강도 등을 포함할 수 있다.
또한, 오브젝트에 관한 정보를 포함하는 메타데이터는, 오브젝트에 관한 정보가 적용되는 영역에 대한 정보를 더 포함할 수 있다. 여기서, 오브젝트에 관한 정보가 적용되는 영역에 대한 정보는, 오브젝트에 관한 정보가 적용되는 복수의 프레임 중 시작과 끝 프레임(예를 들면, 영상의 48번째 프레임부터 영상의 240번째 프레임) 및 오브젝트에 관한 정보를 포함하는 메타데이터가 적용되는 프레임의 영역(예를 들면, 48번째 프레임의 화소 (200,300)부터 (400, 800)까지)에 관한 정보 등일 수 있다.
이러한, 오브젝트에 관한 정보는, 영상 프레임을 분석하여 오브젝트(예를 들면, 자막, 로고, 노이즈, 패턴 등이 포함된 영역)의 유형을 결정하고, 오브젝트의 움직임 추정을 수행하며, 이로부터 생성된 정보를 프레임 단위 또는 씬(scene) 단위로 정량화하는 과정을 거쳐 생성될 수 있다. 이 경우, 엣지 검출, 영상 분할, 히스토그램 분석, 블록 매칭, Optical Flow, 전역 움직임 추정 등의 이미지 분석 기술이 이용될 수 있다.
상술한 오브젝트에 관한 정보는, 영상 데이터 송신단 또는 영상 데이터 수신단에서 제공되는 것으로 설명하였지만, 프로세서(120)는 복호화된 영상 프레임을 이용하여 오브젝트에 관한 정보를 생성하고 이를 이용하여 보간 처리를 수행할 수 있음은 물론이다.
상술한 다양한 실시 예에 따르면, 영상 프레임의 포함된 오브젝트의 특성에 기초하여 오브젝트 영역에 대하여는 상이한 보간 처리를 수행함으로써 최적의 프레임 보간을 수행할 수 있다. 이에 따라, 화질 영화 현상을 현저히 줄일 수 있다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치(900)를 도시한 도면이다.
도 8은, 디스플레이 장치(900)의 일 예로 TV(900)를 도시하고 있다. TV(900)는 프레임 레이트 변환 장치(100) 포함한다. 따라서, TV(900)는 영상 프레임의 블록에 대한 노이즈 강도를 판단하여, 영상 프레임 및 영상 프레임에 인접한 프레임에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다. 이를, 도 9을 참조하여 상세히 설명한다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치(900)의 세부 구성을 나타내는 블록도이다.
도 9에 따르면, 디스플레이 장치(900)는 통신부(910), 저장부(920), 디스플레이(930), 수신부(940), 신호 처리부(950), 디코딩부(960), 제어부(970), 리모컨 신호 수신부(980), 입력부(985), 오디오 출력부(990) 및 인터페이스부(995)를 포함한다.
통신부(910)는 네트워크(통신망)를 통하여 통신을 수행한다. 구체적으로, 통신부(910)는 네트워크 통신을 위해 디스플레이 장치(900)에 할당된 네트워크 주소를 이용하여, 네트워크에 연결된 다양한 외부 기기(예를 들어, 타 장치 또는, 서버)와 통신을 수행할 수 있다.
여기에서, 네트워크 주소는 IP(Internet Protocol) 주소일 수 있다. 즉, 통신부(910)는 IP 주소를 이용하여 인터넷망에 연결된 다른 외부 기기(미도시)와 통신을 수행할 수 있다.
한편, 통신부(910)는 다양한 통신 방식을 이용하여 네트워크 통신을 수행할 수 있다.
구체적으로, 통신부(910)는 유/무선 LAN(Local Area Network), 와이파이(Wifi), WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), USB(Universal Serial Bus), IEEE 1394 등 다양한 통신 방식을 이용하여 네트워크 통신을 수행할 수 있다. 이를 위해, 통신부(910)는 각 통신 방식에 따라 네트워크 통신을 수행하기 위한 다양한 통신 모듈을 구비할 수 있다. 예를 들어, 통신부(910)는 유선 LAN 방식으로 통신을 수행하는 경우 유선 LAN 카드(미도시)를 구비할 수 있으며, 와이파이 방식으로 통신을 수행하는 경우 와이파이 통신 칩(미도시)을 구비할 수 있다.
저장부(920)는 디스플레이 장치(900)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제(Operating System: OS)를 저장한다.
또한, 저장부(920)는 디스플레이 장치(900)에서 실행 가능한 기본 프로그램을 저장한다. 여기에서, 기본 프로그램은 디스플레이 장치(900)의 기본 기능(또는, 기본 서비스)을 제공하기 위해 필요한 응용 프로그램일 수 있다.
구체적으로, 기본 프로그램은 디스플레이 장치(900)의 제조시, 제조사가 최초에 디스플레이 장치(900)에 설치하는 응용 프로그램으로, 디스플레이 장치(900)의 사용자에 의해 임의로 삭제될 수 없는 응용 프로그램을 나타낸다.
예를 들어, 디스플레이 장치(900)의 제조사가 컨텐츠 검색 기능, 컨텐츠 재생 기능, 디스플레이 장치(900)에 설치된 각종 응용 프로그램 탐색 기능, 인터넷 접속 기능 및 세팅 기능을 기본 기능으로 제공하고자 하는 경우, 저장부(920)는 해당 기본 기능을 제공할 수 있는 기본 프로그램을 저장할 수 있다.
또한, 저장부(920)는 디스플레이 장치(900)에서 실행 가능한 다운로드 프로그램을 저장할 수 있다. 여기에서, 다운로드 프로그램은 기본 기능 외에 디스플레이 장치(900)가 부가 기능(또는, 부가 서비스)을 제공하기 위해 필요한 응용 프로그램일 수 있다.
구체적으로, 다운로드 프로그램은 기본 프로그램과 달리 사용자가 임의로 디스플레이 장치(900)에 설치하거나, 삭제할 수 있는 응용 프로그램을 나타낸다.
예를 들어, 사용자는 게임 기능, 채팅 기능 등과 같은 부가 기능을 제공할 수 있는 다운로드 프로그램을 외부 기기(미도시)로부터 다운로드 받아 디스플레이 장치(900)에 설치할 수 있으며, 저장부(920)는 해당 부가 기능을 제공할 수 있는 다운로드 프로그램을 저장할 수 있다.
이를 위해, 저장부(920)는 비휘발성 메모리(가령, 플래시 메모리), EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.
한편, 저장부(920)는 기본 프로그램과 다운로드 프로그램을 별도의 영역에 저장할 수 있다. 구체적으로, 저장부(920)는 저장 매체 내의 저장 영역을 복수의 저장 영역으로 구분하고, 기본 프로그램과 다운로드 프로그램을 서로 다른 저장 영역에 저장할 수 있다. 예를 들어, 저장부(920)가 플래시 메모리로 구현된 경우, 플래시 메모리의 제1 저장 영역에 기본 프로그램을 저장하고 플래시 메모리의 제2 저장 영역에 다운로드 프로그램을 저장할 수 있다. 이 경우, 기본 프로그램의 저장을 위한 저장 영역은 사용자가 임의로 접근할 수 없는 저장 영역이나, 다운로드 프로그램의 저장을 위한 저장 영역은 사용자에 의해 접근 가능한 저장 영역이 될 수 있다. 즉, 사용자는 기본 프로그램의 저장을 위한 저장 영역에 저장된 기본 프로그램을 임의로 삭제할 수 없으나, 다운로드 프로그램의 저장을 위한 저장 영역에 저장된 다운로드 프로그램을 삭제할 수는 있다.
한편, 기본 프로그램이 저장되는 저장 영역에는 디스플레이 장치(900)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제가 함께 저장될 수 있으며, 이들은 펌웨어(firmware)로 지칭될 수 있다.
하지만, 이는 일 예일 뿐, 저장부(920)는 기본 프로그램과 다운로드 프로그램을 서로 다른 저장 매체에 저장할 수도 있다. 즉, 저장부(920)가 복수의 플래시 메모리로 구현되는 경우, 기본 프로그램은 제1 플래시 메모리에 저장되고 다운로드 프로그램은 제2 플래시 메모리에 저장될 수 있다.
한편, 저장부(920)는 영상을 구성하는 복수의 프레임을 저장할 수도 있다. 후술할 프레임 레이트 변환부(970)는 저장부(920)에 저장된 영상 프레임에 포함된 오브젝트에 관한 정보를 이용하여 보간 처리를 수행할 수 있다.
디스플레이(930)는 다양한 화면을 디스플레이한다. 구체적으로, 디스플레이(930)는 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 여기에서, 메뉴는 디스플레이 장치(900)의 기본 기능을 제공할 수 있는 기본 프로그램을 실행하기 위한 메뉴 항목을 포함할 수 있다.
이를 위해, 디스플레이(930)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다.□
수신부(940)는 방송 컨텐츠(또는, 방송 신호)를 수신할 수 있다. 방송 컨텐츠는 영상, 오디오 및 부가 데이터(예를 들어, EPG)를 포함할 수 있으며, 수신부(940)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 컨텐츠를 수신할 수 있다. 일 예로, 수신부(940)는 방송 컨텐츠 영상이 코딩된 비디오 스트림을 수신할 수 있다.
여기서, 수신부(940)는 방송국으로부터 전송되는 방송 컨텐츠를 수신하기 위해 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다.
신호 처리부(950)는 수신부(940)를 통해 수신된 컨텐츠에 대한 신호처리를 수행한다. 구체적으로, 신호 처리부(950)는 컨텐츠를 구성하는 영상에 대해 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행하여, 디스플레이(930)에서 출력 가능한 형태로 신호처리를 수행할 수 있다. 또한, 신호 처리부(950)는 컨텐츠를 구성하는 오디오에 대해 디코딩 등의 신호 처리를 수행하여 오디오 출력부(990)에서 출력 가능한 형태로 신호처리를 수행할 수 있다.
프레임 레이트 변환부(960)는 프레임 레이트를 변환시킬 수 있다. 이를 위해서, 저장부(920)에 저장된 영상 프레임에 포함된 오브젝트 정보를 이용하여 오브젝트 영역에 대해 오브젝트 영역을 제외한 나머지 부분과는 상이한 보간 처리를 수행할 수 있다. 이러한 보간 처리는 상술한 내용과 중복되므로 여기서 상세한 설명은 생략한다. 프레임 레이트 변환부(960)는 명칭을 달리할 뿐, 상술한 프레임 레이트 변환 장치(100)와 동일한 구성일 수 있다.
여기서, 프레임 레이트 변환부(960)는 상술한 메모리(110) 및 프로세서(120)가 포함된 칩으로 구현될 수 있으나 그 형태는 이에 제한되지 않는다. 또한, 프레임 레이트 변환부(960)는 메모리(110)를 포함하지 않을 수도 있다. 이 경우, 프레임 레이트 변환부(960)는 메모리(110) 대신에 저장부(920)를 이용하여 영상 프레임을 저장하고 로드할 수 있다.
제어부(970)는 디스플레이 장치(900)의 전반적인 동작을 제어한다. 제어부(940)는 CPU(central processing unit)(미도시), ROM(Read Only Memory)(미도시), 디스플레이 장치(900)의 동작을 위한 RAM(Random Access Memory)(미도시)을 포함할 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU는 ROM에 저장된 명령어에 따라 저장부(920)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 저장부(920)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
CPU는 저장부(920)에 액세스하여, 저장부(920)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU는 저장부(920)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
리모컨 신호 수신부(980)는 리모컨(미도시)으로부터 입력되는 리모컨 제어 신호를 수신한다.
예를 들어, 리모컨 신호 수신부(980)는 디스플레이 장치(900)의 전원을 온 시키거나, 메뉴를 디스플레이하기 위한 리모컨 제어 신호를 수신할 수 있다. 제어부(970)는 디스플레이 장치(900)의 전원을 온 시키기 위한 리모컨 제어 신호 또는 메뉴를 디스플레이하기 위한 리모컨 제어 신호가 수신되면, 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 이때, 제어부(970)는 디스플레이 장치(900)의 위치에 따라 메뉴를 차별적으로 구성하여 디스플레이할 수 있다.
이 밖에도, 리모컨 신호 수신부(980)는 다양한 리모컨 제어 신호를 수신할 수 있다. 예를 들어, 리모컨 신호 수신부(980)는 채널 변경, 볼륨 조절 등을 수행하기 위한 리모컨 제어 신호를 수신할 수 있으며, 제어부(970)는 수신된 리모컨 제어 신호에 따라 디스플레이 장치(900)의 채널을 변경하거나, 볼륨을 조절할 수 있다.
입력부(985)는 다양한 사용자 명령을 입력받는다. 제어부(970)는 입력부(985)에서 입력된 사용자 명령에 대응되는 기능을 실행할 수 있다.
예를 들어, 제어부(970)는 입력부(985)를 통해 디스플레이 장치(900)의 전원을 온 시키기 위한 사용자 명령 또는, 메뉴를 디스플레이하기 위한 사용자 명령이 입력되면, 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 이 경우, 제어부(970)는 디스플레이 장치(900)의 위치에 따라 메뉴를 차별적으로 구성하여 디스플레이할 수 있다.
이 밖에도, 입력부(985)는 채널 변경, 볼륨 조절 등을 수행하기 위한 사용자 명령을 입력받을 수 있으며, 제어부(970)는 입력된 사용자 명령에 따라 채널을 변경하거나, 볼륨을 조절할 수 있다.
오디오 출력부(990)는 신호 처리부(950)에서 출력되는 오디오 신호를 사운드로 변환하여 스피커(미도시)를 통해 출력하거나, 외부 출력단자(미도시)를 통해 연결된 외부기기로 출력할 수 있다.
인터페이스부(995)는 다양한 타 기기(미도시)와 디스플레이 장치(900)를 연결한다. 그리고, 인터페이스부(995)는 디스플레이 장치(900)에 기저장되어 있던 컨텐츠 등을 타 기기(미도시)로 전송하거나, 타 기기(미도시)로부터 컨텐츠 등을 수신받을 수 있다.
이를 위해, 인터페이스부(995)는 HDMI(High-Definition Multimedia Interface) 입력 단자, 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 프레임 변환 장치(100)의 프레임 변환 방법을 설명하기 위한 흐름도이다.
먼저, 프레임 변환 방법은, 입력되는 영상을 구성하는 복수의 프레임을 저장하고(S1010), 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역에 나머지 영역과 상이한 보간 처리를 적용하여(S1020), 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성한다(S1030).
여기서, 보간 처리를 적용하는 단계는 오브젝트의 크기가 기설정된 크기보다 작은 오브젝트 영역에 대해서, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 오브젝트의 움직임이 기설정된 속도 이상인 경우, 인접 프레임에서, 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 오브젝트의 크기가 기설정된 크기보다 작은 경우, 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 보간 처리를 수행할 수 있다.
이 경우, 프레임 레이트 변환 방법은 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 상기 오브젝트가 패턴 형상인지 여부를 결정하는 단계를 더 포함할 수 있다.
또한, 보간 처리를 적용하는 단계는 오브젝트가 패턴 형상인 경우, 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 설정된 오브젝트의 블록에 대응되는 인접 프레임에서, 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 보간 처리를 수행할 수 있다.
또한, 보간 처리를 적용하는 단계는 오브젝트의 대표 화소 값 및 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 보간 처리를 수행할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 프레임 레이트 변환 장치(100)의 프레임 레이트 변환 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서(120)에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계, 복수의 프레임 중 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나가 기설정된 조건을 만족하는 오브젝트 영역에 나머지 영역과 상이한 보간 처리를 적용하는 단계 및 현재 프레임과 인접 프레임 사이에 삽입되는 보간 프레임을 생성하는 단계를 수행하는 프로그램이 저장된 비 일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비 일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 프레임 레이트 변환 장치
110: 메모리
120: 프로세서

Claims (20)

  1. 프레임 레이트 변환(Frame Rate Conversion) 장치에 있어서,
    입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리; 및
    기 설정된 블록의 크기에 기초하여 상기 복수의 프레임 중 현재 프레임과 상기 현재 프레임의 인접 프레임을 복수의 블록으로 분할하고,
    상기 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 현재 프레임과 상기 인접 프레임 각각의 복수의 블록 중 오브젝트 영역에 관한 블록의 크기를 조정하고,
    상기 크기가 조정된 블록을 이용하여 상기 오브젝트에 대한 보간 처리를 적용하여 보간 프레임을 생성하고,
    상기 생성된 보간 프레임을 현재 프레임과 상기 인접 프레임 사이에 삽입하는 프로세서;를 포함하는, 프레임 레이트 변환 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 크기가 기설정된 크기보다 작은 오브젝트 영역에 대해서, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 움직임이 기설정된 속도 이상인 경우, 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 크기가 기설정된 크기보다 작은 경우, 상기 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 상기 오브젝트가 패턴 형상인지 여부를 결정하는, 프레임 레이트 변환 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 패턴 형상인 경우, 상기 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  8. 제5항에 있어서,
    상기 프로세서는,
    상기 설정된 오브젝트의 블록에 대응되는 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 대표 화소 값 및 상기 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 장치.
  11. 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계;
    기 설정된 블록의 크기에 기초하여 상기 복수의 프레임 중 현재 프레임과 상기 현재 프레임의 인접 프레임을 복수의 블록으로 분할하는 단계;
    상기 현재 프레임에 포함된 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 현재 프레임 및 상기 인접 프레임 내 상기 오브젝트를 포함하는 오브젝트 영역에 관한 블록의 크기를 조정하고, 상기 크기가 조정된 블록을 이용하여 상기 오브젝트에 대한 보간 처리를 적용하는 단계; 및
    상기 보간 처리를 기초로, 보간 프레임을 생성하고, 상기 현재 프레임과 상기 인접 프레임 사이에 상기 보간 프레임을 삽입하는 단계를 포함하는, 프레임 레이트 변환 방법.
  12. 제11항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트의 크기가 기설정된 크기보다 작은 오브젝트 영역에 대해서, 움직임 추정을 위한 블록 크기를 기설정된 크기보다 작도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  13. 제12항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트의 움직임이 기설정된 속도 이상인 경우, 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 크도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  14. 제12항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트의 크기가 기설정된 크기보다 작은 경우, 상기 설정된 오브젝트의 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 작게 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  15. 제11항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트가 패턴 형상인 오브젝트 영역에 대해서, 보간을 수행하는 단위가 되는 블록의 크기를 기설정된 크기보다 크도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  16. 제15항에 있어서,
    상기 현재 프레임에 포함된 엣지 방향, 엣지의 반복 여부 중 적어도 하나에 기초하여, 상기 오브젝트가 패턴 형상인지 여부를 결정하는 단계;를 더 포함하는, 프레임 레이트 변환 방법.
  17. 제15항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트가 패턴 형상인 경우, 상기 설정된 오브젝트 블록의 움직임 벡터를 평탄화하기 위한 필터링의 강도를 기설정된 강도보다 크게 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  18. 제15항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 설정된 오브젝트의 블록에 대응되는 상기 인접 프레임에서, 상기 설정된 오브젝트의 블록에 대한 움직임 벡터의 탐색 영역을 기설정된 영역보다 작도록 설정하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  19. 제11항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 현재 프레임을 구성하는 영상에 삽입된 오브젝트에 대해 움직임 추정 가능 여부를 판단하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
  20. 제11항에 있어서,
    상기 보간 처리를 적용하는 단계는,
    상기 오브젝트의 대표 화소 값 및 상기 오브젝트의 크기, 속도 및 형상 중 적어도 하나에 기초하여 상기 보간 처리를 수행하는, 프레임 레이트 변환 방법.
KR1020150186479A 2015-12-24 2015-12-24 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 KR102411911B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150186479A KR102411911B1 (ko) 2015-12-24 2015-12-24 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US15/194,737 US9749579B2 (en) 2015-12-24 2016-06-28 Apparatus and method for frame rate conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150186479A KR102411911B1 (ko) 2015-12-24 2015-12-24 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법

Publications (2)

Publication Number Publication Date
KR20170076345A KR20170076345A (ko) 2017-07-04
KR102411911B1 true KR102411911B1 (ko) 2022-06-22

Family

ID=59086885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150186479A KR102411911B1 (ko) 2015-12-24 2015-12-24 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법

Country Status (2)

Country Link
US (1) US9749579B2 (ko)
KR (1) KR102411911B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123045B2 (en) * 2015-07-24 2018-11-06 Qualcomm Incorporated Modification to block size for transform mode in display stream compression
US11558621B2 (en) * 2021-03-31 2023-01-17 Qualcomm Incorporated Selective motion-compensated frame interpolation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081675A1 (en) * 2001-10-29 2003-05-01 Sadeh Yaron M. Method and apparatus for motion estimation in a sequence of digital images
US20040174459A1 (en) * 2002-08-30 2004-09-09 Holt Gary R. Video interlacing using object motion estimation
US20080043842A1 (en) * 2006-08-17 2008-02-21 Fujitsu Limited Interframe prediction processor with address management mechanism for motion vector storage
US20120195381A1 (en) * 2011-02-02 2012-08-02 Fujitsu Limited Image processing apparatus and method for processing image
US20130028326A1 (en) * 2010-04-09 2013-01-31 Mitsubishi Electric Corporation Moving image encoding device and moving image decoding device
US20130114700A1 (en) * 2010-07-15 2013-05-09 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081675A1 (en) * 2001-10-29 2003-05-01 Sadeh Yaron M. Method and apparatus for motion estimation in a sequence of digital images
US20040174459A1 (en) * 2002-08-30 2004-09-09 Holt Gary R. Video interlacing using object motion estimation
US20080043842A1 (en) * 2006-08-17 2008-02-21 Fujitsu Limited Interframe prediction processor with address management mechanism for motion vector storage
US20130028326A1 (en) * 2010-04-09 2013-01-31 Mitsubishi Electric Corporation Moving image encoding device and moving image decoding device
US20130114700A1 (en) * 2010-07-15 2013-05-09 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US20120195381A1 (en) * 2011-02-02 2012-08-02 Fujitsu Limited Image processing apparatus and method for processing image

Also Published As

Publication number Publication date
US9749579B2 (en) 2017-08-29
US20170187985A1 (en) 2017-06-29
KR20170076345A (ko) 2017-07-04

Similar Documents

Publication Publication Date Title
US10944995B2 (en) Encoding apparatus, decoding apparatus, and control methods therefor
US20170162171A1 (en) Display apparatus and control method thereof
US8265426B2 (en) Image processor and image processing method for increasing video resolution
US9652829B2 (en) Video super-resolution by fast video segmentation for boundary accuracy control
US20160358582A1 (en) Display system for enhancing visibility and methods thereof
US9396519B2 (en) Content aware video resizing
US9471958B2 (en) Image processing method and apparatus
US20170150165A1 (en) Decoding apparatus and decoding method thereof
US20170223300A1 (en) Image display apparatus, method for driving the same, and computer - readable recording medium
EP3021213A1 (en) Display apparatus and display methods thereof
CN109429085B (zh) 显示装置及其图像处理方法
KR20170047489A (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
US10616551B2 (en) Method and system for constructing view from multiple video streams
KR102411911B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10699676B2 (en) Display apparatus, method of controlling the same, and computer program product thereof
US10091455B2 (en) Apparatus and method for frame rate conversion
JP2012134655A (ja) 画像処理装置、画像処理方法および画像表示装置
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
KR101831138B1 (ko) 비디오를 이용한 애니메이션 스티커 제작 방법 및 장치
KR102554743B1 (ko) 디스플레이장치 및 그 제어방법
KR101706453B1 (ko) 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치
JP2017223765A (ja) 表示制御装置および表示方法
JP2012217213A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right