KR102192488B1 - 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 - Google Patents

프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 Download PDF

Info

Publication number
KR102192488B1
KR102192488B1 KR1020150165803A KR20150165803A KR102192488B1 KR 102192488 B1 KR102192488 B1 KR 102192488B1 KR 1020150165803 A KR1020150165803 A KR 1020150165803A KR 20150165803 A KR20150165803 A KR 20150165803A KR 102192488 B1 KR102192488 B1 KR 102192488B1
Authority
KR
South Korea
Prior art keywords
block
frame
current frame
motion vector
matching
Prior art date
Application number
KR1020150165803A
Other languages
English (en)
Other versions
KR20170060975A (ko
Inventor
임형준
김동윤
최성훈
안태경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150165803A priority Critical patent/KR102192488B1/ko
Priority to US15/141,963 priority patent/US10091455B2/en
Publication of KR20170060975A publication Critical patent/KR20170060975A/ko
Application granted granted Critical
Publication of KR102192488B1 publication Critical patent/KR102192488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

프레임 레이트 변환 장치가 개시된다. 프레임 레이트 변환 장치는, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리 및 상기 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하고, 상기 노이즈 강도에 기초하여 상기 현재 프레임 및 상기 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 상기 보간 프레임을 생성하는 프로세서를 포함한다.

Description

프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법{APPARATUS AND METHOD FOR FRAME RATE CONVERSION}
본 발명은 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법에 대한 것으로, 보다 상세하게는 움직임 추정을 이용하여 프레임 레이트 변환을 수행하는 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법이다.
전자 기술의 발달과 함께, 디스플레이 장치에서 고해상도, 고품질 영상을 구현하기 위한 기술 개발이 활발하다.
이러한 기술 개발의 결과로, 최근에는 FHD(Full High Definition) 해상도를 가지는 방송 서비스뿐만 아니라, HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition) 방송도 서비스되고 있다.
한편, 디스플레이 장치가 대형화되고 영상 출력 방식에 변화가 생기면서, 디스플레이 장치가 수신하는 비디오 영상의 프레임만으로는 현실감 있는 영상을 재현하는데 어려움이 발생했다. 일 예로, 빠르게 움직이는 물체가 흐릿하게 디스플레이되는 모션 블러(motion blur) 현상이 있다.
이러한 문제점을 해결하기 위하여, 비디오 영상의 프레임과 프레임 사이에 보간 프레임을 삽입하여, 비디오 영상의 초당 프레임 수를 높이는 기술에 대한 연구가 활발하였다.
하지만, 비디오 영상의 프레임에 랜덤하게 발생하는 노이즈로 인해, 보간 프레임의 화질이 기대했던 화질에 미치지 못하는 경우가 발생하였다.
이에 따라, 보간 프레임을 생성하는데 있어, 영상 프레임에 발생하는 노이즈의 영향을 최소화하는 방안에 대한 필요성이 대두 되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 영상 프레임의 노이즈의 강도를 이용하여 움직임 추정을 수행하는 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프레임 레이트 변환 장치는, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리 및 상기 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하고, 상기 노이즈 강도에 기초하여 상기 현재 프레임 및 상기 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 상기 보간 프레임을 생성하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 보간 프레임의 움직임 벡터를 추정하기 위해 상기 현재 프레임의 블록과 상기 인접한 프레임들 사이의 블록 매칭을 수행하고, 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임의 블록과 상기 블록 매칭에 따라 결정된 상기 현재 프레임의 블록과 매칭되는 상기 인접한 프레임들의 블록 사이의 화소 값 차이에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이하인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 기초하여 상기 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다.
또한, 상기 프로세서는, 상기 인접한 프레임들에서 상기 현재 프레임의 블록과 매칭되는 블록을 판단하고, 상기 현재 프레임의 블록과 상기 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 상기 보간 프레임의 블록의 상기 움직임 벡터를 추정할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이상인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다.
또한, 상기 프로세서는, 상기 현재 프레임의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 프레임 레이트 변환 방법은, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계, 상기 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계 및 상기 노이즈 강도에 기초하여 상기 현재 프레임 및 상기 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 상기 보간 프레임을 생성하는 단계를 포함한다.
여기서, 프레임 레이트 변환 방법은, 상기 상기 보간 프레임의 움직임 벡터를 추정하기 위해 상기 현재 프레임의 블록과 상기 인접한 프레임들 사이의 블록 매칭을 수행하는 단계 및 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계를 더 포함할 수 있다..
또한, 프레임 레이트 변환 방법은, 상기 현재 프레임의 블록과 상기 블록 매칭에 따라 결정된 상기 현재 프레임의 블록과 매칭되는 상기 인접한 프레임들의 블록 사이의 화소 값 차이에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계를 더 포함할 수 있다.
또한, 프레임 레이트 변환 방법은, 상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이하인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 기초하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 레이트 변환 방법은, 상기 인접한 프레임들에서 상기 현재 프레임의 블록과 매칭되는 블록을 판단하는 단계 및 상기 현재 프레임의 블록과 상기 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 상기 보간 프레임의 블록의 상기 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 레이트 변환 방법은, 상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이상인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 레이트 변환 방법은, 상기 현재 프레임의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 영상 프레임의 노이즈가 많은 영역에서도 정확한 움직임 추정을 수행하여 화질 열화 없는 보간 프레임을 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 비디오 처리 과정을 설명하기 위한 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 프레임 레이트 변환을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 프레임 레이트 변환 장치의 구성을 설명하기 위한 블럭도이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 블록 매칭을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 현재 프레임의 노이즈 강도를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 현재 프레임을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 보간 프레임 생성 과정을 도시한 흐름도이다.
도 8은 본 발명의 다른 실시 예에 따른 보간 프레임 생성 과정을 도시한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 나타내는 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 프레임 변환 장치의 프레임 변환 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치(10)의 비디오 처리 과정을 설명하기 위한 블럭도이다.
도 1을 참조하면, 비디오 신호는 비디오 디코딩부(11), 스케일링부(12), 프레임 레이트 변환(FRC: Frame Rate Conversion)부(13) 및 디스플레이(14)에서 순차적으로 처리된다.
비디오 디코딩부(11)는 비디오 신호를 디코딩한다. 이에 따라, 비디오 디코딩부(11)에서는 압축이 해제된 비디오 신호가 출력된다.
스케일링부(12)는 비디오 디코딩부(11)에서 출력되는 디코딩된 비디오 신호에 대한 비디오의 크기를 디스플레이 장치(100)에 마련된 디스플레이(14)에 적합한 크기로 스케일링한다.
프레임 레이트 변환부(13)는 스케일링부(12)에서 스케일링된 비디오에 대해 프레임 레이트 변환을 수행한다. 예를 들어, 스케일링부(12)로부터 전달되는 비디오 프레임 레이트가 60Hz인 경우, 프레임 레이트 변환부(13)는 비디오의 프레임 레이트를 120Hz로 변환시킬 수 있다. 여기서, 프레임 레이트 변환은 입력되는 영상을 구성하는 복수의 프레임 사이에 보간 프레임을 삽입하여 수행될 수 있다. 이를, 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시 예에 따른 프레임 레이트 변환을 설명하기 위한 도면이다.
도 2 에서, 참조 번호 230을 현재 프레임, 참조 번호 210을 이전 프레임이라고 가정한다.
도 2를 참조하면, 현재 프레임(230)의 화면은 이전 프레임(210)의 화면 상태에서 일정 부분 변화한 상태에 있다. 구체적으로, 자동차(211)는 이전 프레임(210)에서 제1 블록(212)에 위치하다가, 현재 프레임(230)에서는 제3 블록(232)에 위치한다.
보간 프레임(220)은 현재 프레임(230)의 화면에서 이전 프레임(210)의 화면으로의 상태 변화에서 중간 상태를 나타낸다. 따라서, 보간 프레임(220)에서 자동차(211)는 이전 프레임(210)에서의 자동차(211)의 위치(212) 및 현재 프레임(230)의 자동차의 위치(232)의 중간(222)에 위치한다.
결론적으로, 이전 프레임(210)의 상태 및 현재 프레임(230)의 상태의 중간 상태에 대응되는 보간 프레임(220)을 생성하여, 이전 프레임(210) 및 현재 프레임(230) 사이에 삽입함으로써, 프레임 레이트를 변환시킬 수 있다. 이때, 이전 프레임(210) 및 현재 프레임(230) 사이에 n 개의 보간 프레임을 삽입하면, 프레임 레이트는 n배 커진다.
한편, 상술한 보간 프레임(220)을 생성하는 데에는, 움직임 예측 및 보정(ME/MC : Motion Estimation / Motion Conpensation) 기술이 적용될 수 있다. 상술한 예와 같이, 동작 예측 및 보정 기술이 적용되면, 프레임 레이트 변환부(13)는 이전 프레임과 이후 프레임의 동작을 바탕으로 중간 프레임의 동작을 예측하여 보정된 프레임을 생성하여 삽입하게 된다. 여기서, 움직임 예측은 참조 프레임의 매칭되는 블록을 현재 블록에 위치시키기 위한 움직임 또는 변위 벡터의 예측이다. 또한, 움직임 보상은 참조 프레임 내의 블록을 현재 프레임 내의 매칭되는 블록에 실제적으로 정렬시키는 과정이다.
상술한 바와 같이, 움직임 예측 및 보정 기술이 적용되면, 프레임 레이트가 변환된 영상은 더욱 부드러운 영상으로 표현된다. 특히, 움직임 예측에 대하여는 도 3에서 상세히 설명한다.
디스플레이(14)는 프레임 레이트 변환부(13)에서 출력되는 영상 프레임을 순차적으로 디스플레이 한다.
도 3은 본 발명의 일 실시 예에 따른 프레임 레이트 변환 장치(100)의 구성을 설명하기 위한 블럭도이다.
도 3에 따르면, 프레임 레이트 변환 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)는 다양한 데이터를 저장한다. 특히, 메모리(110)는 입력되는 영상을 구성하는 복수의 프레임을 저장할 수 있다. 일 예로, 메모리(110)는 RAM일 수 있으나 이에 제한되지는 않는다.
프로세서(120)는 프레임 레이트 변환 장치(100)의 전반적인 동작을 제어한다.
구체적으로, 프로세서(120)는 보간 프레임을 생성하기 위하여 움직임 벡터를 추정한다. 이를 위해, 프로세서(120)는 현재 프레임의 블록과 인접한 프레임들 사이의 블록 매칭을 수행한다. 여기서, 블록 매칭이란, 현재 프레임과 인접한 프레임에서, 현재 프레임의 블록과 일치하는 블록을 탐색하는 과정을 말한다. 블록 매칭을 통하여 매칭되는 것으로 판단되는 현재 프레임의 블록과 인접한 프레임의 블록의 각각의 위치 차이에 기초하여 움직임 벡터를 결정할 수 있다. 이를, 도 4a 내지 도 4c를 참조하여 상세히 설명한다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 블록 매칭을 설명하기 위한 도면이다.
이하에서, 블록 매칭 및 움직임 추정은 블록 단위로 수행되는 것으로 가정한다. 또한, 블록 매칭은 현재 프레임(410) 및 이전 프레임(430) 사이에서 수행되는 것으로 가정한다. 여기서, 블록은 프레임을 구성하는 기설정된 단위를 말한다. 블록의 타입은 복수의 화소를 포함하는 정사각형 또는 직사각형일 수 있으며, 임의의 기하학적 형태일 수도 있다. 또한, 일정한 크기의 데이터 단위로 제한되지 않는다.
도 4a는 본 발명의 일 실시 예에 따른 현재 프레임(410)을 도시한다. 현재 프레임(410)은 입력되는 영상을 구성하는 복수의 프레임 중 어느 하나의 프레임이다. 현재 프레임(410)의 블록(411)은 4개의 화소로 구성되는데, 4개의 화소는 각각의 화소 값을 가진다.
한편, 프로세서(120)는 일정한 범위 내에서 블록 매칭을 수행할 수 있다. 예를 들면, 도 4b에서, 프로세서(120)는 이전 프레임(430)의 블록 중 현재 프레임(410)의 블록(411)과 매칭되는 블록(412)으로부터 상하좌우로 8개의 화소까지를 블록 매칭의 범위로 설정할 수 있다.
프로세서(120)는 블록 매칭 범위에서, 현재 프레임(410)의 블록(411)을 구성하는 복수의 화소의 화소 값들과 이전 프레임(430)을 구성하는 블록들을 구성하는 복수의 화소의 화소 값들의 차이 값을 계산한다. 예를 들면, 현재 프레임(410)의 블록(411)을 구성하는 복수의 화소의 화소 값은 좌측 위부터 시계 방향으로 100. 101. 102, 103이며, 블록 매칭의 대상이 되는 이전 프레임(430)의 블록(413)(좌표(8,12))을 구성하는 복수의 화소의 화소 값은 좌측 위부터 시계 방향으로, 99, 100, 101, 101이다. 여기서, 프로세서(120)는 각각의 화소 값의 차이를 계산하여 그 절대 값을 더할 수 있다. 이 경우, 그 결과 값은 5이다. 이를, 블록 매칭 값이라고 정의한다.
프로세서(120)는 이러한 블록 매칭을 블록 매칭 범위의 모든 블록들에 대해 수행한다. 그 결과로, 프로세서(120)는 블록 매칭 값이 가장 작은 경우에 대응되는 이전 프레임(430)의 블록을 현재 프레임(410)의 블록(411)에 매칭되는 블록으로 결정한다.
이에 더하여, 프로세서(120)는 현재 프레임(410)의 블록(411)에 매칭되는 블록(413)과 현재 프레임(410)의 블록(411)의 위치(여기서는, 좌표 값)를 이용하여 현재 프레임(410)의 블록(411)의 움직임 벡터를 결정할 수 있다. 예를 들면, 현재 프레임(410)의 블록(411)의 좌표 (4,8) 및 이와 매칭되는 이전 프레임(430)의 블록(413)의 좌표 (8,12)로부터, 프로세서(120)는 현재 프레임(410)의 블록(411)의 움직임 벡터를 (4,4)로 결정할 수 있다.
한편, 프로세서(120)는 복수의 프레임 중 현재 프레임(410)의 블록(411)에 대한 노이즈 강도를 판단할 수 있다. 여기서, 프로세서(120)는 현재 프레임(410)의 블록(411)에 대한 블록 매칭 결과에 기초하여 현재 프레임(410)의 블록(411)에 대한 노이즈 강도를 판단할 수 있다.
이를 위해, 프로세서(120)는, 현재 프레임(410)의 블록(411)과 블록 매칭에 따라 결정된 현재 프레임(410)의 블록과 매칭되는 인접한 프레임들의 블록(413) 사이의 화소 값 차이에 기초하여 현재 프레임(410)의 블록에 대한 노이즈 강도를 판단할 수 있다. 여기서, 인접한 프레임들은 현재 프레임(410)의 이전 프레임(430) 및 다음 프레임(미도시)인 것이 바람직하나, 현재 프레임(410)이 아닌 프레임이면 인접한 프레임이 될 수 있음은 물론이다. 설명의 편의를 위해서 인접한 프레임은 이전 프레임(430)인 것으로 예를 들어 설명한다.
구체적으로, 프로세서(120)는 현재 프레임(410)의 블록(411) 및 현재 프레임(410)의 블록(411)에 매칭되는 것으로 판단된 이전 프레임(430)의 블록(413) 사이의 블록 매칭 값을 노이즈 강도로 결정할 수 있다.
예를 들면, 상술한 블록 매칭의 결과인 5는 현재 프레임(410)의 블록(411) 의 노이즈 강도가 될 수 있다. 구체적으로, 블록 매칭은 가장 일치하는 블록을 찾는 과정으로, 이상적인 경우, 현재 프레임(410)의 블록(411)과 완전히 일치하는 블록과의 블록 매칭 값은 0이며, 이는 곧 실제 영상 신호 외에 노이즈가 발생되지 않았다는 것을 의미한다. 즉, 매칭되는 블록으로 판단된 블록 간의 블록 매칭 값이 큰 경우는 블록 각각에 노이즈가 많이 포함된 것으로 판단될 수 있다.
한편, 프로세서(120)는 노이즈 강도에 기초하여 현재 프레임(410) 및 현재 프레임과 인접한 프레임(430) 사이에 삽입되는 보간 프레임(420)의 블록의 움직임 벡터를 추정하여 보간 프레임(420)을 생성할 수 있다.
먼저, 현재 프레임(410)의 블록(411)에 대한 노이즈 강도가 기설정된 값 이하인 경우, 프로세서(120)는 현재 프레임(410)의 블록(411)에 대한 블록 매칭에 기초하여 보간 프레임(420)의 블록의 움직임 벡터를 추정할 수 있다. 여기서, 기설정된 노이즈 강도 값은 현재 프레임(410)의 블록(411)에서 블록 매칭으로 추정된 움직임 벡터가 올바르게 구해진 것으로 신뢰할 수 있는지에 따라 결정될 수 있다.
구체적으로, 프로세서(120)는 인접한 프레임들에서 현재 프레임의 블록과 매칭되는 블록을 판단하고, 현재 프레임의 블록과 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 보간 프레임의 블록의 상기 움직임 벡터를 추정할 수 있다.
예를 들어, 기설정된 노이즈 강도 값이 10이라고 가정한다. 이때, 프로세서(120)는 상술한 블록 매칭을 이용하여 현재 프레임(410)의 블록(411)에 대한 노이즈 강도를 결정할 수 있다. 여기서, 현재 프레임(410)의 블록(411) 및 이전 프레임(430)의 블록(413) 사이의 블록 매칭 값에 의해 결정된 노이즈 값이 5이므로, 기설정된 노이즈 강도 값 10보다 작다. 따라서, 현재 프레임(410)의 블록(411)에 대한 블록 매칭에 기초하여 보간 프레임(420)의 블록(421)의 움직임 벡터를 추정할 수 있다.
구체적으로, 현재 프레임(410)의 블록(411)의 위치 및 이전 프레임(430)의 블록(413) 위치에 따라 추출된 현재 프레임(410)의 블록(411)의 움직임 벡터는 (4,4)이다. 결론적으로, 도 4c를 참조하면, 보간 프레임(420)은 현재 프레임(410) 및 이전 프레임(430)에 대해여 시간적으로 가운데에 위치하여야 하므로, 보간 프레임(420)의 블록(421)의 움직임 벡터는 (2,2)가 될 수 있다(현재 프레임을 참조 프레임으로 하는 경우).
다음으로, 현재 프레임(미도시)의 블록에 대한 노이즈 강도가 기설정된 값 이상인 경우, 프로세서(120)는, 현재 프레임의 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 보정하여 보간 프레임(미도시)의 블록의 움직임 벡터를 추정할 수 있다.
구체적으로, 프로세서(120)는 현재 프레임(500)의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 현재 프레임(500)의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다. 이에 대하여, 도 5를 참조하여 상세히 설명한다.
도 5는 본 발명의 일 실시 예에 따른 현재 프레임(500)의 노이즈 강도를 설명하기 위한 도면이다.
도 5에서, 현재 프레임(500)의 블록 중 참조 번호 501 내지 510의 노이즈 강도는 기설정된 값 이하인 경우이며, 참조 번호 511의 노이즈 강도는 기설정된 값 이상인 경우라고 가정한다.
도 5를 참조하면, 현재 프레임(500)의 블록(511)의 노이즈 강도가 기설정된 값 이상이므로, 프로세서(120)는 현재 프레임(500)의 블록(511)의 움직임 벡터를 추정하기 위하여 현재 프레임(500)의 다른 블록(501 내지 510)에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조할 수 있다.
예를 들어, 프로세서(120)는 현재 프레임(500)의 블록(511)의 움직임 벡터를 추정하기 위하여 현재 프레임(500)의 다른 블록(501 내지 510)에 대한 블록 매칭에 따라 얻어진 움직임 벡터의 평균을 이용할 수 있다. 따라서, 프로세서(120)는 현재 프레임(500)의 블록(511)에 대한 블록 매칭 결과 값을 움직임 벡터로 추정하지 않고, 현재 프레임(500)의 다른 블록(501 내지 510)에 대한 블록 매칭에 따라 얻어진 움직임 벡터의 평균인 (2,2)를 현재 프레임(500)의 블록(511)의 움직임 벡터로 추정할 수 있다. 결론적으로, 프로세서(120)는 현재 프레임(500)의 블록(511)에 대응되는 보간 프레임의 블록의 움직임 벡터를 (1,1)로 추정할 수 있다.
다른 예로, 현재 프레임(500)의 블록(511)의 노이즈 강도가 기설정된 값보다 큰 경우, 프로세서(120)는 블록 매칭에 따라 추정된 현재 프레임(500)의 블록(511)의 움직임 벡터를 노이즈 강도에 반비례하도록 보정하여 보간 프레임의 블록의 움직임 벡터를 추정할 수도 있다.
또 다른 예로, 현재 프레임(500)의 블록(511)의 노이즈 강도가 기설정된 값보다 큰 경우, 프로세서(120)는 현재 프레임(500)의 블록(511)의 움직임 추정 바로 전에 결정된 블록(510)의 움직임 벡터를 현재 프레임(500)의 블록(511)의 움직임 벡터로 추정할 수도 있다.
한편, 프로세서(120)는 현재 프레임(미도시)을 구성하는 복수의 블록에 대한 노이즈 강도에 기초하여 현재 프레임 전체에 대한 노이즈 강도를 판단하고, 현재 프레임 전체에 대한 노이즈 강도가 기설정된 값 이상인 경우, 현재 프레임에 대한 움직임 추정을 수행하지 않고, 현재 프레임을 구성하는 화소의 화소 값 및 현재 프레임을 구성하는 화소에 대응되는 현재 프레임의 인접한 프레임을 구성하는 화소의 화소 값의 평균 값을 이용하여 보간 프레임(미도시)을 생성하거나, 현재 프레임 또는 현재 프레임의 인접한 프레임과 동일한 보간 프레임을 생성할 수 있다.
상술한 예에서는, 현재 프레임에서 블록 매칭을 수행한 결과에 기초하여 노이즈 강도를 결정하였으나, 이전 프레임에서 블록 매칭을 수행한 결과에 기초하여 결정된 노이즈 강도를 결정하고, 그 결과에 따라 움직임 추정을 할 수도 있다. 이를, 도 6을 참조하여 설명한다.
도 6은 본 발명의 다른 실시 예에 따른 현재 프레임(600)을 도시한 도면이다.
도 6을 참조하면, 현재 프레임(600)은 이전 프레임에서 결정된 이전 프레임의 블록의 노이즈 강도를 이용할 수 있다. 이를 위해, 프로세서(120)는 이전 프레임의 블록의 노이즈 강도를 저장한 맵(600)을 메모리(110)에 저장해둘 수 있다. 이때, 프로세서(120)는 저장된 맵(600)을 현재 프레임(600)의 블록 각각의 노이즈 강도에 대응하는 것으로 판단하고, 현재 프레임(600)의 블록의 움직임 추정에 이용할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 보간 프레임 생성 과정을 도시한 흐름도이다.
구체적으로, 도 7은 현재 프레임의 블록의 추정을 움직임 탐색 및 움직임 추정으로 세분화하여 나타낸 경우이다. 여기서, 움직임 탐색은 블록 각각을 구성하는 화소 값의 차이를 구하여 블록 매칭을 수행하는 과정이고, 움직임 선택은 블록의 노이즈 강도에 기초하여 움직임 벡터를 결정하는 과정이다.
도 7을 참조하면, 프로세서(120)는 현재 프레임과 인접한 프레임을 메모리(110)로부터 로드한다(S710). 프로세서(120)는 로드된 현재 프레임의 블록의 움직임을 탐색하고(S720). 탐색 결과에 기초하여 현재 프레임의 블록의 노이즈를 측정(S730)한다. 그 후, 프로세서(120)는 현재 프레임의 블록의 움직임 벡터를 선택하고, 그 결과에 기초하여 보간 프레임의 블록의 움직임 벡터를 결정한다(S740). 끝으로, 보간 프레임의 블록의 움직임 벡터를 이용하여 보간 프레임을 생성한다(S750).
여기서, 프로세서(120)는 보간 프레임의 블록의 움직임 벡터가 가리키는 현재 프레임의 블록을 구성하는 화소의 화소 값 및 현재 프레임에 인접한 프레임의 블록을 구성하는 화소의 화소 값을 비율적으로 적용하여 보간 프레임을 생성할 수 있다.
예를 들면, 현재 프레임 및 이전 프레임 사이에 보간 프레임 하나가 삽입되는 경우, 프로세서(120)는 보간 프레임의 블록을 구성하는 화소의 화소 값을 현재 프레임의 블록을 구성하는 화소의 화소 값 및 이전 프레임의 블록을 구성하는 화소의 화소 값의 평균 값으로 결정할 수 있다(1대1 비중의 비율로 적용)
도 8은 본 발명의 다른 실시 예에 따른 보간 프레임 생성 과정을 도시한 흐름도이다.
구체적으로, 도 8은 현재 프레임의 블록의 추정을 움직임 탐색 및 움직임 추정으로 세분화하여 나타낼 수 없는 경우를 나타낸다. 이 경우, 측정된 노이즈 강도는, 도 6의 경우와 같이, 이전 프레임에서 측정된 것을 적용한다.
도 8을 참조하면, 프로세서(120)는 현재 프레임 및 현재 프레임과 인접한 프레임을 메모리로부터 로드한다(S810). 또한, 프로세서(120)는 로드된 현재 프레임의 블록의 움직임 추정 및 보간 프레임의 블록의 움직임 벡터를 결정한다(S820). 그 후, 프로세서(120)는 현재 프레임의 블록의 노이즈를 측정한다. 여기서, 현재 프레임의 브록의 측정된 노이즈는 피드백 되어, 다음 프레임의 블록의 움직임 추정 및 다음 보간 프레임의 블록의 움직임 벡터 결정에 이용된다(S830-1). 끝으로, 프로세서(120)는 결정된 보간 프레임의 블록의 움직임 벡터를 이용하여 보간 프레임을 생성한다(S840).
상술한 본 발명에 실시 예들에 따르면, 블록의 노이즈의 강도를 움직임 벡터를 추정하는데 사용하는 것을 통하여, 노이즈를 프레임으로부터 제거하는 과정 없이도 효율적이고 신뢰도 높은 움직임 추정을 수행할 수 있다. 또한 그 결과로, 화질 열화 없는 보간 프레임이 생성될 수 있다.
한편, 상술한 본 발명의 실시 예에 따른 블록 매칭에 이용되는 수식은 다음과 같다. 여기서, 현재 프레임에 및 이전 프레임 F(t-1)의 블록 매칭을 역방향 블록 매칭이라 하고, 다음 프레임 F(t+1) 및 현재 프레임의 블록 매칭을 순방향 블록 매칭이라고 한다. 역방향 블록 매칭은 현재 프레임을 여러 개의 네모난 블록으로 나누고 각 블록에 대한 최소 SAD(Sum of Absolute Difference)를 이전 프레임으로부터 산출하는 것이다. 이를 수식으로 나타내면 다음과 같다.
Figure 112015115259025-pat00001
　: 식 (1)
변수 Ft-1과 Ft은 각각 이전 프레임 현재 프레임을 나타내고 N은 블록의 크기이며 (x0, y0)은 움직임을 추정할 (bx, by)번째 블록의 왼쪽 상단 픽셀의 위치로 다음과 같이 정의된다.
Figure 112015115259025-pat00002
　: 식 (2)
Figure 112015115259025-pat00003
　: 식 (3)
식 (1)에서, v=(vx,vy)는 움직임 벡터로서 현재 프레임의 블록과 이전 프레임의 블록 간의 거리(픽셀 좌표의 차이)를 나타낸다. 순방향 블록 매칭은 역방향 블록 매칭과 같은 원리로 이전 프레임 대신 다음 프레임을 사용한다. 이는 다음과 같이 정의된다.
Figure 112015115259025-pat00004
　: 식 (4)
블록 매칭을 이용하여 움직임 추정을 찾는 과정은 탐색 범위(search range)내에 있는 각 움직임 벡터에 대해 SAD 값을 구하고 최소의 SAD 값을 찾는 것으로 이뤄진다. 수평방향 탐색범위를 Sx, 수평방향의 탐색범위를 Sy라고 할 경우 역방향 블록 매칭에서 최소 SAD를 갖는 움직임 벡터, vb=(vb x,vb y)는 다음과 같이 정의된다.
Figure 112015115259025-pat00005
　: 식 (5)
노이즈 측정은 역방향 및 순방향 블록 매칭 과정에서 계산된 여러 움직임벡터에 대한 SAD 값 중에서 최소 값을 기반으로 다음과 같이 계산된다.
Figure 112015115259025-pat00006
　: 식 (6)
움직임벡터 선택은 움직임 탐색결과와 측정된 노이즈를 기반으로 각 블록에 대한 움직임 벡터를 정의하게 된다. 구체적으로 역방향 움직임 벡터에 대한 Cost값 계산시 저주파 신호에 대한 가중치를 높이는 것으로 다음과 같이 계산된다.
Figure 112015115259025-pat00007
: 식 (7)
식 (7)에서, bSADLPF는 현재 및 이전 프레임에 저주파 필터링 (low pass filtering)을 거쳐 노이즈가 제거된 영상으로부터 계산된 블록 매칭 값을 의미한다. 또한,
Figure 112015115259025-pat00008
는
Figure 112015115259025-pat00009
으로부터 계산된 값으로 대해서 0부터 1 사이의 값을 가지며, 1에 가까울수록 높은 노이즈가 있음을 의미한다. 즉, 노이즈가 높을수록 저주파 영상에서 얻어진 블록 매칭 값에 대한 비중을 높인다는 것을 의미한다.
노이즈 강도를 움직임 벡터의 Cost 값에 반영하는 방법 외에도 인접 블록과 비슷한 움직임 벡터를 갖도록 유도하거나, 저주파 필터링의 강도를 강하게 하는 방법으로도 응용할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치(900)를 도시한 도면이다.
도 9은, 디스플레이 장치(900)의 일 예로 TV(900)를 도시하고 있다. TV(900)는 프레임 레이트 변환 장치(100) 포함한다. 따라서, TV(900)는 영상 프레임의 블록에 대한 노이즈 강도를 판단하여, 영상 프레임 및 영상 프레임에 인접한 프레임에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정할 수 있다. 이를, 도 10을 참조하여 상세히 설명한다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치(900)의 세부 구성을 나타내는 블록도이다.
도 10에 따르면, 디스플레이 장치(900)는 통신부(910), 저장부(920), 디스플레이(930), 수신부(940), 신호 처리부(950), 디코딩부(960), 제어부(970), 리모컨 신호 수신부(980), 입력부(985), 오디오 출력부(990) 및 인터페이스부(995)를 포함한다.
통신부(910)는 네트워크(통신망)를 통하여 통신을 수행한다. 구체적으로, 통신부(910)는 네트워크 통신을 위해 디스플레이 장치(900)에 할당된 네트워크 주소를 이용하여, 네트워크에 연결된 다양한 외부 기기(예를 들어, 타 장치 또는, 서버)와 통신을 수행할 수 있다.
여기에서, 네트워크 주소는 IP(Internet Protocol) 주소일 수 있다. 즉, 통신부(910)는 IP 주소를 이용하여 인터넷 망에 연결된 다른 외부 기기(미도시)와 통신을 수행할 수 있다.
한편, 통신부(910)는 다양한 통신 방식을 이용하여 네트워크 통신을 수행할 수 있다.
구체적으로, 통신부(910)는 유/무선 LAN(Local Area Network), 와이파이(Wifi), WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), USB(Universal Serial Bus), IEEE 1394 등 다양한 통신 방식을 이용하여 네트워크 통신을 수행할 수 있다. 이를 위해, 통신부(910)는 각 통신 방식에 따라 네트워크 통신을 수행하기 위한 다양한 통신 모듈을 구비할 수 있다. 예를 들어, 통신부(910)는 유선 LAN 방식으로 통신을 수행하는 경우 유선 LAN 카드(미도시)를 구비할 수 있으며, 와이파이 방식으로 통신을 수행하는 경우 와이파이 통신 칩(미도시)을 구비할 수 있다.
저장부(920)는 디스플레이 장치(900)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제(Operating System: OS)를 저장한다.
또한, 저장부(920)는 디스플레이 장치(900)에서 실행 가능한 기본 프로그램을 저장한다. 여기에서, 기본 프로그램은 디스플레이 장치(900)의 기본 기능(또는, 기본 서비스)을 제공하기 위해 필요한 응용 프로그램일 수 있다.
구체적으로, 기본 프로그램은 디스플레이 장치(900)의 제조시, 제조사가 최초에 디스플레이 장치(900)에 설치하는 응용 프로그램으로, 디스플레이 장치(900)의 사용자에 의해 임의로 삭제될 수 없는 응용 프로그램을 나타낸다.
예를 들어, 디스플레이 장치(900)의 제조사가 컨텐츠 검색 기능, 컨텐츠 재생 기능, 디스플레이 장치(900)에 설치된 각종 응용 프로그램 탐색 기능, 인터넷 접속 기능 및 세팅 기능을 기본 기능으로 제공하고자 하는 경우, 저장부(920)는 해당 기본 기능을 제공할 수 있는 기본 프로그램을 저장할 수 있다.
또한, 저장부(920)는 디스플레이 장치(900)에서 실행 가능한 다운로드 프로그램을 저장할 수 있다. 여기에서, 다운로드 프로그램은 기본 기능 외에 디스플레이 장치(900)가 부가 기능(또는, 부가 서비스)을 제공하기 위해 필요한 응용 프로그램일 수 있다.
구체적으로, 다운로드 프로그램은 기본 프로그램과 달리 사용자가 임의로 디스플레이 장치(900)에 설치하거나, 삭제할 수 있는 응용 프로그램을 나타낸다.
예를 들어, 사용자는 게임 기능, 채팅 기능 등과 같은 부가 기능을 제공할 수 있는 다운로드 프로그램을 외부 기기(미도시)로부터 다운로드 받아 디스플레이 장치(900)에 설치할 수 있으며, 저장부(920)는 해당 부가 기능을 제공할 수 있는 다운로드 프로그램을 저장할 수 있다.
이를 위해, 저장부(920)는 비휘발성 메모리(가령, 플래시 메모리), EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.
한편, 저장부(920)는 기본 프로그램과 다운로드 프로그램을 별도의 영역에 저장할 수 있다. 구체적으로, 저장부(920)는 저장 매체 내의 저장 영역을 복수의 저장 영역으로 구분하고, 기본 프로그램과 다운로드 프로그램을 서로 다른 저장 영역에 저장할 수 있다. 예를 들어, 저장부(920)가 플래시 메모리로 구현된 경우, 플래시 메모리의 제1 저장 영역에 기본 프로그램을 저장하고 플래시 메모리의 제2 저장 영역에 다운로드 프로그램을 저장할 수 있다. 이 경우, 기본 프로그램의 저장을 위한 저장 영역은 사용자가 임의로 접근할 수 없는 저장 영역이나, 다운로드 프로그램의 저장을 위한 저장 영역은 사용자에 의해 접근 가능한 저장 영역이 될 수 있다. 즉, 사용자는 기본 프로그램의 저장을 위한 저장 영역에 저장된 기본 프로그램을 임의로 삭제할 수 없으나, 다운로드 프로그램의 저장을 위한 저장 영역에 저장된 다운로드 프로그램을 삭제할 수는 있다.
한편, 기본 프로그램이 저장되는 저장 영역에는 디스플레이 장치(900)를 구동하고 제어하기 위한 각종 데이터 및 운영 체제가 함께 저장될 수 있으며, 이들은 펌웨어(firmware)로 지칭될 수 있다.
하지만, 이는 일 예일 뿐, 저장부(920)는 기본 프로그램과 다운로드 프로그램을 서로 다른 저장 매체에 저장할 수도 있다. 즉, 저장부(920)가 복수의 플래시 메모리로 구현되는 경우, 기본 프로그램은 제1 플래시 메모리에 저장되고 다운로드 프로그램은 제2 플래시 메모리에 저장될 수 있다.
한편, 저장부(920)는 영상을 구성하는 복수의 프레임을 저장할 수도 있다. 후술할 프레임 레이트 변환부(960)는 저장부(920)에 저장된 영상 프레임의 블록의 노이즈 강도를 판단하고, 판단된 블록의 노이즈 강도 및 블록 매칭을 통해서 획득된 움직임 벡터를 이용하여 보간 프레임을 생성할 수 있다.
디스플레이(930)는 다양한 화면을 디스플레이한다. 구체적으로, 디스플레이(930)는 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 여기에서, 메뉴는 디스플레이 장치(900)의 기본 기능을 제공할 수 있는 기본 프로그램을 실행하기 위한 메뉴 항목을 포함할 수 있다.
이를 위해, 디스플레이(930)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다.　
수신부(940)는 방송 컨텐츠(또는, 방송 신호)를 수신할 수 있다. 방송 컨텐츠는 영상, 오디오 및 부가 데이터(예를 들어, EPG)를 포함할 수 있으며, 수신부(940)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 컨텐츠를 수신할 수 있다. 일 예로, 수신부(940)는 방송 컨텐츠 영상이 코딩된 비디오 스트림을 수신할 수 있다.
여기서, 수신부(940)는 방송국으로부터 전송되는 방송 컨텐츠를 수신하기 위해 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다.
신호 처리부(950)는 수신부(940)를 통해 수신된 컨텐츠에 대한 신호처리를 수행한다. 구체적으로, 신호 처리부(950)는 컨텐츠를 구성하는 영상에 대해 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행하여, 디스플레이(930)에서 출력 가능한 형태로 신호처리를 수행할 수 있다. 또한, 신호 처리부(950)는 컨텐츠를 구성하는 오디오에 대해 디코딩 등의 신호 처리를 수행하여 오디오 출력부(990)에서 출력 가능한 형태로 신호처리를 수행할 수 있다.
프레임 레이트 변환부(960)는 프레임 레이트를 변환시킬 수 있다. 이를 위해서, 저장부(920)에 저장된 영상 프레임의 블록의 노이즈 강도를 판단할 수 있다. 여기서, 프레임 레이트 변환부(960)은 영상 프레임의 블록의 블록 매칭을 이용하여 블록의 노이즈 강도를 판단할 수 있다. 프레임 레이트 변환부(960)은 명칭을 달리할 뿐, 상술한 프레임 레이트 변환 장치(100)와 동일한 구성일 수 있다.
여기서, 프레임 레이트 변환부(960)는 상술한 메모리(110) 및 프로세서(120)가 포함된 칩으로 구현될 수 있으나 그 형태는 이에 제한되지 않는다. 또한, 프레임 레이트 변환부(960)는 메모리(110)를 포함하지 않을 수도 있다. 이 경우, 프레임 레이트 변환부(960)는 메모리(110) 대신에 저장부(920)를 이용하여 영상 프레임을 저장하고 로드할 수 있다.
제어부(970)는 디스플레이 장치(900)의 전반적인 동작을 제어한다. 제어부(940)는 CPU(Central Processing Unit)(미도시), ROM(Read Only Memory)(미도시), 디스플레이 장치(900)의 동작을 위한 RAM(Random Access Memory)(미도시)을 포함할 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU는 ROM에 저장된 명령어에 따라 저장부(920)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 저장부(920)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
CPU는 저장부(920)에 액세스하여, 저장부(920)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU는 저장부(920)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
리모컨 신호 수신부(980)는 리모컨(미도시)으로부터 입력되는 리모컨 제어 신호를 수신한다.
예를 들어, 리모컨 신호 수신부(980)는 디스플레이 장치(900)의 전원을 온 시키거나, 메뉴를 디스플레이하기 위한 리모컨 제어 신호를 수신할 수 있다. 제어부(970)는 디스플레이 장치(900)의 전원을 온 시키기 위한 리모컨 제어 신호 또는 메뉴를 디스플레이하기 위한 리모컨 제어 신호가 수신되면, 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 이때, 제어부(970)는 디스플레이 장치(900)의 위치에 따라 메뉴를 차별적으로 구성하여 디스플레이할 수 있다.
이 밖에도, 리모컨 신호 수신부(980)는 다양한 리모컨 제어 신호를 수신할 수 있다. 예를 들어, 리모컨 신호 수신부(980)는 채널 변경, 볼륨 조절 등을 수행하기 위한 리모컨 제어 신호를 수신할 수 있으며, 제어부(970)는 수신된 리모컨 제어 신호에 따라 디스플레이 장치(900)의 채널을 변경하거나, 볼륨을 조절할 수 있다.
입력부(985)는 다양한 사용자 명령을 입력받는다. 제어부(970)는 입력부(985)에서 입력된 사용자 명령에 대응되는 기능을 실행할 수 있다.
예를 들어, 제어부(970)는 입력부(985)를 통해 디스플레이 장치(900)의 전원을 온 시키기 위한 사용자 명령 또는, 메뉴를 디스플레이하기 위한 사용자 명령이 입력되면, 기본 프로그램을 실행하기 위한 메뉴를 디스플레이할 수 있다. 이 경우, 제어부(970)는 디스플레이 장치(900)의 위치에 따라 메뉴를 차별적으로 구성하여 디스플레이할 수 있다.
이 밖에도, 입력부(985)는 채널 변경, 볼륨 조절 등을 수행하기 위한 사용자 명령을 입력받을 수 있으며, 제어부(970)는 입력된 사용자 명령에 따라 채널을 변경하거나, 볼륨을 조절할 수 있다.
오디오 출력부(990)는 신호 처리부(950)에서 출력되는 오디오 신호를 사운드로 변환하여 스피커(미도시)를 통해 출력하거나, 외부 출력단자(미도시)를 통해 연결된 외부기기로 출력할 수 있다.
인터페이스부(995)는 다양한 타 기기(미도시)와 디스플레이 장치(900)를 연결한다. 그리고, 인터페이스부(995)는 디스플레이 장치(900)에 기저장되어 있던 컨텐츠 등을 타 기기(미도시)로 전송하거나, 타 기기(미도시)로부터 컨텐츠 등을 수신받을 수 있다.
이를 위해, 인터페이스부(995)는 HDMI(High-Definition Multimedia Interface) 입력 단자, 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 프레임 변환 장치(100)의 프레임 변환 방법을 설명하기 위한 흐름도이다.
먼저, 프레임 변환 방법은, 입력되는 영상을 구성하는 복수의 프레임을 저장하고(S1110), 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하며(S1120), 노이즈 강도에 기초하여 현재 프레임 및 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 보간 프레임을 생성할 수 있다(S1130).
여기서, 프레임 변환 방법은, 보간 프레임의 움직임 벡터를 추정하기 위해 현재 프레임의 블록과　 인접한 프레임들 사이의 블록 매칭을 수행하는 단계 및 현재 프레임의 블록에 대한 블록 매칭 결과에 기초하여 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계를 더 포함할 수 있다.
또한, 프레임 변환 방법은, 현재 프레임의 블록과 블록 매칭에 따라 결정된 현재 프레임의 블록과 매칭되는 인접한 프레임들의 블록 사이의 화소 값 차이에 기초하여 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계를 더 포함할 수 있다.
또한, 프레임 변환 방법은, 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이하인 경우, 현재 프레임의 블록에 대한 블록 매칭에 기초하여 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 변환 방법은, 인접한 프레임들에서 현재 프레임의 블록과 매칭되는 블록을 판단하는 단계 및 현재 프레임의 블록과 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 변환 방법은, 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이상인 경우, 현재 프레임의 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 보정하여 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
또한, 프레임 변환 방법은, 현재 프레임의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 현재 프레임의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 보간 프레임의 블록의 움직임 벡터를 추정하는 단계를 더 포함할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 프레임 레이트 변환 장치(100)의 프레임 레이트 변환 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 프로세서(120)에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계, 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계 및 노이즈 강도에 기초하여 현재 프레임 및 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 보간 프레임을 생성하는 단계를 수행하는 프로그램이 저장된 비 일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비 일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 프레임 레이트 변환 장치
110: 메모리
120: 프로세서

Claims (14)

  1. 프레임 레이트 변환 장치에 있어서,
    입력되는 영상을 구성하는 복수의 프레임을 저장하는 메모리; 및
    상기 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하고, 상기 노이즈 강도에 기초하여 상기 현재 프레임 및 상기 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 상기 보간 프레임을 생성하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 보간 프레임의 움직임 벡터를 추정하기 위해 상기 현재 프레임의 블록과 상기 인접한 프레임들 사이의 블록 매칭을 수행하고,
    상기 현재 프레임의 블록에 대한 노이즈 강도가 상기 기설정된 값 이상인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는, 프레임 레이트 변환 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 현재 프레임의 블록과 상기 블록 매칭에 따라 결정된 상기 현재 프레임의 블록과 매칭되는 상기 인접한 프레임들의 블록 사이의 화소 값 차이에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단하는, 프레임 레이트 변환 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이하인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 기초하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는, 프레임 레이트 변환 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 인접한 프레임들에서 상기 현재 프레임의 블록과 매칭되는 블록을 판단하고, 상기 현재 프레임의 블록과 상기 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 상기 보간 프레임의 블록의 상기 움직임 벡터를 추정하는, 프레임 레이트 변환 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 현재 프레임의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는, 프레임 레이트 변환 장치.
  8. 입력되는 영상을 구성하는 복수의 프레임을 저장하는 단계;
    상기 복수의 프레임 중 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계; 및
    상기 노이즈 강도에 기초하여 상기 현재 프레임 및 상기 현재 프레임과 인접한 프레임 사이에 삽입되는 보간 프레임의 블록의 움직임 벡터를 추정하여 상기 보간 프레임을 생성하는 단계;를 포함하며,
    상기 노이즈 강도를 판단하는 단계는,
    상기 보간 프레임의 움직임 벡터를 추정하기 위해 상기 현재 프레임의 블록과 상기 인접한 프레임들 사이의 블록 매칭을 수행하는 단계;를 포함하고,
    상기 보간 프레임을 생성하는 단계는,
    상기 현재 프레임의 블록에 대한 노이즈 강도가 상기 기설정된 값 이상인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 따라 얻으진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계;를 포함하는, 프레임 레이트 변환 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 현재 프레임의 블록과 상기 블록 매칭에 따라 결정된 상기 현재 프레임의 블록과 매칭되는 상기 인접한 프레임들의 블록 사이의 화소 값 차이에 기초하여 상기 현재 프레임의 블록에 대한 노이즈 강도를 판단하는 단계;를 더 포함하는, 프레임 레이트 변환 방법.
  11. 제8항에 있어서,
    상기 현재 프레임의 블록에 대한 노이즈 강도가 기설정된 값 이하인 경우, 상기 현재 프레임의 블록에 대한 블록 매칭에 기초하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계;를 더 포함하는, 프레임 레이트 변환 방법.
  12. 제11항에 있어서,
    상기 인접한 프레임들에서 상기 현재 프레임의 블록과 매칭되는 블록을 판단하는 단계; 및
    상기 현재 프레임의 블록과 상기 인접한 프레임들에서 매칭되는 블록의 위치에 기초하여 상기 보간 프레임의 블록의 상기 움직임 벡터를 추정하는 단계;를 더 포함하는, 프레임 레이트 변환 방법.
  13. 삭제
  14. 제8항에 있어서,
    상기 현재 프레임의 다른 블록에 대한 블록 매칭에 따라 얻어진 움직임 벡터를 참조하여, 상기 현재 프레임의 블록에 대한 블록 매칭 결과에 따라 얻어진 움직임 벡터를 보정하여 상기 보간 프레임의 블록의 움직임 벡터를 추정하는 단계;를 더 포함하는, 프레임 레이트 변환 방법.
KR1020150165803A 2015-11-25 2015-11-25 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 KR102192488B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150165803A KR102192488B1 (ko) 2015-11-25 2015-11-25 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US15/141,963 US10091455B2 (en) 2015-11-25 2016-04-29 Apparatus and method for frame rate conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150165803A KR102192488B1 (ko) 2015-11-25 2015-11-25 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법

Publications (2)

Publication Number Publication Date
KR20170060975A KR20170060975A (ko) 2017-06-02
KR102192488B1 true KR102192488B1 (ko) 2020-12-17

Family

ID=58721430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150165803A KR102192488B1 (ko) 2015-11-25 2015-11-25 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법

Country Status (2)

Country Link
US (1) US10091455B2 (ko)
KR (1) KR102192488B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885335B (zh) * 2020-06-19 2022-03-29 成都东方盛行电子有限责任公司 一种超高清下变换渲染方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021868A (ja) 2007-07-12 2009-01-29 Sony Corp 映像処理装置、映像処理方法、及びプログラム
JP2009246735A (ja) 2008-03-31 2009-10-22 Toshiba Corp 映像信号補間装置、映像表示装置及び映像信号補間方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
KR100530223B1 (ko) * 2003-05-13 2005-11-22 삼성전자주식회사 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
KR20050119422A (ko) * 2004-06-16 2005-12-21 삼성전자주식회사 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
US7271749B2 (en) * 2004-09-14 2007-09-18 Hewlett-Packard Development Company, L.P. Context-based denoiser that simultaneously updates probabilities for multiple contexts
JP5022366B2 (ja) * 2005-07-28 2012-09-12 トムソン ライセンシング 補間フレームを生成するためのデバイス
KR20070069615A (ko) * 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP4181592B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
FR2907301A1 (fr) * 2006-10-12 2008-04-18 Thomson Licensing Sas Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede
CN101953167B (zh) * 2007-12-20 2013-03-27 高通股份有限公司 减少光晕的图像插值
EP2101505A3 (en) * 2008-03-11 2012-09-05 Sony Corporation Image processing device, method, and program
JP2010081411A (ja) * 2008-09-26 2010-04-08 Toshiba Corp フレーム補間装置及びフレーム補間方法
JP5276404B2 (ja) * 2008-10-03 2013-08-28 株式会社ジャパンディスプレイ 表示装置
JPWO2010050089A1 (ja) * 2008-10-29 2012-03-29 パナソニック株式会社 動画像圧縮符号化における符号化処理方法及び符号化処理装置
US8553783B2 (en) * 2008-12-29 2013-10-08 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
US8175163B2 (en) * 2009-06-10 2012-05-08 Samsung Electronics Co., Ltd. System and method for motion compensation using a set of candidate motion vectors obtained from digital video
US8537283B2 (en) * 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP2011244085A (ja) * 2010-05-14 2011-12-01 Sony Corp 信号処理装置及び信号処理方法
KR101742182B1 (ko) * 2010-09-17 2017-06-16 삼성디스플레이 주식회사 영상 데이터 처리 방법, 및 이를 수행하는 표시 장치
JP5661116B2 (ja) * 2010-10-04 2015-01-28 パナソニックＩｐマネジメント株式会社 映像表示装置
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
JP6037224B2 (ja) * 2012-01-11 2016-12-07 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびプログラム
JP5399578B2 (ja) * 2012-05-16 2014-01-29 シャープ株式会社 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US8995594B2 (en) * 2012-08-22 2015-03-31 Intel Corporation Baseband cancellation of platform radio interference
US9241146B2 (en) * 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images
JP2015171450A (ja) * 2014-03-12 2015-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021868A (ja) 2007-07-12 2009-01-29 Sony Corp 映像処理装置、映像処理方法、及びプログラム
JP2009246735A (ja) 2008-03-31 2009-10-22 Toshiba Corp 映像信号補間装置、映像表示装置及び映像信号補間方法

Also Published As

Publication number Publication date
US10091455B2 (en) 2018-10-02
KR20170060975A (ko) 2017-06-02
US20170150095A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
US20170162171A1 (en) Display apparatus and control method thereof
EP2355038A1 (en) Image processor and image processing method
US9396519B2 (en) Content aware video resizing
US11284132B2 (en) Display apparatus, display method, and display system
US20100026885A1 (en) Image Processing Apparatus
US20160132282A1 (en) Display apparatus and display methods thereof
US20170223300A1 (en) Image display apparatus, method for driving the same, and computer - readable recording medium
KR20170059718A (ko) 디코딩 장치 및 그 방법
KR20180080713A (ko) 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치
US20100026737A1 (en) Video Display Device
US20110122227A1 (en) 3d image display apparatus and display method
KR102192488B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US9183882B2 (en) Moving-image playback device
US9749579B2 (en) Apparatus and method for frame rate conversion
US10382782B2 (en) Image frame interpolation apparatus, display apparatus and control method thereof
CN110892361B (zh) 显示设备、显示设备的控制方法及其计算机程序产品
JP5015089B2 (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
KR102121395B1 (ko) 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법
JP2012134655A (ja) 画像処理装置、画像処理方法および画像表示装置
US10121265B2 (en) Image processing device and method to calculate luminosity of an environmental light of an image
US11741570B2 (en) Image processing device and image processing method of same
US8817191B2 (en) Image processing apparatus and image processing method
EP3352133B1 (en) An efficient patch-based method for video denoising
US10075697B2 (en) Display apparatus and image processing method
US8913794B2 (en) Image processing apparatus, image processing method, and medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right