KR102565661B1 - 영상 처리 장치 및 방법, 디스플레이 장치 - Google Patents

영상 처리 장치 및 방법, 디스플레이 장치 Download PDF

Info

Publication number
KR102565661B1
KR102565661B1 KR1020180090918A KR20180090918A KR102565661B1 KR 102565661 B1 KR102565661 B1 KR 102565661B1 KR 1020180090918 A KR1020180090918 A KR 1020180090918A KR 20180090918 A KR20180090918 A KR 20180090918A KR 102565661 B1 KR102565661 B1 KR 102565661B1
Authority
KR
South Korea
Prior art keywords
motion vector
hole
vector field
hole area
input image
Prior art date
Application number
KR1020180090918A
Other languages
English (en)
Other versions
KR20200015286A (ko
Inventor
홍종주
이웅원
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020180090918A priority Critical patent/KR102565661B1/ko
Publication of KR20200015286A publication Critical patent/KR20200015286A/ko
Application granted granted Critical
Publication of KR102565661B1 publication Critical patent/KR102565661B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명의 실시예들은, 영상 처리 장치 및 방법과, 디스플레이 장치에 관한 것으로서, 입력 영상의 모션 벡터를 보간 프레임 상에 투사하여 생성되는 중간 모션 벡터 필드의 홀 영역에 중간 모션 벡터 필드를 할당함에 있어서, 홀 영역의 특성에 따라 배경 모션 벡터의 비중을 높여 홀 필링을 수행함으로써, 밀집도가 높은 홀 영역에 할당되는 중간 모션 벡터 필드의 정확도를 개선할 수 있도록 한다. 또한, 밀집도가 낮은 홀 영역은 거리에 따른 가중치만 적용하여 홀 필링을 수행함으로써, 모션 벡터의 정확도 저하로 인한 홀 영역에 중간 모션 벡터 필드를 안정적으로 할당할 수 있도록 한다.

Description

영상 처리 장치 및 방법, 디스플레이 장치{IMAGE PROCESSING DEVICE AND METHOD, DISPLAY DEVICE}
본 발명의 실시예들은 영상 처리 장치 및 방법과, 디스플레이 장치에 관한 것이다.
정보화 사회가 발전함에 따라 화상을 표시하는 디스플레이 장치에 대한 요구가 증가하고 있으며, 액정 디스플레이 장치, 유기발광 디스플레이 장치 등과 같은 다양한 유형의 디스플레이 장치가 활용되고 있다.
이러한 디스플레이 장치는, 외부로부터 입력되는 영상을 수신하고, 입력 영상에 따라 디스플레이 패널에 배열된 서브픽셀을 구동함으로써, 입력 영상이 디스플레이 패널을 통해 표시될 수 있도록 한다.
이러한 디스플레이 장치는, 디스플레이 패널을 통해 이미지를 표시함에 있어서, 일 예로, 60Hz나 120Hz의 주파수로 구동되며, 이미지를 표시할 수 있다. 즉, 디스플레이 장치는 1초당 60개나 120개 프레임의 영상을 표시하며 구동될 수 있다.
그러나, 디스플레이 장치가 외부로부터 입력받는 영상의 주파수는 디스플레이 장치가 출력하는 영상의 주파수보다 낮을 수 있다.
따라서, 디스플레이 장치는 구동 주파수보다 낮은 주파수로 영상을 표시하거나, 동일한 프레임의 영상을 복수 회 표시하게 될 수 있으며, 이에 따라, 디스플레이 패널을 통해 표시되는 영상의 화질이 저하될 수 있는 문제점이 존재한다.
본 발명의 실시예들의 목적은, 복수의 입력 영상을 이용하여 보간 영상을 생성하고 입력 영상 사이에 보간 영상을 삽입함으로써, 표시되는 영상의 화질을 개선할 수 있는 영상 처리 장치 및 방법과, 디스플레이 장치를 제공하는 데 있다.
본 발명의 실시예들의 목적은, 복수의 입력 영상을 이용하여 생성되는 보간 영상의 정확도를 개선할 수 있는 영상 처리 장치 및 방법과, 디스플레이 장치를 제공하는 데 있다.
본 발명의 실시예들의 목적은, 보간 영상을 생성하기 위해 이용되는 모션 벡터의 정확도를 개선할 수 있는 영상 처리 장치 및 방법과, 디스플레이 장치를 제공하는 데 있다.
일 측면에서, 본 발명의 실시예들은, N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하는 중간 모션 벡터 필드 생성 모듈과, 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 결정되는 제1 가중치와, 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 결정되는 제2 가중치와, 홀 영역에 인접한 논-홀 영역의 중간 모션 벡터 필드에 기초하여 홀 영역의 중간 모션 벡터 필드를 생성하는 홀 필링 모듈과, 홀 영역 및 논-홀 영역의 중간 모션 벡터 필드에 기초하여 보간 영상을 생성하는 보간 영상 생성 모듈을 포함하는 영상 처리 장치를 제공한다.
다른 측면에서, 본 발명의 실시예들은, N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하는 단계와, 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 제1 가중치를 결정하는 단계와, 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 제2 가중치를 결정하는 단계와, 제1 가중치, 제2 가중치 및 홀 영역에 인접한 논-홀 영역의 중간 모션 벡터 필드에 기초하여 홀 영역의 중간 모션 벡터 필드를 생성하는 단계와, 홀 영역 및 논-홀 영역의 중간 모션 벡터 필드에 기초하여 보간 영상을 생성하는 단계를 포함하는 영상 처리 방법을 제공한다.
다른 측면에서, 다수의 게이트 라인, 다수의 데이터 라인 및 다수의 서브픽셀이 배치된 디스플레이 패널과, 다수의 게이트 라인을 구동하는 게이트 구동 회로와, 다수의 데이터 라인을 구동하는 데이터 구동 회로와, 게이트 구동 회로와 데이터 구동 회로를 제어하는 컨트롤러를 포함하는 디스플레이 장치를 제공한다.
이러한 디스플레이 장치에서, 컨트롤러는, N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하고, 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 결정되는 제1 가중치와, 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 결정되는 제2 가중치와, 홀 영역에 인접한 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 홀 영역의 중간 모션 벡터 필드를 생성하며, 홀 영역 및 논-홀 영역의 중간 모션 벡터 필드에 기초하여 N번째 입력 영상과 (N+1)번째 입력 영상 사이에 삽입되는 보간 영상을 생성할 수 있다.
본 발명의 실시예들에 의하면, 입력 영상의 프레임과 보간 영상의 프레임 사이에 생성되는 중간 모션 벡터 필드의 홀 영역을 인접한 논-홀 영역의 중간 모션 벡터 필드를 이용하여 필링함으로써, 홀 영역의 중간 모션 벡터 필드를 생성하고 보간 영상을 생성할 수 있도록 한다.
본 발명의 실시예들에 의하면, 홀 영역의 밀집도에 따라 배경 모션 벡터에 가까운 논-홀 영역의 중간 모션 벡터 필드에 대한 가중치를 증가시켜 줌으로써, 홀 영역을 필링하는 중간 모션 벡터 필드의 정확도를 개선할 수 있도록 한다.
본 발명의 실시예들에 의하면, 홀 영역을 필링하는 중간 모션 벡터 필드의 정확도를 개선함으로써, 중간 모션 벡터 필드를 이용하여 생성되는 보간 영상의 정확도를 향상시키고 원본 입력 영상과 보간 영상을 포함하는 영상의 화질을 개선할 수 있도록 한다.
도 1은 본 발명의 실시예들에 따른 디스플레이 장치의 개략적인 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예들에 따른 컨트롤러의 구성의 예시를 나타낸 도면이다.
도 3은 본 발명의 실시예들에 따른 모션 추정과 모션 보상의 예시를 나타낸 도면이다.
도 4는 본 발명의 실시예들에 따른 모션 벡터를 결정하는 방식의 예시를 나타낸 도면이다.
도 5와 도 6은 본 발명의 실시예들에 따른 모션 벡터의 예시를 나타낸 도면이다.
도 7은 본 발명의 실시예들에 따른 중간 모션 벡터 필드의 예시를 나타낸 도면이다.
도 8은 본 발명의 실시예들에 따른 중간 모션 벡터 필드의 홀 영역의 예시를 나타낸 도면이다.
도 9는 본 발명의 실시예들에 따른 영상 처리 장치의 구성의 예시를 나타낸 도면이다.
도 10은 도 9에 도시된 영상 처리 장치에 의해 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 11은 본 발명의 실시예들에 따른 영상 처리 장치의 구성의 다른 예시를 나타낸 도면이다.
도 12는 도 11에 도시된 영상 처리 장치에 의해 밀집도가 높은 홀 영역에 대한 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 13은 도 11에 도시된 영상 처리 장치에 의해 밀집도가 낮은 홀 영역에 대한 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 14는 본 발명의 실시예들에 따른 영상 처리 방법의 과정의 예시를 나타낸 도면이다.
도 15a 내지 도 15e는 본 발명의 실시예들에 따른 영상 처리 방법에 의해 홀 필링이 수행되는 과정의 예시를 나타낸 도면들이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 실시예들에 따른 디스플레이 장치(100)의 개략적인 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 디스플레이 장치(100)는, 다수의 서브픽셀(SP)이 배열된 디스플레이 패널(110)과, 디스플레이 패널(110)을 구동하기 위한 게이트 구동 회로(120), 데이터 구동 회로(130) 및 컨트롤러(140) 등을 포함할 수 있다.
디스플레이 패널(110)에는, 다수의 게이트 라인(GL)과 다수의 데이터 라인(DL)이 배치되고, 게이트 라인(GL)과 데이터 라인(DL)이 교차하는 영역에 서브픽셀(SP)이 배치된다.
게이트 구동 회로(120)는, 컨트롤러(140)에 의해 제어되며, 디스플레이 패널(110)에 배치된 다수의 게이트 라인(GL)으로 스캔 신호를 순차적으로 출력하여 다수의 서브픽셀(SP)의 구동 타이밍을 제어한다.
게이트 구동 회로(120)는, 하나 이상의 게이트 드라이버 집적 회로(GDIC, Gate Driver Integrated Circuit)를 포함할 수 있으며, 구동 방식에 따라 디스플레이 패널(110)의 일 측에만 위치할 수도 있고 양 측에 위치할 수도 있다. 또는, 게이트 구동 회로(120)는, 디스플레이 패널(110)의 베젤 영역에 내장되어 GIP(Gate In Panel) 형태로 구현될 수도 있다.
데이터 구동 회로(130)는, 컨트롤러(140)로부터 영상 데이터를 수신하고, 영상 데이터를 아날로그 형태의 데이터 전압으로 변환한다. 그리고, 게이트 라인(GL)을 통해 스캔 신호가 인가되는 타이밍에 맞춰 데이터 전압을 각각의 데이터 라인(DL)으로 출력하여 각각의 서브픽셀(SP)이 영상 데이터에 따른 밝기를 표현하도록 한다.
데이터 구동 회로(130)는, 하나 이상의 소스 드라이버 집적 회로(SDIC, Source Driver Integrated Circuit)를 포함할 수 있다.
컨트롤러(140)는, 게이트 구동 회로(120)와 데이터 구동 회로(130)로 각종 제어 신호를 공급하며, 게이트 구동 회로(120)와 데이터 구동 회로(130)의 동작을 제어한다.
컨트롤러(140)는, 각 프레임에서 구현하는 타이밍에 따라 게이트 구동 회로(120)가 스캔 신호를 출력하도록 하며, 외부에서 수신한 영상 데이터를 데이터 구동 회로(130)에서 사용하는 데이터 신호 형식에 맞게 변환하여 변환된 영상 데이터를 데이터 구동 회로(130)로 출력한다.
컨트롤러(140)는, 영상 데이터와 함께 수직 동기 신호(VSYNC), 수평 동기 신호(HSYNC), 입력 데이터 인에이블 신호(DE, Data Enable), 클럭 신호(CLK) 등을 포함하는 각종 타이밍 신호를 외부(예, 호스트 시스템)로부터 수신한다.
컨트롤러(140)는, 외부로부터 수신한 각종 타이밍 신호를 이용하여 각종 제어 신호를 생성하고 게이트 구동 회로(120) 및 데이터 구동 회로(130)로 출력할 수 있다.
일 예로, 컨트롤러(140)는, 게이트 구동 회로(120)를 제어하기 위하여, 게이트 스타트 펄스(GSP, Gate Start Pulse), 게이트 시프트 클럭(GSC, Gate Shift Clock), 게이트 출력 인에이블 신호(GOE, Gate Output Enable) 등을 포함하는 각종 게이트 제어 신호를 출력한다.
여기서, 게이트 스타트 펄스(GSP)는 게이트 구동 회로(120)를 구성하는 하나 이상의 게이트 드라이버 집적 회로의 동작 스타트 타이밍을 제어한다. 게이트 시프트 클럭(GSC)은 하나 이상의 게이트 드라이버 집적 회로에 공통으로 입력되는 클럭 신호로서, 스캔 신호의 시프트 타이밍을 제어한다. 게이트 출력 인에이블 신호(GOE)는 하나 이상의 게이트 드라이버 집적 회로의 타이밍 정보를 지정하고 있다.
또한, 컨트롤러(140)는, 데이터 구동 회로(130)를 제어하기 위하여, 소스 스타트 펄스(SSP, Source Start Pulse), 소스 샘플링 클럭(SSC, Source Sampling Clock), 소스 출력 인에이블 신호(SOE, Source Output Enable) 등을 포함하는 각종 데이터 제어 신호를 출력한다.
여기서, 소스 스타트 펄스(SSP)는 데이터 구동 회로(130)를 구성하는 하나 이상의 소스 드라이버 집적 회로의 데이터 샘플링 스타트 타이밍을 제어한다. 소스 샘플링 클럭(SSC)은 소스 드라이버 집적 회로 각각에서 데이터의 샘플링 타이밍을 제어하는 클럭 신호이다. 소스 출력 인에이블 신호(SOE)는 데이터 구동 회로(130)의 출력 타이밍을 제어한다.
이러한 디스플레이 장치(100)는, 디스플레이 패널(110), 게이트 구동 회로(120), 데이터 구동 회로(130) 등으로 각종 전압 또는 전류를 공급해주거나, 공급할 각종 전압 또는 전류를 제어하는 전원 관리 집적 회로를 더 포함할 수 있다.
각각의 서브픽셀(SP)은, 게이트 라인(GL)과 데이터 라인(DL)의 교차에 의해 정의되며, 디스플레이 장치(100)의 유형에 따라 액정이 배치되거나 발광 소자가 배치될 수 있다.
일 예로, 디스플레이 장치(100)가 액정 디스플레이 장치인 경우, 디스플레이 패널(110)로 광을 조사하는 백라이트 유닛과 같은 광원 장치를 포함하고, 디스플레이 패널(110)의 서브픽셀(SP)에는 액정이 배치된다. 그리고, 각각의 서브픽셀(SP)로 데이터 전압이 인가됨에 따라 형성되는 전계에 의해 액정의 배열을 조정함으로써, 영상 데이터에 따른 밝기를 나타내며 이미지를 표시할 수 있다.
또는, 디스플레이 장치(100)는, 자체 발광 소자를 이용하여 영상 데이터에 따른 밝기를 나타내며 이미지를 표시할 수 있다. 이러한 디스플레이 장치(100)는, 각각의 서브픽셀(SP)에 발광 다이오드(LED)나 유기 발광 다이오드(OLED)와 같은 발광 소자를 포함하고, 데이터 전압에 따라 발광 소자에 흐르는 전류를 제어함으로써 이미지를 표시할 수 있다.
이러한 디스플레이 장치(100)는, 화질 향상을 위해, 외부로부터 입력되는 입력 영상 간의 움직임을 분석하고 보간 영상을 생성하여 입력 영상 사이에 삽입할 수 있다. 그리고, 입력 영상의 분석과 보간 영상의 삽입은, 일 예로, 디스플레이 장치(100)에 포함된 컨트롤러(140)에 의해 수행될 수 있다.
도 2는 본 발명의 실시예들에 따른 컨트롤러(140)의 구성의 예시를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예들에 따른 컨트롤러(140)는, 외부로부터 입력되는 입력 영상 간의 움직임을 분석하고 모션 벡터(MV)를 결정하는 모션 추정 모듈(141)과, 모션 벡터(MV)를 이용하여 보간 영상을 삽입하는 모션 보상 모듈(142)을 포함할 수 있다.
모션 추정 모듈(141)은, 외부로부터 입력 영상(원본 영상)을 수신하면 입력 영상의 이전 입력 영상 또는 다음 입력 영상 간의 움직임을 분석한다.
일 예로, 모션 추정 모듈(141)은, 입력 영상을 일정한 크기의 블록 단위로 구분하고, 다음 입력 영상에서 각각의 블록과 유사한 블록을 탐색한다. 그리고, 입력 영상의 블록과 유사한 다음 입력 영상의 블록 사이의 움직임을 나타내는 모션 벡터(MV)를 추출할 수 있다.
모션 추정 모듈(141)이 모션 벡터(MV)를 추출하는 방식은 전술한 예시와 같이, 블록 매칭 방법이 이용될 수도 있으나, 3D 재귀적 탐색 방법, 계층적 탐색 방법, MAP 적용 방법 등과 같이 다양한 방식이 이용될 수도 있다.
또한, 본 발명의 실시예들은, 설명의 편의를 위해, 블록 매칭 방법을 이용하는 경우를 예시로 설명하나, 이에 한정되지는 아니한다.
모션 추정 모듈(141)에 의해 입력 영상과 다음 입력 영상 간의 움직임을 나타내는 모션 벡터(MV)가 결정되면, 결정된 모션 벡터(MV)를 이용하여 입력 영상과 다음 입력 영상 사이에서 영상의 움직임을 추정할 수 있다. 따라서, 추정된 움직임에 기초하여 입력 영상 사이에 삽입되는 보간 영상을 생성할 수 있게 된다.
모션 보상 모듈(142)은, 모션 추정 모듈(141)에 의해 결정된 모션 벡터(MV)를 이용하여 입력 영상과 다음 입력 영상 사이에 삽입되는 보간 영상을 생성한다.
그리고, 외부로부터 수신된 입력 영상과, 모션 벡터(MV)를 이용하여 생성된 보간 영상에 해당하는 데이터 신호를 출력하여, 입력 영상과 보간 영상이 디스플레이 패널(110)을 통해 표시될 수 있도록 한다.
이러한 보간 영상을 삽입하는 방식을, MEMC(Motion Estimation Motion Compensation), 또는 FRUC(Frame Rate-Up Conversion)이라고 한다.
이와 같이, 컨트롤러(140)가 수신하는 복수의 입력 영상을 이용하여 보간 영상을 생성함으로써, 단위 시간당 표시되는 영상 프레임의 수를 증가시켜 디스플레이 패널(110)을 통해 표시되는 영상의 화질을 개선할 수 있다.
도 3은 본 발명의 실시예들에 따른 모션 추정(ME)과 모션 보상(MC)의 예시를 나타낸 도면이다.
도 3을 참조하면, 컨트롤러(140)의 모션 추정 모듈(141)은, 외부로부터 입력되는 (n-1)번째 입력 영상, n번째 입력 영상, (n+1)번째 입력 영상 간의 움직임을 분석하고, 모션 벡터(MV)를 추출한다.
일 예로, 도 3에 도시된 바와 같이, 모션 추정 모듈(141)은, (n-1)번째 입력 영상의 블록과 유사도가 높은 n번째 입력 영상의 블록을 탐색한다.
여기서, 유사도는 각각의 블록이 나타내는 영상 정보(예, 휘도, RGB 영상 데이터 등)가 유사한 정도를 나타내는 것으로서, 모션 추정 모듈(141)은, (n-1)번째 입력 영상의 블록과 휘도 차이나 RGB 영상 데이터 값의 차이가 가장 작은 n번째 입력 영상의 블록을 탐색할 수 있다.
모션 추정 모듈(141)은, 유사도가 높은 블록이 탐색되면, (n-1)번째 입력 영상의 블록의 위치와 n번째 입력 영상의 블록의 위치에 기초하여 모션 벡터(MV)를 결정할 수 있다.
모션 보상 모듈(142)은, 모션 추정 모듈(141)에 의해 결정된 모션 벡터(MV)에 기초하여, (n-1)번째 입력 영상과 n번째 입력 영상의 사이에 해당하는 시점에 (n-1)번째 입력 영상에 포함된 각 블록의 위치를 산출할 수 있다.
그리고, (n-1)번째 입력 영상과 n번째 입력 영상 사이에 해당하는 시점에 각각의 블록의 위치에 기초하여, (n-1)번째 입력 영상과 n번째 입력 영상 사이에 삽입되는 보간 영상을 생성할 수 있다.
도 4는 본 발명의 실시예들에 따른 모션 벡터(MV)를 결정하는 방식의 예시를 나타낸 도면이다.
도 4를 참조하면, 컨트롤러(140)의 모션 추정 모듈(141)은, n번째 입력 영상의 블록과 유사도가 높은 (n+1)번째 입력 영상의 블록을 탐색한다.
이때, 모션 추정 모듈(141)은, (n+1)번째 입력 영상의 블록 중 n번째 입력 영상의 블록으로부터 일정한 범위 내에 위치하는 블록에 대한 탐색을 수행할 수 있다.
즉, n번째 입력 영상의 블록이 (n+1)번째 입력 영상에서 위치할 가능성이 높은 범위로 한정하여 탐색을 수행함으로써, 탐색 및 유사도 계산의 복잡도를 낮춰줄 수 있다.
모션 추정 모듈(141)은, n번째 입력 영상의 블록과 (n+1)번째 입력 영상의 검색 범위 내 블록 간의 유사도를 계산한다.
이러한 유사도는 전술한 바와 같이, 블록 간의 휘도나 RGB 영상 데이터 등과 같은 영상 정보가 유사한 정도를 의미하며, 유사도를 계산하는 과정을 코스트(Cost)를 계산하는 과정으로 볼 수도 있다.
여기서, 코스트는, 블록 간의 휘도 값의 차이나 RGB 영상 데이터 값의 차이의 절댓값을 모두 합한 값이 이용될 수 있으며, 코스트가 작을수록 유사도가 높은 것으로 볼 수 있다.
일 예로, 하나의 블록에 8×8 서브픽셀(SP) 또는 픽셀이 포함될 수 있으며, 하나의 블록에 포함된 모든 서브픽셀(SP) 또는 픽셀 간의 코스트를 계산하여 입력 영상 간에 유사도가 가장 높은 블록을 탐색할 수 있다.
모션 추정 모듈(141)은, 이러한 탐색 과정을 통해 n번째 입력 영상의 블록에 대한 모션 벡터(MV)를 결정할 수 있다.
도 5와 도 6은 본 발명의 실시예들에 따른 모션 벡터(MV)의 예시를 나타낸 도면이다.
도 5를 참조하면, 모션 벡터(MV)는 n번째 입력 영상의 블록과 대응하는 (n+1)번째 입력 영상의 블록 간의 위치 관계를 나타내며, 디스플레이 패널(110)을 통해 표시되는 영상은 2차원이므로 X축 값(mv_x)과 Y축 값(my_y)를 포함할 수 있다.
이러한 모션 벡터(MV)의 X축 값(mv_x)과 Y축 값(mv_y)을 이용하여 n번째 입력 영상과 (n+1)번째 입력 영상 사이에 삽입되는 보간 영상에서 해당 블록의 위치를 추정할 수 있다.
즉, 일 예로, 보간 영상에서 해당 블록은, n번째 입력 영상에서 블록의 위치보다 모션 벡터(MV)의 X축 값(mv_x)의 1/2만큼 X축 방향으로 이동되고 Y축 값(mv_y)의 1/2만큼 Y축 방향으로 이동될 수 있다.
이와 같이, 모션 벡터(MV)를 이용하여 n번째 입력 영상과 (n+1)번째 입력 영상 사이의 시점에 각 블록의 위치를 추정하고 보간 영상을 생성할 수 있다.
이러한 모션 벡터(MV)는, n번째 입력 영상으로부터 (n+1)번째 입력 영상으로의 움직임을 나타내는 모션 벡터(MV)가 이용될 수도 있으나, 다른 방향으로의 움직임을 나타내는 모션 벡터(MV)도 이용될 수 있다.
도 6을 참조하면, n번째 입력 영상으로부터 (n+1)번째 입력 영상으로의 움직임을 나타내는 모션 벡터(MV)를 MV1이라고 할 수 있다. 그리고, n번째 입력 영상으로부터 (n-1)번째 입력 영상으로의 움직임을 나타내는 모션 벡터(MV)를 MV0이라고 할 수 있다. 또한, (n+1)번째 입력 영상으로부터 n번째 입력 영상으로의 움직임을 나타내는 모션 벡터(MV)를 MV2이라고 할 수 있다.
이러한 여러 방향의 모션 벡터(MV) 중 적어도 일부 모션 벡터(MV)를 이용하여 입력 영상 간의 움직임을 추정하고 입력 영상 사이에 삽입되는 보간 영상을 생성할 수 있다.
일 예로, 컨트롤러(140)는, 입력 영상 간의 모션 벡터(MV)를 이용하여 입력 영상의 프레임과 보간 영상의 프레임 간에 중간 모션 벡터 필드(IMVF)를 생성할 수 있다. 그리고, 생성된 중간 모션 벡터 필드(IMVF)를 이용하여 보간 영상을 생성할 수 있다.
도 7은 본 발명의 실시예들에 따른 중간 모션 벡터 필드(IMVF)의 예시를 나타낸 도면이다.
도 7을 참조하면, 외부로부터 입력되는 입력 영상은 배경(BG) 부분과 전경(FG) 부분을 포함할 수 있다. 그리고, 영상의 현재 프레임과 다음 프레임에서 배경(BG)이나 전경(FG)의 움직임이 발생할 수 있다.
이와 같이, 입력 영상의 현재 프레임과 다음 프레임 사이의 움직임에 기초하여, 입력 영상의 현재 프레임과 다음 프레임 간의 모션 벡터(MV)인 MV1을 구할 수 있다.
여기서, 컨트롤러(140)는, 입력 영상의 현재 프레임과 다음 프레임 간의 모션 벡터(MV)를 이용하여 현재 프레임과 다음 프레임 사이에 삽입되는 보간 프레임의 모션 벡터(MV)를 생성할 수 있다.
일 예로, 컨트롤러(140)는, 입력 영상의 현재 프레임과 다음 프레임 간의 모션 벡터(MV)인 MV1을 이용하여, 현재 프레임과 보간 프레임 간의 모션 벡터(MV)를 생성할 수 있다. 이러한 현재 프레임과 보간 프레임 간의 모션 벡터(MV)를 중간 모션 벡터 필드(IMVF)라고 할 수 있다.
현재 프레임과 보간 프레임 간의 중간 모션 벡터 필드(IMVF)는, 현재 프레임의 모션 벡터(MV)인 MV1을 보간 프레임 상에 투사하여 획득될 수 있다.
또한, 현재 프레임과 다음 프레임 간의 모션 벡터(MV)인 MV2를 이용하여 중간 모션 벡터 필드(IMVF)를 생성할 수도 있다. 즉, 다음 프레임 상에 존재하는 모션 벡터(MV)인 MV2를 보간 프레임 상에 투사하여 중간 모션 벡터 필드(IMVF)를 획득할 수 있다.
이러한 중간 모션 벡터 필드(IMVF)를 이용하여, 입력 영상의 현재 프레임과 다음 프레임 사이에 삽입되는 보간 프레임의 영상(보간 영상)을 생성할 수 있다.
이때, 입력 영상에 포함된 전경(FG)이나 배경(BG)의 움직임에 따라 중간 모션 벡터 필드(IMVF)가 획득되지 않는 영역이 존재할 수 있다. 또는, 중간 모션 벡터 필드(IMVF)의 생성을 위해 이용되는 모션 벡터(MV)인 MV1, MV2 등의 부정확으로 인해 중간 모션 벡터 필드(IMVF)가 생성되지 않는 영역이 존재할 수 있다.
도 8은 본 발명의 실시예들에 따른 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)의 예시를 나타낸 도면이다.
도 8을 참조하면, 입력 영상의 현재 프레임의 모션 벡터(MV)인 MV1을 보간 프레임 상에 투사하면, 전경(FG)의 움직임에 의해 중간 모션 벡터 필드(IMVF)가 생성되지 않는 영역이 발생할 수 있다.
이와 같이, 중간 모션 벡터 필드(IMVF)가 생성되지 않는 영역을 홀 영역(HA)이라고 하며, MV1에 의해 획득되는 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)을 언커버 홀(Uncover Hole)이라고 한다.
또한, 입력 영상의 다음 프레임의 모션 벡터(MV)인 MV2를 보간 프레임 상에 투사하면, 전경(FG)의 움직임에 의해 중간 모션 벡터 필드(IMVF)가 생성되지 않는 영역이 발생될 수 있다.
이러한 MV2에 의해 획득되는 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)을 커버 홀(Cover Hole)이라고 한다.
따라서, 중간 모션 벡터 필드(IMVF)에 존재하는 홀 영역(HA)은 중간 모션 벡터 필드(IMVF)가 할당되지 않게 되므로, 보간 프레임에서 홀 영역(HA)에 해당하는 영역의 영상을 생성할 수 없게 된다.
본 발명의 실시예들은, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 할당하는 방식을 통해 홀 영역(HA)에 대한 필링을 수행하고 중간 모션 벡터 필드(IMVF)를 이용해 정확한 보간 영상을 생성할 수 있는 방안을 제공한다.
도 9는 본 발명의 실시예들에 따른 영상 처리 장치(200)의 구성의 예시를 나타낸 도면이다.
도 9를 참조하면, 본 발명의 실시예들에 따른 영상 처리 장치(200)는, 모션 벡터 획득 모듈(210)과, 중간 모션 벡터 필드 생성 모듈(220)과, 홀 필링 모듈(230) 및 보간 영상 생성 모듈(240)을 포함할 수 있다.
이러한 영상 처리 장치(200)는, 디스플레이 장치(100)에 포함되는 컨트롤러(140)일 수 있다. 또는, 컨트롤러(140)의 내부에 모듈 형태로 구현될 수도 있고, 컨트롤러(140)의 외부에 별도의 회로로 구현될 수도 있다.
모션 벡터 획득 모듈(210)은, 외부로부터 입력되는 입력 영상의 현재 프레임과 다음 프레임 간의 움직임을 분석하고, 분석된 움직임에 기초하여 현재 프레임과 다음 프레임 간의 모션 벡터(MV)를 생성한다.
이러한 모션 벡터(MV)는 현재 프레임으로부터 다음 프레임으로의 움직임을 나타내는 MV1일 수도 있고, 다음 프레임으로부터 현재 프레임으로의 움직임을 나타내는 MV2일 수도 있다.
중간 모션 벡터 필드 생성 모듈(220)은, 모션 벡터 획득 모듈(210)에 의해 생성된 모션 벡터(MV)에 기초하여 중간 모션 벡터 필드(IMVF)를 생성한다.
중간 모션 벡터 필드(IMVF)는, 모션 벡터 획득 모듈(210)에 의해 생성된 MV1이나 MV2를 현재 프레임과 다음 프레임 사이의 보간 프레임 상에 투사하여 획득될 수 있다. 그리고, 이러한 중간 모션 벡터 필드(IMVF)는, 현재 프레임과 다음 프레임 사이에 삽입되는 보간 영상을 생성하기 위해 이용될 수 있다.
홀 필링 모듈(230)은, 중간 모션 벡터 필드 생성 모듈(220)에 의해 생성된 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)에 대한 필링을 수행한다.
구체적으로, 홀 필링 모듈(230)은, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)을 확인한다. 그리고, 홀 영역(HA)과 인접한 영역 중 중간 모션 벡터 필드(IMVF)가 할당된 영역인 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성한다.
여기서, 홀 필링 모듈(230)은, 홀 영역(HA)과 인접한 논-홀 영역(NHA)과의 거리와 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 기초하여, 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 결정할 수 있다.
일 예로, 홀 영역(HA)에서 중간 모션 벡터 필드(IMVF)를 할당하고자 하는 블록과 논-홀 영역(NHA) 사이의 거리에 반비레하는 가중치를 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 적용하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성할 수 있다.
즉, 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)는, 홀 영역(HA)가 가깝게 위치하는 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)와 유사한 값을 갖도록 할 수 있다.
따라서, 홀 영역(HA)에 해당할 가능성이 높은 중간 모션 벡터 필드(IMVF)를 홀 영역(HA)에 할당할 수 있도록 한다.
보간 영상 생성 모듈(240)은, 홀 필링 모듈(230)에 의해 홀 필링이 수행되면, 홀 영역(HA)과 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여 입력 영상의 현재 프레임과 다음 프레임 사이에 삽입되는 보간 영상을 생성할 수 있다.
이와 같이, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)에 대한 필링을 수행하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 할당함으로써, 중간 모션 벡터 필드(IMVF)를 이용하여 보간 영상을 생성할 수 있도록 한다.
도 10은 도 9에 도시된 영상 처리 장치(200)에 의해 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 10을 참조하면, 홀 필링 모듈(230)은, 중간 모션 벡터 필드(IMVF)가 할당되지 않은 홀 영역(HA)과 중간 모션 벡터 필드(IMVF)가 할당된 논-홀 영역(NHA)을 확인한다.
그리고, 홀 영역(HA)에 할당할 중간 모션 벡터 필드(IMVF)를 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여 생성할 수 있다.
여기서, 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 MV'h로 나타내고, 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 MV't, MV'b, MV'l, MV'r 등으로 나타낸다.
즉, MV'은 각각의 영역에 할당된 중간 모션 벡터 필드(IMVF)의 값을 의미할 수 있다.
그리고, 설명의 편의를 위해 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 4개의 중간 모션 벡터 필드(IMVF)를 이용하는 경우를 예시로 나타내고 있으나, 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 할당하기 위해 이용되는 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)는 이보다 많을 수도 있고 적을 수도 있다.
홀 필링 모듈(230)은, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 각각에 가중치 W를 적용하여 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 생성할 수 있다.
일 예로, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 중 MV't에 가중치 Wt를 적용하고, MV'b에 가중치 Wb를 적용한다. 또한, MV'l에 가중치 Wl을 적용하고 MV'r에 가중치 Wr을 적용한다.
여기서, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 각각에 적용되는 가중치는, 홀 영역(NA)과 논-홀 영역(NHA) 사이의 거리에 반비례할 수 있다(예, W=1/거리).
그리고, 가중치가 적용된 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 합하여 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 생성할 수 있다.
이와 같이, 홀 영역(HA)에 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여, 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성할 수 있다. 그리고, 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 할당함으로써, 이러한 중간 모션 벡터 필드(IMVF)를 이용하여 보간 영상을 생성할 수 있도록 한다.
또한, 본 발명의 실시예들은, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)의 유형에 따라, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 적용되는 가중치를 다르게 적용함으로써, 홀 필링의 정확도를 더욱 향상시킬 수 있는 방안을 제공한다.
도 11은 본 발명의 실시예들에 따른 영상 처리 장치(200)의 구성의 다른 예시를 나타낸 도면이다.
도 11을 참조하면, 본 발명의 실시예들에 따른 영상 처리 장치(200)는, 모션 벡터 획득 모듈(210), 중간 모션 벡터 필드 생성 모듈(220), 홀 필링 모듈(230), 보간 영상 생성 모듈(240)과, 배경 모션 벡터 결정 모듈(250)을 포함할 수 있다.
모션 벡터 획득 모듈(210)은, 입력 영상의 현재 프레임과 다음 프레임 간의 움직임을 추정하여, 현재 프레임과 다음 프레임 간의 모션 벡터(MV)를 생성한다.
중간 모션 벡터 필드 생성 모듈(220)은, 모션 벡터 획득 모듈(210)에 의해 생성된 MV1이나 MV2를 보간 프레임 상에 투사하여 중간 모션 벡터 필드(IMVF)를 생성한다.
이러한 중간 모션 벡터 필드(IMVF)는, MV1에 의해 나타나는 언커버 홀이나, MV2에 의해 나타나는 커버 홀을 포함할 수 있다.
이러한 홀 영역(HA)은, 홀 영역(HA)이 발생되는 원인에 따라, 홀 영역(HA)의 형태나, 홀 영역(HA)이 발생되는 위치가 다를 수 있다.
일 예로, 입력 영상에 포함된 배경(BG)과 전경(FG)이 서로 다른 모션 벡터(MV)를 갖는 경우, 배경(BG)과 전경(FG)의 움직임 차이로 인해 홀 영역(HA)이 발생할 수 있다.
즉, 입력 영상의 현재 프레임에서 전경(FG) 영역이고 다음 프레임에서 배경(BG) 영역인 언커버 영역에 의해 보간 프레임 상에서 언커버 홀이 발생할 수 있다. 또는, 현재 프레임에서 배경(BG) 영역이고 다음 프레임에서 전경(FG) 영역인 커버 영역에 의해 보간 프레임 상에서 커버 홀이 발생할 수 있다.
이때, 전경(FG)과 배경(BG)이 일정한 형태를 가진 경우를 가정하면, 모션 벡터(MV)의 분포도 일정하고 규칙적으로 나타나므로, 이러한 전경(FG)과 배경(BG)의 모션 벡터(MV)의 차이로 인한 홀 영역(HA)은 일정하고 규칙적인 형태로 나타날 수 있다.
따라서, 이러한 홀 영역(HA)은 밀집도가 높거나 크기가 큰 홀의 형태(Dense Hole)로 나타날 수 있다.
다른 예로, 입력 영상에서 획득된 모션 벡터(MV)의 부정확함으로 인해 홀 영역(HA)이 발생할 수 있다.
이러한 홀 영역(HA)은, 불규칙적인 모션 벡터(MV)에 의해 발생하게 되므로, 홀 영역(HA)도 불규칙적이고 일정하지 않은 형태로 나타날 수 있다. 즉, 이러한 홀 영역(HA)은, 밀집도가 낮거나 크기가 작은 홀의 형태(Sparse Hole)로 나타날 수 있다.
홀 필링 모듈(230)은, 홀 영역(HA)에 대한 중간 모션 벡터 필드(IMVF)를 할당함에 있어서, 이러한 홀 영역(HA)의 유형을 고려하여 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 다르게 생성할 수 있다.
일 예로, 홀 필링 모듈(230)은, 홀 영역(HA)의 밀집도가 높거나 크기가 큰 홀의 형태인 경우, 홀 영역(HA)에 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 중 배경 모션 벡터(BGMV)에 해당하는 중간 모션 벡터 필드(IMVF)에 적용되는 가중치를 증가시켜줄 수 있다.
또는, 홀 영역(HA)에 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)에 가까울수록 해당 중간 모션 벡터 필드(IMVF)에 적용되는 가중치를 증가시켜줄 수도 있다.
이러한 배경 모션 벡터(BGMV)를 기준으로 적용되는 가중치는 홀 영역(HA)과 논-홀 영역(NHA)의 거리에 따라 적용되는 가중치와 별도로 적용되는 가중치일 수 있다.
따라서, 밀집도가 높거나 크기가 큰 형태를 갖는 홀 영역(HA)에 대한 중간 모션 벡터 필드(IMVF)는, 배경 모션 벡터(BGMV)에 더 높은 가중치가 적용되므로 배경 모션 벡터(BGMV)와 유사하거나 동일한 값을 가질 수 있다.
밀집도가 높거나 크기가 큰 형태를 갖는 홀 영역(HA)은, 영상에서 전경(FG)과 인접한 배경(BG)에 해당하는 영역에 발생할 가능성이 높으므로, 배경 모션 벡터(BGMV)와 유사한 값을 갖도록 중간 모션 벡터 필드(IMVF)를 할당함으로써, 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 정확도를 높일 수 있다.
그리고, 정확도가 개선된 중간 모션 벡터 필드(IMVF)를 이용하여 보간 영상을 생성하도록 함으로써, 보간 영상에서 전경(FG)과 배경(BG)의 인접 영역의 화질을 개선할 수 있도록 한다.
다른 예로, 홀 필링 모듈(230)은, 홀 영역(HA)의 밀집도가 낮거나 크기가 작은 홀의 형태인 경우, 홀 영역(HA)과 인접한 논-홀 영역(NHA) 사이의 거리에 기초하여 결정되는 가중치와, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성할 수 있다.
밀집도가 낮거나 크기가 작은 홀 영역(HA)은, 모션 벡터(MV)의 정확도 저하로 인해 전경(FG)에 해당하는 영역에도 나타날 수 있다.
따라서, 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 거리에 따른 가중치를 적용하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성함으로써, 모션 벡터(MV)의 정확도 저하로 인해 나타나는 홀 영역(HA)에 대한 필링을 수행할 수 있도록 한다.
보간 영상 생성 모듈(240)은, 홀 영역(HA)과 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 이용하여 입력 영상의 현재 프레임과 다음 프레임 사이에 삽입되는 보간 영상을 생성할 수 있다.
이러한 보간 영상 생성 모듈(240)은, 생성된 보간 영상의 성능이 낮다고 판단될 경우에는, 보간 영상이 아닌 입력 영상을 그대로 출력할 수도 있다.
배경 모션 벡터 결정 모듈(250)은, 입력 영상의 모션 벡터(MV)로부터 배경 모션 벡터(BGMV)를 결정한다.
일 예로, 배경 모션 벡터 결정 모듈(250)은, 입력 영상에서 배경(BG)에 해당하는 영역을 결정하고, 배경(BG) 영역에서 모션 벡터(MV)의 분포를 분석하여, 입력 영상의 배경 모션 벡터(BGMV)를 결정한다.
이러한 배경 모션 벡터(BGMV)는, 홀 필링을 수행하는 과정에서 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)에 해당하는지 여부 또는 배경 모션 벡터(BGMV)에 가까운지 여부를 판단하기 위해 이용될 수 있다.
이와 같이, 홀 영역(HA)에 대한 필링을 수행함에 있어서, 홀 영역(HA)의 유형에 따라 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 다르게 할당함으로써, 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 정확도를 높일 수 있다.
그리고, 중간 모션 벡터 필드(IMVF)의 정확도를 높여줌으로써, 중간 모션 벡터 필드(IMVF)를 이용하여 생성되는 보간 영상의 정확도를 향상시켜 입력 영상고 보간 영상을 통해 나타나는 영상의 화질을 개선할 수 있도록 한다.
도 12는 도 11에 도시된 영상 처리 장치(200)에 의해 밀집도가 높은 홀 영역(HA)에 대한 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 12를 참조하면, 홀 필링 모듈(230)은, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)의 밀집도 및 크기 중 적어도 하나에 기초하여 홀 영역(HA)의 유형을 분석한다.
홀 필링 모듈(230)은, 홀 영역(HA)의 밀집도나 크기가 기설정된 값보다 크면, 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 생성을 위해 이용되는 가중치로서, 거리에 따라 결정되는 제1 가중치와, 배경 모션 벡터(BGMV)와 유사한 정도에 따라 결정되는 제2 가중치를 설정할 수 있다.
또는, 홀 영역(HA)의 밀집도나 크기가 증가할수록 배경 모션 벡터(BGMV)와 유사한 정도에 따라 결정되는 제2 가중치가 증가되도록 할 수도 있다.
일 예로, 홀 필링 모듈(230)은, 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 거리에 따라 적용되는 제1 가중치 Wt1, Wb1, Wl1, Wr1을 설정한다.
이러한 제1 가중치는, 홀 영역(HA)에서 중간 모션 벡터 필드(IMVF)가 할당되는 블록과 논-홀 영역(NHA) 사이의 거리에 반비례하여 설정될 수 있다.
그리고, 홀 필링 모듈(230)은, 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 중 배경 모션 벡터(BGMV)에 해당하는지 여부 또는 배경 모션 벡터(BGMV)에 가까운 정도에 따라 적용되는 제2 가중치 Wt2, Wb2, Wl2, Wr2를 설정할 수 있다.
이러한 제2 가중치는, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)에 해당하거나, 배경 모션 벡터(BGMV)에 가까울수록 큰 값을 가질 수 있다.
일 예로, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF) 중 MV't와 MV'l이 배경 모션 벡터(BGMV)에 해당하고, MV'b와 MV'r은 배경 모션 벡터(BGMV)에 해당하지 않을 경우, MV't, MV'l에 적용되는 제2 가중치인 Wt2, Wl2가 MV'b, MV'r에 적용되는 제2 가중치인 Wb2, Wr2보다 큰 값으로 설정될 수 있다.
또는, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)와 배경 모션 벡터(BGMV)의 차이에 반비레하도록 제2 가중치를 설정할 수도 있다.
따라서, 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)는, 배경 모션 벡터(BGMV)에 대한 가중치가 증가된 상태에서 생성될 수 있으며, 배경 모션 벡터(BGMV)에 가까운 값을 가질 수 있다.
이와 같이, 홀 영역(HA)의 밀집도나 크기가 큰 경우에는, 배경 모션 벡터(BGMV)에 가까운 중간 모션 벡터 필드(IMVF)가 홀 영역(HA)에 할당되도록 함으로써, 전경(FG)과 배경(BG)의 모션 벡터(MV) 차이로 인해 배경(BG) 부분에서 발생하는 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 정확도를 높여줄 수 있다.
그리고, 정확도가 향상된 중간 모션 벡터 필드(IMVF)를 이용하여 보간 영상을 생성하도록 함으로써, 전경(FG)과 배경(BG)의 인접 영역에서 발생하는 화질 이상(예, 후광 등)을 방지하며 보간 영상의 화질을 개선할 수 있도록 한다.
도 13은 도 11에 도시된 영상 처리 장치(200)에 의해 밀집도가 낮은 홀 영역(HA)에 대한 홀 필링을 수행하는 방식의 예시를 나타낸 도면이다.
도 13을 참조하면, 홀 필링 모듈(230)은, 홀 영역(HA)의 밀집도나 크기가 기설정된 값 이하이면, 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 생성을 위해 이용되는 가중치로서, 거리에 따라 결정되는 제1 가중치만 설정할 수 있다.
또는, 홀 영역(HA)의 밀집도나 크기가 감소할수록 배경 모션 벡터(BGMV)와 유사한 정도에 따라 결정되는 제2 가중치가 감소되도록 할 수도 있다. 그리고, 홀 영역(HA)의 밀집도나 크기가 기설정된 값 이하가 되면, 제2 가중치를 '1'로 설정할 수도 있다.
따라서, 홀 영역(HA)의 밀집도나 크기가 작은 경우에는, 홀 영역(HA)에 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 거리에 따른 가중치가 적용되어 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)가 할당될 수 있다.
이를 통해, 모션 벡터(MV)의 정확도 저하로 인해 나타나는 홀 영역(HA)에 대한 중간 모션 벡터 필드(IMVF)의 할당이 안정적으로 이루어질 수 있도록 한다.
그리고, 홀 영역(HA)의 유형에 따라, 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)의 정확도를 개선함으로써, 중간 모션 벡터 필드(IMVF)에 기초하여 생성되는 보간 영상의 정확도를 높이고 영상의 화질을 개선할 수 있도록 한다.
이러한 홀 필링 모듈(230)에 의해 수행되는 홀 필링 과정은, 아래와 같은 수학식 1로 나타낼 수도 있다.
여기서, MV'h는 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)를 나타내고, MV'는 홀 영역(HA)과 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)를 나타낸다. 그리고, D1은 홀 영역(HA)의 최대 거리를 나타내며, D2는 홀 영역(HA)과 논-홀 영역(NHA) 사이의 거리를 나타낸다.
즉, 홀 영역(HA)과 논-홀 영역(NHA)의 거리가 가까울수록 높은 가중치가 적용되게 된다.
그리고, Wj는 홀 영역(HA)의 밀집도가 높거나 크기가 클 경우 배경 모션 벡터(BGMV)의 비중을 높여주기 위한 가중치로서, 아래 수학식 2와 같이 나타낼 수 있다.
여기서, Phole은 홀 영역(HA)의 밀집도나 크기에 따라 결정되는 값으로서, 홀 영역(HA)의 밀집도가 클수록 증가되며, 아래 수학식 3과 같이 구해질 수 있다.
그리고, Pbgmv는 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)일 확률을 나타내는 값으로서, 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)에 가까울수록 증가할 수 있으며, 아래 수학식 4와 같이 구해질 수 있다.
즉, Pbgmv는 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)와 배경 모션 벡터(BGMV)의 차이가 작을수록 증가하는 값일 수 있으며, 이러한 Pbgmv와 홀 영역(HA)의 밀집도가 높을수록 증가하는 Phole에 의해, 밀집도가 높은 홀 영역(HA)의 중간 모션 벡터 필드(IMVF) 생성을 위해 적용되는 가중치 Wj가 증가할 수 있다.
이때, 배경 모션 벡터(BGMV)가 '0'인 값을 가질 수도 있으므로(예, 배경의 움직임이 없는 경우), 배경 모션 벡터(BGMV)가 '0'일 경우에는 Pbgmv 계산을 위해 분모에 들어가는 배경 모션 벡터(BGMV) 대신 이전 프레임의 모션 벡터(MV)의 평균값을 이용할 수도 있다.
이와 같이, 홀 영역(HA)의 분석과 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)의 분석을 통해, 홀 영역(HA)의 밀집도가 높은 경우에는 배경 모션 벡터(BGMV)의 비중을 높여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성할 수 있도록 한다.
그리고, 홀 영역(HA)의 밀집도가 낮은 경우에는 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 거리에 따른 가중치만 적용하여 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)를 생성할 수 있도록 한다.
도 14는 본 발명의 실시예들에 따른 영상 처리 방법의 과정의 예시를 나타낸 도면이다.
도 14를 참조하면, 본 발명의 실시예들에 따른 영상 처리 장치(200)는 입력 영상의 현재 프레임과 다음 프레임 간의 움직임을 분석하여 모션 벡터(MV)를 획득한다(S1400).
그리고, 영상 처리 장치(200)는 모션 벡터(MV)를 현재 프레임과 다음 프레임 사이의 보간 프레임 상에 투사하여 중간 모션 벡터 필드(IMVF)를 생성한다(S1410).
영상 처리 장치(200)는 중간 모션 벡터 필드(IMVF)에 존재하는 홀 영역(HA)을 확인하고, 홀 영역(HA)에 대한 필링을 수행하기 위해 홀 영역(HA)의 밀집도를 분석한다(S1420).
영상 처리 장치(200)는 홀 영역(HA)의 밀집도가 높으면(S1430), 홀 영역(HA)에 인접한 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)와 배경 모션 벡터(BGMV)의 차이에 반비례하도록 제2 가중치를 증가시킨다(S1440).
그리고, 홀 영역(HA)과 논-홀 영역(NHA)의 거리에 따른 제1 가중치를 결정하고(S1450), 제1 가중치, 제2 가중치 및 논-홀 영역(NHA)의 중간 모션 벡터 필드(IMVF)에 기초하여 홀 영역(HA)에 대한 필링을 수행한다(S1460).
이때, 영상 처리 장치(200)는 홀 영역(HA)의 밀집도가 높지 않으면, 제2 가중치를 증가시키지 않고(또는 제2 가중치를 '1'로 설정하고) 거리에 따른 제1 가중치만 설정하여 홀 필링을 수행할 수 있다.
도 15a 내지 도 15e는 본 발명의 실시예들에 따른 영상 처리 방법에 의해 홀 필링이 수행되는 과정의 예시를 나타낸 도면들이다.
도 15a는 입력 영상을 나타내고, 도 15b는 입력 영상의 모션 벡터(MV) 분석을 통해 생성된 중간 모션 벡터 필드(IMVF)를 나타낸다.
도 15b를 참조하면, 중간 모션 벡터 필드(IMVF)가 할당되지 않은 홀 영역(HA)이 발생한 것을 알 수 있다.
도 15c는 홀 영역(HA)의 밀집도를 분석한 결과를 나타낸 것으로서, 밀집도가 높을수록 흰색으로 표시된다. 도 15d는 중간 모션 벡터 필드(IMVF)가 배경 모션 벡터(BGMV)일 확률을 나타낸 것으로서, 흰색에 가까울수록 배경 모션 벡터(BGMV)일 확률이 높은 것을 나타낸다.
즉, 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)의 밀집도와 논-홀 영역(NHA)에 할당된 중간 모션 벡터 필드(IMVF)를 분석하고, 홀 영역(HA)의 밀집도가 높을 경우에는 배경 모션 벡터(BGMV)의 비중을 높여 홀 필링을 수행한다.
도 15e는 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)에 대한 필링이 수행된 결과를 나타낸 것으로서, 도 15b에 도시된 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)가 할당된 것을 알 수 있다.
전술한 본 발명의 실시예들은, 입력 영상의 모션 벡터(MV)를 보간 영상이 삽입되는 프레임 상에 투사하여 생성되는 중간 모션 벡터 필드(IMVF)의 홀 영역(HA)에 대한 필링을 수행함으로써, 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 할당할 수 있도록 한다.
또한, 홀 영역(HA)의 특성을 분석하여, 홀 영역(HA)의 밀집도가 높은 경우에는, 배경 모션 벡터(BGMV)의 비중을 높여 홀 영역(HA)에 대한 필링을 수행함으로써, 전경(FG)과 배경(BG)의 인접 영역에서 발생하는 홀 영역(HA)의 중간 모션 벡터 필드(IMVF)의 정확도를 개선할 수 있도록 한다.
또한, 홀 영역(HA)의 밀집도가 낮은 경우에는, 거리에 따른 가중치만 적용하여 홀 영역(HA)에 대한 필링을 수행함으로써, 모션 벡터(MV)의 정확도 저하로 인한 홀 영역(HA)에 중간 모션 벡터 필드(IMVF)를 안정적으로 할당할 수 있도록 한다.
이러한 홀 영역(HA)에 할당되는 중간 모션 벡터 필드(IMVF)의 정확도 개선을 통해, 중간 모션 벡터 필드(IMVF)를 이용하여 생성되는 보간 영상의 정확도를 향상시키며, 입력 영상과 보간 영상을 통해 나타나는 영상의 화질을 개선할 수 있도록 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 디스플레이 장치 110: 디스플레이 패널
120: 게이트 구동 회로 130: 데이터 구동 회로
140: 컨트롤러 141: 모션 추정 모듈
142: 모션 보상 모듈 200: 영상 처리 장치
210: 모션 벡터 획득 모듈 220: 중간 모션 벡터 필드 생성 모듈
230: 홀 필링 모듈 240: 보간 영상 생성 모듈
250: 배경 모션 벡터 결정 모듈

Claims (15)

  1. N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하는 중간 모션 벡터 필드 생성 모듈;
    상기 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 결정되는 제1 가중치와, 상기 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 결정되는 제2 가중치와, 상기 홀 영역에 인접한 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 상기 홀 영역의 중간 모션 벡터 필드를 생성하는 홀 필링 모듈; 및
    상기 홀 영역 및 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 보간 영상을 생성하는 보간 영상 생성 모듈을 포함하며,
    상기 홀 영역의 밀집도 및 크기는 상기 모션 벡터의 규칙적인 정도에 따라 결정되는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 홀 영역의 밀집도나 크기가 증가할수록 상기 N번째 입력 영상의 배경 모션 벡터와 상기 논-홀 영역의 중간 모션 벡터 필드의 차이에 반비례하여 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 증가시키는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 홀 영역의 밀집도나 크기가 감소할수록 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 감소시키는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 홀 영역의 밀집도나 크기가 기설정된 값 이하이면 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 '1'로 결정하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 홀 영역의 밀집도나 크기가 기설정된 값보다 크면 상기 N번째 입력 영상의 배경 모션 벡터와 상기 논-홀 영역의 중간 모션 벡터 필드의 차이에 반비례하여 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 증가시키는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 홀 영역의 밀집도나 크기가 기설정된 값보다 크면 상기 논-홀 영역의 중간 모션 벡터 필드 중 상기 N번째 입력 영상의 배경 모션 벡터에 해당하는 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 증가시키는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 홀 필링 모듈은,
    상기 논-홀 영역으로부터 상기 홀 영역으로의 거리에 반비례하여 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제1 가중치를 증가시키는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 중간 모션 벡터 필드의 상기 홀 영역은,
    상기 N번째 입력 영상으로부터 상기 (N+1)번째 입력 영상으로의 움직임을 나타내는 모션 벡터에 기초하여 생성된 중간 모션 벡터 필드의 제1 홀 영역 및 상기 (N+1)번째 입력 영상으로부터 상기 N번째 입력 영상으로의 움직임을 나타내는 모션 벡터에 기초하여 생성된 중간 모션 벡터 필드의 제2 홀 영역 중 적어도 하나를 포함하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 N번째 입력 영상의 배경 영역을 설정하고, 상기 배경 영역의 모션 벡터의 분포를 분석하여 상기 N번째 입력 영상의 배경 모션 벡터를 결정하는 배경 모션 벡터 결정 모듈을 더 포함하는 영상 처리 장치.
  10. N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하는 단계;
    상기 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 제1 가중치를 결정하는 단계;
    상기 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 제2 가중치를 결정하는 단계;
    상기 제1 가중치, 상기 제2 가중치 및 상기 홀 영역에 인접한 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 상기 홀 영역의 중간 모션 벡터 필드를 생성하는 단계; 및
    상기 홀 영역 및 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 보간 영상을 생성하는 단계를 포함하며,
    상기 홀 영역의 밀집도 및 크기는 상기 모션 벡터의 규칙적인 정도에 따라 결정되는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 제2 가중치를 결정하는 단계는,
    상기 홀 영역의 밀집도나 크기가 증가할수록 상기 N번째 입력 영상의 배경 모션 벡터와 상기 논-홀 영역의 중간 모션 벡터 필드의 차이에 반비례하여 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 증가시키는 영상 처리 방법.
  12. 제10항에 있어서,
    상기 제2 가중치를 결정하는 단계는,
    상기 홀 영역의 밀집도나 크기가 감소할수록 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 감소시키는 영상 처리 방법.
  13. 제10항에 있어서,
    상기 제2 가중치를 결정하는 단계는,
    상기 홀 영역의 밀집도나 크기가 기설정된 값 이하이면 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제2 가중치를 '1'로 결정하는 영상 처리 방법.
  14. 제10항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 논-홀 영역으로부터 상기 홀 영역으로의 거리에 반비례하여 상기 논-홀 영역의 중간 모션 벡터 필드에 적용되는 상기 제1 가중치를 증가시키는 영상 처리 방법.
  15. 다수의 게이트 라인, 다수의 데이터 라인 및 다수의 서브픽셀이 배치된 디스플레이 패널;
    상기 다수의 게이트 라인을 구동하는 게이트 구동 회로;
    상기 다수의 데이터 라인을 구동하는 데이터 구동 회로; 및
    상기 게이트 구동 회로와 상기 데이터 구동 회로를 제어하는 컨트롤러를 포함하고,
    상기 컨트롤러는,
    N번째 입력 영상과 (N+1)번째 입력 영상 간의 모션 벡터에 기초하여 중간 모션 벡터 필드를 생성하고,
    상기 중간 모션 벡터 필드의 홀 영역에 인접한 논-홀 영역으로부터의 거리에 기초하여 결정되는 제1 가중치와, 상기 홀 영역의 밀집도 및 크기 중 적어도 하나에 기초하여 결정되는 제2 가중치와, 상기 홀 영역에 인접한 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 상기 홀 영역의 중간 모션 벡터 필드를 생성하며,
    상기 홀 영역 및 상기 논-홀 영역의 중간 모션 벡터 필드에 기초하여 상기 N번째 입력 영상과 상기 (N+1)번째 입력 영상 사이에 삽입되는 보간 영상을 생성하며,
    상기 홀 영역의 밀집도 및 크기는 상기 모션 벡터의 규칙적인 정도에 따라 결정되는 디스플레이 장치.
KR1020180090918A 2018-08-03 2018-08-03 영상 처리 장치 및 방법, 디스플레이 장치 KR102565661B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180090918A KR102565661B1 (ko) 2018-08-03 2018-08-03 영상 처리 장치 및 방법, 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180090918A KR102565661B1 (ko) 2018-08-03 2018-08-03 영상 처리 장치 및 방법, 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20200015286A KR20200015286A (ko) 2020-02-12
KR102565661B1 true KR102565661B1 (ko) 2023-08-09

Family

ID=69569660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180090918A KR102565661B1 (ko) 2018-08-03 2018-08-03 영상 처리 장치 및 방법, 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102565661B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418116B1 (ko) * 2007-10-24 2014-07-09 고려대학교 산학협력단 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
KR20180052301A (ko) * 2016-11-10 2018-05-18 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치

Also Published As

Publication number Publication date
KR20200015286A (ko) 2020-02-12

Similar Documents

Publication Publication Date Title
US8929451B2 (en) External vectors in a motion estimation system
KR102024064B1 (ko) 유기 발광 표시 장치
KR20160022973A (ko) 유기 발광 표시 장치의 구동 방법 및 유기 발광 표시 장치
KR20120049908A (ko) 디스플레이에서 에이징-관련 불균일성들에 대한 선택적 보상
US8363071B2 (en) Image processing device, image processing method, and program
KR20200078678A (ko) 모션 추정을 사용한 시간적 포비티드 렌더링
KR20170136101A (ko) 데이터 압축 방법 및 이를 이용한 표시 장치
KR102565661B1 (ko) 영상 처리 장치 및 방법, 디스플레이 장치
KR20130131162A (ko) 액정표시장치 및 이의 구동방법
US20160335752A1 (en) Image signal providing apparatus and image signal providing method
US8687695B2 (en) Apparatus and method of determining motion vectors assigned to image regions
KR102508757B1 (ko) 영상 처리 장치 및 방법, 디스플레이 장치
KR102564334B1 (ko) 영상 처리 장치 및 방법, 디스플레이 장치
KR20130143509A (ko) 신호 처리 회로, 표시 장치 및 전자 기기
US20150130910A1 (en) Three-dimensional image display device and method of displaying three dimensional image
KR20120040386A (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
US20110249188A1 (en) Method of block-based motion estimation
KR102315969B1 (ko) 영상 처리 방법 및 이를 이용한 표시장치
EP3985653A1 (en) Display device and method of driving the same
JP2015230411A (ja) 表示装置
KR102547085B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
KR102465557B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
KR102581361B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
KR102547084B1 (ko) 영상 처리 모듈 및 이를 이용한 표시 장치
US20150206497A1 (en) Method of driving a display panel, display panel driving apparatus for performing the method and display apparatus having the display panel driving apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant