KR20180052301A - 영상 처리 방법 및 이를 이용한 표시 장치 - Google Patents

영상 처리 방법 및 이를 이용한 표시 장치 Download PDF

Info

Publication number
KR20180052301A
KR20180052301A KR1020160149460A KR20160149460A KR20180052301A KR 20180052301 A KR20180052301 A KR 20180052301A KR 1020160149460 A KR1020160149460 A KR 1020160149460A KR 20160149460 A KR20160149460 A KR 20160149460A KR 20180052301 A KR20180052301 A KR 20180052301A
Authority
KR
South Korea
Prior art keywords
motion vector
image
reference image
block
blocks
Prior art date
Application number
KR1020160149460A
Other languages
English (en)
Inventor
홍종주
김성균
조성호
이웅원
조성인
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020160149460A priority Critical patent/KR20180052301A/ko
Publication of KR20180052301A publication Critical patent/KR20180052301A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

영상 처리 방법 및 이를 이용한 표시 장치가 제공된다. 영상 처리 방법은 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 단계, 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 단계, 및 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 단계를 포함한다. 본 발명의 일 실시예에 따른 영상 처리 방법은 중간 움직임 벡터 필드에서 홀이 발생한 영역에 전경 움직임 벡터를 채움으로써, 전경과 배경 사이에 존재하는 격자감 및 전경의 끌림 현상을 저감시킬 수 있다.

Description

영상 처리 방법 및 이를 이용한 표시 장치{IMAGE PROCESSING METHOD AND DISPLAY DEVICE USING THE SAME}
본 발명은 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것으로서, 보다 상세하게는 표시 장치의 화질을 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것이다.
모바일폰, 타블렛, 노트북 컴퓨터, 텔레비전 및 모니터와 같은 다양한 전자 디바이스에 평면 패널 표시 장치(flat panel display; FPD)가 채용되고 있다. 최근에는 FPD로서 액정 표시 장치(Liquid Crystal Display Device; LCD), 유기 발광 다이오드 표시 장치(Organic Light Emitting Diode Display; OLED) 등이 사용되고 있다. 이와 같은 표시 장치는 영상이 표시되고 복수의 화소로 이루어진 화소 어레이와 복수의 화소 각각에서 광이 투과되거나 발광되도록 제어하는 구동회로를 포함한다. 표시 장치의 구동회로는 화소 어레이의 데이터 라인들에 데이터 신호를 공급하는 데이터 구동회로, 데이터 신호에 동기되는 게이트 신호(또는 스캔 신호)를 화소 어레이의 게이트 라인들(또는 스캔 라인)에 순차적으로 공급하는 게이트 구동회로(또는 스캔 구동회로) 및 데이터 구동회로와 게이트 구동회로를 제어하는 타이밍 콘트롤러 등을 포함한다.
최근 표시 장치에서는 영상 매체 간의 호환성을 향상시키고 영상을 보다 자연스럽게 출력할 수 있도록 프레임율 변환(Frame Rate Up Conversion) (이하, FRUC라 함)이 사용되고 있다. 여기서, FRUC는 입력 영상의 프레임(frame) 사이에 보간 영상(interpolation image)을 삽입하여 입력 영상의 프레임율(frame rate)를 상승시키는 기술이다.
기존의 FRUC에서는 입력 영상의 프레임을 단순 반복하거나 인접한 두 프레임의 평균값을 두 프레임 사이에 삽입하는 방법이 사용되었다. 이와 같이 기존의 FRUC를 통해서는 출력 영상이 끊어지거나 희미해지는 문제점이 발생하여 화질이 저하되었다.
최근 FRUC는 입력 영상에서 프레임 사이의 움직임을 추정하고, 프레임 사이에 추정된 움직임에 기초하여 보간 영상을 삽입한다. 구체적으로, 최근 FRUC에서는 인접하는 프레임으로부터 움직임을 추정하여 움직임 벡터(Motion Vector)가 추출되고, 움직임 벡터를 이용하여 프레임 사이에 보간 영상이 삽입된다.
움직임 벡터를 이용하는 FRUC는 블록을 기초로 움직임을 추정하는 방식이 사용될 수 있다. 구체적으로, 영상의 프레임 각각을 일정한 크기의 블록으로 분할하고, 분할된 블록을 기초로 인접한 프레임 사이에서 가장 유사한 블록을 찾아 벡터로 연결함으로써, 프레임 사이에서 움직임이 추정되고 움직임 벡터가 결정될 수 있다.
나아가, 프레임 각각의 영상 이미지로부터 추출된 움직임 벡터를 기초로 보간 영상 도메인 상에 투영하여 중간 움직임 벡터 필드(Intermediate Motion Vector Field; IMVF)가 생성된다. 이와 같이 중간 움직임 벡터 필드에 따라 보간 영상 도메인에서 블록 각각에 입력 영상 데이터를 채움으로써, 최종 보간 영상을 생성한다.
다만, 프레임 각각의 영상 이미지에서 배경(Background) 영상 및 전경(Foreground) 영상이 서로 상이한 방향으로 이동하는 경우 중간 움직임 벡터 필드를 구성하는 블록들 중 움직임 벡터가 없는 블록이 발생할 수 있다. 이와 같이 중간 움직임 벡터 필드에서 움직임 벡터가 없는 블록 또는 보간 영상을 구성하는 블록들 중 영상 데이터가 없는 블록을 홀(hole)이라고 하며, 홀이 존재하는 블록에는 영상 데이터가 존재하지 않게 되어 영상의 화질이 저하되는 문제점이 발생한다.
[관련기술문헌]
동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법(한국공개특허번호 제 10-2013-0031132 호)
이에, 본 발명이 해결하고자 하는 과제는 중간 움직임 벡터 필드에서 홀이 발생한 영역에 전경 움직임 벡터를 채움으로써, 영상 데이터 영역의 홀에 배경 영상 데이터를 채울 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 홀이 발생한 영역에 배경 영상 데이터를 채움으로써, 전경 주변에 발생하는 격자감 및 홀이 발생한 영역 주변의 배경에 발생하는 격자감을 저감시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 전경 및 배경 사이의 경계에서 부정확한 움직임 벡터를 보정함으로써, 저비용 고효율로 영상의 잔상을 저감시키고 화질을 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 처리 방법은 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 단계, 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 단계, 및 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 단계를 포함한다. 본 발명의 일 실시예에 따른 영상 처리 방법은 중간 움직임 벡터 필드에서 홀이 발생한 영역에 전경 움직임 벡터를 채움으로써, 전경과 배경 사이에 존재하는 격자감 및 전경의 끌림 현상을 저감시킬 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 표시 장치는 표시 패널, 및 표시 패널에 입력되는 영상을 처리하는 영상 처리부를 포함한다. 영상 처리부는, 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 움직임 벡터 추출부, 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 중간 움직임 벡터 필드 생성부, 및 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 홀 필링(filling)부를 포함한다. 본 발명의 다른 실시예에 따른 표시 장치는 중간 움직임 벡터 필드에서 홀에 채워진 움직임 벡터를 보정함으로써, 저비용 고효율로 영상의 잔상을 저감시키고 화질을 향상시킬 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 중간 움직임 벡터 필드에서 홀이 발생한 영역에 전경 움직임 벡터를 채움으로써, 전경과 배경 사이에 존재하는 격자감 및 전경의 끌림 현상을 저감시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제작할 수 있다.
또한, 본 발명은 중간 움직임 벡터 필드에서 홀에 채워진 움직임 벡터를 보정함으로써, 저비용 고효율로 영상의 잔상을 저감시키고 화질을 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제작할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 표시 장치를 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법 중 홀 블록에 보충 움직임 벡터를 매칭하는 절차를 도시한 순서도이다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 중간 움직임 벡터 필드에서 홀 블록에 보충 움직임 벡터를 매칭하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 중간 움직임 벡터 필드에서 홀 블록을 채우기 전후를 비교한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 순서도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 처리 방법 중 보충 움직임 벡터를 보정하는 절차를 도시한 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 보정 보충 움직임 벡터를 결정하는 방법을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 ‘직접’이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.
소자 또는 층이 다른 소자 또는 층 위 (on)로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 표시 장치를 개략적으로 나타내는 블록도이다. 도 1을 참조하면, 표시 장치(100)는 표시 패널(110), 게이트 구동회로(120), 데이터 구동회로(130), 타이밍 제어부(140) 및 영상 처리부(150)를 포함한다.
도 1을 참조하면, 표시 장치(100)는 복수의 화소(P)를 포함하는 표시 패널(110), 복수의 화소(P) 각각에 게이트 신호를 공급하는 게이트 구동회로(120), 복수의 화소(P) 각각에 데이터 신호를 공급하는 데이터 구동회로(130) 및 게이트 구동회로(120)와 데이터 구동회로(130)를 제어하는 타이밍 제어부(140)를 포함한다. 또한, 표시 장치(100)는 표시 패널(110)에 입력되는 영상에 대한 데이터를 수신하여 디지털 신호로 변환하고, 타이밍 제어부(140)에 디지털 신호 및 제어 신호를 공급하는 영상 처리부(150)를 포함한다.
표시 패널(110)에서 복수의 게이트 라인(GL) 및 복수의 데이터 라인(DL)이 서로 교차되고, 복수의 화소(P) 각각은 게이트 라인(GL) 및 데이터 라인(DL)에 연결된다. 구체적으로, 하나의 화소(P)는 게이트 라인(GL)을 통해 게이트 구동회로(120)로부터 게이트 신호를 공급받고, 데이터 라인(DL)을 통해 데이터 구동회로(130)로부터 데이터 신호를 공급받으며, 전원 공급 라인을 통해 다양한 전원을 공급받는다.
게이트 구동회로(120)는 타이밍 제어부(140)로부터 공급된 게이트 제어 신호(GCS)에 따라 게이트 라인(GL)에 게이트 신호를 공급한다. 여기서, 게이트 신호는 적어도 하나의 스캔 신호 및 발광 제어 신호를 포함한다. 도 1에서는 게이트 구동회로(120)가 표시 패널(110)의 일 측에 이격되어 배치된 것으로 도시되었으나, 게이트 구동회로(120)의 수와 배치 위치는 이에 제한되지 않는다. 즉, 게이트 구동회로(120)는 GIP(Gate In Panel) 방식으로 표시 패널(110)의 일측 또는 양측에 배치될 수도 있다.
데이터 구동회로(130)는 타이밍 제어부(140)로부터 공급된 데이터 제어 신호(DCS)에 따라 영상 데이터(RGB)를 데이터 전압으로 변환하고, 변환된 데이터 전압을 데이터 라인(DL)을 통해 화소(P)에 공급한다.
타이밍 제어부(140)는 표시 패널(110)에 입력되는 구동 신호들의 타이밍을 제어한다. 구체적으로, 타이밍 제어부(140)는 영상 처리부(150)로부터 입력되는 영상 데이터(RGB)를 표시 패널(110)의 크기 및 해상도에 적합하게 처리하여 데이터 구동회로(130)에 공급한다. 또한, 타이밍 제어부(140)는 영상 처리부(150)로부터 입력되는 타이밍 제어 신호인 동기 신호(SYNC)들, 예를 들어, 도트 클럭신호(DCLK), 데이터 인에이블 신호(DE), 수평 동기신호(Hsync), 수직 동기신호(Vsync)를 이용해 다수의 게이트 및 데이터 제어신호(GCS, DCS)를 생성한다. 생성된 다수의 게이트 및 데이터 제어신호(GCS, DCS)를 게이트 구동회로(120) 및 데이터 구동회로(130)에 각각 공급함으로써, 게이트 구동회로(120) 및 데이터 구동회로(130)를 제어한다.
영상 처리부(150)는 표시 패널(110)에 입력되는 구동 신호들의 타이밍을 제어하는 타이밍 제어부(140)와 연결된다. 영상 처리부(150)는 타이밍 제어부(140)에 영상 데이터(RGB) 및 타이밍 제어 신호를 공급한다.
또한, 영상 처리부(150)는 입력되는 영상에 대한 정보를 기초로 화질 향상을 위해 FRUC 가능한 모듈을 포함한다. 구체적으로, 영상 처리부(150)는 입력되는 영상의 화질을 향상시키기 위해 FRUC를 이용하여 보간 영상을 생성할 수 있으며, 보간 영상을 생성하기 위한 움직임 벡터를 추출할 수 있다.
여기서, 영상 처리부(150)는 표시 패널(110)에 입력되는 영상을 프레임 단위로 처리할 수 있다. 즉, 영상 처리부(150)는 입력 영상을 프레임 단위의 이미지로 구분하고, 프레임별 이미지를 기초로 FRUC를 통해 보간 영상을 생성할 수 있다.
특히, 영상 처리부(150)는 인접하는 프레임의 이미지를 비교하여 FRUC할 수 있다. 또한, 영상 처리부(150)는 FRUC하기 위해 인접하는 프레임의 이미지를 비교하여 움직임 벡터를 추출할 수 있고, 이러한 움직임 벡터를 기초로 인접하는 프레임의 이미지 사이에 중간 움직임 벡터 필드를 생성하여 삽입할 수 있다. 나아가, 영상 처리부(150)는 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록에 보충 움직임 벡터를 매칭함으로써, 홀 영역을 움직임 벡터로 채울 수 있다. 여기서, 중간 움직임 벡터 필드에 존재하는 홀 블록에 보충 움직임 벡터를 매칭하는 것은 중간 움직임 벡터 필드에 존재하는 홀 블록에 보충 움직임 벡터로 채우는 것과 실질적으로 동일한 의미로 사용될 수 있다. 이에, 본 명세서에서는 홀 블록에 움직임 벡터를 매칭하는 것과 홀 블록에 움직임 벡터를 채우는 것은 동일한 의미로 혼용되어 사용될 수 있다.
이하에서는 영상 처리부(150)가 처리하는 인접하는 프레임의 이미지 중 하나를 기준 이미지로 정의하고, 기준 이미지의 다음 프레임에 대응하는 이미지를 비교 이미지로 정의하며, 기준 이미지의 이전 프레임에 대응하는 이미지를 이전 이미지로 정의한다. 영상 처리부(150)의 구체적인 구성 및 기능에 대해서는 도 2를 참조하여 후술한다.
본 발명의 일 실시예에 따른 표시 장치(100)는 보간 영상을 생성하고 움직임 벡터를 추출할 수 있는 영상 처리부(150)를 포함함으로써, 인접하는 프레임 사이에 중간 움직임 벡터 필드를 생성하고, 중간 움직임 벡터 필드를 통해 보간 영상을 생성함으로써, 표시 패널(110)을 통해 출력되는 영상의 화질이 향상될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다. 도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 순서도이다. 도 4는 본 발명의 일 실시예에 따른 영상 처리 방법 중 홀 블록에 보충 움직임 벡터를 매칭하는 절차를 도시한 순서도이다. 도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 중간 움직임 벡터 필드에서 홀 블록에 보충 움직임 벡터를 매칭하는 방법을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 중간 움직임 벡터 필드에서 홀 블록을 채우기 전후를 비교한 예시도이다. 설명의 편의를 위해 도 1을 참조하여 후술한다.
도 2를 참조하면, 영상 처리부(150)는 움직임 벡터 추출부(151), 중간 움직임 벡터 필드 생성부(152), 홀 필링(filling)부(153) 및 움직임 보상부(155)를 포함한다. 영상 처리부(150)는 기준 이미지 및 비교 이미지를 기초로 움직임 벡터를 산출하고, 움직임 벡터를 기초로 중간 움직임 벡터 필드를 생성하며, 중간 움직임 벡터 필드에 존재하는 홀 블록을 보충 움직임 벡터로 채우며, 중간 움직임 벡터 필드의 블록 각각에서 움직임 벡터가 가리키는 기준 이미지에서의 영상 데이터를 채움으로써 보간 영상을 생성한다.
도 2 및 도 3을 참조하면, 움직임 벡터 추출부(151)는 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출한다(S310). 이어서, 중간 움직임 벡터 필드 생성부(152)는 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성한다(S320).
도 5a에서 이전 이미지(img0), 기준 이미지(img1) 및 비교 이미지(img2)는 순서대로 프레임 각각에 대응하는 이미지이다. 구체적으로, 인접하는 프레임에서 하나의 기준 이미지(img1)를 기준으로, 이전 이미지(img0)는 기준 이미지(img1)의 프레임보다 이전 프레임에 대응하는 이미지이고, 비교 이미지(img2)는 기준 이미지(img1)의 프레임보다 이후 프레임에 대응하는 이미지이다. 즉, 도 5a에서 프레임의 순서에 대응하여 이전 이미지(img0), 기준 이미지(img1) 및 비교 이미지(img2) 순서로 이미지가 존재하며, 기준 이미지(img1)와 비교 이미지(img2) 사이에는 중간 움직임 벡터 필드(IMVF1)가 삽입된다.
도 5a를 참조하면, 프레임 각각에 대응하는 이미지는 복수의 블록으로 구성되고, 복수의 블록 각각에는 영상 데이터가 존재한다. 여기서, 이미지 각각의 블록에 표시된 ‘F’는 전경(Foreground) 영상 데이터를 의미하고, ‘B’는 배경(Background) 영상 데이터를 의미한다.
도 5a 및 도 5b를 참조하면, 움직임 벡터 추출부(151)는 기준 이미지(img1)에서 블록의 영상 데이터와 비교 이미지(img2)에서 블록의 영상 데이터를 비교하여 움직임 벡터(MV12)를 추출한다. 도 5b에서 움직임 벡터(MV12)를 참조하면, 전경은 좌상측 방향으로 이동하고 배경은 우측 방향으로 이동하는 것을 알 수 있다. 즉, 도 5a 내지 도 5e에 도시된 실시예는 전경이 좌상측 방향으로 이동하고 배경이 우측 방향으로 이동하는 영상을 나타내며, 이하 이러한 영상을 기준으로 후술한다.
도 5a 및 도 5b를 참조하면, 기준 이미지(img1) 및 비교 이미지(img2)에서 전경과 배경이 움직이는 방향에 따라 중간 움직임 벡터 필드(IMVF1)에 홀 블록이 생성될 수 있다. 구체적으로, 기준 이미지(img1) 및 비교 이미지(img2) 사이에서 전경이 좌상측으로 이동하고 배경이 우측으로 이동함에 따라 비교 이미지(img2)의 전경과 배경 사이의 블록에 새로운 영상 데이터가 존재하게 된다. 이에, 새로운 영상 데이터가 존재하는 블록에 대응하는 중간 움직임 벡터 필드(IMVF1)에는 홀 블록이 생성될 수 있다. 중간 움직임 벡터 필드(IMVF1)는 전경 및 배경의 움직임에 따라 홀이 존재하는 블록을 포함할 수 있다. 이에 본 명세서에서는 홀이 존재하는 블록을 홀 블록이라 하고, 복수의 홀 블록을 포함하는 영역을 홀 영역(HR)이라 한다. 즉, 중간 움직임 벡터 필드 생성부(152)는 기준 이미지(img1) 및 비교 이미지(img2)를 기초로 중간 움직임 벡터 필드(IMVF1)를 생성하고, 중간 움직임 벡터 필드(IMVF1)를 생성하면서 전경 및 배경의 움직임에 따라 중간 움직임 벡터 필드(IMVF1)에 홀 블록 또는 홀 영역(HR)이 생성될 수도 있다.
이어서, 도 2 및 도 3을 참조하면, 홀 필링부(153)는 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀 블록 각각에 보충 움직임 벡터를 매칭한다(S330).
구체적으로, 도 4를 참조하면, 홀 필링부(153)는 기준 이미지 및 이전 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 역행 움직임 벡터를 추출할 수 있다(S331).
도 5a 및 도 5b를 참조하면, 홀 필링부(153)는 기준 이미지(img1)에서 블록의 영상 데이터와 이전 이미지(img0)에서 블록의 영상 데이터를 비교하여 역행 움직임 벡터(MV10)를 추출한다. 즉, 홀 필링부(153)는 기준 이미지(img1)로부터 이전 이미지(img0)를 향하는 움직임 벡터인 역행 움직임 벡터(MV10)를 기준 이미지(img1)의 블록 각각마다 산출한다.
이어서, 도 4를 참조하면, 홀 필링부(153)는 복수의 블록 각각에서 움직임 벡터 및 역행 움직임 벡터의 합을 기초로, 기준 이미지에서 복수의 블록 각각에 대응하는 이진 일관도(binary consistency)를 산출할 수 있다(S332).
도 5b를 참조하면, 홀 필링부(153)는 움직임 벡터(MV12) 블록 각각 및 역행 움직임 벡터(MV10) 블록 각각에서 벡터합의 절대값의 역수를 산출한다. 홀 필링부(153)는 블록 각각에서 벡터합의 절대값의 역수가 임계값보다 큰 경우 해당 블록에 대응하는 이진 일관도를 ‘1’로 결정하고, 벡터합의 절대값의 역수가 임계값보다 작은 경우 해당 블록에 대응하는 이진 일관도를 ‘0’으로 결정한다. 이에, 기준 이미지(img1)의 블록 각각은 홀 필링부(153)에 의해 대응하는 이진 일관도를 가지며, 기준 이미지(img1)의 이진 일관도(BC1)는 도 5b와 같이 예시적으로 산출될 수 있다.
이어서, 도 4를 참조하면, 홀 필링부(153)는 홀 블록에 대응하는 기준 이미지에서의 블록을 중심으로 미리 결정된 범위 내에서의 인접 블록 각각의 이진 일관도를 합산할 수 있다(S333).
도 5c를 참조하면, 홀 필링부(153)는 기준 이미지에서 홀 블록에 대응하는 블록을 중심으로 미리 결정된 범위를 갖는 윈도우(W1, W2)를 이용하여 윈도우(W1, W2) 내에서의 블록 각각의 이진 일관도를 합산한다. 예를 들어, 3x3 블록을 포함하는 제1 윈도우(W1) 및 제2 윈도우(W2)에서 중심 블록은 홀 영역(HR)에 포함된다. 제1 윈도우(W1)에서 중심 블록을 기준으로 제1 윈도우(W1) 내의 블록 각각의 이진 일관도를 합산한 값은 ‘0’이다. 마찬가지로, 제2 윈도우(W2)에서 중심 블록을 기준으로 제2 윈도우(W2) 내의 블록 각각의 이진 일관도를 합산한 값은 ‘6’이다.
여기서, 홀 필링부(153)는 미리 결정된 범위 내에서의 인접 블록 중 홀 블록을 제외한 나머지 블록의 이진 일관도만을 합산할 수 있다.
도 5c를 참조하면, 제1 윈도우(W1)에 포함되는 블록은 모두 홀 영역(HR)에 포함된 홀 블록이므로, 홀 필링부(153)는 제1 윈도우(W1)에 포함된 블록의 이진 일관도를 합산하지 않는다. 한편, 홀 필링부(153)는 제2 윈도우(W2)에 포함된 블록 중 홀 영역(HR)에 포함되지 않는 블록의 이진 일관도만을 합산할 수 있으며, 제2 윈도우(W2)의 범위 내에서 홀 블록에 대응하지 않는 블록의 이진 일관도만을 합산한 결과는 ‘4’이다. 즉, 윈도우의 범위 내에서 이진 일관도의 합산 결과는 홀의 주변 블록 중 기준 이미지(img1)와 비교 이미지(img2) 사이의 일관성이 높은 블록의 개수를 의미한다. 나아가, 일관성이 높은 블록에서의 움직임 벡터는 전경 움직임 벡터일 가능성이 높으며, 중간 움직임 벡터 필드(IMVF1)에서 전경 움직임 벡터는 배경 영상 데이터를 가리키게 된다.
한편, 홀 필링부(153)는 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 작은 경우, 미리 결정된 범위를 확장할 수 있다.
도 5c 및 도 5d를 참조하면, 제1 윈도우(W1)는 홀 영역(HR)에 포함된 블록만을 포함하므로, 제1 윈도우(W1)의 범위 내에서 이진 일관도를 합산한 결과는 ‘0’이 된다. 홀 필링부(153)는 미리 결정된 임계 일관도를 가질 수 있다. 예를 들어, 홀 필링부(153)는 미리 결정된 범위 내에서의 블록 전체 개수에 대한 이진 일관도의 합의 비율이 25%에 가까운 정수를 임계 일관도로 결정할 수 있다. 여기서, 임계 일관도를 결정하는 기준은 다양하게 변경될 수 있다. 도 5c에서, 제1 윈도우(W1) 및 제2 윈도우(W2) 범위 내에서의 블록 전체 개수는 ‘9’이고, 임계 일관도는 ‘2’일 수 있다.
이에, 제1 윈도우(W1)의 범위 내에서의 블록 각각의 이진 일관도의 합은 임계 일관도 ‘2’보다 작으므로, 홀 필링부(153)는 제1 윈도우(W1)를 확장한 확장 윈도우(WE)를 기초로 홀 블록의 인접 블록의 이진 일관도의 합을 다시 산출할 수 있다.
도 5d를 참조하면, 확장 윈도우(WE)는 5x5 블록을 포함하고, 홀 영역(HR)에 포함되지 않는 인접 블록은 9개이며, 확장 윈도우(WE)에 대한 임계 일관도는 ‘6’일 수 있다. 또한, 확장 윈도우(WE) 범위 내에서 홀 영역(HR)에 포함되지 않은 인접 블록들의 이진 일관도의 합은 ‘7’이다. 이에, 확장 윈도우(WE) 범위 내에서의 블록 각각의 이진 일관도의 합은 확장 윈도우(WE)에 대한 임계 일관도인 ‘6’보다 크게 된다. 확장 윈도우(WE) 범위 내에서의 블록 각각의 이진 일관도의 합이 임계 일관도보다 크므로, 홀 필링부(153)는 확장 윈도우(WE)를 더 이상 확장하지 않을 수 있다.
이어서, 도 4를 참조하면, 홀 필링부(153)는 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 큰 경우, 기준 이미지에서 인접 블록의 이진 일관도가 1인 블록에 대응하는 움직임 벡터의 평균값을 산출할 수 있다(S334). 이어서, 홀 필링부(153)는 움직임 벡터의 평균값을 보충 움직임 벡터로 결정할 수 있다(S335).
도 5c 및 도 5e를 참조하면, 제2 윈도우(W2) 범위 내에서 이진 일관도의 합산 결과는 ‘4’이고, 제2 윈도우(W2)에 대한 임계 일관도인 ‘2’보다 제2 윈도우(W2) 범위 내에서 이진 일관도의 합산 결과가 더 크다. 이러한 경우, 홀 필링부(153)는 기준 이미지(img1)의 이진 일관도(BC1) 중 제2 윈도우(W2) 범위 내에서 홀 영역(HR)에 포함되지 않으면서 이진 일관도가 ‘1’인 블록들에 대응하는 기준 이미지(img1)의 움직임 벡터의 평균값을 산출할 수 있다. 이에 따라, 홀 필링부(153)는 제2 윈도우(W2) 범위 내에서 이진 일관도가 ‘1’인 블록들에 대응하는 기준 이미지(img1)의 움직임 벡터의 평균값을 제2 윈도우(W2)의 중심 블록에 대응하는 홀 블록을 보충할 보충 움직임 벡터(CV2)로 결정할 수 있다.
도 5d 및 도 5e를 참조하면, 확장 윈도우(WE) 범위 내에서 이진 일관도의 합산 결과는 ‘7’이고, 확장 윈도우(WE)에 대한 임계 일관도인 ‘6’보다 확장 윈도우(WE) 범위 내에서 이진 일관도의 합산 결과가 더 크다. 이러한 경우, 홀 필링부(153)는 기준 이미지(img1)의 이진 일관도(BC1) 중 확장 윈도우(WE) 범위 내에서 홀 영역(HR)에 포함되지 않으면서 이진 일관도가 ‘1’인 블록들에 대응하는 기준 이미지(img1)의 움직임 벡터의 평균값을 산출할 수 있다. 이에 따라, 홀 필링부(153)는 확장 윈도우(WE) 범위 내에서 이진 일관도가 ‘1’인 블록들에 대응하는 기준 이미지(img1)의 움직임 벡터의 평균값을 확장 윈도우(WE)의 중심 블록에 대응하는 홀 블록을 보충할 보충 움직임 벡터(CVE)로 결정할 수 있다.
도 5e에서 홀 블록에 보충 움직임 벡터가 채워진 중간 움직임 벡터 필드(IMVF2)는 기준 이미지(img1)와 비교 이미지(img2) 사이에 삽입되는 움직임 벡터 필드로서, 기준 이미지(img1)에서 가져오고자 하는 데이터를 포함하는 블록을 가리키는 움직임 벡터를 포함한다. 이에 따라, 중간 움직임 벡터 필드(IMVF2)를 구성하는 블록 각각에서의 움직임 벡터는 기준 이미지(img1)의 움직임 벡터(MV12)와 반대 방향을 가리킬 수 있다.
나아가, 홀 블록을 채우는 보충 움직임 벡터(CV2, CVE)는 기준 이미지(img1)의 움직임 벡터(MV12) 중 전경 움직임 벡터에 대응할 수 있다. 즉, 보충 움직임 벡터(CV2, CVE)는 기준 이미지(img1)에서 전경 움직임 벡터 중 하나와 방향만 정 반대방향이고 크기는 동일한 움직임 벡터일 수 있다. 이에 따라, 중간 움직임 벡터 필드(IMVF2)의 홀 블록을 채우는 보충 움직임 벡터(CV2, CVE)는 기준 이미지(img1)에서의 배경 영상 데이터를 가리킬 수 있다.
도 5e 및 도 6을 참조하면, 홀 필링부(153)는 중간 움직임 벡터 필드(IMVF2)에서 홀 블록에 보충 움직임 벡터(CV2, CVE)를 매칭하여 홀 블록을 보충 움직임 벡터(CV2, CVE)로 채울 수 있다. 위에서 설명과 동일한 방식으로 홀 필링부(153)는 홀 영역(HR) 내의 홀 블록 각각을 중심으로, 미리 결정된 범위인 윈도우 범위 내에서 이진 일관도를 산출하고 합산하여, 보충 움직임 벡터를 결정하고, 결정된 보충 움직임 벡터를 홀 블록에 매칭함으로써 홀 블록에 보충 움직임 벡터를 채워넣을 수 있다. 이에 따라, 홀 필링부(153)는 도 6에서 도시된 바와 같이 홀 영역(HR)에 포함된 홀 블록 각각에 보충 움직임 벡터를 모두 채워넣을 수 있다.
이어서, 도 2 및 도 3을 참조하면, 움직임 보상부(155)는 보충 움직임 벡터가 가리키는 기준 이미지에서의 영상 데이터를 중간 움직임 벡터 필드의 홀 블록에 매칭한다(S340).
도 6을 참조하면, 홀 필링부(153)는 중간 움직임 벡터 필드(IMVF)에서 홀 영역(HR)을 보충 움직임 벡터로 채우고, 움직임 보상부(155)는 홀 영역(HR)이 보충 움직임 벡터로 채워진 후 보충 움직임 벡터 각각이 가리키는 기준 이미지(img1)에서의 영상 데이터를 중간 움직임 벡터 필드(IMVF)의 블록에 채운다. 여기서, 움직임 보상부(155)는 홀 영역(HR)에서 홀 블록 각각에 매칭된 보충 움직임 벡터가 가리키는 영상 데이터를 중간 움직임 벡터 필드(IMVF)의 블록에 매칭시킴으로써 중간 움직임 벡터 필드(IMVF)의 블록에 영상 데이터를 채울 수 있다. 이에 따라, 움직임 보상부(155)는 홀 영역(HR)이 존재하지 않고 모든 블록이 영상 데이터로 채워진 보간 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법 및 이를 이용한 표시 장치는 기준 이미지(img1)에 대한 움직임 벡터(MV12) 및 이전 이미지(img0)와의 관계를 나타내는 역행 움직임 벡터(MV10)를 기초로 이진 일관도(BC)를 산출하고, 중간 움직임 벡터 필드(IMVF)에 존재하는 홀 블록의 인접 블록들에서 이진 일관도(BC)를 합산하여, 이진 일관도(BC)의 합이 임계 일관도보다 큰 경우, 이진 일관도가 ‘1’인 블록에 대응하는 움직임 벡터의 평균값을 홀 블록에 대한 보충 움직임 벡터(CV)로 결정한다.
이에 따라, 중간 움직임 벡터 필드(IMVF)의 홀 블록에 기준 이미지(img1)에서의 전경 움직임 벡터가 채워질 확률이 높아진다. 나아가, 중간 움직임 벡터 필드(IMVF)에서 홀 블록에 기준 이미지(img1)에서의 전경 움직임 벡터가 채워짐으로써, 홀 블록에는 기준 이미지(img1)에서의 배경 영상 데이터가 채워질 확률이 높아진다. 즉, 본 발명의 실시예에 따라 중간 움직임 벡터 필드(IMVF)의 홀에는 기준 이미지(img1)에서의 전경 움직임 벡터가 가리키는 배경 영상 데이터가 채워짐으로써, 전경 영상 데이터를 보존할 수 있으며, 전경 영상의 끌림 현상을 저감시키고 전경과 배경 사이의 격자감을 저감시킬 수 있다. 나아가, 영상에서 끌림 현상 및 격자감이 저감됨에 따라 저비용 고효율로 영상의 화질을 향상시킬 수도 있다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다. 도 8은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 순서도이다. 도 9는 본 발명의 다른 실시예에 따른 영상 처리 방법 중 보충 움직임 벡터를 보정하는 절차를 도시한 순서도이다. 도 10은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 보정 보충 움직임 벡터를 결정하는 방법을 설명하기 위한 예시도이다. 도 7의 영상 처리부(750)는 도 1의 영상 처리부(150)에 보충 움직임 벡터 보정부(754)를 더 포함하는 구성만이 상이한바, 움직임 벡터 추출부(151), 중간 움직임 벡터 필드 생성부(152), 홀 필링(filling)부(153) 및 움직임 보상부(155)와 실질적으로 동일한 구성에 대한 중복 설명은 생략한다. 설명의 편의를 위해 도 1을 참조하여 후술한다.
도 7 및 도 8을 참조하면, 영상 처리부(750)는 보충 움직임 벡터 보정부(754)를 더 포함한다. 홀 필링부(753)가 중간 움직임 벡터 필드(IMVF)에 존재하는 홀 블록에 보충 움직임 벡터를 매칭한 (S830) 이후, 보충 움직임 벡터 보정부(754)는 중간 움직임 벡터 필드에서 보충 움직임 벡터를 보정한다(S840). 이어서, 움직임 보상부(755)는 보정된 보충 움직임 벡터를 포함하는 중간 움직임 벡터 필드(IMVF)에서, 각각의 움직임 벡터가 가리키는 기준 이미지(img1)에서의 영상 데이터를 중간 움직임 벡터 필드(IMVF)에 채운다. 특히, 움직임 보상부(755)는 보충 움직임 벡터가 가리키는 기준 이미지(img1)에서의 영상 데이터를 중간 움직임 벡터 필드(IMVF)의 홀 블록에 매칭한다(S850). 이에 따라, 움직임 보상부(755)는 홀이 모두 채워져서 존재하지 않는 중간 움직임 벡터 필드(IMVF)로부터 보간 영상을 생성할 수 있다.
도 9를 참조하면, 보충 움직임 벡터 보정부(754)는 기준 이미지에서 보충 움직임 벡터의 시점에 대응하는 블록 및 종점에 대응하는 블록을 기초로 보충 움직임 벡터의 특성식을 산출할 수 있다(S841).
도 10을 참조하면, 기준 이미지(1000)는 전경 영역(1001) 및 배경 영역(1002)을 포함하며, 복수의 블록으로 구성된다. 여기서, 보충 움직임 벡터(1010)는 배경 영역(1002)에서 시점에 대응하는 블록(1003)을 가지며 전경 영역(1001)에서 종점에 대응하는 블록(1004)을 가진다. 이에, 보충 움직임 벡터(1010)는 배경 영역(1002)에 포함된 블록에서 전경 영역(1001)에 포함된 블록을 가리킴으로써, 전경 영상 데이터를 가져오도록 지시할 수 있게 된다. 이와 같이 서로 다른 영역의 영상 데이터를 가리키는 보충 움직임 벡터를 보정함으로써, 잔상 문제가 저감될 수 있다.
도 10을 참조하여, 보충 움직임 벡터의 시점에 대응하는 블록(1003)의 좌표를 (x1, y1)이라하고, 보충 움직임 벡터의 종점에 대응하는 블록(1004)의 좌표를 (x2, y2)이라하면, 보충 움직임 벡터 보정부(754)는 [수학식 1]과 같은 보충 움직임 벡터(1010)의 특성식을 산출할 수 있다.
Figure pat00001
도 9를 참조하면, 보충 움직임 벡터 보정부(754)는 기준 이미지에서 보충 움직임 벡터가 지나가는 블록의 집합을 추출할 수 있다(S842).
도 10을 참조하면, 특성식에 따라 보충 움직임 벡터(1010)가 지나가는 블록의 집합이 계산되어 추출될 수 있다. 즉, 보충 움직임 벡터 보정부(754)는 배경 영역(1002)에서 보충 움직임 벡터(1010)가 지나가는 블록의 집합(1011) 및 전경 영역(1001)에서 보충 움직임 벡터(1010)가 지나가는 블록의 집합(1012)을 추출할 수 있다.
도 9를 참조하면, 보충 움직임 벡터 보정부(754)는 기준 이미지에서 시점 및 종점 각각이 배경 영역 및 전경 영역 중 서로 다른 영역에 위치하는 경우, 블록의 집합 중에서 배경 영역 및 전경 영역 중 시점에 대응하는 블록이 위치하는 영역에 포함되는 후보 블록의 집합을 추출할 수 있다(S843).
도 10을 참조하면, 보충 움직임 벡터의 시점에 대응하는 블록(1003)은 배경 영역(1002)에 위치하므로, 보충 움직임 벡터 보정부(754)가 추출한 블록의 집합 중 배경 영역(1002)에서 보충 움직임 벡터(1010)가 지나가는 블록의 집합(1011)만이 추출된다.
도 9를 참조하면, 보충 움직임 벡터 보정부(754)는 기준 이미지에서 후보 블록의 집합 중 시점에 대응하는 블록으로부터 가장 멀리 이격된 후보 블록을 추출할 수 있다(S844).
도 10을 참조하면, 보충 움직임 벡터 보정부(754)가 추출한 배경 영역(1002)에서 보충 움직임 벡터(1010)가 지나가는 블록의 집합(1011)은 제1 배경 후보 블록(1011a), 제2 배경 후보 블록(1011b), 제3 배경 후보 블록(1011c) 및 제4 배경 후보 블록(1011d)을 포함한다. 배경 영역(1002)에서 보충 움직임 벡터(1010)가 지나가는 블록의 집합(1011) 중에서 보충 움직임 벡터(1010)의 시점에 대응하는 블록(1003)으로부터 가장 멀리 이격된 후보 블록은 제4 배경 후보 블록(1011d)이다. 이에 따라, 보충 움직임 벡터 보정부(754)는 제4 배경 후보 블록(1011d)을 보충 움직임 벡터(1010)의 보정된 종점에 대응하는 블록으로 결정할 수 있다.
도 9를 참조하면, 보충 움직임 벡터 보정부(754)는 기준 이미지에서 시점에 대응하는 블록을 시점으로 하고, 가장 멀리 이격된 후보 블록을 종점으로 하는 움직임 벡터를 보정 보충 움직임 벡터로 결정할 수 있다(S845).
도 10을 참조하면, 보충 움직임 벡터(1010)의 보정된 종점에 대응하는 블록으로 결정된 제4 배경 후보 블록(1011d)의 좌표를 (x3, y3)이라 하면, 보충 움직임 벡터 보정부(754)는 보충 움직임 벡터의 시점에 대응하는 블록(1003)의 좌표 (x1, y1)와 제4 배경 후보 블록(1011d)의 좌표 (x3, y3)의 차이를 통해 보정 보충 움직임 벡터(1020)를 산출할 수 있다. 즉, 보충 움직임 벡터 보정부(754)는 [수학식 2]에 의해 보정 보충 움직임 벡터(1020)를 결정할 수 있다.
Figure pat00002
이에 따라, 본 발명의 다른 실시예를 통해서는 중간 움직임 벡터 필드(IMVF)에서 홀 영역에 이미 채워진 움직임 벡터를 보정함으로써, 홀 영역에서 보충된 움직임 벡터가 잔상을 저감시킬 수 있는 영상 데이터를 가리키도록 보정할 수 있다.
특히, 중간 움직임 벡터 필드(IMVF)에서 홀 영역에 이미 채워진 움직임 벡터가 기준 이미지에서 잘못된 영상 데이터를 가리키는 경우, 오히려 보충된 움직임 벡터가 가리키는 영상 데이터에 의해 잔상이 심해지거나 화질이 저하될 수 있다. 이에, 본 발명의 다른 실시예에 따르면, 중간 움직임 벡터 필드(IMVF)에서 홀 영역에 이미 채워진 움직임 벡터가 시점과 종점에서 동일한 종류의 영상 영역의 데이터를 가리킬 수 있도록 보정될 수 있다.
이에 따라, 본 발명의 실시예에 따르면, 보충 움직임 벡터가 주변 블록들과 유사한 움직임 벡터로 보정됨으로써, 저비용 고효율로 잔상 문제가 저감되고 화질이 향상될 수 있다.
본 발명의 실시예들에 따른 유기 발광 표시 장치는 다음과 같이 설명될 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 단계, 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 단계, 및 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 단계를 포함한다. 본 발명의 일 실시예에 따른 영상 처리 방법은 중간 움직임 벡터 필드에서 홀이 발생한 영역에 전경 움직임 벡터를 채움으로써, 전경과 배경 사이에 존재하는 격자감 및 전경의 끌림 현상을 저감시킬 수 있다.
본 발명의 다른 특징에 따르면, 보충 움직임 벡터는 움직임 벡터 중 전경 움직임 벡터에 대응할 수 있다.
본 발명의 또 다른 특징에 따르면, 중간 움직임 벡터 필드에서 보충 움직임 벡터를 보정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 보충 움직임 벡터가 가리키는 기준 이미지에서의 영상 데이터를 중간 움직임 벡터 필드의 홀 블록에 매칭하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 기준 이미지에서의 영상 데이터는 기준 이미지에서의 배경 영상 데이터일 수 있다.
본 발명의 또 다른 특징에 따르면, 보충 움직임 벡터를 보정하는 단계는, 기준 이미지에서 보충 움직임 벡터의 시점에 대응하는 블록 및 종점에 대응하는 블록을 기초로 보충 움직임 벡터의 특성식을 산출하는 단계, 기준 이미지에서 보충 움직임 벡터가 지나가는 블록의 집합을 추출하는 단계, 기준 이미지에서 시점 및 종점 각각이 배경 영역 및 전경 영역 중 서로 다른 영역에 위치하는 경우, 블록의 집합 중에서 배경 영역 및 전경 영역 중 시점에 대응하는 블록이 위치하는 영역에 포함되는 후보 블록의 집합을 추출하는 단계, 기준 이미지에서 후보 블록의 집합 중 시점에 대응하는 블록으로부터 가장 멀리 이격된 후보 블록을 추출하는 단계, 및 기준 이미지에서 시점에 대응하는 블록을 시점으로 하고, 가장 멀리 이격된 후보 블록을 종점으로 하는 움직임 벡터를 보정 보충 움직임 벡터로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 시점에 대응하는 블록이 위치하는 영역은 배경 영역이고, 종점에 대응하는 블록이 위치하는 영역은 전경 영역일 수 있다.
본 발명의 또 다른 특징에 따르면, 보충 움직임 벡터를 매칭하는 단계는, 기준 이미지 및 이전 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 역행 움직임 벡터를 추출하는 단계, 복수의 블록 각각에서 움직임 벡터 및 역행 움직임 벡터의 합을 기초로, 기준 이미지에서 복수의 블록 각각에 대응하는 이진 일관도(binary consistency)를 산출하는 단계, 홀 블록에 대응하는 기준 이미지에서의 블록을 중심으로 미리 결정된 범위 내에서의 인접 블록 각각의 이진 일관도를 합산하는 단계, 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 큰 경우, 기준 이미지에서 인접 블록의 이진 일관도가 1인 블록에 대응하는 움직임 벡터의 평균값을 산출하는 단계, 및 움직임 벡터의 평균값을 보충 움직임 벡터로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 보충 움직임 벡터를 매칭하는 단계는, 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 작은 경우, 미리 결정된 범위를 확장하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 이진 일관도를 합산하는 단계는, 미리 결정된 범위 내에서의 인접 블록 중 홀 블록을 제외한 나머지 블록의 이진 일관도만을 합산하는 단계일 수 있다.
본 발명의 다른 실시예에 따른 표시 장치는 표시 패널, 및 표시 패널에 입력되는 영상을 처리하는 영상 처리부를 포함한다. 영상 처리부는, 기준 이미지 및 비교 이미지를 기초로 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 움직임 벡터 추출부, 움직임 벡터를 기초로 기준 이미지 및 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 중간 움직임 벡터 필드 생성부, 및 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 기준 이미지 및 비교 이미지를 기초로 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 홀 필링(filling)부를 포함한다. 본 발명의 다른 실시예에 따른 표시 장치는 중간 움직임 벡터 필드에서 홀에 채워진 움직임 벡터를 보정함으로써, 저비용 고효율로 영상의 잔상을 저감시키고 화질을 향상시킬 수 있다.
본 발명의 다른 특징에 따르면, 보충 움직임 벡터는 움직임 벡터 중 전경 움직임 벡터에 대응할 수 있다.
본 발명의 또 다른 특징에 따르면, 중간 움직임 벡터 필드에서 보충 움직임 벡터를 보정하는 보충 움직임 벡터 보정부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 보충 움직임 벡터가 가리키는 기준 이미지에서의 영상 데이터를 중간 움직임 벡터 필드의 홀 블록에 매칭하는 움직임 보상부를 더 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 표시 장치
110: 표시 패널
120: 게이트 구동회로
130: 데이터 구동회로
140: 타이밍 제어부
150: 영상 처리부
151, 751: 움직임 벡터 추출부
152, 752: 중간 움직임 벡터 필드 생성부
153, 753: 홀 필링부
155, 755: 움직임 보상부
754: 보충 움직임 벡터 보정부
1000: 기준 이미지
1001: 전경 영역
1002: 배경 영역
1003: 보충 움직임 벡터의 시점에 대응하는 블록
1004: 보충 움직임 벡터의 종점에 대응하는 블록
1010: 보충 움직임 벡터
1011: 배경 영역에서 보충 움직임 벡터가 지나가는 블록의 집합
1011: 전경 영역에서 보충 움직임 벡터가 지나가는 블록의 집합
1020: 보정 보충 움직임 벡터

Claims (14)

  1. 기준 이미지 및 비교 이미지를 기초로 상기 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 단계;
    상기 움직임 벡터를 기초로 상기 기준 이미지 및 상기 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 단계; 및
    상기 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 상기 기준 이미지 및 상기 비교 이미지를 기초로 상기 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 단계를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 보충 움직임 벡터는 상기 움직임 벡터 중 전경 움직임 벡터에 대응하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 중간 움직임 벡터 필드에서 상기 보충 움직임 벡터를 보정하는 단계를 더 포함하는, 영상 처리 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 보충 움직임 벡터가 가리키는 상기 기준 이미지에서의 영상 데이터를 상기 중간 움직임 벡터 필드의 상기 홀 블록에 매칭하는 단계를 더 포함하는, 영상 처리 방법.
  5. 제4항에 있어서,
    상기 기준 이미지에서의 영상 데이터는 상기 기준 이미지에서의 배경 영상 데이터인, 영상 처리 방법.
  6. 제3항에 있어서,
    상기 보충 움직임 벡터를 보정하는 단계는,
    상기 기준 이미지에서 상기 보충 움직임 벡터의 시점에 대응하는 블록 및 종점에 대응하는 블록을 기초로 상기 보충 움직임 벡터의 특성식을 산출하는 단계;
    상기 기준 이미지에서 상기 보충 움직임 벡터가 지나가는 블록의 집합을 추출하는 단계;
    상기 기준 이미지에서 상기 시점 및 상기 종점 각각이 배경 영역 및 전경 영역 중 서로 다른 영역에 위치하는 경우, 상기 블록의 집합 중에서 상기 배경 영역 및 상기 전경 영역 중 상기 시점에 대응하는 블록이 위치하는 영역에 포함되는 후보 블록의 집합을 추출하는 단계;
    상기 기준 이미지에서 상기 후보 블록의 집합 중 상기 시점에 대응하는 블록으로부터 가장 멀리 이격된 후보 블록을 추출하는 단계; 및
    상기 기준 이미지에서 상기 시점에 대응하는 블록을 시점으로 하고, 상기 가장 멀리 이격된 후보 블록을 종점으로 하는 움직임 벡터를 보정 보충 움직임 벡터로 결정하는 단계를 포함하는, 영상 처리 방법.
  7. 제6항에 있어서,
    상기 시점에 대응하는 블록이 위치하는 영역은 상기 배경 영역이고, 상기 종점에 대응하는 블록이 위치하는 영역은 상기 전경 영역인, 영상 처리 방법.
  8. 제1항에 있어서,
    상기 보충 움직임 벡터를 매칭하는 단계는,
    상기 기준 이미지 및 상기 이전 이미지를 기초로 상기 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 역행 움직임 벡터를 추출하는 단계;
    상기 복수의 블록 각각에서 상기 움직임 벡터 및 상기 역행 움직임 벡터의 합을 기초로, 상기 기준 이미지에서 상기 복수의 블록 각각에 대응하는 이진 일관도(binary consistency)를 산출하는 단계;
    상기 홀 블록에 대응하는 상기 기준 이미지에서의 블록을 중심으로 미리 결정된 범위 내에서의 인접 블록 각각의 이진 일관도를 합산하는 단계;
    상기 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 큰 경우, 상기 기준 이미지에서 상기 인접 블록의 이진 일관도가 1인 블록에 대응하는 상기 움직임 벡터의 평균값을 산출하는 단계; 및
    상기 움직임 벡터의 평균값을 상기 보충 움직임 벡터로 결정하는 단계를 포함하는, 영상 처리 방법.
  9. 제8항에 있어서,
    상기 보충 움직임 벡터를 매칭하는 단계는, 상기 인접 블록 각각의 이진 일관도의 합이 임계 일관도보다 작은 경우, 상기 미리 결정된 범위를 확장하는 단계를 더 포함하는, 영상 처리 방법.
  10. 제8항에 있어서,
    상기 이진 일관도를 합산하는 단계는, 상기 미리 결정된 범위 내에서의 인접 블록 중 상기 홀 블록을 제외한 나머지 블록의 이진 일관도만을 합산하는 단계인, 영상 처리 방법.
  11. 표시 패널; 및
    상기 표시 패널에 입력되는 영상을 처리하는 영상 처리부를 포함하고,
    상기 영상 처리부는,
    기준 이미지 및 비교 이미지를 기초로 상기 기준 이미지를 구성하는 복수의 블록 각각에 대응하는 움직임 벡터를 추출하는 움직임 벡터 추출부;
    상기 움직임 벡터를 기초로 상기 기준 이미지 및 상기 비교 이미지 사이에 삽입되는 중간 움직임 벡터 필드를 생성하는 중간 움직임 벡터 필드 생성부; 및
    상기 기준 이미지의 이전 프레임에 대응하는 이전 이미지, 상기 기준 이미지 및 상기 비교 이미지를 기초로 상기 중간 움직임 벡터 필드에 존재하는 적어도 하나의 홀(hole) 블록 각각에 보충 움직임 벡터를 매칭하는 홀 필링(filling)부를 포함하는, 표시 장치.
  12. 제11항에 있어서,
    상기 보충 움직임 벡터는 상기 움직임 벡터 중 전경 움직임 벡터에 대응하는, 표시 장치.
  13. 제11항에 있어서,
    상기 중간 움직임 벡터 필드에서 상기 보충 움직임 벡터를 보정하는 보충 움직임 벡터 보정부를 더 포함하는, 표시 장치.
  14. 제11항 또는 제13항에 있어서,
    상기 보충 움직임 벡터가 가리키는 상기 기준 이미지에서의 영상 데이터를 상기 중간 움직임 벡터 필드의 상기 홀 블록에 매칭하는 움직임 보상부를 더 포함하는, 표시 장치.
KR1020160149460A 2016-11-10 2016-11-10 영상 처리 방법 및 이를 이용한 표시 장치 KR20180052301A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160149460A KR20180052301A (ko) 2016-11-10 2016-11-10 영상 처리 방법 및 이를 이용한 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160149460A KR20180052301A (ko) 2016-11-10 2016-11-10 영상 처리 방법 및 이를 이용한 표시 장치

Publications (1)

Publication Number Publication Date
KR20180052301A true KR20180052301A (ko) 2018-05-18

Family

ID=62453931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160149460A KR20180052301A (ko) 2016-11-10 2016-11-10 영상 처리 방법 및 이를 이용한 표시 장치

Country Status (1)

Country Link
KR (1) KR20180052301A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200015286A (ko) * 2018-08-03 2020-02-12 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200015286A (ko) * 2018-08-03 2020-02-12 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치

Similar Documents

Publication Publication Date Title
JP4525692B2 (ja) 画像処理装置、画像処理方法、画像表示装置
US9509971B2 (en) Image processing device, image processing method, and program
US8265160B2 (en) Parallel three-dimensional recursive search (3DRS) meandering algorithm
KR102624885B1 (ko) 유기 발광 표시 장치 및 그의 구동 방법
WO2022156322A1 (zh) 显示补偿模组、显示补偿方法和显示装置
GB2475369A (en) Frame rate convertor using motion estimation and pixel interpolation
US8693545B2 (en) Display device and image processing method thereof
KR102521949B1 (ko) 영상 보정부 및 표시 장치의 구동 방법
US9161011B2 (en) Image processing apparatus and control method thereof
US8830257B2 (en) Image displaying apparatus
US10311801B2 (en) Liquid crystal display device
EP2884741B1 (en) Image processing device, display device, image processing method, display method, and image processing program
KR20220049645A (ko) 잔상 보상 장치 및 이를 포함하는 표시 장치
KR20180052301A (ko) 영상 처리 방법 및 이를 이용한 표시 장치
US20120099018A1 (en) Image processing apparatus and method and image display apparatus and method
JP2009060377A (ja) 補間フレーム生成装置及び補間フレーム生成方法
JP4951487B2 (ja) 映像処理装置及びそれを用いた映像表示装置
US20120268562A1 (en) Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion
US20100214488A1 (en) Image signal processing device
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
KR20180031476A (ko) 영상 처리 방법 및 이를 이용한 표시 장치
JP5114290B2 (ja) 信号処理装置
JP2020126238A (ja) 画素ブロックベース表示データの処理および送信
KR20180023715A (ko) 영상 처리 방법 및 이를 이용한 표시 장치
KR102581361B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치

Legal Events

Date Code Title Description
A201 Request for examination