KR20190017293A - 영상 처리 방법 및 이를 이용한 표시 장치 - Google Patents

영상 처리 방법 및 이를 이용한 표시 장치 Download PDF

Info

Publication number
KR20190017293A
KR20190017293A KR1020170101901A KR20170101901A KR20190017293A KR 20190017293 A KR20190017293 A KR 20190017293A KR 1020170101901 A KR1020170101901 A KR 1020170101901A KR 20170101901 A KR20170101901 A KR 20170101901A KR 20190017293 A KR20190017293 A KR 20190017293A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
block
unit
filling
Prior art date
Application number
KR1020170101901A
Other languages
English (en)
Inventor
이웅원
홍종주
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020170101901A priority Critical patent/KR20190017293A/ko
Publication of KR20190017293A publication Critical patent/KR20190017293A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명에 따른 영상 처리 방법은, 연속되는 두 프레임으로부터 중간 프레임을 생성하기 위해 모션 추정을 통해 중간 프레임의 각 블록에 대한 모션 벡터를 생성할 때, 모션 벡터를 생성하지 못한 제1 블록을 채우기 위한 주변 블록들의 범위를 결정하고, 결정된 범위 내의 제2 블록들을 제2 블록들에 대해 생성된 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하고, 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하고, 선택된 그룹의 대표 모션 벡터로 제1 블록에 대한 모션 벡터를 채울 수 있다. 따라서, 적은 계산량으로도 모션 벡터를 정확하게 추정하고, 보간 이미지에 발생하는 홀을 채우는 정확도를 높일 수 있게 된다.

Description

영상 처리 방법 및 이를 이용한 표시 장치{IMAGE PROCESSING METHOD AND DISPLAY DEVICE USING THE SAME}
본 발명은 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것이다.
정보화 사회로 진행함에 따라 화상을 표시하기 위한 표시 장치에 대한 요구가 다양해지고 있으며, 근래에는 액정 표시 장치(LCD: Liquid Crystal Display), 유기 발광 다이오드 표시 장치(OLED: Organic Light Emitting Diode)와 같은 여러 평판 표시 장치가 널리 사용되고 있다.
표시 장치의 데이터 처리 능력이 향상되고, 높은 품질의 화면에 대한 사용자의 요구가 커지면서, 단위 시간에 표시하는 프레임의 개수를 높이는 프레임 레이트 업 변환 기술(Frame Rate Up Conversion)이 평면 표시 장치에 적용되고 있다. 이 기술은 이미지에 포함된 대상(또는 오브젝트)이 움직일 때 발생하는 블러(Blur)나 흔들림(Judder)를 제거하기 위해 입력되는 이미지 사이에 중간 이미지 또는 보간(Interpolation) 이미지를 생성하여 삽입하는 기술이다. 특히, 잔상이 남는 액정 표시 장치에 이 기술의 효용이 높다.
프레임 레이트를 높이기 위해서는, 연속되는 이미지 사이에 오브젝트의 움직임을 표현한 값, 즉 모션 벡터(Motion Vector: MV)를 추정(Motion Estimation: ME)하고 이를 보정하는(Motion Compensation: MC) 과정을 거쳐 보간 이미지를 생성한다. 이 과정에서 보간 이미지에 데이터를 채우지 못하는 영역, 즉 홀(Hole)이 발생할 수 있고, 이러한 홀을 채우는 여러 알고리즘이 제시되고 있다. 일반적으로 홀 주변의 모션 벡터를 활용하는데, 정확한 모션 벡터를 활용하기 위해서 영상 정보 중에서 에지(Edge) 정보나 분할(Segmentation) 정보를 이용할 수 있고, 또는 이보다 단순한 방법으로는 주변 모션 벡터의 평균 값 또는 중간 값을 이용할 수 있다.
하지만, 전자의 경우, 즉 에지나 분할 정보를 보조로 사용할 때에는 계산이 복잡하여 이에 지불할 비용 또는 계산 양이 많아지고, 후자의 경우, 즉 평균 값이나 중간 값을 이용할 때에는 오브젝트 경계에서 모션 벡터가 부정확하게 추정되어 아티팩트(Artifact)가 발생할 여지가 있다.
특히, 둘 이상의 모션이 혼재된 영역, 즉 둘 이상의 오브젝트가 다른 방향으로 움직이는 영역에서 모션 추정과 모션 보정에 정확도가 떨어져 홀을 정확히 채우지 못하고 영상 품질이 떨어진다.
본 발명은 이러한 상황을 감안한 것으로, 본 발명의 목적은 프레임 레이트를 높이기 위해 보간 이미지를 생성할 때 발생하는 홀을 정확히 채우는 영상 처리 방법 및 영상 처리 장치를 제공하는 데 있다.
본 발명의 다른 목적은, 보간 영상에 발생하는 홀을 채우기 위한 모션 벡터의 정확도를 높이는 영상 처리 방법 및 영상 처리 장치를 제공하는 데 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 연속되는 두 프레임으로부터 중간 프레임을 생성하기 위해 모션 추정을 통해 중간 프레임의 각 블록에 대한 모션 벡터를 생성할 때, 모션 벡터를 생성하지 못한 제1 블록을 채우기 위한 주변 블록들의 범위를 결정하는 단계; 결정된 범위 내의 제2 블록들을 제2 블록들에 대해 생성된 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하는 단계; 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하는 단계; 및 선택된 그룹의 대표 모션 벡터로 제1 블록에 대한 모션 벡터를 채우는 단계를 포함하여 이루어지는 것을 특징으로 한다.
일 실시예에서, 결정하는 단계는 생성된 모션 벡터의 신뢰도가 제1 값 이상이 되는 블록의 개수가 제2 값 이상이 되도록 제1 블록의 주변 블록들을 선택할 수 있다.
일 실시예에서, 신뢰도는 해당 블록의 모션 벡터에 대한 시간적 일관성 또는 공간적 일관성 중 하나 이상을 포함할 수 있다.
일 실시예에서, 그룹핑 하는 단계는, 제2 모션 벡터들의 제1 성분의 절대 합과 제1 성분과 수직인 제2 성분의 절대 합을 비교하고, 그 값이 더 큰 성분을 기준으로 제2 모션 벡터들을 분류할 수 있다.
일 실시예에서, 그룹핑 하는 단계는, 제1 성분의 절대 합이 제2 성분의 절대 합보다 클 때, 제2 모션 벡터들의 제1 성분의 평균을 기준 값으로 하여 각 제2 모션 벡터들의 제1 성분과 비교하여 제2 모션 벡터들을 2개의 그룹으로 분류할 수 있다.
일 실시예에서, 선택하는 단계는, 각 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 신뢰도의 평균을 해당 그룹의 신뢰도로 계산하거나, 또는 각 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 신뢰도를 해당 제2 블록과 제1 블록 사이의 거리에 반비례하는 값으로 가중하여 구한 평균을 해당 그룹의 신뢰도로 계산할 수 있다.
일 실시예에서, 채우는 단계는, 선택된 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 평균 또는 해당 제2 블록과 제1 블록 사이의 거리를 고려하여 선택된 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들을 가중 평균을 대표 모션 벡터로 결정할 수 있다.
본 발명의 다른 실시예에 따른 영상 처리 장치는, 연속되는 두 프레임으로부터 포워드 모션 벡터와 백워드 모션 벡터를 생성하기 위한 모션 추정부; 모션 추정부가 생성한 포워드 모션 벡터와 백워드 모션 벡터를 근거로 두 프레임 사이에 삽입될 중간 프레임에 대한 그리드 매핑 동작을 수행하여 중간 프레임의 각 블록에 대해 모션 벡터를 결정하기 위한 중간 모션 벡터 생성부; 중간 모션 벡터 생성부가 모션 벡터를 생성하지 못한 제1 블록에 대한 모션 벡터를 채우기 위한 모션 벡터 필링부; 및 중간 모션 벡터 생성부와 모션 벡터 필링부가 중간 프레임에 대해 생성한 모션 벡터를 근거로 중간 프레임의 이미지 데이터를 보정하기 위한 모션 보상부를 포함하여 구성되고, 모션 벡터 필링부는, 제1 블록에 대한 모션 벡터를 채우기 위한 주변 블록들의 범위를 결정하기 위한 범위 결정부; 결정된 범위 내의 제2 블록들을 중간 모션 벡터 생성부가 제2 블록들에 대해 생성한 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하기 위한 모션 벡터 그룹핑부; 모션 벡터 그룹핑부가 그룹핑 한 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하기 위한 그룹 선택부; 및 그룹 선택부가 선택한 그룹의 대표 모션 벡터로 제1 블록에 대한 모션 벡터를 채우기 위한 필링부를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 다른 표시 장치는, 데이터 라인들과 게이트 라인들이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함하는 표시 패널; 입력되는 영상 데이터를 모션 추정과 모션 보상을 통해 보간 처리하기 위한 영상 처리부; 영상 처리부가 출력하는, 프레임 레이트가 2배가 되는 영상 데이터를 수신할 때, 제어 신호들을 동작 속도가 2배가 되도록 조절하기 위한 타이밍 컨트롤러; 타이밍 컨트롤러의 제어에 따라 타이밍 컨트롤러로부터 입력되는 영상 데이터를 데이터 전압으로 변환하여 데이터 라인들에 출력하기 위한 데이터 구동 회로; 및 타이밍 컨트롤러의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 생성하여 게이트 라인들에 순차적으로 공급하기 위한 게이트 구동 회로를 포함하여 구성되고, 영상 처리부는, 연속되는 두 프레임으로부터 포워드 모션 벡터와 백워드 모션 벡터를 생성하기 위한 모션 추정부; 모션 추정부가 생성한 포워드 모션 벡터와 백워드 모션 벡터를 근거로 두 프레임 사이에 삽입될 중간 프레임에 대한 그리드 매핑 동작을 수행하여 중간 프레임의 각 블록에 대해 모션 벡터를 결정하기 위한 중간 모션 벡터 생성부; 중간 모션 벡터 생성부가 모션 벡터를 생성하지 못한 제1 블록에 대한 모션 벡터를 채우기 위한 주변 블록들의 범위를 결정하고, 결정된 범위 내의 제2 블록들을 제2 블록들에 대해 생성된 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하고, 그룹핑 한 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하고, 선택된 그룹의 대표 모션 벡터로 제1 블록에 대한 모션 벡터를 채우기 위한 모션 벡터 필링부; 및 중간 모션 벡터 생성부와 모션 벡터 필링부가 중간 프레임에 대해 생성한 모션 벡터를 근거로 중간 프레임의 이미지 데이터를 보정하기 위한 모션 보상부를 포함하여 구성되는 것을 특징으로 한다.
따라서, 많은 계산을 필요로 하는 방법을 사용하지 않고도, 모션 벡터를 정확하게 추정하고, 보간 이미지에 발생하는 홀을 채우는 정확도를 높일 수 있게 된다.
또한, 보간하는 이미지에서 두 물체의 경계 부분에서 부정확한 모션 벡터에 의해 아티팩트가 발생하는 것을 줄여, 화질을 향상시킬 수 있게 된다.
또한, 계산량이 많지 않은 방식으로 비교적 정확하게 홀을 채움으로써, 용이하게 구현할 수 있게 된다.
도 1은 연속하는 두 이미지로부터 모션을 추정하여 보간 이미지를 생성하는 구성을 개념적으로 도시한 것이고,
도 2a 내지 도 2c는 두 이미지 사이에 모션 벡터를 구하는 과정을 도시한 것이고,
도 3a와 도 3b는 두 이미지 사이에 보간 이미지를 생성할 때 홀이 발생하는 예를 도시한 것이고,
도 4a 내지 도 4d는 두 물체의 경계에 발생하는 홀을 메우기 위해 홀에 대응되는 모션 벡터를 추정하는 과정을 도시한 것이고,
도 5a 내지 도 5c는 두 물체 경계에서 모션 벡터를 잘못 추정하여 정확하지 않은 데이터로 홀을 채운 예를 도시한 것이고,
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법이 적용되는 표시 장치를 블록으로 도시한 것이고,
도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이고,
도 8은 본 발명에 따른 모션 벡터 홀 필링부의 구체적인 구성을 블록으로 도시한 것이고,
도 9는 본 발명에 따라 모션 벡터가 결정되지 않은 홀에 모션 벡터를 채우는 과정을 도시한 것이고,
도 10은 본 발명에 따라 홀을 채운 보간 이미지를 도시한 것이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성 요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 연속하는 두 이미지로부터 모션을 추정하여 보간 이미지를 생성하는 구성을 개념적으로 도시한 것이고, 도 2a 내지 도 2c는 두 이미지 사이에 모션 벡터를 구하는 과정을 도시한 것이다.
모션 추정(ME)과 모션 보정(MC)은, 도 1에 도시한 것과 같이, 연속하는 두 이미지(또는 프레임)(Frame(n), Frame(n+1))를 비교하여 프레임 내 오브젝트의 모션 벡터를 추정하고, 추정된 모션 벡터를 이용하여 모션 벡터를 보상하여, 두 프레임 사이에 보간된 프레임(Frame(n+0.5))을 생성하는 것이다.
프레임 보간을 위해 모션 벡터를 얻는 과정에서, 도 2a와 같이 앞/뒤 프레임(Frame(n), Frame(n+1))을 비교하여 두 프레임에 위치하는 같은 또는 유사한 오브젝트의 이동 값, 즉 모션 벡터를 얻되, 도 2b와 같이 전후 두 방향에서 모션 벡터를 얻는다. 이전 프레임(Frame(n))에 포함된 블록에 대응되는 블록을 다음 프레임(Frame(n+1))에서 찾아 그 이동 값, 즉 포워드 모션 벡터(Forward MV: MVf)를 추정하고(MEf), 또한 다음 프레임(Frame(n+1))에 포함된 블록에 대응되는 블록을 이전 프레임(Frame(n))에서 찾아 그 이동 값, 즉 백워드 모션 벡터(Backward MV: MVb)를 추정한다(MEb). 여기서 블록은 4x4 또는 8x8 크기의 픽셀 모임일 수 있다.
다음으로, 중간 프레임 생성에 사용될 하나의 모션 벡터를 얻기 위해 포워드 모션 벡터와 백워드 모션 벡터를 보간할 중간 프레임의 그리드(Grid)로 이동시켜(그리드 매핑(Grid Mapping)) 이동된 모션 벡터를 결정하는 과정을 거친다.
즉, 포워드 모션 벡터와 백워드 모션 벡터를 이용하여 이전 프레임과 다음 프레임 사이에 삽입할 중간 프레임의 각 영역에 대한 모션 벡터를 생성하는데(도 1에서 Intermediate Motion Vector Generation), 포워드 모션 벡터와 백워드 모션 벡터가 크기가 같고 방향이 정반대라면 중간 프레임에서 모션 벡터를 정확하게 얻을 수 있다.
도 2c와 같이, 전후 프레임(Frame(n), Frame(n+1))에서 동일한 것으로 추정되는 오브젝트의 포워드 모션 벡터와 백워드 모션 벡터가 크기가 같고 방향이 정반대일 때, 포워드 모션 벡터의 절반에 해당하는 모션 벡터(IMVf)에 의해 이전 프레임(Frame(n))의 제1 블록(1st Block)에 있는 오브젝트가 중간 프레임(Frame(n+0.5))의 제3 블록(3rd Block)으로 이동하고, 백워드 모션 벡터의 절반에 해당하고 방향이 정반대인 모션 벡터(IMVb)에 의해 다음 프레임(Frame(n+1))의 제2 블록(2nd Block)에 있는 오브젝트가 중간 프레임(Frame(n+0.5))의 제3 블록(3rd Block)으로 이동한다. 따라서, 중간 프레임(Frame(n+0.5))의 제3 블록(3rd Block)에 대한 모션 벡터(IMV)는 포워드 모션 벡터의 절반에 해당하는 모션 벡터(IMVf)로 결정할 수 있다.
이와 같은 방법으로, 전후 프레임(Frame(n), Frame(n+1))을 근거로 구한 포워드 모션 벡터와 백워드 모션 벡터를 근거로 그리드 매핑을 수행하여 중간 프레임의 각 블록에 대한 포워드 및 백워드 모션 벡터(IMVf, IMVb)를 생성하고, 이를 이용하여 모션 벡터(IMV)를 생성할 수 있다.
도 3a와 도 3b는 두 이미지 사이에 보간 이미지를 생성할 때 홀이 발생하는 예를 도시한 것이다.
도 2에서는, 전후 프레임으로부터 각 블록에 대해 추정한 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb) 중에서 중간 프레임의 제3 블록으로 안내하는 포워드 모션 벡터(IMVf)와 백워드 모션 벡터(IMVb)를 찾을 때, 찾은 포워드 모션 벡터(IMVf)와 백워드 모션 벡터(IMVb)가 크기가 같고 방향이 같기 때문에, 중간 프레임의 제3 블록에 대한 모션 벡터를 결정할 수 있다.
하지만, 도 3a에서와 같이, 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb) 중에서(포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)의 절반에 해당하는 모션 벡터 중에서) 중간 프레임의 제3 블록으로 안내하는 포워드 모션 벡터(IMVf)와 백워드 모션 벡터(IMVb)가 크기가 서로 다르거나 방향이 정반대가 되지 않으면, 중간 프레임의 제3 블록에 대한 모션 벡터를 구할 수 없게 된다.
도 3b는, 전후 프레임으로부터 구한 포워드 모션 벡터로부터 중간 프레임의 각 영역에 대한 포워드 중간 모션 벡터를 구하고(IMVf), 전후 프레임으로부터 구한 백워드 모션 벡터로부터 중간 프레임의 각 영역에 대한 백워드 중간 모션 벡터를 구하고(IMVb), 이를 근거로 중간 프레임의 각 영역에 대한 모션 벡터(IMV)를 구하는 과정을 도시하고 있다.
도 3b에서, 포워드 중간 모션 벡터와 백워드 중간 모션 벡터를 각각 구한 2개의 중간 프레임에서, 4개 블록에 포워드 중간 모션 벡터가 지정되지 않고, 6개 블록에 백워드 중간 모션 벡터가 지정되지 않고 있다. 포워드 중간 모션 벡터가 지정되지 않았지만 백워드 중간 모션 벡터가 지정된 블록(IMVf에서 1개 블록) 또는 반대로 백워드 중간 모션 벡터가 지정되지 않았지만 포워드 중간 모션 벡터가 지정된 블록(IMVb에서 3개 블록)에 대한 모션 벡터로는, 이미 지정된 포워드 또는 백워드 중간 모션 벡터로 결정할 수 있다.
하지만, 포워드 및 백워드 중간 모션 벡터가 모두 지정되지 않은 블록이나 지정된 포워드 중간 모션 벡터와 백워드 중간 모션 벡터가 서로 크기와 방향 중 적어도 하나 이상이 같지 않을 블록에 대해서는 중간 모션 벡터를 결정할 수 없고 데이터를 채울 수 없는 홀(Hole)로 판단한다.
도 3b에서 중간 프레임의 3개의 블록에 포워드 중간 모션 벡터와 백워드 중간 모션 벡터가 모두 지정되지 않아 해당 블록에 대한 중간 모션 벡터를 결정할 수 없고, 해당 블록은 홀로 결정하고 홀을 채우는 추가적인 처리 과정을 거친다(도 1에서 Motion Vector Hole Filling).
도 4a 내지 도 4d는 두 물체의 경계에 발생하는 홀을 메우기 위해 홀에 대응되는 모션 벡터를 추정하는 과정을 도시한 것이고, 도 5a 내지 도 5c는 두 물체 경계에서 모션 벡터를 잘못 추정하여 정확하지 않은 데이터로 홀을 채운 예를 도시한 것이다.
홀을 채우는 방법으로는 주변 블록의 모션 벡터를 이용하는 것을 생각할 수 있다. 앞에서 언급하였듯이, 주변의 모션 벡터를 정확하게 활용하기 위해 영상 정보 내의 에지(Edge) 정보나 분할(Segmentation) 정보를 이용하는 경우 계산이 복잡해지는 문제가 있다.
도 4a 내지 도 4c는 홀을 채우기 위해 주변 블록의 모션 벡터를 단순한 방법으로, 예를 들어 주변 모션 벡터의 평균 값 또는 중간 값을 이용하는 과정을 도시한 것인데, 도 4a에서 빗금친 부분이 모션 추정에 의해 중간 프레임의 모션 벡터를 결정하지 못하고 홀로 결정한 블록을 가리킨다.
도 4a의 중간 프레임의 블록 구획에서 홀로 결정된 3번째 행, 4번째 열의 블록을 채우기 위해, 해당 블록을 중심으로 행과 열 방향으로 5개의 블록, 즉 25개의 블록을 선택하고(도 4a와 도 4b에서 점선에 쌓인 영역), 도 4c와 같이 선택된 25 블록에 지정된 모션 벡터들을 평균하거나(Vector Averaging) 중간 값을 취하여(Median Filtering) 해당 블록에 대한 모션 벡터로 결정할 수 있다.
도 4d는 프레임 내에서 두 오브젝트의 경계와 각 오브젝트의 움직이는 방향을 도시한 것으로, 도 4a에서 홀로 결정된 블록은, 두 오브젝트의 경계 부근에 위치하여 모션 벡터를 결정하기 어려웠지만, 실제는 왼쪽 위쪽 영역에 해당하는 오브젝트에 속해서 해당 블록의 왼쪽 위쪽에 위치하는 블록과 같거나 유사한 방향의 모션 벡터로 채우는 편이 타당하다. 하지만, 도 4c와 같이 주위 블록의 모션 벡터를 평균하거나 중간 값을 취하게 되면, 실제 움직임과 다른 모션 벡터로 결정될 가능성이 높아진다.
도 5a는 이전 프레임이나 다음 프레임의 원본 영상이고, 도 5b는 중간 프레임에 대해 모션 벡터가 추정된 영역과 홀로 결정된 영역 및 추정된 모션 벡터를 표시한 것이고, 도 5c는 홀로 결정된 영역을 오브젝트(Object) 영역의 모션 벡터와 배경(Background) 영역의 모션 벡터를 평균하여 홀을 채운 중간 프레임의 영상으로, 오브젝트와 배경 경계에서 끌림 현상이 발생하여 중간 프레임의 영상 품질이 떨어진다.
이와 같이, 오브젝트 경계에서 경계를 맞대고 있는 두 오브젝트의 움직임이 다른 방향일 때, 모션 벡터가 추정되지 않고 홀로 결정될 가능성이 높고, 단순히 일정 범위 안 주변 블록의 모션 벡터를 평균하면, 모션 벡터가 부정확하게 추정되어 아티팩트가 발생할 가능성이 높게 된다.
본 발명은, 오브젝트의 경계 부근에 존재하는 홀 주변의 모션 벡터를 둘 또는 그 이상의 모션 벡터 그룹으로 분류하고, 그 중 해당 홀이 속할 확률이 높거나 신뢰도가 더 높은 그룹의 대표 모션 벡터로 해당 홀을 채워서, 더 높은 확률로 중간 프레임의 모션 벡터의 정확도를 향상시킬 수 있다.
이를 위해, 본 발명에 따른 영상 처리 방법은, 이웃하는 두 프레임 사이에 보간할 보간 프레임 또는 중간 프레임의 각 블록에 대해 모션 벡터를 추정하되, 모션 추정이 실패한 홀 주변의 블록에 대해 추정된 모션 벡터 중에서 일정한 신뢰도를 확보할 수 있는 블록 범위를 확정하고, 소정 기준으로 범위 내 모션 벡터를 분류하여 그룹핑 하고, 분류된 그룹 중에서 신뢰도가 높은 그룹을 선택하고 선택된 그룹의 대표 모션 벡터를 계산하고, 해당 홀을 계산된 모션 벡터로 채울 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법이 적용되는 표시 장치를 블록으로 도시한 것이다. 본 발명의 실시예에 따른 표시 장치는 표시 패널(10), 타이밍 컨트롤러(11), 데이터 구동 회로(12), 게이트 구동 회로(13) 및 영상 처리부(20)를 구비한다.
표시 패널(10)에는 데이터 라인들(14)과 게이트 라인들(15)이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함한다. 표시 패널(10)의 데이터 라인들과 게이트 라인들의 교차부에는 박막 트랜지스터(Thin Film Transistor: TFT)가 형성된다. 표시 패널(10)은, 액정 표시 소자(Liquid Crystal Display, LCD), 전계 방출 표시 소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 및 무기 전계 발광 소자와 유기 발광 다이오드 소자(Organic Light Emitting Diode, OLED)를 포함한 전계 발광 소자(Electroluminescence Device, EL), 전기 영동 표시 소자(Electrophoresis, EPD) 등의 평판 표시 소자로 구현될 수 있다. 표시 패널(10)이 액정 표시 소자의 표시 패널로 구현되는 경우, 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.
영상 처리부(20)는 입력되는 nHz, 예를 들어 30Hz의 영상 데이터(RGB(nHz))를 모션 추정과 모션 보정을 통해 보간 처리한다. 영상 처리부(20)는 보간 처리된 2nHz, 예를 들어 60Hz의 영상 데이터(RGB'(2nHz))를 타이밍 컨트롤러(11)로 출력한다. 영상 처리부(20)에 대한 자세한 설명은 도 7과 도 8을 결부하여 다음에 설명한다.
타이밍 컨트롤러(11)는 영상 처리부(20)로부터 출력되는 영상 데이터(RGB'(2nHz))를 데이터 구동 회로(12)에 공급한다. 타이밍 컨트롤러(11)는 호스트 시스템(도시하지 않음)으로부터 수직 동기 신호(Vsync), 수평 동기 신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍 신호를 입력 받아 데이터 구동 회로(12)와 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 제어 신호들을 생성한다. 제어 신호들은 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어 신호(GCS)와 데이터 구동 회로(12)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어 신호(DCS)를 포함한다.
타이밍 컨트롤러(11)는, 영상 처리부(20)로부터 프레임 레이트가 예를 들어 2배 높아진 영상 데이터가 입력될 때, 제어 신호들을 동작 속도가 2배가 되도록 조절하여 데이터 구동 회로(12)와 게이트 구동 회로(13)에 공급한다.
데이터 구동 회로(12)는 타이밍 컨트롤러(11)의 제어에 따라 영상 데이터(RGB'(2nHz))를 데이터 전압으로 변환하여 데이터 라인들(14)로 출력한다. 게이트 구동 회로(13)는 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 게이트 라인들(15)에 순차적으로 공급한다.
게이트 구동 회로(13)는, 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 표시 패널(10)의 게이트 라인들(15)에 순차적으로 공급한다. 게이트 구동 회로(13)는 쉬프트 레지스터, 쉬프트 레지스터의 출력 신호를 픽셀의 TFT 구동에 적합한 스윙 폭으로 변환하기 위한 레벨 쉬프터 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적 회로들로 구성될 수 있다. 또는, 게이트 구동 회로(13)는 GIP(Gate Drive IC in Panel) 방식으로 표시 패널(10)의 하부 기판에 직접 형성될 수도 있다. GIP 방식의 경우, 레벨 쉬프터는 PCB(Printed Circuit Board) 위에 실장되고, 쉬프트 레지스터는 표시 패널(10)의 하부 기판에 형성될 수 있다.
도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이고, 도 8은 본 발명에 따른 모션 벡터 홀 필링부의 구체적인 구성을 블록으로 도시한 것이다.
본 발명에 따른 영상 처리부(20)는, 연속되는 두 프레임(Frame(n), Frame(n+1))의 데이터를 수신하여, 모션 추정과 모션 보정을 통해 두 프레임의 중간에 삽입될 중간 프레임(Frame(n+0.5))을 생성하여 출력하는데, 모션 추정부(210), 중간 모션 벡터 생성부(220), 모션 벡터 홀 필링부(230) 및 모션 보상부(240)를 포함하여 구성될 수 있다.
모션 추정부(210)는 두 프레임(Frame(n), Frame(n+1))에 대해 전방과 후방으로 모션을 추정하여 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)를 얻는다.
중간 모션 벡터 생성부(220)는, 포워드 모션 벡터와 백워드 모션 벡터를 이용하여 중간 프레임에 대한 그리드 매핑 동작을 수행하여 중간 프레임의 각 블록에 대해 모션 벡터를 결정한다.
구체적으로, 중간 모션 벡터 생성부(220)는, 모션 추정부(210)가 추정한 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)를 보간할 중간 프레임의 그리드로 이동시켜, 중간 프레임의 각 블록에 대해 포워드 모션 벡터를 구하고 또한 중간 프레임의 각 블록에 대해 백워드 모션 벡터를 구한 후, 이를 비교하여 중간 프레임의 각 블록에 대한 모션 벡터 또는 중간 모션 벡터를 결정한다.
이때, 포워드 모션 벡터와 백워드 모션 벡터가 서로 일치하는 블록은 일치하는 값으로 중간 모션 벡터를 결정할 수 있어서 문제가 없고, 포워드 모션 벡터와 백워드 모션 벡터 중에서 하나만 구해지고 나머지 하나는 구해지지 않는 블록도 구해진 모션 벡터 값으로 결정할 수 있어서 큰 문제가 없다.
하지만, 중간 모션 벡터 생성부(220)는, 포워드 모션 벡터와 백워드 모션 벡터가 모두 구해졌지만 서로 일치하지 않는 블록이나 포워드 모션 벡터와 백워드 모션 벡터 어느 하나도 구해지지 않는 블록에 대해, 모션 벡터를 결정할 수 없고, 홀(Hole)로 결정하여, 모션 벡터 홀 필링부(230)에 출력한다.
모션 벡터 홀 필링부(230)는, 홀로 결정된 블록의 모션 벡터를 결정하기 위해 이용할 주변 블록의 범위를 결정하고, 결정된 주변 블록의 모션 벡터를 그 방향을 근거로 둘 이상의 그룹으로 나누고, 신뢰도가 높은 그룹을 선택하여 선택된 그룹의 대표 모션 벡터를 계산하고 이를 해당 홀의 모션 벡터로 결정할 수 있는데, 도 8에 도시한 것과 같이, 범위 결정부(231), 모션 벡터 그룹핑부(232), 그룹 선택부(233) 및 홀 대체부(234)를 포함하여 구성될 수 있다.
모션 보상부(240)는, 중간 프레임에 대해 생성한 모션 벡터를 근거로 이전 프레임(Frame(n))과 다음 프레임(Frame(n+1))을 각각 이용하여 2개의 중간 프레임을 생성하고, 이를 서로 비교하여 그 차이가 작게 되도록 중간 프레임(Frame(n+0.5))의 이미지 데이터를 보정하여 출력할 수 있다.
도 9는 본 발명에 따라 모션 벡터가 결정되지 않은 홀에 모션 벡터를 채우는 과정을 도시한 것으로, 도 8의 모션 벡터 홀 필링부(230)의 구성을 참조로 구체적으로 설명한다.
중간 모션 벡터 생성부(220)는, 모션 추정부(210)가 추정한 포워드 모션 벡터(MVf)와 백워드 모션 벡터(MVb)를 이용하여 중간 프레임의 각 블록에 대해 모션 벡터(IMV)를 결정하고, 모션 벡터를 결정하지 못한 블록을 홀(Holes)로 결정한다.
모션 벡터 홀 필링부(230)는, 중간 모션 벡터 생성부(220)로부터 중간 프레임의 각 블록에 대해 모션 벡터(IMV)와 홀(Holes)로 결정된 블록 위치를 입력 받고, 이를 이용하여 홀로 결정된 블록의 모션 벡터를 결정하여, 모든 블록에 대한 모션 벡터를 결정하여 출력한다(IMV').
먼저, 범위 결정부(231)는, 도 9a와 같이, 홀로 결정된 블록에 대한 모션 벡터를 결정하기 위해(홀 필링) 모션 벡터를 이용할 주변 블록의 범위를 정하는데, 홀 필링을 위한 주변 범위를 확정하기 위해서는 주변 모션 벡터의 신뢰도가 보장되어야 한다. 즉, 어느 정도의 높은 신뢰도가 있는 모션 벡터를 이용해야 홀 필링의 정밀도를 높일 수 있다.
모션 벡터의 신뢰도로는 해당 모션 벡터의 시간적 일관성(Temporal Consistency) 또는 공간적 일관성(Spatial Consistency)을 사용할 수 있는데, 시간적 일관성은 연속되는 소정 개수의 이전 프레임들로부터 순차적으로 해당 블록으로 안내하는 모션 벡터들의 방향이 어느 정도 일정한가를 가리키는 값이고, 공간적 일관성은 주변 블록의 모션 벡터가 어느 정도 일정한 값을 갖는가를 가리킨다.
도 9는 홀 주변 블록에 결정된 모션 벡터의 신뢰도를 도시한 것이다.
범위 결정부(231)는, 먼저 홀로 결정된 블록을 둘러싸는 주변 8개 블록에 결정된 모션 벡터의 신뢰도 값을 확인하는데, 신뢰도 값이 소정의 문턱 값보다 높은 모션 벡터가 소정 개수 이상인지, 예를 들어 신뢰도 값이 4 이상이 모션 벡터가 5개 이상인지 확인하여, 해당 조건을 만족하는 범위로 주변 블록을 결정할 수 있다.
도 9에서 가운데 홀로 결정된 블록 주변 8개 블록 중에서 2개가 홀이고 나머지 6개 블록에 모션 벡터가 결정된 상태이고, 6개의 모션 벡터 중에서 신뢰도 값이 4 이상인 것은 3개로 기준 값인 4개보다 작기 때문에, 주변 블록 범위를 확대해야 한다.
범위 결정부(231)는, 홀 블록 주변 8개 및 그보다 한 블록 외곽인 16개의 블록까지 범위를 확장하는데, 확장된 16개의 블록은, 2개가 홀이고 14개가 모션 벡터가 결정된 상태이고, 모션 벡터의 신뢰도 값이 4보다 큰 것이 8개로, 신뢰도 조건을 만족하므로, 홀 블록 주변 24개의 블록으로 홀 필링을 위한 범위를 확정할 수 있다.
모션 벡터 그룹핑부(232)는, 범위 결정부(231)가 확정한 범위 안의 모션 벡터를 둘 또는 그 이상의 그룹으로 그룹핑 하는데, 범위 안의 모션 벡터를 분류할 수 있는 성분을 선택하고 해당 성분을 기준으로 예를 들어 두 그룹으로 그룹핑 한다.
주변 모션 벡터의 방향이 서로 비슷하고 일관성을 갖는 영역에서는 홀(Hole)이 발생할 여지가 적고, 대신 둘 이상의 오브젝트가 상대적으로 움직일 때 두 오브젝트의 경계를 이루는 부근에서 홀(Hole)이 발생할 가능성이 높다. 즉, 홀(Hole)로 결정된 블록 주변의 모션 벡터들은 서로 다른 방향을 향할 수 있고, 이를 분류할 수 있는 간단한 방법이 필요하다.
본원 발명에 따른 모션 벡터 그룹핑부(232)는, 주변의 모션 벡터를 각각 제1 방향 성분 및 이와 수직인 제2 방향 성분, 예를 들어 x 방향 성분과 y 방향 성분으로 나누고, 확정된 범위 내의 모든 모션 벡터의 x 성분의 절대 값의 합(이후 간단히 절대 합이라 함)과 y 성분의 절대 합을 구하고, 두 절대 합 중에서 큰 값을 갖는 성분을 선택하여 이를 기준으로 모션 벡터를 그룹핑 할 수 있다.
도 9c에서, 홀이 가운데 형성되고 홀 필링을 위한 범위로 확정된 25개의 블록 중에서, 좌우상향에 위치한 블록들은 135도를 향하는 모션 벡터를 포함하고 오른편에 위치한 블록들은 0도를 향하는 모션 벡터를 포함한다. 모션 벡터 그룹핑부(232)는, 이러한 모션 벡터들을 x 성분과 y 성분으로 나누고 x 성분의 절대 합과 y 성분의 절대 합을 구하여 비교하는데, 도 9c의 경우 오른편의 모션 벡터는 y 성분이 0이기 때문에 x 성분의 절대 합이 더 크므로, 모션 벡터의 x 성분 값을 기준으로 모션 벡터를 그룹핑 할 수 있다.
모션 벡터 그룹핑부(232)는, 홀 필링 범위 내의 모션 벡터의 x 성분의 평균을 구하고 이를 기준 값으로 하여 각 모션 벡터의 x 성분과 비교하여, 범위 내의 모션 벡터들을 2 그룹으로 분류할 수 있다. 또는, 모션 벡터 그룹핑부(232)는, 모션 벡터의 x 성분들의 평균 대신 x 성분들 사이 간격을 계산하여 간격이 가장 긴 두 x 성분 값들의 사이 값을 기준 값으로 하여 모션 벡터들을 분류할 수도 있다.
그룹 선택부(233)는 모션 벡터 그룹핑부(232)가 분류한 둘 이상의 그룹 중에서 신뢰도가 높은 그룹, 예를 들어 그룹의 신뢰도 값의 평균을 비교하여 높은 값의 그룹을 선택하여 홀 필링을 위한 그룹으로 사용할 수 있다. 또는, 그룹 선택부(233)는 그룹의 신뢰도를 계산할 때 단순 평균을 구하는 것이 아니라 가중 평균을 구할 수 있는데, 예를 들어 해당 블록에서 홀(Hole)까지의 거리에 반비례하는 가중치를 각 모션 벡터의 신뢰도 값에 곱하여 그룹의 신뢰도를 계산할 수 있다.
도 9b와 도 9c에서 좌상향 그룹이 신뢰도 값이 더 높기 때문에 홀 필링을 위한 그룹으로 선택될 수 있다.
홀 대체부(234)(또는 모션 벡터 필링부)는 그룹 선택부(233)가 선택한 그룹에 대한 대표 모션 벡터를 구하고 이를 해당 홀(Hole)에 대한 모션 벡터로 채우게 되는데, 선택된 그룹의 대표 모션 벡터는 선택된 그룹에 포함된 모션 벡터들의 평균이거나 또는 가중 평균일 수 있고, 가중 평균은 해당 블록과 홀 블록 사이의 거리를 고려하여 구할 수 있다.
도 9d에서 홀(Hole) 필링을 위한 그룹으로 선택된 좌상향 그룹의 대표 모션 벡터가 해당 홀(Hole)에 대한 모션 벡터로 채워진다.
도 10은 본 발명에 따라 홀을 채운 보간 이미지를 도시한 것으로, 오브젝트와 배경 경계에 모션 추정으로 모션 벡터를 구하지 못한 홀 블록에 대해 본 발명에 따른 방법으로 모션 벡터를 채우고, 이를 근거로 해당 블록에 이미지 데이터를 채움으로써, 도 5c와 비교하여 아티팩트를 줄이고 더 자연스러운 중간 영상을 생성할 수 있게 된다.
이후 모션 보상 방식에 따라 차이가 발생할 수 있지만, 배경(Background) 영역의 모션 벡터보다는 전경(Foreground) 영역의 모션 벡터를 주변부까지 확장하는 것이 화질 향상에 도움이 주는 경우가 많다. 이러한 경우, 전경이라고 여겨지는 부분에 해당하는 모션 벡터의 우선 순위 또는 신뢰도 값을 높임으로써 화질 향상의 효과를 얻을 수 있다.
이와 같이, 중간 프레임을 생성하기 위해 중간 프레임의 각 블록에 모션 벡터를 추정하면서 모션 벡터를 추정하지 못한 홀을 주변 모션 벡터를 이용하여 채울 때, 전경과 배경을 구분하고 신뢰도가 높은 것을 선택하여 선택된 것의 대표 모션 벡터로 해당 홀을 채움으로써, 보간하는 영상에서 아티팩트를 효과적으로 줄일 수 있게 된다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시 패널 11: 타이밍 컨트롤러
12: 데이터 구동 회로 13: 게이트 구동 회로
14: 데이터 라인 15: 게이트 라인
20: 영상 처리부 210: 모션 추정부
220: 중간 모션 벡터 생성부 230: 모션 벡터 홀 필링부
231: 범위 결정부 232: 모션 벡터 그룹핑부
233: 그룹 선택부 234: 홀 대체부
240: 모션 보상부

Claims (9)

  1. 연속되는 두 프레임으로부터 중간 프레임을 생성하기 위해 모션 추정을 통해 상기 중간 프레임의 각 블록에 대한 모션 벡터를 생성할 때, 모션 벡터를 생성하지 못한 제1 블록을 채우기 위한 주변 블록들의 범위를 결정하는 단계;
    상기 결정된 범위 내의 제2 블록들을 상기 제2 블록들에 대해 생성된 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하는 단계;
    상기 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하는 단계; 및
    상기 선택된 그룹의 대표 모션 벡터로 상기 제1 블록에 대한 모션 벡터를 채우는 단계를 포함하여 이루어지는 영상 처리 방법.
  2. 제1 항에 있어서,
    상기 결정하는 단계는, 상기 생성된 모션 벡터의 신뢰도가 제1 값 이상이 되는 블록의 개수가 제2 값 이상이 되도록 상기 제1 블록의 주변 블록들을 선택하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2 항에 있어서,
    상기 신뢰도는 해당 블록의 모션 벡터에 대한 시간적 일관성 또는 공간적 일관성 중 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1 항 또는 제2 항에 있어서,
    상기 그룹핑 하는 단계는, 상기 제2 모션 벡터들의 제1 성분의 절대 합과 상기 제1 성분과 수직인 제2 성분의 절대 합을 비교하고, 그 값이 더 큰 성분을 기준으로 상기 제2 모션 벡터들을 분류하는 것을 특징으로 하는 영상 처리 방법.
  5. 제4 항에 있어서,
    상기 그룹핑 하는 단계는, 상기 제1 성분의 절대 합이 상기 제2 성분의 절대 합보다 클 때, 상기 제2 모션 벡터들의 제1 성분의 평균을 기준 값으로 하여 각 제2 모션 벡터들의 제1 성분과 비교하여 상기 제2 모션 벡터들을 2개의 그룹으로 분류하는 것을 특징으로 하는 영상 처리 방법.
  6. 제1 항 또는 제2 항에 있어서,
    상기 선택하는 단계는, 각 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 신뢰도의 평균을 해당 그룹의 신뢰도로 계산하거나, 또는 각 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 신뢰도를 해당 제2 블록과 상기 제1 블록 사이의 거리에 반비례하는 값으로 가중하여 구한 평균을 해당 그룹의 신뢰도로 계산하는 것을 특징으로 하는 영상 처리 방법.
  7. 제1 항 또는 제2 항에 있어서,
    상기 채우는 단계는, 상기 선택된 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들의 평균 또는 해당 제2 블록과 상기 제1 블록 사이의 거리를 고려하여 상기 선택된 그룹에 포함된 제2 블록들에 대한 제2 모션 벡터들을 가중 평균을 상기 대표 모션 벡터로 결정하는 것을 특징으로 하는 영상 처리 방법.
  8. 연속되는 두 프레임으로부터 포워드 모션 벡터와 백워드 모션 벡터를 생성하기 위한 모션 추정부;
    상기 모션 추정부가 생성한 포워드 모션 벡터와 백워드 모션 벡터를 근거로 상기 두 프레임 사이에 삽입될 중간 프레임에 대한 그리드 매핑 동작을 수행하여 상기 중간 프레임의 각 블록에 대해 모션 벡터를 결정하기 위한 중간 모션 벡터 생성부;
    상기 중간 모션 벡터 생성부가 모션 벡터를 생성하지 못한 제1 블록에 대한 모션 벡터를 채우기 위한 모션 벡터 필링부; 및
    상기 중간 모션 벡터 생성부와 상기 모션 벡터 필링부가 상기 중간 프레임에 대해 생성한 모션 벡터를 근거로 중간 프레임의 이미지 데이터를 보정하기 위한 모션 보상부를 포함하여 구성되고,
    상기 모션 벡터 필링부는,
    상기 제1 블록에 대한 모션 벡터를 채우기 위한 주변 블록들의 범위를 결정하기 위한 범위 결정부;
    상기 결정된 범위 내의 제2 블록들을 상기 중간 모션 벡터 생성부가 상기 제2 블록들에 대해 생성한 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하기 위한 모션 벡터 그룹핑부;
    상기 모션 벡터 그룹핑부가 그룹핑 한 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하기 위한 그룹 선택부; 및
    상기 그룹 선택부가 선택한 그룹의 대표 모션 벡터로 상기 제1 블록에 대한 모션 벡터를 채우기 위한 필링부를 포함하여 구성되는 것을 특징으로 하는 영상 처리 장치.
  9. 데이터 라인들과 게이트 라인들이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함하는 표시 패널;
    입력되는 영상 데이터를 모션 추정과 모션 보상을 통해 보간 처리하기 위한 영상 처리부;
    상기 영상 처리부가 출력하는, 프레임 레이트가 2배가 되는 영상 데이터를 수신할 때, 제어 신호들을 동작 속도가 2배가 되도록 조절하기 위한 타이밍 컨트롤러;
    상기 타이밍 컨트롤러의 제어에 따라 상기 타이밍 컨트롤러로부터 입력되는 영상 데이터를 데이터 전압으로 변환하여 데이터 라인들에 출력하기 위한 데이터 구동 회로; 및
    상기 타이밍 컨트롤러의 제어에 따라 상기 데이터 전압에 동기되는 스캔 펄스를 생성하여 상기 게이트 라인들에 순차적으로 공급하기 위한 게이트 구동 회로를 포함하여 구성되고,
    상기 영상 처리부는,
    연속되는 두 프레임으로부터 포워드 모션 벡터와 백워드 모션 벡터를 생성하기 위한 모션 추정부;
    상기 모션 추정부가 생성한 포워드 모션 벡터와 백워드 모션 벡터를 근거로 상기 두 프레임 사이에 삽입될 중간 프레임에 대한 그리드 매핑 동작을 수행하여 상기 중간 프레임의 각 블록에 대해 모션 벡터를 결정하기 위한 중간 모션 벡터 생성부;
    상기 중간 모션 벡터 생성부가 모션 벡터를 생성하지 못한 제1 블록에 대한 모션 벡터를 채우기 위한 주변 블록들의 범위를 결정하고, 상기 결정된 범위 내의 제2 블록들을 상기 제2 블록들에 대해 생성된 제2 모션 벡터들을 근거로 둘 이상의 그룹으로 그룹핑 하고, 상기 그룹핑 한 둘 이상의 그룹 중에서 신뢰도가 높은 그룹을 선택하고, 상기 선택된 그룹의 대표 모션 벡터로 상기 제1 블록에 대한 모션 벡터를 채우기 위한 모션 벡터 필링부; 및
    상기 중간 모션 벡터 생성부와 상기 모션 벡터 필링부가 상기 중간 프레임에 대해 생성한 모션 벡터를 근거로 중간 프레임의 이미지 데이터를 보정하기 위한 모션 보상부를 포함하여 구성되는 것을 특징으로 하는 표시 장치.
KR1020170101901A 2017-08-10 2017-08-10 영상 처리 방법 및 이를 이용한 표시 장치 KR20190017293A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170101901A KR20190017293A (ko) 2017-08-10 2017-08-10 영상 처리 방법 및 이를 이용한 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101901A KR20190017293A (ko) 2017-08-10 2017-08-10 영상 처리 방법 및 이를 이용한 표시 장치

Publications (1)

Publication Number Publication Date
KR20190017293A true KR20190017293A (ko) 2019-02-20

Family

ID=65562222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101901A KR20190017293A (ko) 2017-08-10 2017-08-10 영상 처리 방법 및 이를 이용한 표시 장치

Country Status (1)

Country Link
KR (1) KR20190017293A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195188B1 (ko) * 2019-06-28 2020-12-29 주식회사 마인즈랩 이미지 생성 방법 및 컴퓨터 프로그램
KR102198303B1 (ko) * 2020-12-17 2021-01-06 주식회사 마인즈랩 슬로모션 영상을 생성하는 인공 신경망의 학습 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195188B1 (ko) * 2019-06-28 2020-12-29 주식회사 마인즈랩 이미지 생성 방법 및 컴퓨터 프로그램
KR102198303B1 (ko) * 2020-12-17 2021-01-06 주식회사 마인즈랩 슬로모션 영상을 생성하는 인공 신경망의 학습 방법

Similar Documents

Publication Publication Date Title
US8724022B2 (en) Frame rate conversion using motion estimation and compensation
US20080025403A1 (en) Interpolation frame generating method and interpolation frame forming apparatus
US7796191B1 (en) Edge-preserving vertical interpolation
JP2008107753A (ja) 画像表示装置及び方法、画像処理装置及び方法
US11922600B2 (en) Afterimage compensator, display device having the same, and method for driving display device
CN110875006B (zh) 图像补偿器
US11244616B2 (en) Display panel and image data compensation method thereof
US8830257B2 (en) Image displaying apparatus
US8345070B2 (en) Apparatus and method for frame rate up conversion
KR20190017293A (ko) 영상 처리 방법 및 이를 이용한 표시 장치
JP4764065B2 (ja) 画像表示制御装置、ディスプレイ装置及び画像表示方法
CN111556244B (zh) 视频风格迁移方法和装置
KR102465557B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
US20100002005A1 (en) Image display apparatus, integrated circuit, and computer program
KR20160046983A (ko) 소비 전력 제어 방법 및 장치와 이를 이용한 표시장치
US8422742B2 (en) Image processing method
JP2008109625A (ja) 画像表示装置及び方法、画像処理装置及び方法
TW201820307A (zh) 顯示器的控制方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
WO2010103593A1 (ja) 画像表示方法及び画像表示装置
JP2015088998A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR102315969B1 (ko) 영상 처리 방법 및 이를 이용한 표시장치
KR102581361B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
KR20180031476A (ko) 영상 처리 방법 및 이를 이용한 표시 장치