KR102581361B1

KR102581361B1 - Image processing method and display device using the same

Info

Publication number: KR102581361B1
Application number: KR1020160108872A
Authority: KR
Inventors: 조성인; 이성규
Original assignee: 엘지디스플레이 주식회사
Priority date: 2016-08-26
Filing date: 2016-08-26
Publication date: 2023-09-20
Also published as: KR20180023445A

Abstract

영상 처리 방법 및 이를 이용한 표시 장치가 제공된다. 영상 처리 방법은 기준 이미지 피라미드의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터(candidate motion vector)를 산출하는 단계, 상위 블록의 크기보다 작은 소형 객체(small object)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터를 산출하는 단계, 및 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출하는 단계를 포함한다. 본 발명의 일 실시예에 따른 영상 처리 방법은 소형 객체에 대응하는 픽셀에 가중치를 적용함으로써, 소형 객체에 대한 움직임 벡터를 추가적으로 참조할 수 있고, 이를 통해 움직임 벡터의 정확도를 향상시킬 수 있다.An image processing method and a display device using the same are provided. The image processing method entirely matches the upper blocks at the upper level of the reference image pyramid with the upper blocks at the upper level of the comparison image pyramid, and calculates the first candidate motion vector in the upper block of the reference image. Step, if a higher evaluation block containing a small object smaller than the size of the upper block exists in the reference image, the upper block of the reference image and the upper block of the comparison image are matched entirely based on the small object, It includes calculating a second candidate motion vector corresponding to the evaluation block, and calculating a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector. The image processing method according to an embodiment of the present invention can additionally refer to the motion vector for the small object by applying weight to the pixel corresponding to the small object, thereby improving the accuracy of the motion vector.

Description

Image processing method and display device using the same {IMAGE PROCESSING METHOD AND DISPLAY DEVICE USING THE SAME}

본 발명은 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것으로서, 보다 상세하게는 소형 객체의 움직임 벡터의 정확도를 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것이다.The present invention relates to an image processing method and a display device using the same. More specifically, it relates to an image processing method that can improve the accuracy of motion vectors of small objects and a display device using the same.

모바일폰, 타블렛, 노트북 컴퓨터, 텔레비전 및 모니터와 같은 다양한 전자 디바이스에 평면 패널 표시 장치(flat panel display; FPD)가 채용되고 있다. 최근에는 FPD로서 액정 표시 장치(Liquid Crystal Display Device; LCD), 유기 발광 다이오드 표시 장치(Organic Light Emitting Diode Display; OLED) 등이 사용되고 있다. 이와 같은 표시 장치는 영상이 표시되고 복수의 화소로 이루어진 화소 어레이와 복수의 화소 각각에서 광이 투과되거나 발광되도록 제어하는 구동회로를 포함한다. 표시 장치의 구동회로는 화소 어레이의 데이터 라인들에 데이터 신호를 공급하는 데이터 구동회로, 데이터 신호에 동기되는 게이트 신호(또는 스캔 신호)를 화소 어레이의 게이트 라인들(또는 스캔 라인)에 순차적으로 공급하는 게이트 구동회로(또는 스캔 구동회로) 및 데이터 구동회로와 게이트 구동회로를 제어하는 타이밍 콘트롤러 등을 포함한다. Flat panel displays (FPDs) are being used in various electronic devices such as mobile phones, tablets, laptop computers, televisions, and monitors. Recently, liquid crystal display devices (LCD) and organic light emitting diode displays (OLED) have been used as FPDs. Such a display device displays an image and includes a pixel array composed of a plurality of pixels and a driving circuit that controls light to be transmitted or emitted from each of the plurality of pixels. The driving circuit of the display device is a data driving circuit that supplies data signals to the data lines of the pixel array, and sequentially supplies gate signals (or scan signals) synchronized with the data signals to the gate lines (or scan lines) of the pixel array. It includes a gate driving circuit (or scan driving circuit) and a timing controller that controls the data driving circuit and the gate driving circuit.

최근 표시 장치에서는 영상 매체 간의 호환성을 향상시키고 영상을 보다 자연스럽게 출력할 수 있도록 프레임율 변환(Frame Rate Up Conversion) (이하, FRUC라 함)이 사용되고 있다. 여기서, FRUC는 입력 영상의 프레임(frame) 사이에 보간 영상(interpolation image)을 삽입하여 입력 영상의 프레임율(frame rate)를 상승시키는 기술이다. In recent display devices, frame rate up conversion (hereinafter referred to as FRUC) is used to improve compatibility between video media and output images more naturally. Here, FRUC is a technology that increases the frame rate of the input video by inserting an interpolation image between frames of the input video.

기존의 FRUC에서는 입력 영상의 프레임을 단순 반복하거나 인접한 두 프레임의 평균값을 두 프레임 사이에 삽입하는 방법이 사용되었다. 이와 같이 기존의 FRUC를 통해서는 출력 영상이 끊어지거나 희미해지는 문제점이 발생하여 화질이 저하되었다.In the existing FRUC, a method of simply repeating the frames of the input image or inserting the average value of two adjacent frames between two frames was used. In this way, through the existing FRUC, problems occurred in which the output image was cut off or blurred, deteriorating the image quality.

최근 FRUC는 입력 영상에서 프레임 사이의 움직임을 추정하고, 프레임 사이에 추정된 움직임에 기초하여 보간 영상을 삽입한다. 구체적으로, 최근 FRUC에서는 인접하는 프레임으로부터 움직임을 추정하여 움직임 벡터(Motion Vector)가 추출되고, 움직임 벡터를 이용하여 프레임 사이에 보간 영상이 삽입된다.Recently, FRUC estimates the motion between frames in an input image and inserts an interpolated image based on the estimated motion between frames. Specifically, in recent FRUC, motion vectors are extracted by estimating motion from adjacent frames, and interpolated images are inserted between frames using the motion vectors.

픽셀 단위로 움직임 벡터를 추출하는 경우, 연산량이 너무 방대해져 표시 장치의 FRUC가 비효율적이다. 이에, 움직임 벡터를 이용하는 FRUC는 블록을 기초로 움직임을 추정하는 방식이 사용될 수 있다. 구체적으로, 영상의 프레임 각각을 일정한 크기의 블록으로 분할하고, 분할된 블록을 기초로 인접한 프레임 사이에서 가장 유사한 블록을 찾아 벡터로 연결함으로써, 프레임 사이에서 움직임이 추정되고 움직임 벡터가 결정될 수 있다.When extracting motion vectors on a pixel basis, the amount of calculation becomes too large, making the FRUC of the display device inefficient. Accordingly, FRUC using a motion vector may use a method of estimating motion based on a block. Specifically, by dividing each frame of an image into blocks of a certain size, finding the most similar blocks between adjacent frames based on the divided blocks, and connecting them with a vector, motion between frames can be estimated and a motion vector can be determined.

나아가, FRUC를 효율적으로 수행할 수 있도록 프레임의 이미지 각각을 피라미드(pyramid) 구조를 이용하여 FRUC가 수행될 수 있다. 구체적으로, 피라미드 구조는 이미지의 해상도를 일정한 기준으로 축소시키면서 복수의 레벨 각각에서 움직임 벡터를 결정할 수 있도록 해상도별로 레벨을 갖는 이미지의 계층적 집합을 의미한다. Furthermore, so that FRUC can be performed efficiently, FRUC can be performed using a pyramid structure for each image in the frame. Specifically, the pyramid structure refers to a hierarchical set of images with levels for each resolution so that motion vectors can be determined at each of a plurality of levels while reducing the resolution of the image to a certain standard.

다만, 피라미드 구조를 통해 FRUC가 수행되는 경우, 상위 레벨의 저 해상도에서는 움직임을 추정하기 어려운 소형 객체가 존재할 수 있다. 특히, 저 해상도를 갖는 상위 레벨에서 블록 단위로 움직임을 추정하는 경우, 블록보다 작은 소형 객체에 대해서는 움직임의 추정이 부정확하여 움직임 벡터의 정확도도 저하되는 문제점이 발생한다.However, when FRUC is performed through a pyramid structure, there may be small objects whose motion is difficult to estimate at low resolution at the upper level. In particular, when motion is estimated on a block-by-block basis at a high level with low resolution, motion estimation is inaccurate for small objects smaller than a block, resulting in a problem that the accuracy of the motion vector is also reduced.

[관련기술문헌][Related technical literature]

동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법(한국공개특허번호 제 10-2013-0031132 호)Apparatus and method for increasing the frame rate of a video signal (Korean Patent Publication No. 10-2013-0031132)

이에, 본 발명이 해결하고자 하는 과제는 블록보다 작은 소형 객체의 움직임 벡터의 정확도를 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제공하는 것이다.Accordingly, the problem to be solved by the present invention is to provide an image processing method that can improve the accuracy of motion vectors of small objects smaller than a block and a display device using the same.

또한, 본 발명이 해결하고자 하는 다른 과제는 움직임 벡터의 정확도를 향상시켜, 보간 영상에서도 등속도 운동을 유지할 수 있고, 동영상을 재생하는 경우 영상의 잔상(blur) 및 떨림(judder)이 현저하게 저감될 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제공하는 것이다.In addition, another problem that the present invention aims to solve is to improve the accuracy of the motion vector, so that constant speed movement can be maintained even in interpolated images, and when playing a video, the blur and judder of the image are significantly reduced. The aim is to provide a possible image processing method and a display device using the same.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 처리 방법은 기준 이미지 피라미드의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터(candidate motion vector)를 산출하는 단계, 상위 블록의 크기보다 작은 소형 객체(small object)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터를 산출하는 단계, 및 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출하는 단계를 포함한다. 본 발명의 일 실시예에 따른 영상 처리 방법은 소형 객체에 대응하는 픽셀에 가중치를 적용함으로써, 소형 객체에 대한 움직임 벡터를 추가적으로 참조할 수 있고, 이를 통해 움직임 벡터의 정확도를 향상시킬 수 있다.In order to solve the above-described problem, the image processing method according to an embodiment of the present invention entirely matches the upper blocks at the upper level of the reference image pyramid and the upper blocks at the upper level of the comparison image pyramid, Calculating a first candidate motion vector in the upper block, if a higher evaluation block containing a small object smaller than the size of the upper block exists in the reference image, based on the small object Totally matching the upper blocks of the reference image and the upper blocks of the comparison image to calculate a second candidate motion vector corresponding to the higher evaluation block, and pyramiding the reference image based on the first candidate motion vector and the second candidate motion vector. It includes calculating a lower motion vector at a lower level. The image processing method according to an embodiment of the present invention can additionally refer to the motion vector for the small object by applying weight to the pixel corresponding to the small object, thereby improving the accuracy of the motion vector.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 표시 장치는 표시 패널, 및 표시 패널에 입력되는 영상을 처리하는 영상 처리부를 포함한다. 영상 처리부는, 기준 이미지 피라미드의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터를 산출하고, 상위 블록의 크기보다 작은 소형 객체(small object)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터를 산출하는 후보 움직임 벡터 산출부, 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출하는 하위 움직임 벡터 산출부, 및 하위 움직임 벡터가 가리키는 최하위 블록 및 최하위 블록의 미리 결정된 주변 블록에서 SAD가 최소가 되는 움직임 벡터를 기준 이미지 피라미드의 최하위 레벨에서의 최종 움직임 벡터로 결정하는 최종 움직임 벡터 결정부를 포함한다. 본 발명의 다른 실시예에 따른 표시 장치는 계층 구조를 통한 움직임 추정에서 소형 객체에 대응하는 움직임 벡터를 추가적으로 참조하고 움직임 벡터의 정확도를 향상시킴으로써, 보간 영상에서도 등속도 운동을 유지할 수 있고, 동영상을 재생하는 경우 영상의 잔상(blur) 및 떨림(judder)을 현저하게 저감시킬 수 있다. In order to solve the problems described above, a display device according to another embodiment of the present invention includes a display panel and an image processing unit that processes an image input to the display panel. The image processing unit matches all upper blocks at the upper level of the reference image pyramid with upper blocks at the upper level of the comparison image pyramid, calculates a first candidate motion vector in the upper block of the reference image, and calculates the size of the upper block. If a higher evaluation block containing a smaller object exists in the reference image, the upper block of the reference image and the upper block of the comparison image are entirely matched based on the small object, and a second evaluation block corresponding to the higher evaluation block is performed. 2 a candidate motion vector calculation unit for calculating a candidate motion vector, a lower motion vector calculation unit for calculating a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector, and a lower motion vector and a final motion vector determination unit that determines the motion vector with the minimum SAD in the lowest block indicated by and predetermined neighboring blocks of the lowest block as the final motion vector at the lowest level of the reference image pyramid. The display device according to another embodiment of the present invention can maintain constant velocity motion even in interpolated images by additionally referencing motion vectors corresponding to small objects in motion estimation through a hierarchical structure and improving the accuracy of the motion vectors, and displaying video. When playing back, image blur and judder can be significantly reduced.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.

본 발명은 소형 객체에 대응하는 픽셀에 가중치를 적용함으로써, 소형 객체에 대한 움직임 벡터를 추가적으로 참조할 수 있고, 이를 통해 움직임 벡터의 정확도를 향상시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제작할 수 있다. The present invention can additionally refer to the motion vector for a small object by applying weights to the pixels corresponding to the small object, and thereby produce an image processing method that can improve the accuracy of the motion vector and a display device using the same. there is.

또한, 본 발명은 계층 구조를 통한 움직임 추정에서 소형 객체에 대응하는 움직임 벡터를 추가적으로 참조하고 움직임 벡터의 정확도를 향상시킴으로써, 보간 영상에서도 등속도 운동을 유지할 수 있고, 동영상을 재생하는 경우 영상의 잔상(blur) 및 떨림(judder)을 현저하게 저감시킬 수 있는 영상 처리 방법 및 이를 이용한 표시 장치를 제작할 수 있다.In addition, the present invention additionally references motion vectors corresponding to small objects in motion estimation through a hierarchical structure and improves the accuracy of motion vectors, so that constant velocity motion can be maintained even in interpolated images, and when playing video, the afterimage of the video can be maintained. An image processing method that can significantly reduce blur and judder and a display device using the same can be manufactured.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited to the contents exemplified above, and further various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 표시 장치를 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 기준 이미지 피라미드 및 비교 이미지 피라미드를 개략적으로 도시한 것이다.
도 5a는 본 발명의 일 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이고, 도 5b 및 도 5c는 본 발명의 일 실시예에 따른 하위 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이고, 도 5d는 본 발명의 일 실시예에 따른 최종 움직임 벡터를 결정하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 것이다.
도 7a 내지 도 7c는 본 발명의 또 다른 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이다.
도 9는 비교예에 따라 출력되는 예시적인 영상 및 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 출력되는 예시적인 영상이다. 1 is a block diagram schematically showing a display device according to an embodiment of the present invention.
Figure 2 is a block diagram schematically showing an image processing unit according to an embodiment of the present invention.
Figure 3 shows a procedure for processing an image according to an image processing method according to an embodiment of the present invention.
Figure 4 schematically shows a reference image pyramid and a comparison image pyramid according to an embodiment of the present invention.
Figure 5A is an example diagram for explaining the process of calculating a candidate motion vector according to an embodiment of the present invention, and Figures 5B and 5C are illustrations for explaining the process of calculating a lower motion vector according to an embodiment of the present invention. 5D is an illustration for explaining the process of determining the final motion vector according to an embodiment of the present invention.
Figure 6 shows a procedure for processing an image according to an image processing method according to another embodiment of the present invention.
Figures 7A to 7C are exemplary diagrams for explaining a process for calculating a candidate motion vector according to another embodiment of the present invention.
Figure 8 is an example diagram to explain the process of calculating a candidate motion vector according to another embodiment of the present invention.
9 shows an example image output according to a comparative example and an example image output according to an image processing method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The present embodiments only serve to ensure that the disclosure of the present invention is complete and that common knowledge in the technical field to which the present invention pertains is not limited. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining embodiments of the present invention are illustrative, and the present invention is not limited to the matters shown. Additionally, in describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. When 'includes', 'has', 'consists of', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. In cases where a component is expressed in the singular, the plural is included unless specifically stated otherwise.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.When interpreting components, it is interpreted to include the margin of error even if there is no separate explicit description.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 ‘직접’이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다. In the case of a description of a positional relationship, for example, if the positional relationship of two parts is described as 'on top', 'on the top', 'on the bottom', 'next to', etc., 'immediately' Alternatively, there may be one or more other parts placed between the two parts, unless 'directly' is used.

소자 또는 층이 다른 소자 또는 층 위 (on)로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다.When an element or layer is referred to as being on another element or layer, it includes all cases where another layer or other element is interposed directly on or in the middle of another element.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although first, second, etc. are used to describe various elements, these elements are not limited by these terms. These terms are merely used to distinguish one component from another. Accordingly, the first component mentioned below may also be the second component within the technical spirit of the present invention.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification.

도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.The size and thickness of each component shown in the drawings are shown for convenience of explanation, and the present invention is not necessarily limited to the size and thickness of the components shown.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or fully combined or combined with each other, and as can be fully understood by those skilled in the art, various technical interconnections and operations are possible, and each embodiment may be implemented independently of each other. It may be possible to conduct them together due to a related relationship.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 표시 장치를 개략적으로 나타내는 블록도이다. 도 1을 참조하면, 표시 장치(100)는 표시 패널(110), 게이트 구동회로(120), 데이터 구동회로(130), 타이밍 제어부(140) 및 영상 처리부(150)를 포함한다.1 is a block diagram schematically showing a display device according to an embodiment of the present invention. Referring to FIG. 1 , the display device 100 includes a display panel 110, a gate driving circuit 120, a data driving circuit 130, a timing control unit 140, and an image processing unit 150.

도 1을 참조하면, 표시 장치(100)는 복수의 화소(P)를 포함하는 표시 패널(110), 복수의 화소(P) 각각에 게이트 신호를 공급하는 게이트 구동회로(120), 복수의 화소(P) 각각에 데이터 신호를 공급하는 데이터 구동회로(130) 및 게이트 구동회로(120)와 데이터 구동회로(130)를 제어하는 타이밍 제어부(140)를 포함한다. 또한, 표시 장치(100)는 표시 패널(110)에 입력되는 영상에 대한 데이터를 수신하여 디지털 신호로 변환하고, 타이밍 제어부(140)에 디지털 신호 및 제어 신호를 공급하는 영상 처리부(150)를 포함한다. Referring to FIG. 1, the display device 100 includes a display panel 110 including a plurality of pixels (P), a gate driving circuit 120 that supplies a gate signal to each of the plurality of pixels (P), and a plurality of pixels. (P) It includes a data driving circuit 130 and a gate driving circuit 120 that supply data signals to each, and a timing control unit 140 that controls the data driving circuit 130. In addition, the display device 100 includes an image processing unit 150 that receives data about the image input to the display panel 110, converts it into a digital signal, and supplies the digital signal and control signal to the timing control unit 140. do.

표시 패널(110)에서 복수의 게이트 라인(GL) 및 복수의 데이터 라인(DL)이 서로 교차되고, 복수의 화소(P) 각각은 게이트 라인(GL) 및 데이터 라인(DL)에 연결된다. 구체적으로, 하나의 화소(P)는 게이트 라인(GL)을 통해 게이트 구동회로(120)로부터 게이트 신호를 공급받고, 데이터 라인(DL)을 통해 데이터 구동회로(130)로부터 데이터 신호를 공급받으며, 전원 공급 라인을 통해 다양한 전원을 공급받는다. In the display panel 110, a plurality of gate lines GL and a plurality of data lines DL intersect each other, and each of the plurality of pixels P is connected to the gate line GL and the data line DL. Specifically, one pixel (P) receives a gate signal from the gate driving circuit 120 through the gate line (GL) and a data signal from the data driving circuit 130 through the data line (DL), Various power sources are supplied through the power supply line.

게이트 구동회로(120)는 타이밍 제어부(140)로부터 공급된 게이트 제어 신호(GCS)에 따라 게이트 라인(GL)에 게이트 신호를 공급한다. 여기서, 게이트 신호는 적어도 하나의 스캔 신호 및 발광 제어 신호를 포함한다. 도 1에서는 게이트 구동회로(120)가 표시 패널(110)의 일 측에 이격되어 배치된 것으로 도시되었으나, 게이트 구동회로(120)의 수와 배치 위치는 이에 제한되지 않는다. 즉, 게이트 구동회로(120)는 GIP(Gate In Panel) 방식으로 표시 패널(110)의 일측 또는 양측에 배치될 수도 있다.The gate driving circuit 120 supplies a gate signal to the gate line GL according to the gate control signal GCS supplied from the timing controller 140. Here, the gate signal includes at least one scan signal and an emission control signal. In FIG. 1 , the gate driving circuits 120 are shown to be spaced apart from one side of the display panel 110 , but the number and arrangement positions of the gate driving circuits 120 are not limited thereto. That is, the gate driving circuit 120 may be disposed on one or both sides of the display panel 110 in a GIP (Gate In Panel) method.

데이터 구동회로(130)는 타이밍 제어부(140)로부터 공급된 데이터 제어 신호(DCS)에 따라 영상 데이터(RGB)를 데이터 전압으로 변환하고, 변환된 데이터 전압을 데이터 라인(DL)을 통해 화소(P)에 공급한다.The data driving circuit 130 converts the image data (RGB) into a data voltage according to the data control signal (DCS) supplied from the timing control unit 140, and applies the converted data voltage to the pixel (P) through the data line (DL). ) is supplied to.

타이밍 제어부(140)는 표시 패널(110)에 입력되는 구동 신호들의 타이밍을 제어한다. 구체적으로, 타이밍 제어부(140)는 영상 처리부(150)로부터 입력되는 영상 데이터(RGB)를 표시 패널(110)의 크기 및 해상도에 적합하게 처리하여 데이터 구동회로(130)에 공급한다. 또한, 타이밍 제어부(140)는 영상 처리부(150)로부터 입력되는 타이밍 제어 신호인 동기 신호(SYNC)들, 예를 들어, 도트 클럭신호(DCLK), 데이터 인에이블 신호(DE), 수평 동기신호(Hsync), 수직 동기신호(Vsync)를 이용해 다수의 게이트 및 데이터 제어신호(GCS, DCS)를 생성한다. 생성된 다수의 게이트 및 데이터 제어신호(GCS, DCS)를 게이트 구동회로(120) 및 데이터 구동회로(130)에 각각 공급함으로써, 게이트 구동회로(120) 및 데이터 구동회로(130)를 제어한다.The timing control unit 140 controls the timing of driving signals input to the display panel 110. Specifically, the timing control unit 140 processes image data (RGB) input from the image processing unit 150 to suit the size and resolution of the display panel 110 and supplies it to the data driving circuit 130. In addition, the timing control unit 140 controls synchronization signals (SYNC), which are timing control signals input from the image processing unit 150, for example, a dot clock signal (DCLK), a data enable signal (DE), and a horizontal synchronization signal ( Hsync) and vertical synchronization signal (Vsync) are used to generate multiple gate and data control signals (GCS, DCS). The gate driving circuit 120 and the data driving circuit 130 are controlled by supplying a plurality of generated gate and data control signals (GCS, DCS) to the gate driving circuit 120 and the data driving circuit 130, respectively.

영상 처리부(150)는 표시 패널(110)에 입력되는 구동 신호들의 타이밍을 제어하는 타이밍 제어부(140)와 연결된다. 영상 처리부(150)는 타이밍 제어부(140)에 영상 데이터(RGB) 및 타이밍 제어 신호를 공급한다. The image processing unit 150 is connected to a timing control unit 140 that controls the timing of driving signals input to the display panel 110. The image processing unit 150 supplies image data (RGB) and timing control signals to the timing control unit 140.

또한, 영상 처리부(150)는 입력되는 영상에 대한 정보를 기초로 화질 향상을 위해 FRUC 가능한 모듈을 포함한다. 구체적으로, 영상 처리부(150)는 입력되는 영상의 화질을 향상시키기 위해 FRUC를 이용하여 보간 영상을 생성할 수 있으며, 보간 영상을 생성하기 위한 움직임 벡터를 추출할 수 있다. Additionally, the image processing unit 150 includes a module capable of FRUC to improve image quality based on information about the input image. Specifically, the image processing unit 150 can generate an interpolated image using FRUC to improve the quality of the input image and extract a motion vector for generating the interpolated image.

여기서, 영상 처리부(150)는 표시 패널(110)에 입력되는 영상을 프레임 단위로 처리할 수 있다. 즉, 영상 처리부(150)는 입력 영상을 프레임 단위의 이미지로 구분하고, 프레임별 이미지를 기초로 FRUC를 통해 보간 영상을 생성할 수 있다. 특히, 영상 처리부(150)는 인접하는 프레임의 이미지를 비교하여 FRUC할 수 있다. Here, the image processing unit 150 may process images input to the display panel 110 on a frame-by-frame basis. That is, the image processing unit 150 may divide the input image into frame-by-frame images and generate an interpolation image through FRUC based on the frame-by-frame images. In particular, the image processor 150 can perform FRUC by comparing images of adjacent frames.

이하에서는 영상 처리부(150)가 처리하는 인접하는 프레임의 이미지 중 하나를 기준 이미지로 정의하고, 인접하는 프레임의 이미지 중 나머지 하나를 비교 이미지로 정의한다. 영상 처리부(150)의 구체적인 구성 및 기능에 대해서는 도 2를 참조하여 후술한다.Hereinafter, one of the images of adjacent frames processed by the image processing unit 150 is defined as a reference image, and the remaining one of the images of adjacent frames is defined as a comparison image. The specific configuration and function of the image processing unit 150 will be described later with reference to FIG. 2.

본 발명의 일 실시예에 따른 표시 장치(100)는 보간 영상을 생성하고 움직임 벡터를 추출할 수 있는 영상 처리부(150)를 포함함으로써, 정확한 움직임을 예측하고, 예측된 보간 영상에 기초하여 표시 패널(110)을 통해 출력되는 영상의 화질이 향상될 수 있다. The display device 100 according to an embodiment of the present invention includes an image processor 150 capable of generating an interpolated image and extracting a motion vector, thereby predicting accurate motion and displaying a display panel based on the predicted interpolated image. The quality of the image output through (110) can be improved.

도 2는 본 발명의 일 실시예에 따른 영상 처리부를 개략적으로 나타내는 블록도이다. 도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 기준 이미지 피라미드 및 비교 이미지 피라미드를 개략적으로 도시한 것이다. 도 5a는 본 발명의 일 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이고, 도 5b 및 도 5c는 본 발명의 일 실시예에 따른 하위 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이고, 도 5d는 본 발명의 일 실시예에 따른 최종 움직임 벡터를 결정하는 과정을 설명하기 위한 예시도이다. 설명의 편의를 위해 도 1을 참조하여 후술한다. Figure 2 is a block diagram schematically showing an image processing unit according to an embodiment of the present invention. Figure 3 shows a procedure for processing an image according to an image processing method according to an embodiment of the present invention. Figure 4 schematically shows a reference image pyramid and a comparison image pyramid according to an embodiment of the present invention. Figure 5A is an example diagram for explaining the process of calculating a candidate motion vector according to an embodiment of the present invention, and Figures 5B and 5C are illustrations for explaining the process of calculating a lower motion vector according to an embodiment of the present invention. 5D is an illustration for explaining the process of determining the final motion vector according to an embodiment of the present invention. For convenience of explanation, this will be described later with reference to FIG. 1.

도 2를 참조하면, 영상 처리부(150)는 이미지 피라미드 생성부(151), 후보 움직임 벡터 산출부(152), 하위 움직임 벡터 산출부(153) 및 최종 움직임 벡터 결정부(154)를 포함한다. 영상 처리부(150)는 기준 이미지 및 비교 이미지를 기초로 후보 움직임 벡터, 하위 움직임 벡터 및 최종 움직임 벡터를 산출한다.Referring to FIG. 2, the image processing unit 150 includes an image pyramid generating unit 151, a candidate motion vector calculating unit 152, a lower motion vector calculating unit 153, and a final motion vector determining unit 154. The image processing unit 150 calculates a candidate motion vector, a lower motion vector, and a final motion vector based on the reference image and the comparison image.

도 2 및 도 3을 참조하면, 이미지 피라미드 생성부(151)는 서로 인접하는 프레임의 이미지인 기준 이미지 및 비교 이미지 각각에 대해 복수의 레벨을 갖는 기준 이미지 피라미드 및 비교 이미지 피라미드를 생성한다 (S310).Referring to FIGS. 2 and 3, the image pyramid generator 151 generates a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of adjacent frames (S310). .

도 4를 참조하면, 기준 이미지 피라미드(410)는 기준 이미지의 제3 레벨(411), 기준 이미지의 제2 레벨(412), 기준 이미지의 제1 레벨(413) 및 기준 이미지의 제0 레벨(414)을 포함한다. 비교 이미지 피라미드(420)는 비교 이미지의 제3 레벨(421), 비교 이미지의 제2 레벨(422), 비교 이미지의 제1 레벨(423) 및 비교 이미지의 제0 레벨(424)을 포함한다.Referring to FIG. 4, the reference image pyramid 410 includes a third level 411 of the reference image, a second level 412 of the reference image, a first level 413 of the reference image, and a 0th level of the reference image ( 414). The comparison image pyramid 420 includes a third level of comparison image 421, a second level of comparison image 422, a first level of comparison image 423, and a zero level of comparison image 424.

도 4에서는 설명의 편의를 위해 제0 레벨 내지 제3 레벨이 도시되었으나, 레벨의 수는 이에 제한되지 않고 다양하게 변경될 수 있다. 즉, 하나의 이미지 피라미드에는 제0 레벨에서 제n 레벨까지 존재할 수 있으며, 레벨의 숫자가 커질수록 상위 레벨이 되고, 레벨의 숫자가 작아질수록 하위 레벨이 된다. In FIG. 4 , the 0th level to the 3rd level are shown for convenience of explanation, but the number of levels is not limited to this and may be changed in various ways. In other words, one image pyramid can exist from the 0th level to the nth level, and as the number of levels increases, it becomes a higher level, and as the number of levels decreases, it becomes a lower level.

여기서, 상위 레벨은 이미지 피라미드에서 하위 레벨보다 높은 레벨을 의미하며, 상위 레벨 및 하위 레벨은 두 개의 서로 다른 레벨 사이에서의 상대적인 개념이다. 도 4에서 제3 레벨(411, 421)은 최상위 레벨일 수 있고, 제0 레벨(414, 424)은 최하위 레벨일 수 있다.Here, the upper level refers to a level higher than the lower level in the image pyramid, and the upper level and lower level are relative concepts between two different levels. In FIG. 4 , the third level 411 and 421 may be the highest level, and the zero level 414 and 424 may be the lowest level.

또한, 상위 레벨은 하위 레벨보다 해상도가 낮다. 구체적으로, 최하위 레벨인 제0 레벨에서의 해상도는 로우(row) 픽셀의 개수(R) X 컬럼(column) 픽셀의 개수(C)이다. 최하위 레벨의 상위 레벨인 제1 레벨에서의 해상도는 (R/2) X (C/2)이다. 즉, 하위 레벨의 로우 픽셀의 개수는 상위 레벨의 로우 픽셀의 개수의 2배이고, 하위 레벨의 컬럼 픽셀의 개수는 상위 레벨의 컬럼 픽셀의 개수의 2배이다. 다시 말해, 하위 레벨에서 상위 레벨로 가는 경우, 해상도는 로우(row) 픽셀에서 1/2, 컬럼(column) 픽셀에서 1/2씩 감소된다. 예를 들어, 제0 레벨(414, 424)의 해상도는 1920 X 1080인 경우, 제1 레벨(413, 423)의 해상도는 960 X 540이 된다. Additionally, upper levels have lower resolution than lower levels. Specifically, the resolution at level 0, which is the lowest level, is the number of row pixels (R) x the number of column pixels (C). The resolution at the first level, which is the level above the lowest level, is (R/2) That is, the number of row pixels in the lower level is twice the number of row pixels in the upper level, and the number of column pixels in the lower level is twice the number of column pixels in the upper level. In other words, when going from a lower level to a higher level, the resolution is reduced by 1/2 for row pixels and 1/2 for column pixels. For example, if the resolution of the 0th level (414, 424) is 1920

상위 레벨에서의 상위 블록은 동일한 영역의 하위 레벨에서 4개의 하위 블록을 포함할 수 있다. 예를 들어, 최상위 레벨인 제3 레벨(411, 421)에서 하나의 블록은 하위 레벨인 제2 레벨(412, 422)에서 4개의 블록에 대응되고, 제1 레벨(413, 423)에서는 16개의 블록이 대응되고, 최하위 레벨인 제0 레벨(414, 424)에서는 64개의 블록이 대응된다. 즉, 상위 블록의 크기는 하위 블록의 크기의 4배이다. 또한, 레벨이 변하더라도 각 레벨에서 하나의 블록에 포함되는 픽셀의 개수는 유지된다. 예를 들어, 하나의 블록에는 8 X 8 픽셀이 포함된다. 즉, 하위 레벨로 갈수록 해상도가 높아짐에 따라 하나의 블록의 크기는 작아지고, 하나의 블록이 포함하는 픽셀의 개수는 유지될 수 있다.A parent block at a higher level can contain four child blocks at a lower level in the same area. For example, one block at the third level (411, 421), which is the highest level, corresponds to four blocks at the second level (412, 422), which is the lower level, and 16 blocks at the first level (413, 423). Blocks are matched, and at the lowest level, level 0 (414, 424), 64 blocks are matched. That is, the size of the upper block is 4 times the size of the lower block. Additionally, even if the level changes, the number of pixels included in one block at each level is maintained. For example, one block contains 8 x 8 pixels. That is, as the resolution increases toward lower levels, the size of one block decreases, and the number of pixels included in one block can be maintained.

이에 따라, 영상 처리부(150)가 기준 이미지 및 비교 이미지를 기초로 FRUC를 수행하는 경우, 영상 처리부(150)는 각각 기준 이미지 피라미드(410) 및 비교 이미지 피라미드(420)를 이용하여 움직임 벡터를 추출하고 보간 영상을 생성할 수 있다. 이하, 도 5를 참조하여 이미지 피라미드를 이용한 움직임 추정을 후술한다.Accordingly, when the image processor 150 performs FRUC based on the reference image and the comparison image, the image processor 150 extracts a motion vector using the reference image pyramid 410 and the comparison image pyramid 420, respectively. and create an interpolated image. Hereinafter, motion estimation using an image pyramid will be described later with reference to FIG. 5.

도 2 및 도 3을 참조하면, 후보 움직임 벡터 산출부(152)는 기준 이미지 피라미드(410)의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드(420)의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터(CMV1)를 산출한다 (S320). Referring to Figures 2 and 3, the candidate motion vector calculation unit 152 entirely matches the upper blocks at the upper level of the reference image pyramid 410 and the upper blocks at the upper level of the comparison image pyramid 420, The first candidate motion vector (CMV1) in the upper block of the reference image is calculated (S320).

도 5a를 참조하면, 기준 이미지의 제3 레벨(411)에서의 특정 블록의 제1 후보 움직임 벡터(CMV1)는 기준 이미지의 제3 레벨(411)에서 움직임 벡터를 산출하고자 하는 특정 블록과 비교 이미지의 제3 레벨(421)에서의 블록을 전체 매칭하여 산출된다. Referring to FIG. 5A, the first candidate motion vector (CMV1) of a specific block in the third level 411 of the reference image is a comparison image with a specific block for which a motion vector is to be calculated in the third level 411 of the reference image. It is calculated by matching all blocks at the third level 421.

구체적으로, 기준 이미지의 제3 레벨(411)에서 움직임 벡터를 산출하고자 하는 특정 블록과 비교 이미지의 제3 레벨(421)에서 전체 블록 각각마다 SAD(Sum of Absolute Difference)가 계산된다. 여기서, SAD는 다음과 같은 개략적인 식으로 정의될 수 있다.Specifically, SAD (Sum of Absolute Difference) is calculated for each specific block for which a motion vector is to be calculated in the third level 411 of the reference image and for all blocks in the third level 421 of the comparison image. Here, SAD can be roughly defined as follows.

여기서, 대표값이란, 이미지에서 픽셀의 특성을 대표하는 값으로서, 예를 들어, 픽셀의 휘도, 영상 데이터 또는 R, G, B 데이터 중 하나의 데이터 등이 될 수 있다. 이에, 기준 이미지의 제3 레벨(411)의 블록마다 비교 이미지의 제3 레벨(421)에서 최소 SAD를 갖는 블록을 가리키는 움직임 벡터가 산출된다. 이와 같이 산출된 움직임 벡터는 제1 후보 움직임 벡터(CMV1)로 결정된다. Here, the representative value is a value representing the characteristics of a pixel in an image, and may be, for example, the luminance of the pixel, image data, or one of R, G, and B data. Accordingly, a motion vector indicating the block with the minimum SAD in the third level 421 of the comparison image is calculated for each block of the third level 411 of the reference image. The motion vector calculated in this way is determined as the first candidate motion vector (CMV1).

예를 들어, 기준 이미지의 제3 레벨(411)에서 h 블록의 제1 후보 움직임 벡터(CMV1)는 비교 이미지의 제3 레벨(421)에서 최소 SAD를 갖는 블록인 g’ 블록을 가리키는 벡터로 산출될 수 있다.For example, the first candidate motion vector (CMV1) of the h block in the third level 411 of the reference image is calculated as a vector pointing to the g' block, which is the block with the minimum SAD in the third level 421 of the comparison image. It can be.

또한, 도 2 및 도 3을 참조하면, 후보 움직임 벡터 산출부(152)는 상위 블록의 크기보다 작은 소형 객체(small object)(S1)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체(S1)를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터(CMV2)를 산출한다 (S330).In addition, referring to FIGS. 2 and 3, the candidate motion vector calculation unit 152 performs a small Based on the object S1, the upper block of the reference image and the upper block of the comparison image are entirely matched, and a second candidate motion vector (CMV2) corresponding to the upper evaluation block is calculated (S330).

도 5a를 참조하면, 기준 이미지의 제3 레벨(411)에서 특정 블록은 소형 객체(S1)를 포함한다. 이와 같이 기준 이미지의 제3 레벨(411)에서 특정 블록이 소형 객체(S1)를 포함하는 경우, 후보 움직임 벡터 산출부(152)는 소형 객체(S1)에 대한 움직임 벡터를 추가로 산출한다. 여기서, 기준 이미지에서 소형 객체(S1)를 포함하는 블록은 평가 블록으로 명명하며, 기준 이미지의 상위 레벨에서의 블록에서 소형 객체(S1)를 포함하는 블록은 상위 평가 블록으로 명명한다. 도 5a에서는 소형 객체(S1)가 기준 이미지의 제3 레벨(411)에서 한 개만 존재하는 것으로 도시되었으나, 소형 객체의 개수에는 제한이 없다. Referring to FIG. 5A, a specific block in the third level 411 of the reference image includes a small object S1. In this way, when a specific block includes the small object S1 in the third level 411 of the reference image, the candidate motion vector calculation unit 152 additionally calculates a motion vector for the small object S1. Here, a block containing the small object (S1) in the reference image is named an evaluation block, and a block containing the small object (S1) in a block at a higher level of the reference image is called a higher evaluation block. In FIG. 5A , only one small object S1 is shown in the third level 411 of the reference image, but there is no limit to the number of small objects.

구체적으로, 후보 움직임 벡터 산출부(152)는 소형 객체(S1)의 움직임을 추정할 수 있도록 소형 객체(S1)에 대응하는 픽셀들에 가중치를 적용한다. 이어서, 후보 움직임 벡터 산출부(152)는 소형 객체(S1)를 포함하는 기준 이미지의 블록과 비교 이미지의 전체 블록을 매칭하여, 비교 이미지의 전체 블록에 대해 SAD를 계산한다. 이에, 최소 SAD를 갖는 비교 이미지의 블록이 결정되고, 후보 움직임 벡터 산출부(152)는 기준 이미지의 제3 레벨(411)의 소형 객체(S1)를 포함하는 블록에서 비교 이미지의 최소 SAD를 갖는 블록을 가리키는 벡터를 제2 후보 움직임 벡터(CMV2)로 결정한다. Specifically, the candidate motion vector calculation unit 152 applies weights to pixels corresponding to the small object S1 so that the motion of the small object S1 can be estimated. Next, the candidate motion vector calculation unit 152 matches blocks of the reference image including the small object S1 with all blocks of the comparison image and calculates SAD for all blocks of the comparison image. Accordingly, the block of the comparison image with the minimum SAD is determined, and the candidate motion vector calculation unit 152 has the minimum SAD of the comparison image in the block including the small object S1 of the third level 411 of the reference image. The vector pointing to the block is determined as the second candidate motion vector (CMV2).

예를 들어, 기준 이미지의 제3 레벨(411)에서 h 블록이 소형 객체(S1)를 포함하고, 비교 이미지의 제3 레벨(421)에서 b’ 블록이 소형 객체(S2)를 포함한다. 여기서, 기준 이미지의 소형 객체(S1)와 비교 이미지의 소형 객체(S2)가 동일한 경우, 비교 이미지의 소형 객체(S2)는 기준 이미지의 소형 객체(S1)가 이동한 것이다. 이에, 비교 이미지의 제3 레벨(421)에서 b’ 블록은 기준 이미지의 제3 레벨(411)에서의 h 블록을 기준으로 최소 SAD를 갖는다. 따라서, 기준 이미지의 제3 레벨(411)에서의 h 블록으로부터 비교 이미지의 제3 레벨(421)에서의 b’ 블록을 가리키는 움직임 벡터가 제2 후보 움직임 벡터(CMV2)로 산출된다. 제2 후보 움직임 벡터(CMV2)를 산출하는 구체적인 단계는 도 6 내지 도 7c를 참조하여 후술한다.For example, in the third level 411 of the reference image, the h block includes a small object (S1), and in the third level 421 of the comparison image, the b' block includes the small object (S2). Here, when the small object S1 in the reference image and the small object S2 in the comparison image are the same, the small object S2 in the comparison image is the movement of the small object S1 in the reference image. Accordingly, the b' block in the third level 421 of the comparison image has the minimum SAD based on the h block in the third level 411 of the reference image. Accordingly, a motion vector indicating the b' block in the third level 421 of the comparison image from the h block in the third level 411 of the reference image is calculated as the second candidate motion vector CMV2. The specific steps for calculating the second candidate motion vector (CMV2) will be described later with reference to FIGS. 6 to 7C.

이와 같이, 제1 후보 움직임 벡터(CMV1) 및 제2 후보 움직임 벡터(CMV2)는 기준 이미지의 상위 레벨에서의 블록 및 비교 이미지의 상위 레벨에서의 블록을 매칭함으로써 산출된다. 즉, 제1 후보 움직임 벡터(CMV1) 및 제2 후보 움직임 벡터(CMV2)는 기준 이미지 피라미드(410) 및 비교 이미지 피라미드(420)에서 동일한 레벨에서의 블록을 매칭하여 산출된다. 또한, 제1 후보 움직임 벡터(CMV1) 및 제2 후보 움직임 벡터(CMV2)를 상위 레벨에서의 블록을 매칭하여 산출할수록 영상 처리부(150)가 최종 움직임 벡터를 결정하는데 필요한 연산량이 저감될 수 있다. In this way, the first candidate motion vector (CMV1) and the second candidate motion vector (CMV2) are calculated by matching blocks at the upper level of the reference image and blocks at the upper level of the comparison image. That is, the first candidate motion vector (CMV1) and the second candidate motion vector (CMV2) are calculated by matching blocks at the same level in the reference image pyramid 410 and the comparison image pyramid 420. Additionally, as the first candidate motion vector (CMV1) and the second candidate motion vector (CMV2) are calculated by matching blocks at a higher level, the amount of computation required for the image processor 150 to determine the final motion vector can be reduced.

이에 따라, 후보 움직임 벡터 산출부(152)는 기준 이미지의 최상위 레벨에서의 블록 및 비교 이미지의 최상위 레벨에서의 블록을 매칭하여 제1 후보 움직임 벡터(CMV1) 및 제2 후보 움직임 벡터(CMV2)를 산출할 수 있다. 이에, 영상 처리부(150)는 최종 움직임 벡터를 결정하는데 필요한 연산량을 현저하게 저감시킬 수 있다.Accordingly, the candidate motion vector calculation unit 152 matches the block at the highest level of the reference image and the block at the highest level of the comparison image to create a first candidate motion vector (CMV1) and a second candidate motion vector (CMV2). It can be calculated. Accordingly, the image processing unit 150 can significantly reduce the amount of computation required to determine the final motion vector.

도 2 및 도 3을 참조하면, 하위 움직임 벡터 산출부(153)는 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출한다 (S340). Referring to Figures 2 and 3, the lower motion vector calculation unit 153 calculates a lower motion vector at the lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector (S340).

구체적으로, 하위 움직임 벡터 산출부(153)는 하위 레벨에서 제1 후보 움직임 벡터(CMV1)가 가리키는 기준 이미지의 제1 하위 블록 및 제1 하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 하위 블록과 매칭하여, 제1 하위 움직임 벡터를 산출한다. Specifically, the lower motion vector calculation unit 153 compares the first subblock of the reference image indicated by the first candidate motion vector (CMV1) and a predetermined neighboring block of the first subblock at the lower level to the corresponding subblock in the image. By matching, the first lower motion vector is calculated.

도 5b 및 도 5c에는 기준 이미지의 상위 블록과 위치적으로 대응하는 하위 레벨에서의 블록의 하위 움직임 벡터가 산출되는 과정이 개략적으로 도시되어 있다. 예를 들어, 도 5b 및 도 5c에는 기준 이미지의 제3 레벨(411)의 h 블록에 위치적으로 대응하는, 기준 이미지의 제2 레벨(412)에서의 하위 블록들의 움직임 벡터가 산출되는 과정이 도시되어 있다. 즉, 도 5b 및 도 5c에는 기준 이미지의 h 블록에 위치적으로 대응하는 기준 이미지의 제2 레벨(412)에서의 h1, h2, h3 및 h4 블록 중 h3 블록 및 h4 블록의 움직임 벡터가 산출되는 과정이 도시되어 있다. 도 5b 및 도 5c에는 도시되지 않았으나, h1 블록 및 h2 블록의 움직임 벡터도 동일한 과정을 통해서 산출될 수 있다.FIGS. 5B and 5C schematically show the process of calculating the lower motion vector of a block at a lower level that geographically corresponds to the upper block of the reference image. For example, in FIGS. 5B and 5C, the process of calculating motion vectors of lower blocks in the second level 412 of the reference image, which positionally corresponds to the h block of the third level 411 of the reference image, is shown. It is shown. That is, in FIGS. 5B and 5C, the motion vectors of the h3 block and the h4 block among the h1, h2, h3, and h4 blocks in the second level 412 of the reference image that positionally correspond to the h block of the reference image are calculated. The process is shown. Although not shown in FIGS. 5B and 5C, the motion vectors of the h1 block and h2 block can also be calculated through the same process.

또한, 도 5b 및 도 5c에서는 하위 블록의 미리 결정된 주변 블록은 제1 후보 움직임 벡터(CMV1)가 가리키는 블록으로부터 상, 하, 좌, 우 방향으로 1개의 픽셀씩 이동한 위치에서의 4개의 블록인 것으로 도시하고 있으나, 이에 제한되지 않는다. 예를 들어, 하위 블록의 미리 결정된 주변 블록은 하위 블록의 상, 하, 좌, 우 및 대각선 방향으로 1 픽셀만큼 이동한 위치의8개의 블록으로 결정될 수도 있다.In addition, in Figures 5b and 5c, the predetermined neighboring blocks of the lower block are four blocks at positions moved by one pixel in the up, down, left, and right directions from the block indicated by the first candidate motion vector (CMV1). It is shown as such, but is not limited thereto. For example, the predetermined neighboring blocks of a sub-block may be determined as eight blocks whose positions are moved by 1 pixel in the top, bottom, left, right, and diagonal directions of the sub-block.

도 5b를 참조하면, 제3 레벨의 하위 레벨인 기준 이미지의 제2 레벨(412)에서의 h3 블록을 기준으로, 기준 이미지의 제2 레벨(412)에서 제1 후보 움직임 벡터(CMV1)가 가리키는 제1 하위 블록은 LB1 블록일 수 있다. 또한, 제1 하위 블록인 LB1을 기준으로 미리 결정된 주변 블록은 4개로, LB1에서 상측으로 1 픽셀만큼 이동한 블록(PB1), LB1에서 하측으로 1 픽셀만큼 이동한 블록(PB2), LB1에서 좌측으로 1 픽셀만큼 이동한 블록(PB3) 및 LB1에서 우측으로 1 픽셀만큼 이동한 블록(PB4)을 포함한다. 이에, 기준 이미지의 h3 블록을 기준으로 비교 이미지에서 대응하는 제1 하위 블록인 LB1의 미리 결정된 주변 블록들(PB1, PB2, PB3 및 PB4)과 매칭하여, SAD가 계산될 수 있다. 이에 따라, 최소 SAD를 갖는 블록이 LB1에서 하측으로 1 픽셀만큼 이동한 블록(PB2)인 경우, h3 블록에서 LB1에서 하측으로 1 픽셀만큼 이동한 블록(PB2)을 가리키는 벡터가 h3 블록에서의 제1 하위 움직임 벡터(LMV31)로 산출될 수 있다. 즉, 하위 움직임 벡터 산출부(153)는 제1 후보 움직임 벡터(CMV1)를 기초로 h3 블록에서의 제1 하위 움직임 벡터(LMV31)를 산출한다.Referring to FIG. 5B, based on the h3 block in the second level 412 of the reference image, which is a lower level of the third level, the first candidate motion vector (CMV1) points to the second level 412 of the reference image. The first lower block may be the LB1 block. In addition, there are four predetermined neighboring blocks based on LB1, which is the first sub-block: a block moved 1 pixel upward from LB1 (PB1), a block moved 1 pixel downward from LB1 (PB2), and a block moved 1 pixel downward from LB1. It includes a block (PB3) moved by 1 pixel to and a block (PB4) moved by 1 pixel to the right from LB1. Accordingly, SAD may be calculated by matching predetermined neighboring blocks (PB1, PB2, PB3, and PB4) of LB1, the corresponding first sub-block in the comparison image, based on block h3 of the reference image. Accordingly, if the block with the minimum SAD is the block (PB2) that has moved 1 pixel downward from LB1, the vector pointing to the block (PB2) in the h3 block that has moved 1 pixel downward from LB1 is the first block in the h3 block. 1 It can be calculated as a lower motion vector (LMV31). That is, the lower motion vector calculation unit 153 calculates the first lower motion vector (LMV31) in the h3 block based on the first candidate motion vector (CMV1).

마찬가지로, 도 5b를 참조하면, 제3 레벨의 하위 레벨인 기준 이미지의 제2 레벨(412)에서의 h4 블록을 기준으로, 기준 이미지의 제2 레벨(412)에서 제1 후보 움직임 벡터(CMV1)가 가리키는 제1 하위 블록은 LB2 블록일 수 있다. 또한, 제1 하위 블록인 LB2를 기준으로 미리 결정된 주변 블록은 4개로, LB2에서 상측으로 1 픽셀만큼 이동한 블록(PB1), LB2에서 하측으로 1 픽셀만큼 이동한 블록(PB2), LB2에서 좌측으로 1 픽셀만큼 이동한 블록(PB3) 및 LB2에서 우측으로 1 픽셀만큼 이동한 블록(PB4)을 포함한다. 이에, 기준 이미지의 h4 블록을 비교 이미지에서 대응하는 제1 하위 블록인 LB2의 미리 결정된 주변 블록들(PB1, PB2, PB3 및 PB4)과 매칭하여, SAD가 계산될 수 있다. 이에 따라, 최소 SAD를 갖는 블록이 LB2에서 우측으로 1 픽셀만큼 이동한 블록(PB4)인 경우, h4 블록에서 LB2에서 우측으로 1 픽셀만큼 이동한 블록(PB4)을 가리키는 벡터가 h4 블록에서의 제1 하위 움직임 벡터(LMV41)로 산출될 수 있다. 즉, 하위 움직임 벡터 산출부(153)는 제1 후보 움직임 벡터(CMV1)를 기초로 h4 블록에서의 제1 하위 움직임 벡터(LMV41)를 산출한다.Likewise, referring to FIG. 5B, based on the h4 block in the second level 412 of the reference image, which is a lower level of the third level, the first candidate motion vector (CMV1) in the second level 412 of the reference image The first subblock indicated by may be the LB2 block. In addition, there are four predetermined neighboring blocks based on LB2, which is the first sub-block: a block (PB1) moved 1 pixel upward from LB2, a block (PB2) moved 1 pixel downward from LB2, and a block to the left from LB2. It includes a block (PB3) moved by 1 pixel to LB2 and a block (PB4) moved by 1 pixel to the right from LB2. Accordingly, SAD can be calculated by matching block h4 of the reference image with predetermined neighboring blocks (PB1, PB2, PB3, and PB4) of LB2, the corresponding first sub-block, in the comparison image. Accordingly, if the block with the minimum SAD is the block (PB4) shifted 1 pixel to the right from LB2, the vector pointing to the block (PB4) shifted 1 pixel to the right from LB2 in the h4 block is the block in the h4 block. 1 It can be calculated as a lower motion vector (LMV41). That is, the lower motion vector calculation unit 153 calculates the first lower motion vector (LMV41) in the h4 block based on the first candidate motion vector (CMV1).

또한, 하위 움직임 벡터 산출부(153)는 하위 레벨에서 제2 후보 움직임 벡터(CMV2)가 가리키는 기준 이미지의 제2 하위 블록 및 제2 하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 하위 블록과 매칭하여, 제2 하위 움직임 벡터를 산출한다.In addition, the lower motion vector calculation unit 153 compares the second sub-block of the reference image indicated by the second candidate motion vector (CMV2) and predetermined neighboring blocks of the second sub-block at the lower level with the corresponding sub-block in the image. By matching, a second lower motion vector is calculated.

도 5c를 참조하면, 제3 레벨의 하위 레벨인 기준 이미지의 제2 레벨(412)에서의 h3 블록을 기준으로, 기준 이미지의 제2 레벨(412)에서 제2 후보 움직임 벡터(CMV2)가 가리키는 제2 하위 블록은 LB3 블록일 수 있다. 또한, LB3 블록의 미리 결정된 주변 블록은 4개로, LB3에서 상측으로 1 픽셀만큼 이동한 블록(PB1), LB3에서 하측으로 1 픽셀만큼 이동한 블록(PB2), LB3에서 좌측으로 1 픽셀만큼 이동한 블록(PB3) 및 LB3에서 우측으로 1 픽셀만큼 이동한 블록(PB4)을 포함한다. 이에, 기준 이미지의 h3 블록을 비교 이미지에서 대응하는 제2 하위 블록인 LB3의 미리 결정된 주변 블록들(PB1, PB2, PB3 및 PB4)과 매칭하여, SAD가 계산될 수 있다. 이에 따라, 최소 SAD를 갖는 블록이 LB3에서 하측으로 1 픽셀만큼 이동한 블록(PB2)인 경우, h3 블록에서 LB3에서 하측으로 1 픽셀만큼 이동한 블록(PB2)을 가리키는 벡터가 h3 블록에서의 제2 하위 움직임 벡터(LMV32)로 산출될 수 있다. 즉, 하위 움직임 벡터 산출부(153)는 제2 후보 움직임 벡터(CMV2)를 기초로 h3 블록에서의 제2 하위 움직임 벡터(LMV32)를 산출한다. 여기서, h3 블록에서의 제1 하위 움직임 벡터(LMV31) 및 제2 하위 움직임 벡터(LMV32)는 서로 동일할 수 있다.Referring to FIG. 5C, based on the h3 block in the second level 412 of the reference image, which is a lower level of the third level, the second candidate motion vector (CMV2) points to the second level 412 of the reference image. The second lower block may be the LB3 block. In addition, there are four predetermined neighboring blocks of the LB3 block: a block (PB1) moved 1 pixel upward from LB3, a block (PB2) moved 1 pixel downward from LB3, and a block moved 1 pixel to the left from LB3. It includes a block (PB3) and a block (PB4) shifted 1 pixel to the right from LB3. Accordingly, SAD can be calculated by matching block h3 of the reference image with predetermined neighboring blocks (PB1, PB2, PB3, and PB4) of LB3, the corresponding second sub-block, in the comparison image. Accordingly, if the block with the minimum SAD is the block (PB2) that has moved 1 pixel downward from LB3, the vector pointing to the block (PB2) in the h3 block that has moved 1 pixel downward from LB3 is the first block in the h3 block. 2 It can be calculated as a lower motion vector (LMV32). That is, the lower motion vector calculation unit 153 calculates the second lower motion vector (LMV32) in the h3 block based on the second candidate motion vector (CMV2). Here, the first lower motion vector (LMV31) and the second lower motion vector (LMV32) in the h3 block may be the same.

마찬가지로, 도 5c를 참조하면, 제3 레벨의 하위 레벨인 기준 이미지의 제2 레벨(412)에서의 h4 블록을 기준으로, 기준 이미지의 제2 레벨(412)에서 제2 후보 움직임 벡터(CMV2)가 가리키는 제2 하위 블록은 LB4 블록일 수 있다. 또한, LB4 블록의 미리 결정된 주변 블록은 4개로, LB4에서 상측으로 1 픽셀만큼 이동한 블록(PB1), LB4에서 하측으로 1 픽셀만큼 이동한 블록(PB2), LB4에서 좌측으로 1 픽셀만큼 이동한 블록(PB3) 및 LB4에서 우측으로 1 픽셀만큼 이동한 블록(PB4)을 포함한다. 이에, 기준 이미지의 h4 블록을 비교 이미지에서 대응하는 제2 하위 블록인 LB4의 미리 결정된 주변 블록들(PB1, PB2, PB3 및 PB4)과 매칭하여, SAD가 계산될 수 있다. 이에 따라, 최소 SAD를 갖는 블록이 LB4에서 상측으로 1 픽셀만큼 이동한 블록(PB1)인 경우, h4 블록에서 LB4에서 상측으로 1 픽셀만큼 이동한 블록(PB1)을 가리키는 벡터가 h4 블록에서의 제2 하위 움직임 벡터(LMV42)로 산출될 수 있다. 즉, 하위 움직임 벡터 산출부(153)는 제2 후보 움직임 벡터(CMV2)를 기초로 h4 블록에서의 제1 하위 움직임 벡터(LMV42)를 산출한다. 여기서, h4 블록에서의 제1 하위 움직임 벡터(LMV41) 및 제2 하위 움직임 벡터(LMV42)는 서로 상이할 수 있다.Likewise, referring to FIG. 5C, based on the h4 block in the second level 412 of the reference image, which is a lower level of the third level, the second candidate motion vector (CMV2) in the second level 412 of the reference image The second subblock indicated by may be the LB4 block. In addition, there are four predetermined neighboring blocks of the LB4 block: a block (PB1) moved 1 pixel upward from LB4, a block (PB2) moved 1 pixel downward from LB4, and a block moved 1 pixel to the left from LB4. It includes a block (PB4) shifted one pixel to the right from the block (PB3) and LB4. Accordingly, SAD can be calculated by matching block h4 of the reference image with predetermined neighboring blocks (PB1, PB2, PB3, and PB4) of LB4, the corresponding second sub-block, in the comparison image. Accordingly, if the block with the minimum SAD is the block (PB1) moved 1 pixel above LB4, the vector pointing to the block (PB1) moved 1 pixel above LB4 in the h4 block is the first block in the h4 block. 2 It can be calculated as a lower motion vector (LMV42). That is, the lower motion vector calculation unit 153 calculates the first lower motion vector (LMV42) in the h4 block based on the second candidate motion vector (CMV2). Here, the first lower motion vector (LMV41) and the second lower motion vector (LMV42) in the h4 block may be different from each other.

이에 따라, 하위 움직임 벡터 산출부(153)는 서로 상이한 후보 움직임 벡터를 기초로 서로 상이한 하위 움직임 벡터를 산출할 수 있다. 즉, 소형 객체(S1)를 기초로 산출된 제2 후보 움직임 벡터는 추가적인 제2 하위 움직임 벡터를 산출할 수 있다. 나아가, 최하위 레벨에서는 하나의 블록에 대한 움직임 벡터가 여러 개의 하위 움직임 벡터를 기초로 결정될 수 있으므로, 보다 정확한 최종 움직임 벡터가 결정될 수 있다.Accordingly, the lower motion vector calculation unit 153 may calculate different lower motion vectors based on different candidate motion vectors. That is, the second candidate motion vector calculated based on the small object S1 may calculate an additional second lower motion vector. Furthermore, at the lowest level, the motion vector for one block can be determined based on multiple lower motion vectors, so a more accurate final motion vector can be determined.

도 2 및 도 3을 참조하면, 최종 움직임 벡터 결정부(154)는 하위 움직임 벡터를 기초로 최종 움직임 벡터를 결정한다 (S350). Referring to Figures 2 and 3, the final motion vector determination unit 154 determines the final motion vector based on the lower motion vector (S350).

구체적으로, 최종 움직임 벡터 결정부(154)는 하위 움직임 벡터가 가리키는 최하위 블록 및 최하위 블록의 미리 결정된 주변 블록에서 SAD가 최소가 되는 움직임 벡터를 기준 이미지 피라미드의 최하위 레벨에서의 최종 움직임 벡터로 결정한다. 즉, 도 5b 및 도 5c를 참조하여 하위 움직임 벡터 산출부(153)가 하위 움직임 벡터를 산출한 방법과 동일한 방법으로, 최종 움직임 벡터 결정부(154)는 최하위 블록 및 최하위 블록의 미리 결정된 주변 블록에서 SAD가 최소가 되는 움직임 벡터를 산출하여, 최종 움직임 벡터를 결정할 수 있다.Specifically, the final motion vector decision unit 154 determines the motion vector with the minimum SAD in the lowest block indicated by the lower motion vector and the predetermined neighboring blocks of the lowest block as the final motion vector at the lowest level of the reference image pyramid. . That is, referring to FIGS. 5B and 5C, in the same way as the lower motion vector calculation unit 153 calculates the lower motion vector, the final motion vector determination unit 154 calculates the lowest block and the predetermined neighboring blocks of the lowest block. By calculating the motion vector with the minimum SAD, the final motion vector can be determined.

도 5d에는 하위 움직임 벡터를 기초로 최하위 레벨에서의 최종 움직임 벡터를 결정하는 과정이 개략적으로 도시되어 있다. 하위 레벨에서의 하위 움직임 벡터를 결정하는 과정과 최하위 레벨에서의 최종 움직임 벡터를 결정하는 과정은 실질적으로 동일하므로, 설명의 편의상 도 5d를 참조하여 기준 이미지 피라미드 및 비교 이미지 피라미드에서 제2 레벨(412, 422)을 기준으로 최종 움직임 벡터를 결정하는 과정을 설명한다. 이에, 도 5d를 참조하여 하위 움직임 벡터 및 최종 움직임 벡터를 결정하는 과정을 후술한다.Figure 5d schematically shows the process of determining the final motion vector at the lowest level based on the lower motion vector. Since the process of determining the lower motion vector at the lower level and the process of determining the final motion vector at the lowest level are substantially the same, for convenience of explanation, referring to FIG. 5D, the second level (412) in the reference image pyramid and the comparison image pyramid , 422), the process of determining the final motion vector is explained. Accordingly, the process of determining the lower motion vector and the final motion vector will be described later with reference to FIG. 5D.

또한, 도 5d에는 예시적으로 g2, g4, h1 및 h3 블록에서의 최종 움직임 벡터가 결정되는 과정이 도시되어 있다. 도 5d에는 도시되지 않았으나, 나머지 블록의 최종 움직임 벡터도 동일한 과정을 통해서 산출될 수 있다.Additionally, FIG. 5D exemplarily illustrates the process of determining the final motion vectors in blocks g2, g4, h1, and h3. Although not shown in FIG. 5D, the final motion vectors of the remaining blocks can also be calculated through the same process.

최종 움직임 벡터 결정부(154)는 최하위 레벨에서 제1 하위 움직임 벡터가 가리키는 기준 이미지의 제1 최하위 블록 및 제1 최하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 최하위 블록과 매칭한다. 마찬가지로, 최종 움직임 벡터 결정부(154)는 최하위 레벨에서 제2 하위 움직임 벡터가 가리키는 기준 이미지의 제2 최하위 블록 및 제2 최하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 최하위 블록과 매칭한다. 이를 기초로, 최종 움직임 벡터 결정부(154)는 제1 최하위 블록, 제1 최하위 블록의 미리 결정된 주변 블록, 제2 최하위 블록 및 제2 최하위 블록의 미리 결정된 주변 블록에서 SAD가 최소가 되는 움직임 벡터를 최종 움직임 벡터로 결정한다. 예를 들어, h1 블록을 기준으로 제1 최하위 블록, 제2 최하위 블록 및 각각의 미리 결정된 주변 블록 전체에서 계산된 SAD를 비교하여, 최소 SAD를 갖는 블록을 가리키는 벡터가 h1 블록에서의 최종 움직임 벡터(FH1)로 결정된다. 마찬가지로, 동일한 방법을 통해 h3 블록에서의 최종 움직임 벡터(FH3), g2 블록에서의 최종 움직임 벡터(FG2) 및 g4 블록에서의 최종 움직임 벡터(FG4)도 각각 결정되며, 나머지 블록에서의 최종 움직임 벡터도 같은 방식으로 결정된다. 이에 따라, 기준 이미지의 최하위 레벨에서 모든 블록에 대한 최종 움직임 벡터가 결정되면, 보간 영상이 결정될 수 있다.The final motion vector determination unit 154 matches the first lowest level block of the reference image indicated by the first lower motion vector at the lowest level and a predetermined neighboring block of the first lowest level block with the corresponding lowest level block in the comparison image. Similarly, the final motion vector determiner 154 matches the second lowest block of the reference image indicated by the second lower motion vector at the lowest level and a predetermined neighboring block of the second lowest block with the corresponding lowest block in the comparison image. Based on this, the final motion vector determiner 154 determines the motion vector with the minimum SAD in the first lowest-order block, the predetermined neighboring block of the first lowest-order block, the second lowest-order block, and the predetermined neighboring block of the second lowest-order block. is determined as the final motion vector. For example, by comparing the SAD calculated across the first lowest-order block, the second lowest-order block, and each predetermined neighboring block based on the h1 block, the vector pointing to the block with the minimum SAD is the final motion vector in the h1 block. It is determined as (FH1). Likewise, the final motion vector in the h3 block (FH3), the final motion vector in the g2 block (FG2), and the final motion vector in the g4 block (FG4) are also determined through the same method, and the final motion vectors in the remaining blocks are determined, respectively. is determined in the same way. Accordingly, when the final motion vectors for all blocks are determined at the lowest level of the reference image, an interpolated image can be determined.

본 발명의 일 실시예에 따른 영상 처리 방법에서는 소형 객체를 포함하는 블록이 존재하는 경우, 영상 처리부(150)가 상위 블록에서 소형 객체에 기초한 제2 후보 움직임 벡터를 추가적으로 산출한다. 이에, 하위 레벨 및 최하위 레벨에서 산출되는 움직임 벡터들은 소형 객체를 고려하지 않은 제1 후보 움직임 벡터와 소형 객체를 고려한 제2 후보 움직임 벡터로 각각 산출된다. In the image processing method according to an embodiment of the present invention, when a block including a small object exists, the image processor 150 additionally calculates a second candidate motion vector based on the small object from the upper block. Accordingly, the motion vectors calculated at the lower level and the lowest level are calculated as a first candidate motion vector that does not consider small objects and a second candidate motion vector that takes small objects into account, respectively.

이에 따라, 소형 객체를 포함하는 블록에서 움직임 벡터는 소형 객체를 고려한 제2 후보 움직임 벡터로 인해 최종 움직임 벡터가 소형 객체의 움직임을 정확하게 추정할 수 있도록 결정될 수 있다. 즉, 소형 객체를 포함하는 블록의 움직임 벡터는 후보 움직임 벡터에서 서로 상이하지만, SAD가 최소가 되는 움직임 벡터는 소형 객체를 기초로 한 후보 움직임 벡터이므로, 최종 움직임 벡터가 정확하게 결정될 수 있다.Accordingly, the motion vector in the block including the small object can be determined so that the final motion vector can accurately estimate the motion of the small object due to the second candidate motion vector considering the small object. That is, although the motion vectors of blocks containing small objects are different from each other in the candidate motion vectors, the motion vector with the minimum SAD is a candidate motion vector based on the small object, so the final motion vector can be accurately determined.

도 6은 본 발명의 다른 실시예에 따른 영상 처리 방법에 따라 영상을 처리하는 절차를 도시한 것이다. 도 7a 내지 도 7c는 본 발명의 또 다른 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이다. 설명의 편의를 위해 도 7a은 도 5a의 기준 이미지의 제3 레벨(411) 중 h 블록만을 도시하고, 도 7b는 도 5a의 기준 이미지의 제3 레벨(411) 중 h 블록, 비교 이미지의 제3 레벨(421) 중 h’ 블록 및 b’ 블록만을 도시한다. 도 7a 및 도 7b에서 블록의 내부에 기재된 숫자는 휘도를 나타내지만, 이에 한정되지 않고 영상 데이터 또는 R, G, B 중 어느 하나를 대표하는 데이터를 나타낼 수도 있다. 여기서, 휘도는 0 내지 255 사이의 값을 갖는다.Figure 6 shows a procedure for processing an image according to an image processing method according to another embodiment of the present invention. Figures 7A to 7C are exemplary diagrams for explaining a process for calculating a candidate motion vector according to another embodiment of the present invention. For convenience of explanation, FIG. 7A shows only the h block of the third level 411 of the reference image of FIG. 5A, and FIG. 7B shows the h block of the third level 411 of the reference image of FIG. 5A and the h block of the comparison image. Of the three levels 421, only h' blocks and b' blocks are shown. In FIGS. 7A and 7B, the numbers written inside the blocks represent luminance, but are not limited to this and may represent image data or data representing any one of R, G, and B. Here, luminance has a value between 0 and 255.

도 6을 참조하면, 후보 움직임 벡터 산출부(152)는 기준 이미지의 상위 블록에서 평균휘도를 산출한다 (S331). 이어서, 후보 움직임 벡터 산출부(152)는 평균휘도를 기준으로 기준 이미지의 상위 블록을 다수 픽셀 그룹 및 소수 픽셀 그룹으로 구분한다 (S332).Referring to FIG. 6, the candidate motion vector calculation unit 152 calculates the average luminance in the upper block of the reference image (S331). Next, the candidate motion vector calculation unit 152 divides the upper blocks of the reference image into a majority pixel group and a minority pixel group based on the average luminance (S332).

도 7a를 참조하면, 하나의 블록은 미리 정해진 개수의 픽셀을 포함한다. 예를 들어, 하나의 블록은 8 X 8개의 픽셀을 포함할 수 있다. 특히, 후보 움직임 벡터 산출부(152)는 하나의 블록에서 픽셀 각각의 휘도를 더하고 픽셀의 개수로 나누어 블록 각각에서의 평균휘도를 산출한다. 예를 들어, h 블록에서 평균휘도는 (200 X 25 + 20 X 39) / 64 = 90.3125이다.Referring to FIG. 7A, one block includes a predetermined number of pixels. For example, one block may contain 8 x 8 pixels. In particular, the candidate motion vector calculation unit 152 adds the luminance of each pixel in one block and divides it by the number of pixels to calculate the average luminance in each block. For example, the average luminance in block h is (200

후보 움직임 벡터 산출부(152)는 하나의 블록에서의 평균휘도를 기준으로 평균휘도보다 높은 휘도를 갖는 픽셀과 평균휘도보다 낮은 휘도를 갖는 픽셀로 구분할 수 있다. 예를 들어, h 블록에서의 평균휘도는 90.3125이므로, h 블록의 픽셀들은 평균휘도보다 높은 휘도인 200을 갖는 픽셀과 평균휘도보다 낮은 휘도인 20을 갖는 픽셀로 구분된다. 이에, h 블록에서 휘도가 200인 픽셀의 개수는 25개이고, 휘도가 20인 픽셀의 개수는 39개이다. The candidate motion vector calculation unit 152 can distinguish pixels with luminance higher than the average luminance and pixels with luminance lower than the average luminance based on the average luminance in one block. For example, since the average luminance in the h block is 90.3125, the pixels in the h block are divided into pixels with a luminance of 200, which is higher than the average luminance, and pixels with a luminance of 20, which is lower than the average luminance. Accordingly, in the h block, the number of pixels with luminance of 200 is 25, and the number of pixels with luminance of 20 is 39.

이에 따라, 후보 움직임 벡터 산출부(152)는 휘도가 20인 픽셀들을 다수 픽셀 그룹(JG)으로 구분하고, 휘도가 200인 픽셀들을 소수 픽셀 그룹(NG)으로 구분할 수 있다. 이에 따라, 후보 움직임 벡터 산출부(152)는 평균휘도를 기준으로 다수 픽셀 그룹(JG)과 소수 픽셀 그룹(NG)으로 구분함으로써, 상위 블록 내에 소형 객체가 포함되어 있는지 확인할 수 있다. 나아가, 후보 움직임 벡터 산출부(152)는 소형 객체를 기초로 하는 움직임 벡터를 산출할 수 있다.Accordingly, the candidate motion vector calculation unit 152 may divide pixels with a luminance of 20 into a majority pixel group (JG), and divide pixels with a luminance of 200 into a minority pixel group (NG). Accordingly, the candidate motion vector calculation unit 152 can check whether a small object is included in the upper block by dividing it into a majority pixel group (JG) and a minority pixel group (NG) based on the average luminance. Furthermore, the candidate motion vector calculation unit 152 may calculate a motion vector based on a small object.

도 6을 참조하면, 후보 움직임 벡터 산출부(152)는 기준 이미지에서 소수 픽셀 그룹 및 비교 이미지에서 소수 픽셀 그룹에 가중치를 적용한다 (S333). Referring to FIG. 6, the candidate motion vector calculation unit 152 applies weights to the minority pixel group in the reference image and the minority pixel group in the comparison image (S333).

구체적으로, 기준 이미지의 상위 블록에서 소수 픽셀 그룹 내의 픽셀과 비교 이미지의 상위 블록에서 소수 픽셀 그룹에 대응하는 픽셀 사이의 차이의 절대값에 가중치를 곱함으로써, 소수 픽셀 그룹에 가중치가 적용될 수 있다. 즉, 기준 이미지의 상위 블록 내의 픽셀 각각의 휘도와 비교 이미지의 상위 블록 내의 픽셀 각각의 휘도 차이의 절대값을 더하는 경우, 소수 픽셀 그룹에 대응하는 기준 이미지의 픽셀과 비교 이미지의 픽셀에서는 휘도 차이의 절대값에 가중치를 곱하고, 다수 픽셀 그룹에 대응하는 픽셀 사이에서의 휘도 차이의 절대값에는 가중치를 곱하지 않는다. 이를 통해 소수 픽셀 그룹에 대응하는 픽셀들에 의해 SAD가 변할 수 있고, SAD에 따라 새로운 후보 움직임 벡터가 산출될 수 있다.Specifically, the weight may be applied to the minority pixel group by multiplying the weight by the absolute value of the difference between the pixel within the minority pixel group in the upper block of the reference image and the pixel corresponding to the minority pixel group in the upper block of the comparison image. That is, when adding the absolute value of the luminance difference of each pixel in the upper block of the reference image and the luminance difference of each pixel in the upper block of the comparison image, the luminance difference between the pixels of the reference image and the comparison image corresponding to the minority pixel group is The absolute value is multiplied by the weight, and the absolute value of the luminance difference between pixels corresponding to multiple pixel groups is not multiplied by the weight. Through this, the SAD can be changed by pixels corresponding to a minority pixel group, and a new candidate motion vector can be calculated according to the SAD.

도 7b를 참조하면, 먼저 기준 이미지의 h 블록의 소수 픽셀 그룹(NG) 내의 픽셀과 비교 이미지의 b’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀을 비교한다. 즉, 후보 움직임 벡터 산출부(152)는 h 블록의 소수 픽셀 그룹(NG) 내의 픽셀의 휘도에서 b’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도를 뺀 값의 절대값에 가중치를 곱한다. 예를 들어, h 블록의 소수 픽셀 그룹(NG) 내의 픽셀 휘도는 200이고, b’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도도 200이므로, 두 픽셀의 휘도의 차이는 0이며, 가중치를 곱하더라도 0이 된다. 한편, 후보 움직임 벡터 산출부(152)는 h 블록의 다수 픽셀 그룹(JG) 내의 픽셀의 휘도와 b’ 블록의 다수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도 사이의 차이의 절대값에는 가중치를 곱하지 않는다. 예를 들어, h 블록의 다수 픽셀 그룹(JG) 내의 픽셀 휘도는 20이고, b’ 블록의 다수 픽셀 그룹에 대응하는 위치의 픽셀 휘도는 10이며, 두 픽셀의 휘도 차이의 절대값은 10이다. Referring to FIG. 7B, first, pixels within the minority pixel group (NG) of the h block of the reference image are compared with pixels at positions corresponding to the minority pixel group of the b' block of the comparison image. That is, the candidate motion vector calculation unit 152 multiplies the weight by the absolute value of the luminance of the pixel in the minority pixel group (NG) of the h block minus the luminance of the pixel at the position corresponding to the minority pixel group of the b' block. . For example, the luminance of a pixel within the minority pixel group (NG) of the h block is 200, and the luminance of the pixel at the position corresponding to the minority pixel group of the b' block is also 200, so the difference between the luminance of the two pixels is 0, and the weight Even if you multiply it, it becomes 0. Meanwhile, the candidate motion vector calculation unit 152 multiplies the absolute value of the difference between the luminance of a pixel in the plurality of pixel groups (JG) of the h block and the luminance of a pixel at a position corresponding to the plurality of pixel groups of the b' block by a weight. I never do that. For example, the luminance of a pixel within the majority pixel group (JG) of the h block is 20, the luminance of a pixel at a position corresponding to the multiple pixel group of the b' block is 10, and the absolute value of the difference in luminance between the two pixels is 10.

이에, 기준 이미지의 h 블록과 비교 이미지의 b’ 블록 사이에서 가중치가 적용된 SAD는 10 X 39=390이다. 즉, 수소 픽셀 그룹에서 기준 이미지와 비교 이미지의 픽셀 휘도 차이가 매우 작으므로 가중치가 적용되더라도 SAD는 크게 증가하지 않는다.Accordingly, the weighted SAD between the h block of the reference image and the b’ block of the comparison image is 10 In other words, since the difference in pixel luminance between the reference image and the comparison image in the hydrogen pixel group is very small, the SAD does not increase significantly even if weight is applied.

도 7b를 참조하면, 기준 이미지의 h 블록의 소수 픽셀 그룹(NG) 내의 픽셀과 비교 이미지의 h’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀을 비교한다. 즉, 후보 움직임 벡터 산출부(152)는 h 블록의 소수 픽셀 그룹(NG) 내의 픽셀의 휘도에서 h’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도를 뺀 값의 절대값에 가중치를 곱한다. 예를 들어, h 블록의 소수 픽셀 그룹(NG) 내의 픽셀 휘도는 200이고, h’ 블록의 소수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도는 10이므로, 두 픽셀의 휘도의 차이의 절대값은 190이며, 가중치(K)를 곱하면 가중치가 적용된 SAD는 190K가 된다. 한편, 후보 움직임 벡터 산출부(152)는 h 블록의 다수 픽셀 그룹(JG) 내의 픽셀의 휘도와 h’ 블록의 다수 픽셀 그룹에 대응하는 위치의 픽셀의 휘도 사이의 차이의 절대값에는 가중치를 곱하지 않으므로, h 블록의 다수 픽셀 그룹(JG) 내의 픽셀 휘도는 20이고, h’ 블록의 다수 픽셀 그룹에 대응하는 위치의 픽셀 휘도는 10이며, 두 픽셀의 휘도 차이의 절대값은 10이다. Referring to FIG. 7B, pixels within the minority pixel group (NG) of the h block of the reference image are compared with pixels at positions corresponding to the minority pixel group of the h' block of the comparison image. That is, the candidate motion vector calculation unit 152 multiplies the weight by the absolute value of the luminance of the pixel in the minority pixel group (NG) of the h block minus the luminance of the pixel at the position corresponding to the minority pixel group of the h' block. . For example, the luminance of a pixel within the minority pixel group (NG) of the h block is 200, and the luminance of the pixel at the position corresponding to the minority pixel group of the h' block is 10, so the absolute value of the difference between the luminance of the two pixels is 190. , and when multiplied by the weight (K), the weighted SAD becomes 190K. Meanwhile, the candidate motion vector calculation unit 152 multiplies the absolute value of the difference between the luminance of a pixel in the plurality of pixel groups (JG) of the h block and the luminance of a pixel at a position corresponding to the plurality of pixel groups of the h' block by a weight. Therefore, the luminance of a pixel in the majority pixel group (JG) of the h block is 20, the luminance of a pixel at a position corresponding to the multiple pixel group of the h' block is 10, and the absolute value of the difference in luminance between the two pixels is 10.

이에, 기준 이미지의 h 블록과 비교 이미지의 h’ 블록 사이에서 가중치가 적용된 SAD는 (190K X 25) + (10 X 39) = 4750K + 390이다. 즉, 가중치 K는 1보다 큰 실수이므로, h 블록과 h’ 블록 사이에서 가중치가 적용된 SAD는 h 블록과 b’ 블록 사이에서 가중치가 적용된 SAD인 390보다 매우 큰 값을 갖는다. Accordingly, the weighted SAD between h block of the reference image and h’ block of the comparison image is (190K In other words, since the weight K is a real number greater than 1, the weighted SAD between h blocks and h’ blocks has a value much larger than the weighted SAD between h blocks and b’ blocks, which is 390.

도 6을 참조하면, 후보 움직임 벡터 산출부(152)는 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 매칭하여, 기준 이미지의 상위 블록에서의 소형 객체에 대응하는 제2 후보 움직임 벡터를 산출한다 (S334).Referring to FIG. 6, the candidate motion vector calculation unit 152 matches the upper block of the reference image with the upper block of the comparison image and calculates a second candidate motion vector corresponding to the small object in the upper block of the reference image. (S334).

후보 움직임 벡터 산출부(152)는 소형 객체를 포함하는 기준 이미지의 상위 블록과 비교 이미지의 상위 블록 전체를 매칭함으로써, 비교 이미지의 상위 블록 각각에 대한 가중치가 부여된 SAD를 계산한다. 즉, 기준 이미지의 상위 블록 중 소형 객체가 포함된 블록은 비교 이미지의 상위 블록 전체와 매칭되어 SAD가 계산된다. 이에, 기준 이미지의 소형 객체가 포함된 블록으로부터 비교 이미지의 상위 블록에서 최소 SAD를 갖는 블록을 가리키는 벡터가 제2 후보 움직임 벡터로 산출된다. 도 7c에는 비교 이미지의 상위 블록 각각에 가중치가 부여된 SAD가 예시적으로 도시되어 있으며, 도시된 SAD는 가중치 K가 2인 경우를 가정한다.The candidate motion vector calculation unit 152 calculates a weighted SAD for each upper block of the comparison image by matching the entire upper block of the comparison image with the upper block of the reference image including the small object. That is, blocks containing small objects among the upper blocks of the reference image are matched with all upper blocks of the comparison image to calculate SAD. Accordingly, a vector pointing to the block with the minimum SAD in the upper block of the comparison image from the block containing the small object in the reference image is calculated as the second candidate motion vector. FIG. 7C exemplarily shows a SAD in which weights are assigned to each upper block of the comparison image, and the illustrated SAD assumes that the weight K is 2.

도 7c를 참조하면, 비교 이미지의 제3 레벨(421)의 상위 블록 전체에는 가중치가 부여된 SAD가 예시적으로 기재되어 있다. 이에, 비교 이미지의 b’ 블록은 390의 가중치가 적용된 SAD를 갖고, 비교 이미지의 h’ 블록은 9890의 가중치가 적용된 SAD를 갖는다. 비교 이미지의 제3 레벨(421)의 상위 블록 전체에서 390의 가중치가 적용된 SAD를 갖는 b’ 블록이 최소 SAD를 가지므로, 기준 이미지의 h 블록으로부터 비교 이미지의 b’ 블록을 가리키는 벡터가 제2 후보 움직임 벡터로 결정된다.Referring to FIG. 7C, weighted SADs are exemplarily described in all upper blocks of the third level 421 of the comparison image. Accordingly, the b' block of the comparison image has a SAD with a weight of 390, and the h' block of the comparison image has a SAD with a weight of 9890. Since the b' block with a weighted SAD of 390 has the minimum SAD across the upper blocks of the third level 421 of the comparison image, the vector pointing to the b' block of the comparison image from the h block of the reference image is the second It is determined by the candidate motion vector.

본 발명에 따른 영상 처리 방법에 의해 소형 물체를 포함하는 상위 블록에서 소형 객체에 대응하는 소수 픽셀 그룹에 가중치를 적용함으로써, 블록에서 다수의 픽셀이 움직임 벡터를 결정하는 영향력이 축소되고 소형 객체에 대응하는 소수의 픽셀의 영향력이 확대될 수 있다. 이에 따라, 소형 객체의 움직임을 추정할 수 있는 제2 후보 움직임 벡터가 추가적으로 산출될 수 있다. 또한, 제2 후보 움직임 벡터가 제1 후보 움직임 벡터와 독립적으로 하위 움직임 벡터를 산출함으로써, 최하위 레벨에서 최종 움직임 벡터를 결정하는 경우에도 소형 객체의 움직임을 정확하게 추정하여 보다 정확한 최종 움직임 벡터가 결정될 수 있다.By applying weight to a small group of pixels corresponding to small objects in the upper block containing the small object by the image processing method according to the present invention, the influence of a large number of pixels in the block in determining the motion vector is reduced and corresponding to the small object The influence of a few pixels can be magnified. Accordingly, a second candidate motion vector capable of estimating the movement of the small object may be additionally calculated. In addition, since the second candidate motion vector calculates a lower motion vector independently of the first candidate motion vector, even when the final motion vector is determined at the lowest level, the motion of a small object can be accurately estimated and a more accurate final motion vector can be determined. there is.

도 8은 본 발명의 또 다른 실시예에 따른 후보 움직임 벡터를 산출하는 과정을 설명하기 위한 예시도이다. 도 8에 도시된 h 블록은 도 7a에 도시된 h 블록과 픽셀 휘도 각각의 수치만이 상이한바, 실질적으로 동일한 구성에 대해서는 중복 설명을 생략한다. 설명의 편의를 위해 도 8은 도 5a의 기준 이미지의 제3 레벨(411) 중 h 블록만을 도시한다. 설명의 편의를 위해 도 7c를 참조하여 후술한다.Figure 8 is an example diagram to explain the process of calculating a candidate motion vector according to another embodiment of the present invention. The h block shown in FIG. 8 is different from the h block shown in FIG. 7A only in each pixel luminance value, so duplicate description of substantially the same configuration will be omitted. For convenience of explanation, FIG. 8 shows only h block of the third level 411 of the reference image of FIG. 5A. For convenience of explanation, this will be described later with reference to FIG. 7C.

후보 움직임 벡터 산출부(152)는 기준 이미지에서 소수 픽셀 그룹 내의 픽셀의 휘도를 1로 설정하고, 기준 이미지에서 다수 픽셀 그룹 내의 픽셀의 휘도를 0으로 설정할 수 있다.The candidate motion vector calculation unit 152 may set the luminance of a pixel in a minority pixel group in the reference image to 1 and set the luminance of a pixel in a majority pixel group in the reference image to 0.

도 8을 참조하면, h 블록에서 소수 픽셀 그룹 내의 픽셀의 휘도는 1이고 다수 픽셀 그룹 내의 픽셀의 휘도는 0이다. 즉, 하나의 블록에서 소형 객체가 존재하는 영역의 픽셀의 휘도가 1로 설정되고 나머지 픽셀의 휘도는 0으로 설정된다. 이와 같이 소수 픽셀 그룹 내의 픽셀의 휘도가 1이고, 나머지 픽셀의 휘도는 0으로 기준 이미지의 상위 블록에서 소형 객체가 존재하는 블록은 휘도가 32보다 작은 숫자로 결정될 수 있다. 또한, 소형 객체가 존재하지 않는 블록은 모두 휘도가 0으로 결정될 수 있다. Referring to FIG. 8, in block h, the luminance of a pixel in a minority pixel group is 1 and the luminance of a pixel in a majority pixel group is 0. That is, in one block, the luminance of the pixel in the area where the small object exists is set to 1, and the luminance of the remaining pixels is set to 0. In this way, the luminance of a pixel within a few pixel groups is 1, and the luminance of the remaining pixels is 0, so the luminance of a block containing a small object in the upper block of the reference image may be determined to be a number less than 32. Additionally, the luminance of all blocks in which small objects do not exist may be determined to be 0.

이에 따라, 기준 이미지의 상위 레벨에서 소형 객체가 존재하는 블록이 용이하게 결정된다. 나아가, 소형 객체가 존재하는 블록이 용이하게 결정되어 기준 이미지의 상위 블록 전체와 비교 이미지의 상위 블록 전체를 매칭하지 않고 제2 후보 움직임 벡터가 산출될 수 있다. 즉, 제2 후보 움직임 벡터가 산출되기 위한 연산량이 현저하게 저감될 수 있다.Accordingly, blocks in which small objects exist at the upper level of the reference image are easily determined. Furthermore, the block in which the small object exists can be easily determined, and a second candidate motion vector can be calculated without matching all of the upper blocks of the reference image and all of the upper blocks of the comparison image. That is, the amount of computation for calculating the second candidate motion vector can be significantly reduced.

도 9는 비교예에 따라 출력되는 예시적인 영상 및 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 출력되는 예시적인 영상이다. 9 shows an example image output according to a comparative example and an example image output according to an image processing method according to an embodiment of the present invention.

도 9를 참조하면, 비교예 및 실시예에서 공의 이동 방향은 좌측 방향이다. 비교예를 살펴보면, 비교예의 n-1 번째 프레임 이미지(911)에서는 공이 실선의 우측만에 존재하며 비교예의 n 번째 프레임 이미지(913)에서는 공이 실선을 넘어서 좌측에도 일부 존재한다. 한편, 비교예의 보간 영상(912)에서 공은 비교예의 n 번째 프레임 이미지(913)에서의 공보다 실선의 좌측으로 많이 넘어간 것으로 표현된다. 즉, 비교예에서는 보간 영상에서 움직임 벡터가 소형 객체를 구분하지 못하여, 이후 프레임인 n 번째 프레임 이미지(913)보다 소형 객체가 더 움직인 것처럼 표현된다. 따라서, 비교예에서는 보간 영상이 소형 객체의 움직임을 정확하게 추정하지 못한다.Referring to FIG. 9, the moving direction of the ball in the comparative examples and examples is left. Looking at the comparative example, in the n-1th frame image 911 of the comparative example, the ball exists only on the right side of the solid line, and in the nth frame image 913 of the comparative example, the ball crosses the solid line and partially exists on the left side as well. Meanwhile, in the interpolated image 912 of the comparative example, the ball is expressed as having passed further to the left of the solid line than the ball in the nth frame image 913 of the comparative example. That is, in the comparative example, the motion vector does not distinguish small objects in the interpolated image, so the small object is expressed as if it moved more than the nth frame image 913, which is the next frame. Therefore, in the comparative example, the interpolated image does not accurately estimate the movement of the small object.

도 9에서 실시예를 살펴보면, 실시예의 n-1 번째 프레임 이미지(921)에서는 공이 실선의 우측에만 존재하며 실시예의 n 번째 프레임 이미지(923)에서는 공이 실선을 넘어서 좌측에도 일부 존재한다. 한편, 실시예의 보간 영상(922)에서 공은 실시예의 n-1 번째 프레임 이미지(921)에서 공과 실시예의 n 번째 프레임 이미지(923)에서 공의 사이에 존재한다. 즉, 실시예의 보간 영상(922)은 소형 객체를 기초로 하여 보다 정확한 움직임 벡터를 기초로 형성됨으로써, 실시예의 n-1 번째 프레임 이미지(921)와 실시예의 n 번째 프레임 이미지(923) 사이에서 소형 객체인 공의 움직임을 정확하게 추정한다.Looking at the example in FIG. 9, in the n-1th frame image 921 of the example, the ball exists only on the right side of the solid line, and in the nth frame image 923 of the example, the ball crosses the solid line and partially exists on the left side as well. Meanwhile, in the interpolated image 922 of the example, the ball exists between the ball in the n-1th frame image 921 of the example and the ball in the nth frame image 923 of the example. That is, the interpolated image 922 of the embodiment is formed based on a more accurate motion vector based on a small object, so that the small object is formed between the n-1th frame image 921 of the embodiment and the nth frame image 923 of the embodiment. Accurately estimates the movement of the object, the ball.

또한, 도 9를 참조하면, 비교예의 보간 영상(912)에서는 공의 형태가 일부 변형되거나 공 또는 배경에서 끌림 현상이 나타난다. 반면, 실시예의 보간 영상(922)에서는 공의 형태가 거의 변형되지 않고 공 또는 배경에서 끌림 현상이 나타나지 않는다. 즉, 본 발명의 실시예에 따르면, 소형 객체인 공의 움직임이 보다 정확하게 추정되어 영상의 잔상(blur) 및 떨림(judder)이 현저하게 저감될 수 있다.Additionally, referring to FIG. 9 , in the interpolated image 912 of the comparative example, the shape of the ball is partially deformed or a drag phenomenon appears in the ball or the background. On the other hand, in the interpolated image 922 of the embodiment, the shape of the ball is hardly deformed and no drag phenomenon appears on the ball or the background. That is, according to an embodiment of the present invention, the movement of a ball, a small object, can be estimated more accurately, and blur and judder of the image can be significantly reduced.

본 발명의 실시예들에 따른 유기 발광 표시 장치는 다음과 같이 설명될 수 있다. Organic light emitting display devices according to embodiments of the present invention can be described as follows.

본 발명의 일 실시예에 따른 영상 처리 방법은 서로 인접하는 프레임의 이미지인 기준 이미지 및 비교 이미지 각각에 대해 복수의 레벨을 갖는 기준 이미지 피라미드 및 비교 이미지 피라미드를 생성하는 단계, 기준 이미지 피라미드의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터(candidate motion vector)를 산출하는 단계, 상위 블록의 크기보다 작은 소형 객체(small object)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터를 산출하는 단계, 및 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출하는 단계를 포함하고, 하위 레벨의 로우(row) 픽셀의 개수는 상위 레벨의 로우 픽셀의 개수의 2배이고, 하위 레벨의 컬럼(column) 픽셀의 개수는 상위 레벨의 컬럼 픽셀의 개수의 2배이다. 본 발명의 일 실시예에 따른 영상 처리 방법은 소형 객체에 대응하는 픽셀에 가중치를 적용함으로써, 소형 객체에 대한 움직임 벡터를 추가적으로 참조할 수 있고, 이를 통해 움직임 벡터의 정확도를 향상시킬 수 있다.An image processing method according to an embodiment of the present invention includes generating a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of adjacent frames, and the upper level of the reference image pyramid. Calculating a first candidate motion vector in the upper block of the reference image by matching all upper blocks at the upper level of the comparison image pyramid with the upper block in the image pyramid, calculating a first candidate motion vector in the upper block of the reference image, a small object smaller than the size of the upper block If a higher evaluation block containing (small object) exists in the reference image, the upper block of the reference image and the upper block of the comparison image are entirely matched based on the small object, and a second candidate motion vector corresponding to the upper evaluation block is created. and calculating a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector, where the number of row pixels at the lower level is equal to the number of row pixels at the upper level. It is twice the number of low level pixels, and the number of column pixels in the lower level is twice the number of column pixels in the upper level. The image processing method according to an embodiment of the present invention can additionally refer to the motion vector for the small object by applying weight to the pixel corresponding to the small object, thereby improving the accuracy of the motion vector.

본 발명의 다른 특징에 따르면, 기준 이미지 피라미드 및 비교 이미지 피라미드 각각은 최상위 레벨을 포함하고, 상위 레벨은 최상위 레벨이고, 상위 블록은 최상위 블록이고, 상위 평가 블록은 최상위 평가 블록일 수 있다. According to another feature of the present invention, each of the reference image pyramid and the comparison image pyramid may include a top level, the top level may be the top level, the top block may be the top block, and the top evaluation block may be the top evaluation block.

본 발명의 또 다른 특징에 따르면, 하위 움직임 벡터를 산출하는 단계는, 하위 레벨에서 제1 후보 움직임 벡터가 가리키는 기준 이미지의 제1 하위 블록 및 제1 하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 하위 블록과 매칭하여, 제1 하위 움직임 벡터를 산출하는 단계, 및 하위 레벨에서 제2 후보 움직임 벡터가 가리키는 기준 이미지의 제2 하위 블록 및 제2 하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 하위 블록과 매칭하여, 제2 하위 움직임 벡터를 산출하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of calculating the lower motion vector corresponds to the first sub-block of the reference image indicated by the first candidate motion vector at the lower level and a predetermined neighboring block of the first sub-block in the comparison image. calculating a first sub-motion vector by matching with the sub-block, and comparing a second sub-block of the reference image indicated by the second candidate motion vector at a lower level and a predetermined neighboring block of the second sub-block in the comparison image. It may include calculating a second lower motion vector by matching it with the lower block.

본 발명의 또 다른 특징에 따르면, 기준 이미지 피라미드 및 비교 이미지 피라미드 각각은 최하위 레벨을 포함하고, 최하위 레벨에서 제1 하위 움직임 벡터가 가리키는 기준 이미지의 제1 최하위 블록 및 제1 최하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 최하위 블록과 매칭하는 단계, 최하위 레벨에서 제2 하위 움직임 벡터가 가리키는 기준 이미지의 제2 최하위 블록 및 제2 최하위 블록의 미리 결정된 주변 블록을 비교 이미지에서 대응하는 최하위 블록과 매칭하는 단계, 및 제1 최하위 블록, 제1 최하위 블록의 미리 결정된 주변 블록, 제2 최하위 블록 및 제2 최하위 블록의 미리 결정된 주변 블록에서 SAD(Sum of Absolute Difference)가 최소가 되는 움직임 벡터를 최종 움직임 벡터로 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, each of the reference image pyramid and the comparison image pyramid includes a lowest level, a first lowest level block of the reference image pointed to by the first lower motion vector at the lowest level, and a predetermined neighborhood of the first lowest level block. Matching the block with the corresponding lowest-order block in the comparison image, matching the second lowest-order block of the reference image indicated by the second lower motion vector at the lowest level and a predetermined neighboring block of the second lowest-order block with the corresponding lowest-order block in the comparison image. a step of matching, and a final motion vector having a minimum Sum of Absolute Difference (SAD) in the first lowest-order block, a predetermined neighboring block of the first lowest-order block, a second lowest-order block, and a predetermined neighboring block of the second lowest-order block. A step of determining a motion vector may be further included.

본 발명의 또 다른 특징에 따르면, 제2 후보 움직임 벡터를 산출하는 단계는, 기준 이미지의 상위 블록에서 평균휘도를 산출하는 단계, 평균휘도를 기준으로 기준 이미지의 상위 블록을 다수 픽셀 그룹 및 소수 픽셀 그룹으로 구분하는 단계, 기준 이미지에서 소수 픽셀 그룹 및 비교 이미지에서 소수 픽셀 그룹에 가중치를 적용하는 단계, 및 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 매칭하여, 기준 이미지의 상위 블록에서의 소형 객체에 대응하는 제2 후보 움직임 벡터를 산출하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of calculating the second candidate motion vector includes calculating the average luminance from the upper block of the reference image, and dividing the upper block of the reference image into a majority pixel group and a few pixels based on the average luminance. dividing into groups, applying weight to the minority pixel group in the reference image and the minority pixel group in the comparison image, and matching the parent block of the reference image with the parent block of the comparison image, It may include calculating a second candidate motion vector corresponding to the object.

본 발명의 또 다른 특징에 따르면, 가중치를 적용하는 단계는, 기준 이미지의 상위 블록에서 소수 픽셀 그룹 내의 픽셀과 비교 이미지의 상위 블록에서 소수 픽셀 그룹에 대응하는 픽셀 사이의 차이의 절대값에 가중치를 곱하는 단계일 수 있다.According to another feature of the present invention, the step of applying the weight applies the weight to the absolute value of the difference between the pixel within the minority pixel group in the upper block of the reference image and the pixel corresponding to the minority pixel group in the upper block of the comparison image. It may be a multiplication step.

본 발명의 또 다른 특징에 따르면, 가중치를 적용하는 단계는, 기준 이미지에서 소수 픽셀 그룹 내의 픽셀의 휘도를 1로 설정하고, 기준 이미지에서 다수 픽셀 그룹 내의 픽셀의 휘도를 0으로 설정하는 단계를 포함할 수 있다.According to another feature of the present invention, applying the weight includes setting the luminance of a pixel in a minority pixel group in the reference image to 1 and setting the luminance of a pixel in a majority pixel group in the reference image to 0. can do.

본 발명의 또 다른 특징에 따르면, 기준 이미지 및 비교 이미지의 동일한 영역에 대응하는 상위 블록의 크기는 하위 블록의 크기의 4배일 수 있다.According to another feature of the present invention, the size of the upper block corresponding to the same area of the reference image and the comparison image may be four times the size of the lower block.

본 발명의 다른 실시예에 따른 표시 장치는 표시 패널, 및 표시 패널에 입력되는 영상을 처리하는 영상 처리부를 포함한다. 영상 처리부는, 서로 인접하는 프레임의 이미지인 기준 이미지 및 비교 이미지 각각에 대해 복수의 레벨을 갖는 기준 이미지 피라미드 및 비교 이미지 피라미드를 생성하는 이미지 피라미드 생성부, 기준 이미지 피라미드의 상위 레벨에서의 상위 블록과 비교 이미지 피라미드의 상위 레벨에서의 상위 블록을 전체 매칭하여, 기준 이미지의 상위 블록에서의 제1 후보 움직임 벡터를 산출하고, 상위 블록의 크기보다 작은 소형 객체(small object)를 포함하는 상위 평가 블록이 기준 이미지에 존재하는 경우, 소형 객체를 기초로 기준 이미지의 상위 블록과 비교 이미지의 상위 블록을 전체 매칭하여, 상위 평가 블록에 대응하는 제2 후보 움직임 벡터를 산출하는 후보 움직임 벡터 산출부, 제1 후보 움직임 벡터 및 제2 후보 움직임 벡터를 기초로 기준 이미지 피라미드의 하위 레벨에서 하위 움직임 벡터를 산출하는 하위 움직임 벡터 산출부, 및 하위 움직임 벡터가 가리키는 최하위 블록 및 최하위 블록의 미리 결정된 주변 블록에서 SAD가 최소가 되는 움직임 벡터를 기준 이미지 피라미드의 최하위 레벨에서의 최종 움직임 벡터로 결정하는 최종 움직임 벡터 결정부를 포함하고, 하위 레벨의 로우 픽셀의 개수는 상위 레벨의 로우 픽셀의 개수의 2배이고, 하위 레벨의 컬럼 픽셀의 개수는 상위 레벨의 컬럼 픽셀의 개수의 2배이다. 본 발명의 다른 실시예에 따른 표시 장치는 계층 구조를 통한 움직임 추정에서 소형 객체에 대응하는 움직임 벡터를 추가적으로 참조하고 움직임 벡터의 정확도를 향상시킴으로써, 보간 영상에서도 등속도 운동을 유지할 수 있고, 동영상을 재생하는 경우 영상의 잔상(blur) 및 떨림(judder)을 현저하게 저감시킬 수 있다.A display device according to another embodiment of the present invention includes a display panel and an image processing unit that processes an image input to the display panel. The image processing unit includes an image pyramid generator that generates a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of adjacent frames, an upper block at the upper level of the reference image pyramid, and By completely matching the upper blocks at the upper level of the comparison image pyramid, the first candidate motion vector in the upper block of the reference image is calculated, and the upper evaluation block containing a small object smaller than the size of the upper block is calculated. A first candidate motion vector calculation unit, which, when present in the reference image, matches the entire upper block of the reference image with the upper block of the comparison image based on the small object to calculate a second candidate motion vector corresponding to the upper evaluation block; A lower motion vector calculation unit that calculates a lower motion vector at a lower level of the reference image pyramid based on the candidate motion vector and the second candidate motion vector, and a SAD in the lowest block pointed to by the lower motion vector and a predetermined neighboring block of the lowest block. It includes a final motion vector determination unit that determines the minimum motion vector as the final motion vector at the lowest level of the reference image pyramid, where the number of low pixels at the lower level is twice the number of low pixels at the upper level, and the number of low pixels at the lower level is twice that of the lower level. The number of column pixels is twice the number of column pixels at the upper level. The display device according to another embodiment of the present invention can maintain constant velocity motion even in interpolated images by additionally referencing motion vectors corresponding to small objects in motion estimation through a hierarchical structure and improving the accuracy of the motion vectors, and displaying video. When playing back, image blur and judder can be significantly reduced.

본 발명의 다른 특징에 따르면, 영상 처리부는 표시 패널에 입력되는 구동 신호들의 타이밍을 제어하는 타이밍 제어부와 연결될 수 있다.According to another feature of the present invention, the image processing unit may be connected to a timing control unit that controls the timing of driving signals input to the display panel.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made without departing from the technical spirit of the present invention. . Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.

100: 표시 장치
110: 표시 패널
120: 게이트 구동회로
130: 데이터 구동회로
140: 타이밍 제어부
150: 영상 처리부
151: 이미지 피라미드 생성부
152: 후보 움직임 벡터 산출부
153: 하위 움직임 벡터 산출부
154: 최종 움직임 벡터 결정부
410: 기준 이미지 피라미드
411: 기준 이미지의 제3 레벨
412: 기준 이미지의 제2 레벨
413: 기준 이미지의 제1 레벨
414: 기준 이미지의 제0 레벨
420: 비교 이미지 피라미드
421: 비교 이미지의 제3 레벨
422: 비교 이미지의 제2 레벨
423: 비교 이미지의 제1 레벨
424: 비교 이미지의 제0 레벨
911: 비교예의 n-1 번째 프레임 이미지
912: 비교예의 보간 영상
913: 비교예의 n 번째 프레임 이미지
921: 실시예의 n-1 번째 프레임 이미지
922: 실시예의 보간 영상
923: 실시예의 n 번째 프레임 이미지100: display device
110: display panel
120: Gate driving circuit
130: data driving circuit
140: Timing control unit
150: Image processing unit
151: Image pyramid creation unit
152: Candidate motion vector calculation unit
153: Sub-motion vector calculation unit
154: Final motion vector decision unit
410: Reference image pyramid
411: Third level of reference image
412: Second level of reference image
413: First level of reference image
414: 0th level of reference image
420: Comparison Image Pyramid
421: Third level of comparison images
422: Second level of comparison image
423: First level of comparison image
424: 0th level of comparison image
911: n-1th frame image of comparative example
912: Interpolated image of comparative example
913: nth frame image of comparative example
921: n-1th frame image of embodiment
922: Interpolated image of embodiment
923: nth frame image of embodiment

Claims

generating a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of frames adjacent to each other;
Calculating a first candidate motion vector in the upper block of the reference image by entirely matching the upper block in the upper level of the reference image pyramid with the upper block in the upper level of the comparison image pyramid. ;
If a higher evaluation block containing a small object smaller than the size of the upper block exists in the reference image, the upper block of the reference image and the upper block of the comparison image are completely matched based on the small object. Thus, calculating a second candidate motion vector corresponding to the upper evaluation block; and
Comprising a step of calculating a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector,
The number of row pixels of the lower level is twice the number of row pixels of the higher level, and the number of column pixels of the lower level is twice the number of column pixels of the higher level,
The step of calculating the lower motion vector is,
At the lower level, the first sub-block of the reference image indicated by the first candidate motion vector and a predetermined neighboring block of the first sub-block are matched with the corresponding sub-block in the comparison image to obtain a first sub-motion vector. calculating step; and
At the lower level, the second sub-block of the reference image indicated by the second candidate motion vector and a predetermined neighboring block of the second sub-block are matched with the corresponding sub-block in the comparison image to generate a second lower motion vector. An image processing method including the step of calculating.

According to paragraph 1,
Each of the reference image pyramid and the comparison image pyramid includes a top level,
The upper level is the highest level, the upper block is the highest block, and the upper evaluation block is the highest evaluation block.

delete

According to paragraph 1,
Each of the reference image pyramid and the comparison image pyramid includes a lowest level,
Matching a first lowest level block of the reference image indicated by the first lower motion vector at the lowest level and a predetermined neighboring block of the first lowest level block with a corresponding lowest level block in the comparison image;
matching a second lowest level block of the reference image indicated by the second lower motion vector at the lowest level and a predetermined neighboring block of the second lowest level block with a corresponding lowest level block in the comparison image; and
The final movement is performed using a motion vector with a minimum Sum of Absolute Difference (SAD) in the first lowest-order block, a predetermined neighboring block of the first lowest-order block, the second lowest-order block, and a predetermined neighboring block of the second lowest-order block. An image processing method further comprising determining a vector.

generating a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of frames adjacent to each other;
Calculating a first candidate motion vector in the upper block of the reference image by entirely matching the upper block in the upper level of the reference image pyramid with the upper block in the upper level of the comparison image pyramid. ;
If a higher evaluation block containing a small object smaller than the size of the upper block exists in the reference image, the upper block of the reference image and the upper block of the comparison image are completely matched based on the small object. Thus, calculating a second candidate motion vector corresponding to the upper evaluation block; and
Comprising a step of calculating a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector,
The number of row pixels of the lower level is twice the number of row pixels of the upper level, and the number of column pixels of the lower level is twice the number of column pixels of the upper level,
The step of calculating the second candidate motion vector is,
calculating average luminance in upper blocks of the reference image;
dividing upper blocks of the reference image into majority pixel groups and minority pixel groups based on the average luminance;
applying a weight to a minority pixel group in the reference image and to a minority pixel group in the comparison image; and
An image processing method comprising matching an upper block of the reference image with an upper block of the comparison image to calculate the second candidate motion vector corresponding to the small object in the upper block of the reference image.

According to clause 5,
The step of applying the weight is,
Multiplying the absolute value of the difference between a pixel in a minority pixel group in an upper block of the reference image and a pixel corresponding to the minority pixel group in an upper block of the comparison image by the weight.

According to clause 5,
The step of applying the weight is,
An image processing method comprising setting the luminance of a pixel in a few pixel group in the reference image to 1 and setting the luminance of a pixel in a majority pixel group in the reference image to 0.

According to paragraph 1,
The size of the upper block corresponding to the same area of the reference image and the comparison image is four times the size of the lower block at the lower level of the reference image pyramid and the comparison image pyramid.

display panel; and
An image processing unit that processes images input to the display panel,
The image processing unit,
an image pyramid generator that generates a reference image pyramid and a comparison image pyramid having a plurality of levels for each of the reference image and comparison image, which are images of frames adjacent to each other;
A first candidate motion vector in the upper block of the reference image is calculated by matching the upper block at the upper level of the reference image pyramid with the upper block at the upper level of the comparison image pyramid, and the size of the upper block If a higher evaluation block containing a smaller object exists in the reference image, the upper block of the reference image and the upper block of the comparison image are entirely matched based on the small object, and the upper evaluation is performed. a candidate motion vector calculation unit that calculates a second candidate motion vector corresponding to the block;
a lower motion vector calculation unit that calculates a lower motion vector at a lower level of the reference image pyramid based on the first candidate motion vector and the second candidate motion vector; and
A final motion vector determination unit that determines a motion vector with the minimum SAD in the lowest block indicated by the lower motion vector and predetermined neighboring blocks of the lowest block as the final motion vector at the lowest level of the reference image pyramid,
The number of row pixels of the lower level is twice the number of row pixels of the upper level, and the number of column pixels of the lower level is twice the number of column pixels of the upper level,
The lower motion vector calculation unit,
At the lower level, the first sub-block of the reference image indicated by the first candidate motion vector and a predetermined neighboring block of the first sub-block are matched with the corresponding sub-block in the comparison image to obtain a first sub-motion vector. Calculate, match the second sub-block of the reference image indicated by the second candidate motion vector at the lower level and a predetermined neighboring block of the second sub-block with the corresponding sub-block in the comparison image, A display device that calculates a motion vector.

According to clause 9,
The display device wherein the image processing unit is connected to a timing control unit that controls the timing of driving signals input to the display panel.