KR101953315B1

KR101953315B1 - Disparity calculation method and stereoscopic image display device

Info

Publication number: KR101953315B1
Application number: KR1020120141719A
Authority: KR
Inventors: 이승용; 김성균; 김도형
Original assignee: 엘지디스플레이 주식회사
Priority date: 2012-12-07
Filing date: 2012-12-07
Publication date: 2019-02-28
Also published as: KR20140073814A

Abstract

본 발명은 디스패러티 산출방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시 예에 따른 디스패러티 산출방법은 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터를 입력받고, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 단계; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 제2 단계; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 제3 단계; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제4 단계를 포함한다.The present invention relates to a disparity calculation method and a stereoscopic image display apparatus using the same. According to an embodiment of the present invention, a disparity calculation method receives 3D image data including left eye image data and right eye image data, and analyzes the left eye image data and the right eye image data within a first range to obtain a first disparity. Calculating a first step; Calculating a confidence value of the first disparities; Calculating a mean value of the first disparities having a confidence value equal to or greater than a threshold value; And setting a second range by shifting the first range based on the average value, and analyzing the left eye image data and the right eye image data within the second range to calculate second disparities. do.

Description

Disparity calculation method and three-dimensional image display device using the same {DISPARITY CALCULATION METHOD AND STEREOSCOPIC IMAGE DISPLAY DEVICE}

본 발명은 디스패러티 산출방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
The present invention relates to a disparity calculation method and a stereoscopic image display apparatus using the same.

입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더 방식이 있다. 또한, 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.The stereoscopic image display apparatus is divided into a binocular parallax technique and an autostereoscopic technique. The binocular parallax method uses a parallax image of the left and right eyes with a large stereoscopic effect, and there are glasses and no glasses, both of which are put to practical use. The spectacle method includes a pattern retarder method in which a polarization direction of a left and right parallax image is displayed on a direct view display device or a projector and a stereoscopic image is realized using polarized glasses. In addition, the glasses method is a shutter glasses method that time-divisionally displays left and right parallax images on a direct-view display device or a projector and implements a stereoscopic image using a liquid crystal shutter glasses. In the autostereoscopic method, an optical plate such as a parallax barrier and a lenticular lens is generally used to realize a stereoscopic image by separating an optical axis of a parallax image.

사용자가 셔터안경이나 편광안경을 착용하지 않고 입체영상을 시청할 수 있는 편의성으로 인해, 무안경 방식은 최근에 스마트폰(smart phone), 태블릿(tablet), 및 노트북(notebook) 등의 중소형 디스플레이에 많이 적용되고 있다. 무안경 방식은 3D 크로스토크(crosstalk)를 줄이기 위해 광학판을 이용하여 m(m은 2 이상의 자연수) 개의 뷰 영상들을 포함하는 멀티뷰 영상을 m 개의 뷰 영역들에 표시함으로써 입체영상을 구현한다. 3D 크로스토크는 복수 개의 뷰 영상들이 사용자에게 겹쳐보이는 것을 의미하며, 3D 크로스토크로 인해 입체영상의 품질이 낮아지게 된다.Because of the convenience that users can watch stereoscopic images without wearing shutter glasses or polarized glasses, the glasses-free method has recently been used in small and medium-sized displays such as smart phones, tablets, and notebooks. Is being applied. The autostereoscopic method realizes a stereoscopic image by displaying a multiview image including m (m is a natural number of two or more) view images in m view regions using an optical plate to reduce 3D crosstalk. 3D crosstalk means that a plurality of view images are superimposed on a user, and the quality of a stereoscopic image is lowered due to 3D crosstalk.

멀티뷰 영상은 일반인의 양안 간격만큼 m 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 하지만, 멀티뷰 영상은 비디오 컨텐츠로 제작하기 쉽지 않을 뿐만 아니라 비디오 컨텐츠로 제작하기 위한 단가가 높기 때문에, 멀티뷰 영상으로 구현된 비디오 컨텐츠는 많이 부족한 실정이다. 따라서, 좌안 영상과 우안 영상(또는 2 개의 뷰 영상들)을 포함하는 양안 시차 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 많이 이용되고 있다. 양안 시차 영상을 이용한 멀티뷰 영상 생성 방법은 좌안 영상과 우안 영상을 분석하여 디스패러티(diparity)들을 산출한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상과 우안 영상을 쉬프트시키기 위한 값을 의미한다.The multi-view image may be generated by spaced apart m cameras and taking an image of an object by the binocular spacing of the public. However, since the multi-view video is not easy to produce as video content and the unit cost for producing the video content is high, the video content implemented as the multi-view video is not enough. Therefore, a method of generating a multi-view image using a binocular disparity image including a left eye image and a right eye image (or two view images) has been widely used. In the multiview image generation method using the binocular disparity image, the disparities are calculated by analyzing the left eye image and the right eye image. The disparity means a value for shifting the left eye image and the right eye image to form a three-dimensional effect.

한편, 좌안 영상과 우안 영상을 포함하는 양안 시차 영상은 토-인 방식(toe-in method) 또는 수평 방식(parallel method)을 이용하여 얻어질 수 있다. 토-인 방식은 도 1a과 같이 두 대의 카메라(C1, C2)를 안쪽으로 향하게 하여 피사체(subject, SUB)에 초점(F)을 맞추고 촬영하는 방식이고, 수평 방식은 도 1b와 같이 두 대의 카메라(C1, C2)를 평행하게 하여 피사체(SUB)에 초점을 맞추지 않고 촬영하는 방식을 의미한다. 토-인 방식으로 촬영하여 생성된 양안 시차 영상을 이용하여 디스패러티들을 산출하는 경우, 초점(F)이 맞춰진 피사체(SUB)보다 앞쪽에 위치하는 어느 한 객체의 디스패러티는 제1 값(양의 값)으로 산출되며, 뒤쪽에 위치하는 또 다른 객체의 디스패러티는 제2 값(음의 값)으로 산출될 수 있다. 수평 방식으로 촬영하여 생성된 양안 시차 영상을 이용하여 디스패러티들을 산출하는 경우, 어느 한 객체의 디스패러티는 기준이 되는 초점(F)이 맞춰진 피사체(SUB)가 없으므로, 양의 값(또는 음의 값)으로만 산출될 수 있다. 결국, 토-인 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위와 수평 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위가 다르기 때문에, 종래에는 토-인 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위와 수평 방식의 양안 시차 영상으로부터 산출되는 디스패러티들의 범위를 모두 고려하여야 했었다. 이 경우, 디스패러티 산출을 위한 연산량이 매우 크며, 연산 결과들을 저장하기 위한 메모리의 크기 또한 매우 커야 한다. 이로 인해, 메모리 등의 비용 증가가 초래되는 문제가 있었다.
Meanwhile, a binocular parallax image including a left eye image and a right eye image may be obtained using a toe-in method or a parallel method. The toe-in method is a method in which two cameras C1 and C2 are inwards as shown in FIG. 1A to focus and shoot a subject F, and the horizontal method is two cameras as shown in FIG. 1B. This means that the images are taken without focusing on the subject SUB by making the (C1, C2) in parallel. When the disparities are calculated using the binocular parallax image generated by the to-in method, the disparity of an object located in front of the subject SUB in which the focal point F is focused is the first value (positive value). Value), and the disparity of another object located behind may be calculated as a second value (negative value). In the case of calculating disparities using a binocular parallax image generated by photographing in a horizontal manner, the disparity of an object has no positive value (or negative value) since there is no subject SUB to which reference F is focused. Value). As a result, since the ranges of the disparities calculated from the to-in binocular parallax images differ from the ranges of the disparities calculated from the horizontal binocular parallax images, conventionally the disparities calculated from the to-in binocular parallax images Both ranges and ranges of disparities calculated from horizontal binocular parallax images had to be considered. In this case, the amount of calculation for disparity calculation is very large, and the size of memory for storing the calculation results must be very large. As a result, there is a problem that an increase in the cost of the memory and the like is caused.

본 발명은 메모리의 크기를 늘리지 않고도 양안 시차 영상을 촬영한 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있는 디스패러티 산출방법과 이를 이용한 입체영상 표시장치를 제공한다.
The present invention provides a disparity calculation method capable of accurately calculating disparity in consideration of a photographing method of photographing a binocular parallax image without increasing the size of a memory, and a stereoscopic image display apparatus using the same.

본 발명의 실시 예에 따른 디스패러티 산출방법은 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터를 입력받고, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제1 디스패러티들을 산출하는 제1 단계; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 제2 단계; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 제3 단계; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 제2 디스패러티들을 산출하는 제4 단계를 포함한다.According to an embodiment of the present invention, a disparity calculation method receives 3D image data including left eye image data and right eye image data, and analyzes the left eye image data and the right eye image data within a first range to obtain a first disparity. Calculating a first step; Calculating a confidence value of the first disparities; Calculating a mean value of the first disparities having a confidence value equal to or greater than a threshold value; And setting a second range by shifting the first range based on the average value, and analyzing the left eye image data and the right eye image data within the second range to calculate second disparities. do.

본 발명의 실시 예에 따른 입체영상 표시장치는 데이터 라인들과 게이트 라인들을 포함하는 표시패널; 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터로부터 디스패러티들을 산출하는 디스패러티 산출부와 상기 디스패러티들에 따라 상기 좌안 영상 데이터 또는 상기 우안 영상 데이터를 쉬프트시켜 멀티뷰 영상 데이터를 생성하는 멀티뷰 영상 생성부를 포함하는 영상처리부; 상기 멀티뷰 영상 데이터를 데이터 전압으로 변환하여 상기 데이터 라인들에 공급하는 데이터 구동회로; 및 상기 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고, 상기 디스패러티 산출부는, 제1 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 상기 제1 디스패러티들을 산출하는 제1 디스패러티 산출부; 상기 제1 디스패러티들의 신뢰도 값들을 산출하는 신뢰도 값 산출부; 문턱 값 이상의 신뢰도 값을 갖는 상기 제1 디스패러티들의 평균값을 산출하는 평균값 산출부; 및 상기 평균값에 기초하여 상기 제1 범위를 쉬프트하여 제2 범위를 설정하고, 상기 제2 범위 내에서 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 분석하여 상기 제2 디스패러티들을 산출하는 제2 디스패러티 산출부를 포함한다.
According to an exemplary embodiment of the present invention, a stereoscopic image display device includes a display panel including data lines and gate lines; A disparity calculator for calculating disparities from 3D image data including left eye image data and right eye image data, and multi-view image data by shifting the left eye image data or the right eye image data according to the disparities. An image processor including a view image generator; A data driving circuit converting the multi-view image data into a data voltage and supplying the multi-view image data to the data lines; And a gate driving circuit sequentially supplying gate pulses to the gate lines, wherein the disparity calculator calculates the first disparities by analyzing the left eye image data and the right eye image data within a first range. A first disparity calculator; A reliability value calculator configured to calculate reliability values of the first disparities; An average value calculator for calculating an average value of the first disparities having a confidence value equal to or greater than a threshold value; And a second disparity configured to shift the first range to set a second range based on the average value, and to calculate the second disparities by analyzing the left eye image data and the right eye image data within the second range. It includes a calculation unit.

본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있다.
The present invention calculates the first disparities within a preset first range, sets the second range by shifting the first range depending on the confidence values of the first disparities, and within the second range, the second disparity. Calculate them. As a result, the present invention does not need to increase the size of the memory in order to reflect all the imaging methods of the binocular parallax image, and the disparity can be accurately calculated in consideration of the imaging method of the binocular parallax image without increasing the size of the memory.

도 1a는 토-인 방식의 카메라 촬영을 보여주는 일 예시도면.
도 1b는 수평 방식의 카메라 촬영을 보여주는 일 예시도면.
도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 3은 본 발명의 실시 예에 따른 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면.
도 4는 도 2의 영상처리부를 상세히 보여주는 블록도.
도 5는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도.
도 6은 도 4의 디스패러티 산출부를 상세히 보여주는 블록도.
도 7은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도.
도 8a 및 도 8b은 좌안 영상 데이터 맵과 우안 영상 데이터 맵을 이용한 제1 디스패러티 산출방법을 보여주는 예시도면들.
도 9a는 수평 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면.
도 9b는 초기 디스패러티 맵을 보여주는 일 예시도면.
도 9c는 신뢰도 맵을 보여주는 일 예시도면.
도 9d는 디스패러티 맵을 보여주는 일 예시도면.
도 10a는 토-인 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면.
도 10b는 디스패러티 맵을 보여주는 일 예시도면.Figure 1a is an exemplary view showing a to-in camera shooting.
1B is an exemplary view showing a camera photographing in a horizontal manner.
2 is a block diagram schematically illustrating a stereoscopic image display device according to an exemplary embodiment of the present invention.
3 is an exemplary view illustrating a stereoscopic image implementation method of a stereoscopic image display apparatus according to an exemplary embodiment of the present invention.
4 is a block diagram illustrating in detail the image processor of FIG. 2;
5 is a flowchart illustrating in detail a method of generating a multiview image according to an exemplary embodiment of the present invention.
6 is a block diagram illustrating in detail the disparity calculator of FIG. 4;
7 is a flowchart illustrating a disparity calculation method according to an embodiment of the present invention in detail.
8A and 8B are exemplary views illustrating a first disparity calculation method using a left eye image data map and a right eye image data map.
9A is an exemplary diagram illustrating a reference image data map in a horizontal manner.
9B is an exemplary diagram showing an initial disparity map.
9C is an exemplary diagram showing a reliability map.
9D is an exemplary diagram illustrating a disparity map.
10A is an exemplary view showing a reference image data map of a to-in method.
10B is an exemplary diagram illustrating a disparity map.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like numbers refer to like elements throughout. In the following description, when it is determined that a detailed description of known functions or configurations related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Component names used in the following description may be selected in consideration of ease of specification, and may be different from actual product part names.

도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리부(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.2 is a block diagram schematically illustrating a stereoscopic image display device according to an exemplary embodiment of the present invention. Referring to FIG. 2, a stereoscopic image display device according to an exemplary embodiment of the present invention may include a display panel 10, an optical plate 30, a gate driving circuit 110, a data driving circuit 120, a timing controller 130, And an image processor 140, a host system 150, and the like. The display panel 10 of the stereoscopic image display device according to an embodiment of the present invention is a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP) ), And a flat panel display device such as an organic light emitting diode (OLED). In the following embodiment, the display panel 10 is exemplarily implemented as a liquid crystal display device, but the present invention is not limited thereto.

표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 픽셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 액정표시패널의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.The display panel 10 includes an upper substrate and a lower substrate facing each other with the liquid crystal layer interposed therebetween. The display panel 10 is formed with a pixel array including pixels arranged in a matrix by a cross structure of the data lines D and the gate lines G (or scan lines). Each pixel of the pixel array drives the liquid crystal of the liquid crystal layer by adjusting a voltage difference between a pixel electrode charged with a data voltage through a TFT (Thin Film Transistor) and a common electrode applied with a common voltage, thereby adjusting the amount of light transmitted. Display. The black matrix and the color filter are formed on the upper substrate of the display panel 10. The common electrode is formed on the upper substrate in the case of the vertical electric field driving method such as twisted nematic (TN) mode and vertical alignment (VA) mode, and is similar to the in-plane switching (IPS) mode and the fringe field switching (FFS) mode. In the case of the horizontal electric field driving method, it may be formed on the lower substrate together with the pixel electrode. The liquid crystal mode of the display panel 10 may be implemented in any liquid crystal mode as well as a TN mode, a VA mode, an IPS mode, and an FFS mode. A polarizing plate is attached to each of the upper substrate and the lower substrate of the liquid crystal display panel, and an alignment layer for setting the pre-tilt angle of the liquid crystal is formed. A spacer is formed between the upper substrate and the lower substrate of the display panel 10 to maintain a cell gap of the liquid crystal layer.

표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.The display panel 10 may be implemented in any form, such as a transmissive liquid crystal display panel, a transflective liquid crystal display panel, or a reflective liquid crystal display panel. In the transmissive liquid crystal display panel and the transflective liquid crystal display panel, a backlight unit is required. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit.

멀티뷰 영상은 제1 내지 제n(n은 3 이상의 자연수) 뷰 영상들을 포함한다. 멀티뷰 영상은 일반인의 양안 간격만큼 n 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제n 뷰 영상들을 제1 내지 제n 뷰 영역들로 진행시킨다. 제1 내지 제n 뷰 영상들은 제1 내지 제n 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제k(k는 1≤k≤n을 만족하는 자연수) 뷰 영상을 제k 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리를 온-오프시킬 수 있다. 이하에서, 도 3을 참조하여 광학판(30)을 이용한 입체영상 구현방법을 상세히 살펴본다.The multiview image includes first to nth (n is a natural number of 3 or more) view images. The multi-view image may be generated by capturing an image of an object and separating n cameras by the binocular spacing of the general public. The optical plate 30 is disposed on the display panel 10 to advance the first to nth view images displayed on the pixels of the display panel 10 to the first to nth view regions. The first to n th view images are matched one-to-one with the first to n th view regions. That is, the optical plate 30 advances the k-th (k is a natural number satisfying 1 ≦ k ≦ n) displayed on the pixels to the k-th view area. The optical plate 30 of the stereoscopic image display device according to an embodiment of the present invention may be any parallax barrier, a switchable barrier, a lenticular lens, a switchable lens, or the like. It may also be implemented in the form. Meanwhile, when the optical plate 30 is implemented as a switchable barrier or a switchable lens, an optical plate driving circuit for driving the optical plate 30 is required. The optical plate driving circuit may turn on / off optical separation of the switchable barrier or the switchable lens by supplying a driving voltage to the optical plate 30. Hereinafter, a stereoscopic image implementation method using the optical plate 30 will be described in detail with reference to FIG. 3.

도 3은 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면이다. 도 3에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 3에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 렌티큘러 렌즈, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.3 is an exemplary diagram illustrating a stereoscopic image implementation method of an autostereoscopic 3D display device according to an exemplary embodiment of the present invention. In FIG. 3, for convenience of description, the display panel 10 displays four view images V1, V2, V3, and V4, and the optical plate 30 displays four view images displayed on the display panel 10. The description has been made mainly on advancing (V1, V2, V3, V4) into four view regions VP1, VP2, VP3, VP4. In FIG. 3, the optical plate 30 is exemplarily implemented as a lenticular lens, but the optical plate 30 according to an exemplary embodiment of the present invention has any form such as a parallax barrier, a switchable barrier, a lenticular lens, a switchable lens, and the like. It should be noted that may also be implemented.

도 3을 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제k 뷰 영역(VPk)에 위치하고, 우안이 제k-1 뷰 영역(VPk-1)에 위치하는 경우, 사용자는 좌안으로 제k 뷰 영상(Vk)을 시청하고, 우안으로 제k-1 뷰 영상의 인접 뷰 영상을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. 예를 들어, 도 3과 같이 사용자의 좌안이 제2 뷰 영역(VP2)에 위치하고, 우안이 제1 뷰 영역(VP1)에 위치하는 경우, 사용자는 좌안으로 제2 뷰 영상(V2)을 시청하고, 우안으로 제1 뷰 영상(V1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다.Referring to FIG. 3, the optical plate 30 advances the first view image V1 displayed on the pixels to the first view area VP1 and removes the second view image V2 displayed on the pixels. The display proceeds to the second view area VP2, the third view image V3 displayed on the pixels is advanced to the third view area VP3, and the fourth view image V4 displayed on the pixels is viewed in the fourth view. Proceed to area VP4. When the left eye of the user is located in the k-th view area VPk and the right eye is located in the k-1th view area VPk-1, the user views the k-th view image Vk with the left eye and the right eye with the right eye. The adjacent view image of the k-1 view image may be viewed. Therefore, the user can feel a three-dimensional effect by binocular parallax. For example, when the left eye of the user is located in the second view area VP2 and the right eye is located in the first view area VP1 as shown in FIG. 3, the user views the second view image V2 with the left eye. The first view image V1 may be viewed by the right eye. Therefore, the user can feel a three-dimensional effect by binocular parallax.

데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.The data driving circuit 120 includes a plurality of source drive integrated circuits (hereinafter, referred to as ICs). The source drive ICs convert 2D image data RGB2D or multiview image data MVD into positive / negative gamma compensation voltages under the control of the timing controller 130 to generate positive / negative analog data voltages. The positive / negative analog data voltages output from the source drive ICs are supplied to the data lines D of the display panel 10.

게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.The gate driving circuit 110 sequentially supplies gate pulses (or scan pulses) to the gate lines G of the display panel 10 under the control of the timing controller 130. The gate driver 110 may include a plurality of gate drive integrated circuits each including a shift register, a level shifter for converting an output signal of the shift register into a swing width suitable for driving a TFT of a liquid crystal cell, and an output buffer. have.

타이밍 콘트롤러(130)는 영상 처리부(140)로부터 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)와 타이밍 신호들과 모드 신호(MODE) 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다. 타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 영상 데이터(RGB2D)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급하고, 3D 모드에서 멀티뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.The timing controller 130 receives 2D image data RGB2D or multi-view image data MVD, timing signals, a mode signal MODE, and the like from the image processor 140. The timing signals may include a vertical synchronization signal, a horizontal synchronization signal, a data enable signal, a clock signal, and the like. The timing controller 130 generates a gate control signal GCS for controlling the gate driving circuit 110 based on the timing signals, and generates a data control signal DCS for controlling the data driving circuit 120. do. The timing controller 130 supplies the gate control signal GCS to the gate driving circuit 110. The timing controller 130 supplies the 2D image data RGB2D and the data control signal DCS to the data driving circuit 120 in the 2D mode, and the multiview image data MVD and the data control signal DCS in the 3D mode. Is supplied to the data driving circuit 120.

호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)와 타이밍 신호들을 영상 처리부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 모드와 3D 모드를 구별할 수 있는 모드 신호(MODE)를 영상 처리부(140)에 공급한다.The host system 150 may include a scaler to convert 2D image data RGB2D or 3D image data RGB3D input from an external video source device into a data format having a resolution suitable for display on the display panel 10. It may include an embedded System on Chip. The host system 150 processes 2D image data (RGB2D) or 3D image data (RGB3D) and timing signals through an interface such as a low voltage differential signaling (LVDS) interface and a transition minimized differential signaling (TMDS) interface. To feed. In addition, the host system 150 supplies a mode signal MODE, which can distinguish the 2D mode and the 3D mode, to the image processor 140.

영상 처리부(140)는 2D 모드에서 2D 영상 데이터(RGB2D)를 변환하지 않고 그대로 타이밍 콘트롤러(130)로 출력한다. 영상 처리부(140)는 3D 모드에서 3D 영상 데이터(RGB3D)로부터 멀티뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터와 우안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 따라서, 본 발명의 실시 예에 따른 입체영상 표시장치는 3D 영상 데이터(RGB3D)가 입력되더라도, 영상 처리부(140)를 이용하여 멀티뷰 영상 데이터(MVD)를 생성함으로써, 표시패널(10)에 멀티뷰 영상을 표시할 수 있다. 그 결과, 본 발명의 실시 예에 따른 입체영상 표시장치는 입체영상의 품질을 높일 수 있다. 이하에서, 도 4 및 도 5를 참조하여 영상 처리부(140)의 멀티뷰 영상 데이터(MVD) 생성방법에 대하여 상세히 설명한다.
The image processor 140 outputs the 2D image data RGB2D to the timing controller 130 without converting the 2D image data RGB2D in the 2D mode. The image processor 140 generates the multiview image data MVD from the 3D image data RGB3D in the 3D mode and outputs the multiview image data MVD to the timing controller 130. The 3D image data RGB3D includes left eye image data and right eye image data (or two view image data). Therefore, in the stereoscopic image display apparatus according to an embodiment of the present invention, even if the 3D image data RGB3D is input, the stereoscopic image display apparatus generates the multi-view image data MVD using the image processor 140, thereby multiplying the display panel 10. The view image can be displayed. As a result, the stereoscopic image display device according to an embodiment of the present invention can increase the quality of the stereoscopic image. Hereinafter, a method of generating multi-view image data (MVD) by the image processor 140 will be described in detail with reference to FIGS. 4 and 5.

도 4는 도 2의 영상처리부를 상세히 보여주는 블록도이다. 도 5는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도이다. 도 4를 참조하면, 영상처리부(140)는 디스패러티 산출부(200)와 멀티뷰 영상 생성부(300)를 포함한다. 이하에서, 도 4와 도 5를 결부하여 영상처리부(140)의 멀티뷰 영상 생성방법을 상세히 설명한다.4 is a block diagram illustrating in detail the image processor of FIG. 2. 5 is a flowchart illustrating a method of generating a multiview image according to an exemplary embodiment of the present invention. Referring to FIG. 4, the image processor 140 includes a disparity calculator 200 and a multi-view image generator 300. Hereinafter, a method of generating a multiview image of the image processor 140 will be described in detail with reference to FIGS. 4 and 5.

첫 번째로, 디스패러티 산출부(200)는 3D 영상 데이터(RGB3D)의 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 이용하여 디스패러티(disparity)들을 산출한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상 또는 우안 영상을 쉬프트시키기 위한 값을 의미한다. 디스패러티 산출부(200)의 디스패러티 산출방법에 대한 자세한 설명은 도 6 및 도 7을 결부하여 후술한다. (S101)First, the disparity calculator 200 calculates disparities using the left eye image data RGBL and the right eye image data RGBR of the 3D image data RGB3D. The disparity means a value for shifting the left eye image or the right eye image to form a three-dimensional effect. A detailed description of the disparity calculation method of the disparity calculation unit 200 will be described later with reference to FIGS. 6 and 7. (S101)

멀티뷰 영상 생성부(300)는 디스패러티 산출부(200)에 의해 산출된 디스패러티들에 따라 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)를 쉬프트시켜 멀티뷰 영상 데이터(MVD)를 생성한다. 좌안 영상 데이터 맵은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 좌안 영상 데이터(RGBL)들을 이용하여 작성될 수 있고, 우안 영상 데이터 맵은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 우안 영상 데이터들을 이용하여 작성될 수 있다. 좌안 영상 데이터 맵과 우안 영상 데이터 맵에서 좌안 영상 데이터(RGBL)들과 우안 영상 데이터(RGBR)들은 그 위치가 좌표로 표현될 수 있다.The multiview image generator 300 shifts the left eye image data RGBL or the right eye image data RGBR according to the disparities calculated by the disparity calculator 200 to generate the multiview image data MVD. do. The left eye image data map may be created using left eye image data RGBL to be supplied to the pixels of the display panel 10 for one frame period, and the right eye image data map may be a pixel of the display panel 10 for one frame period. It may be prepared using the right eye image data to be supplied to the field. In the left eye image data map and the right eye image data map, the positions of the left eye image data RGBL and the right eye image data RGBR may be represented by coordinates.

예를 들어, 멀티뷰 영상 생성부(300)는 (i,j)(i,j는 자연수) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))를 생성하고, (i,j) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향과 반대되는 제2 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j))를 생성하는 방식으로, 2 개의 뷰 영상 데이터를 생성할 수 있다. 그리고 나서, 멀티뷰 영상 데이터 생성부(300)는 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))와 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j)) 사이에 적어도 하나 이상의 (i,j) 좌표에서의 뷰 영상 데이터를 생성하는 방식으로, n 개 이상의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터를 생성할 수 있다. 멀티뷰 영상 생성부(300)의 멀티뷰 영상 생성방법은 공지의 어떠한 방법도 적용될 수 있다. 멀티뷰 영상 생성부(300)는 멀티뷰 영상 데이터(MVD)에 홀 필링(hole filling) 등의 후처리 연산을 수행한 후 타이밍 콘트롤러(130)로 출력한다. (S102)
For example, the multi-view image generating unit 300 disposes the left eye image data RGBL (i, j) at (i, j) (i, j is a natural number) at (i, j) coordinates. Shifts in the first horizontal direction by (Dis (i, j)) to generate first view image data V1 (i, j) at (i, j) coordinates and the left eye at (i, j) coordinates The image data RGBL (i, j) is shifted in the second horizontal direction opposite to the first horizontal direction by the disparity Dis (i, j) in the (i, j) coordinates to coordinate (i, j) Two view image data may be generated by generating second view image data V2 (i, j) in. Then, the multi-view image data generation unit 300 performs first view image data V1 (i, j) at (i, j) coordinates and second view image data V2 at (i, j) coordinates. Multiview image data including n or more view image data may be generated by generating view image data at least one or more (i, j) coordinates between (i, j)). The multi-view image generating method of the multi-view image generating unit 300 may be applied to any method known in the art. The multiview image generator 300 performs a post-processing operation such as hole filling on the multiview image data MVD and outputs the result to the timing controller 130. (S102)

도 6은 도 4의 디스패러티 산출부를 상세히 보여주는 블록도이다. 도 7은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도이다. 도 6을 참조하면, 디스패러티 산출부(200)는 제1 디스패러티 산출부(210), 신뢰도 값 산출부(220), 평균값 산출부(230), 제2 디스패러티 산출부(240), 및 후처리부(250)를 포함한다. 이하에서, 도 6과 도 7을 결부하여 디스패러티 산출부(200)의 디스패러티 산출방법을 상세히 설명한다.6 is a block diagram illustrating in detail the disparity calculator of FIG. 4. 7 is a flowchart illustrating a disparity calculation method according to an embodiment of the present invention in detail. Referring to FIG. 6, the disparity calculator 200 may include a first disparity calculator 210, a reliability value calculator 220, an average value calculator 230, a second disparity calculator 240, and Post-processing unit 250 is included. Hereinafter, the disparity calculation method of the disparity calculation unit 200 will be described in detail with reference to FIGS. 6 and 7.

첫 번째로, 제1 디스패러티 산출부(210)는 3D 모드에서 호스트 시스템(150)으로부터 3D 영상 데이터(RGB3D)를 입력받는다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 포함한다. 제1 디스패러티 산출부(210)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 중 어느 하나를 기준 영상 데이터로 설정하고, 나머지 하나를 비교 영상 데이터로 설정한다. 아래의 실시 예에서는 설명의 편의를 위해 좌안 영상 데이터(RGBL)를 기준 영상 데이터로 설정하고, 우안 영상 데이터(RGBR)를 비교 영상 데이터로 설정한 것을 중심으로 설명하였음에 주의하여야 한다.First, the first disparity calculator 210 receives 3D image data RGB3D from the host system 150 in the 3D mode. The 3D image data RGB3D includes left eye image data RGBL and right eye image data RGBR. The first disparity calculator 210 sets one of the left eye image data RGBL and the right eye image data RGBR as reference image data, and sets the other as the comparison image data. In the following embodiments, it should be noted that the left eye image data RGBL is set as reference image data and the right eye image data RGBR is set as comparative image data for convenience of description.

제1 디스패러티 산출부(210)는 도 8a와 같이 좌안 영상 데이터 맵(RGBL)에 제1 블록(BL1)을 설정하고, 제2 블록(BL2)의 중심 좌표(C2)가 제1 블록(BL1)의 중심 좌표(C1)와 동일한 좌표를 갖도록 우안 영상 데이터 맵(RGBR)에 제2 블록(BL2)을 설정한다. 좌안 영상 데이터 맵(RGBLM)은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 좌안 영상 데이터(RGBL)들로 작성된 맵을 의미하고, 우안 영상 데이터 맵(RGBRM)은 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 우안 영상 데이터들로 작성된 맵을 의미한다. 좌안 영상 데이터 맵(RGBLM)과 우안 영상 데이터 맵(RGBRM)에서 좌안 영상 데이터(RGBL)들과 우안 영상 데이터(RGBR)들은 그 위치가 좌표로 표현될 수 있다. 또한, 제1 블록(BL1)과 제2 블록(BL2)은 p×q(p, q는 2 이상의 자연수) 개의 데이터들을 포함하도록 구현될 수 있으며, 예를 들어 도 8과 같이 3×3 개의 데이터들을 포함할 수 있다.As shown in FIG. 8A, the first disparity calculator 210 sets the first block BL1 in the left eye image data map RGBL, and the center coordinate C2 of the second block BL2 is the first block BL1. The second block BL2 is set in the right eye image data map RGBR so as to have the same coordinate as the center coordinate C1 of. The left eye image data map RGBLM refers to a map made of left eye image data RGBL to be supplied to the pixels of the display panel 10 during one frame period, and the right eye image data map RGBRM is displayed during one frame period. The map is composed of right eye image data to be supplied to the pixels of the panel 10. In the left eye image data map RGBLM and the right eye image data map RGBRM, the positions of the left eye image data RGBL and the right eye image data RGBR may be represented by coordinates. In addition, the first block BL1 and the second block BL2 may be implemented to include p × q (p, q is two or more natural numbers) data, for example, 3 × 3 data as shown in FIG. 8. Can include them.

그리고 나서, 제1 디스패러티 산출부(210)는 우안 영상 데이터 맵(RGBRM)에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 구체적으로, 제1 디스패러티 산출부(210)는 제2 블록(BL2)의 중심 좌표(C2)가 제1 범위(DR1) 내에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다.Thereafter, the first disparity calculator 210 shifts the second block BL2 in the right eye image data map RGBRM and the left eye image data RGBL included in the first block BL1 and the second block. The second block BL2 having the minimum absolute value of the difference between the right eye image data RGBR included in the BL2 is detected. In detail, the first disparity calculator 210 shifts the second block BL2 within a range in which the center coordinate C2 of the second block BL2 is within the first range DR1, and thus, the first block BL1 may be used. The second block BL2 having the smallest absolute value of the difference between the left eye image data RGBL included in the RX and the right eye image data RGBR included in the second block BL2 is detected.

제1 범위(DR1)는 제1 블록(BL1)의 중심 좌표(C1)를 (x,y)라 할 때, (x-dr,y) 내지 (x+dr-1,y)로 설정될 수 있다. 이 경우, 제1 디스패러티 산출부(210)는 제2 블록(BL2)의 중심 좌표(C2)가 (x-dr,y) 내지 (x+dr-1,y)에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이가 최소인 제2 블록(BL2)을 검출한다. 즉, 제2 블록(BL2)은 그의 중심 좌표(C2)가 (x-dr,y) 내지 (x+dr-1,y)를 벗어나지 않는 범위 내에서 쉬프트된다. dr은 디스패러티의 최대값으로 사전 실험을 통해 미리 설정될 수 있다.The first range DR1 may be set to (x-dr, y) to (x + dr-1, y) when the center coordinate C1 of the first block BL1 is (x, y). have. In this case, the first disparity calculator 210 has a second block in a range in which the center coordinate C2 of the second block BL2 belongs to (x-dr, y) to (x + dr-1, y). While shifting BL2, the second block BL2 having a minimum difference between the left eye image data RGBL included in the first block BL1 and the right eye image data RGBR included in the second block BL2 is minimized. Detect. That is, the second block BL2 is shifted within a range in which its center coordinate C2 does not deviate from (x-dr, y) to (x + dr-1, y). dr may be preset through a preliminary experiment as a maximum value of the disparity.

한편, 제1 디스패러티 산출부(210)는 제1 블록(BL1)과 제2 블록(BL2) 내의 위치별로 좌안 영상 데이터와 우안 영상 데이터의 차이의 절대값을 산출하고 이들을 총합함으로써, 제1 블록(BL1) 내에 포함된 좌안 영상 데이터들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터들의 차이의 절대값을 산출할 수 있다. 예를 들어, 제1 디스패러티 산출부(210)는 제1 블록(BL1)과 제2 블록(BL2)의 중심 좌표(C1)를 (x,y) 좌표라 할 때, 제1 블록(BL1)의 (x-1,y-1) 좌표에서의 좌안 영상 데이터와 제2 블록(BL2)의 (x-1,y-1) 좌표에서의 우안 영상 데이터의 차이의 절대값을 산출할 수 있다. 제1 디스패러티 산출부(210)는 나머지 좌표들에서도 위와 같이 좌안 영상 데이터와 우안 영상 데이터의 차이의 절대값을 산출할 수 있다. 제1 디스패러티 산출부(210)는 (x-1,y-1) 내지 (x+1,y+1) 좌표들에서 산출된 절대값들의 총합을 제1 블록(BL1) 내에 포함된 좌안 영상 데이터들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터들의 차이의 절대값으로 산출할 수 있다.Meanwhile, the first disparity calculator 210 calculates an absolute value of the difference between the left eye image data and the right eye image data for each location in the first block BL1 and the second block BL2, and adds the absolute values to the first block. The absolute value of the difference between the left eye image data included in BL1 and the right eye image data included in the second block BL2 may be calculated. For example, the first disparity calculator 210 may determine the center coordinates C1 of the first block BL1 and the second block BL2 as the (x, y) coordinates. The absolute value of the difference between the left eye image data at the (x-1, y-1) coordinate and the right eye image data at the (x-1, y-1) coordinate of the second block BL2 may be calculated. The first disparity calculator 210 may calculate the absolute value of the difference between the left eye image data and the right eye image data in the remaining coordinates as described above. The first disparity calculator 210 includes the left eye image included in the first block BL1 based on the sum of the absolute values calculated from the (x-1, y-1) to (x + 1, y + 1) coordinates. The absolute value of the difference between the data and the right eye image data included in the second block BL2 may be calculated.

제1 디스패러티 산출부(210)는 도 8b과 같이 제1 블록(BL1)의 중심 좌표(C1)와 검출된 제2 블록(BL2)의 중심 좌표(C2) 사이의 거리를 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)로 산출한다. 제1 디스패러티(DIS1)는 제1 범위(DR1) 내에서 산출된다. 제1 디스패러티 산출부(210)는 제1 블록(BL1)을 쉬프트하면서 상기 과정을 반복하며 좌안 영상 데이터 맵(RGBLM)의 모든 좌표들에서 제1 디스패러티(DIS1)들을 산출할 수 있다. 제1 디스패러티 산출부(210)는 도 9b와 같이 1 프레임 기간의 제1 디스패러티(DIS1)들로부터 제1 디스패러티 맵(IDM1)을 작성할 수 있다. (S201)As shown in FIG. 8B, the first disparity calculator 210 determines the distance between the center coordinate C1 of the first block BL1 and the center coordinate C2 of the detected second block BL2. It calculates with the 1st disparity DIS1 in the center coordinate C1 of (). The first disparity DIS1 is calculated within the first range DR1. The first disparity calculator 210 may repeat the above process while shifting the first block BL1 and calculate first disparities DIS1 at all coordinates of the left eye image data map RGBLM. As illustrated in FIG. 9B, the first disparity calculator 210 may generate the first disparity map IDM1 from the first disparities DIS1 of one frame period. (S201)

두 번째로, 신뢰도 값 산출부(220)는 제1 디스패러티들의 신뢰도 값들을 산출한다. 신뢰도 값은 제1 디스패러티(DIS1)가 얼마나 정확히 산출되었는지를 지시한다. 따라서, 신뢰도 값이 높을수록 제1 디스패러티(DIS1)가 정확히 산출되었음을 의미한다.Secondly, the reliability value calculator 220 calculates reliability values of the first disparities. The confidence value indicates how accurately the first disparity DIS1 is calculated. Accordingly, the higher the reliability value, the more accurately the first disparity DIS1 is calculated.

구체적으로, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값을 이용하여 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티의 신뢰도 값을 산출할 수 있다. 즉, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 작을수록 제1 디스패러티의 신뢰도 값을 높게 산출한다. 신뢰도 값 산출부(220)는 제1 디스패러티의 신뢰도 값을 정규화(normalization)하는 과정을 포함할 수 있다. 신뢰도 값 산출부(220)는 상기 과정을 반복하며 제1 디스패러티 맵(IDM1)의 모든 좌표들에서 신뢰도 값(CV)들을 산출할 수 있다. 신뢰도 값 산출부(220)는 도 9c와 같이 1 프레임 기간의 신뢰도 값(CV)들로부터 신뢰도 맵(CM)을 작성할 수 있다.In detail, the reliability value calculator 220 may determine an absolute value of the difference between the left eye image data RGBL included in the first block BL1 and the right eye image data RGBR included in the detected second block BL2. The reliability value of the first disparity at the center coordinate C1 of the first block BL1 may be calculated using. That is, the reliability value calculator 220 determines an absolute value of the difference between the left eye image data RGBL included in the first block BL1 and the right eye image data RGBR included in the detected second block BL2. The smaller the value, the higher the reliability value of the first disparity is calculated. The confidence value calculator 220 may include a process of normalizing a confidence value of the first disparity. The reliability value calculator 220 may repeat the above process and calculate the reliability values CV at all the coordinates of the first disparity map IDM1. The reliability value calculator 220 may generate the reliability map CM from the reliability values CV of one frame period as shown in FIG. 9C.

또는, 신뢰도 값 산출부(220)는 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 검출된 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값인 제1 차이 절대값과, 검출된 제2 블록(BL2)에 인접한 블록 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값인 제2 차이 절대값을 산출한다. 그리고 나서, 신뢰도 값 산출부(220)는 제1 차이 절대값과 제2 차이 절대값을 비교하여 차이 변화량을 산출한다. 신뢰도 값 산출부(220)는 차이 변화량에 의존하여 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)의 신뢰도 값(CV)을 산출할 수 있다. 즉, 신뢰도 값 산출부(220)는 차이 변화량이 클수록 제1 블록(BL1)의 중심 좌표(C1)에서의 제1 디스패러티(DIS1)의 신뢰도 값(CV)을 높게 산출할 수 있다. (S202)Alternatively, the reliability value calculator 220 is an absolute value of the difference between the left eye image data RGBL included in the first block BL1 and the right eye image data RGBR included in the detected second block BL2. A second difference absolute value which is an absolute value of a difference between the first absolute difference value and the right eye image data RGBR included in the block adjacent to the detected second block BL2 is calculated. Then, the reliability value calculator 220 calculates the difference change amount by comparing the first absolute difference value and the second absolute difference value. The reliability value calculator 220 may calculate the reliability value CV of the first disparity DIS1 at the center coordinate C1 of the first block BL1 based on the difference change amount. That is, the reliability value calculator 220 may calculate a higher reliability value CV of the first disparity DIS1 at the center coordinate C1 of the first block BL1 as the difference change amount is larger. (S202)

세 번째로, 평균값 산출부(230)는 소정의 문턱 값 이상의 신뢰도 값(CV)을 갖는 제1 디스패러티(DIS1)들의 평균값을 산출한다. 구체적으로, 평균값 산출부(230)는 (x,y) 좌표에서의 신뢰도 값(CV)이 소정의 문턱 값 이상이라면, (x,y) 좌표에서의 제1 디스패러티(ID1(x,y))는 평균값 산출 후보군으로 산출될 수 있다. 평균값 산출부(230)는 평균값 산출 후보군으로 산출된 제1 디스패러티(DIS1)들의 평균값을 산출할 수 있다. (S203)Third, the average value calculator 230 calculates an average value of the first disparities DIS1 having a reliability value CV equal to or greater than a predetermined threshold value. Specifically, the average value calculator 230 may determine the first disparity ID1 (x, y) in the (x, y) coordinate if the reliability value CV in the (x, y) coordinate is equal to or greater than a predetermined threshold value. ) May be calculated as the average value calculation candidate group. The average value calculator 230 may calculate an average value of the first disparities DIS1 calculated as the average value candidate group. (S203)

네 번째로, 제2 디스패러티 산출부(240)는 3D 모드에서 호스트 시스템(150)으로부터 3D 영상 데이터(RGB3D)를 입력받는다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 포함한다. 제2 디스패러티 산출부(240)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR) 중 어느 하나를 기준 영상 데이터로 설정하고, 나머지 하나를 비교 영상 데이터로 설정한다. 아래의 실시 예에서는 설명의 편의를 위해 좌안 영상 데이터(RGBL)를 기준 영상 데이터로 설정하고, 우안 영상 데이터(RGBR)를 비교 영상 데이터로 설정한 것을 중심으로 설명하였음에 주의하여야 한다.Fourth, the second disparity calculator 240 receives 3D image data RGB3D from the host system 150 in the 3D mode. The 3D image data RGB3D includes left eye image data RGBL and right eye image data RGBR. The second disparity calculator 240 sets one of the left eye image data RGBL and the right eye image data RGBR as reference image data, and sets the other as the comparison image data. In the following embodiments, it should be noted that the left eye image data RGBL is set as reference image data and the right eye image data RGBR is set as comparative image data for convenience of description.

제2 디스패러티 산출부(240)는 좌안 영상 데이터 맵(RGBLM)에 제1 블록(BL1)을 설정하고, 제2 블록(BL2)의 중심 좌표(C2)가 제1 블록(BL1)의 중심 좌표(C1)와 동일한 좌표를 갖도록 우안 영상 데이터 맵(RGBRM)에 제2 블록(BL2)을 설정한다. 그리고 나서, 제2 디스패러티 산출부(240)는 우안 영상 데이터 맵(RGBRM)에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 구체적으로, 제2 디스패러티 산출부(240)는 제2 블록(BL2)의 중심 좌표(C2)가 제2 범위(DR2) 내에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다.The second disparity calculator 240 sets the first block BL1 in the left eye image data map RGBLM, and the center coordinate C2 of the second block BL2 is the center coordinate of the first block BL1. The second block BL2 is set in the right eye image data map RGBRM to have the same coordinates as in (C1). Thereafter, the second disparity calculator 240 shifts the second block BL2 in the right eye image data map RGBRM and the left eye image data RGBL included in the first block BL1 and the second block. The second block BL2 having the minimum absolute value of the difference between the right eye image data RGBR included in the BL2 is detected. In detail, the second disparity calculator 240 shifts the second block BL2 in a range in which the center coordinate C2 of the second block BL2 is within the second range DR2. The second block BL2 having the smallest absolute value of the difference between the left eye image data RGBL included in the RX and the right eye image data RGBR included in the second block BL2 is detected.

제2 디스패러티 산출부(240)는 평균값 산출부(230)에 의해 산출된 평균값에 기초하여 제1 범위(DR1)를 쉬프트시켜 제2 범위(DR2)를 설정할 수 있다. 구체적으로, 제2 디스패러티 산출부(240)는 평균값 산출부(230)에 의해 산출된 평균값만큼 제1 범위(DR1)를 쉬프트시켜 제2 범위(DR2)를 설정할 수 있다. 따라서, 제1 범위(DR1)의 크기와 제2 범위(DR2)의 크기는 동일하다. 예를 들어, 제2 범위(DR2)는 제1 블록(BL1)의 중심 좌표(C1)를 (x,y)라 할 때, (x+μ-dr,y) 내지 (x+μ+dr-1,y)로 설정될 수 있다. 이 경우, 제2 디스패러티 산출부(240)는 제2 블록(BL2)의 중심 좌표(C2)가 (x+μ-dr,y) 내지 (x+μ+dr-1,y)에 속하는 범위에서 제2 블록(BL2)을 쉬프트하면서 제1 블록(BL1) 내에 포함된 좌안 영상 데이터(RGBL)들과 제2 블록(BL2) 내에 포함된 우안 영상 데이터(RGBR)들의 차이의 절대값이 최소인 제2 블록(BL2)을 검출한다. 즉, 제2 블록(BL2)은 그의 중심 좌표(C2)가 (x+μ-dr,y) 내지 (x+μ+dr-1,y)를 벗어나지 않는 범위 내에서 쉬프트된다. dr은 디스패러티의 최대값으로 사전 실험을 통해 미리 설정될 수 있다.The second disparity calculator 240 may set the second range DR2 by shifting the first range DR1 based on the average value calculated by the average value calculator 230. In detail, the second disparity calculator 240 may set the second range DR2 by shifting the first range DR1 by the average value calculated by the average value calculator 230. Therefore, the size of the first range DR1 and the size of the second range DR2 are the same. For example, when the center coordinate C1 of the first block BL1 is (x, y), the second range DR2 is (x + μ−dr, y) to (x + μ + dr−). 1, y). In this case, the second disparity calculation unit 240 has a range in which the center coordinate C2 of the second block BL2 belongs to (x + μ−dr, y) to (x + μ + dr−1, y). The absolute value of the difference between the left eye image data RGBL included in the first block BL1 and the right eye image data RGBR included in the second block BL2 is minimum while the second block BL2 is shifted. The second block BL2 is detected. That is, the second block BL2 is shifted within a range in which its center coordinate C2 does not deviate from (x + μ−dr, y) to (x + μ + dr−1, y). dr may be preset through a preliminary experiment as a maximum value of the disparity.

제2 디스패러티 산출부(240)는 제1 블록(BL1)의 중심 좌표(C1)와 검출된 제2 블록(BL2)의 중심 좌표(C2) 사이의 거리를 제1 블록(BL1)의 중심 좌표(C1)에서의 제2 디스패러티(DIS2)로 산출한다. 제2 디스패러티(DIS2)는 제2 범위(DR2) 내에서 산출된다. 제2 디스패러티 산출부(240)는 제1 블록(BL1)을 쉬프트하면서 상기 과정을 반복하며 좌안 영상 데이터 맵(RGBLM)의 모든 좌표들에서 제2 디스패러티(DIS2)들을 산출할 수 있다. 제2 디스패러티 산출부(240)는 도 9d와 같이 1 프레임 기간의 제2 디스패러티(DIS2)들로부터 제2 디스패러티 맵(IDM2)을 작성할 수 있다. (S204)The second disparity calculator 240 determines the distance between the center coordinate C1 of the first block BL1 and the center coordinate C2 of the detected second block BL2 by using the center coordinates of the first block BL1. It calculates by the 2nd disparity DIS2 in (C1). The second disparity DIS2 is calculated within the second range DR2. The second disparity calculator 240 may repeat the above process while shifting the first block BL1 and calculate second disparities DIS2 at all coordinates of the left eye image data map RGBLM. The second disparity calculator 240 may generate the second disparity map IDM2 from the second disparities DIS2 of one frame period as shown in FIG. 9D. (S204)

이상에서 살펴본 바와 같이, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들을 산출한다. 그리고 나서, 본 발명은 소정의 문턱값 이상의 신뢰도 값을 갖는 제1 디스패러티들의 평균값을 산출하고, 그 평균값을 반영하여 제1 범위를 보정하여 제2 범위를 산출하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 즉, 미리 설정된 제1 범위 내에서 산출된 제1 디스패러티들의 신뢰도가 높은 경우, 소정의 문턱 값 이상의 신뢰도를 갖는 제1 디스패러티들의 평균값은 "0"에 근접한 값을 가지므로, 그 평균값을 반영하여 보정된 제2 범위는 제1 범위와 거의 유사할 것이다. 하지만, 미리 설정된 제1 범위 내에서 산출된 제1 디스패러티들의 신뢰도가 낮은 경우, 소정의 문턱 값 이상의 신뢰도를 갖는 제1 디스패러티들의 평균값은 양의 값 또는 음의 값을 갖게 되므로, 그 평균값을 반영하여 보정된 제2 범위는 제1 범위와 다른 범위를 갖는다.As described above, the present invention calculates first disparities within a preset first range and calculates reliability values of the first disparities. Then, the present invention calculates an average value of the first disparities having a reliability value equal to or greater than a predetermined threshold value, corrects the first range by reflecting the average value, and calculates a second range, wherein the second range is within the second range. Calculate disparities. That is, when the reliability of the first disparities calculated within the preset first range is high, the average value of the first disparities having a reliability higher than or equal to a predetermined threshold value has a value close to "0", and thus reflects the average value. The corrected second range will be almost similar to the first range. However, when the reliability of the first disparities calculated within the preset first range is low, the average value of the first disparities having a reliability higher than or equal to a predetermined threshold value has a positive value or a negative value. The second range reflected and corrected has a range different from the first range.

결국, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티를 산출할 수 있다.As a result, the present invention calculates the first disparities within a preset first range, sets the second range by shifting the first range depending on the reliability values of the first disparities, and the second within the second range. Calculate disparities. As a result, the present invention does not need to increase the size of the memory in order to reflect all the imaging methods of the binocular parallax image, and the disparity can be accurately calculated in consideration of the imaging method of the binocular parallax image without increasing the size of the memory.

다섯 번째로, 후처리부(250)는 제2 디스패러티(DIS2)들을 후처리하여 최종 디스패러티(DISF)들을 산출한다. 후처리부(250)는 메디안 필터(median filter), 가중치 메디안 필터(weighted median filter), 가중치 최빈값 필터(weighted voting filter) 등 여러가지 필터들 중 어느 하나를 사용하여 제2 디스패러티(DIS2)들을 후처리할 수 있다. 메디안 필터는 마스크의 중심 좌표에서의 데이터를 마스크 내 데이터들의 중앙값으로 변환하는 필터이다. 가중치 메디안 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 배열한 후 중앙값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 중앙값으로 변환하는 필터이다. 가중치 최빈값 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 히스토그램 작성 후 최빈값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 최빈값으로 변환하는 필터이다. 후처리부(250)는 후처리 과정을 통해 산출된 최종 디스패러티(DISF)들을 멀티뷰 영상 생성부(300)로 출력한다. (S205)
Fifth, the post processor 250 post-processes the second disparities DIS2 to calculate final disparities DISF. The post-processing unit 250 post-processes the second disparities DIS2 using any one of various filters, such as a median filter, a weighted median filter, and a weighted voting filter. can do. The median filter is a filter that converts data at the center coordinates of the mask into a median of data in the mask. The weighted median filter is a filter that arranges the data in the mask by applying the weight of the weighted mask, selects a median value, and converts data at the center coordinates in the mask to the median value. The weighted mode filter is a filter that selects a mode after generating a histogram by applying a weight of a weighted mask to data in the mask, and converts data at the center coordinates in the mask into the mode. The post processor 250 outputs the final disparities DISF calculated through the post processing to the multi view image generator 300. (S205)

도 9a는 수평 방식의 기준 영상 데이터 맵을 보여주는 일 예시도면이다. 도 9b는 초기 디스패러티 맵을 보여주는 일 예시도면이다. 도 9c는 신뢰도 맵을 보여주는 일 예시도면이다. 도 9d는 디스패러티 맵을 보여주는 일 예시도면이다.9A is an exemplary diagram illustrating a reference image data map in a horizontal manner. 9B is an example diagram showing an initial disparity map. 9C is an exemplary diagram showing a reliability map. 9D is an exemplary diagram illustrating a disparity map.

도 9a에 도시된 기준 영상 데이터 맵은 1 프레임 기간의 기준 영상 데이터들로부터 작성된 맵을 의미한다. 본 발명의 실시 예에서는 기준 영상 데이터가 좌안 영상 데이터(RGBL)인 것을 중심으로 설명하였다. 제1 디스패러티 맵은 1 프레임 기간의 제1 디스패러티들로부터 작성된 맵을 의미한다. 제1 디스패러티들은 도 9b와 같이 계조값(gray level value)으로 표현되고, 계조값이 높을수록 제1 디스패러티가 높은 것을 의미한다. 신뢰도 맵은 제1 디스패러티들의 신뢰도 값들로부터 작성된 맵을 의미한다. 신뢰도 값들도 도 9c와 같이 계조값으로 표현되고, 계조값이 높을수록 신뢰도 값이 높은 것을 의미한다. 제2 디스패러티 맵은 1 프레임 기간의 제2 디스패러티들로부터 작성된 맵을 의미한다. 제2 디스패러티들은 도 9d와 같이 계조값으로 표현되고, 계조값이 높을수록 제2 디스패러티가 높은 것을 의미한다.The reference image data map shown in FIG. 9A means a map created from reference image data of one frame period. In the embodiment of the present invention, the reference image data is described based on the left eye image data RGBL. The first disparity map refers to a map created from first disparities of one frame period. The first disparities are represented by gray level values as shown in FIG. 9B, and the higher the gray values, the higher the first disparity. The reliability map means a map created from the reliability values of the first disparities. The reliability values are also expressed as gray values as shown in FIG. 9C, and the higher the gray values, the higher the reliability values. The second disparity map means a map created from second disparities in one frame period. The second disparities are represented by a gray value as shown in FIG. 9D, and the higher the gray value, the higher the second disparity.

한편, 제1 디스패러티들 산출 범위인 제1 범위(DR1)는 토-인 방식(toe-in method)의 입체영상의 디스패러티 산출에 최적화된 범위로 설정될 수 있다. 따라서, 제1 디스패러티 산출부(210)가 제1 범위(DR1) 내에서 도 9a와 같이 수평 방식의 기준 영상 데이터 맵의 디스패러티들을 산출한다면, 도 9b와 같이 제1 디스패러티들 일부가 오산출될 수 있다. 따라서, 본 발명은 도 9c와 같이 제1 디스패러티들의 신뢰도 값들을 산출하고, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값을 산출한 후, 그 평균값을 이용하여 제1 범위(DR1)를 보정하여 제2 범위(DR2)를 산출한다. 제1 범위(DR1)의 크기와 제2 범위(DR2)의 크기는 동일하므로, 상기 평균값에 따라 제2 범위(DR2)가 쉬프트된다. 즉, 제2 범위(DR2)는 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값에 따라 쉬프트되므로, 수평 방식의 기준 영상 데이터 맵의 디스패러티 산출시 제1 범위(DR1)보다 정확한 범위일 것이다. 결국, 본 발명은 제2 범위(DR2) 내에서 도 9a와 같이 수평 방식의 기준 영상 데이터 맵의 디스패러티들을 산출하는 경우, 도 9d와 같이 제2 디스패러티들을 정확히 산출할 수 있다.Meanwhile, the first range DR1, which is the first disparity calculation range, may be set to a range optimized for disparity calculation of the stereoscopic image of the toe-in method. Therefore, if the first disparity calculator 210 calculates disparities of the horizontal reference image data map as shown in FIG. 9A within the first range DR1, some of the first disparities are not shown as shown in FIG. 9B. Can be calculated. Accordingly, the present invention calculates reliability values of the first disparities as shown in FIG. 9C, calculates an average value of the first disparities having reliability values equal to or greater than a predetermined threshold value, and then uses the average value to calculate the first range DR1. ) Is calculated to calculate the second range DR2. Since the size of the first range DR1 and the size of the second range DR2 are the same, the second range DR2 is shifted according to the average value. That is, since the second range DR2 is shifted according to the average value of the first disparities having reliability values equal to or greater than a predetermined threshold value, the second range DR2 is more accurate than the first range DR1 when calculating the disparity of the reference image data map of the horizontal method. would. As a result, when calculating the disparities of the horizontal reference image data map as shown in FIG. 9A within the second range DR2, the second disparities can be accurately calculated as shown in FIG. 9D.

한편, 토-인 방식은 도 1a과 같이 두 대의 카메라(C1, C2)를 안쪽으로 향하게 하여 피사체(subject, SUB)에 초점(F)을 맞추고 촬영하는 방식이고, 수평 방식은 도 1b와 같이 두 대의 카메라(C1, C2)를 평행하게 하여 피사체(SUB)에 초점을 맞추지 않고 촬영하는 방식을 의미한다.
Meanwhile, the to-in method is a method of focusing and photographing a subject F with the two cameras C1 and C2 facing inward as shown in FIG. 1A, and the horizontal method as shown in FIG. 1B. The cameras C1 and C2 are arranged in parallel to photograph the subject without focusing on the subject SUB.

도 10a는 토-인 방식의 단안 영상을 보여주는 일 예시도면이다. 도 10b는 제1 디스패러티 맵을 보여주는 일 예시도면이다. 도 10a에 도시된 기준 영상 데이터 맵은 1 프레임 기간의 기준 영상 데이터들로부터 작성된 맵을 의미한다. 본 발명의 실시 예에서는 기준 영상 데이터가 좌안 영상 데이터(RGBL)인 것을 중심으로 설명하였다. 제1 디스패러티 맵은 1 프레임 기간의 제1 디스패러티들로부터 작성된 맵을 의미한다. 제1 디스패러티들은 도 10b와 같이 계조값으로 표현되고, 계조값이 높을수록 제1 디스패러티가 높은 것을 의미한다.10A illustrates an example of a to-in monocular image. 10B is an exemplary diagram illustrating a first disparity map. The reference image data map shown in FIG. 10A means a map created from reference image data of one frame period. In the embodiment of the present invention, the reference image data is described based on the left eye image data RGBL. The first disparity map refers to a map created from first disparities of one frame period. The first disparities are represented by a gray value as shown in FIG. 10B, and the higher the gray value, the higher the first disparity.

제1 디스패러티들 산출 범위인 제1 범위(DR1)는 토-인 방식(toe-in method)의 입체영상의 디스패러티 산출에 최적화된 범위로 설정될 수 있다. 따라서, 제1 디스패러티 산출부(210)가 제1 범위(DR1) 내에서 도 10a와 같이 토-인 방식의 기준 영상 데이터 맵의 디스패러티들을 산출한다면, 도 10b와 같이 제1 디스패러티들을 정확히 산출될 수 있다.The first range DR1, which is the first disparity calculation range, may be set to a range optimized for disparity calculation of a stereoscopic image of a toe-in method. Therefore, if the first disparity calculator 210 calculates disparities of the reference image data map of the to-in method as shown in FIG. 10A within the first range DR1, the first disparities are accurately represented as shown in FIG. 10B. Can be calculated.

그리고 나서, 본 발명은 제1 디스패러티들의 신뢰도 값들을 산출하고, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값을 산출한 후, 그 평균값을 이용하여 제1 범위(DR1)를 보정하여 제2 범위(DR2)를 산출한다. 하지만, 제1 디스패러티들이 거의 정확히 산출되므로, 제1 디스패러티들의 신뢰도 값들 또한 거의 높은 값을 가질 것이다. 이 경우, 소정의 문턱값 이상의 신뢰도 값들을 갖는 제1 디스패러티들의 평균값은 "0"에 근접한 값을 가질 것이다. 따라서, 본 발명은 제2 범위(DR2) 내에서 도 10a와 같이 토-인 방식의 기준 영상 데이터 맵의 디스패러티들을 산출하는 경우, 도 10b와 같이 제2 디스패러티들을 정확히 산출할 수 있다.
Then, the present invention calculates reliability values of the first disparities, calculates an average value of the first disparities having reliability values equal to or greater than a predetermined threshold value, and then corrects the first range DR1 using the average value. The second range DR2 is calculated. However, since the first disparities are calculated almost exactly, the confidence values of the first disparities will also have a nearly high value. In this case, the average value of the first disparities having confidence values above the predetermined threshold value will have a value close to "0". Therefore, when the disparities of the reference image data map of the to-in method as shown in FIG. 10A are calculated within the second range DR2, the second disparities may be accurately calculated as shown in FIG. 10B.

이상에서 살펴본 바와 같이, 본 발명은 미리 설정된 제1 범위 내에서 제1 디스패러티들을 산출하고, 제1 디스패러티들의 신뢰도 값들에 의존하여 제1 범위를 쉬프트시켜 제2 범위를 설정하며, 제2 범위 내에서 제2 디스패러티들을 산출한다. 그 결과, 본 발명은 양안 시차 영상의 촬영 방식을 모두 반영하기 위해 메모리의 크기를 늘릴 필요가 없으며, 메모리의 크기를 늘리지 않고도 양안 시차 영상의 촬영 방식을 고려하여 정확히 디스패러티들을 산출할 수 있다.As described above, the present invention calculates the first disparities within a preset first range, sets the second range by shifting the first range depending on the reliability values of the first disparities, and the second range. Compute the second disparities within. As a result, the present invention does not need to increase the size of the memory to reflect all of the binocular parallax image capturing methods, and it is possible to accurately calculate disparities in consideration of the binocular parallax image capturing method without increasing the size of the memory.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
Those skilled in the art will appreciate that various changes and modifications can be made without departing from the technical spirit of the present invention. Therefore, the present invention should not be limited to the details described in the detailed description but should be defined by the claims.

10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리부
150: 호스트 시스템 200: 디스패러티 산출부
210: 제1 디스패러티 산출부 220: 신뢰도 값 산출부
230: 평균값 산출부 240: 제2 디스패러티 산출부
250: 후처리부 300: 입체영상 생성부10: display panel 30: optical plate
110: gate driving circuit 120: data driving circuit
130: timing controller 140: image processing unit
150: host system 200: disparity calculator
210: first disparity calculator 220: reliability value calculator
230: average value calculator 240: second disparity calculator
250: post-processing unit 300: stereoscopic image generating unit

Claims

A first step of receiving 3D image data including left eye image data and right eye image data and analyzing first left eye image data and right eye image data within a first range to calculate first disparities;
Calculating a confidence value of the first disparities;
Calculating a mean value of the first disparities having a confidence value equal to or greater than a threshold value; And
The first range is shifted based on the average value to set a second range having the same size as the first range, and the second disparities are analyzed by analyzing the left eye image data and the right eye image data within the second range. A disparity calculation method comprising a fourth step of calculating.

delete

The method of claim 1,
The first step,
Setting a first block in the left eye image data map and setting a second block in the right eye image data map;
Shifting the second block within the first range with respect to the first block, wherein the absolute value of the difference between the sum of the data included in the first block and the sum of the data included in the second block is minimum; Detecting a second block; And
And calculating a distance between the center coordinates of the first block and the detected center coordinates as a first disparity in the center coordinates of the first block.

The method of claim 3, wherein
The fourth step,
Setting a first block in the left eye image data map and setting a second block in the right eye image data map;
The second block shifting the second block within the second range with respect to the first block and having an absolute value of a difference between data included in the first block and data included in the second block being the minimum; Detecting;
And calculating a distance between the center coordinates of the first block and the detected center coordinates of the second block as a second disparity in the center coordinates of the first block.

The method of claim 4, wherein
When the center coordinate of the first block is referred to as (x, y) and dr is a maximum value of a preset disparity,
The first range is,
A disparity calculation method, characterized in that it is set to a range containing (x-dr, y) to (x + dr-1, y) coordinates.

The method of claim 5,
When μ is the mean value,
The second range is,
A disparity calculation method, characterized in that it is set to a range including (x + μ−dr, y) to (x + μ + dr−1, y) coordinates.

The method of claim 1,
And a fifth step of correcting the second disparities by applying a median filter, a weighted median filter, or a weighted mode filter to finally calculate disparities.

A display panel including data lines and gate lines;
A disparity calculator for calculating disparities from 3D image data including left eye image data and right eye image data, and multi-view image data by shifting the left eye image data or the right eye image data according to the disparities. An image processor including a view image generator;
A data driving circuit converting the multi-view image data into a data voltage and supplying the multi-view image data to the data lines; And
A gate driving circuit which sequentially supplies gate pulses to the gate lines,
The disparity calculation unit,
A first disparity calculator configured to calculate first disparities by analyzing the left eye image data and the right eye image data within a first range;
A reliability value calculator configured to calculate reliability values of the first disparities;
An average value calculator for calculating an average value of the first disparities having a confidence value equal to or greater than a threshold value; And
The first range is shifted based on the average value to set a second range having the same size as the first range, and the second disparities are analyzed by analyzing the left eye image data and the right eye image data within the second range. And a second disparity calculation unit for calculating.

delete

The method of claim 8,
The first disparity calculation unit,
A first block is set in the left eye image data map, a second block is set in the right eye image data map, and the second block is shifted within the first range based on the first block and included in the first block. Detecting the second block having a minimum absolute value of the difference between the included data and the data included in the second block, and determining a distance between the center coordinate of the first block and the detected center coordinate of the second block. And a first disparity in the center coordinates of the first block.

The method of claim 10,
The second disparity calculation unit,
A first block is set in the left eye image data map, a second block is set in the right eye image data map, and the second block is shifted within the second range based on the first block and included in the first block. Detecting the second block having a minimum absolute value of the difference between the included data and the data included in the second block, and determining a distance between the center coordinate of the first block and the detected center coordinate of the second block. And a second disparity at the center coordinates of the first block.

The method of claim 11,
When the center coordinate of the first block is called (x, y) and dr is a maximum value of the pre-set disparity,
The first range is,
and (x-dr, y) to (x + dr-1, y) coordinates.

The method of claim 12,
When μ is the mean value,
The second range is,
and (x + μ-dr, y) to (x + μ + dr-1, y) coordinates.

The method of claim 8,
And a post-processing unit to apply the median filter, the weighted median filter, or the weighted mode filter to correct the second disparities.