KR20140076085A - Disparity calculation method and stereoscopic image display device - Google Patents
Disparity calculation method and stereoscopic image display device Download PDFInfo
- Publication number
- KR20140076085A KR20140076085A KR1020120144231A KR20120144231A KR20140076085A KR 20140076085 A KR20140076085 A KR 20140076085A KR 1020120144231 A KR1020120144231 A KR 1020120144231A KR 20120144231 A KR20120144231 A KR 20120144231A KR 20140076085 A KR20140076085 A KR 20140076085A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- image data
- candidate
- calculating
- disparity
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
Abstract
Description
본 발명은 디스패러티 산출방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
The present invention relates to a disparity calculating method and a stereoscopic image displaying apparatus using the disparity calculating method.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더 방식이 있다. 또한, 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.The stereoscopic display is divided into a stereoscopic technique and an autostereoscopic technique. The binocular parallax method uses parallax images of right and left eyes with large stereoscopic effect, and both glasses and non-glasses are used, and both methods are practically used. In the spectacle system, there is a pattern retarder system in which a polarizing direction of a right and left parallax image is displayed on a direct view type display device or a projector, and a stereoscopic image is realized using polarizing glasses. The eyeglass system has a shutter glasses system in which right and left parallax images are displayed in a time-division manner on a direct view type display device or a projector, and a stereoscopic image is implemented using liquid crystal shutter glasses. In the non-eyeglass system, an optical plate such as a parallax barrier or a lenticular lens is generally used to separate the optical axes of the right and left parallax images to realize a stereoscopic image.
사용자가 셔터안경이나 편광안경을 착용하지 않고 입체영상을 시청할 수 있는 편의성으로 인해, 무안경 방식은 최근에 스마트폰(smart phone), 태블릿(tablet), 및 노트북(notebook) 등의 중소형 디스플레이에 많이 적용되고 있다. 무안경 방식은 3D 크로스토크(crosstalk)를 줄이기 위해 광학판을 이용하여 k(k는 3 이상의 자연수) 개의 뷰 영상들을 포함하는 멀티뷰 영상을 k 개의 뷰 영역들에 표시함으로써 입체영상을 구현한다. 3D 크로스토크는 복수 개의 뷰 영상들이 사용자에게 겹쳐보이는 것을 의미하며, 3D 크로스토크로 인해 입체영상의 품질이 낮아지게 된다.Since the convenience of the user to view the stereoscopic image without wearing the shutter glasses or the polarizing glasses, the non-eyeglass system has recently attracted a great deal of attention to small and medium sized displays such as a smart phone, a tablet, and a notebook . In the non-eyeglass mode, a stereoscopic image is implemented by displaying a multi-view image including k view images (k is a natural number of 3 or more) on k view areas using an optical plate to reduce 3D crosstalk. 3D crosstalk means that a plurality of view images overlapped with a user, and the quality of a stereoscopic image is lowered due to 3D crosstalk.
멀티뷰 영상은 일반인의 양안 간격만큼 k 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 하지만, 멀티뷰 영상은 비디오 컨텐츠로 제작하기 쉽지 않을 뿐만 아니라 비디오 컨텐츠로 제작하기 위한 단가가 높기 때문에, 멀티뷰 영상으로 구현된 비디오 컨텐츠는 많이 부족한 실정이다. 따라서, 좌안 영상과 우안 영상(또는 2 개의 뷰 영상들)을 포함하는 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 많이 이용되고 있다.The multi-view image can be generated by separating k cameras from each other by a distance of two persons and shooting an image of the object. However, since multi-view video is not easy to produce as video contents and has a high unit price to be produced as video contents, video contents implemented as multi-view video are in short supply. Therefore, a method of generating a multi-view image using a 3D image including a left eye image and a right eye image (or two view images) is widely used.
3D 영상을 이용한 멀티뷰 영상 생성 방법은 좌안 영상과 우안 영상을 분석하여 디스패러티(diparity)들을 산출한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상과 우안 영상을 쉬프트시키기 위한 값을 의미한다. 하지만, 디스패러티 산출방법은 연산이 복잡하므로, 연산 장치(ALU, arithmetic unit)의 개수가 많다는 단점이 있다. 즉, 연산 장치의 개수 증가로 인한 비용 상승이 문제된다.
A method for generating a multi-view image using a 3D image is a method for calculating diparity by analyzing a left eye image and a right eye image. The disparity means a value for shifting the left eye image and the right eye image to form a three-dimensional effect. However, the disparity calculation method is disadvantageous in that the number of calculation units (arithmetic units) is large because the calculation is complex. That is, there is a problem of an increase in cost due to an increase in the number of calculation devices.
본 발명은 연산의 복잡도를 낮춰 연산 장치의 개수를 줄일 수 있는 디스패러티 산출방법과 입체영상 표시장치를 제공한다.
The present invention provides a disparity calculation method and a stereoscopic image display apparatus capable of reducing the complexity of calculation and the number of calculation apparatuses.
본 발명의 실시 예에 따른 디스패러티 산출방법은 (x,y) 좌표에서의 단안 영상 데이터를 (x,y) 좌표를 기준으로 제1 범위 내에 속하는 좌표들에서의 또 다른 단안 영상 데이터들과 비교하여 제1 후보 좌표들을 산출하는 제1 단계; 상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 이용하여 상기 (x,y) 좌표를 쉬프트시켜 제2 후보 좌표들을 산출하는 제2 단계; 및 상기 (x,y) 좌표를 기준 블록의 중심좌표로 설정하고, 상기 제1 후보 좌표들을 제1 후보 블록의 중심좌표들로 설정하며, 상기 제2 후보 좌표들을 제2 후보 블록들의 중심좌표들로 설정하고, 상기 기준 블록의 단안 영상 데이터들을 제1 후보 블록들 각각의 또 다른 단안 영상 데이터들과 상기 제2 후보 블록들 각각의 또 다른 단안 영상 데이터들을 비교하여 상기 (x,y) 좌표에서의 디스패러티를 산출하는 제3 단계를 포함한다.The disparity calculation method according to the embodiment of the present invention compares monocular image data at (x, y) coordinates with other monocular image data at coordinates belonging to the first range on the basis of (x, y) coordinates A first step of calculating first candidate coordinates; A second step of calculating second candidate coordinates by shifting the (x, y) coordinates using disparities at coordinates neighboring the (x, y) coordinates; And setting the (x, y) coordinates as the center coordinates of the reference block, setting the first candidate coordinates as the center coordinates of the first candidate block, setting the second candidate coordinates as the center coordinates of the second candidate blocks And comparing the monocular image data of the reference block with another monocular image data of each of the first candidate blocks and another monocular image data of each of the second candidate blocks to obtain the monocular image data of the reference block at the (x, y) And a third step of calculating a disparity of the first and second frames.
본 발명의 실시 예에 따른 입체영상 표시장치는 데이터 라인들과 게이트 라인들을 포함하는 표시패널; 좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터로부터 디스패러티들을 산출하여 출력하는 디스패러티 출력부와 상기 디스패러티들에 따라 상기 좌안 영상 데이터 또는 상기 우안 영상 데이터를 쉬프트시켜 멀티뷰 영상 데이터를 생성하는 멀티뷰 영상 생성부를 포함하는 영상처리부; 상기 멀티뷰 영상 데이터를 데이터 전압으로 변환하여 상기 데이터 라인들에 공급하는 데이터 구동회로; 및 상기 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고, 상기 디스패러티 출력부는, (x,y) 좌표에서의 단안 영상 데이터를 (x,y) 좌표를 기준으로 제1 범위 내에 속하는 좌표들에서의 또 다른 단안 영상 데이터들과 비교하여 제1 후보 좌표들을 산출하는 제1 후보 좌표 산출부; 상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 이용하여 상기 (x,y) 좌표를 쉬프트시켜 제2 후보 좌표들을 산출하는 제2 후보 좌표 산출부; 및 상기 (x,y) 좌표를 기준 블록의 중심좌표로 설정하고, 상기 제1 후보 좌표들을 제1 후보 블록의 중심좌표들로 설정하며, 상기 제2 후보 좌표들을 제2 후보 블록들의 중심좌표들로 설정하고, 상기 기준 블록의 단안 영상 데이터들을 제1 후보 블록들 각각의 또 다른 단안 영상 데이터들과 상기 제2 후보 블록들 각각의 또 다른 단안 영상 데이터들을 비교하여 상기 (x,y) 좌표에서의 디스패러티를 산출하는 디스패러티 산출부를 포함하는 것을 특징으로 한다.
A stereoscopic image display device according to an embodiment of the present invention includes a display panel including data lines and gate lines; A disparity output unit for calculating and outputting disparities from 3D image data including left eye image data and right eye image data and shifting the left eye image data or the right eye image data according to the disparities to generate multi view image data An image processing unit including a multi-view image generating unit for generating a multi-view image; A data driving circuit for converting the multi-view image data into a data voltage and supplying the data voltage to the data lines; And a gate driving circuit for sequentially supplying gate pulses to the gate lines, wherein the disparity output unit converts the monocular image data at (x, y) coordinates into a first range (x, y) A first candidate coordinate calculation unit for calculating first candidate coordinates by comparing with other monocular image data at coordinates belonging to the first candidate coordinate calculation unit; A second candidate coordinate calculator for calculating second candidate coordinates by shifting the (x, y) coordinates using disparities at coordinates neighboring the (x, y) coordinates; And setting the (x, y) coordinates as the center coordinates of the reference block, setting the first candidate coordinates as the center coordinates of the first candidate block, setting the second candidate coordinates as the center coordinates of the second candidate blocks And comparing the monocular image data of the reference block with another monocular image data of each of the first candidate blocks and another monocular image data of each of the second candidate blocks to obtain the monocular image data of the reference block at the (x, y) And a disparity calculating unit for calculating a disparity of the first data.
본 발명은 n 개의 초기 매칭 값들의 좌표들을 제1 후보 좌표들로 산출하고, m 개의 좌표들을 제2 후보 좌표들로 산출한 후, 기준 블록을 제1 후보 좌표들을 중심 좌표들로 하는 제1 후보 블록들과 제2 후보 좌표들을 중심 좌표들로 하는 제2 후보 블록들과 비교하여 디스패러티를 산출한다. 그 결과, 본 발명은 연산의 복잡도를 크게 낮출 수 있으므로, 연산 장치의 개수를 줄일 수 있다.
The present invention is a method for calculating coordinates of n initial matching values to first candidate coordinates, calculating m coordinates to second candidate coordinates, and then calculating a reference block as a first candidate having first candidate coordinates as center coordinates And compares the blocks and the second candidate coordinates with the second candidate blocks having the center coordinates to calculate the disparity. As a result, the present invention can greatly reduce the complexity of computation, thereby reducing the number of computing devices.
도 1은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 2는 본 발명의 실시 예에 따른 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면.
도 3은 도 1의 영상처리부를 상세히 보여주는 블록도.
도 4는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도.
도 5는 도 3의 디스패러티 출력부를 상세히 보여주는 블록도.
도 6은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도.
도 7은 1 프레임 기간의 3D 영상 데이터를 보여주는 일 예시도면.
도 8은 (x,y) 내지 (x+q,y) 좌표들에서의 초기 매칭 값들을 보여주는 일 예시도면.
도 9는 (x,y) 좌표와 그 주변 좌표들을 보여주는 일 예시도면.
도 10은 제1 블록, 제1 후보 블록들, 및 제2 후보 블록들을 보여주는 일 예시도면.1 is a block diagram schematically showing a stereoscopic image display apparatus according to an embodiment of the present invention.
BACKGROUND OF THE
FIG. 3 is a block diagram showing the image processor of FIG. 1 in detail;
4 is a flowchart illustrating a method of generating a multi-view image according to an exemplary embodiment of the present invention.
5 is a detailed block diagram of the disparity output unit of FIG.
6 is a flowchart illustrating a method of computing a disparity according to an embodiment of the present invention.
7 is an exemplary view showing 3D image data of one frame period.
8 is an exemplary illustration showing initial matching values at (x, y) to (x + q, y) coordinates.
9 is an exemplary view showing (x, y) coordinates and their surrounding coordinates.
10 is an exemplary view showing a first block, first candidate blocks, and second candidate blocks;
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The component name used in the following description may be selected in consideration of easiness of specification, and may be different from the actual product name.
도 1은 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 1을 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 광학판(30), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 영상 처리부(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다.1 is a block diagram schematically showing a stereoscopic image display apparatus according to an embodiment of the present invention. 1, a stereoscopic image display apparatus according to an exemplary embodiment of the present invention includes a
표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 픽셀들을 포함하는 화소 어레이가 형성된다. 화소 어레이의 화소들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 액정표시패널의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.The
표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.The
멀티뷰 영상은 제1 내지 제k(k는 3 이상의 자연수) 뷰 영상들을 포함한다. 멀티뷰 영상은 일반인의 양안 간격만큼 k 개의 카메라를 이격하고 객체에 대한 이미지를 촬영함으로써 생성될 수 있다. 광학판(30)은 표시패널(10) 상에 배치되어 표시패널(10)의 화소들에 표시되는 제1 내지 제k 뷰 영상들을 제1 내지 제k 뷰 영역들로 진행시킨다. 제1 내지 제k 뷰 영상들은 제1 내지 제k 뷰 영역들과 일대일로 매칭된다. 즉, 광학판(30)은 화소들에 표시되는 제t(t는 1≤t≤k을 만족하는 자연수) 뷰 영상을 제t 뷰 영역으로 진행시킨다. 본 발명의 실시 예에 따른 입체영상 표시장치의 광학판(30)은 패럴렉스 배리어(parallax barrier), 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등 어떠한 형태로도 구현될 수 있다. 한편, 광학판(30)이 스위쳐블 배리어 또는 스위쳐블 렌즈로 구현되는 경우, 광학판(30)을 구동하기 위한 광학판 구동회로가 필요하다. 광학판 구동회로는 광학판(30)에 구동전압을 공급함으로써 스위쳐블 배리어 또는 스위쳐블 렌즈의 광분리를 온-오프시킬 수 있다. 이하에서, 도 3을 참조하여 광학판(30)을 이용한 입체영상 구현방법을 상세히 살펴본다.The multi-view image includes first through k-th (k is a natural number of 3 or more) view images. The multi-view image can be generated by separating k cameras from each other by a distance of two persons and shooting an image of the object. The
도 2는 본 발명의 실시 예에 따른 무안경 방식의 입체영상 표시장치의 입체영상 구현방법을 보여주는 일 예시 도면이다. 도 2에서는 설명의 편의를 위해 표시패널(10)이 4 개의 뷰 영상들(V1, V2, V3, V4)을 표시하고, 광학판(30)이 표시패널(10)에 표시된 4 개의 뷰 영상들(V1, V2, V3, V4)을 4 개의 뷰 영역들(VP1, VP2, VP3, VP4)로 진행시키는 것을 중심으로 설명하였다. 도 2에서 광학판(30)은 렌티큘러 렌즈로 구현된 것을 중심으로 예시하였지만, 본 발명의 실시 예에 따른 광학판(30)은 패럴렉스 배리어, 스위쳐블 배리어, 렌티큘러 렌즈, 스위쳐블 렌즈 등 어떠한 형태로도 구현될 수 있음에 유의하여야 한다.2 is a view illustrating an example of a stereoscopic image displaying method of a stereoscopic image display apparatus according to an embodiment of the present invention. 2, the
도 2를 참조하면, 광학판(30)은 화소들에 표시되는 제1 뷰 영상(V1)을 제1 뷰 영역(VP1)으로 진행시키고, 화소들에 표시되는 제2 뷰 영상(V2)을 제2 뷰 영역(VP2)으로 진행시키며, 화소들에 표시되는 제3 뷰 영상(V3)을 제3 뷰 영역(VP3)으로 진행시키고, 화소들에 표시되는 제4 뷰 영상(V4)을 제4 뷰 영역(VP4)으로 진행시킨다. 사용자의 좌안이 제t 뷰 영역(VPt)에 위치하고, 우안이 제t-1 뷰 영역(VPt-1)에 위치하는 경우, 사용자는 좌안으로 제t 뷰 영상(Vt)을 시청하고, 우안으로 제t-1 뷰 영상을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다. 예를 들어, 도 3과 같이 사용자의 좌안이 제2 뷰 영역(VP2)에 위치하고, 우안이 제1 뷰 영역(VP1)에 위치하는 경우, 사용자는 좌안으로 제2 뷰 영상(V2)을 시청하고, 우안으로 제1 뷰 영상(V1)을 시청할 수 있다. 따라서, 사용자는 양안 시차에 의해 입체감을 느낄 수 있다.2, the
데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.The
게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.The
타이밍 콘트롤러(130)는 영상 처리부(140)로부터 2D 영상 데이터(RGB2D) 또는 멀티뷰 영상 데이터(MVD)와 타이밍 신호들과 모드 신호(MODE) 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다. 타이밍 콘트롤러(130)는 타이밍 신호들에 기초하여 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 영상 데이터(RGB2D)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급하고, 3D 모드에서 멀티뷰 영상 데이터(MVD)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.The
호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)와 타이밍 신호들을 영상 처리부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 모드와 3D 모드를 구별할 수 있는 모드 신호(MODE)를 영상 처리부(140)에 공급한다.The
영상 처리부(140)는 2D 모드에서 2D 영상 데이터(RGB2D)를 변환하지 않고 그대로 타이밍 콘트롤러(130)로 출력한다. 영상 처리부(140)는 3D 모드에서 3D 영상 데이터(RGB3D)로부터 멀티뷰 영상 데이터(MVD)를 생성하여 타이밍 콘트롤러(130)로 출력한다. 3D 영상 데이터(RGB3D)는 단안(單眼) 영상 데이터와 또 다른 단안 영상 데이터(또는 2 개의 뷰 영상 데이터)를 포함한다. 예를 들어, 단안 영상 데이터는 좌안 영상 데이터, 또 다른 단안 영상 데이터는 우안 영상 데이터로 구현될 수 있다. 따라서, 본 발명의 실시 예에 따른 입체영상 표시장치는 3D 영상 데이터(RGB3D)가 입력되더라도, 영상 처리부(140)를 이용하여 멀티뷰 영상 데이터(MVD)를 생성함으로써, 표시패널(10)에 멀티뷰 영상을 표시할 수 있다. 그 결과, 본 발명의 실시 예에 따른 입체영상 표시장치는 입체영상의 품질을 높일 수 있다. 이하에서, 도 3 및 도 4를 참조하여 영상 처리부(140)의 멀티뷰 영상 데이터(MVD) 생성방법에 대하여 상세히 설명한다.
The
도 3은 도 1의 영상처리부를 상세히 보여주는 블록도이다. 도 4는 본 발명의 실시 예에 따른 멀티뷰 영상 생성방법을 상세히 보여주는 흐름도이다. 도 3을 참조하면, 영상처리부(140)는 디스패러티 출력부(200)와 멀티뷰 영상 생성부(300)를 포함한다. 이하에서, 도 3 및 도 4를 결부하여 영상처리부(140)의 멀티뷰 영상 생성방법을 상세히 설명한다.3 is a detailed block diagram of the image processing unit of FIG. 4 is a flowchart illustrating a method for generating a multi-view image according to an exemplary embodiment of the present invention. Referring to FIG. 3, the
첫 번째로, 디스패러티 출력부(200)는 3D 영상 데이터(RGB3D)의 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 이용하여 디스패러티(disparity)들을 산출하여 출력한다. 디스패러티는 입체감을 형성하기 위해 좌안 영상 또는 우안 영상을 쉬프트시키기 위한 값을 의미한다. 디스패러티 출력부(200)의 디스패러티 산출방법에 대한 자세한 설명은 도 5 및 도 6을 결부하여 후술한다. (S101)First, the
멀티뷰 영상 생성부(300)는 디스패러티 출력부(200)에 의해 산출된 디스패러티들에 따라 좌안 영상 데이터(RGBL) 또는 우안 영상 데이터(RGBR)를 쉬프트시켜 멀티뷰 영상 데이터(MVD)를 생성한다. 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 좌안 영상 데이터(RGBL)들로부터 좌안 영상 데이터 맵이 작성될 수 있고, 1 프레임 기간 동안 표시패널(10)의 화소들에 공급될 우안 영상 데이터들로 우안 영상 데이터 맵이 작성될 수 있다. 좌안 영상 데이터 맵과 우안 영상 데이터 맵에서 좌안 영상 데이터(RGBL)들과 우안 영상 데이터(RGBR)들은 그 위치가 좌표로 표현될 수 있다.The multi
예를 들어, 멀티뷰 영상 생성부(300)는 (i,j)(i,j는 자연수) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))를 생성하고, (i,j) 좌표에서의 좌안 영상 데이터(RGBL(i,j))를 (i,j) 좌표에서의 디스패러티(Dis(i,j))만큼 제1 수평 방향과 반대되는 제2 수평 방향으로 쉬프트시켜 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j))를 생성하는 방식으로, 2 개의 뷰 영상 데이터를 생성할 수 있다. 그리고 나서, 멀티뷰 영상 데이터 생성부(300)는 (i,j) 좌표에서의 제1 뷰 영상 데이터(V1(i,j))와 (i,j) 좌표에서의 제2 뷰 영상 데이터(V2(i,j)) 사이에 적어도 하나 이상의 (i,j) 좌표에서의 뷰 영상 데이터를 생성하는 방식으로, n 개 이상의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터를 생성할 수 있다. 멀티뷰 영상 생성부(300)의 멀티뷰 영상 생성방법은 공지의 어떠한 방법도 적용될 수 있다. 멀티뷰 영상 생성부(300)는 멀티뷰 영상 데이터(MVD)에 홀 필링(hole filling) 등의 후처리 연산을 수행한 후 타이밍 콘트롤러(130)로 출력한다. (S102)
For example, the multi-view
도 5는 도 3의 디스패러티 출력부를 상세히 보여주는 블록도이다. 도 6은 본 발명의 실시 예에 따른 디스패러티 산출방법을 상세히 보여주는 흐름도이다. 도 5를 참조하면, 디스패러티 출력부(200)는 제1 후보 좌표 산출부(210), 제2 후보 좌표 산출부(220), 디스패러티 산출부(230), 및 후처리부(240)를 포함한다. 이하에서, 도 5 및 도 6을 결부하여 디스패러티 출력부(200)의 디스패러티 산출방법을 상세히 설명한다.5 is a detailed block diagram of the disparity output unit of FIG. 6 is a flowchart illustrating a method of calculating a disparity according to an embodiment of the present invention. 5, the
첫 번째로, 제1 후보 좌표 산출부(210)는 단안 영상 데이터와 또 다른 단안 영상 데이터를 포함하는 3D 영상 데이터(RGB3D)를 입력받는다. 이하에서는 설명의 편의를 위해, 단안 영상 데이터는 좌안 영상 데이터, 또 다른 단안 영상 데이터는 우안 영상 데이터인 것을 중심으로 설명하였다. 1 프레임 기간의 3D 영상 데이터(RGB3D)는 도 7과 같이 r×s(r, s는 자연수) 개의 좌안 영상 데이터(RGBL)들과 r×s 개의 우안 영상 데이터(RGBR)들을 포함할 수 있다. r×s(r, s는 자연수) 개의 좌안 영상 데이터(RGBL)들과 r×s 개의 우안 영상 데이터(RGBR)들은 (x,y)(x는 1≤x≤r을 만족하는 자연수, y는 1≤y≤s을 만족하는 자연수) 좌표로 표현될 수 있다.First, the first candidate coordinate
제1 후보 좌표 산출부(210)는 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 (x,y) 좌표를 기준으로 제1 범위 내에 속하는 좌표들에서의 우안 영상 데이터들과 비교하여 제1 후보 좌표들을 산출한다. 제1 범위는 (x-p,y) 내지 (x+p,y) 좌표들로 구현될 수 있다. 이 경우, 제1 후보 좌표 산출부(210)는 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 (x-p,y) 내지 (x+p,y) 좌표들에서의 우안 영상 데이터들(RGBR(x-p,y)~RGBR(x+p,y))과 비교하여 제1 후보 좌표들을 산출할 수 있다. 또는, 제1 범위는 (x-q,y) 내지 (x,y) 좌표들로 구현될 수 있다. 이 경우, 제1 후보 좌표 산출부(210)는 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 (x-q,y) 내지 (x,y) 좌표들에서의 우안 영상 데이터들(RGBR(x-q,y)~RGBR(x,y))과 비교하여 제1 후보 좌표들을 산출할 수 있다. 이하에서는 설명의 편의를 위해, 제1 범위가 (x-q,y) 내지 (x,y) 좌표들로 구현된 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다.The first candidate coordinate
구체적으로, 제1 후보 좌표 산출부(210)는 (x-q,y) 내지 (x,y) 좌표들에서의 우안 영상 데이터들(RGBR(x-q,y)~RGBR(x,y)) 각각에서 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 차감한 값의 절대값을 산출하여, (x-q,y) 내지 (x,y) 좌표들에서의 초기 매칭 값(initial matching cost)들(C(x-q,y)~C(x,y))을 산출할 수 있다. 예를 들어, 제1 후보 좌표 산출부(210)는 (x,y) 좌표에서의 우안 영상 데이터(RGBR(x,y))에서 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 차감한 값의 절대값을 (x,y)에서의 초기 매칭 값(C(x,y))으로 산출할 수 있다. 또한, 제1 후보 좌표 산출부(210)는 (x-q,y) 좌표에서의 우안 영상 데이터(RGBR(x-q,y))에서 (x,y) 좌표에서의 좌안 영상 데이터(RGBL(x,y))를 차감한 값의 절대값을 (x-q,y)에서의 초기 매칭 값(C(x-q,y))으로 산출할 수 있다.More specifically, the first candidate coordinate
제1 후보 좌표 산출부(210)는 (x-q,y) 내지 (x,y) 좌표들에서의 초기 매칭 값들(C(x-q,y)~C(x,y)) 중에서 작은 순서대로 n(n은 2 이상의 자연수) 개의 초기 매칭 값들을 산출한다. 그리고 나서, 제1 후보 좌표 산출부(210)는 n 개의 초기 매칭 값들의 좌표들을 제1 후보 좌표들로 산출한다. 제1 후보 좌표들로 산출된 n 개의 초기 매칭 값들의 좌표들은 디스패러티 산출시 대상 블록의 중심좌표가 되는 후보 좌표들이다. 제1 후보 좌표 산출부(210)는 제1 후보 좌표들의 정보를 포함하는 제1 후보 좌표 데이터(CCD1)를 디스패러티 산출부(230)로 출력한다. 이하에서, 도 8을 결부하여 제1 후보 좌표 산출부(210)의 제1 후보 좌표 산출방법을 상세히 설명한다.The first candidate coordinate
도 8은 q 값에 따른 초기 매칭 값들을 보여주는 일 예시도면이다. 도 8에서 x 축은 q 값을 지시하고, y 축은 초기 매칭 값들을 지시한다. 도 8에서 q 값의 범위가 "1" 내지 "64"인 것을 중심으로 설명하였다. 도 8을 참조하면, 제1 후보 좌표 산출부(210)는 (x-q,y) 내지 (x,y) 좌표들에서의 초기 매칭 값들(C(x-q,y)~C(x,y)) 중에서 작은 순서대로 5 개의 초기 매칭 값들을 산출할 수 있다. 도 8에서, q 값이 "15", "19", "22", "25", "38"인 경우, 초기 매칭 값들은 가장 작은 5 개의 값을 갖는다. 그 결과, 제1 후보 좌표 산출부(210)는 5 개의 초기 매칭 값들의 좌표들인 (x-15,y) 좌표, (x-19,y) 좌표, (x-22,y) 좌표, (x-25,y) 좌표, (x-38,y) 좌표를 제1 후보 좌표들로 산출할 수 있다. (S201)8 is an exemplary diagram showing initial matching values according to q values. 8, the x-axis indicates the q value and the y-axis indicates the initial matching values. In FIG. 8, the range of the q value is from "1" to "64". 8, the first candidate coordinate
두 번째로, 제2 후보 좌표 산출부(220)는 디스패러티 산출부(230)로부터 (x,y) 좌표에 이웃하는 m(m은 2 이상의 자연수) 개의 좌표들에서의 디스패러티들(DIS)을 입력받는다. 다만, (x,y) 좌표에 이웃하는 m 개의 좌표들에서의 디스패러티들은 제y-1 라인에 위치한 것임에 주의하여야 한다. 예를 들어, 제2 후보 좌표 산출부(220)는 도 9와 같이 (x-1,y-1) 좌표에서의 디스패러티(DIS(x-1,y-1), (x,y-1) 좌표에서의 디스패러티(DIS(x,y-1)), 및 (x+1,y-1) 좌표에서의 디스패러티(DIS(x+1,y-1))를 입력받을 수 있다.Secondly, the second candidate coordinate
제2 후보 좌표 산출부(220)는 m 개의 좌표들에서의 디스패러티들을 이용하여 (x,y) 좌표를 쉬프트시킨 후, 쉬프트된 (x,y) 좌표들을 제2 후보 좌표들로 산출한다. 구체적으로, 제2 후보 좌표 산출부(220)는 (x,y) 좌표의 x 좌표에 디스패러티들을 각각 반영하여 m 개의 좌표들을 산출하고, m 개의 좌표들을 제2 후보 좌표들로 산출한다. 예를 들어, 제2 후보 좌표 산출부(220)는 도 9와 같이 (x-1,y-1) 좌표에서의 디스패러티(DIS(x-1,y-1)인 "11"을 (x,y) 좌표의 x 좌표에 반영한 (x-11,y) 좌표, (x,y-1) 좌표에서의 디스패러티(DIS(x,y-1))인 "29"을 (x,y) 좌표의 x 좌표에 반영한 (x-29,y) 좌표, (x+1,y-1) 좌표에서의 디스패러티(DIS(x+1,y-1))인 "35"을 (x,y) 좌표의 x 좌표에 반영한 (x-35,y) 좌표를 제2 후보 좌표들로 산출할 수 있다. 제2 후보 좌표 산출부(220)는 제2 후보 좌표들의 정보를 포함하는 제2 후보 좌표 데이터(CCD2)를 디스패러티 산출부(230)로 출력한다. (S202)The second candidate coordinate
세 번째로, 디스패러티 산출부(230)는 제1 후보 좌표 산출부(210)로부터 제1 후보 좌표들에 대한 정보를 포함하는 제1 후보 좌표 데이터(CCD1)를 입력받고, 제2 후보 좌표 산출부(220)로부터 제2 후보 좌표들에 대한 정보를 포함하는 제2 후보 좌표 데이터(CCD2)를 입력받는다. 디스패러티 산출부(230)는 제1 후보 좌표들을 제1 후보 블록들의 중심좌표들로 설정하고, 제2 후보 좌표들을 제2 후보 블록들의 중심좌표들로 설정한다. 또한, 디스패러티 산출부(230)는 (x,y) 좌표를 기준 블록(RB)의 중심좌표(Crb)로 설정한다. 제1 블록(BL1), 제1 후보 블록들, 제2 후보 블록들은 u×v(u, v는 2 이상의 자연수) 개의 데이터들을 포함하도록 구현될 수 있으며, 예를 들어 도 10과 같이 3×3 개의 데이터들을 포함할 수 있다.Thirdly, the
예를 들어, 도 8과 같이 제1 후보 좌표 산출부(210)로부터 (x-15,y) 좌표, (x-19,y) 좌표, (x-22,y) 좌표, (x-25,y) 좌표, 및 (x-38,y) 좌표가 산출된 경우, 디스패러티 산출부(230)는 도 10과 같이 (x-15,y) 좌표를 제1-1 후보 블록(CB1-1)의 중심좌표(C1-1)로 설정하고, (x-19,y) 좌표를 제1-2 후보 블록(CB1-2)의 중심좌표(C1-2)로 설정하며, (x-22,y) 좌표를 제1-3 후보 블록(CB1-3)의 중심좌표(C1-3)로 설정하고, (x-25,y) 좌표를 제1-4 후보 블록(CB1-4)의 중심좌표(C1-4)로 설정하며, (x-38,y) 좌표를 제1-5 후보 블록(CB1-5)의 중심좌표(C1-5)로 설정한다. 또한, 도 9와 같이 제2 후보 좌표 산출부(220)로부터 (x-11,y) 좌표, (x-29,y) 좌표, (x-35,y) 좌표가 산출된 경우, 디스패러티 산출부(230)는 도 10과 같이 (x-11,y) 좌표를 제2-1 후보 블록(CB2-1)의 중심좌표(C2-1)로 설정하고, (x-29,y) 좌표를 제2-2 후보 블록(CB2-2)의 중심좌표(C2-2)로 설정하며, (x-35,y) 좌표를 제2-3 후보 블록(CB2-3)의 중심좌표(C2-3)로 설정한다.For example, as shown in FIG. 8, (x-15, y), (x-19, y) (x-15, y) coordinates are calculated as shown in FIG. 10, the
그리고 나서, 디스패러티 산출부(230)는 기준 블록(RB)의 좌안 영상 데이터들을 제1 후보 블록들 각각의 우안 영상 데이터들 및 제2 후보 블록들 각각의 우안 영상 데이터들과 비교하여 (x,y) 좌표에서의 디스패러티를 산출한다. 디스패러티 산출부(230)는 기준 블록(RB)에 포함된 좌안 영상 데이터들과 후보 블록들 각각에 포함된 우안 영상 데이터들 간의 차이가 최소인 블록을 대상 블록으로 검출한다. 구체적으로, 디스패러티 산출부(230)는 기준 블록(RB)에 포함된 좌안 영상 데이터들 각각과 어느 한 후보 블록에 포함된 우안 영상 데이터들 각각의 차이의 절대값을 산출한 후, 산출된 절대값들의 총합을 기준 블록(RB)에 포함된 좌안 영상 데이터들과 어느 한 후보 블록에 포함된 우안 영상 데이터들 간의 차이로 산출할 수 있다. 예를 들어, 디스패러티 산출부(230)는 기준 블록(RB)에 포함된 좌안 영상 데이터들과, 제1-1 후보 블록(CB1-1)에 포함된 우안 영상 데이터들 간의 차이, 제1-2 후보 블록(CB1-2)에 포함된 우안 영상 데이터들 간의 차이, 제1-3 후보 블록(CB1-3)에 포함된 우안 영상 데이터들 간의 차이, 제1-4 후보 블록(CB1-4)에 포함된 우안 영상 데이터들 간의 차이, 제1-5 후보 블록(CB1-5)에 포함된 우안 영상 데이터들 간의 차이, 제2-1 후보 블록(CB2-1)에 포함된 우안 영상 데이터들 간의 차이, 제2-2 후보 블록(CB2-2)에 포함된 우안 영상 데이터들 간의 차이, 및 제2-3 후보 블록(CB2-3)에 포함된 우안 영상 데이터들 간의 차이 중에서 그 값이 최소인 블록을 대상 블록으로 검출할 수 있다.Then, the
그리고 나서, 디스패러티 산출부(230)는 기준 블록(RB)의 중심좌표(Crb)와 대상 블록의 중심좌표 사이의 거리를 (x,y) 좌표에서의 디스패러티(DIS(x,y))로 산출한다. 디스패러티 산출부(230)는 상기의 과정을 반복하여 r×s 개의 디스패러티들을 산출하고, r×s 개의 디스패러티들(DIS)을 후처리부(240)로 출력한다. (S203)Then, the
네 번째로, 후처리부(240)는 디스패러티들(DIS)을 후처리하여 디스패러티들(DIS)을 산출한다. 후처리부(240)는 메디안 필터(median filter), 가중치 메디안 필터(weighted median filter), 가중치 최빈값 필터(weighted voting filter) 등 여러가지 필터들 중 어느 하나를 사용하여 디스패러티들(DIS)을 후처리할 수 있다. 메디안 필터는 마스크의 중심 좌표에서의 데이터를 마스크 내 데이터들의 중앙값으로 변환하는 필터이다. 가중치 메디안 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 배열한 후 중앙값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 중앙값으로 변환하는 필터이다. 가중치 최빈값 필터는 마스크 내 데이터들을 가중치 마스크의 가중치를 적용하여 히스토그램 작성 후 최빈값을 선택하고, 마스크 내 중심 좌표에서의 데이터를 그 최빈값으로 변환하는 필터이다. 후처리부(240)는 후처리 과정을 통해 후처리된 디스패러티들(DIS)을 멀티뷰 영상 생성부(300)로 출력한다. (S204)Fourth, the
이상에서 살펴본 바와 같이, 본 발명은 n 개의 초기 매칭 값들의 좌표들을 제1 후보 좌표들로 산출하고, m 개의 좌표들을 제2 후보 좌표들로 산출한 후, 기준 블록을 제1 후보 좌표들을 중심 좌표들로 하는 제1 후보 블록들과 제2 후보 좌표들을 중심 좌표들로 하는 제2 후보 블록들과 비교하여 디스패러티를 산출한다. 그 결과, 본 발명은 연산의 복잡도를 크게 낮출 수 있으므로, 연산 장치의 개수를 줄일 수 있다. 참고로, n과 m이 커질수록 디스패러티 산출의 후보 좌표들이 많아지므로, 디스패러티 산출의 정확도를 높일 수 있는 반면, 연산 장치의 개수는 증가하게 된다. 또한, n과 m이 작아질수록 디스패러티 산출의 후보 좌표들이 적어지므로, 디스패러티 산출의 정확도는 낮아지는 반면, 연산 장치의 개수는 줄어들게 된다. 즉, n과 m은 디스패러티 산출 정확도와 연산 장치의 개수를 고려하여 사전 실험을 통해 적절한 값으로 미리 설정될 수 있다.As described above, according to the present invention, the coordinates of n initial matching values are calculated as first candidate coordinates, m coordinates are calculated as second candidate coordinates, and then the reference block is divided into first candidate coordinates, And the second candidate blocks having the second candidate coordinates as the center coordinates to calculate the disparity. As a result, the present invention can greatly reduce the complexity of computation, thereby reducing the number of computing devices. For reference, as n and m become larger, the candidate coordinates of the disparity calculation are increased, so that the accuracy of disparity calculation can be increased, while the number of calculation apparatuses is increased. Also, as n and m become smaller, the candidate coordinates of the disparity calculation become smaller, so that the accuracy of the disparity calculation is lowered, while the number of calculation devices is reduced. In other words, n and m can be preset to appropriate values through a preliminary experiment in consideration of the accuracy of disparity calculation and the number of calculation devices.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the present invention should not be limited to the details described in the detailed description, but should be defined by the claims.
10: 표시패널 30: 광학판
110: 게이트 구동회로 120: 데이터 구동회로
130: 타이밍 콘트롤러 140: 영상 처리부
150: 호스트 시스템 200: 디스패러티 출력부
210: 제1 후보 좌표 산출부 220: 제2 후보 좌표 산출부
230: 디스패러티 산출부 240: 후처리부
300: 입체영상 생성부10: display panel 30: optical plate
110: gate driving circuit 120: data driving circuit
130: timing controller 140:
150: Host system 200: Disparity output unit
210: first candidate coordinate calculation unit 220: second candidate coordinate calculation unit
230: disparity calculating unit 240: post-processing unit
300: a stereoscopic image generating unit
Claims (8)
상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 이용하여 상기 (x,y) 좌표를 쉬프트시켜 제2 후보 좌표들을 산출하는 제2 단계; 및
상기 (x,y) 좌표를 기준 블록의 중심좌표로 설정하고, 상기 제1 후보 좌표들을 제1 후보 블록의 중심좌표들로 설정하며, 상기 제2 후보 좌표들을 제2 후보 블록들의 중심좌표들로 설정하고, 상기 기준 블록의 단안 영상 데이터들을 제1 후보 블록들 각각의 또 다른 단안 영상 데이터들과 상기 제2 후보 블록들 각각의 또 다른 단안 영상 데이터들을 비교하여 상기 (x,y) 좌표에서의 디스패러티를 산출하는 제3 단계를 포함하는 디스패러티 산출방법.a first step of calculating first candidate coordinates by comparing the monocular image data at (x, y) coordinates with another monocular image data at coordinates belonging to a first range on the basis of (x, y) coordinates;
A second step of calculating second candidate coordinates by shifting the (x, y) coordinates using disparities at coordinates neighboring the (x, y) coordinates; And
Sets the (x, y) coordinates as the center coordinates of the reference block, sets the first candidate coordinates as the center coordinates of the first candidate block, and sets the second candidate coordinates as the center coordinates of the second candidate blocks And comparing the monocular image data of the reference block with another monocular image data of each of the first candidate blocks and another monocular image data of each of the second candidate blocks to obtain the monocular image data of the reference block at the (x, y) And a third step of calculating a disparity.
상기 제1 단계는,
상기 제1 범위 내에 속하는 좌표들에서의 또 다른 단안 영상 데이터들 각각에서 상기 (x,y) 좌표에서의 단안 영상 데이터를 차감한 값의 절대값을 산출하여 상기 제1 범위 내에 속하는 좌표들에서의 초기 매칭 값들을 산출하는 단계; 및
상기 제1 범위 내에 속하는 좌표들에서의 초기 매칭 값들 중에서 작은 순서대로 n(n은 2 이상의 자연수) 개의 초기 매칭 값들을 산출하고, 상기 n 개의 초기 매칭 값들의 좌표들을 제1 후보 좌표들로 산출하는 단계를 포함하는 것을 특징으로 하는 디스패러티 산출방법.The method according to claim 1,
In the first step,
Calculating an absolute value of a value obtained by subtracting the monocular image data at the (x, y) coordinate from each of the other monocular image data at coordinates belonging to the first range, Calculating initial match values; And
Calculating n initial matching values (n is a natural number of 2 or more) from the initial matching values in the coordinates within the first range in a small order, and calculating coordinates of the n initial matching values as first candidate coordinates The method comprising the steps of:
상기 제2 단계는,
상기 (x,y) 좌표의 x 좌표에 상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 각각 합산하여 m 개의 좌표들을 산출하고, 상기 m 개의 좌표들을 제2 후보 좌표들로 산출하는 것을 특징으로 하는 디스패러티 산출방법.The method according to claim 1,
The second step comprises:
M coordinates are calculated by summing the disparities in the coordinates neighboring the (x, y) coordinate to the x coordinate of the (x, y) coordinate, and the m coordinates are calculated as the second candidate coordinates And calculating a disparity.
상기 제3 단계는,
기준 블록에 포함된 좌안 영상 데이터들과 후보 블록들 각각에 포함된 우안 영상 데이터들 간의 차이가 최소인 블록을 대상 블록으로 검출하고, 상기 기준 블록의 중심좌표와 상기 대상 블록의 중심좌표 사이의 거리를 상기 (x,y) 좌표에서의 디스패러티로 산출하는 단계를 포함하는 것을 특징으로 하는 디스패러티 산출방법.The method according to claim 1,
In the third step,
A block having a minimum difference between the left eye image data included in the reference block and the right eye image data included in each of the candidate blocks is detected as a target block and a distance between the center coordinates of the reference block and the center coordinates of the target block (X, y) as the disparity at the (x, y) coordinates.
좌안 영상 데이터와 우안 영상 데이터를 포함하는 3D 영상 데이터로부터 디스패러티들을 산출하여 출력하는 디스패러티 출력부와 상기 디스패러티들에 따라 상기 좌안 영상 데이터 또는 상기 우안 영상 데이터를 쉬프트시켜 멀티뷰 영상 데이터를 생성하는 멀티뷰 영상 생성부를 포함하는 영상처리부;
상기 멀티뷰 영상 데이터를 데이터 전압으로 변환하여 상기 데이터 라인들에 공급하는 데이터 구동회로; 및
상기 게이트 라인들에 게이트 펄스를 순차적으로 공급하는 게이트 구동회로를 포함하고,
상기 디스패러티 출력부는,
(x,y) 좌표에서의 단안 영상 데이터를 (x,y) 좌표를 기준으로 제1 범위 내에 속하는 좌표들에서의 또 다른 단안 영상 데이터들과 비교하여 제1 후보 좌표들을 산출하는 제1 후보 좌표 산출부;
상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 이용하여 상기 (x,y) 좌표를 쉬프트시켜 제2 후보 좌표들을 산출하는 제2 후보 좌표 산출부; 및
상기 (x,y) 좌표를 기준 블록의 중심좌표로 설정하고, 상기 제1 후보 좌표들을 제1 후보 블록의 중심좌표들로 설정하며, 상기 제2 후보 좌표들을 제2 후보 블록들의 중심좌표들로 설정하고, 상기 기준 블록의 단안 영상 데이터들을 제1 후보 블록들 각각의 또 다른 단안 영상 데이터들과 상기 제2 후보 블록들 각각의 또 다른 단안 영상 데이터들을 비교하여 상기 (x,y) 좌표에서의 디스패러티를 산출하는 디스패러티 산출부를 포함하는 것을 특징으로 하는 입체영상 표시장치.A display panel including data lines and gate lines;
A disparity output unit for calculating and outputting disparities from 3D image data including left eye image data and right eye image data and shifting the left eye image data or the right eye image data according to the disparities to generate multi view image data An image processing unit including a multi-view image generating unit for generating a multi-view image;
A data driving circuit for converting the multi-view image data into a data voltage and supplying the data voltage to the data lines; And
And a gate driving circuit for sequentially supplying gate pulses to the gate lines,
Wherein the disparity output unit comprises:
(x, y) coordinates with other monocular image data in the coordinates belonging to the first range with reference to the (x, y) coordinates to obtain first candidate coordinates A calculating unit;
A second candidate coordinate calculator for calculating second candidate coordinates by shifting the (x, y) coordinates using disparities at coordinates neighboring the (x, y) coordinates; And
Sets the (x, y) coordinates as the center coordinates of the reference block, sets the first candidate coordinates as the center coordinates of the first candidate block, and sets the second candidate coordinates as the center coordinates of the second candidate blocks And comparing the monocular image data of the reference block with another monocular image data of each of the first candidate blocks and another monocular image data of each of the second candidate blocks to obtain the monocular image data of the reference block at the (x, y) And a disparity calculating unit for calculating a disparity based on the disparity calculated by the disparity calculating unit.
상기 제1 후보 좌표 산출부는,
상기 제1 범위 내에 속하는 좌표들에서의 또 다른 단안 영상 데이터들 각각에서 상기 (x,y) 좌표에서의 단안 영상 데이터를 차감한 값의 절대값을 산출하여 상기 제1 범위 내에 속하는 좌표들에서의 초기 매칭 값들을 산출하고,
상기 제1 범위 내에 속하는 좌표들에서의 초기 매칭 값들 중에서 작은 순서대로 n(n은 2 이상의 자연수) 개의 초기 매칭 값들을 산출하고, 상기 n 개의 초기 매칭 값들의 좌표들을 제1 후보 좌표들로 산출하는 것을 특징으로 하는 입체영상 표시장치.6. The method of claim 5,
The first candidate coordinate calculation unit calculates,
Calculating an absolute value of a value obtained by subtracting the monocular image data at the (x, y) coordinate from each of the other monocular image data at coordinates belonging to the first range, The initial matching values are calculated,
Calculating n initial matching values (n is a natural number of 2 or more) from the initial matching values in the coordinates within the first range in a small order, and calculating coordinates of the n initial matching values as first candidate coordinates And the three-dimensional image display device.
상기 제2 후보 좌표 산출부는,
상기 (x,y) 좌표의 x 좌표에 상기 (x,y) 좌표에 이웃하는 좌표들에서의 디스패러티들을 각각 합산하여 m 개의 좌표들을 산출하고, 상기 m 개의 좌표들을 제2 후보 좌표들로 산출하는 것을 특징으로 하는 입체영상 표시장치.6. The method of claim 5,
Wherein the second candidate coordinate calculation unit calculates,
M coordinates are calculated by summing the disparities in the coordinates neighboring the (x, y) coordinate to the x coordinate of the (x, y) coordinate, and the m coordinates are calculated as the second candidate coordinates And the three-dimensional image display device.
상기 디스패러티 산출부는,
기준 블록에 포함된 좌안 영상 데이터들과 후보 블록들 각각에 포함된 우안 영상 데이터들 간의 차이가 최소인 블록을 대상 블록으로 검출하고, 상기 기준 블록의 중심좌표와 상기 대상 블록의 중심좌표 사이의 거리를 상기 (x,y) 좌표에서의 디스패러티로 산출하는 것을 특징으로 하는 입체영상 표시장치.6. The method of claim 5,
The disparity calculating unit may calculate,
A block having a minimum difference between the left eye image data included in the reference block and the right eye image data included in each of the candidate blocks is detected as a target block and a distance between the center coordinates of the reference block and the center coordinates of the target block Is calculated as a disparity at the (x, y) coordinates.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120144231A KR101963385B1 (en) | 2012-12-12 | 2012-12-12 | Disparity calculation method and stereoscopic image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120144231A KR101963385B1 (en) | 2012-12-12 | 2012-12-12 | Disparity calculation method and stereoscopic image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140076085A true KR20140076085A (en) | 2014-06-20 |
KR101963385B1 KR101963385B1 (en) | 2019-03-28 |
Family
ID=51128502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120144231A KR101963385B1 (en) | 2012-12-12 | 2012-12-12 | Disparity calculation method and stereoscopic image display device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101963385B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160047072A (en) * | 2014-10-21 | 2016-05-02 | 삼성디스플레이 주식회사 | Display device and method of operating display device |
US10032410B2 (en) | 2014-07-07 | 2018-07-24 | Lg Display Co., Ltd. | Organic light emitting display apparatus performing a sensing for an external compensation |
US10097808B2 (en) | 2015-02-09 | 2018-10-09 | Samsung Electronics Co., Ltd. | Image matching apparatus and method thereof |
KR102386002B1 (en) * | 2020-11-23 | 2022-04-13 | 상명대학교산학협력단 | Method and apparatus for estimating disparity in element image array |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100112840A (en) * | 2009-04-10 | 2010-10-20 | (주) 이노비전 | Stereo camera system and parallax detection method using thereof |
KR20120072892A (en) * | 2010-12-24 | 2012-07-04 | 한양대학교 산학협력단 | Method and apparatus for generating anaglyph image using binocular disparity and depth information |
-
2012
- 2012-12-12 KR KR1020120144231A patent/KR101963385B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100112840A (en) * | 2009-04-10 | 2010-10-20 | (주) 이노비전 | Stereo camera system and parallax detection method using thereof |
KR20120072892A (en) * | 2010-12-24 | 2012-07-04 | 한양대학교 산학협력단 | Method and apparatus for generating anaglyph image using binocular disparity and depth information |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10032410B2 (en) | 2014-07-07 | 2018-07-24 | Lg Display Co., Ltd. | Organic light emitting display apparatus performing a sensing for an external compensation |
KR20160047072A (en) * | 2014-10-21 | 2016-05-02 | 삼성디스플레이 주식회사 | Display device and method of operating display device |
US10097808B2 (en) | 2015-02-09 | 2018-10-09 | Samsung Electronics Co., Ltd. | Image matching apparatus and method thereof |
KR102386002B1 (en) * | 2020-11-23 | 2022-04-13 | 상명대학교산학협력단 | Method and apparatus for estimating disparity in element image array |
Also Published As
Publication number | Publication date |
---|---|
KR101963385B1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8743111B2 (en) | Stereoscopic image display and method for driving the same | |
KR101888672B1 (en) | Streoscopic image display device and method for driving thereof | |
KR101869872B1 (en) | Method of multi-view image formation and stereoscopic image display device using the same | |
CN105374325A (en) | Bendable stereoscopic 3D display device | |
KR101970577B1 (en) | Stereoscopic display device and eye-tracking method thereof | |
KR101963385B1 (en) | Disparity calculation method and stereoscopic image display device | |
KR101840876B1 (en) | Stereoscopic image display device and driving method thereof | |
KR101992163B1 (en) | Stereoscopic image display device and method for driving the same | |
KR101296909B1 (en) | Stereoscopic image display | |
KR101224461B1 (en) | Stereoscopic image display and driving method thereof | |
KR102126532B1 (en) | Method of multi-view image formation and stereoscopic image display device using the same | |
KR101929042B1 (en) | Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method | |
KR101990334B1 (en) | Stereoscopic image display device and method for driving the same | |
KR101798236B1 (en) | Stereoscopic image display and method of adjusting brightness thereof | |
KR101953315B1 (en) | Disparity calculation method and stereoscopic image display device | |
KR102022527B1 (en) | Stereoscopic image display device and disparity calculation method thereof | |
KR101957975B1 (en) | Disparity calculation method and stereoscopic image display device using the same | |
KR101983369B1 (en) | Multiview image generation method and stereoscopic image display device using the same | |
KR101863140B1 (en) | Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same | |
KR101787980B1 (en) | Display Apparatus For Displaying Three Dimensional Picture | |
KR102045563B1 (en) | Multiview image generation method and stereoscopic image display device | |
KR20130011148A (en) | Stereoscopic image display device and driving method thereof | |
KR101961943B1 (en) | 3d image data formation method and stereoscopic image display device using the same | |
KR101829466B1 (en) | Stereoscopic image display device | |
KR101843198B1 (en) | Method of multi-view image formation and stereoscopic image display device using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |