KR101780813B1 - 2d-3d image conversion method and stereoscopic image display using the same - Google Patents

2d-3d image conversion method and stereoscopic image display using the same Download PDF

Info

Publication number
KR101780813B1
KR101780813B1 KR1020100101767A KR20100101767A KR101780813B1 KR 101780813 B1 KR101780813 B1 KR 101780813B1 KR 1020100101767 A KR1020100101767 A KR 1020100101767A KR 20100101767 A KR20100101767 A KR 20100101767A KR 101780813 B1 KR101780813 B1 KR 101780813B1
Authority
KR
South Korea
Prior art keywords
objects
depth
image data
image
map
Prior art date
Application number
KR1020100101767A
Other languages
Korean (ko)
Other versions
KR20120040386A (en
Inventor
안충환
이재우
박준하
정보균
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020100101767A priority Critical patent/KR101780813B1/en
Publication of KR20120040386A publication Critical patent/KR20120040386A/en
Application granted granted Critical
Publication of KR101780813B1 publication Critical patent/KR101780813B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/158Switching image signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Abstract

본 발명은 2D-3D 영상 변환 방법 및 이를 이용한 입체 영상 표시장치에 관한 것으로, 2D 영상 데이터를 분석하여 상기 2D 영상 내에 존재하는 객체들 각각에 대한 뎁쓰값을 설정한 제1 뎁쓰맵을 생성하고, 미리 설정된 마스크를 상기 2D 영상 데이터에 맵핑하여 상기 객체들 각각의 내부에 존재하는 세부 객체들 각각의 특징점을 추적함으로써 상기 세부 객체들 각각의 위치와 각도 정보를 획득한다. 본 발명은 상기 객체들 각각에서 다수로 분할된 레이어들에 상기 세부 객체들을 맵핑하여 상기 레이어들에 맵핑된 상기 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하고, 상기 제1 뎁쓰맵과 상기 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성하고, 상기 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함한다. The present invention relates to a 2D-3D image conversion method and a stereoscopic image display device using the same, and more particularly, to a 2D image processing method and a stereoscopic image display method using the same, And acquires the position and angle information of each of the detailed objects by mapping the preset mask to the 2D image data and tracking the minutiae of each of the detailed objects existing in each of the objects. The present invention generates a second debs map by mapping the detailed objects to a plurality of divided layers in each of the objects and applying a depth value to each of the detailed objects mapped to the layers, Generating a final debs map by merging the first debsquare and the second debsquare, and generating left and right eye image data in which a time difference is given according to the debtsvalues of the final debsquare.

Description

2D-3D 영상 변환 방법 및 이를 이용한 입체 영상 표시장치{2D-3D IMAGE CONVERSION METHOD AND STEREOSCOPIC IMAGE DISPLAY USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a 2D-3D image conversion method and a stereoscopic image display device using the same,

본 발명은 2D-3D 영상 변환 방법 및 이를 이용한 입체 영상 표시장치에 관한 것이다.
The present invention relates to a 2D-3D image conversion method and a stereoscopic image display device using the same.

입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. The stereoscopic display is divided into a stereoscopic technique and an autostereoscopic technique.

양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식으로 나뉘어진다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘라 렌즈 등의 광학판을 이용하여 좌우 시차 영상의 광축을 분리하여 입체 영상을 구현한다.The binocular parallax method uses parallax images of left and right eyes with large stereoscopic effects, and is divided into a glasses system and a non-glasses system. The spectacle method realizes a stereoscopic image by using polarizing glasses or shutter glasses to display the right-and-left parallax images in a direct-view type display device or a projector by changing the polarization directions of the parallax images in a time-division manner. In the non-eyeglass system, stereoscopic images are realized by separating the optical axes of left and right parallax images using optical plates such as parallax barriers and lenticular lenses.

입체 영상 표시장치의 시장 활성화를 위한 최대 과제는 절대적으로 부족한 3D 콘텐츠 문제를 해결하여야 한다. 3D 콘텐츠를 직접 획득하는 방법으로 스테레오 카메라나 두 대 이상의 다수 카메라를 사용하는 방법, 이미지와 함께 깊이 정보를 획득하는 깊이(depth) 카메라 등을 사용하는 방법이 알려져 있다. 이러한 방법은 큰 제작 비용이 투입되어야 하고, 짧은 시간 내에 충분한 3D 콘텐츠를 확보할 수 없다. 3D 콘텐츠를 직접 획득하는 방법에서 발생하는 제작 비용이 크고 콘텐츠 확보 시간을 해결할 수 있는 방법으로, 기존의 2D 콘텐츠를 3D 콘텐츠로 변환하는 방법이 있다. 이 방법은 비용이 저렴하고 짧은 시간 내에 3D 콘텐츠 확보 문제를 해결할 수 있으나, 3D 화질의 입체감이 3D 콘텐츠를 직접 획득한 방법에 비하여 낮은 문제가 있다. The biggest problem for the market activation of the stereoscopic image display device should solve the 3D content problem which is absolutely insufficient. There are known methods of directly acquiring 3D contents, such as a method of using a stereo camera, two or more cameras, and a depth camera for acquiring depth information with an image. This method requires a large production cost and can not secure sufficient 3D contents in a short time. There is a method of converting existing 2D contents into 3D contents as a method of solving content acquisition time with high production cost arising from a method of acquiring 3D contents directly. Although this method is inexpensive and can solve the problem of securing 3D contents in a short time, there is a problem in that the stereoscopic effect of 3D image quality is lower than the method of directly acquiring 3D contents.

기존의 2D-3D 영상 변환 알고리즘은 2D 영상 데이터를 입력 받아 입력 영상의 에지(Edge) 검출, 움직임 벡터(Moving vector), 포커스/디포커스 등을 검출하여 뎁쓰맵(Depth map)을 생성하고, 뎁쓰맵에 기초하여 좌안 영상과 우안 영상 사이의 시각차(disparity)를 부여하여 2D 영상을 3D 영상으로 변환한다. 그런데, 기존의 2D-3D 영상 변환 알고리즘은 개체당 하나의 뎁쓰값을 부여하여 객체들(objects) 간에 원근감을 표현할 수 있으나, 객체당 하나의 뎁쓰값만 부여되기 때문에 객체 각각에서 원근감을 표현할 수 없다. 여기서, 객체란 독립된 인식 대상으로서, 동물, 식물, 자동차, 선박, 항공기 등 서로 구별되는 독립된 대상으로 정의될 수 있다. 객체 각각은 독립적으로 인식되는 세부 객체들을 포함할 수 있다. 기존의 2D-3D 영상 변환 알고리즘은 도 1의 실험 결과와 같이 객체 내에서 세부 객체들의 원근감을 표현할 수 없다. A conventional 2D-3D image conversion algorithm receives a 2D image data and generates a depth map by detecting an edge of an input image, a moving vector, a focus / defocus, The 2D image is converted into a 3D image by giving a disparity between the left eye image and the right eye image based on the submap. However, the existing 2D-3D image conversion algorithm can express a perspective sense between objects by assigning one depth value per object, but since only one depth value is given per object, perspective can not be expressed in each object . Here, an object is an independent object to be recognized, and can be defined as an independent object distinguished from each other such as an animal, a plant, an automobile, a ship, and an aircraft. Each of the objects may contain detail objects that are recognized independently. The conventional 2D-3D image conversion algorithm can not express the perspective of detailed objects in the object as shown in the experimental result of FIG.

도 1a는 2D 영상 샘플이고, 도 1b는 기존의 2D-3D 영상 변환 알고리즘을 이용하여 도 1a의 2D 영상 샘플을 3D 영상으로 변환하는 실험에서 생성된 뎁쓰맵의 뎁쓰값들을 계조로 변환한 이미지로 표현한 것이다. 도 1a 및 도 1b에서, 원본 2D 영상은 거리를 배경으로 여러 명의 사람들이 오가고 있고 그 중에 서로 마주하고 있는 두 명이 가장 가깝게 위치하고 있다. 이러한 원본 2D 영상을 기존의 2D-3D 영상 변환 모듈에 입력하여 뎁쓰맵을 생성하면, 앞에 있는 사람들(객체)과 뒤에 있는 사람들(객체) 그리고 배경 건물(객체) 간에 서로 다른 뎁쓰값들을 부여하여 객체들 간의 원근감이 표현될 수 있으나, 객체 내의 세부 객체들을 표현할 수 없다. 따라서, 도 1a와 같은 2D 영상으로부터 변환된 3D 영상을 확대하여 한 사람(객체)의 얼굴을 확대(close up)하면, 그 사람의 눈, 코, 입 등 세부 객체들 간의 원근감이 표현되지 못하므로 2D 영상과 같이 평면적인 화질로 느껴진다.
FIG. 1A is a 2D image sample, FIG. 1B is an image obtained by converting depth values of a DebSUM map generated in an experiment of converting a 2D image sample of FIG. 1A into a 3D image using a conventional 2D-3D image conversion algorithm, It is expressed. In FIGS. 1A and 1B, the original 2D image is composed of a plurality of people moving in the background of the distance, and two of them facing each other are located closest to each other. When a depth map is created by inputting the original 2D image into an existing 2D-3D image conversion module, different depth values are given between the preceding persons (objects) and the background people (objects) and background objects Can be expressed, but detailed objects in the object can not be expressed. Accordingly, when the 3D image transformed from the 2D image shown in FIG. 1A is enlarged and the face of a person (object) is enlarged (close up), the perspective of the detail objects such as the eyes, nose, and mouth of the person can not be expressed It feels like flat image quality like 2D image.

본 발명은 2D 콘텐츠를 3D 콘텐츠로 변환할 때 객체 내에서 원근감 표현이 가능한 2D-3D 영상 변환 방법 및 이를 이용한 입체 영상 표시장치를 제공한다.
The present invention provides a 2D-3D image conversion method capable of expressing a perspective view in an object when converting 2D content to 3D content, and a stereoscopic image display device using the same.

본 발명의 2D-3D 영상 변환 방법은 2D 영상 데이터를 입력 받는 단계; 상기 2D 영상 데이터를 분석하여 상기 2D 영상 내에 존재하는 객체들 각각에 대한 뎁쓰값을 설정한 제1 뎁쓰맵을 생성하는 단계; 미리 설정된 마스크를 상기 2D 영상 데이터에 맵핑하여 상기 객체들 각각의 내부에 존재하는 세부 객체들 각각의 특징점을 추적함으로써 상기 세부 객체들 각각의 위치와 각도 정보를 획득하는 단계; 상기 객체들 각각에서 다수로 분할된 레이어들에 상기 세부 객체들을 맵핑하는 단계; 상기 레이어들에 맵핑된 상기 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 단계; 상기 제1 뎁쓰맵과 상기 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성하는 단계; 및 상기 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함한다.
상기 마스크는 상기 세부 객체들 각각의 형태적인 특징을 정의한다. 상기 마스크는 얼굴 중심축과 눈, 코, 입의 윤곽 특징을 정의한 얼굴 마스크를 포함한다.
A 2D-3D image conversion method of the present invention includes: receiving 2D image data; Analyzing the 2D image data to generate a first depth map in which a depth value of each object existing in the 2D image is set; Acquiring position and angle information of each of the detailed objects by mapping preset masks to the 2D image data and tracking feature points of each of the detailed objects existing in each of the objects; Mapping the detailed objects to a plurality of layers partitioned in each of the objects; Generating a second debth map by assigning a debts value to each of the detailed objects mapped to the layers; Merging the first debtsmaps and the second debtsmaps to generate a final debsm map; And generating left eye image data and right eye image data to which a visual difference is given according to the depth value of the final depth map.
The mask defines morphological features of each of the detail objects. The mask includes a face center axis and a face mask defining the features of the eyes, nose, and mouth contours.

상기 레이어들에 맵핑된 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 단계는 상기 세부 객체들 각각의 뎁쓰값을 미리 설정된 가중치에 따라 조정하는 단계를 포함한다. The step of assigning the debts value to each of the sub-objects mapped to the layers to generate the second debs map may include adjusting the debts value of each of the sub-objects according to a predetermined weight.

상기 세부 객체들의 뎁쓰값을 D, 소정의 기준 뎁쓰값을 DREF, 상기 가중치를 α라 할 때, 상기 세부 객체들의 뎁쓰값은,The depth value of the detailed objects is D, the predetermined reference depth value is D REF , and the weight is α,

Figure 112010067389378-pat00001
으로 산출된다.
Figure 112010067389378-pat00001
.

본 발명의 입체 영상 표시장치는 2D 영상 데이터를 입력 받아 상기 2D 영상 데이터를 분석하여 상기 2D 영상 내에 존재하는 객체들 각각에 대한 뎁쓰값을 설정한 제1 뎁쓰맵을 생성하는 제1 뎁쓰 생성부; 상기 마스크를 상기 2D 영상 데이터에 맵핑하여 상기 객체들 각각의 내부에 존재하는 세부 객체들 각각의 특징점을 추적함으로써 상기 세부 객체들 각각의 위치와 각도 정보를 획득하는 세부 객체 마스킹부; 상기 객체들 각각에서 다수로 분할된 레이어들에 상기 세부 객체들을 맵핑하는 뎁쓰 갭 베리어 처리부; 상기 레이어들에 맵핑된 상기 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 제2 뎁쓰 생성부; 상기 제1 뎁쓰맵과 상기 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성하는 뎁쓰 병합부; 상기 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 3D 영상 데이터 생성부; 및 상기 좌안 영상 데이터와 상기 우안 영상 데이터를 표시패널에 표시하는 표시패널 구동회로를 포함한다. The 3D image display apparatus includes a first depth generator for generating a first depth map having a depth value for each of objects existing in the 2D image by receiving the 2D image data and analyzing the 2D image data; A detailed object masking unit for mapping the mask to the 2D image data and tracking feature points of the detailed objects existing in the respective objects to obtain position and angle information of each of the detailed objects; A depth gap barrier processing unit for mapping the detailed objects to a plurality of layers divided from each of the objects; A second depth generator for generating a second depth map by assigning a depth value to each of the detailed objects mapped to the layers; A depth merging unit for merging the first depths map and the second depths map to generate a final depths map; A 3D image data generation unit for generating left eye image data and right eye image data in which a visual difference is given according to the depth values of the final depth map; And a display panel driving circuit for displaying the left eye image data and the right eye image data on a display panel.

본 발명은 객체 내에 존재하는 세부 객체들의 특징을 정의하기 위한 마스킹을 2D 영상 데이터에 맵핑하여 세부 객체들을 추적하여 검색된 세부 객체들을 객체에서 분할된 레이어들에 맵핑한 다음, 세부 객체들 각각에 뎁쓰값을 부여한다. 그 결과, 본 발명은 2D 콘텐츠를 3D 콘텐츠로 변환할 때 객체 내에서 원근감을 세밀하게 표현하여 3D 영상의 화질을 향상시킬 수 있다.
The present invention maps masking for defining characteristics of detailed objects existing in an object to 2D image data, tracks the detailed objects, maps the retrieved detailed objects to the divided layers in the object, . As a result, when the 2D content is converted into the 3D content, the image quality of the 3D image can be improved by expressing the perspective of the object in detail.

도 1a는 기존 2D-3D 영상 변환 알고리즘의 성능 확인을 위한 실험에 사용된 2D 영상 샘플 이미지이다.
도 1b는 기존 2D-3D 영상 변환 알고리즘을 이용하여 도 1a의 2D 영상 샘플로부터 획득된 뎁쓰맵을 보여 주는 이미지들이다.
도 2는 본 발명의 실시예에 따른 2D-3D 영상 변환 방법의 처리 수순으로 단계적으로 보여 주는 흐름도이다.
도 3은 페이스 마스크의 일 예를 보여 주는 도면이다.
도 4는 2D 영상에 도 3과 같은 페이스 마스크를 맵핑하여 얼굴 내의 세부 객체들의 특징을 추적한 실험 결과를 보여 주는 도면이다.
도 5는 세부 객체들의 레이어를 보여 주는 도면이다.
도 6은 사람 얼굴을 대상으로 세부 객체들을 보여 주는 도면이다.
도 7은 가중치를 불연속적으로 설정하여 도 6의 세부 객체들에 뎁쓰값을 부여한 경우에 세부 객체들의 뎁쓰값을 계조로 변환한 이미지이다.
도 8은 본 발명의 실시예에 따른 입체 영상 표시장치를 보여 주는 블록도이다.
도 9는 도 8에 도시된 2D-3D 영상 변환부를 상세히 보여 주는 블록도이다.
1A is a 2D image sample image used in an experiment for confirming the performance of an existing 2D-3D image conversion algorithm.
FIG. 1B is an image showing the DebSmaps obtained from 2D image samples of FIG. 1A using the conventional 2D-3D image conversion algorithm.
FIG. 2 is a flowchart showing a step-by-step process procedure of a 2D-3D image conversion method according to an embodiment of the present invention.
3 is a view showing an example of a face mask.
FIG. 4 is a diagram showing an experiment result of mapping the face mask shown in FIG. 3 to a 2D image to track the characteristics of detailed objects in a face.
5 is a view showing layers of detailed objects.
FIG. 6 is a view showing detailed objects of a human face. FIG.
FIG. 7 is an image obtained by discretely setting a weight value and transforming the depth value of detail objects into gradation when the depth value is given to the detail objects of FIG. 6.
8 is a block diagram illustrating a stereoscopic image display apparatus according to an embodiment of the present invention.
FIG. 9 is a block diagram showing the 2D-3D image converting unit shown in FIG. 8 in detail.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. Like reference numerals throughout the specification denote substantially identical components. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명의 실시예에 따른 2D-3D 영상 변환 방법은 2D 영상을 3D 영상으로 변환하므로 뎁쓰값을 기반으로 좌안 영상과 우안 영상의 양안 시차를 구현하는 어떠한 입체 영상 표시장치에도 적용 가능하다. The 2D-3D image conversion method according to the embodiment of the present invention can be applied to any stereoscopic image display device that implements the binocular disparity between the left eye image and the right eye image based on the depth value, since the 2D image is converted into the 3D image.

이하에서, 객체는 동물, 식물, 자동차, 선박, 항공기 등 서로 구별되는 독립적 인식 대상으로 정의된다. 객체 각각은 독립적으로 인식되는 세부 객체들을 포함할 수 있다. 세부 객체들은 객체 내에서 평면 상에 존재하지 않은 객체 종속적 대상들로 정의되며 일 예로, 사람의 얼굴은 눈, 코, 턱 등의 평면 상에 존재하지 않은 다수의 세부 객체들을 포함한다. 또한, 사람은 움직임에 따라 몸과 평면 상에 존재하지 않은 팔, 다리 등의 세부 객체들을 포함한다. In the following, an object is defined as an object of independent recognition distinguished from each other such as an animal, a plant, an automobile, a ship, and an aircraft. Each of the objects may contain detail objects that are recognized independently. The detail objects are defined as object-dependent objects that do not exist on the plane in the object. For example, the face of the person includes a number of detail objects that are not on the plane of the eye, nose, jaw, Also, a person includes detailed objects such as arms and legs that are not present on the body and on the plane according to the movement.

도 2를 참조하면, 본 발명의 2D-3D 영상 변환 방법은 기존의 2D-3D 영상 변환 알고리즘을 이용하여 입력 받은 2D 영상에서 에지, 움직임 벡터, 포커스/디포커스 중 하나 이상을 검출하여 객체들 각각의 뎁쓰값을 설정한 제1 뎁쓰맵을 생성한다.(S1)Referring to FIG. 2, the 2D-3D image transformation method of the present invention detects at least one of an edge, a motion vector, and a focus / defocus in a 2D image input using an existing 2D-3D image transformation algorithm, And creates a first debth map having the debsize value of the first debsum map (S1)

이어서, 본 발명의 2D-3D 영상 변환 방법은 미리 설정된 마스크와 2D 영상을 맵핑하여 객체 내에 존재하는 세부 객체들 각각의 특징점을 추적(tracking)하여 세부 객체들의 위치와 각도(또는 방향) 정보를 획득한다.(S2) 여기서, 마스크는 객체들 각각의 내부에 존재하는 세부 객체들을 식별하기 위하여 세부 객체들 각각의 특징을 고려하여 미리 설정된다. 일 예로, 얼굴 마스크(Facial mask)는 사람 얼굴의 경우에 도 3과 같이 얼굴 중심축을 설정하고, 눈, 코, 입의 윤곽 특징을 정의하는 형태로 미리 설정된다. S2 단계는 도 4와 같은 2D 영상에 미리 설정된 도 4와 같은 얼굴 마스크를 맵핑하여 사람 얼굴의 눈, 코, 입 등의 세부 객체들을 추적한 후에, 얼굴의 중심축(녹색 화살표)과 눈동자의 축(x축 방향의 적색 화살표)의 변화를 분석하여 눈, 코, 입 등의 세부 객체들 각각의 위치와 각도(예를 들어, 얼굴을 돌린 정도)를 판단한다. 몸 마스크(Body mask)는 몸의 주요 관절 부위를 포인트(point)로 하여 설정된다. S2 단계는 미리 설정된 몸 마스크를 2D 영상에 맵핑하여 사람의 머리, 팔, 다리 등의 세부 객체들을 추적한 후에, 몸의 중심축과 팔 다리 중심축의 변화를 분석하여 머리, 팔, 다리 등의 세부 객체들 각각의 위치와 각도를 판단할 수 있다. Then, the 2D-3D image conversion method of the present invention maps the preset mask and the 2D image to track the minutiae of each of the detailed objects existing in the object to acquire the position and angle (or direction) information of the detailed objects (S2) Here, the mask is preset in consideration of the characteristics of each of the detailed objects to identify the detailed objects existing inside the objects. For example, in the case of a human face, a facial mask is set in advance such that the center axis of the face is set as shown in FIG. 3 and the outline characteristics of the eyes, nose, and mouth are defined. In step S2, a face mask as shown in FIG. 4 set in advance on the 2D image as shown in FIG. 4 is mapped to track detailed objects such as the eyes, nose, and mouth of a human face, and then the center axis (green arrow) (the red arrow in the x-axis direction) is analyzed to determine the position and angle of each of the detailed objects such as the eyes, nose, mouth, and the like (for example, the degree of turning the face). The body mask is set with the point of the main joint of the body as a point. Step S2 maps the preset body mask to a 2D image to track detailed objects such as a person's head, arms, legs, etc., and then analyzes the changes of the central axis of the body and the central axis of the legs You can determine the position and angle of each of the objects.

이어서, 본 발명의 2D-3D 영상 변환 방법은 세부 객체들의 마스킹을 통해 검출된 세부 객체들 각각에 뎁쓰값을 부여하기 전 단계로서, 객체 내에서 도 5와 같은 레이어들(layer)을 설정한다.(S3) S3 단계는 객체 각각을 레이어로 분할하고 또한, 레이어들에 세부 객체들을 맵핑하고 세부 객체들 간의 역전을 방지하도록 세부 객체들의 레이어 상한값들을 제한한다. 예를 들어, S3 단계는 도 5와 같이 입체 영상 표시장치의 표시 화면(또는 기준면) 레이어를 0으로, 그 표시 화면 앞에 0 ~ +10 사이의 값으로 레이어들을 설정하고, 표시 화면 뒤에 0 ~ -10 사이의 값으로 레이어들을 설정할 수 있다. 또한, S3 단계는 -7 레이어에 존재하는 세부 객체가 -5 레이어 앞으로 위치되지 않도록 - 7 레이어에 존재하는 세부 객체의 뎁쓰값 범위를 앞 레이어 뎁쓰값 - 5 이내로 제한한다.Next, the 2D-3D image transformation method of the present invention sets the layers as shown in FIG. 5 in the object before the depth value is given to each of the detailed objects detected through masking of the detailed objects. (S3) Step S3 divides each of the objects into layers, and also maps the detail objects to the layers and limits the upper layer values of the detail objects to prevent inversion between the detail objects. For example, in step S3, the display screen (or reference plane) layer of the stereoscopic image display device is set to 0, the layers are set to values between 0 and +10 in front of the display screen, You can set the layers to a value between 10 and 10. In addition, step S3 limits the depth value of the detail object existing on the 7th layer to the value of the previous layer depth value - 5 so that the detailed object existing on the -7 layer is not positioned on the -5th layer.

이어서, 본 발명의 2D-3D 영상 변환 방법은 레이어들에 맵핑된 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성한다.(S4) S4 단계는 기준면보다 앞 쪽에 위치하는 세부 객체들의 뎁쓰값을 + 방향으로 선형적으로 증가하는 뎁쓰 값으로 부여한다. 그리고 S4 단계는 아래의 수학식 1과 같이 세부 객체들의 특징에 따라 미리 설정된 가중치(α)를 세부 객체별 기준 뎁쓰값(DREF)에 곱하여 세부 객체들 각각의 뎁쓰값(D)을 조정한다. 가중치(α)는 세부 객체들 각각의 특징을 고려하여 사전에 설정된다. 가중치(α)는 수학식 1과 같이 0 보다 크고 2 미만에서 세부 객체들 각각의 특징을 고려하여 설정될 수 있다. 예를 들어, S4 단계는 도 6과 같이 얼굴면(기준면)을 기준으로 머리(A), 코(E), 입(F)에 + 뎁쓰값을 부여하고, 눈(B), 턱(C), 뺨(D)에 - 뎁쓰값을 부여하고 미리 설정된 가중치에 따라 그 세부 객체들 각각의 뎁쓰값들을 조정한다. The 2D-3D image transformation method of the present invention generates a second debth map by assigning a depth value to each of the detailed objects mapped to layers (S4). In step S4, the detail objects The depth value is given as a depth value increasing linearly in the + direction. In step S4, the depth value D of each of the detailed objects is adjusted by multiplying the pre-set weight value D REF by the pre-set weight value? According to the characteristics of the detailed objects as shown in Equation 1 below. The weight value? Is set in advance in consideration of the characteristics of each of the detailed objects. The weighting factor? May be set in consideration of the characteristics of each of the detailed objects in a case where the weighting factor? Is larger than 0 and less than 2 as shown in Equation (1). For example, in step S4, a + depth value is given to the head A, nose E, and mouth F based on the facial plane (reference plane) as shown in FIG. 6, And the cheek (D), and adjusts the depth value of each of the detail objects according to a preset weight.

Figure 112010067389378-pat00002
Figure 112010067389378-pat00002

여기서, D는 세부 객체의 뎁쓰값, DREF는 기준 뎁쓰값, α는 가중치를 각각 의미한다. Where D is the depth value of the detail object, D REF is the reference depth value, and α is the weight value.

이어서, 본 발명의 2D-3D 영상 변환 방법은 S1 단계에서 생성된 제1 뎁쓰맵에 S4 단계에서 생성된 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성한다.(S5) 마지막으로, 본 발명의 2D-3D 영상 변환 방법은 최종 뎁쓰맵을 바탕으로 하여 좌안 영상 데이터와 우안 영상 데이터를 생성하여 3D 영상을 구현한다. Then, in the 2D-3D image conversion method of the present invention, the final debs map is generated by merging the second debsums generated in step S4 in the first debsums generated in step S1. (S5) Finally, The 2D-3D image conversion method implements the 3D image by generating the left eye image data and the right eye image data based on the final depth map.

본 발명의 입체 영상 표시장치는 안경방식이나 무안경 방식의 입체 영상 표시장치로 구현될 수 있다. 입체 영상 표시장치의 표시소자는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 및 유기발광다이오드소자(Organic Light Emitting Diode, OLED)와 같은 전계발광소자(Electroluminescence Device, EL), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. The stereoscopic image display apparatus of the present invention can be realized by a stereoscopic image display apparatus of a spectacles type or a non-spectacles type. A display device of a stereoscopic image display device includes a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), and an organic light emitting diode An electroluminescence device (EL) such as a light emitting diode (OLED), an electrophoretic display device (Electrophoresis, EPD), or the like.

도 8은 본 발명의 실시예에 따른 입체 영상 표시장치를 보여 주는 블록도이다. 8 is a block diagram illustrating a stereoscopic image display apparatus according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 입체 영상 표시장치는 표시패널(100), 2D-3D 영상 변환부(112), 타이밍 콘트롤러(101), 데이터 구동회로(102), 게이트 구동회로(103) 등을 구비한다. Referring to FIG. 8, the stereoscopic image display apparatus of the present invention includes a display panel 100, a 2D-3D image conversion unit 112, a timing controller 101, a data driving circuit 102, a gate driving circuit 103, Respectively.

표시패널(100)은 LCD, FED, PDP, EL, EPD 중 어느 하나의 표시패널로 구현될 수 있다. 표시패널(100)이 LCD 표시패널로 선택되는 경우에, 그 표시패널(100)에 빛을 조사하기 위한 백라이트 유닛(Backlight unit)이 필요하다. 표시패널(100)은 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 좌안 영상 데이터와 우안 영상 데이터를 시분할 혹은, 공간분할 방법으로 표시한다. The display panel 100 may be implemented as a display panel of any one of LCD, FED, PDP, EL, and EPD. When the display panel 100 is selected as an LCD display panel, a backlight unit for irradiating light to the display panel 100 is required. The display panel 100 displays the 2D image data in the 2D mode and displays the left eye image data and the right eye image data in the 3D mode in a time division manner or a space division method.

2D-3D 영상 변환부(112)는 도 2 내지 도 7에서 전술한 바와 같이 3D 모드에서 호스트 시스템(110)으로부터 입력된 2D 영상으로부터 객체들 각각의 뎁쓰와 객체 내의 세부 객체들의 뎁쓰값을 포함한 뎁쓰맵을 생성하고 그 뎁쓰맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성한다. 또한, 2D-3D 영상 변환부(112)는 3D 모드에서 2D 입력 영상으로부터 변환된 3D 영상 데이터 또는, 호스트 시스템(110)으로부터 입력되는 3D 영상 데이터의 좌안 영상 데이터와 우안 영상 데이터를 시간적, 공간적, 혹은 시공간적으로 분할하여 타이밍 콘트롤러(101)에 공급한다. 호스트 시스템(110)으로부터 2D-3D 영상 변환부(112)에 공급되는 3D 영상 데이터는 3D 콘텐츠의 직접 획득하는 방법으로 생성된 3D 영상 데이터로서 1 프레임 데이터에 좌안 영상 데이터와 우안 영상 데이터가 분리된 형태로 2D-3D 영상 변환장치(112)에 전송된다. 2 to 7, the 2D-3D image converting unit 112 converts the depth of each of the objects from the 2D image input from the host system 110 in the 3D mode and the depth value of the detailed objects in the object, And generates left eye image data and right eye image data based on the depth submap. The 2D-3D image conversion unit 112 converts the 3D image data converted from the 2D input image in the 3D mode or the left-eye image data and the right-eye image data of the 3D image data input from the host system 110 into temporal, spatial, Or supplies it to the timing controller 101 in a time-division manner. 3D image data supplied from the host system 110 to the 2D-3D image converting unit 112 is 3D image data generated by a method of directly acquiring 3D contents, and the left eye image data and the right eye image data are separated into one frame data To-2D image conversion device 112 in the form of a 2D-3D image.

2D-3D 영상 변환부(112)는 3D 모드에서 내장 레지스터에 저장된 블랙 계조 데이터를 읽어 들여 리셋 프레임 데이터를 생성하고 그 리셋 프레임 데이터를 좌안 영상 데이터 프레임과 우안 영상 데이터 프레임 사이에 삽입할 수 있다. 리셋 프레임의 모든 데이터는 블랙 계조 데이터로서, 좌안/우안 영상 데이터와 관계없이 미리 설정되어 2D-3D 영상 변환부(112)의 내장 레지스터에 저장된다. 블랙 계조 데이터는 8 bit 디지털 데이터로 표현할 때 '000000002"이다. 2D-3D 영상 변환부(112)는 3D 모드에서 좌안 영상과 우안 영상 사이에 블랙 데이터를 삽입하는 과정을 통해 3D 영상 데이터를 입력 프레임 주파수 대비 4 배로 체배된 프레임 주파수로 타이밍 콘트롤러(101)에 전송할 수 있다. 2D-3D 영상 변환부(112)의 입력 프레임 주파수가 50Hz이면, 2D-3D 영상 변환부(112)의 출력 프레임 주파수는 200Hz이며, 2D-3D 영상 변환부(112)의 입력 프레임 주파수가 60Hz이면, 2D-3D 영상 변환부(112)의 출력 프레임 주파수는 240Hz이다. 입력 프레임 주파수는 PAL(Phase Alternate Line) 방식에서 50Hz이고 NTSC(National Television Standards Committee) 방식에서 60Hz이다. The 2D-3D image converting unit 112 may read the black gradation data stored in the built-in register in the 3D mode to generate reset frame data, and insert the reset frame data between the left eye image data frame and the right eye image data frame. All the data in the reset frame is black gradation data, and is set in advance in relation to the left eye / right eye image data and stored in the built-in register of the 2D-3D image conversion unit 112. The black-tone data is '00000000 2 ' when represented by 8-bit digital data. The 2D-3D image conversion unit 112 inserts black data between the left eye image and the right eye image in the 3D mode, 3D image converter 112 may be transmitted to the timing controller 101 at a frame frequency multiplied by four times the frame frequency. If the input frame frequency of the 2D-3D image converter 112 is 50 Hz, the output frame frequency of the 2D- When the input frame frequency of the 2D-3D image converting unit 112 is 60 Hz, the output frame frequency of the 2D-3D image converting unit 112 is 240 Hz. The input frame frequency is set in a phase alternate line (PAL) 50Hz and 60Hz in the National Television Standards Committee (NTSC) system.

2D-3D 영상 변환부(112)는 2D 모드에서 MEMC(Motion Estimation Motion Compensation) 등의 데이터 프레임 보간 방법을 이용하여 2D 영상 데이터의 제i(i는 자연수) 프레임 데이터와 제i+1 프레임 사이에 두 개의 프레임 데이터를 삽입한다. 따라서, 2D-3D 영상 변환장치(112)는 2D 모드에서 2D 입력 영상 데이터를 입력 프레임 주파수 대비 4 배로 체배된 프레임 주파수로 타이밍 콘트롤러(101)로 전송할 수 있다. 2D-3D 영상 변환부(112)는 타이밍 콘트롤러(101)에 내장될 수 있다. The 2D-3D image conversion unit 112 converts the 2D image data into the i-th (i is a natural number) frame data and the (i + 1) -th frame of the 2D image data using a data frame interpolation method such as MEMC (Motion Estimation Motion Compensation) Insert two frame data. Accordingly, the 2D-3D image conversion apparatus 112 can transmit the 2D input image data to the timing controller 101 at a frame frequency multiplied by four times the input frame frequency in the 2D mode. The 2D-3D image conversion unit 112 may be embedded in the timing controller 101.

타이밍 콘트롤러(101)는 2D-3D 영상 변환장치(112)로부터 입력된 2D/3D 영상의 디지털 비디오 데이터(RGB)를 데이터 구동회로(102)에 공급한다. 또한, 타이밍 콘트롤러(101)는 2D-3D 영상 변환장치(112)를 통해 호스트 시스템(110)로부터 입력된 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 도트 클럭 등의 타이밍신호를 입력받아 데이터 구동회로(102)와 게이트 구동회로(103)의 동작 타이밍을 제어하기 위한 제어신호들을 발생한다. 제어신호들은 게이트 구동회로(103)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호, 데이터 구동회로(102)의 동작 타이밍과 데이터전압의 극성을 제어하기 위한 데이터 타이밍 제어신호를 포함한다. The timing controller 101 supplies the data driving circuit 102 with the digital video data RGB of the 2D / 3D image input from the 2D-3D image converting device 112. [ The timing controller 101 receives a timing signal, such as a vertical synchronizing signal, a horizontal synchronizing signal, a data enable signal, and a dot clock, input from the host system 110 through the 2D-3D image converting apparatus 112, And generates control signals for controlling the operation timing of the driving circuit 102 and the gate driving circuit 103. [ The control signals include a gate timing control signal for controlling the operation timing of the gate drive circuit 103, a data timing control signal for controlling the operation timing of the data drive circuit 102 and the polarity of the data voltage.

게이트 타이밍 제어신호는 게이트 스타트 펄스(Gate Start Pulse, GSP), 게이트 쉬프트 클럭(Gate Shift Clock, GSC), 게이트 출력 인에이블신호(Gate Output Enable, GOE) 등을 포함한다. 게이트 스타트 펄스(GSP)는 첫 번째 게이트펄스를 발생하는 게이트 드라이브 IC(Integrated Circuit)에 인가되어 첫 번째 게이트펄스가 발생되도록 그 게이트 드라이브 IC를 제어한다. 게이트 쉬프트 클럭(GSC)은 게이트 드라이브 IC들에 공통으로 입력되는 클럭신호로써 게이트 스타트 펄스(GSP)를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호(GOE)는 게이트 드라이브 IC들의 출력을 제어한다. The gate timing control signal includes a gate start pulse (GSP), a gate shift clock (GSC), a gate output enable signal (GOE), and the like. The gate start pulse GSP is applied to a gate drive IC (Integrated Circuit) generating a first gate pulse to control the gate drive IC so that a first gate pulse is generated. The gate shift clock GSC is a clock signal commonly input to the gate drive ICs, and is a clock signal for shifting the gate start pulse GSP. The gate output enable signal GOE controls the output of the gate drive ICs.

데이터 타이밍 제어신호는 소스 스타트 펄스(Source Start Pulse, SSP), 소스 샘플링 클럭(Source Sampling Clock, SSC), 극성제어신호(Polarity : POL), 및 소스 출력 인에이블신호(Source Output Enable, SOE) 등을 포함한다. 소스 스타트 펄스(SSP)는 데이터 구동회로의 데이터 샘플링 시작 타이밍을 제어한다. 소스 샘플링 클럭(SSC)은 라이징 또는 폴링 에지에 기준하여 데이터 구동회로(102) 내에서 데이터의 샘플링 타이밍을 제어하는 클럭신호이다. 극성제어신호(POL)는 데이터 구동회로(102)로부터 출력되는 데이터전압의 극성을 제어한다. 소스 출력 인에이블신호(SOE)는 데이터 구동회로(102)의 출력 타이밍을 제어한다. OLED, PDP와 같은 일부 표시패널에서는 표시패널(100)에 공급되는 데이터전압의 극성이 반전되지 않으므로 극성제어신호(POL)가 필요없다. 데이터 구동회로(102)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스(SSP)와 소스 샘플링 클럭(SSC)은 생략될 수 있다.The data timing control signal includes a source start pulse (SSP), a source sampling clock (SSC), a polarity control signal (POL), and a source output enable signal (SOE) . The source start pulse SSP controls the data sampling start timing of the data driving circuit. The source sampling clock SSC is a clock signal for controlling the sampling timing of data in the data driving circuit 102 on the basis of the rising or falling edge. The polarity control signal POL controls the polarity of the data voltage output from the data driving circuit 102. [ The source output enable signal SOE controls the output timing of the data driving circuit 102. In some display panels such as OLEDs and PDPs, the polarity of the data voltage supplied to the display panel 100 is not inverted, so that the polarity control signal POL is not needed. The source start pulse SSP and the source sampling clock SSC may be omitted if the digital video data to be input to the data driving circuit 102 is transmitted in the mini LVDS (Low Voltage Differential Signaling) interface standard.

타이밍 콘트롤러(101)는 2D-3D 영상 변환장치(112)를 통해 호스트 시스템(110)으로부터 입력되는 모드신호(도시하지 않음) 또는, 입력 영상 신호에 코딩된 모드 식별 코드에 기초하여 데이터 구동회로(102), 게이트 구동회로(103) 또는 도시하지 않은 백라이트 구동회로의 2D 모드와 3D 모드 동작을 전환할 수 있다. The timing controller 101 receives a mode signal (not shown) input from the host system 110 through the 2D-3D image conversion device 112 or a data driving circuit (not shown) based on the mode identification code coded on the input video signal 102, the gate driving circuit 103, or a backlight driving circuit (not shown).

데이터 구동회로(102)는 타이밍 콘트롤러(101)의 제어 하에 2D/3D 영상의 디지털 비디오 데이터를 래치한다. 2D/3D 영상 데이터와 함께, 리셋 프레임기간의 블랙 계조 데이터가 타이밍 콘트롤러(101)로부터 데이터 구동회로(102)에 전송되면, 데이터 구동회로(102)는 2D/3D 영상의 디지털 비디오 데이터와, 리셋 프레임기간의 블랙 계조 데이터를 래치한다. 데이터 구동회로(102)는 래치된 데이터를 아날로그 데이터 전압 또는 데이터 전류로 변환하여 데이터라인들(105)로 출력한다. 표시패널(100)이 LCD 또는 EPD와 같이 극성이 반전되는 데이터전압이 공급되는 경우에, 데이터 구동회로(102)는 극성제어신호(POL)에 응답하여 2D/3D 영상의 디지털 비디오 데이터와 블랙 계조 데이터를 아날로그 정극성 감마보상전압과 부극성 감마보상전압으로 변환하여 데이터전압의 극성을 반전시켜 데이터라인들(105)로 출력한다. The data driving circuit 102 latches the digital video data of the 2D / 3D image under the control of the timing controller 101. When the black gradation data in the reset frame period is transferred from the timing controller 101 to the data driving circuit 102 together with the 2D / 3D image data, the data driving circuit 102 outputs the digital video data of the 2D / 3D image, Thereby latching the black gradation data of the frame period. The data driving circuit 102 converts the latched data into an analog data voltage or a data current, and outputs the data to the data lines 105. When the display panel 100 is supplied with a data voltage whose polarity is inverted, such as an LCD or an EPD, the data driving circuit 102 outputs digital video data of a 2D / 3D image and black gradation data in response to a polarity control signal POL, Data is converted into an analog positive gamma compensation voltage and a negative gamma compensation voltage to invert the polarity of the data voltage and output to the data lines 105.

게이트 구동회로(103)는 게이트 타이밍 제어신호들에 응답하여 게이트펄스(또는 스캔펄스)를 게이트라인들(106)에 순차적으로 공급한다.The gate driving circuit 103 sequentially supplies gate pulses (or scan pulses) to the gate lines 106 in response to the gate timing control signals.

호스트 시스템(110)은 외부 비디오 소스 기기(200) 예를 들면, 셋톱박스(Set-top Box), DVD 플레이어(Player), 블루레이 플레이어(Blue-ray Player), 개인용 컴퓨터(PC), 홈 시어터 시스템(Home theater Syteme)에 접속된다. 또한, 호스트 시스템(110)은 스케일러(scaler)를 포함한 시스템 온 칩(System on Chip, 이하 "SoC"라 함)을 포함하여 외부 비디오 소스 기기(200)로부터의 그래픽 데이터를 표시패널(100)에 표시하기에 적합한 포맷으로 변환한다. The host system 110 includes an external video source device 200 such as a set-top box, a DVD player, a Blu-ray player, a personal computer (PC), a home theater System (Home Theater Sytem). The host system 110 also includes a system on chip (hereinafter referred to as "SoC") including a scaler to display graphic data from the external video source device 200 on the display panel 100 And converts it into a format suitable for display.

호스트 시스템(110)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D/3D 영상의 데이터와 타이밍신호들(Vsync, Hsync, DE, CLK)을 타이밍 콘트롤러(101)에 공급한다. 호스트 시스템(110)은 2D 모드에서 2D 영상을 타이밍 콘트롤러(101)에 공급하는 반면, 3D 모드에서 3D 콘텐츠를 직접 획득하는 방법으로 생성된 3D 영상 또는 2D 영상 데이터를 2D-3D 영상 변환부(112)에 공급한다. 호스트 시스템(110)은 영상 데이터를 분석하여 그 분석 결과에 따라 표시영상의 콘트라스트 특성을 높이기 위하여 백라이트의 글로벌(Global)/로컬(locacl) 디밍값(DIM)을 산출하여 디밍신호를 발생할 수 있다. The host system 110 transmits data and timing signals (Vsync, Hsync, DE, CLK) of the 2D / 3D image through the interface such as a Low Voltage Differential Signaling (LVDS) interface and a Transition Minimized Differential Signaling (101). The host system 110 supplies the 2D image in the 2D mode to the timing controller 101 while the 3D image or the 2D image data generated in the 3D mode in the 3D mode is directly supplied to the 2D- . The host system 110 may analyze the image data and generate a dimming signal by calculating a global / local locus dimming value (DIM) of the backlight to enhance the contrast characteristic of the display image according to the analysis result.

호스트 시스템(110)은 사용자 입력장치(111)를 통해 입력되는 사용자 데이터에 응답하여 2D 모드 동작과 3D 모드 동작을 전환한다. 사용자 입력장치(111)는 키패드, 키보드, 마우스, 온 스크린 디스플레이(On Screen Display, OSD), 리모트 콘트롤러(Remote controller), 터치 스크린 등을 포함한다. 사용자는 사용자 입력장치(111)를 통해 2D 모드와 3D 모드를 선택할 수 있고, 3D 모드에서 2D-3D 영상 변환을 선택할 수 있다.The host system 110 switches the 2D mode operation and the 3D mode operation in response to the user data input through the user input device 111. [ The user input device 111 includes a keypad, a keyboard, a mouse, an on screen display (OSD), a remote controller, a touch screen, and the like. The user can select the 2D mode and the 3D mode through the user input device 111, and select the 2D-3D image conversion in the 3D mode.

호스트 시스템(110)은 입력 영상의 데이터에 인코딩된 2D/3D 식별 코드를 통해 2D 모드의 동작과 3D 모드의 동작을 전환할 수도 있다. 또한, 호스트 시스템(110)은 현재의 구동 모드가 2D 모드인지 아니면 3D 모드인지를 식별할 수 있는 모드 신호를 발생하여 2D-3D 영상 변환장치(112)로 전송할 수 있다. The host system 110 may switch the operation of the 2D mode and the operation of the 3D mode through the 2D / 3D identification code encoded in the data of the input image. In addition, the host system 110 may generate a mode signal that identifies whether the current drive mode is the 2D mode or the 3D mode, and may transmit the mode signal to the 2D-3D image conversion apparatus 112.

호스트 시스템(110)은 3D 모드에서 셔터 안경(130)의 좌안 렌즈(STL)와 우안 렌즈(STR)를 교대로 개폐하기 위하여, 셔터 제어신호 송신부(120)로 통해 셔터 제어신호를 출력한다. 셔터 제어신호 송신부(120)는 유/무선 인터페이스를 통해 셔터 제어신호를 셔터 제어신호 수신부(121)에 전송한다. 셔터 제어신호 수신부(121)는 셔터 안경(130)에 내장되거나 별도의 모듈로 제작되어 셔터 안경(130)에 부착될 수 있다. The host system 110 outputs a shutter control signal through the shutter control signal transmitting unit 120 in order to alternately open and close the left eye lens ST L and the right eye lens ST R of the shutter glasses 130 in the 3D mode . The shutter control signal transmitting unit 120 transmits a shutter control signal to the shutter control signal receiving unit 121 via the wired / wireless interface. The shutter control signal receiving unit 121 may be built in the shutter glasses 130 or may be manufactured as a separate module and attached to the shutter glasses 130.

셔터 안경(130)은 전기적으로 개별 제어되는 좌안 렌즈(STL)와 우안 렌즈(STR)를 포함한다. 좌안 렌즈(STL)와 우안 렌즈(STR) 각각은 제1 투명기판, 제1 투명기판 상에 형성된 제1 투명전극, 제2 투명기판, 제2 투명기판 상에 형성된 제2 투명전극, 제1 및 제2 투명기판 사이에 협지된 액정층을 포함한다. 제1 투명전극에는 기준전압이 공급되고 제2 투명전극에는 ON/OFF 전압이 공급된다. 좌안 렌즈(STL)와 우안 렌즈(STR) 각각은 제2 투명전극에 ON 전압이 공급될 때 액정표시패널(100)로부터의 빛을 투과시키는 반면, 제2 투명전극에 OFF 전압이 공급될 때 액정표시패널(100)로부터의 빛을 차단한다. The shutter glasses 130 include an electronically controlled left eye lens ST L and a right eye lens ST R. Each of the left eye lens ST L and the right eye lens ST R includes a first transparent substrate, a first transparent electrode formed on the first transparent substrate, a second transparent substrate, a second transparent electrode formed on the second transparent substrate, And a liquid crystal layer sandwiched between the first transparent substrate and the second transparent substrate. A reference voltage is supplied to the first transparent electrode and an ON / OFF voltage is supplied to the second transparent electrode. Each of the left eye lens ST L and the right eye lens ST R transmits the light from the liquid crystal display panel 100 when the ON voltage is supplied to the second transparent electrode while the OFF voltage is supplied to the second transparent electrode The light from the liquid crystal display panel 100 is blocked.

셔터 제어신호 수신부(121)는 유/무선 인터페이스를 통해 셔터 제어신호를 수신하고, 셔터 제어신호에 따라 셔터 안경(130)의 좌안 렌즈(STL)와 우안 렌즈(STR)를 교대로 개폐한다. 셔터 제어신호가 제1 논리값으로 셔터 제어신호 수신부(121)에 입력될 때, 좌안 렌즈(STL)의 제2 투명전극에 ON 전압이 공급되는 반면에, 우안 렌즈(STR)의 제2 투명전극에 OFF 전압이 공급된다. 셔터 제어신호가 제2 논리값으로 셔터 제어신호 수신부(121)에 입력될 때, 좌안 렌즈(STL)의 제2 투명전극에 OFF 전압이 공급되는 반면에, 우안 렌즈(STR)의 제2 투명전극에 ON 전압이 공급된다. 따라서, 셔터 안경(130)의 좌안 렌즈(STL)는 셔터 제어신호가 제1 논리값으로 발생될 때 개방되고, 셔터 안경(130)의 우안 렌즈(STR)는 셔터 제어신호가 제2 논리값으로 발생될 때 개방된다. Shutter control signal reception section 121 is opened and closed by the organic / receiving a shutter control signal over the air interface, and the left-eye lens (ST L) and the right-eye lens (ST R) of the shutter glasses 130 in accordance with a shutter control signal alternately . A second shutter control signal is the first time a logical value to be inputted to the shutter control signal reception section 121, a left eye lens on the other hand that the ON voltage is applied to the second transparent electrode (ST L), the right eye lens (ST R) OFF voltage is supplied to the transparent electrode. Shutter control signal is the second of the second logic value when the input to the shutter control signal receiving section 121, whereas the second is OFF, the voltage supplied to the second transparent electrode of the left-eye lens (ST L), the right eye lens (ST R) ON voltage is supplied to the transparent electrode. Therefore, the left eye lens ST L of the shutter eyeglasses 130 is opened when the shutter control signal is generated with the first logic value, and the right eye lens ST R of the shutter glasses 130 is opened when the shutter control signal is the second logic Value. ≪ / RTI >

편광 안경 방식의 경우에, 셔터 안경(130)은 편광 안경으로 대체된다. 편광 안경은 편광 축이 서로 다른 좌안 필터와 우안 필터를 포함한다. 이 경우에, 표시패널(100)의 화면에는 좌안 영상과 우안 영상의 편광을 분활하기 위한 패턴 리타더(Patterned retarder)나 액티브 리타더(Active retarder)가 부착된다. 편광 안경 방식은 셔터 제어신호 송신부(120)와 셔터 제어신호 수신부(121)가 필요없다. In the case of the polarizing glasses system, the shutter glasses 130 are replaced by polarizing glasses. The polarizing glasses include a left eye filter and a right eye filter having different polarization axes. In this case, a pattern retarder or an active retarder for dividing the polarization of the left eye image and the right eye image is attached to the screen of the display panel 100. The polarizing glasses system does not require the shutter control signal transmitter 120 and the shutter control signal receiver 121.

무안경 방식의 경우에, 표시패널(100)의 화면에는 좌안 영상과 우안 영상의 광축을 분리하는 광학소자 예를 들어, 패럴렉스 베리어, 렌티큘라 렌즈 등이 부착된다. On the screen of the display panel 100, an optical element for separating the optical axis of the left eye image and the right eye image, for example, a parallax barrier, a lenticular lens, or the like is attached.

도 9는 도 8에 도시된 2D-3D 영상 변환부(112)를 상세히 보여 주는 블록도이다. FIG. 9 is a detailed block diagram of the 2D-3D image conversion unit 112 shown in FIG.

도 9를 참조하면, 2D-3D 영상 변환부(112)는 뎁쓰맵 생성부(10), 3D 영상 데이터 생성부(20) 등을 포함한다. Referring to FIG. 9, the 2D-3D image conversion unit 112 includes a depth map generation unit 10, a 3D image data generation unit 20, and the like.

뎁쓰맵 생성부(10)는 도 2와 같은 2D-3D 영상 변환 알고리즘을 처리하여 2D 영상 데이터를 입력 받아 객체별로 뎁쓰값을 생성함과 아울러 객체 내에 존재하는 세부 객체의 뎁쓰값을 생성한다. 그리고 뎁쓰맵 생성부(10)는 뎁쓰값을 픽셀 데이터들 각각에 맵핑한 뎁쓰맵을 생성하여 3D 영상 데이터 생성부(20)에 전송한다. 이를 위하여 뎁쓰맵 생성부(10)는 제1 뎁쓰 생성부(11), 세부 객체 마스킹부(12), 뎁쓰 갭 베리어 처리부(Depth gap barrier processor, 13), 제2 뎁쓰 생성부(14), 및 뎁쓰 병합부(15) 등을 포함한다. The debsquare map generation unit 10 processes the 2D-3D image transformation algorithm as shown in FIG. 2, receives 2D image data, generates a depth value for each object, and generates a depth value of the detailed object existing in the object. The debsquare map generation unit 10 generates a debsquare mapping the depth value to each of the pixel data and transmits it to the 3D image data generation unit 20. To this end, the depth maps generating unit 10 includes a first depth generating unit 11, a detail object masking unit 12, a depth gap barrier processor 13, a second depth generating unit 14, A depth merging unit 15, and the like.

제1 뎁쓰 생성부(11)는 도 2의 S1 단계를 처리하는 회로 모듈로서, 2D 입력 영상을 분석하여 객체들 각각에 뎁쓰값을 부여하여 제1 뎁쓰맵을을 생성한다. 세부 객체 마스킹부(12)는 도 2의 S2 단계를 처리하는 회로 모듈로서, 세부 객체를 특정하기 위하여 미리 설정된 마스크와 2D 영상을 맵핑하여 객체 내에 존재하는 세부 객체들 각각의 특징점을 추적하고 그 세부 객체들의 위치와 각도 정보를 획득한다. 뎁쓰 갭 베리어 처리부(13)는 도 2의 S3 단계를 처리하는 회로 모듈로서, 객체 각각을 레이어로 분할하여 레이어들에 세부 객체들을 맵핑하고 세부 객체들 간의 위치 역전을 방지하도록 레이어 상한값들을 제한한다. 제2 뎁쓰 생성부(14)는 도 2의 S4 단계를 처리하는 회로 모듈로서, 레이어들에 맵핑된 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하고, 미리 설정된 가중치에 따라 세부 객체들의 뎁쓰값을 조정할 수 있다. 뎁쓰 병합부(15)는 도 2의 S55 단계를 처리하는 회로 모듈로서, 객체별로 뎁쓰값이 맵핑된 제1 뎁쓰맵에 객체 내에 존재하는 세부 객체들에 뎁쓰값이 맵핑된 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성한다.The first depth generating unit 11 is a circuit module for processing the step S1 in FIG. 2, and generates a first depth map by analyzing a 2D input image and assigning a depth value to each of the objects. The detail object masking unit 12 is a circuit module for processing the step S2 of FIG. 2. The feature object masking unit 12 tracks the minutiae of each detail object existing in the object by mapping a preset mask and a 2D image to specify a detail object, Obtain position and angle information of objects. The depth gap barrier processing unit 13 is a circuit module that processes step S3 in FIG. 2, and divides each of the objects into layers to map the detailed objects to the layers, and limits the layer upper limit values to prevent position inversion between the detailed objects. The second depth generator 14 is a circuit module that processes S4 in FIG. 2. The second depth generator 14 generates a second debth map by assigning a depth value to each of the detailed objects mapped to the layers, You can adjust the depth value of objects. The depth merging unit 15 is a circuit module for processing the step S55 shown in FIG. 2. The depth mapping unit 15 merges the second debsum map in which the depth values are mapped to the detailed objects existing in the object, in the first depths map, And creates the final deb submaps.

3D 영상 데이터 생성부(20)는 뎁쓰맵 생성부(10)로부터 입력 받은 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성한다. The 3D image data generation unit 20 generates left eye image data and right eye image data to which a visual difference is given according to the depth values of the final depth map input from the depth map generation unit 10. [

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the present invention should not be limited to the details described in the detailed description, but should be defined by the claims.

10 : 뎁쓰맵 생성부 11 : 제1 뎁쓰 생성부
12 : 세부 객체 마스킹부 13 : 뎁쓰 갭 베리어 처리부
14 : 제2 뎁쓰 생성부 15 : 뎁쓰 병합부
20 : 3D 영상 데이터 생성부 100 : 표시패널
101 : 타이밍 콘트롤러 102 : 데이터 구동회로
103 : 게이트 구동회로 110 : 호스트 시스템
112 : 2D-3D 영상 변환부
10: Debt-map generating unit 11: First depth generating unit
12: detail object masking unit 13: depth gap barrier processing unit
14: Second Depth Generation Unit 15: Depth Merging Unit
20: 3D image data generation unit 100: Display panel
101: timing controller 102: data driving circuit
103: Gate drive circuit 110: Host system
112: 2D-3D image conversion unit

Claims (6)

2D 영상 데이터를 입력 받는 단계;
상기 2D 영상 데이터를 분석하여 상기 2D 영상 내에 존재하는 객체들 각각에 대한 뎁쓰값을 설정한 제1 뎁쓰맵을 생성하는 단계;
미리 설정된 마스크를 상기 2D 영상 데이터에 맵핑하여 상기 객체들 각각의 내부에 존재하는 세부 객체들 각각의 특징점을 추적함으로써 상기 세부 객체들 각각의 위치와 각도 정보를 획득하는 단계;
상기 객체들 각각에서 다수로 분할된 레이어들에 상기 세부 객체들을 맵핑하는 단계;
상기 레이어들에 맵핑된 상기 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 단계;
상기 제1 뎁쓰맵과 상기 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성하는 단계; 및
상기 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계를 포함하고,
상기 마스크는 상기 세부 객체들 각각의 형태적인 특징을 정의하고,
상기 마스크는,
얼굴 중심축과 눈, 코, 입의 윤곽 특징을 정의한 얼굴 마스크를 포함하는 것을 특징으로 하는 2D-3D 영상 변환 방법.
Receiving 2D image data;
Analyzing the 2D image data to generate a first depth map in which a depth value of each object existing in the 2D image is set;
Acquiring position and angle information of each of the detailed objects by mapping preset masks to the 2D image data and tracking feature points of each of the detailed objects existing in each of the objects;
Mapping the detailed objects to a plurality of layers partitioned in each of the objects;
Generating a second debth map by assigning a debts value to each of the detailed objects mapped to the layers;
Merging the first debtsmaps and the second debtsmaps to generate a final debsm map; And
And generating left eye image data and right eye image data to which a time difference is given according to the depth values of the final depth map,
Wherein the mask defines a morphological characteristic of each of the detail objects,
Wherein,
And a face mask defining a face center axis and an outline feature of eyes, nose, and mouth.
제 1 항에 있어서,
상기 레이어들에 맵핑된 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 단계는,
상기 세부 객체들 각각의 뎁쓰값을 미리 설정된 가중치에 따라 조정하는 단계를 포함하는 것을 특징으로 하는 2D-3D 영상 변환 방법.
The method according to claim 1,
Wherein the step of assigning the debts value to each of the detailed objects mapped to the layers to generate the second debth map comprises:
And adjusting the depth value of each of the detailed objects according to a predetermined weight.
제 2 항에 있어서,
상기 세부 객체들의 뎁쓰값을 D, 소정의 기준 뎁쓰값을 DREF, 상기 가중치를 α라 할 때,
상기 세부 객체들의 뎁쓰값은,
Figure 112010067389378-pat00003

으로 산출되는 것을 특징으로 하는 2D-3D 영상 변환 방법.
3. The method of claim 2,
When the depth value of the detailed objects is D, the predetermined reference depth value is D REF , and the weight is α,
The depth value of the detailed objects is calculated as follows:
Figure 112010067389378-pat00003

Dimensional image is transformed into a 2D-3D image.
2D 영상 데이터를 입력 받아 상기 2D 영상 데이터를 분석하여 상기 2D 영상 내에 존재하는 객체들 각각에 대한 뎁쓰값을 설정한 제1 뎁쓰맵을 생성하는 제1 뎁쓰 생성부;
미리 설정된 마스크를 상기 2D 영상 데이터에 맵핑하여 상기 객체들 각각의 내부에 존재하는 세부 객체들 각각의 특징점을 추적함으로써 상기 세부 객체들 각각의 위치와 각도 정보를 획득하는 세부 객체 마스킹부;
상기 객체들 각각에서 다수로 분할된 레이어들에 상기 세부 객체들을 맵핑하는 뎁쓰 갭 베리어 처리부;
상기 레이어들에 맵핑된 상기 세부 객체들 각각에 뎁쓰값을 부여하여 제2 뎁쓰맵을 생성하는 제2 뎁쓰 생성부;
상기 제1 뎁쓰맵과 상기 제2 뎁쓰맵을 병합하여 최종 뎁쓰맵을 생성하는 뎁쓰 병합부;
상기 최종 뎁쓰맵의 뎁쓰값들에 따라 시각차를 부여한 좌안 영상 데이터와 우안 영상 데이터를 생성하는 3D 영상 데이터 생성부; 및
상기 좌안 영상 데이터와 상기 우안 영상 데이터를 표시패널에 표시하는 표시패널 구동회로를 포함하고,
상기 마스크는 상기 세부 객체들 각각의 형태적인 특징을 정의하고,
상기 마스크는,
얼굴 중심축과 눈, 코, 입의 윤곽 특징을 정의한 얼굴 마스크를 포함하는 것을 특징으로 하는 입체 영상 표시장치.
A first depth generator for receiving a 2D image data and analyzing the 2D image data to generate a first depth map having a depth value for each of objects existing in the 2D image;
A detailed object masking unit for mapping the preset mask to the 2D image data and tracking feature points of the detailed objects existing in the respective objects to thereby acquire position and angle information of each of the detailed objects;
A depth gap barrier processing unit for mapping the detailed objects to a plurality of layers divided from each of the objects;
A second depth generator for generating a second depth map by assigning a depth value to each of the detailed objects mapped to the layers;
A depth merging unit for merging the first depths map and the second depths map to generate a final depths map;
A 3D image data generation unit for generating left eye image data and right eye image data in which a visual difference is given according to the depth values of the final depth map; And
And a display panel drive circuit for displaying the left eye image data and the right eye image data on a display panel,
Wherein the mask defines a morphological characteristic of each of the detail objects,
Wherein,
And a face mask defining features of the face center axis and features of the eyes, nose, and mouth.
제 4 항에 있어서,
상기 표시패널은,
안경방식의 입체 영상 표시장치와 무안경 방식의 입체 영상 표시장치 중 어느 하나의 표시패널인 것을 특징으로 하는 입체 영상 표시장치.
5. The method of claim 4,
In the display panel,
Wherein the stereoscopic image display device is one of a spectacle-type stereoscopic image display device and a non-spectacle-type stereoscopic image display device.
제 4 항에 있어서,
상기 표시패널은,
액정표시소자(LCD), 전계 방출 표시소자(FED), 플라즈마 디스플레이 패널(PDP), 전계발광소자(EL), 및 전기영동 표시소자(EPD) 중 어느 하나의 표시패널인 것을 특징으로 하는 입체 영상 표시장치.
5. The method of claim 4,
In the display panel,
Wherein the display panel is one of a liquid crystal display device (LCD), a field emission display device (FED), a plasma display panel (PDP), an electroluminescent device (EL), and an electrophoretic display device (EPD) Display device.
KR1020100101767A 2010-10-19 2010-10-19 2d-3d image conversion method and stereoscopic image display using the same KR101780813B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100101767A KR101780813B1 (en) 2010-10-19 2010-10-19 2d-3d image conversion method and stereoscopic image display using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100101767A KR101780813B1 (en) 2010-10-19 2010-10-19 2d-3d image conversion method and stereoscopic image display using the same

Publications (2)

Publication Number Publication Date
KR20120040386A KR20120040386A (en) 2012-04-27
KR101780813B1 true KR101780813B1 (en) 2017-09-21

Family

ID=46140291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100101767A KR101780813B1 (en) 2010-10-19 2010-10-19 2d-3d image conversion method and stereoscopic image display using the same

Country Status (1)

Country Link
KR (1) KR101780813B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777875B1 (en) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 Stereoscopic image display and method of adjusting stereoscopic image thereof
US10033990B2 (en) 2015-01-30 2018-07-24 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
US9992473B2 (en) 2015-01-30 2018-06-05 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
EP3417345A1 (en) * 2015-09-01 2018-12-26 Jerry Nims Digital multi-dimensional image photon platform system and methods of use

Also Published As

Publication number Publication date
KR20120040386A (en) 2012-04-27

Similar Documents

Publication Publication Date Title
KR101777875B1 (en) Stereoscopic image display and method of adjusting stereoscopic image thereof
KR101470693B1 (en) Image data processing method and stereoscopic image display using the same
TWI523493B (en) Three-dimensional image display device and driving method thereof
KR101869872B1 (en) Method of multi-view image formation and stereoscopic image display device using the same
JP2011035712A (en) Image processing device, image processing method and stereoscopic image display device
US20150304645A1 (en) Enhancing the Coupled Zone of a Stereoscopic Display
KR101780813B1 (en) 2d-3d image conversion method and stereoscopic image display using the same
KR101731113B1 (en) 2d-3d image conversion method and stereoscopic image display using the same
KR102298232B1 (en) Stereoscopic image display device having function of space touch
KR101963385B1 (en) Disparity calculation method and stereoscopic image display device
KR102279816B1 (en) Autostereoscopic 3d display device
US9756321B2 (en) Three-dimensional image display device and method of displaying three dimensional image
KR101929042B1 (en) Disparity calculation unit and stereoscopic image display device including the same and disparity calculation method
TWI449956B (en) Three-dimensional display apparatus using active polarization
KR100855040B1 (en) 3d lcd monitor control system
KR101901242B1 (en) Method for correcting three dimensional image data
KR101922086B1 (en) Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same
KR101863140B1 (en) Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same
KR101957975B1 (en) Disparity calculation method and stereoscopic image display device using the same
KR101681777B1 (en) Scanning backlight driving method and stereoscopic image display device using the same
KR102135914B1 (en) Image data processing method and multi-view autostereoscopic image display using the same
KR101961943B1 (en) 3d image data formation method and stereoscopic image display device using the same
KR20210079612A (en) Display Device
KR101983369B1 (en) Multiview image generation method and stereoscopic image display device using the same
KR20140139847A (en) Stereoscopic display device, image processing device and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right