KR101869872B1 - 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 - Google Patents

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 Download PDF

Info

Publication number
KR101869872B1
KR101869872B1 KR1020110127515A KR20110127515A KR101869872B1 KR 101869872 B1 KR101869872 B1 KR 101869872B1 KR 1020110127515 A KR1020110127515 A KR 1020110127515A KR 20110127515 A KR20110127515 A KR 20110127515A KR 101869872 B1 KR101869872 B1 KR 101869872B1
Authority
KR
South Korea
Prior art keywords
image
reference point
luminance
data
view
Prior art date
Application number
KR1020110127515A
Other languages
English (en)
Other versions
KR20130061289A (ko
Inventor
박명수
이재우
안충환
정보균
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110127515A priority Critical patent/KR101869872B1/ko
Publication of KR20130061289A publication Critical patent/KR20130061289A/ko
Application granted granted Critical
Publication of KR101869872B1 publication Critical patent/KR101869872B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3696—Generation of voltages supplied to electrode drivers

Abstract

본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하는 단계; 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하는 단계; 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출하는 단계를 포함한다.

Description

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치{METHOD OF MULTI-VIEW IMAGE FORMATION AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광을 바꿔서 표시하고 편광안경을 사용하여 입체영상을 구현하거나, 좌우 시차 영상을 시분할방식으로 표시하고 셔터안경을 사용하여 입체영상을 구현한다. 무안경방식은 일반적으로 패럴렉스 배리어, 렌티큘러 시트 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.
안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하더라도 품질 높은 입체영상을 구현할 수 있지만, 무안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하여 입체영상을 구현할 경우 역입체시 영역에서 입체영상을 시청할 가능성이 커지므로, 입체영상의 품질이 저하되는 단점이 있다. 역입체시 영역은 시청자가 좌안으로 우안 영상을 보거나 우안으로 좌안 영상을 보게 되는 영역을 의미한다. 따라서, 무안경 방식의 입체영상 표시장치는 입체영상의 품질을 높이기 위해 멀티뷰(multi-view) 영상을 이용하여 입체영상을 구현한다. 멀티뷰 영상은 일반인의 양안 간격만큼 카메라들을 이격하고 객체에 대한 이미지를 촬영하여 생성한 영상이다. 멀티뷰 영상의 뷰(view)의 개수는 객체를 촬영하는 카메라들의 수에 의해 결정된다. 예를 들어, 3 대의 카메라들을 이용하여 객체를 촬영하는 경우, 멀티뷰 영상은 3 개의 뷰를 갖는다.
한편, 3 개 이상의 뷰를 갖는 멀티뷰 영상을 생성하는 경우 좌안 영상과 우안 영상을 포함하는 3D 영상을 생성할 때보다 카메라들이 많이 필요하므로, 작업이 어려워지고 비용이 상승하는 문제가 있다. 이로 인해, 멀티뷰 영상으로 구현된 컨텐츠(contents)가 적다. 그러므로, 최근에는 카메라들을 이용하여 멀티뷰 영상을 생성하는 것이 아니라, 2D 영상 또는 좌안 영상과 우안 영상을 포함하는 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 알려져 있다.
3D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 좌안 영상과 우안 영상으로부터 입체영상의 깊이 정보인 뎁스 맵(depth map)을 추출하고, 뎁스 맵의 깊이 정보를 이용하여 멀티 뷰 영상을 생성한다. 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 정확한 뎁스 맵을 추출할 수 있으므로 입체영상의 품질이 높다는 장점이 있으나, 좌안 영상과 우안 영상으로부터 뎁스 맵을 추출하는 알고리즘이 복잡하므로, 계산량이 많아 실시간으로 멀티뷰 영상을 생성하기는 어렵다는 단점이 있다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 2D 영상과 2D 영상으로부터 추출된 뎁스 맵을 입력받고, 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성한다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 멀티뷰 영상 생성 알고리즘이 간단하다는 장점이 있다. 따라서, 최근에는 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 제안되고 있다.
2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법의 경우, 뎁스 맵의 뎁스로부터 디스패리티(disparity)를 산출시 기준점(baseline)에 따라 멀티뷰 영상의 입체감은 달라질 수 있다. 기준점보다 뎁스가 큰 경우 디스패리티는 양의 값을 가지며, 사용자는 표시패널 대비 앞쪽에 영상이 표시되는 것처럼 입체감을 느낄 수 있다. 또한, 뎁스 맵에서 기준점보다 뎁스가 작은 경우 디스패리티는 음의 값을 가지며, 사용자는 표시패널 대비 뒤쪽에 영상이 표시되는 것처럼 입체감을 느낄 수 있다. 하지만, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법의 경우, 기준점(baseline)이 고정되어 있으므로, 사용자의 입체감 기호를 전혀 반영할 수 없다는 문제가 있다. 한편, 디스패리티는 입체감을 형성하기 위해 2D 영상 데이터를 왼쪽 또는 오른쪽으로 쉬프트시키는 픽셀의 개수를 의미한다.
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 사용자의 기호에 따라 입체감을 조정할 수 있는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치를 제공한다.
본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하는 단계; 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하는 단계; 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출하는 단계를 포함한다.
본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계; 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계; 및 상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출하는 단계를 포함한다.
본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하고, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 히스토그램을 이용하여 기준점을 선택하며, 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하고, 상기 기준점을 기준으로 상기 소정의 간격마다 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하고, 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하며, 상기 기준점을 기준으로 상기 소정의 간격마다 상기 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
본 발명은 정지 영상의 경우 뎁스 맵의 휘도 영상의 히스토그램을 분석하고 사용자의 기호에 따라 히스토그램을 이용하여 기준점을 선택하고, 동영상의 경우 뎁스 맵의 휘도 영상을 모션 벡터를 이용하여 기준점을 선택하며, 선택된 기준점에 기초하여 디스패리티를 산출한다. 그 결과, 본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 사용자의 기호에 따라 입체감을 조정할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 2는 2D 영상과 뎁스 맵을 포함하는 입력 영상의 일 예시도면.
도 3은 뎁스 맵의 히스토그램을 보여주는 일 예시도면.
도 4는 계조에 따른 디스패리티 산출 그래프를 보여주는 일 예시도면.
도 5는 제1 내지 제4 뷰를 포함하는 멀티뷰 영상을 보여주는 일 예시도면.
도 6은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 7은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 1을 참조하면, 본 발명의 제1 실시예는 정지 영상의 경우 입체감 형성의 기준이 되는 기준점(baseline)을 사용자의 기호에 따라 변경할 수 있는 멀티뷰 영상 생성방법에 관한 것이다. 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제7 단계(S101 내지 S107)를 포함한다.
첫 번째로, 제1 단계(S101)는 2D 영상(image)과 뎁스 맵(depth map, 도면부호는 'depth')이 도 2와 같이 나란히(side by side) 입력되는 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 본 발명의 제1 실시예에서 입력 영상(input)은 RGB 데이터로 입력된 것을 중심으로 설명하였다. 즉, 제1 단계(S101)는 입력 영상(input)의 RGB 데이터를 휘도 및 색차 데이터(Y, U, V)로 변환함으로써, 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 입력 영상(input)의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환함으로써, 입력 영상(input)의 휘도 및 색차 영상이 산출된다.
Figure 112011095537128-pat00001
Figure 112011095537128-pat00002
Figure 112011095537128-pat00003
수학식 1 내지 수학식 3에서, R은 적색 데이터, G는 녹색 데이터, B는 청색 데이터를 의미한다. 입력 영상(input)이 8비트(bits)의 데이터로 입력되는 경우, 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)는 0 내지 255 값으로 표현되므로, 휘도 및 색차 데이터(Y, U, V)는 0 내지 255 값으로 표현된다. (S101)
두 번째로, 제2 단계(S102)는 이미 알려진 공지의 필터를 이용하여 입력 영상(input)의 휘도 영상의 노이즈(noise)를 제거한다. 예를 들어, 입력 영상(input)의 노이즈는 미디언 필터(median filter)를 이용하여 제거될 수 있다. 미디언 필터를 이용하는 경우 m×n(m, n은 자연수) 마스크 내의 중심 화소의 휘도 데이터(Y)는 m×n 마스크 내의 휘도 데이터(Y)의 중간값으로 변환되므로, 입력 영상(input)의 휘도 영상은 노이즈 없이 스무드(smooth)하게 표현될 수 있다. 또한, 입력 영상(input)의 휘도 데이터(Y)의 노이즈는 민 필터(mean filter)를 이용하여 제거될 수 있다. 민 필터를 이용하는 경우, m×n 마스크 내의 중심 화소의 휘도 데이터(Y)는 m×n 마스크 내의 휘도 데이터(Y)의 평균값으로 변환되므로, 입력 영상(input)의 휘도 영상은 노이즈 없이 스무드하게 표현될 수 있다. (S102)
세 번째로, 제3 단계(S103)는 뎁스 맵(depth)의 휘도 영상을 히스토그램(histogram) 분석한다. 도 3은 뎁스 맵(depth)의 휘도 영상을 히스토그램 분석한 일 예시도면이다. 도 3을 참조하면, 뎁스 맵(depth)의 휘도 데이터(Y)는 최소값인 '71'과 최대값인 '201' 사이에 분포된다. (S103)
네 번째로, 제4 단계(S104)는 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 히스토그램을 이용하여 기준점(baseline)을 선택한다. 기준점(baseline)의 초기값은 히스토그램에서 상위 50%인 휘도 데이터(Y)로 설정된다. 기준점(baseline)이 히스토그램의 상위 50%보다 작은 휘도 데이터(Y)로 설정된다면, 사용자는 표시패널 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 기준점(baseline)이 히스토그램의 상위 50%보다 큰 휘도 데이터(Y)로 설정된다면, 사용자는 표시패널 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 따라서, 사용자가 입체감을 초기값보다 크게 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%보다 큰 휘도 데이터(Y)로 설정되고, 사용자가 입체감을 초기값으로 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%로 설정되며, 사용자가 입체감을 초기값보다 작게 설정한 경우 기준점(baseline)은 히스토그램의 상위 50%보다 작은 휘도 데이터(Y)로 설정하면 된다.
예를 들어, 사용자 입력장치에는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들이 있고, 사용자는 상기 선택 버튼들 중에 어느 하나를 선택함으로써, 입체감을 조정할 수 있다. 사용자가 '입체감 상'을 선택한다면 기준점(baseline)은 히스토그램의 상위 60%인 휘도 데이터(Y)로 설정되고, 사용자가 '입체감 중'을 선택한다면 기준점(baseline)은 히스토그램의 상위 50%인 휘도 데이터(Y)로 설정되고, 사용자가 '입체감 하'를 선택한다면 기준점(baseline)은 히스토그램의 상위 40%인 휘도 데이터(Y)로 설정될 수 있다. 한편, 도 3에서는 기준점(baseline)이 히스토그램의 상위 50%인 '148'로 설정되었다. (S104)
다섯 번째로, 디스패리티(disparity)는 휘도 데이터(Y)의 소정의 간격(G)마다 다르게 산출된다. 디스패리티는 입체감을 형성하기 위해 2D 영상(image)을 왼쪽 또는 오른쪽으로 쉬프트시킬 픽셀의 개수를 의미한다. 제5 단계(S105)는 수학식 4와 같이 기준점(baseline), 디스패리티의 개수(Ndis)를 이용하여 휘도 데이터(Y)의 소정의 간격(G)을 계산한다.
Figure 112011095537128-pat00004
수학식 4에서, G는 휘도 데이터(Y)의 소정의 간격, Max는 휘도 데이터(Y)의 최대값, baseline은 기준점, Ndis는 디스패리티의 개수를 의미한다. 또한, 수학식 4에서,
Figure 112011095537128-pat00005
는 휘도 데이터(Y)의 최대값(Max)과 기준점(baseline)의 차를 디스패리티의 개수(Ndis)로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 도 3과 같이 휘도 데이터(Y)의 최대값이 '201'이고, 기준점(baseline)이 '148'이며, 디스패리티의 개수(Ndis)가 '10'인 경우, 휘도 데이터(Y)의 소정의 간격(G)은 '[5.3]=5'로 산출된다. 한편, 디스패리티의 개수(Ndis)는 사전실험을 통해 미리 결정될 수 있다. (S105)
여섯 번째로, 제6 단계(S106)는 기준점(baseline)과 제5 단계(S105)에서 산출된 휘도 데이터(Y)의 소정의 간격(G)을 이용하여 뎁스 맵(depth)의 휘도 데이터(Y)로부터 디스패리티를 산출한다. 기준점(baseline)을 기준으로 휘도 데이터(Y)의 소정의 간격(G)마다 디스패리티를 다르게 산출한다. 휘도 데이터(Y)가 기준점(baseline)보다 큰 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 증가되도록 하고, 휘도 데이터(Y)가 기준점(baseline)보다 작은 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 감소되도록 한다. 도 4를 참조하여 설명하면, 소정의 간격(G)이 '5'인 경우, 기준점(baseline)인 휘도 데이터(Y)는 '148'이므로, '148'부터 '152'까지는 디스패리티가 '0'으로 산출되고, '153'부터 '157'까지는 디스패리티가 '1'로 산출되며, '158'부터 '162'까지는 디스패리티가 '2'로 산출된다. 또한, '143'부터 '147'까지는 디스패리티가 '-1'로 산출되고, '138'부터 '142'까지는 디스패리티가 '-2'로 산출되며, '133'부터 '137'까지는 디스패리티가 '-3'으로 산출된다. 도 4에서는 소정의 간격(G)마다 증가 또는 감소되는 소정의 값이 '1'인 것을 중심으로 설명하였으나, 이에 한정되지 않음에 주의하여야 한다. 한편, 디스패리티(disparity)는 물체(object)의 경우 양수로 산출되고, 배경(background)의 경우 음수로 산출될 수 있다. (S106)
일곱 번째로, 제7 단계(S107)는 멀티뷰 영상의 뷰의 개수(Nviews)에 따라 산출된 디스패리티(disparityi)로부터 수학식 5와 같이 멀티뷰 디스패리티(disparitym)를 산출하고, 멀티뷰 디스패리티(disparitym)를 2D 영상(image)에 적용하여 멀티뷰 영상을 생성한다.
Figure 112011095537128-pat00006
수학식 5에서, disparitym은 멀티뷰 영상을 생성하기 위해 2D 영상(image)에 적용될 멀티뷰 디스패리티, disparityi는 제6 단계(S106)에서 산출된 디스패리티, Nviews는 뷰의 개수를 의미한다. 수학식 5에서, [Nviews/2]는 뷰의 개수를 2로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 뷰의 개수가 5개인 경우, [Nviews/2]=[2.5]=2가 된다. 한편, 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출될 수 있다.
멀티뷰 영상은 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하므로, 제1 내지 제c 뷰 각각은 뷰의 위치에 따라 소정의 가중치(W)의 절대값이 곱해된 멀티뷰 디스패리티(disparitym)가 적용된다. 가중치(W)는 수학식 6과 같이 기준 뷰(Viewref)와 멀티뷰 디스패리티(disparitym)가 적용될 뷰(Viewcur)의 차이로 구해질 수 있다.
Figure 112011095537128-pat00007
기준 뷰(Viewref)는 도 5와 같이 2D 영상(image)의 뷰로 설정될 수 있다. 또한, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰는 가중치(W)가 양수로 설정되고, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰는 가중치(W)가 음수로 설정된다. 가중치가 양수인 경우, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 생성된다. 또한, 가중치(W)가 음수인 경우, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 왼쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 생성된다.
이하에서, 도 5를 참조하여 멀티뷰 영상의 제1 내지 제c 뷰 각각에 멀티뷰 디스패리티(disparitym)의 적용에 대하여 구체적으로 설명한다. 도 5에는 제1 내지 제4 뷰(View1~View4)를 포함하는 멀티뷰 영상이 나타나 있다.
제2 뷰(View2)가 기준 뷰(Viewref)이므로, 제1 뷰(View1)의 가중치(W)는 '2-1=1'로 산출되고, 제2 뷰(View2)의 가중치(W)는 '2-2=0'으로 산출되며, 제3 뷰(View3)의 가중치(W)는 '2-3=-1'로 산출되고, 제4 뷰(View4)의 가중치(W)는 '2-4=-2'로 산출된다. 제1 뷰(View1)의 가중치(W)가 '1'이므로, 제1 뷰(View1)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 제2 뷰(View2)의 가중치(W)는 '0'이므로, 제2 뷰(View2)는 2D 영상(image)이 된다. 제3 뷰(View3)의 가중치(W)는 '-1'이므로, 제3 뷰(View3)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. 제4 뷰(View4)의 가중치(W)는 '-2'이므로, 제4 뷰(View4)는 2D 영상(image)을 가중치(W)의 절대값인 '2'가 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. (S107)
도 6은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 6을 참조하면, 본 발명의 제2 실시예는 동영상의 경우 입체감 형성의 기준이 되는 기준점(baseline)을 사용자의 기호에 따라 변경할 수 있는 멀티뷰 영상 생성방법에 관한 것이다. 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제6 단계(S201 내지 S206)를 포함한다.
본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계(S201, S202)는 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계(S101, S102)에서 설명한 바와 실질적으로 동일하다. 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제4 내지 제6 단계(S204, S205, S206)는 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법의 제5 내지 제7 단계(S105, S106, S107)에서 설명한 바와 실질적으로 동일하다. 따라서, 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 및 제2 단계, 제4 내지 제6 단계(S201, S202, S204, S205, S206)에 대한 설명은 생략하기로 한다.
본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제3 단계(S203)는 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 뎁스 맵(depth)의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록(B1)과 제n 프레임 기간의 제2 블록(B2) 간의 모션 벡터를 이용하여 기준점(baseline)을 선택한다. 모션 벡터는 동영상의 움직임에 대한 벡터값을 의미하고, 제n-1 프레임 기간의 제1 블록(B1)과 제1 블록(B1) 내의 휘도 데이터(Y)와 동일한 제n 프레임 기간의 제2 블록(B2) 간의 벡터값이다.
기준점(baseline)을 선택하기 위한 모션 벡터의 초기화 값은 '0'이다. 이 경우, 제3 단계(S203)는 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 '0'인 제n 프레임 기간의 제2 블록(B2)을 검출하고, 모션 벡터 '0'을 기준점(baseline)으로 선택한다. 모션 벡터가 양수(또는 음수)로 설정된다면, 사용자는 표시패널 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 모션 벡터가 음수(또는 양수)로 설정된다면, 사용자는 표시패널 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되는 것을 느낄 수 있다. 따라서, 사용자가 입체감을 초기값보다 작게 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 소정의 양수(또는 음수)인 제n 프레임 기간의 제2 블록(B2)을 검출하고, 모션 벡터인 소정의 양수(또는 음수)를 기준점(baseline)으로 선택한다. 또한, 사용자가 입체감을 초기값으로 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 '0'인 제n 프레임 기간의 제2 블록(B2)을 검출하고 모션 벡터 '0'을 기준점(baseline)으로 선택한다. 또한, 사용자가 입체감을 초기값보다 크게 설정한 경우, 제n-1 프레임 기간의 제1 블록(B1)으로부터 모션 벡터가 소정의 음수(또는 양수)인 제n 프레임 기간의 제2 블록(B2)을 검출하고 모션 벡터인 소정의 음수(또는 양수)를 기준점(baseline)으로 선택한다. 한편, 2D 영상(image)을 왼쪽으로 쉬프트시켜 생성되는 뷰의 경우 모션 벡터가 양수로 설정되어야 사용자가 입체감을 덜 느끼게 되고, 2D 영상(image)을 오른쪽으로 쉬프트시켜 생성되는 뷰의 경우 모션 벡터가 음수로 설정되어야 사용자가 입체감을 덜 느끼게 된다.
예를 들어, 사용자 입력장치에는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들이 있고, 사용자는 상기 선택 버튼들 중에 어느 하나를 선택함으로써, 입체감을 조정할 수 있다. 사용자가 '입체감 상'을 선택한다면 모션 벡터는 음수(또는 양수)로 설정되고, 사용자가 '입체감 중'을 선택한다면 모션 벡터는 '0'으로 설정되며, 사용자가 '입체감 하'를 선택한다면 모션 벡터는 양수(또는 음수)로 설정될 수 있다.
한편, 모션 벡터를 이용하여 기준점(baseline)을 선택하는 방법은 복잡도가 높으므로 계산량이 많아지기 때문에, 실시간으로 원활하게 처리하기 위해 뎁스 맵(depth)의 휘도 영상을 다운 샘플링(down sampling)한 후, 모션 벡터를 이용하여 기준점(baseline)을 선택한다. 다운 샘플링은 뎁스 맵(depth)의 휘도 영상의 크기를 축소하는 것을 의미한다. (S103)
한편, 본 발명의 제1 실시예의 경우 제5 단계에서 히스토그램의 휘도 데이터(Y)의 최대값, 기준점(baseline), 및 디스패리티 개수(Ndis)를 이용하여 소정의 간격을 계산하였지만, 본 발명의 제2 실시예의 경우 제4 단계에서 모션 벡터의 최대값, 기준점(baseline), 및 디스패리티 개수(Ndis)를 이용하여 소정의 간격을 계산하는 것에 주의하여야 한다. 따라서, 수학식 4를 참조하면, 본 발명의 제1 실시예의 경우 Max가 히스토그램의 휘도 데이터(Y)의 최대값이지만, 본 발명의 제2 실시예의 경우 Max가 모션 벡터의 최대값인 것에 주의하여야 한다.
도 7은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도이다. 도 7을 참조하면, 본 발명의 실시예에 따른 입체영상 표시장치는 표시패널(10), 게이트 구동부(110), 데이터 구동부(120), 타이밍 콘트롤러(130), 멀티뷰 영상 생성부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 액정표시소자를 중심으로 예시하였지만, 액정표시소자에 한정되지 않는 것에 주의하여야 한다. 또한, 본 발명의 입체영상 표시장치는 배리어(barrier) 방식, 스위쳐블 배리어(switchable barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 및 스위쳐블 렌즈(switchable lens) 방식 등의 무안경방식으로도 구현될 수 있다.
표시패널(10)은 타이밍 콘트롤러(130)의 제어 하에 영상을 표시한다. 표시패널(10)은 두 장의 기판 사이에 액정층이 형성된다. 표시패널(10)의 하부 기판상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 셀영역들에 픽셀들이 매트릭스 형태로 배치된 TFT 어레이가 형성된다. 표시패널(10)의 픽셀들 각각은 박막 트랜지스터에 접속되어 화소전극과 공통전극 사이의 전계에 의해 구동된다.
표시패널(10)의 상부 기판상에는 블랙매트릭스, 컬러필터, 공통전극 등을 포함하는 컬러필터 어레이가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 기판상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 기판상에 형성된다. 표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다.
표시패널(10)의 상부 기판에는 상부 편광판이 부착되고, 하부 기판에는 하부 편광판이 부착된다. 상부 편광판의 광투과축과 하부 편광판의 광투과축은 직교된다. 또한, 상부 기판과 하부 기판에는 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부 기판과 하부 기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서가 형성된다.
표시패널(10)은 대표적으로 백라이트 유닛으로부터의 빛을 변조하는 투과형 액정표시패널이 선택될 수 있다. 백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.
백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동전류를 온/오프(ON/OFF)한다.
데이터 구동부(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)로부터 입력되는 영상 데이터(DATA')를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동부(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터전압에 동기되는 게이트 펄스를 표시패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.
타이밍 콘트롤러(130)는 멀티뷰 영상 생성부(140)로부터 출력된 영상 데이터(DATA)와 타이밍 신호들에 기초하여 게이트 구동부 제어신호(GCS)를 게이트 구동부(110)로 출력하고, 데이터 구동부 제어신호(DCS)를 데이터 구동부(120)로 출력한다. 타이밍 신호들은 수직동기신호, 수평동기신호, 데이터 인에이블(data enable) 신호, 및 도트 클럭 등을 포함한다. 게이트 구동부 제어신호는 게이트 스타트 펄스(Gate Start Pulse), 게이트 쉬프트 클럭(Gate Shift Clock), 및 게이트 출력 인에이블신호(Gate Output Enable) 등을 포함한다. 게이트 스타트 펄스는 첫 번째 게이트 펄스의 타이밍을 제어한다. 게이트 쉬프트 클럭은 게이트 스타트 펄스를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호는 게이트 구동부(110)의 출력 타이밍을 제어한다.
데이터 구동부 제어신호는 소스 스타트 펄스(Source Start Pulse), 소스 샘플링 클럭(Source Sampling Clock), 소스 출력 인에이블신호(Source Output Enable), 극성제어신호 등을 포함한다. 소스 스타트 펄스는 데이터 구동부(120)의 데이터 샘플링 시작 시점을 제어한다. 소스 샘플링 클럭은 라이징 또는 폴링 에지에 기준하여 데이터 구동부(120)의 샘플링 동작을 제어하는 클럭신호이다. 데이터 구동부(120)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스와 소스 샘플링 클럭은 생략될 수 있다. 극성제어신호는 데이터 구동부(120)로부터 출력되는 데이터전압의 극성을 L(L은 자연수) 수평기간 주기로 반전시킨다. 소스 출력 인에이블신호는 데이터 구동부(120)의 출력 타이밍을 제어한다.
호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 영상 데이터(DATA)를 멀티뷰 영상 생성부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 및 3D 모드를 구분할 수 있는 모드신호(MODE)를 멀티뷰 영상 생성부(140)에 공급한다.
사용자 입력장치(160)는 사용자가 입체감을 선택할 수 있는 버튼을 포함하고, 표시패널(10) 상에 부착되거나 내장된 터치 스크린, 온 스크린 디스플레이(On screen display, OSD), 키보드, 마우스, 리모트 콘트롤러(Remote controller) 등으로 구현될 수 있다. 구체적으로, 사용자 입력장치(160)는 '입체감 상', '입체감 중', 입체감 하'의 선택 버튼들로 구현될 수 있다. 이 경우, 사용자가 '입체감 상'을 선택한다면 표시패널(10) 대비 뒤쪽보다 앞쪽에 영상이 많이 표시되므로 사용자는 입체감을 크게 느낄 수 있고, 사용자가 '입체감 하'를 선택한다면 표시패널(10) 대비 앞쪽보다 뒤쪽에 영상이 많이 표시되므로, 사용자는 입체감을 덜 느낄 수 있다. 사용자 입력장치(160)는 사용자 입력장치(160)를 통해 입력된 사용자의 입체감 기호에 대한 정보(Ds)를 멀티뷰 영상 생성부(140)로 출력한다.
멀티뷰 영상 생성부(140)는 3D 모드에서 입력 영상 데이터(DATA)로부터 멀티뷰 영상 데이터(DATA')를 생성하여 타이밍 콘트롤러(130)에 공급한다. 멀티뷰 영상 생성부(140)의 멀티뷰 영상 생성방법은 도 1 내지 도 6을 결부하여 설명한 바와 같다. 입력 영상 데이터(DATA)는 2D 영상 데이터와 2D 영상 데이터의 뎁스 맵 데이터를 포함한다. 한편, 멀티뷰 영상 생성부(140)는 2D 모드에서 입력 영상 데이터(DATA)의 2D 영상 데이터를 샘플링한 후, 2D 영상 데이터를 타이밍 콘트롤러(130)에 공급한다.
이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 110: 게이트 구동부
120: 데이터 구동부 130: 타이밍 콘트롤러
140: 멀티뷰 영상 생성부 150: 호스트 시스템
160: 사용자 입력장치

Claims (16)

  1. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계;
    상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계;
    상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하는 단계;
    사용자 입력장치를 이용하여 사용자로부터 입체감 상, 입체감 중, 입체감 하 중 어느 하나를 입력받는 단계;
    상기 입체감 중이 선택되면 상기 휘도 영상의 히스토그램상에서 입체감 형성의 기준이 되는 기준점이 상기 히스토그램의 상위 50%인 휘도 데이터로 설정되고, 상기 입체감 상이 선택되면 상기 기준점은 상기 히스토그램의 상위 50%보다 큰 휘도 데이터로 설정되며, 상기 입체감 하가 선택되면 상기 기준점은 상기 히스토그램의 상위 50%보다 작은 휘도 데이터로 설정되는 단계;
    상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 휘도 데이터의 소정의 간격(G)을 계산하는 단계; 및
    상기 기준점을 기준으로 상기 휘도 데이터의 소정의 간격(G) 마다 디스패리티를 다르게 산출하는 단계를 포함하는 멀티뷰 영상 생성방법.
  2. 제 1 항에 있어서,
    상기 멀티뷰 영상의 뷰의 개수에 따라 상기 디스패리티로부터 멀티뷰 디스패리티를 산출하고, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계는,
    상기 소정의 간격은 상기 히스토그램의 휘도 데이터의 최대값과 상기 기준점의 차를 상기 디스패리티의 개수로 나눈 값에서 소수점 이하를 생략한 값으로 산출되는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  5. 제 1 항에 있어서,
    상기 기준점을 기준으로 상기 소정의 간격마다 상기 휘도 데이터의 디스패리티를 다르게 산출하는 단계는,
    상기 휘도 데이터가 상기 기준점보다 큰 경우, 상기 디스패리티는 상기 소정의 간격마다 소정의 값만큼 증가되고,
    상기 휘도 데이터가 상기 기준점보다 작은 경우, 상기 디스패리티는 상기 소정의 간격마다 상기 소정의 값만큼 감소되는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  6. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계;
    상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계;
    사용자 입력장치를 이용하여 사용자로부터 입체감 상, 입체감 중, 입체감 하 중 어느 하나를 입력받는 단계;
    상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계를 포함하되, 상기 입체감 중이 선택되면 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 '0'인 상기 제n 프레임 기간의 제2 블록을 검출하고, 상기 모션 벡터 '0'을 기준점으로 선택하고, 상기 입체감 하가 선택되면 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 양수인 상기 제n 프레임 기간의 제2 블록을 검출하여 상기 소정의 양수를 기준점으로 선택하며, 상기 입체감 상이 선택되면 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 음수인 상기 제n 프레임 기간의 제2 블록을 검출하여 상기 소정의 음수를 기준점으로 선택하는 단계;
    상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 모션 벡터의 소정의 간격(G)을 계산하는 단계; 및
    상기 기준점을 기준으로 상기 모션 벡터의 소정의 간격(G)마다 상기 디스패리티를 다르게 산출하는 단계를 포함하는 멀티뷰 영상 생성방법.
  7. 제 6 항에 있어서,
    상기 멀티뷰 영상의 뷰의 개수에 따라 상기 디스패리티로부터 멀티뷰 디스패리티를 산출하고, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 6 항에 있어서,
    상기 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 단계는,
    상기 뎁스 맵의 휘도 영상을 다운 샘플링한 후, 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 기준점을 선택하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  12. 제 6 항에 있어서,
    상기 제2 블록 내 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 소정의 간격을 계산하는 단계는,
    상기 소정의 간격은 상기 모션 벡터의 최대값과 상기 기준점의 차를 상기 디스패리티의 개수로 나눈 값에서 소수점 이하를 생략한 값으로 산출되는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  13. 제 6 항에 있어서,
    상기 기준점을 기준으로 상기 모션 벡터의 간격마다 상기 모션 벡터의 디스패리티를 다르게 산출하는 단계는,
    상기 모션 벡터의가 상기 기준점보다 큰 경우, 상기 디스패리티는 상기 소정의 간격마다 소정의 값만큼 증가되고,
    상기 모션 벡터의가 상기 기준점보다 작은 경우, 상기 디스패리티는 상기 소정의 간격마다 상기 소정의 값만큼 감소되는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  14. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
    사용자로부터 입체감 상, 입체감 중, 입체감 하 중 어느 하나를 입력 받는 사용자 입력장치;
    2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 상기 뎁스 맵의 휘도 영상의 히스토그램을 분석하고, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 휘도 영상의 히스토그램상에서 입체감 형성의 기준이 되는 기준점을 선택하며, 상기 히스토그램의 휘도 데이터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 휘도 데이터의 소정의 간격(G)을 계산하고, 상기 기준점을 기준으로 상기 휘도 데이터의 소정의 간격(G)마다 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
    상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부;를 구비하고,
    상기 멀티뷰 영상 생성부는,
    상기 입체감 중이 선택되면 상기 휘도 영상의 히스토그램상에서 입체감 형성의 기준이 되는 기준점이 상기 히스토그램의 상위 50%인 휘도 데이터로 설정하고, 상기 입체감 상이 선택되면 상기 기준점은 상기 히스토그램의 상위 50%보다 큰 휘도 데이터로 설정하며, 상기 입체감 하가 선택되면 상기 기준점은 상기 히스토그램의 상위 50%보다 작은 휘도 데이터로 설정하는 입체영상 표시장치.
  15. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
    사용자로부터 입체감 상, 입체감 중, 입체감 하 중 어느 하나를 입력 받는 사용자 입력장치;
    2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하고, 상기 입력 영상의 휘도 영상의 노이즈를 제거하며, 사용자가 사용자 입력장치를 이용하여 선택한 입체감에 따라 상기 뎁스 맵의 휘도 영상에서 제n-1(n은 자연수) 기간의 제1 블록과 제n 프레임 기간의 제2 블록간의 모션 벡터를 이용하여 입체감 형성의 기준이 되는 기준점을 선택하고, 상기 모션 벡터의 최대값, 상기 기준점, 및 멀티뷰 영상 생성시 적용하고자 하는 디스패리티 개수를 이용하여 모션 벡터의 소정의 간격(G)을 계산하며, 상기 기준점을 기준으로 상기 모션 벡터의 소정의 간격(G)마다 상기 디스패리티를 다르게 산출한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
    상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하고,
    상기 멀티뷰 영상 생성부는,
    상기 입체감 중이 선택되면 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 '0'인 상기 제n 프레임 기간의 제2 블록을 검출하고, 상기 모션 벡터 '0'을 기준점으로 선택하고, 상기 입체감 하가 선택되면 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 양수인 상기 제n 프레임 기간의 제2 블록을 검출하여 상기 소정의 양수를 기준점으로 선택하며, 상기 입체감 상이 선택되면 상기 제n-1 프레임 기간의 제1 블록으로부터 모션 벡터가 소정의 음수인 상기 제n 프레임 기간의 제2 블록을 검출하여 상기 소정의 음수를 기준점으로 선택하는 입체영상 표시장치.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 사용자 입력장치는,
    사용자가 입체감을 선택할 수 있는 버튼을 포함하고, 입력된 상기 사용자의 입체감 기호에 대한 정보를 상기 멀티뷰 영상 생성부로 출력하는 입체영상 표시장치.
KR1020110127515A 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 KR101869872B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110127515A KR101869872B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110127515A KR101869872B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Publications (2)

Publication Number Publication Date
KR20130061289A KR20130061289A (ko) 2013-06-11
KR101869872B1 true KR101869872B1 (ko) 2018-06-21

Family

ID=48859435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110127515A KR101869872B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Country Status (1)

Country Link
KR (1) KR101869872B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
백윤기 외 3명, 2차원 동영상으로부터 다시점 동영상 생성 기법, 한국통신학회, 2008.1, 53-61 (9 pages).*
장성은 외 3명, 깊이맵 변환을 이용한 3D 입체감 개선 방법, 한국방송미디어공학회, 2011.11, 916-926 (11 pages).*

Also Published As

Publication number Publication date
KR20130061289A (ko) 2013-06-11

Similar Documents

Publication Publication Date Title
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
TWI510054B (zh) 立體影像顯示裝置及其驅動方法
KR101888672B1 (ko) 입체영상 표시장치와 그 구동방법
US8743111B2 (en) Stereoscopic image display and method for driving the same
JP5496276B2 (ja) 映像処理方法及び立体映像表示装置
KR101840876B1 (ko) 입체영상 표시장치와 그 구동방법
KR20140118393A (ko) 입체영상 표시장치와 그 구동방법
US9420269B2 (en) Stereoscopic image display device and method for driving the same
KR101793283B1 (ko) 재깅 개선방법과 이를 이용한 입체영상 표시장치
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101773616B1 (ko) 영상처리방법과 이를 이용한 입체영상 표시장치
KR101894090B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101843197B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101838752B1 (ko) 입체영상 표시장치와 그 구동방법
KR101798236B1 (ko) 입체 영상 표시장치와 그 휘도 조절 방법
KR20160024283A (ko) 렌티큘러 렌즈 방식의 입체영상표시장치
KR101829466B1 (ko) 입체영상 표시장치
US8723931B2 (en) Stereoscopic image display
KR101863140B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR101870233B1 (ko) 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치
KR101681777B1 (ko) 스캐닝 백라이트 구동방법과 이를 이용한 입체영상 표시장치
KR102135914B1 (ko) 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR20150003056A (ko) 3d 변환방법과 이를 이용한 입체영상 표시장치
KR20130028345A (ko) 재깅 검출방법과 이를 이용한 입체영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)