KR101843197B1 - 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 - Google Patents

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 Download PDF

Info

Publication number
KR101843197B1
KR101843197B1 KR1020110127513A KR20110127513A KR101843197B1 KR 101843197 B1 KR101843197 B1 KR 101843197B1 KR 1020110127513 A KR1020110127513 A KR 1020110127513A KR 20110127513 A KR20110127513 A KR 20110127513A KR 101843197 B1 KR101843197 B1 KR 101843197B1
Authority
KR
South Korea
Prior art keywords
image
view
edge
data
directionality
Prior art date
Application number
KR1020110127513A
Other languages
English (en)
Other versions
KR20130061287A (ko
Inventor
박명수
이재우
안충환
주성환
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110127513A priority Critical patent/KR101843197B1/ko
Publication of KR20130061287A publication Critical patent/KR20130061287A/ko
Application granted granted Critical
Publication of KR101843197B1 publication Critical patent/KR101843197B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3696—Generation of voltages supplied to electrode drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시예에 따른 멀티뷰 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 이용하여 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하는 단계; 상기 멀티뷰 영상의 제1 내지 제c뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하는 단계; 상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계; 상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우는 단계; 및 상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 단계를 포함한다.

Description

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치{METHOD OF MULTI-VIEW IMAGE FORMATION AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광을 바꿔서 표시하고 편광안경을 사용하여 입체영상을 구현하거나, 좌우 시차 영상을 시분할방식으로 표시하고 셔터안경을 사용하여 입체영상을 구현한다. 무안경방식은 일반적으로 패럴렉스 배리어, 렌티큘러 시트 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.
안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하더라도 품질 높은 입체영상을 구현할 수 있지만, 무안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하여 입체영상을 구현할 경우 역입체시 영역에서 입체영상을 시청할 가능성이 커지므로, 입체영상의 품질이 저하되는 단점이 있다. 역입체시 영역은 시청자가 좌안으로 우안 영상을 보거나 우안으로 좌안 영상을 보게 되는 영역을 의미한다. 따라서, 무안경 방식의 입체영상 표시장치는 입체영상의 품질을 높이기 위해 멀티뷰(multi-view) 영상을 이용하여 입체영상을 구현한다. 멀티뷰 영상은 일반인의 양안 간격만큼 카메라들을 이격하고 객체에 대한 이미지를 촬영하여 생성한 영상이다. 멀티뷰 영상의 뷰(view)의 개수는 객체를 촬영하는 카메라들의 수에 의해 결정된다. 예를 들어, 3 대의 카메라들을 이용하여 객체를 촬영하는 경우, 멀티뷰 영상은 3 개의 뷰를 갖는다.
한편, 3 개 이상의 뷰를 갖는 멀티뷰 영상을 생성하는 경우 좌안 영상과 우안 영상을 포함하는 3D 영상을 생성할 때보다 카메라들이 많이 필요하므로, 작업이 어려워지고 비용이 상승하는 문제가 있다. 이로 인해, 멀티뷰 영상으로 구현된 컨텐츠(contents)가 적다. 그러므로, 최근에는 카메라들을 이용하여 멀티뷰 영상을 생성하는 것이 아니라, 2D 영상 또는 좌안 영상과 우안 영상을 포함하는 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 알려져 있다.
3D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 좌안 영상과 우안 영상으로부터 입체영상의 깊이 정보인 뎁스 맵(depth map)을 추출하고, 뎁스 맵의 깊이 정보를 이용하여 멀티 뷰 영상을 생성한다. 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 정확한 뎁스 맵을 추출할 수 있으므로 입체영상의 품질이 높다는 장점이 있으나, 좌안 영상과 우안 영상으로부터 뎁스 맵을 추출하는 알고리즘이 복잡하므로, 계산량이 많아 실시간으로 멀티뷰 영상을 생성하기는 어렵다는 단점이 있다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 2D 영상과 2D 영상으로부터 추출된 뎁스 맵을 입력받고, 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성한다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 멀티뷰 영상 생성 알고리즘이 간단하다는 장점이 있다. 따라서, 최근에는 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 제안되고 있다.
한편, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법의 경우, 산출된 디스패리티(disparity)만큼 영상을 왼쪽 또는 오른쪽으로 쉬프트함으로써, 멀티뷰 영상이 생성된다. 그런데, 디스패리티(disparity) 만큼 왼쪽으로 쉬프트되는 영상은 영상의 오른쪽 끝부분의 영상이 손실되고, 오른쪽으로 쉬프트되는 영상은 영상의 왼쪽 끝부분의 영상이 손실된다. 종래에는 이렇게 영상이 손실되는 부분을 블랙으로 처리함으로써, 영상의 왜곡을 방지하고자 하였다. 하지만, 이 경우에도 영상의 손실을 막을 수는 없으므로, 영상이 손실되는 부분에서 입체영상의 품질이 저하되는 문제가 발생한다.
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 영상의 손실을 방지하여 입체영상의 품질을 높일 수 있는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치를 제공한다.
본 발명의 실시예에 따른 멀티뷰 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 이용하여 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하는 단계; 상기 멀티뷰 영상의 제1 내지 제c뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하는 단계; 상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계; 상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우는 단계; 및 상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 이용하여 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하고, 상기 멀티뷰 영상의 제1 내지 제c뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하며, 상기 경계부 좌표에서 에지의 방향성을 탐색하고, 상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우며, 상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
본 발명은 영상과 영상 손실 영역의 경계부에서 에지의 방향성을 탐색하고, 에지의 방향성에 따라 영상 손실 영역의 영상을 보완한다. 그 결과, 본 발명은 영상 손실 영역에 영상을 자연스럽게 채울 수 있으므로, 입체영상의 품질을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 2는 2D 영상과 뎁스 맵을 포함하는 입력 영상의 일 예시도면.
도 3은 제1 내지 제4 뷰를 포함하는 멀티뷰 영상을 보여주는 일 예시도면.
도 4는 블랙으로 처리된 영상 손실 영역을 포함하는 멀티뷰 영상의 어느 한 뷰를 보여주는 일 예시도면.
도 5a 및 도 5b는 수평 마스크 및 수직 마스크를 보여주는 일 예시도면.
도 6은 2D 영상의 양자화된 영상을 보여주는 일 예시도면.
도 7은 에지의 방향성에 따른 제1 내지 제6 영역을 보여주는 그래프.
도 8은 제1 내지 제6 영역의 tanθ 범위와 기준 좌표의 이동을 보여주는 표.
도 9는 제1 영역의 기준 좌표의 이동을 보여주는 일 예시도면.
도 10은 영상 손실 영역이 채워진 멀티뷰 영상의 어느 한 뷰를 보여주는 일 예시도면.
도 11은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 1은 본 발명의 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제10 단계(S101 내지 S110)를 포함한다.
본 발명의 실시예는 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 이용하여 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하고, 상기 멀티뷰 영상의 제1 내지 제c뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하며, 상기 경계부 좌표에서 에지의 방향성을 탐색하고, 상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우며, 상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성한다. 그 결과, 본 발명은 영상 손실 영역에 영상을 자연스럽게 채울 수 있으므로, 입체영상의 품질을 높일 수 있다. 이하에서, 본 발명의 실시예의 제1 내지 제10 단계(S101 내지 S110)를 상세히 살펴본다.
첫 번째로, 제1 단계(S101)는 2D 영상(image)과 뎁스 맵(depth map, 도면부호는 'depth')이 도 2와 같이 나란히(side by side) 입력되는 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 입력 영상(input)의 뎁스 맵(depth)은 컬러 세그멘테이션(color segmentation) 방법과 선형 방법 등을 이용하여 2D 영상(image)으로부터 추출될 수 있다. 컬러 세그멘테이션 방법은 색상의 유사성에 따라 깊이 정보를 다르게 분할하는 방법이고, 선형 방법은 영상의 중심에는 인물이 표시되고 영상의 바깥에는 배경이 표시되는 것이 일반적이므로 영상의 중심에서 바깥으로 갈수록 깊이 정보를 다르게 분할하는 방법이다. 본 발명의 실시예에서 입력 영상(input)은 RGB 데이터로 입력된 것을 중심으로 설명하였다.
제1 단계(S101)는 입력 영상(input)의 RGB 데이터를 휘도 및 색차 데이터(Y, U, V)로 변환함으로써, 입력 영상(input)을 휘도 및 색차 영상으로 변환한다. 입력 영상(input)의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환함으로써, 입력 영상(input)의 휘도 및 색차 영상이 산출된다.
Figure 112011095535980-pat00001
Figure 112011095535980-pat00002
Figure 112011095535980-pat00003
수학식 1 내지 수학식 3에서, R은 적색 데이터, G는 녹색 데이터, B는 청색 데이터를 의미한다. 입력 영상(input)이 8비트(bits)의 데이터로 입력되는 경우, 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)는 0 내지 255 값으로 표현되므로, 휘도 및 색차 데이터(Y, U, V)는 0 내지 255 값으로 표현된다. (S101)
두 번째로, 제2 단계(S102)는 뎁스 맵(depth)으로부터 디스패리티를 산출하고, 디스패리티와 멀티뷰 영상의 뷰의 개수를 이용하여 멀티뷰 디스패리티를 산출하며, 멀티뷰 디스패리티를 이용하여 2D 영상을 왼쪽 또는 오른쪽으로 쉬프트시켜 멀티뷰 영상을 생성한다. 멀티뷰 디스패리티(disparitym)는 입체감을 형성하기 위해 2D 영상(image)을 왼쪽 또는 오른쪽으로 쉬프트시키는 픽셀의 개수를 의미한다.
먼저, 뎁스 맵(depth)의 휘도 영상을 히스토그램 분석하여 기준점(baseline)을 산출한다. 예를 들어, 기준점은 히스토그램에서 상위 50%인 휘도 데이터(Y)로 설정될 수 있다.
그 다음, 수학식 4와 같이 기준점(baseline), 디스패리티의 개수(Ndis)를 이용하여 휘도 데이터(Y)의 소정의 간격(G)을 계산한다.
Figure 112011095535980-pat00004
수학식 4에서, G는 휘도 데이터(Y)의 소정의 간격, Max는 휘도 데이터(Y)의 최대값, baseline은 기준점, Ndis는 디스패리티의 개수를 의미한다. 또한, 수학식 4에서,
Figure 112011095535980-pat00005
는 휘도 데이터(Y)의 최대값(Max)과 기준점(baseline)의 차를 디스패리티의 개수(Ndis)로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 휘도 데이터(Y)의 최대값이 '201'이고, 기준점(baseline)이 '148'이며, 디스패리티의 개수(Ndis)가 '10'인 경우, 휘도 데이터(Y)의 소정의 간격(G)은 '[5.3]=5'로 산출된다. 한편, 디스패리티의 개수(Ndis)는 실험을 통해 적정한 값으로 결정될 수 있다.
그 다음, 기준점(baseline)을 기준으로 휘도 데이터(Y)의 소정의 간격(G)마다 디스패리티를 다르게 산출한다. 휘도 데이터(Y)가 기준점(baseline)보다 큰 범위에서는 디스패리티를 소정의 간격마다 소정의 값만큼 증가되도록 하고, 휘도 데이터(Y)가 기준점(baseline)보다 작은 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 감소되도록 한다. 예를 들어, 소정의 간격(G)이 '5'이고 기준점(baseline)이 '148'인 경우, '148'부터 '152'까지는 디스패리티가 '0'으로 산출되고, '153'부터 '157'까지는 디스패리티가 '1'로 산출되며, '156'부터 '162'까지는 디스패리티가 '2'로 산출될 수 있다. 또한, '143'부터 '147'까지는 디스패리티가 '-1'로 산출되고, '138'부터 '142'까지는 디스패리티가 '-2'로 산출되며, '133'부터 '137'까지는 디스패리티가 '-3'으로 산출될 수 있다. 한편, 디스패리티(disparity)는 물체(object)의 경우 양수로 산출되고, 배경(background)의 경우 음수로 산출될 수 있다.
그 다음, 멀티뷰 영상의 뷰의 개수(Nviews)에 따라 산출된 디스패리티(disparityi)로부터 수학식 5와 같이 멀티뷰 디스패리티(disparitym)를 산출하고, 멀티뷰 디스패리티(disparitym)를 2D 영상(image)에 적용하여 멀티뷰 영상을 생성한다.
Figure 112011095535980-pat00006
수학식 5에서, disparitym은 멀티뷰 영상을 생성하기 위해 2D 영상(image)에 적용될 멀티뷰 디스패리티, disparityi는 제6 단계(S106)에서 산출된 디스패리티, Nviews는 뷰의 개수를 의미한다. 수학식 5에서, [Nviews/2]는 뷰의 개수를 2로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 뷰의 개수가 5개인 경우, [Nviews/2]=[2.5]=2가 된다. 한편, 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출될 수 있다.
멀티뷰 영상은 제1 내지 제c 뷰를 포함하므로, 제1 내지 제c 뷰 각각은 뷰의 위치에 따라 소정의 가중치(W)의 절대값이 곱해된 멀티뷰 디스패리티(disparitym)가 적용된다. 가중치(W)는 수학식 6과 같이 기준 뷰(Viewref)와 멀티뷰 디스패리티(disparitym)가 적용될 뷰(Viewcur)의 차이로 구해질 수 있다.
Figure 112011095535980-pat00007
기준 뷰(Viewref)는 도 3과 같이 2D 영상(image)의 뷰로 설정될 수 있다. 또한, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰는 가중치(W)가 양수로 설정되고, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰는 가중치(W)가 음수로 설정된다. 가중치가 양수인 경우, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 생성된다. 이는 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출되기 때문이다.
또한, 가중치(W)가 음수인 경우, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 왼쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 생성된다. 이는 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출되기 때문이다.
이하에서, 도 3을 참조하여 멀티뷰 영상의 제1 내지 제c 뷰 각각에 멀티뷰 디스패리티(disparitym)의 적용에 대하여 구체적으로 설명한다. 도 3에는 제1 내지 제4 뷰(View1~View4)를 포함하는 멀티뷰 영상이 나타나 있다. 제2 뷰(View2)가 기준 뷰(Viewref)이므로, 제1 뷰(View1)의 가중치(W)는 '2-1=1'로 산출되고, 제2 뷰(View2)의 가중치(W)는 '2-2=0'으로 산출되며, 제3 뷰(View3)의 가중치(W)는 '2-3=-1'로 산출되고, 제4 뷰(View4)의 가중치(W)는 '2-4=-2'로 산출된다. 제1 뷰(View1)의 가중치(W)가 '1'이므로, 제1 뷰(View1)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 제2 뷰(View2)의 가중치(W)는 '0'이므로, 제2 뷰(View2)는 2D 영상(image)이 된다. 제3 뷰(View3)의 가중치(W)는 '-1'이므로, 제3 뷰(View3)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. 제4 뷰(View4)의 가중치(W)는 '-2'이므로, 제4 뷰(View4)는 2D 영상(image)을 가중치(W)의 절대값인 '2'가 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다.
한편, 멀티뷰 영상의 제1 내지 제c 뷰 각각은 가중치(W)가 곱해진 멀티뷰 디스패리티(disparitym)에 따라 쉬프트되므로, 영상 손실 영역이 발생하게 된다. 도 3을 참조하면, 기준 뷰(Viewref)보다 왼쪽에 위치하는 제1 뷰(View1)의 배경은 왼쪽으로 쉬프트되므로, 도 4와 같이 제1 뷰(View1)의 오른쪽 끝부분에 영상 손실이 발생한다. 또한, 기준 뷰(Viewref)보다 오른쪽에 위치하는 제3 및 제4 뷰(View3, View4)의 배경은 오른쪽으로 쉬프트되므로, 제3 및 제4 뷰(View3, View4)의 왼쪽 끝부분에 영상 손실이 발생한다. 영상 손실 영역은 도 4와 같이 블랙으로 처리된다. (S102)
세 번째로, 제3 단계(S103)는 휘도 영상의 에지(edge)를 검출한다. 제3 단계(S103)는 에지 검출의 정확도를 높이기 위해, 에지 검출 전에 이미 알려진 공지의 필터를 이용하여 휘도 영상의 노이즈(noise)를 제거한다. 예를 들어, 휘도 영상의 노이즈는 미디언 필터(median filter)를 이용하여 제거될 수 있다. 미디언 필터를 이용하는 경우 m×n(m, n은 자연수) 마스크 내의 중심 화소의 휘도 데이터가 m×n 마스크 내의 휘도 데이터의 중간값으로 변환되므로, 2D 영상(image)의 휘도 영상은 노이즈 없이 스무드(smooth)하게 표현될 수 있다.
휘도 영상의 노이즈가 제거되었다면, 소벨 마스크(sobel mask) 또는 캐니 마스크(canny mask) 등의 이미 알려진 공지의 마스크를 이용하여 휘도 영상의 에지를 검출한다. 소벨 마스크 또는 캐니 마스크는 도 5a와 같이 수평 마스크와 도 5b와 같이 수직 마스크를 이용하여 휘도 영상의 에지를 검출할 수 있다. 도 5a 및 도 5b에서는 수평 마스크와 수직 마스크 각각이 3×3 마스크인 것으로 예시되었으나, 이에 한정되지 않음에 주의하여야 한다. 즉, 수평 마스크와 수직 마스크 각각은 p×q(p, q는 자연수) 마스크로 설정될 수 있고, 마스크 계수는 실험에 의해 적정한 값으로 결정될 수 있다. (S103)
네 번째로, 제4 단계(S104)는 에지 검출 영상을 도 6과 같이 양자화(Quantization)하여 에지 영역을 더욱 선명하게 처리한다. 도 6에는 2D 영상(image)의 양자화 영상이 나타나 있다. 양자화는 에지 검출 영상의 에지 데이터가 제1 문턱값 이상인 경우 에지 데이터를 최대값으로 치환하고, 에지 데이터가 제1 문턱값보다 작은 경우 에지 데이터를 최소값으로 치환한다. 입력 영상(input)이 8비트의 데이터로 입력되는 경우, 에지 데이터의 최대값은 255이고, 에지 데이터의 최소값은 0이다. 제1 문턱값은 실험에 의해 적정한 값으로 결정될 수 있다. (S104)
다섯 번째로, 제5 단계(S105)는 멀티뷰 디스패리티(disparitym)를 에지 검출 영상과 양자화 영상 각각에 반영한다. 제5 단계(S105)는 제1 내지 제c 뷰 각각의 가중치(W)가 곱해진 멀티뷰 디스패리티(disparitym)를 이용하여 에지 검출 영상을 쉬프트하여 제1 내지 제c 뷰 각각의 쉬프트된 에지 검출 영상을 생성한다. 또한, 제5 단계(S105)는 제1 내지 제c 뷰 각각의 가중치(W)가 곱해진 멀티뷰 디스패리티(disparitym)를 이용하여 양자화 영상을 쉬프트하여 제1 내지 제c 뷰 각각의 쉬프트된 양자화 영상을 생성한다. 멀티뷰 디스패리티(disparitym)에 따라 에지 검출 영상과 양자화 영상을 쉬프트하는 방법은 도 5를 결부하여 앞에서 설명한 바와 같다. (S105)
여섯 번째로, 제6 단계(S106)는 멀티뷰 영상의 제1 내지 제c 뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출한다. 또한, 제6 단계(S106)는 멀티뷰 영상의 제1 내지 제c 뷰 각각에서 검출된 경계부 좌표를 쉬프트된 양자화 영상의 제1 내지 제c 뷰 각각에 매핑한다. (S106)
일곱 번째로, 제7 단계(S107)는 쉬프트된 양자화 영상의 제1 내지 제c 뷰 각각에서 경계부 좌표를 이용하여 에지의 방향성 탐색 여부를 결정한다. 제7 단계(S107)는 경계부 좌표가 특징점인지를 판단하고, 경계부 좌표가 특징점에 해당한다면 에지의 방향성을 탐색하고, 경계부 좌표가 특징점에 해당하지 않는다면 에지의 방향성을 탐색하지 않는다.
경계부 좌표가 에지 데이터의 최소값을 갖는 경우 에지에 해당하지 않으므로 특징점으로 검출되지 않는다. 경계부 좌표가 에지 데이터의 최대값을 갖는 경우 에지에 해당하므로 특징점으로 검출된다. 따라서, 경계부 좌표가 특징점으로 검출되는 경우 에지의 방향성을 탐색한다. (S107)
제8 단계(S108)는 경계부 좌표가 특징점인 경우 쉬프트된 에지 검출 영상의 에지 데이터를 이용하여 특징점으로 검출된 경계부 좌표의 에지 방향성을 탐색한다. 에지의 방향성을 탐색하기 위해, 먼저 수평 마스크를 이용하여 경계부 좌표의 에지의 수평 성분을 산출하고, 수직 마스크를 이용하여 경계부 좌표의 에지의 수직 성분을 산출한다. 그 다음, 수직 성분과 수평 성분을 이용하여 에지의 기울기를 산출하며, 에지의 기울기를 이용하여 에지의 방향성을 결정한다.
기준 뷰(Viewref)보다 왼쪽에 위치하는 제1 뷰(View1)의 경우, 도 4와 같이 제1 뷰(View1)의 오른쪽 끝부분에 영상 손실이 발생한다. 이 경우, 경계부 좌표의 에지는 도 7과 같이 제1 및 제4 사분면인 제1 내지 제6 영역(①~⑥) 중에 어느 한 영역으로 방향성을 갖는다.
에지의 기울기는 tanθ로 표현될 수 있다. 도 8에는 제1 내지 제6 영역 각각에서 tanθ의 범위가 나타나 있다. 도 8을 참조하면, tanθ가 0보다 크고 1보다 작거나 같은 경우, 에지는 제1 영역(①)으로 방향성을 갖는다. tanθ가 1보다 크고 2보다 작거나 같은 경우, 에지는 제2 영역(②)으로 방향성을 갖는다. tanθ가 2보다 큰 경우, 에지는 제3 영역(③)으로 방향성을 갖는다. 또한, tanθ가 -1보다 크거나 같고 0보다 작은 경우, 에지는 제4 영역(④)으로 방향성을 갖는다. tanθ가 -2보다 크거나 같고 -1보다 작은 경우, 에지는 제5 영역(⑤)으로 방향성을 갖는다. tanθ가 -2보다 작은 경우, 에지는 제6 영역(⑥)으로 방향성을 갖는다. 한편, tanθ가 0인 경우, 에지는 x 축 방향으로 방향성을 갖는데, 이는 제7 단계(S107)에서 이미 산출된 특징점이 없는 경계부 좌표에 해당한다.
한편, 기준 뷰(Viewref)보다 오른쪽에 위치하는 제3 및 제4 뷰(View3, View4)의 경우, 제3 및 제4 뷰(View3, View4)의 왼쪽 끝부분에 영상 손실이 발생한다. 이 경우, 경계부 좌표의 에지는 제2 및 제3 사분면인 제1 내지 제6 영역 중 어느 한 영역으로 방향성을 갖는다고 판단할 수 있다. 즉, 경계부 좌표의 에지는 제2 및 제3 사분면으로 방향성을 갖는 경우는 경계부 좌표의 에지가 제1 및 제4 사분면으로 방향성을 갖는 경우와 x축의 방향만 반대가 될 뿐, 나머지 설명은 도 7 및 도 8을 결부하여 설명한 바와 같다. (S108)
제9 단계(S109)는 에지의 방향성에 따라 영상 손실 영역의 영상 데이터를 채운다. 먼저, 제9 단계(S109)는 경계부 좌표가 특징점에 해당하는 경우, 경계부 좌표를 포함한 수직 u(u는 2 이상의 자연수) 개 좌표의 영상 데이터를 에지의 방향성에 따라 영상 손실 영역의 u 개의 좌표로 쉬프트시킨다. 도 9와 같이, 수직 u 개좌표의 영상 데이터는 경계부 좌표인 (x, y) 좌표를 포함한 수직 5 개 좌표의 영상 데이터로 구현될 수 있다. 이하에서, 수직 u 개 좌표의 영상 데이터는 수직 5 개 좌표의 영상 데이터인 것을 중심으로 설명한다.
이하에서, 도 7 및 도 8을 참조하여 경계부 좌표의 에지가 제1 및 제4 사분면인 제1 내지 제6 영역(①~⑥) 중에 어느 한 영역으로 방향성을 갖는 경우를 중심으로 상세히 설명한다. 도 8에는 설명의 편의를 위해 경계부 좌표인 (x, y) 좌표의 영상 데이터가 어느 정도 쉬프트되는지가 나타나 있으나, (x, y) 좌표의 영상 데이터뿐만 아니라 수직 5 개 좌표의 영상 데이터가 (x, y) 좌표의 영상 데이터가 쉬프트되는 만큼 쉬프트되는 것에 주의하여야 한다.
에지가 제1 영역(①)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 도 9와 같이 영상 손실 영역의 (x+2, y+1) 좌표를 포함한 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다. 에지가 제2 영역(②)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 영상 손실 영역의 (x+1, y+1) 좌표를 포함한 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다. 에지가 제3 영역(③)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 영상 손실 영역의 (x+1, y+2) 좌표를 포함한 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다. 또한, 에지가 제4 영역(④)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 영상 손실 영역의 (x+2, y-1) 좌표를 포함한 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다. 에지가 제5 영역(⑤)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 영상 손실 영역의 (x+1, y-1) 좌표를 포함하는 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다. 에지는 제6 영역(⑥)으로 방향성을 갖는 경우, 경계부 좌표인 (x, y) 좌표를 포함한 5개 좌표의 영상 데이터는 영상 손실 영역의 (x+1, y-2) 좌표를 포함하는 5개 좌표로 쉬프트되어 영상 손실 영역을 채우게 된다.
제9 단계(S109)는 특징점에 해당하는 경계부 좌표의 영상 데이터를 포함한 수직 u 개의 영상 데이터를 에지의 방향성에 따라 영상 손실 영역의 u 개의 좌표로 쉬프트시킨 후, 특징점에 해당하지 않는 경계부 좌표의 영상 데이터를 영상 손실 영역에서 채워지지 않은 영역으로 쉬프트시킨다. 특징점에 해당하지 않는 경계부 좌표인 (x, y) 좌표를 포함한 u 개 좌표의 영상 데이터는 영상 손실 영역의 (x+1, y) 좌표를 포함한 u 개의 좌표로 쉬프트되어 영상 손실 영역에서 채워지지 않은 영역을 채우게 된다. (S109)
제10 단계(S110)는 영상 손실 영역이 채워진 2D 영상(image)을 이용하여 멀티뷰 영상을 생성한다. 즉, 제10 단계(S110)는 제2 단계(S102)에서 산출된 멀티뷰 디스패리티를 이용하여 영상 손실 영역이 채워진 2D 영상(image)을 왼쪽 또는 오른쪽으로 쉬프트시켜 멀티뷰 영상을 생성한다. 멀티뷰 디스패리티를 이용하여 영상 손실 영역이 채워진 2D 영상(image)을 쉬프트하여 멀티뷰 영상을 생성하는 방법은 제2 단계(S102)에서 설명한 바와 실질적으로 동일하므로, 이에 대한 설명은 생략하기로 한다. (S110)
이상에서 살펴본 바와 같이, 본 발명은 영상과 영상 손실 영역의 경계부에서 에지의 방향성을 탐색하고, 에지의 방향성에 따라 영상 손실 영역의 영상을 보완한다. 그 결과, 본 발명은 영상 손실 영역에 영상을 자연스럽게 채울 수 있으므로, 입체영상의 품질을 높일 수 있다.
도 11은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도이다. 도 11을 참조하면, 본 발명의 실시예에 따른 입체영상 표시장치는 표시패널(10), 게이트 구동부(110), 데이터 구동부(120), 타이밍 콘트롤러(130), 멀티뷰 영상 생성부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 액정표시소자를 중심으로 예시하였지만, 액정표시소자에 한정되지 않는 것에 주의하여야 한다. 또한, 본 발명의 입체영상 표시장치는 배리어(barrier) 방식, 스위쳐블 배리어(switchable barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 및 스위쳐블 렌즈(switchable lens) 방식 등의 무안경방식으로도 구현될 수 있다.
표시패널(10)은 타이밍 콘트롤러(130)의 제어 하에 영상을 표시한다. 표시패널(10)은 두 장의 기판 사이에 액정층이 형성된다. 표시패널(10)의 하부 기판상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 셀영역들에 픽셀들이 매트릭스 형태로 배치된 TFT 어레이가 형성된다. 표시패널(10)의 픽셀들 각각은 박막 트랜지스터에 접속되어 화소전극과 공통전극 사이의 전계에 의해 구동된다.
표시패널(10)의 상부 기판상에는 블랙매트릭스, 컬러필터, 공통전극 등을 포함하는 컬러필터 어레이가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 기판상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 기판상에 형성된다. 표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다.
표시패널(10)의 상부 기판에는 상부 편광판이 부착되고, 하부 기판에는 하부 편광판이 부착된다. 상부 편광판의 광투과축과 하부 편광판의 광투과축은 직교된다. 또한, 상부 기판과 하부 기판에는 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부 기판과 하부 기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서가 형성된다.
표시패널(10)은 대표적으로 백라이트 유닛으로부터의 빛을 변조하는 투과형 액정표시패널이 선택될 수 있다. 백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.
백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동전류를 온/오프(ON/OFF)한다.
데이터 구동부(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)로부터 입력되는 영상 데이터(DATA')를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동부(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터전압에 동기되는 게이트 펄스를 표시패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.
타이밍 콘트롤러(130)는 멀티뷰 영상 생성부(140)로부터 출력된 영상 데이터(DATA)와 타이밍 신호들에 기초하여 게이트 구동부 제어신호(GCS)를 게이트 구동부(110)로 출력하고, 데이터 구동부 제어신호(DCS)를 데이터 구동부(120)로 출력한다. 타이밍 신호들은 수직동기신호, 수평동기신호, 데이터 인에이블(data enable) 신호, 및 도트 클럭 등을 포함한다. 게이트 구동부 제어신호는 게이트 스타트 펄스(Gate Start Pulse), 게이트 쉬프트 클럭(Gate Shift Clock), 및 게이트 출력 인에이블신호(Gate Output Enable) 등을 포함한다. 게이트 스타트 펄스는 첫 번째 게이트 펄스의 타이밍을 제어한다. 게이트 쉬프트 클럭은 게이트 스타트 펄스를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호는 게이트 구동부(110)의 출력 타이밍을 제어한다.
데이터 구동부 제어신호는 소스 스타트 펄스(Source Start Pulse), 소스 샘플링 클럭(Source Sampling Clock), 소스 출력 인에이블신호(Source Output Enable), 극성제어신호 등을 포함한다. 소스 스타트 펄스는 데이터 구동부(120)의 데이터 샘플링 시작 시점을 제어한다. 소스 샘플링 클럭은 라이징 또는 폴링 에지에 기준하여 데이터 구동부(120)의 샘플링 동작을 제어하는 클럭신호이다. 데이터 구동부(120)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스와 소스 샘플링 클럭은 생략될 수 있다. 극성제어신호는 데이터 구동부(120)로부터 출력되는 데이터전압의 극성을 L(L은 자연수) 수평기간 주기로 반전시킨다. 소스 출력 인에이블신호는 데이터 구동부(120)의 출력 타이밍을 제어한다.
호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 영상 데이터(DATA)를 멀티뷰 영상 생성부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 및 3D 모드를 구분할 수 있는 모드신호(MODE)를 멀티뷰 영상 생성부(140)에 공급한다.
멀티뷰 영상 생성부(140)는 3D 모드에서 입력 영상 데이터(DATA)로부터 멀티뷰 영상 데이터(DATA')를 생성하여 타이밍 콘트롤러(130)에 공급한다. 멀티뷰 영상 생성부(140)의 멀티뷰 영상 생성방법은 도 1 내지 도 10을 결부하여 설명한 바와 같다. 입력 영상 데이터(DATA)는 2D 영상 데이터와 2D 영상 데이터의 뎁스 맵 데이터를 포함한다. 한편, 멀티뷰 영상 생성부(140)는 2D 모드에서 입력 영상 데이터(DATA)의 2D 영상 데이터를 샘플링한 후, 2D 영상 데이터를 타이밍 콘트롤러(130)에 공급한다.
이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 110: 게이트 구동부
120: 데이터 구동부 130: 타이밍 콘트롤러
140: 멀티뷰 영상 생성부 150: 호스트 시스템

Claims (12)

  1. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 상기 뎁스 맵과 영상의 뷰의 개수에 기초하여 상기 2D 영상을 쉬프트시켜 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하는 단계;
    상기 멀티뷰 영상의 제1 내지 제c 뷰 각각에서 영상과 상기 2D 영상이 쉬프트함으로써 영상의 외각에 발생하는 영상 손실 영역의 경계부 좌표를 검출하는 단계;
    상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계;
    상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우는 단계; 및
    상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 단계를 포함하는 멀티뷰 영상 생성방법.
  2. 제 1 항에 있어서,
    상기 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 단계는,
    상기 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 휘도 및 색차 영상으로 변환하는 단계; 및
    상기 뎁스 맵으로부터 디스패리티를 산출하고, 상기 디스패리티와 상기 멀티뷰 영상의 뷰의 개수를 이용하여 멀티뷰 디스패리티를 산출하며, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 상기 멀티뷰 영상을 생성하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  3. 제 2 항에 있어서,
    상기 뎁스 맵으로부터 디스패리티를 산출하고, 상기 디스패리티와 상기 멀티뷰 영상의 뷰의 개수를 이용하여 멀티뷰 디스패리티를 산출하며, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 상기 멀티뷰 영상을 생성하는 단계는,
    상기 영상 손실 영역을 블랙으로 처리하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  4. 제 2 항에 있어서,
    상기 멀티뷰 영상의 제1 내지 제c뷰 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하는 단계는,
    상기 휘도 영상의 에지를 검출하는 단계;
    에지 검출 영상을 양자화하는 단계;
    상기 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 이용하여 상기 에지 검출 영상과 양자화 영상을 쉬프트하는 단계; 및
    멀티뷰 영상의 뷰들 각각에서 영상과 영상 손실 영역의 경계부 좌표를 검출하고, 쉬프트된 양자화 영상에 상기 경계부 좌표를 매핑하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  5. 제 4 항에 있어서,
    상기 입력 영상의 휘도 영상의 에지를 검출하는 단계는,
    미디언 필터를 이용하여 상기 입력 영상의 휘도 영상의 노이즈를 제거하는 단계; 및
    소벨 마스크 또는 캐니 마스크를 이용하여 상기 입력 영상의 휘도 영상의 에지를 검출하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  6. 제 4 항에 있어서,
    상기 에지 검출 영상을 양자화하는 단계는,
    상기 에지 검출 영상의 에지 데이터가 제1 문턱값 이상인 경우 상기 에지 데이터를 상기 에지 데이터의 최대값으로 치환하고, 상기 에지 데이터가 상기 제1 문턱값 보다 작은 경우 상기 에지 데이터의 최소값으로 치환하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  7. 제 4 항에 있어서,
    상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계는,
    상기 쉬프트된 상기 양자화 영상에서 상기 경계부 좌표가 특징점인지를 판단하고, 상기 경계부 좌표가 특징점인 경우 쉬프트된 상기 에지 검출 영상에서 상기 경계부 좌표의 에지 데이터를 이용하여 상기 에지의 방향성을 탐색하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  8. 제 7 항에 있어서,
    상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계는,
    상기 경계부 좌표가 상기 에지 데이터의 최대값인 경우 특징점으로 판단하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  9. 제 7 항에 있어서,
    상기 경계부 좌표에서 에지의 방향성을 탐색하는 단계는,
    수평 마스크를 이용하여 상기 에지 데이터의 수평 성분을 산출하고, 수직 마스크를 이용하여 상기 에지 데이터의 수직 성분을 산출하며, 상기 수평 성분과 수직 성분을 이용하여 에지의 기울기를 산출한 후, 상기 에지의 기울기를 이용하여 에지의 방향성을 결정하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  10. 제 8 항에 있어서,
    상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우는 단계는,
    상기 특징점에 해당하는 경계부 좌표의 영상 데이터를 포함한 수직 u(u는 2 이상의 자연수) 개의 영상 데이터를 에지의 방향성에 따라 영상 손실 영역의 u 개의 좌표로 쉬프트시킨 후, 상기 특징점에 해당하지 않는 경계부 좌표의 영상 데이터를 영상 손실 영역에서 채워지지 않은 영역으로 쉬프트시키는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  11. 제 1 항에 있어서,
    상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우는 단계는,
    상기 경계부 좌표를 포함한 u(u는 2 이상의 자연수) 개 좌표의 영상 데이터를 상기 에지의 방향성에 따라 상기 영상 손실 영역의 u 개 좌표의 영상 데이터로 쉬프트시키는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  12. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
    2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 상기 뎁스 맵과 영상의 뷰의 개수에 기초하여 상기 2D 영상을 쉬프트시켜 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하는 멀티뷰 영상을 생성하고, 상기 멀티뷰 영상의 제1 내지 제c 뷰 각각에서 영상과 상기 2D 영상이 쉬프트함으로써 영상의 외각에 발생하는 영상 손실 영역의 경계부 좌표를 검출하며, 상기 경계부 좌표에서 에지의 방향성을 탐색하고, 상기 에지의 방향성에 따라 상기 영상 손실 영역의 영상 데이터를 채우며, 상기 영상 손실 영역의 영상 데이터가 채워진 2D 영상을 이용하여 제1 내지 제c 뷰를 포함하는 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
    상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하는 입체영상 표시장치.
KR1020110127513A 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 KR101843197B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110127513A KR101843197B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110127513A KR101843197B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Publications (2)

Publication Number Publication Date
KR20130061287A KR20130061287A (ko) 2013-06-11
KR101843197B1 true KR101843197B1 (ko) 2018-03-29

Family

ID=48859433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110127513A KR101843197B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Country Status (1)

Country Link
KR (1) KR101843197B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293837B1 (ko) * 2014-12-26 2021-08-25 엘지디스플레이 주식회사 입체영상표시장치 및 이의 동작방법
KR101979410B1 (ko) * 2017-09-19 2019-05-16 에스케이텔레콤 주식회사 영상 표시 방법

Also Published As

Publication number Publication date
KR20130061287A (ko) 2013-06-11

Similar Documents

Publication Publication Date Title
KR101831652B1 (ko) 입체영상 표시장치와 그 구동방법
KR101888672B1 (ko) 입체영상 표시장치와 그 구동방법
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
US8743111B2 (en) Stereoscopic image display and method for driving the same
KR101981530B1 (ko) 입체영상 표시장치와 그 구동방법
US9137510B2 (en) Image processing method, image processor and stereoscopic image display device using the image processor
KR101840876B1 (ko) 입체영상 표시장치와 그 구동방법
US8928732B2 (en) Image processing unit, stereoscopic image display using the same, and image processing method
US9420269B2 (en) Stereoscopic image display device and method for driving the same
KR101793283B1 (ko) 재깅 개선방법과 이를 이용한 입체영상 표시장치
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101894090B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
US9092871B2 (en) Image processing method and stereoscopic image display device using the same
KR101843197B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
US9137520B2 (en) Stereoscopic image display device and method of displaying stereoscopic image
KR101870233B1 (ko) 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치
KR101863140B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR101829466B1 (ko) 입체영상 표시장치
KR102089323B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101953315B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant