KR20130061290A - 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 - Google Patents

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 Download PDF

Info

Publication number
KR20130061290A
KR20130061290A KR1020110127516A KR20110127516A KR20130061290A KR 20130061290 A KR20130061290 A KR 20130061290A KR 1020110127516 A KR1020110127516 A KR 1020110127516A KR 20110127516 A KR20110127516 A KR 20110127516A KR 20130061290 A KR20130061290 A KR 20130061290A
Authority
KR
South Korea
Prior art keywords
image
depth map
luminance
depth
data
Prior art date
Application number
KR1020110127516A
Other languages
English (en)
Other versions
KR101894090B1 (ko
Inventor
박명수
안충환
김한석
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110127516A priority Critical patent/KR101894090B1/ko
Publication of KR20130061290A publication Critical patent/KR20130061290A/ko
Application granted granted Critical
Publication of KR101894090B1 publication Critical patent/KR101894090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3696—Generation of voltages supplied to electrode drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하는 단계; 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하는 단계; 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계; 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계; 상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하는 단계; 상기 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 뎁스의 최소값으로 치환하는 단계를 포함한다.

Description

멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치{METHOD OF MULTI-VIEW IMAGE FORMATION AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성하는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치에 관한 것이다.
입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광을 바꿔서 표시하고 편광안경을 사용하여 입체영상을 구현하거나, 좌우 시차 영상을 시분할방식으로 표시하고 셔터안경을 사용하여 입체영상을 구현한다. 무안경방식은 일반적으로 패럴렉스 배리어, 렌티큘러 시트 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.
안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하더라도 품질 높은 입체영상을 구현할 수 있지만, 무안경 방식의 입체영상 표시장치는 좌안 영상과 우안 영상만을 이용하여 입체영상을 구현할 경우 역입체시 영역에서 입체영상을 시청할 가능성이 커지므로, 입체영상의 품질이 저하되는 단점이 있다. 역입체시 영역은 시청자가 좌안으로 우안 영상을 보거나 우안으로 좌안 영상을 보게 되는 영역을 의미한다. 따라서, 무안경 방식의 입체영상 표시장치는 입체영상의 품질을 높이기 위해 멀티뷰(multi-view) 영상을 이용하여 입체영상을 구현한다. 멀티뷰 영상은 일반인의 양안 간격만큼 카메라들을 이격하고 객체에 대한 이미지를 촬영하여 생성한 영상이다. 멀티뷰 영상의 뷰(view)의 개수는 객체를 촬영하는 카메라들의 수에 의해 결정된다. 예를 들어, 3 대의 카메라들을 이용하여 객체를 촬영하는 경우, 멀티뷰 영상은 3 개의 뷰를 갖는다.
한편, 3 개 이상의 뷰를 갖는 멀티뷰 영상을 생성하는 경우 좌안 영상과 우안 영상을 포함하는 3D 영상을 생성할 때보다 카메라들이 많이 필요하므로, 작업이 어려워지고 비용이 상승하는 문제가 있다. 이로 인해, 멀티뷰 영상으로 구현된 컨텐츠(contents)가 적다. 그러므로, 최근에는 카메라들을 이용하여 멀티뷰 영상을 생성하는 것이 아니라, 2D 영상 또는 좌안 영상과 우안 영상을 포함하는 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법이 알려져 있다.
첫 번째로, 3D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 좌안 영상과 우안 영상으로부터 입체영상의 깊이 정보인 뎁스 맵(depth map)을 추출하고, 뎁스 맵의 깊이 정보를 이용하여 멀티뷰 영상을 생성한다. 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 정확한 뎁스 맵을 추출할 수 있으므로, 입체영상의 품질이 높다는 장점이 있다. 하지만, 3D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 좌안 영상과 우안 영상으로부터 뎁스 맵을 추출하는 알고리즘의 계산량이 많고 복잡하므로, 실시간으로 멀티뷰 영상을 생성하기는 어렵다는 단점이 있다.
두 번째로, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 경우, 2D 영상과 2D 영상으로부터 추출된 뎁스 맵을 입력받고, 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상을 생성한다. 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 멀티뷰 영상 생성 알고리즘이 간단하다는 장점이 있다. 하지만, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 컬러 세그멘테이션(color segmentation) 방법과 선형 방법 등을 이용하여 2D 영상으로부터 뎁스 맵을 추출하므로 뎁스 맵이 부정확하다는 단점이 있다. 이로 인해, 2D 영상을 이용하여 멀티뷰 영상을 생성하는 방법은 입체영상의 품질이 낮은 문제가 있다. 한편, 컬러 세그멘테이션 방법은 색상의 유사성에 따라 깊이 정보를 다르게 분할하는 방법이고, 선형 방법은 영상의 중심에는 인물이 표시되고 영상의 바깥에는 배경이 표시되는 것이 일반적이므로 영상의 중심에서 바깥으로 갈수록 깊이 정보를 다르게 분할하는 방법이다.
본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 멀티뷰 영상의 품질을 높일 수 있는 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치를 제공한다.
본 발명의 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하는 단계; 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하는 단계; 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계; 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계; 상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하는 단계; 상기 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 뎁스의 최소값으로 치환하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 멀티뷰 영상 생성방법은 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하는 단계; 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하는 단계; 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계; 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계; 상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상에서 경계가 불일치하는 영역을 검출하여 상기 뎁스 맵의 뎁스를 수정하는 단계를 포함한다.
본 발명의 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하고, 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하며, 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하고, 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하며, 상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하고, 상기 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 최소 뎁스로 치환한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
본 발명의 또 다른 실시예에 따른 입체영상 표시장치는 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널; 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하고, 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하며, 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하고, 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하며, 상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상에서 경계가 불일치하는 영역을 검출하여 상기 뎁스 맵이 양자화 영상을 수정한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부; 상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및 상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비한다.
본 발명은 부정확한 뎁스 맵으로 인해 물체에 의해 배경이 가려지는 영역을 탐색하고, 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 최소 뎁스로 치환한다. 또한, 본 발명은 2D 영상과 뎁스 맵의 경계가 불일치하는 영역의 뎁스를 2D 영상의 경계로 수정한다. 그 결과, 본 발명은 2D 영상과 뎁스 맵을 이용하여 멀티뷰 영상 생성시 입체영상의 품질을 높일 수 있다.
도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 2는 2D 영상과 뎁스 맵을 포함하는 입력 영상의 일 예시도면.
도 3a와 도 3b는 2D 영상의 에지 검출 영상과 뎁스 맵의 에지 검출 영상을 보여주는 일 예시도면.
도 4a와 도 4b는 2D 영상의 양자화 영상과 뎁스 맵의 양자화 영상을 보여주는 일 예시도면.
도 5a와 도 5b는 뎁스 반영 영상과 물체에 의해 배경이 가려진 영역을 검출한 영상을 보여주는 일 예시도면.
도 6은 제1 내지 제4 뷰를 포함하는 멀티뷰 영상을 보여주는 일 예시도면.
도 7은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도.
도 8은 2D 영상과 뎁스 맵의 경계가 불일치하는 경우를 보여주는 일 예시도면.
도 9a 내지 도 9d는 2D 영상의 마스크 내 에지 영역, 뎁스 맵의 마스크 내 에지 영역, 및 수정된 뎁스 맵의 마스크 내 에지 영역을 보여주는 일 예시도면.
도 10은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 1을 참조하면, 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제8 단계(S101 내지 S108)를 포함한다.
뎁스 맵(depth map, 도면 부호는 'depth')의 부정확함으로 인해, 물체에 의해 배경이 가려지는 영역이 발생할 수 있으며, 이로 인해 입체영상의 품질이 낮아지게 된다. 따라서, 본 발명의 제1 실시예는 물체에 의해 배경이 가려지는 영역을 검출하고, 물체에 의해 배경이 가려진 영역의 뎁스를 치환함으로써, 입체영상의 품질을 높인 멀티뷰 영상을 생성할 수 있다. 이하에서, 본 발명의 제1 실시예의 제1 내지 제7 단계(S101 내지 S107)를 상세히 살펴본다.
첫 번째로, 제1 단계(S101)는 2D 영상(image)과 뎁스 맵(depth)이 나란히(side by side) 입력되는 입력 영상(input)을 2D 영상(image)과 뎁스 맵(depth) 각각으로 샘플링(sampling)한다. 도 2와 같이 입력 영상(input)에는 2D 영상(image)과 뎁스 맵(depth)이 나란히(side by side) 입력된다. 또한, 입력 영상(input)은 RGB 데이터로 입력되는 것을 중심으로 설명하였다.
한편, 입력 영상(input)의 뎁스 맵(depth)은 컬러 세그멘테이션(color segmentation) 방법과 선형 방법 등을 이용하여 2D 영상(image)으로부터 추출될 수 있다. 컬러 세그멘테이션 방법은 색상의 유사성에 따라 깊이 정보를 다르게 분할하는 방법이고, 선형 방법은 영상의 중심에는 인물이 표시되고 영상의 바깥에는 배경이 표시되는 것이 일반적이므로 영상의 중심에서 바깥으로 갈수록 깊이 정보를 다르게 분할하는 방법이다. 다만, 발명의 배경이 되는 기술에서 설명한 바와 같이 컬러 세그멘테이션 방법과 선형 방법 등을 이용하여 2D 영상(image)으로부터 추출된 뎁스 맵(depth)은 부정확하므로, 이를 이용하여 생성된 멀티뷰 영상의 입체영상의 품질이 낮은 문제가 있다. 따라서, 본 발명의 제1 실시예는 제1 단계에서 나란히(side by side) 입력되는 2D 영상(image)과 뎁스 맵(depth)을 샘플링한 후, 제2 내지 제7 단계(S102 내지 S107)를 통해 뎁스 맵(depth)을 보정함으로써 입체영상의 품질을 높인 멀티뷰 영상을 생성할 수 있다. (S101)
두 번째로, 제2 단계(S102)는 샘플링된 2D 영상(image)과 뎁스 맵(depth) 각각을 휘도 및 색차 영상으로 변환한다. 제2 단계(S102)는 2D 영상(image)과 뎁스 맵(depth)의 RGB 데이터를 휘도 및 색차 데이터(Y, U, V)로 변환함으로써, 2D 영상(image)과 뎁스 맵(depth) 각각을 휘도 및 색차 영상으로 변환한다. 2D 영상(image)의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환함으로써, 2D 영상(image)의 휘도 및 색차 영상이 산출된다. 뎁스 맵(depth)의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환함으로써, 뎁스 맵(depth)의 휘도 및 색차 영상이 산출된다. 수학식 1 내지 수학식 3은 일 예일 뿐이며, 기타 다른 수식을 이용하여 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 휘도 및 색차 데이터(Y, U, V)로 변환할 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
수학식 1 내지 수학식 3에서, R은 적색 데이터, G는 녹색 데이터, B는 청색 데이터를 의미한다. 입력 영상(input)이 8비트(bits)의 데이터로 입력되는 경우, 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)는 0 내지 255 값으로 표현되므로, 휘도 및 색차 데이터(Y, Cb, Cr)는 0 내지 255 값으로 표현된다. (S102)
세 번째로, 제3 단계(S103)는 2D 영상(image)의 휘도 영상과 뎁스 맵(depth)의 휘도 영상 각각의 에지(edge)를 검출한다. 제3 단계(S103)는 에지 검출의 정확도를 높이기 위해 에지 검출 전에, 이미 알려진 공지의 필터를 이용하여 2D 영상(image)의 휘도 영상과 뎁스 맵(depth)의 휘도 영상 각각의 노이즈(noise)를 제거한다. 예를 들어, 2D 영상(image)의 휘도 영상의 노이즈는 미디언 필터(median filter)를 이용하여 제거될 수 있다. 미디언 필터를 이용하는 경우 m×n(m, n은 자연수) 마스크 내의 중심 화소의 휘도 데이터는 m×n 마스크 내의 휘도 데이터의 중간값으로 변환되므로, 2D 영상(image)의 휘도 영상은 노이즈 없이 스무드(smooth)하게 표현될 수 있다. 또한, 뎁스 맵(depth)의 휘도 데이터(Y)의 노이즈는 민 필터(mean filter)를 이용하여 제거될 수 있다. 민 필터를 이용하는 경우, m×n 마스크 내의 중심 화소의 휘도 데이터는 m×n 마스크 내의 휘도 데이터의 평균값으로 변환되므로, 뎁스 맵(depth)의 휘도 영상은 노이즈 없이 스무드하게 표현될 수 있다.
제3 단계(S103)는 2D 영상(image)의 휘도 영상과 뎁스 맵(depth)의 휘도 영상 각각의 노이즈가 제거되었다면, 소벨 마스크(sobel mask) 또는 캐니 마스크(canny mask) 등의 이미 알려진 공지의 마스크를 이용하여 도 3a 및 도 3b와 같이 2D 영상(image)의 휘도 영상과 뎁스 맵(depth)의 휘도 영상 각각의 에지를 검출한다. 소벨 마스크 또는 캐니 마스크는 p×q(p, q는 자연수) 마스크로 설정될 수 있고, 마스크 계수는 사전 실험에 의해 결정될 수 있다.
제3 단계(S103)는 검출된 에지를 더욱 선명하게 하기 위해, 이미 알려진 공지의 샤프니스 필터(sharpness filter)를 이용할 수 있다. 다만, 샤프니스 필터를 이용하는 경우 미디언 필터/민 필터 등을 이용하여 제거한 노이즈가 다시 부각될 수 있으므로, 소정의 비율로 샤프니스 필터를 적용한다. (S103)
네 번째로, 제4 단계(S104)는 2D 영상(image)의 에지 검출 영상과 뎁스 맵(depth)의 에지 검출 영상 각각을 도 4a 및 도 4b와 같이 양자화(Quantization)하여 에지 영역을 더욱 선명하게 처리한다. 양자화는 2D 영상(image)의 에지 검출 영상과 뎁스 맵(depth)의 에지 검출 영상 각각의 에지 데이터가 제1 문턱값 이상인 경우 에지 데이터를 에지 데이터의 최대값으로 치환하고, 에지 데이터가 제1 문턱값보다 작은 경우 에지 데이터를 에지 데이터의 최소값으로 치환한다. 입력 영상(input)이 8비트의 데이터로 입력되는 경우, 에지 데이터의 최대값은 255이고, 에지 데이터의 최소값은 0이다. 제1 문턱값은 사전 실험에 의해 결정될 수 있다. (S104)
다섯 번째로, 제5 단계(S105)는 뎁스 맵(depth)의 양자화 영상에 뎁스 맵(depth)의 뎁스를 반영하여 뎁스 반영 영상을 생성한다. 즉, 제5 단계(S105)는 뎁스 맵(depth)의 양자화 영상을 뎁스에 따라 쉬프트하여 뎁스 반영 영상을 생성한다. 컬러 세그멘테이션 방법과 선형 방법 등을 이용하여 2D 영상(image)으로부터 추출된 뎁스 맵(depth)은 부정확하기 때문에, 뎁스 반영 영상은 배경(background)의 뎁스로 쉬프트 되어야 할 에지 영역이 물체(object)의 뎁스로 쉬프트 되는 문제가 발생한다. 물체의 뎁스가 배경의 뎁스보다 크기 때문에 배경의 뎁스로 쉬프트 되어야 할 에지 영역이 물체의 뎁스로 쉬프트 되는 경우, 뎁스 반영 영상은 도 5a와 같이 물체의 에지 영역이 갈라지게 된다. 즉, 물체에 의해 배경의 일부가 가려지게 되므로, 왜곡된 입체영상을 표시하는 멀티뷰 영상을 생성하게 되는 문제가 발생한다. 따라서, 본 발명의 제1 실시예는 제6 및 제7 단계(S106, S107)를 통해 물체에 의해 배경이 가려진 영역을 검출하고, 검출된 영역을 배경 영역으로 수정한다. (S105)
여섯 번째로, 제6 단계(S106)는 뎁스 반영 영상과 뎁스 맵(depth)의 양자화 영상이 불일치하는 영역을 물체에 의해 배경이 가려진 영역으로 검출한다. 즉, 제6 단계(S106)는 도 5a의 뎁스 반영 영상과 도 4b의 뎁스 맵(depth)의 양자화 영상을 비교하여 불일치하는 영역을 도 5b와 같이 물체에 의해 배경이 가려진 영역으로 검출한다. 이는 뎁스 반영 영상에서 배경의 뎁스로 쉬프트 되어야 할 에지 영역이 물체의 뎁스로 쉬프트 된 경우, 물체의 뎁스로 쉬프트 된 에지 영역은 뎁스 맵(depth)의 양자화 영상의 에지 영역과 불일치하기 때문이다. (S106)
일곱 번째로, 제7 단계(S107)는 물체에 의해 배경이 가려진 영역의 뎁스를 뎁스 맵(depth)의 배경 영역의 뎁스로 치환한다. 즉, 물체의 뎁스로 쉬프트 된 배경의 뎁스를 수정함으로써 물체에 의해 배경이 가려진 영역이 줄어들게 된다. 따라서, 본 발명은 입체영상의 품질을 높인 멀티뷰 영상을 생성할 수 있다. (S107)
여덟 번째로, 제8 단계(S108)는 물체에 의해 배경이 가려진 영역의 뎁스가 치환된 뎁스 맵(depth)의 뎁스로부터 초기 디스패리티(disparityi)를 산출하고, 초기 디스패리티(disparityi)와 멀티뷰 영상의 뷰의 개수(Nviews)를 이용하여 멀티뷰 디스패리티(disparitym)를 산출하며, 멀티뷰 디스패리티(disparitym)를 2D 영상(image)에 적용하여 멀티뷰 영상을 생성한다. 멀티뷰 디스패리티(disparitym)는 입체감을 형성하기 위해 2D 영상(image)을 왼쪽 또는 오른쪽으로 쉬프트시키는 픽셀의 개수를 의미한다.
먼저, 뎁스 맵(depth)의 휘도 영상을 히스토그램 분석하여 기준점(baseline)을 산출한다. 예를 들어, 기준점은 히스토그램에서 상위 50%인 휘도 데이터(Y)로 설정될 수 있다.
그 다음, 수학식 4와 같이 기준점(baseline), 디스패리티의 개수(Ndis)를 이용하여 휘도 데이터(Y)의 소정의 간격(G)을 계산한다.
Figure pat00004
수학식 4에서, G는 휘도 데이터(Y)의 소정의 간격, Max는 휘도 데이터(Y)의 최대값, baseline은 기준점, Ndis는 디스패리티의 개수를 의미한다. 또한, 수학식 4에서,
Figure pat00005
는 휘도 데이터(Y)의 최대값(Max)과 기준점(baseline)의 차를 디스패리티의 개수(Ndis)로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 휘도 데이터(Y)의 최대값이 '201'이고, 기준점(baseline)이 '148'이며, 디스패리티의 개수(Ndis)가 '10'인 경우, 휘도 데이터(Y)의 소정의 간격(G)은 '[5.3]=5'로 산출된다. 한편, 디스패리티의 개수(Ndis)는 실험을 통해 적정한 값으로 결정될 수 있다.
그 다음, 기준점(baseline)을 기준으로 휘도 데이터(Y)의 소정의 간격(G)마다 디스패리티를 다르게 산출한다. 휘도 데이터(Y)가 기준점(baseline)보다 큰 범위에서는 디스패리티를 소정의 간격마다 소정의 값만큼 증가되도록 하고, 휘도 데이터(Y)가 기준점(baseline)보다 작은 범위에서는 디스패리티가 소정의 간격마다 소정의 값만큼 감소되도록 한다. 예를 들어, 소정의 간격(G)이 '5'이고 기준점(baseline)이 '148'인 경우, '148'부터 '152'까지는 디스패리티가 '0'으로 산출되고, '153'부터 '157'까지는 디스패리티가 '1'로 산출되며, '156'부터 '162'까지는 디스패리티가 '2'로 산출될 수 있다. 또한, '143'부터 '147'까지는 디스패리티가 '-1'로 산출되고, '138'부터 '142'까지는 디스패리티가 '-2'로 산출되며, '133'부터 '137'까지는 디스패리티가 '-3'으로 산출될 수 있다. 한편, 디스패리티(disparity)는 물체(object)의 경우 양수로 산출되고, 배경(background)의 경우 음수로 산출될 수 있다.
그 다음, 멀티뷰 영상의 뷰의 개수(Nviews)에 따라 산출된 디스패리티(disparityi)로부터 수학식 5와 같이 멀티뷰 디스패리티(disparitym)를 산출하고, 멀티뷰 디스패리티(disparitym)를 2D 영상(image)에 적용하여 멀티뷰 영상을 생성한다.
Figure pat00006
수학식 5에서, disparitym은 멀티뷰 영상을 생성하기 위해 2D 영상(image)에 적용될 멀티뷰 디스패리티, disparityi는 제6 단계(S106)에서 산출된 디스패리티, Nviews는 뷰의 개수를 의미한다. 수학식 5에서, [Nviews/2]는 뷰의 개수를 2로 나눈 값에서 소수점 이하를 생략한 값이다. 예를 들어, 뷰의 개수가 5개인 경우, [Nviews/2]=[2.5]=2가 된다. 한편, 물체의 멀티뷰 디스패리티(disparitym)는 양수로 산출되고, 배경의 멀티뷰 디스패리티(disparitym)는 음수로 산출될 수 있다.
멀티뷰 영상은 제1 내지 제c(c는 2 이상의 자연수) 뷰를 포함하므로, 제1 내지 제c 뷰 각각은 뷰의 위치에 따라 소정의 가중치(W)의 절대값이 곱해된 멀티뷰 디스패리티(disparitym)가 적용된다. 가중치(W)는 수학식 6과 같이 기준 뷰(Viewref)와 멀티뷰 디스패리티(disparitym)가 적용될 뷰(Viewcur)의 차이로 구해질 수 있다.
Figure pat00007
기준 뷰(Viewref)는 도 6과 같이 2D 영상(image)의 뷰로 설정될 수 있다. 또한, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰는 가중치(W)가 양수로 설정되고, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰는 가중치(W)가 음수로 설정된다. 가중치가 양수인 경우, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 생성된다. 또한, 가중치(W)가 음수인 경우, 기준 뷰(Viewref)보다 오른쪽에 위치하는 뷰(Viewcur)는 2D 영상(image)을 왼쪽으로 쉬프트시킴으로써 산출된다. 따라서, 기준 뷰(Viewref)보다 왼쪽에 위치하는 뷰(Viewcur)는 물체를 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시키고, 배경을 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 생성된다.
이하에서, 도 6을 참조하여 멀티뷰 영상의 제1 내지 제c 뷰 각각에 멀티뷰 디스패리티(disparitym)의 적용에 대하여 구체적으로 설명한다. 도 3에는 제1 내지 제4 뷰(View1~View4)를 포함하는 멀티뷰 영상이 나타나 있다. 제2 뷰(View2)가 기준 뷰(Viewref)이므로, 제1 뷰(View1)의 가중치(W)는 '2-1=1'로 산출되고, 제2 뷰(View2)의 가중치(W)는 '2-2=0'으로 산출되며, 제3 뷰(View3)의 가중치(W)는 '2-3=-1'로 산출되고, 제4 뷰(View4)의 가중치(W)는 '2-4=-2'로 산출된다. 제1 뷰(View1)의 가중치(W)가 '1'이므로, 제1 뷰(View1)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 오른쪽으로 쉬프트시킴으로써 산출된다. 제2 뷰(View2)의 가중치(W)는 '0'이므로, 제2 뷰(View2)는 2D 영상(image)이 된다. 제3 뷰(View3)의 가중치(W)는 '-1'이므로, 제3 뷰(View3)는 2D 영상(image)을 가중치(W)의 절대값인 '1'이 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. 제4 뷰(View4)의 가중치(W)는 '-2'이므로, 제4 뷰(View4)는 2D 영상(image)을 가중치(W)의 절대값인 '2'가 곱해진 멀티뷰 디스패리티(disparitym)만큼 왼쪽으로 쉬프트시킴으로써 산출된다. (S108)
도 7은 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법을 보여주는 흐름도이다. 도 7을 참조하면, 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법은 제1 내지 제9 단계(S201 내지 S209)를 포함한다.
도 8에는 2D 영상(image)에서 '모자 모서리'의 경계 영역의 좌표(535,500)와 뎁스 맵(depth)에서 '모자 모서리'의 경계 영역의 좌표(537, 501)가 나타나 있다. 본 발명의 제2 실시예는 도 8과 같이 2D 영상(image)과 뎁스 맵(depth)의 경계가 불일치하는 경우, 멀티뷰 영상 생성시 배경의 뎁스가 2D 영상의 물체에 반영이 되거나, 물체의 뎁스가 2D 영상의 배경에 반영되는 문제가 발생하며, 이로 인해 입체영상의 품질이 낮아지게 된다. 따라서, 본 발명의 제2 실시예는 2D 영상(image)의 경계와 뎁스 맵(depth)의 경계를 비교하여 일치시킴으로써, 입체영상의 품질을 높인 멀티뷰 영상을 생성할 수 있다. 이하에서, 본 발명의 제2 실시예의 제1 내지 제8 단계(S201 내지 S208)를 상세히 살펴본다.
본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 내지 제4 단계(S201 내지 S204)는 본 발명의 제1 실시예에 따른 멀티뷰 영상 생성방법의 제1 내지 제4 단계(S101 내지 S104)에서 설명한 바와 실질적으로 동일하다. 따라서, 본 발명의 제2 실시예에 따른 멀티뷰 영상 생성방법의 제1 내지 제4 단계(S201 내지 S204)에 대한 설명은 생략하기로 한다.
제5 및 제6 단계(S205, S206)는 2D 영상(image)의 양자화 영상과 뎁스 맵(depth)의 양자화 영상 각각에서 r×s 마스크 내에 에지 영역이 존재하는지를 판단한다. 먼저, 제5 단계(S205)는 2D 영상(image)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하는지를 판단한다. 2D 영상(image)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하지 않는 경우, 에지 영역 불일치의 문제가 발생하지 않으므로 뎁스 맵(depth)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하는지를 판단할 필요가 없다. 따라서, 2D 영상(image)의 양자화 영상과 뎁스 맵(depth)의 양자화 영상 각각에서 r×s 마스크는 다음 영역의 에지 영역 존재 여부를 판단하기 위해 쉬프트된다. 2D 영상(image)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하는 경우, 제6 단계(S206)는 뎁스 맵(depth)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하는지를 판단한다. 뎁스 맵(depth)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하지 않는 경우, 2D 영상(image)의 양자화 영상의 에지 영역을 잘못 검출된 에지 영역으로 판단한다. 따라서, 2D 영상(image)의 양자화 영상과 뎁스 맵(depth)의 양자화 영상 각각에서 r×s 마스크는 다음 영역의 에지 영역 존재 여부를 판단하기 위해 쉬프트된다. (S205, S206)
제7 단계(S207)는 2D 영상(image)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하고 뎁스 맵(depth)의 양자화 영상에서 r×s 마스크 내에 에지 영역이 존재하는 경우, 2D 영상(image)의 양자화 영상의 r×s 마스크 내에 에지 영역과 뎁스 맵(depth)의 양자화 영상의 r×s 마스크 내에 에지 영역이 동일한지를 판단한다. 2D 영상(image)의 r×s 마스크 내에 에지 영역과 뎁스 맵(depth)의 r×s 마스크 내에 에지 영역이 동일한 경우, 2D 영상(image)의 에지 영역과 뎁스 맵(depth)의 에지 영역이 일치하는 것을 의미한다. 따라서, 2D 영상(image)의 양자화 영상과 뎁스 맵(depth)의 양자화 영상 각각에서 r×s 마스크는 다음 영역의 에지 영역 존재 여부를 판단하기 위해 쉬프트된다.
2D 영상(image)의 r×s 마스크 내에 에지 영역과 뎁스 맵(depth)의 r×s 마스크 내에 에지 영역이 동일하지 않은 경우, 2D 영상(image)의 에지 영역과 뎁스 맵(depth)의 에지 영역이 불일치하는 것을 의미한다. 따라서, 제8 단계(S208)는 2D 영상(image)의 r×s 마스크 내에 에지 영역과 뎁스 맵(depth)의 r×s 마스크 내에 에지 영역이 동일하지 않은 경우, 뎁스 맵(depth)의 r×s 마스크 내에 에지 영역을 2D 영상(image)의 r×s 마스크 내에 에지 영역과 동일하게 수정한다. 이하에서, 도 9a 내지 도 9d를 결부하여 제8 단계(S208)에 대하여 상세히 설명한다.
도 9a 내지 도 9d에서 r×s 마스크는 7×1 마스크인 것을 중심으로 설명하였다. 도 9a에는 2D 영상(image)의 7×1 마스크 내에 에지 영역이 나타나 있고, 도 9b 및 도 9c에는 뎁스 맵(depth)의 7×1 마스크 내에 에지 영역이 나타나 있으며, 도 9d에는 수정된 뎁스 맵(depth)의 7×1 마스크 내에 에지 영역이 나타나 있다. 도 9a 내지 도 9d를 참조하면, 2D 영상(image)의 7×1 마스크 내에 에지 영역과 뎁스 맵(depth)의 7×1 마스크 내에 에지 영역이 동일하지 않은 경우, 뎁스 맵(depth)의 7×1 마스크 내에 에지 영역을 2D 영상(image)의 7×1 마스크 내에 에지 영역과 동일하게 수정한다.
뎁스 맵(depth)의 r×s 마스크 내에 에지 영역을 수정하였다면, 2D 영상(image)의 양자화 영상과 뎁스 맵(depth)의 양자화 영상 각각에서 r×s 마스크는 다음 영역의 에지 영역 존재 여부를 판단하기 위해 쉬프트된다. 한편, 뎁스 맵(depth)의 r×s 마스크 내에 에지 영역의 개수가 2개 이상인 경우, 2D 영상(image)의 r×s 마스크 내에 에지 영역과 가장 가까이에 있는 에지 영역을 2D 영상(image)의 r×s 마스크 내에 에지 영역으로 수정한다. (S208)
제9 단계(S209)는 2D 영상(image)의 에지 영역과 뎁스 맵(depth)의 에지 영역의 경계가 일치되도록 뎁스가 수정된 뎁스 맵(depth)과 2D 영상(image)을 이용하여 멀티뷰 영상을 생성한다. 제9 단계(S109)는 뎁스가 수정된 뎁스 맵(depth)으로부터 초기 디스패리티(disparityi)를 산출하고, 초기 디스패리티(disparityi)와 멀티뷰 영상의 뷰의 개수(Nviews)를 이용하여 멀티뷰 디스패리티(disparitym)를 산출하며, 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치(W)의 절대값이 곱해진 멀티뷰 디스패리티(disparitym)를 2D 영상에 적용하여 멀티뷰 영상을 생성한다. 본 발명의 제2 실시예의 제9 단계(S209)는 본 발명의 제1 실시예의 제8 단계(S108)에서 설명한 바와 같다. (S209)
도 10은 본 발명의 실시예에 따른 입체영상 표시장치를 보여주는 블록도이다. 도 10을 참조하면, 본 발명의 실시예에 따른 입체영상 표시장치는 표시패널(10), 게이트 구동부(110), 데이터 구동부(120), 타이밍 콘트롤러(130), 멀티뷰 영상 생성부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시예에서 액정표시소자를 중심으로 예시하였지만, 액정표시소자에 한정되지 않는 것에 주의하여야 한다. 또한, 본 발명의 입체영상 표시장치는 배리어(barrier) 방식, 스위쳐블 배리어(switchable barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 및 스위쳐블 렌즈(switchable lens) 방식 등의 무안경방식으로도 구현될 수 있다.
표시패널(10)은 타이밍 콘트롤러(130)의 제어 하에 영상을 표시한다. 표시패널(10)은 두 장의 기판 사이에 액정층이 형성된다. 표시패널(10)의 하부 기판상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 셀영역들에 픽셀들이 매트릭스 형태로 배치된 TFT 어레이가 형성된다. 표시패널(10)의 픽셀들 각각은 박막 트랜지스터에 접속되어 화소전극과 공통전극 사이의 전계에 의해 구동된다.
표시패널(10)의 상부 기판상에는 블랙매트릭스, 컬러필터, 공통전극 등을 포함하는 컬러필터 어레이가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 기판상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 기판상에 형성된다. 표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다.
표시패널(10)의 상부 기판에는 상부 편광판이 부착되고, 하부 기판에는 하부 편광판이 부착된다. 상부 편광판의 광투과축과 하부 편광판의 광투과축은 직교된다. 또한, 상부 기판과 하부 기판에는 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부 기판과 하부 기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서가 형성된다.
표시패널(10)은 대표적으로 백라이트 유닛으로부터의 빛을 변조하는 투과형 액정표시패널이 선택될 수 있다. 백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.
백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동전류를 온/오프(ON/OFF)한다.
데이터 구동부(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)로부터 입력되는 영상 데이터(DATA')를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.
게이트 구동부(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터전압에 동기되는 게이트 펄스를 표시패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.
타이밍 콘트롤러(130)는 멀티뷰 영상 생성부(140)로부터 출력된 영상 데이터(DATA)와 타이밍 신호들에 기초하여 게이트 구동부 제어신호(GCS)를 게이트 구동부(110)로 출력하고, 데이터 구동부 제어신호(DCS)를 데이터 구동부(120)로 출력한다. 타이밍 신호들은 수직동기신호, 수평동기신호, 데이터 인에이블(data enable) 신호, 및 도트 클럭 등을 포함한다. 게이트 구동부 제어신호는 게이트 스타트 펄스(Gate Start Pulse), 게이트 쉬프트 클럭(Gate Shift Clock), 및 게이트 출력 인에이블신호(Gate Output Enable) 등을 포함한다. 게이트 스타트 펄스는 첫 번째 게이트 펄스의 타이밍을 제어한다. 게이트 쉬프트 클럭은 게이트 스타트 펄스를 쉬프트시키기 위한 클럭신호이다. 게이트 출력 인에이블신호는 게이트 구동부(110)의 출력 타이밍을 제어한다.
데이터 구동부 제어신호는 소스 스타트 펄스(Source Start Pulse), 소스 샘플링 클럭(Source Sampling Clock), 소스 출력 인에이블신호(Source Output Enable), 극성제어신호 등을 포함한다. 소스 스타트 펄스는 데이터 구동부(120)의 데이터 샘플링 시작 시점을 제어한다. 소스 샘플링 클럭은 라이징 또는 폴링 에지에 기준하여 데이터 구동부(120)의 샘플링 동작을 제어하는 클럭신호이다. 데이터 구동부(120)에 입력될 디지털 비디오 데이터가 mini LVDS(Low Voltage Differential Signaling) 인터페이스 규격으로 전송된다면, 소스 스타트 펄스와 소스 샘플링 클럭은 생략될 수 있다. 극성제어신호는 데이터 구동부(120)로부터 출력되는 데이터전압의 극성을 L(L은 자연수) 수평기간 주기로 반전시킨다. 소스 출력 인에이블신호는 데이터 구동부(120)의 출력 타이밍을 제어한다.
호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 영상 데이터(DATA)를 멀티뷰 영상 생성부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 및 3D 모드를 구분할 수 있는 모드신호(MODE)를 멀티뷰 영상 생성부(140)에 공급한다.
멀티뷰 영상 생성부(140)는 3D 모드에서 입력 영상 데이터(DATA)로부터 멀티뷰 영상 데이터(DATA')를 생성하여 타이밍 콘트롤러(130)에 공급한다. 멀티뷰 영상 생성부(140)의 멀티뷰 영상 생성방법은 도 1 내지 도 9를 결부하여 설명한 바와 같다. 입력 영상 데이터(DATA)는 2D 영상 데이터와 2D 영상 데이터의 뎁스 맵 데이터를 포함한다. 한편, 멀티뷰 영상 생성부(140)는 2D 모드에서 입력 영상 데이터(DATA)의 2D 영상 데이터를 샘플링한 후, 2D 영상 데이터를 타이밍 콘트롤러(130)에 공급한다.
이상, 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10: 표시패널 110: 게이트 구동부
120: 데이터 구동부 130: 타이밍 콘트롤러
140: 멀티뷰 영상 생성부 150: 호스트 시스템

Claims (14)

  1. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하는 단계;
    샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하는 단계;
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계;
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계;
    상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하는 단계;
    상기 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 뎁스의 최소값으로 치환하는 단계를 포함하는 멀티뷰 영상 생성방법.
  2. 제 1 항에 있어서,
    상기 물체에 의해 배경이 가려진 영역의 뎁스가 치환된 뎁스 맵으로부터 초기 디스패리티를 산출하고, 상기 초기 디스패리티와 멀티뷰 영상의 뷰의 개수를 이용하여 멀티뷰 디스패리티를 산출하며, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 상기 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.
  3. 제 1 항에 있어서,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계는,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 노이즈를 제거하는 단계;
    소벨 마스크 또는 캐니 마스크를 이용하여 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계; 및
    소정의 비율로 샤프니스 필터를 적용하여 검출된 상기 에지를 선명하게 하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  4. 제 3 항에 있어서,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 노이즈를 제거하는 단계는,
    상기 2D 영상의 휘도 영상의 노이즈는 미디언 필터를 이용하여 제거하고, 상기 뎁스 맵의 휘도 영상의 노이즈는 민 필터를 이용하여 제거하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  5. 제 1 항에 있어서,
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계는,
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각의 에지 데이터가 제1 문턱값 이상인 경우 상기 에지 데이터를 상기 에지 데이터의 최대값으로 치환하고, 상기 에지 데이터가 상기 제1 문턱값 보다 작은 경우 상기 에지 데이터의 최소값으로 치환하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  6. 제 1 항에 있어서,
    상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하는 단계는,
    상기 뎁스 맵의 양자화 영상을 상기 뎁스에 따라 쉬프트하여 뎁스 반영 영상을 생성하는 단계; 및
    상기 뎁스 반영 영상과 뎁스 맵의 양자화 영상이 불일치하는 영역을 상기 물체에 의해 배경이 가려진 영역으로 검출하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  7. 2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하는 단계;
    샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하는 단계;
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계;
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계;
    상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상에서 경계가 불일치하는 영역을 검출하여 상기 뎁스 맵의 뎁스를 수정하는 단계를 포함하는 멀티뷰 영상 생성방법.
  8. 제 7 항에 있어서,
    상기 경계가 불일치하는 영역의 뎁스가 수정된 뎁스 맵으로부터 초기 디스패리티를 산출하고, 상기 초기 디스패리티와 멀티뷰 영상의 뷰의 개수를 이용하여 멀티뷰 디스패리티를 산출하며, 상기 멀티뷰 영상의 뷰의 위치에 따라 산출된 가중치의 절대값이 곱해진 멀티뷰 디스패리티를 상기 2D 영상에 적용하여 멀티뷰 영상을 생성하는 단계를 더 포함하는 멀티뷰 영상 생성방법.
  9. 제 7 항에 있어서,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계는,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 노이즈를 제거하는 단계;
    소벨 마스크 또는 캐니 마스크를 이용하여 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하는 단계; 및
    소정의 비율로 샤프니스 필터를 적용하여 검출된 상기 에지를 선명하게 하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  10. 제 9 항에 있어서,
    상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 노이즈를 제거하는 단계는,
    상기 2D 영상의 휘도 영상의 노이즈는 미디언 필터를 이용하여 제거하고, 상기 뎁스 맵의 휘도 영상의 노이즈는 민 필터를 이용하여 제거하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  11. 제 7 항에 있어서,
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하는 단계는,
    상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각의 데이터가 제1 문턱값 이상인 경우 상기 데이터를 상기 데이터의 최대값으로 치환하고, 상기 데이터가 상기 제1 문턱값 보다 작은 경우 상기 데이터의 최소값으로 치환하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  12. 제 7 항에 있어서,
    상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상에서 경계가 불일치하는 영역을 검출하여 상기 뎁스 맵이 양자화 영상을 수정하는 단계는,
    상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상 각각에서 r×s(r, s는 자연수) 마스크 내에 에지 영역이 존재하는지를 판단하는 단계;
    상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상 각각에서 r×s 마스크 내에 에지 영역이 존재하는 경우, 상기 2D 영상의 양자화 영상의 r×s 마스크 내에 에지 영역과 상기 뎁스 맵의 양자화 영상의 r×s 마스크 내에 에지 영역이 동일한지를 판단하는 단계; 및
    상기 2D 영상의 양자화 영상의 r×s 마스크 내에 에지 영역과 상기 뎁스 맵의 양자화 영상의 r×s 마스크 내에 에지 영역이 동일하지 않은 경우, 상기 뎁스 맵의 양자화 영상의 r×s 마스크 내에 에지 영역을 상기 2D 영상의 양자화 영상의 r×s 마스크 내에 에지 영역과 동일하게 수정하는 단계를 포함하는 것을 특징으로 하는 멀티뷰 영상 생성방법.
  13. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
    2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하고, 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하며, 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하고, 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하며, 상기 뎁스 맵의 양자화 영상에 상기 뎁스 맵의 뎁스를 반영하여 물체에 의해 배경이 가려진 영역을 검출하고, 상기 물체에 의해 배경이 가려진 영역의 뎁스를 배경 영역의 최소 뎁스로 치환한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
    상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하는 입체영상 표시장치.
  14. 데이터 라인들, 게이트 라인들, 및 다수의 픽셀을 포함하는 표시패널;
    2D 영상과 뎁스 맵이 나란히 입력되는 입력 영상을 2D 영상과 뎁스 맵 각각으로 샘플링하고, 샘플링된 상기 2D 영상과 뎁스 맵 각각을 휘도 및 색차 영상으로 변환하며, 상기 2D 영상의 휘도 영상과 상기 뎁스 맵의 휘도 영상 각각의 에지를 검출하고, 상기 2D 영상의 에지 검출 영상과 상기 뎁스 맵의 에지 검출 영상 각각을 양자화하며, 상기 2D 영상의 양자화 영상과 상기 뎁스 맵의 양자화 영상에서 경계가 불일치하는 영역을 검출하여 상기 뎁스 맵이 양자화 영상을 수정한 후, 멀티뷰 영상을 생성하는 멀티뷰 영상 생성부;
    상기 멀티뷰 영상 생성부로부터 입력받은 멀티뷰 영상 데이터를 데이터전압으로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동부; 및
    상기 데이터전압에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동부를 구비하는 입체영상 표시장치.
KR1020110127516A 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 KR101894090B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110127516A KR101894090B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110127516A KR101894090B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Publications (2)

Publication Number Publication Date
KR20130061290A true KR20130061290A (ko) 2013-06-11
KR101894090B1 KR101894090B1 (ko) 2018-09-03

Family

ID=48859436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110127516A KR101894090B1 (ko) 2011-12-01 2011-12-01 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치

Country Status (1)

Country Link
KR (1) KR101894090B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057039A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오 코딩에 있어서, 뷰 합성 예측 방법 및 이를 이용한 머지 후보 리스트 구성 방법
CN107750370A (zh) * 2015-06-16 2018-03-02 皇家飞利浦有限公司 用于确定图像的深度图的方法和装置
WO2021216136A1 (en) * 2019-04-22 2021-10-28 Leia Inc. Systems and methods of enhancing quality of multiview images using a multimode display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008808A (ko) * 2007-07-19 2009-01-22 주식회사 이시티 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR20090082782A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008808A (ko) * 2007-07-19 2009-01-22 주식회사 이시티 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR20090082782A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057039A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오 코딩에 있어서, 뷰 합성 예측 방법 및 이를 이용한 머지 후보 리스트 구성 방법
US10070147B2 (en) 2013-10-18 2018-09-04 Lg Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
CN107750370A (zh) * 2015-06-16 2018-03-02 皇家飞利浦有限公司 用于确定图像的深度图的方法和装置
CN107750370B (zh) * 2015-06-16 2022-04-12 皇家飞利浦有限公司 用于确定图像的深度图的方法和装置
WO2021216136A1 (en) * 2019-04-22 2021-10-28 Leia Inc. Systems and methods of enhancing quality of multiview images using a multimode display
JP2023529778A (ja) * 2019-04-22 2023-07-12 レイア、インコーポレイテッド マルチモードディスプレイを使用して複数の画像の品質を向上させるシステムおよび方法
JP7471449B2 (ja) 2019-04-22 2024-04-19 レイア、インコーポレイテッド マルチモードディスプレイを使用して複数の画像の品質を向上させるシステムおよび方法

Also Published As

Publication number Publication date
KR101894090B1 (ko) 2018-09-03

Similar Documents

Publication Publication Date Title
KR101831652B1 (ko) 입체영상 표시장치와 그 구동방법
KR101888672B1 (ko) 입체영상 표시장치와 그 구동방법
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101803571B1 (ko) 입체영상표시장치와 이의 구동방법
US9137510B2 (en) Image processing method, image processor and stereoscopic image display device using the image processor
KR101981530B1 (ko) 입체영상 표시장치와 그 구동방법
US9307229B2 (en) Stereoscopic image display and crosstalk compensation method thereof
KR101840876B1 (ko) 입체영상 표시장치와 그 구동방법
KR101296902B1 (ko) 영상처리부와 이를 이용한 입체영상 표시장치, 및 영상처리방법
KR101793283B1 (ko) 재깅 개선방법과 이를 이용한 입체영상 표시장치
KR101894090B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR102126532B1 (ko) 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
KR101773616B1 (ko) 영상처리방법과 이를 이용한 입체영상 표시장치
KR101843197B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101929042B1 (ko) 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101843198B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
KR101838752B1 (ko) 입체영상 표시장치와 그 구동방법
KR101870233B1 (ko) 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치
KR101829466B1 (ko) 입체영상 표시장치
US8723931B2 (en) Stereoscopic image display
KR101953315B1 (ko) 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR20130012672A (ko) 입체영상 표시장치와 그 구동방법
KR20130028345A (ko) 재깅 검출방법과 이를 이용한 입체영상 표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant