KR102126532B1 - 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 - Google Patents
멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 Download PDFInfo
- Publication number
- KR102126532B1 KR102126532B1 KR1020130116660A KR20130116660A KR102126532B1 KR 102126532 B1 KR102126532 B1 KR 102126532B1 KR 1020130116660 A KR1020130116660 A KR 1020130116660A KR 20130116660 A KR20130116660 A KR 20130116660A KR 102126532 B1 KR102126532 B1 KR 102126532B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- pixel
- luminance
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000015572 biosynthetic process Effects 0.000 title 1
- 230000002093 peripheral effect Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims description 12
- 239000000758 substrate Substances 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005684 electric field Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치에 관한 것으로, 일 실시예에 따른 멀티뷰 영상 생성 방법은 입력된 영상 데이터로부터 휘도 영상 및 색차 영상을 추출하는 단계와; 휘도 및 색차 영상을 이용하여, 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징(color fringing) 영역으로 검출하는 단계와; 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용하는 단계를 포함하고, 블러링 필터를 적용하는 단계는 n 개의 시점 중 어느 하나인 제m 시점을 기준 시점으로 정의하고, 제m-1 시점 및 m+1 시점을 주변 시점으로 정의하는 단계와, 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 주변 시점에 매핑된 화소를 주변 화소로 정의하는 단계와, 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 기준 화소에 대응하는 영상 데이터에 합산시키는 단계를 포함한다.
Description
본 발명은 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치에 관한 것이다.
입체 영상 표시 장치는 양안 시차 방식(stereoscopic technique)과 복합 시차 지각 방식(auto stereoscopic technique)으로 나뉘어진다. 양안 시차 방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경 방식과 무안경 방식이 있고 두 방식 모두 상용화되고 있다. 안경 방식은 표시 장치나 프로젝터에 좌우 시차 영상의 편광을 바꿔서 표시하고, 편광 안경 또는 셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 패럴렉스 배리어, 렌티큘러 시트 등의 광학판을 사용하여 좌우 시차 영상의 광축을 분리하여 입체 영상을 구현한다.
무안경 방식의 입체 영상 표시 장치는 입체감을 향상시키기 위해 멀티뷰(multi-view) 영상을 이용하여 입체 영상을 구현한다. 멀티뷰 영상은 객체에 대한 이미지를 다른 각도에서 촬영하여 생성한 영상이다.
그런데, 무안경 방식은 여러장의 2D 이미지를 합성하여 생성함으로 인해 물체나 문자의 가장 자리 부분에서 원영상과 다른 컬러가 표시되는 컬러 프린징(color fringing; 색 윤곽)이 발생되는 바, 이러한 컬러 프린징은 화질을 저하시키는 주요 요인이 된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 컬러 프린징을 방지하여 고품질의 입체 영상을 제공할 수 있는 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치를 제공하는데 목적이 있다.
본 발명의 실시 예에 따른 멀티뷰 영상 생성 방법은 입력된 영상 데이터로부터 휘도 영상 및 색차 영상을 추출하는 단계와; 휘도 및 색차 영상을 이용하여, 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징(color fringing) 영역으로 검출하는 단계와; 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용하는 단계를 포함하고, 블러링 필터를 적용하는 단계는 n 개(n은 3이상의 정수)의 시점 중 어느 하나인 제m(m은 2이상의 정수) 시점을 기준 시점으로 정의하고, 제m-1 시점 및 m+1 시점을 주변 시점으로 정의하는 단계와, 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 주변 시점에 매핑된 화소를 주변 화소로 정의하는 단계와, 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 기준 화소에 대응하는 영상 데이터에 합산시키는 단계를 포함한다.
컬러 프린징 영역을 검출하는 단계는 뎁스 맵을 이용하여 에지 영역을 검출하는 제1 단계와; 휘도 영상을 이용하여 에지 영역을 검출하는 제2 단계와; 휘도 영상을 이용하여 블랙 영역의 경계부를 검출하는 제3 단계와; 색차 영상을 이용하여 컬러가 변화가 상대적으로 큰 영역을 검출하는 제4 단계와; 제1 내지 제4 단계에서 검출된 영역을 조합하여 컬러 프린징 영역으로 정의하는 제5 단계를 포함한다.
삭제
삭제
본 발명의 실시 예에 따른 입체 영상 표시 장치는 다수의 데이터 라인 및 다수의 게이트 라인의 교차로 다수의 화소가 정의된 표시 패널과; 입력된 영상 데이터로부터 휘도 영상 및 색차 영상을 추출하고, 상기 휘도 및 색차 영상을 이용하여 컬러 프린징(color fringing) 영역을 검출하고, 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용하는 멀티뷰 영상 생성부를 구비하고, 멀티뷰 영상 생성부는 n 개의 시점 중 어느 하나인 제m 시점을 기준 시점으로 정의하고, 제m-1 시점 및 m+1 시점을 주변 시점으로 정의하고, 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 주변 시점에 매핑된 화소를 주변 화소로 정의하며, 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 기준 화소에 대응하는 영상 데이터에 합산시킴으로써 블러링 필터를 적용한다.
멀티뷰 영상 생성부는 뎁스 맵을 이용하여 에지 영역을 검출하고, 휘도 영상을 이용하여 에지 영역을 검출하고, 블랙 영역의 경계부를 검출하며, 색차 영상을 이용하여 컬러가 변화가 상대적으로 큰 영역을 검출하고, 그 검출된 영역들을 조합하여 컬러 프린징 영역으로 설정할 수 있다.
멀티뷰 영상 생성부는 뎁스 맵을 이용하여 에지 영역을 검출하고, 휘도 영상을 이용하여 에지 영역을 검출하고, 블랙 영역의 경계부를 검출하며, 색차 영상을 이용하여 컬러가 변화가 상대적으로 큰 영역을 검출하고, 그 검출된 영역들을 조합하여 컬러 프린징 영역으로 설정할 수 있다.
본 발명은 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징이 발생할 가능성이 높은 영역으로 간주하여, 해당 영역을 컬러 프린징 영역으로 설정하여, 해당 영역에만 블러링 필터를 적용한다. 이에 따라, 컬러 프린징을 방지하여 화질을 향상시키며, 블러링 필터를 선택적으로 적용함에 따라 영상의 선명도도 높일 수 있다.
도 1은 본 발명의 실시 예에 따른 입체 영상 표시 장치를 보여주는 블록도이다.
도 2는 본 발명의 실시 예에 따른 입체 영상 표시 장치의 개략적인 평면도이다.
도 3은 본 발명의 실시 예에 따른 입체 영상 표시 장치의 다시점을 설명하기 위한 사시도이다.
도 4는 본 발명의 실시 예에 따른 멀티뷰 영상 데이터 생성 방법을 보여주는 순서도이다.
도 5는 도 4에 도시된 제2 단계(S20)를 구체적으로 나타낸 순서도이다.
도 6은 컬러 프린징이 발생한 입체 영상의 예시이다.
도 7은 컬러 프린징 영역의 검출 방법을 설명하기 위한 예시이다.
도 8은 본 발명의 컬러 프린징 저감 효과를 설명한 도면이다.
도 9는 블러링 필터의 적용 효과를 설명한 도면이다.
도 2는 본 발명의 실시 예에 따른 입체 영상 표시 장치의 개략적인 평면도이다.
도 3은 본 발명의 실시 예에 따른 입체 영상 표시 장치의 다시점을 설명하기 위한 사시도이다.
도 4는 본 발명의 실시 예에 따른 멀티뷰 영상 데이터 생성 방법을 보여주는 순서도이다.
도 5는 도 4에 도시된 제2 단계(S20)를 구체적으로 나타낸 순서도이다.
도 6은 컬러 프린징이 발생한 입체 영상의 예시이다.
도 7은 컬러 프린징 영역의 검출 방법을 설명하기 위한 예시이다.
도 8은 본 발명의 컬러 프린징 저감 효과를 설명한 도면이다.
도 9는 블러링 필터의 적용 효과를 설명한 도면이다.
이하, 본 발명의 실시 예에 따른 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치를 첨부된 도면을 참조하여 상세히 설명한다.
본 발명은 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징이 발생할 가능성이 높은 영역으로 간주하여, 해당 영역을 컬러 프린징 영역으로 설정하여, 해당 영역에만 블러링 필터를 적용한다. 이에 따라, 컬러 프린징을 방지하여 화질을 향상시키며, 블러링 필터를 선택적으로 적용함에 따라 영상의 선명도도 높일 수 있다. 이러한 본 발명의 멀티뷰 영상 생성 방법은 도 4 내지 도 9를 참조하여 구체적으로 후술한다.
도 1은 본 발명의 실시 예에 따른 입체 영상 표시 장치를 보여주는 블록도이다.
도 1를 참조하면, 본 발명의 실시 예에 따른 입체 영상 표시 장치는 표시 패널(10), 게이트 드라이버(110), 데이터 드라이버(120), 타이밍 컨트롤러(130), 멀티뷰 영상 생성부(140), 및 호스트 시스템(150) 등을 포함한다. 본 발명의 입체 영상 표시 장치는 액정 표시 장치(Liquid Crystal Display, LCD), 전계 방출 표시 장치(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기 발광 다이오드 (Organic Light Emitting Diode, OLED) 표시 장치 등의 평판 표시 장치로 구현될 수 있다. 이하의 실시 예에서는 액정 표시 장치를 설명하기로 한다. 또한, 본 발명의 입체 영상 표시 장치는 배리어(barrier) 방식, 스위쳐블 배리어(switchable barrier) 방식, 렌티큘러 렌즈(lenticular lens) 방식, 및 스위쳐블 렌즈(switchable lens) 방식 등의 무안경 방식으로 구현될 수 있다. 즉, 본 발명은 무안경 방식이라면 어떠한 방식에도 적용이 가능하다.
표시 패널(10)은 타이밍 컨트롤러(130)의 제어 하에 영상을 표시한다. 표시 패널(10)은 2 장의 기판 사이에 액정층이 형성된다. 표시 패널(10)의 하부 기판 상에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)이 상호 교차되도록 형성되고, 데이터 라인(D)들과 게이트 라인(G)들에 의해 정의된 화소 영역들에 화소들이 매트릭스 형태로 형성된다. 표시 패널(10)의 화소들 각각은 박막 트랜지스터에 접속되어 화소 전극과 공통 전극 사이의 전계에 의해 구동된다. 표시 패널(10)의 상부 기판상에는 블랙 매트릭스, 컬러 필터, 공통 전극 등을 포함하는 컬러 필터 어레이가 형성된다. 공통 전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직 전계 구동 방식에서 상부 기판상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평 전계 구동 방식에서 화소 전극과 함께 하부 기판상에 형성된다. 표시 패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정 모드로도 구현될 수 있다.
표시 패널(10)의 상부 기판에는 상부 편광판이 부착되고, 하부 기판에는 하부 편광판이 부착된다. 상부 편광판의 광투과축과 하부 편광판의 광투과축은 직교된다. 또한, 상부 기판과 하부 기판에는 액정의 프리틸트 각(pretilt angle)을 설정하기 위한 배향막이 형성된다.
백라이트 유닛은 백라이트 유닛 구동부로부터 공급되는 구동 전류에 따라 점등하는 광원, 도광판(또는 확산판), 다수의 광학 시트 등을 포함한다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛, 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다. 백라이트 유닛의 광원들은 HCFL(Hot Cathode Fluorescent Lamp), CCFL(Cold Cathode Fluorescent Lamp), EEFL(External Electrode Fluorescent Lamp), LED(Light Emitting Diode) 중 어느 하나의 광원 또는 두 종류 이상의 광원들을 포함할 수 있다.
백라이트 유닛 구동부는 백라이트 유닛의 광원들을 점등시키기 위한 구동 전류를 발생한다. 백라이트 유닛 구동부는 백라이트 제어부의 제어 하에 광원들에 공급되는 구동 전류를 온/오프(ON/OFF)한다.
데이터 드라이버(120)는 다수의 소스 드라이브 IC를 포함한다. 소스 드라이브 IC들은 타이밍 컨트롤러(130)로부터 입력되는 영상 데이터(DATA')를 감마 보상 전압으로 변환하여 아날로그 데이터 전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 아날로그 데이터 전압들은 표시 패널(10)의 데이터 라인(D)들에 공급된다.
게이트 드라이버(110)는 타이밍 컨트롤러(130)의 제어 하에 데이터 전압에 동기되는 게이트 펄스를 표시 패널(10)의 게이트 라인(G)들에 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터와, 쉬프트 레지스터의 출력 신호를 화소의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터와, 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적 회로들로 구성될 수 있다. 또한, 게이트 구동부(110)는 표시 패널(10)의 비표시 영역에 내장될 수 있다.
타이밍 컨트롤러(130)는 멀티뷰 영상 생성부(140)로부터 출력된 영상 데이터(DATA')와 타이밍 신호들에 기초하여 게이트 제어 신호(GCS)를 게이트 드라이버(110)로 출력하고, 데이터 제어 신호(DCS)를 데이터 드라이버(120)로 출력한다. 타이밍 신호들은 수직 동기 신호, 수평 동기 신호, 데이터 인에이블(data enable) 신호, 및 도트 클럭 등을 포함할 수 있다.
호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 영상 데이터(DATA)를 멀티뷰 영상 생성부(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 및 3D 모드를 구분할 수 있는 모드 신호(MODE)를 멀티뷰 영상 생성부(140)에 공급한다.
멀티뷰 영상 생성부(140)는 3D 모드에서, 호스트 시스템(150)으로부터 제공되는 입력 영상 데이터(DATA)를 이용하여 멀티뷰 영상 데이터(DATA')를 생성하여 타이밍 컨트롤러(130)에 공급한다. 호스트 시스템(150)으로부터 제공되는 입력 영상 데이터(DATA)는 2D 영상 데이터와 2D 영상 데이터의 뎁스 맵 데이터를 포함할 수 있다. 또한, 멀티뷰 영상 생성부(140)는 2D 모드에서, 입력 영상 데이터(DATA)의 2D 영상 데이터를 샘플링한 후, 2D 영상 데이터를 타이밍 컨트롤러(130)에 공급한다. 3D 모드에서 멀티뷰 영상 생성부(140)가 멀티뷰 영상 데이터(DATA’)를 생성하는 방법은 구체적으로 후술하기로 한다.
도 2는 본 발명의 실시 예에 따른 입체 영상 표시 장치의 개략적인 평면도이고, 도 3은 본 발명의 실시 예에 따른 입체 영상 표시 장치의 다시점을 설명하기 위한 사시도이다.
도 2를 참조하면, 표시 패널(10)의 다수의 화소(P)는 시점 생성부(130)에 의하여 표시되는 제1 내지 제k 시점(k는 2 이상의 자연수)에 대응하는 제1 내지 제k 화소를 구비한다. 도 2 및 도 3에서는 제1 내지 제9 시점(view1~view9)과, 제1 내지 제9 시점(view1~view9)에서 표시되도록 매핑된 제1 내지 제9 화소(P1~P9)를 예를 들어 도시하고 있다.
시점 생성부(130)는 예를 들어, 패럴렉스 배리어가 사용되며, 표시 패널(10)의 전면(前面) 또는 백라이트 유닛과 표시 패널(10) 사이에 배치된다. 시점 생성부(130)의 다수의 투과부(130a)는 정면에서 바라볼 때 수평 방향에 대하여 경사지게 형성되어 있고, 상하 좌우(가로 및 세로) 방향으로 시점을 분리 생성한다.
구체적으로, 시점 생성부(130)는 다수의 투과부(130a) 및 다수의 차단부(130b)를 포함한다. 다수의 투과부(130a)는 특정 폭을 가지고 있으며 다수의 화소에 표시되는 영상을 투과시킨다. 다수의 차단부(130b)는 다수의 화소에 표시되는 영상을 차단한다. 도 2에서는 예시적으로 다수의 투과부(130a)의 경사각이 수평선에 대하여 arctan(1/2)인 경우를 도시하고 있으며, 다수의 투과부(130a)의 경사각은 입체 영상 표시 장치의 종류에 따라 arctan(1/6) 등과 같이 다양하게 결정될 수 있다.
시점 생성부(130)는 패럴렉스 베리어 외에도, 스위쳐블 배리어(switchable barrier), 렌티큘러 렌즈(lenticular lens), 스위쳐블 렌즈(switchable lens) 등이 사용될 수 있다.
도 3은 제1 내지 제9 시점(view1 내지 view9)의 배치 및 해당 시점에서 표시되는 영상을 도시하고 있다. 만약, 도시한 바와 같이, 표시하고자 하는 영상이 육면체와 그 앞에 배치된 구일 경우, 제1 및 제9 시점(view1 및 view9)에 표시되는 영상은 마치 실제 육면체와 구가 배치되어 있는 상황에서, 그들을 다른 각도에서 바라볼 때 인식하게 되는 영상과 동일하다. 즉, 제1 내지 제9 시점(view1 내지 view9) 각각은 서로 다른 9개의 카메라 시점이라고 할 수 있으며, 사용자는 다양한 각도에서 영상을 받아들여서 3차원 영상으로 인식하게 된다.
이하, 멀티뷰 영상 생성부(140)에서 멀티뷰 영상 데이터를 생성하는 방법을 구체적으로 설명한다.
도 4는 본 발명의 실시 예에 따른 멀티뷰 영상 데이터 생성 방법을 보여주는 순서도이다. 도 5는 도 4에 도시된 제2 단계(S20)를 구체적으로 나타낸 순서도이다. 도 6은 컬러 프린징이 발생한 입체 영상의 예시이다. 도 7은 컬러 프린징 영역의 검출 방법을 설명하기 위한 예시이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 멀티뷰 영상 데이터 생성 방법은 제1 내지 제3 단계(S10 내지 S30)를 포함한다.
제1 단계(S10)에서 멀티뷰 영상 생성부(140)는 입력 영상 데이터로부터 휘도 영상 및 색차 영상을 추출한다. 구체적으로, 멀티뷰 영상 생성부(140)는 2D 영상(image)과 뎁스 맵이 나란히(side by side) 입력되는 입력 영상 데이터를 휘도 및 색차 영상으로 변환한다. 뎁스 맵(depth)은 컬러 세그멘테이션(color segmentation) 방법과 선형 방법 등을 이용하여 2D 영상(image)으로부터 추출될 수 있다. 컬러 세그멘테이션 방법은 색상의 유사성에 따라 깊이 정보를 다르게 분할하는 방법이고, 선형 방법은 영상의 중심에는 인물이 표시되고 영상의 바깥에는 배경이 표시되는 것이 일반적이므로 영상의 중심에서 바깥으로 갈수록 깊이 정보를 다르게 분할하는 방법이다. 본 발명의 실시 예에서 입력 영상 데이터는 RGB데이터로 입력된 것을 중심으로 설명한다.
제1 단계(S10)는 RGB 데이터를 휘도 및 색차 데이터(Y, U, V)로 변환함으로써, 입력 영상 데이터를 휘도 및 색차 영상으로 변환한다. 예를 들어, 멀티뷰 영상 생성부는 입력 영상 데이터의 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)를 수학식 1을 이용하여 휘도 데이터(Y)로 변환하고 수학식 2 및 수학식 3을 이용하여 색차 데이터(U, V)로 변환할 수 있다.
수학식 1 내지 수학식 3에서, R은 적색 데이터, G는 녹색 데이터, B는 청색 데이터를 의미한다. 입력 영상 데이터가 8비트(bits)의 데이터로 입력되는 경우, 적색 데이터(R), 녹색 데이터(G), 및 청색 데이터(B)는 0 내지 255 값으로 표현되므로, 휘도 및 색차 데이터(Y, U, V)는 0 내지 255 값으로 표현된다.
제2 단계(S20)에서 멀티뷰 영상 생성부(140)는 휘도 및 색차 영상을 이용하여 컬러 프린징 영역을 검출한다. 멀티뷰 영상 생성부(140)는 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징이 발생할 가능성이 높은 영역으로 간주하여, 해당 영역을 컬러 프린징 영역으로 설정한다. 이를 구체적으로 설명하면 다음과 같다.
도 5에 도시한 바와 같이, 멀티뷰 영상 생성부(140)가 컬러 프린징 영역을 검출하는 단계는 뎁스 맵을 이용하여 에지 영역을 검출하는 제2-1 단계(S22)와, 휘도 영상을 이용하여 에지 영역을 검출하는 제2-2 단계(S24)와, 휘도 영상을 이용하여 블랙 영역의 경계부를 검출하는 제2-3 단계(S26)와, 색차 영상을 이용하여 컬러의 변화가 상대적으로 큰 영역을 검출하는 제2-4 단계(S28)를 포함한다.
제2-1 단계(S22)는 뎁스 맵에 포함된 깊이 정보를 이용하여 입력된 영상 데이터에서 깊이값이 급격하게 변하는 영역을 검출하는 단계이다. 참고로, 뎁스 맵에서 에지 영역은 깊이값이 급격하게 변하는 영역이며, 멀티뷰 영상 생성시 컬러 프린징이 발생할 가능성이 높은 영역이다.
제2-2 단계(S24)는 휘도 영상을 이용하여 에지 영역을 검출하는 단계이다. 참고로, 휘도 영상에서 에지 영역은 영상 내에서 휘도가 급변하는 영역이며, 따라서 멀티뷰 영상 생성시 컬러 프린징이 발생할 가능성이 높은 영역이다.
제2-3 단계(S26)는 휘도 영상을 이용하여 블랙 영역의 경계부를 검출하는 단계이다. 참고로, 블랙 영역은 해당된 화소의 RGB 화소별 계조값이 ‘0’으로 설정된다. 따라서, 뷰 맵(view map)에 따라 블랙 영역의 경계부에 해당된 화소들을 매핑할 경우, 계조값이 ‘0’으로 설정된 RGB 화소 중 어느 하나가 블랙 컬러가 아닌 인접한 화소에 매핑되어 원영상과 전혀 다른 컬러가 표시된다. 즉, 블랙 영역의 경계부는 다른 영역에 비해 컬러 프린징이 가장 많이 발생되는 영역이다. 도 6을 참조하면, 블랙을 배경으로 한 입체 영상의 경우, 블랙 영역의 경계부에서 컬러 깨짐, 즉 컬러 프린징이 심하게 발생된 것을 알 수 있다. 이와 같이, 본 발명은 휘도 영상을 이용하여 블랙 영역의 경계부를 검출하고, 해당 영역에 블러링 필터를 적용함으로써 컬러 프린징을 방지하고, 고품질의 입체 영상을 제공할 수 있다.
제2-4 단계(S28)는 색차 영상을 이용하여 컬러의 변화가 상대적으로 큰 영역을 검출하는 단계이다. 참고로, 컬러의 변화가 급격하게 발생되는 영역은 멀티뷰 영상 생성시 컬러 프린징이 발생할 가능성이 높은 영역이다.
한편, 본 발명의 멀티뷰 영상 생성부(140)는 상기 제2-1 내지 제2-4 단계(S22~S28)에서 검출된 각각의 영역을 조합하여 도 7에 도시한 바와 같은 컬러 프린징 영역을 검출한다.
제2 단계(S30)에서 멀티뷰 영상 생성부(140)는 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용한다. 그리고 컬러 프린징 영역을 제외한 나머지 영역의 영상 데이터는 입력된 디폴트값을 그대로 출력한다.
이와 같이, 본 발명은 컬러 프린징이 발생할 가능성이 높은 뎁스 맵의 에지 영역, 휘도 영상의 에지 영역, 컬러 급변 영역, 블랙 영역의 경계부를 컬러 프린징 영역으로 설정하여, 블러링 필터를 적용한다. 따라서, 컬러 프린징이 방지되며, 블러링 필터를 선택적으로 적용함에 따라 영상의 선명도도 높일 수 있다. 도 8을 참조하면, 본 발명의 적용시 컬러 프린징이 발생할 가능성이 높은 뎁스 맵의 에지 영역, 휘도 영상의 에지 영역, 컬러 급변 영역, 블랙 영역의 경계부를 컬러 프린징 영역에서 컬러 프린징이 저감된 것을 알 수 있다.
한편, 블러링 필터는 컬러 프린징 영역에 휘도 변화를 스무드(smooth)하게 변환하는 역할을 하며, 종래에 소개된 다양한 블러링 기술이 적용 가능하다. 이하, 멀티뷰 영상 생성부(140)가 블러링 필터를 적용하는 방법을 예를 들어 설명한다.
멀티뷰 영상 생성부(140)는 뷰 맵(view map)에 따른 n 개의 시점 중 어느 하나인 제m 시점을 기준 시점으로 정의한다. 그리고 제m-1 시점 및 제m+1 시점을 주변 시점으로 정의한다. 그리고 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 주변 시점에 매핑된 화소를 주변 화소로 정의한다.
이어서, 멀티뷰 영상 생성부(140)는 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 기준 화소에 대응하는 영상 데이터에 합산시킨다.
예를 들어, 제5 시점에 대응된 제5 화소를 기준 화소로 정의할 경우, 제4 및 제6 시점에 대응되는 제4 및 제6 화소가 주변 화소로 정의된다. 그러면, 제5 화소에 인가되는 영상 데이터는 블러링 필터에 의해 수학식 4와 같이 변조될 수 있다.
수학식 4에서 R4, R5, R6는 제4 내지 제6 화소에 대응하도록 입력된 데이터들이고, weight_1, weight_2, weight_3은 제4 내지 제6 화소에 적용된 가중치값들이다.
그러면, 제5 시점에 대응되는 제5 화소의 데이터는 도 9에 도시한 바와 같이, 제4 및 제6 시점에 대응되는 제4 및 제6 화소의 데이터의 휘도를 부분적으로 포함하게 되어, 제4 내지 제6 시점의 휘도 변화는 스무드하게 된다.
상술한 바와 같이, 본 발명은 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징이 발생할 가능성이 높은 영역으로 간주하여, 해당 영역을 컬러 프린징 영역으로 설정하여, 해당 영역에만 블러링 필터를 적용한다. 이에 따라, 컬러 프린징을 방지하여 화질을 향상시키며, 블러링 필터를 선택적으로 적용함에 따라 영상의 선명도도 높일 수 있다.
이상에서 설명한 본 발명은 상술한 실시 예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
120: 표시 패널 130: 시점 생성부
Claims (5)
- 입력된 영상 데이터로부터 휘도 영상 및 색차 영상을 추출하는 단계와;
상기 휘도 및 색차 영상을 이용하여, 깊이값과, 휘도와, 컬러가 급변하는 영역 및 블랙 영역의 경계부를 컬러 프린징(color fringing) 영역으로 검출하는 단계와;
상기 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용하는 단계를 포함하고,
상기 블러링 필터를 적용하는 단계는
n 개(n은 3이상의 정수)의 시점 중 어느 하나인 제m(m은 2이상의 정수) 시점을 기준 시점으로 정의하고, 제m-1 시점 및 m+1 시점을 주변 시점으로 정의하는 단계와;
상기 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 상기 주변 시점에 매핑된 화소를 주변 화소로 정의하는 단계와;
상기 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 상기 기준 화소에 대응하는 영상 데이터에 합산시키는 단계를 포함하는 멀티뷰 영상 생성 방법. - 청구항 1에 있어서,
상기 컬러 프린징 영역을 검출하는 단계는
뎁스 맵을 이용하여 에지 영역을 검출하는 제1 단계와;
상기 휘도 영상을 이용하여 에지 영역을 검출하는 제2 단계와;
상기 휘도 영상을 이용하여 블랙 영역의 경계부를 검출하는 제3 단계와;
상기 색차 영상을 이용하여 컬러가 변화가 상대적으로 큰 영역을 검출하는 제4 단계;
상기 제1 내지 제4 단계에서 검출된 영역을 조합하여 상기 컬러 프린징 영역으로 정의하는 제5 단계를 포함하는 멀티뷰 영상 생성 방법. - 다수의 데이터 라인 및 다수의 게이트 라인의 교차로 다수의 화소가 정의된 표시 패널과;
입력된 영상 데이터로부터 휘도 영상 및 색차 영상을 추출하고, 상기 휘도 및 색차 영상을 이용하여 컬러 프린징(color fringing) 영역을 검출하고, 상기 컬러 프린징 영역에 해당된 영상 데이터에 대하여서만 블러링 필터를 적용하는 멀티뷰 영상 생성부를 구비하고,
상기 멀티뷰 영상 생성부는
n 개의 시점 중 어느 하나인 제m 시점을 기준 시점으로 정의하고, 제m-1 시점 및 m+1 시점을 주변 시점으로 정의하고,
상기 기준 시점에 매핑된 화소를 기준 화소로 정의하고, 상기 주변 시점에 매핑된 화소를 주변 화소로 정의하며,
상기 주변 화소에 대응하는 영상 데이터에 특정 비율을 갖는 가중치를 적용한 다음, 상기 기준 화소에 대응하는 영상 데이터에 합산시킴으로써 상기 블러링 필터를 적용하는 입체 영상 표시 장치. - 청구항 3에 있어서,
상기 멀티뷰 영상 생성부는
뎁스 맵을 이용하여 에지 영역을 검출하고, 상기 휘도 영상을 이용하여 에지 영역을 검출하고, 블랙 영역의 경계부를 검출하며, 상기 색차 영상을 이용하여 컬러가 변화가 상대적으로 큰 영역을 검출하고, 상기 검출된 영역들을 조합하여 상기 컬러 프린징 영역으로 설정하는 입체 영상 표시 장치. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130116660A KR102126532B1 (ko) | 2013-09-30 | 2013-09-30 | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130116660A KR102126532B1 (ko) | 2013-09-30 | 2013-09-30 | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150037230A KR20150037230A (ko) | 2015-04-08 |
| KR102126532B1 true KR102126532B1 (ko) | 2020-06-24 |
Family
ID=53033232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130116660A KR102126532B1 (ko) | 2013-09-30 | 2013-09-30 | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102126532B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11716487B2 (en) * | 2015-11-11 | 2023-08-01 | Sony Corporation | Encoding apparatus and encoding method, decoding apparatus and decoding method |
| KR102358240B1 (ko) * | 2016-08-04 | 2022-02-08 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 단일 깊이 추적 순응-수렴 솔루션 |
| CN109644261B (zh) * | 2016-08-04 | 2021-06-01 | 杜比实验室特许公司 | 单一深度追踪调节-聚散解决方案 |
| US20220284667A1 (en) * | 2019-08-23 | 2022-09-08 | Art & Space It Inc. | Image processing method and image processing device for generating 3d content by means of 2d images |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020109701A1 (en) * | 2000-05-16 | 2002-08-15 | Sun Microsystems, Inc. | Dynamic depth-of- field emulation based on eye-tracking |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100866490B1 (ko) * | 2007-01-17 | 2008-11-03 | 삼성전자주식회사 | 영상의 색 수차를 보정하기 위한 장치 및 방법 |
| KR101532605B1 (ko) * | 2008-11-06 | 2015-07-01 | 삼성전자주식회사 | 색수차 제거 방법 및 장치 |
| KR101257946B1 (ko) * | 2011-08-08 | 2013-04-23 | 연세대학교 산학협력단 | 영상의 색수차를 제거하는 장치 및 그 방법 |
-
2013
- 2013-09-30 KR KR1020130116660A patent/KR102126532B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020109701A1 (en) * | 2000-05-16 | 2002-08-15 | Sun Microsystems, Inc. | Dynamic depth-of- field emulation based on eye-tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150037230A (ko) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101236519B1 (ko) | 입체 영상 표시장치와 그 구동 방법 | |
| TWI510054B (zh) | 立體影像顯示裝置及其驅動方法 | |
| KR101869872B1 (ko) | 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 | |
| US20120274748A1 (en) | Stereoscopic Image Display Device and Method for Driving the Same | |
| JP5755318B2 (ja) | 立体映像表示装置及びその駆動方法 | |
| US9137510B2 (en) | Image processing method, image processor and stereoscopic image display device using the image processor | |
| KR102126532B1 (ko) | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 | |
| KR101840876B1 (ko) | 입체영상 표시장치와 그 구동방법 | |
| KR101296902B1 (ko) | 영상처리부와 이를 이용한 입체영상 표시장치, 및 영상처리방법 | |
| KR101894090B1 (ko) | 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 | |
| KR101929042B1 (ko) | 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법 | |
| KR101990334B1 (ko) | 입체영상 표시장치와 그 구동방법 | |
| KR101798236B1 (ko) | 입체 영상 표시장치와 그 휘도 조절 방법 | |
| KR101843197B1 (ko) | 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 | |
| KR102089323B1 (ko) | 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치 | |
| US9137520B2 (en) | Stereoscopic image display device and method of displaying stereoscopic image | |
| KR20160021650A (ko) | 렌티큘러 렌즈 방식의 입체영상표시장치 | |
| KR101843198B1 (ko) | 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 | |
| US8723931B2 (en) | Stereoscopic image display | |
| KR101782648B1 (ko) | 액정표시장치 | |
| KR101829466B1 (ko) | 입체영상 표시장치 | |
| KR101863140B1 (ko) | 입체영상 디스플레이장치 및 그 구동 방법 | |
| KR20130012672A (ko) | 입체영상 표시장치와 그 구동방법 | |
| KR101843180B1 (ko) | 입체영상표시장치 | |
| KR101888668B1 (ko) | 입체영상 표시장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20130930 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20180822 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20130930 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20191118 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200512 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200618 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200619 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230515 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240516 Start annual number: 5 End annual number: 5 |