KR102126530B1 - 3d 변환방법과 이를 이용한 입체영상 표시장치 - Google Patents

Abstract

본 발명은 2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환방법과 이를 이용한 입체영상 표시장치에 관한 것이다. 본 발명의 실시 예에 따른 3D 변환방법은 상기 2D 영상 데이터를 분석하여 뎁스 값들을 산출하는 제1 단계; 상기 뎁스 값들에 어댑티브 게인 값을 적용하여 1차 보정하는 제2 단계; 상기 뎁스 값들의 분포에 따라 컨버전스를 산출하며 상기 컨버전스에 따라 1차 보정 뎁스 값들을 2차 보정하는 제3 단계; 및 2차 보정 뎁스 값들과 상기 컨버전스를 이용하여 디스패러티들을 산출하고, 상기 디스패러티들에 따라 상기 2D 영상 데이터를 쉬프트하여 상기 3D 영상 데이터를 생성하는 제4 단계를 포함한다.

Description

3D 변환방법과 이를 이용한 입체영상 표시장치{3D CONVERSION METHOD AND STEREOSCOPIC IMAGE DISPLAY DEVICE USING THE SAME}

본 발명은 2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환방법과 이를 이용한 입체영상 표시장치에 관한 것이다.

입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다. 양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 표시하고 편광 안경을 사용하여 입체영상을 구현하는 패턴 리타더 방식이 있다. 또한, 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상을 시분할하여 표시하고 액정셔터안경을 사용하여 입체영상을 구현하는 셔터안경 방식이 있다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 좌우시차 영상의 광축을 분리하여 입체영상을 구현한다.

일반적으로 입체영상 표시장치는 입체영상을 구현하기 위해 외부로부터 3D 영상 데이터를 입력받는다. 이 경우, 입체영상 표시장치는 3D 영상 데이터를 위에서 설명한 입체영상 방식에 해당하는 3D 포맷으로 변환함으로써 입체영상을 표시한다. 하지만, 입체영상 표시장치는 외부로부터 2D 영상 데이터를 입력받은 경우에도 입체영상을 구현할 수 있다. 이 경우, 입체영상 표시장치는 입력받은 2D 영상 데이터를 3D 영상 데이터로 변환하고, 변환된 3D 영상 데이터를 입체영상 방식에 해당하는 3D 포맷으로 변환함으로써 입체영상을 표시한다. 구체적으로, 입체영상 표시장치는 2D 영상 데이터를 분석하여 생성된 뎁스 값들을 이용하여 2D 영상 데이터를 3D 영상 데이터로 변환한다. 뎁스 값은 2D 영상 데이터의 깊이 정보를 나타내는 값이다. 뎁스 값은 2D 영상 데이터의 깊이가 깊을수록 작아지고, 2D 영상 데이터의 깊이가 얕을수록 커진다.

도 1a는 뎁스 값의 범위와 컨버전스를 보여주는 일 예시도면이다. 도 1b는 표시패널과 기준 초점을 보여주는 일 예시도면이다. 도 1a 및 도 1b를 참조하면, 컨버전스(C)는 입체감을 표현하기 위한 기준값을 의미한다. 표시패널(DIS)에 표시되는 어느 한 객체의 뎁스 값이 컨버전스(C)보다 큰 경우, 그 객체는 컨버전스(C)에 대응하여 설정되는 기준 초점(RC) 대비 앞쪽에 표시되고, 표시패널(DIS)에 표시되는 또 다른 객체의 뎁스 값이 컨버전스(C)보다 작은 경우, 그 객체는 기준 초점(RC) 대비 뒤쪽에 표시되도록 구현된다. 도 1b에서는 설명의 편의를 위해 기준 초점(RC)이 표시패널(DIS)에 위치하는 것을 중심으로 설명하였다.

입체영상이 컨버전스(C) 대비 너무 앞쪽으로 돌출되거나 너무 뒤쪽으로 후퇴하여 표시되는 경우에 사용자(USER)는 눈에 피로감을 느낄 수 있다. 예를 들어, 어느 한 객체의 뎁스 값이 제1 값(V1)보다 큰 경우 그 객체는 기준 초점(RC)으로부터 소정의 제1 범위(R1)만큼 떨어진 위치보다 앞쪽에 표시되므로, 사용자(USER)는 초점을 기준 초점(RC)으로부터 소정의 제1 범위(R1)만큼 떨어진 위치보다 앞쪽에 맞추어야 한다. 또한, 어느 한 객체의 뎁스 값이 제2 값(V2)보다 작은 경우, 그 객체의 초점은 기준 초점(RC)으로부터 소정의 제2 범위(R2)만큼 떨어진 위치보다 뒤쪽에 표시되므로, 사용자(USER)는 초점을 기준 초점(RC)으로부터 소정의 제2 범위(R2)만큼 떨어진 위치보다 뒤쪽에 맞추어야 한다. 즉, 사용자는 기준 초점(RC)으로부터 소정의 제1 범위(R1)만큼 떨어진 위치보다 앞쪽 및 기준 초점(RC)으로부터 소정의 제2 범위(R2)만큼 떨어진 위치보다 뒤쪽으로 초점을 변경해야 하므로, 눈에 피로감을 느끼게 된다.

이를 해결하기 위해, 종래 기술은 제1 값(V1)보다 큰 뎁스 값들을 제1 값(V1)으로 치환하고, 제2 값(V2)보다 작은 뎁스 값들은 제2 값(V2)으로 치환하였다. 이 경우, 입체영상은 제1 범위(R1) 내지 제2 범위(R2) 내에서 표시되므로, 사용자는 눈에 피로감을 덜 느낄 수 있다.

하지만, 뎁스 값들 대부분이 컨버전스(C) 대비 큰 값을 갖는 경우, 선행 기술처럼 제1 값(V1)보다 큰 뎁스 값들을 제1 값(V1)으로 치환한다면 뎁스 값들은 주로 컨버전스(C) 내지 제1 값(V1) 사이의 값을 갖게 된다. 그 결과, 입체영상은 거의 소정의 제1 범위(R1) 내에서 구현되므로, 사용자(USER)가 느끼는 입체감은 저하될 수 있다. 또한, 뎁스 값들 대부분이 컨버전스(C) 대비 작은 값을 갖는 경우, 선행 기술처럼 제2 값(V2)보다 작은 뎁스 값들을 제2 값(V2)으로 치환한다면 뎁스 값들은 주로 컨버전스(C) 내지 제2 값(V2) 사이에 위치하게 된다. 그 결과, 입체영상은 거의 제2 범위(R2) 내에서 구현되므로, 사용자(USER)가 느끼는 입체감은 저하될 수 있다.

본 발명은 사용자가 느끼는 입체감 저하를 방지할 수 있는 3D 변환방법과 입체영상 표시장치를 제공한다.

2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환방법에 있어서, 본 발명의 실시 예에 따른 3D 변환방법은 상기 2D 영상 데이터를 분석하여 뎁스 값들을 산출하는 제1 단계; 상기 뎁스 값들에 어댑티브 게인 값을 적용하여 1차 보정하는 제2 단계; 상기 뎁스 값들의 분포에 따라 컨버전스를 산출하며 상기 컨버전스에 따라 1차 보정 뎁스 값들을 2차 보정하는 제3 단계; 및 2차 보정 뎁스 값들과 상기 컨버전스를 이용하여 디스패러티들을 산출하고, 상기 디스패러티들에 따라 상기 2D 영상 데이터를 쉬프트하여 상기 3D 영상 데이터를 생성하는 제4 단계를 포함한다.

본 발명의 실시 예에 따른 입체영상 표시장치는 데이터 라인들과 게이트 라인들을 포함하는 표시패널; 입력되는 2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환회로; 상기 3D 영상 데이터를 데이터 전압들로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동회로; 및 상기 데이터 전압들에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동회로를 구비하고, 상기 3D 변환회로는, 2D 영상 데이터를 분석하여 뎁스 값들을 출력하는 뎁스 값 출력부; 상기 뎁스 값들에 어댑티브 게인 값을 적용하여 1차 보정하는 1차 뎁스 값 보정부; 상기 뎁스 값들의 분포에 따라 컨버전스를 산출하는 컨버전스 산출부; 상기 컨버전스에 따라 1차 보정 뎁스 값들을 2차 보정하는 2차 뎁스 값 보정부; 및 2차 보정 뎁스 값들과 상기 컨버전스를 이용하여 디스패러티들을 산출하고, 상기 디스패러티들에 따라 상기 2D 영상 데이터를 쉬프트하여 3D 영상 데이터를 생성하는 3D 영상 생성부를 포함하는 것을 특징으로 한다.

본 발명은 뎁스 값과 컨버전스 간의 차이 값에 비례하여 선형적으로 증가하는 어댑티브 게인 값을 뎁스 값들에 곱함으로써 1차 보정한다. 즉, 본 발명은 뎁스 값과 컨버전스 간의 차이 값이 클수록 뎁스 값을 더 크게 또는 더 작게 1차 보정한다. 그 결과, 본 발명은 사용자가 더욱 입체감을 느낄 수 있다.

또한, 본 발명은 뎁스 값들의 분포에 따라 컨버전스를 산출한다. 그 결과, 본 발명은 입체영상을 표시패널의 앞쪽과 뒤쪽에 골고루 나눠 표시할 수 있으므로, 사용자가 느끼는 입체감 저하를 방지할 수 있다.

도 1a는 뎁스 값의 범위와 컨버전스를 보여주는 일 예시도면.
도 1b는 표시패널과 기준 초점을 보여주는 일 예시도면.
도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도.
도 3은 도 2의 3D 변환회로를 상세히 보여주는 블록도.
도 4는 3D 변환회로의 3D 변환방법을 보여주는 흐름도.
도 5는 도 3의 뎁스 값 보정부를 상세히 보여주는 블록도.
도 6은 뎁스 값 보정부의 뎁스 값 보정방법을 보여주는 흐름도.
도 7은 뎁스 값들의 블록별 히스토그램을 보여주는 일 예시도면.
도 8은 어댑티브 게인 값 선택부의 어댑티브 게인 값 선택방법을 상세히 보여주는 흐름도.
도 9는 제1 및 제2 어댑티브 게인 값들의 일 예를 보여주는 그래프.
도 10a 및 도 10b는 뎁스 값들의 히스토그램과 컨버전스를 보여주는 예시도면들.
도 11a 및 도 11b는 표시패널 및 기준 초점을 보여주는 예시도면들.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 이하의 설명에서 사용되는 구성요소 명칭은 명세서 작성의 용이함을 고려하여 선택된 것일 수 있는 것으로서, 실제 제품의 부품 명칭과는 상이할 수 있다.

도 2는 본 발명의 실시 예에 따른 입체영상 표시장치를 개략적으로 보여주는 블록도이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 입체영상 표시장치는 표시패널(10), 게이트 구동회로(110), 데이터 구동회로(120), 타이밍 콘트롤러(130), 3D 변환회로(140), 및 호스트 시스템(150) 등을 구비한다. 본 발명의 실시 예에 따른 입체영상 표시장치의 표시패널(10)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드 소자(Organic Light Emitting Diode, OLED) 등의 평판 표시소자로 구현될 수 있다. 본 발명은 아래의 실시 예에서 표시패널(10)이 액정표시소자로 구현된 것을 중심으로 예시하였지만, 이에 한정되지 않는 것에 주의하여야 한다. 또한, 본 발명의 입체영상 표시장치는 셔터안경(Shutter Glass) 방식, 패턴 리타더(Pattern Retarder) 방식, 액티브 리타더(Active Retarder) 방식 등의 양안시차에 의해 입체영상을 구현하는 안경방식이나, 패럴렉스 베리어, 렌티큘러 렌즈 등의 광학판을 사용하여 양안시차에 의해 입체영상을 구현하는 무안경 방식으로 구현될 수 있다.

표시패널(10)은 액정층을 사이에 두고 대향하는 상부기판과 하부기판을 포함한다. 표시패널(10)에는 데이터 라인(D)들과 게이트 라인(G)들(또는 스캔 라인들)의 교차 구조에 의해 매트릭스 형태로 배열되는 픽셀들을 포함하는 픽셀 어레이가 형성된다. 픽셀 어레이의 픽셀들 각각은 TFT(Thin Film Transistor)를 통해 데이터 전압이 충전되는 화소 전극과 공통전압이 인가되는 공통전극의 전압 차에 의해 액정층의 액정을 구동시켜 빛의 투과량을 조정함으로써 화상을 표시한다. 표시패널(10)의 상부기판상에는 블랙매트릭스와 컬러필터가 형성된다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식의 경우에 상부기판상에 형성되며, IPS(In-Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식의 경우에 화소전극과 함께 하부기판상에 형성될 수 있다. 표시패널(10)의 액정모드는 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 액정표시패널의 상부기판과 하부기판 각각에는 편광판이 부착되고 액정의 프리틸트각(pre-tilt angle)을 설정하기 위한 배향막이 형성된다. 표시패널(10)의 상부기판과 하부기판 사이에는 액정층의 셀갭(cell gap)을 유지하기 위한 스페이서(spacer)가 형성된다.

표시패널(10)은 투과형 액정표시패널, 반투과형 액정표시패널, 반사형 액정표시패널 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표시패널과 반투과형 액정표시패널에서는 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.

데이터 구동회로(120)는 다수의 소스 드라이브 집적회로(Integrated Circuit, 이하 'IC'라 칭함)들을 포함한다. 소스 드라이브 IC들은 타이밍 콘트롤러(130)의 제어 하에 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)를 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 아날로그 데이터 전압들을 발생한다. 소스 드라이브 IC들로부터 출력되는 정극성/부극성 아날로그 데이터 전압들은 표시패널(10)의 데이터 라인(D)들에 공급된다.

게이트 구동회로(110)는 타이밍 콘트롤러(130)의 제어 하에 데이터 전압들과 동기되도록 표시패널(10)의 게이트 라인(G)들에 게이트 펄스들(또는 스캔 펄스들)을 순차적으로 공급한다. 게이트 구동부(110)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정셀의 TFT 구동에 적합한 스윙폭으로 변환하기 위한 레벨 쉬프터, 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적회로들로 구성될 수 있다.

타이밍 콘트롤러(130)는 3D 변환회로(140)로부터 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)와 타이밍 신호들과 모드 신호(MODE) 등을 입력받는다. 타이밍 신호들은 수직동기신호(vertical synchronization signal), 수평동기신호(horizontal synchronization signal), 데이터 인에이블 신호(data enable signal), 및 클럭 신호(clock signal) 등을 포함할 수 있다. 타이밍 콘트롤러(130)는 2D 영상 데이터(RGB2D) 또는 3D 영상 데이터(RGB3D)와 타이밍 신호들에 기초하여, 게이트 구동회로(110)를 제어하기 위한 게이트 제어신호(GCS)를 생성하고, 데이터 구동회로(120)를 제어하기 위한 데이터 제어신호(DCS)를 생성한다. 타이밍 콘트롤러(130)는 게이트 제어신호(GCS)를 게이트 구동회로(110)에 공급한다. 타이밍 콘트롤러(130)는 2D 모드에서 2D 영상 데이터(RGB2D)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급하고, 3D 모드에서 3D 영상 데이터(RGB3D)와 데이터 제어신호(DCS)를 데이터 구동회로(120)로 공급한다.

호스트 시스템(150)은 외부 비디오 소스 기기로부터 입력되는 2D 영상 데이터(RGB2D)를 표시패널(10)에 표시하기에 적합한 해상도의 데이터 포맷으로 변환하기 위해 스케일러(scaler)가 내장된 시스템 온 칩(System on Chip)을 포함할 수 있다. 호스트 시스템(150)은 LVDS(Low Voltage Differential Signaling) 인터페이스, TMDS(Transition Minimized Differential Signaling) 인터페이스 등의 인터페이스를 통해 2D 영상 데이터(RGB2D)와 타이밍 신호들을 3D 변환회로(140)에 공급한다. 또한, 호스트 시스템(150)은 2D 모드 또는 3D 모드를 지시하는 모드 신호(MODE)를 3D 변환회로(140)에 공급한다.

3D 변환회로(140)는 2D 모드에서 2D 영상 데이터(RGB2D)를 변환하지 않고 그대로 타이밍 콘트롤러(130)로 출력한다. 3D 변환회로(140)는 3D 모드에서 2D 영상 데이터(RGB2D)를 3D 영상 데이터(RGB3D)로 변환하여 타이밍 콘트롤러(130)로 출력한다. 본 발명의 입체영상 표시장치가 양안시차에 의해 입체영상을 구현하는 안경방식으로 구현되는 경우, 3D 영상 데이터(RGB3D)는 좌안 영상 데이터(RGBL)와 우안 영상 데이터(RGBR)를 포함할 수 있다. 또는, 본 발명의 입체영상 표시장치가 양안시차에 의해 입체영상을 구현하는 무안경 방식으로 구현되는 경우, 3D 영상 데이터(RGB3D)는 적어도 3 개의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터일 수 있다. 결국, 본 발명의 입체영상 표시장치는 2D 영상 데이터(RGB2D)가 입력되더라도, 3D 변환회로(140)를 이용하여 2D 영상 데이터(RGB2D)를 3D 영상 데이터(RGB3D)로 변환함으로써 입체영상을 구현할 수 있다.

도 3은 도 2의 3D 변환회로를 상세히 보여주는 블록도이다. 도 4는 3D 변환회로의 3D 변환방법을 상세히 보여주는 흐름도이다. 도 3을 참조하면, 3D 변환회로(140)는 뎁스 값 출력부(200), 보정 뎁스 값 출력부(300) 및 3D 영상 생성부(400)를 포함한다. 뎁스 값 출력부(200)는 글로벌 뎁스 값 산출부(210), 로컬 뎁스 맵 산출부(220) 및 뎁스 값 산출부(230)를 포함한다. 이하에서, 도 3 및 도 4를 결부하여 3D 변환회로의 3D 변환방법에 대하여 상세히 설명한다.

첫 번째로, 글로벌 뎁스 값 산출부(210)는 호스트 시스템(150)으로부터 2D 영상 데이터(RGB2D)와 모드 신호(MODE)를 입력받는다. 글로벌 뎁스 값 산출부(210)는 3D 모드를 지시하는 모드 신호(MODE)에 응답하여, 2D 영상 데이터(RGB2D)의 에지를 분석하여 글로벌 뎁스 값들을 산출한다. 구체적으로, 글로벌 뎁스 값 산출부(210)는 2D 영상 데이터(RGB2D)를 분석하여 2D 영상의 에지(edge)들을 산출한 후, 2D 영상의 에지들을 이용하여 글로벌 뎁스 데이터를 산출할 수 있다. 에지는 2D 영상의 객체(object)들 각각의 윤곽(outline)을 의미한다. 예를 들어, 뎁스 값 산출부(210)는 어느 한 수평 또는 수직 라인의 에지의 개수가 많을수록 그 수평 또는 수직 라인의 글로벌 뎁스 값을 크게 산출한다. (S101)

두 번째로, 로컬 뎁스 값 산출부(220)는 호스트 시스템(150)으로부터 2D 영상 데이터(RGB2D)와 모드 신호(MODE)를 입력받는다. 로컬 뎁스 값 산출부(220)는 3D 모드를 지시하는 모드 신호(MODE)에 응답하여, 2D 영상 데이터(RGB2D)의 휘도 및 색차 정보를 분석하여 글로벌 로컬 값들을 산출한다. 구체적으로, 로컬 뎁스 값 산출부(220)는 2D 영상 데이터(RGB2D)로부터 휘도 정보(Y) 및 색차 정보(Cb, Cr)를 산출하고, 휘도 정보(Y) 및 색차 정보(Cb, Cr)를 이용하여 로컬 뎁스 값들을 산출할 수 있다. 예를 들어, 로컬 뎁스 값 산출부(220)는 2D 영상의 객체의 휘도가 높을수록 그 객체의 로컬 뎁스 값을 더 크게 산출하고, 2D 영상의 객체의 휘도가 낮을수록 그 객체의 로컬 뎁스 값을 더 작게 산출할 수 있다. 또한, 뎁스 데이터 생성부(200)는 2D 영상 데이터(RGB2D)가 적색에 가까울수록 로컬 뎁스 값을 더 크게 산출하고, 2D 영상 데이터(RGB2D)가 청색에 가까울수록 로컬 뎁스 값을 더 작게 산출할 수 있다. 로컬 뎁스 값 산출부(220)는 노이즈 제거를 위해 산출된 로컬 뎁스 값들에 평균 필터(mean filter)를 적용할 수 있다. (S102)

세 번째로, 뎁스 값 산출부(230)는 글로벌 뎁스 값 산출부(210)로부터 글로벌 뎁스 값들(GDD)을 입력받고, 로컬 뎁스 값 산출부(220)로부터 로컬 뎁스 값들(LDD)을 입력받는다. 뎁스 값 산출부(230)는 글로벌 뎁스 값들(GDD)에 제1 가중치를 적용하고, 로컬 뎁스 값들(LDD)에 제2 가중치를 적용하여 뎁스 값들(DD)을 산출한다. 이때, 제1 가중치와 제2 가중치의 합은 "1"인 것이 바람직하다. (S103)

네 번째로, 뎁스 값 보정부(300)는 뎁스 값들(DD)을 분석하여 어댑티브 게인 값(adaptive gain value)을 선택하고, 선택된 어댑티브 게인 값을 이용하여 뎁스 값들(DD)을 1차 보정한다. 그리고 나서, 뎁스 값 보정부(300)는 뎁스 값들(DD)에 따라 컨버전스를 조정하고, 컨버전스를 이용하여 1차 보정 뎁스 값들을 2차 보정한다. 뎁스 값 보정부(300)의 뎁스 값 보정방법에 대한 자세한 설명은 도 5 및 도 6을 결부하여 후술한다. (S104)

다섯 번째로, 3D 영상 생성부(400)는 호스트 시스템(150)으로부터 2D 영상 데이터(RGB2D)를 입력받고, 뎁스 값 보정부(300)로부터 2차 보정 뎁스 값들(DD')을 입력받는다. 3D 영상 생성부(400)는 2차 보정 뎁스 값들(DD'), 컨버전스(convergence), 및 최대 디스패러티(max disparity)를 이용하여 디스패러티(disparity)를 산출한다. 디스패러티는 입체감을 형성하기 위해 2D 영상 데이터를 쉬프트시키기 위한 값을 의미한다. 컨버전스(C)는 입체감을 표현하기 위한 기준값을 의미한다. 최대 디스패러티는 디스패러티의 최대값을 의미한다. 컨버전스와 최대 디스패러티는 사전 실험을 통해 미리 결정될 수 있다.

구체적으로, 3D 영상 생성부(400)는 수학식 1과 같이 디스패러티를 산출할 수 있다. 수학식 1에서, Dis는 디스패러티, DD"는 2차 보정 뎁스 값, C는 컨버전스, MD는 최대 디스패러티, MG는 2차 보정 뎁스 값(DD")이 가질 수 있는 최대값이다. 2차 보정 뎁스 값(DD")이 8 비트(bits) 값인 경우 MG는 "255"이다.

3D 영상 생성부(400)는 디스패러티 산출부(200)에 의해 산출된 디스패러티들(DIS)에 따라 2D 영상 데이터(RGB2D)를 쉬프트시켜 3D 영상 데이터(RGB3D)를 생성한다. 3D 영상 데이터(RGB3D)는 좌안 영상 데이터와 우안 영상 데이터를 포함할 수도 있고, 적어도 3 개의 뷰 영상 데이터를 포함하는 멀티뷰 영상 데이터일 수 있다. 3D 영상 생성부(400)의 3D 영상 데이터 생성방법은 공지의 어떠한 방법도 적용될 수 있다. 또한, 3D 영상 생성부(400)는 3D 포맷터를 이용하여 3D 영상 데이터(RGB3D)를 표시패널(10)의 3D 표시 배열에 맞게 배열한 후 타이밍 콘트롤러(130)로 출력할 수 있다. (S105)

도 5는 도 3의 뎁스 값 보정부를 상세히 보여주는 블록도이다. 도 6은 뎁스 값 보정부의 뎁스 값 보정방법을 보여주는 흐름도이다. 도 5를 참조하면, 뎁스 값 보정부(300)는 어댑티브 게인 값 선택부(310), 1차 뎁스 값 보정부(320), 컨버전스 산출부(330) 및 2차 뎁스 값 보정부(330)를 포함한다. 이하에서, 도 5 및 도 6을 결부하여 뎁스 값 보정부(300)의 뎁스 값 보정방법을 상세히 설명한다.

첫 번째로, 어댑티브 게인 값 선택부(310)는 뎁스 값 산출부(230)로부터 뎁스 값들(DD)을 입력받는다. 어댑티브 게인 값 선택부(310)는 뎁스 값들(DD)을 분석하여 어댑티브 게인 값(G)을 선택하고, 선택된 어댑티브 게인 값(G)을 뎁스 값 보정부(330)로 출력한다. 어댑티브 게인 값 선택부(320)의 어댑티브 게인 값 선택방법에 대한 자세한 설명은 도 8 및 도 9를 결부하여 후술한다. (S201)

두 번째로, 제1 뎁스 값 보정부(320)는 뎁스 값 산출부(230)로부터 뎁스 값들(DD)을 입력받고, 어댑티브 게인 값 선택부(320)로부터 어댑티브 게인 값(G)을 입력받는다. 제1 뎁스 값 보정부(320)는 어댑티브 게인 값 선택부(320)에 의해 선택된 어댑티브 게인 값(G)을 이용하여 뎁스 값들을 보정한다. 구체적으로, 뎁스 값 보정부(330)는 어댑티브 게인 값(G)을 뎁스 값들에 곱하여 뎁스 값들(DD)을 보정 뎁스 값들(DD')로 보정한다. (S202)

세 번째로, 컨버전스 산출부(330)는 뎁스 값 산출부(230)로부터 뎁스 값들(DD)을 입력받는다. 컨버전스 산출부(330)는 뎁스 값들(DD)의 분포에 기초하여 컨버전스(C)를 산출한다. 컨버전스(C)는 입체감을 표현하기 위한 기준값을 의미한다. 구체적으로, 컨버전스 산출부(330)는 뎁스 값들(DD)의 히스토그램(histogram)을 산출하고, 뎁스 값들(DD)의 히스토그램을 분석하여 컨버전스(C)를 산출한다.

컨버전스 산출부(330)는 컨버전스(C)를 뎁스 값들의 중앙값으로 산출할 수 있다. 또는, 컨버전스 산출부(330)는 뎁스 값들의 범위를 n(n은 2 이상의 자연수) 개의 블록들로 분할하고, 블록들 각각에 포함된 뎁스 값들의 개수를 블록 카운트 값으로 산출하며, 블록 카운트 값이 제1 문턱 값(TH1) 이상인 블록들을 후보 블록으로 선정하고, 컨버전스(C)를 후보 블록으로 선정된 블록들에 포함된 뎁스 값들의 중앙값으로 산출할 수도 있다. 예를 들어, 컨버전스 산출부(330)는 도 7과 같이 최소 뎁스 값(DVmin)과 최대 뎁스 값(DVmax) 사이를 8 개의 블록들로 분할하고, 8 개의 블록들 각각에 포함된 뎁스 값들의 개수를 블록 카운트 값으로 산출할 수 있다. 이 경우, 컨버전스 산출부(330)는 도 7과 같이 블록 카운트 값이 제1 문턱 값(TH1) 이상인 제4 블록(BL4), 제5 블록(BL6) 및 제6 블록(BL6)을 후보 블록으로 선정하고, 컨버전스(C)를 제4 블록(BL4), 제5 블록(BL6) 및 제6 블록(BL6)에 포함된 뎁스 값들의 중앙값으로 산출할 수 있다. (S203)

네 번째로, 제2 뎁스 값 보정부(340)는 제1 뎁스 값 보정부(320)로부터 1차 보정 뎁스 값들(DD')을 입력받고, 컨버전스 산출부(330)로부터 컨버전스(C)를 입력받는다. 제2 뎁스 값 보정부(340)는 컨버전스(C)에 소정의 값(α)을 합산한 값(C+α)보다 큰 뎁스 값들을 컨버전스(C)와 소정의 값(α)을 합산한 값(C+α)으로 보정하고, 컨버전스(C)에 소정의 값(α)을 감산한 값(C0α)보다 작은 뎁스 값들을 컨버전스(C)와 소정의 값(α)을 감산한 값(C-α)으로 치환하는 2차 보정을 수행한다. 제2 뎁스 값 보정부(340)의 2차 보정에 대한 자세한 설명은 도 11a, 도 11b, 도 12a 및 도 12b를 결부하여 후술한다. 제2 뎁스 값 보정부(340)는 2차 보정 뎁스 값들(DD")을 3D 영상 생성부(400)로 출력한다. (S204)

도 8은 어댑티브 게인 값 선택부의 어댑티브 게인 값 선택방법을 상세히 보여주는 흐름도이다. 도 8을 참조하면, 어댑티브 게인 값 선택부(310)는 컨버전스(C)에 소정의 값(α)을 합산한 값(C+α)보다 큰 뎁스 값들과 컨버전스(C)에 소정의 값(α)을 감산한 값(C-α)보다 작은 뎁스 값들의 개수를 카운트하여 뎁스 카운트 값(DC)을 산출한다. (S201)

어댑티브 게인 값 선택부(310)는 제1 어댑티브 게인 값(G1)과 제2 어댑티브 게인 값(G2)을 저장하는 메모리를 포함할 수 있다. 어댑티브 게인 값 선택부(310)는 뎁스 카운트 값(DC)이 제2 문턱 값(TH2)보다 큰 지를 비교한다. 어댑티브 게인 값 선택부(310)는 뎁스 카운트 값(DC)이 제2 문턱 값(TH2)보다 큰 경우, 메모리에 저장된 제1 어댑티브 게인 값(G1)을 뎁스 값 보정부(330)로 출력한다. 어댑티브 게인 값 선택부(320)는 뎁스 카운트 값(DC)이 제2 문턱 값(TH2)보다 작거나 같은 경우, 메모리에 저장된 제2 어댑티브 게인 값(G2)을 뎁스 값 보정부(330)로 출력한다. (S202~S204)

도 9는 제1 및 제2 어댑티브 게인 값들의 일 예를 보여주는 그래프이다. 도 9에서 x 좌표는 뎁스 값과 컨버전스 간의 차이 값을 의미하고, y 좌표는 값을 의미한다. 도 9에서는 뎁스 값들이 8 비트(bits)이고, 컨버전스가 "128"인 경우를 중심으로 설명하였다. 이 경우, 뎁스 값과 컨버전스 간의 차이 값은 -127 내지 128의 값을 가진다.

도 9를 참조하면, 제1 어댑티브 게인 값(G1)과 제2 어댑티브 게인 값(G2)은 뎁스 값들에 따라 그 값이 달라진다. 제1 어댑티브 게인 값(G1)과 제2 어댑티브 게인 값(G2)은 뎁스 값과 컨버전스 간의 차이 값에 비례하여 선형적으로 증가한다. 이때, 제1 어댑티브 게인 값(G1)과 제2 어댑티브 게인 값(G2)은 컨버전스에서 최소값을 가질 수 있다. 예를 들어, 제1 어댑티브 게인 값(G1)과 제2 어댑티브 게인 값(G2)은 컨버전스(C)에서 "1"일 수 있다.

또한, 제1 어댑티브 게인 값(G1)의 최대값은 제2 어댑티브 게인 값(G2)의 최대값보다 크다. 즉, 제1 어댑티브 게인 값(G1)의 기울기는 제2 어댑티브 게인 값(G2)의 기울기보다 크게 구현될 수 있다. 제1 어댑티브 게인 값(G1)의 기울기가 제2 어댑티브 게인 값(G2)의 기울기보다 큰 경우, 제1 어댑티브 게인 값(G1)이 곱해진 1차 보정 뎁스 값들은 제2 어댑티브 게인 값(G2)이 곱해진 1차 보정 뎁스 값들보다 컨버전스(C) 주변에 분포되지 않는다. 따라서, 사용자는 제1 어댑티브 게인 값(G1)이 선택되는 경우 제2 어댑티브 게인 값(G2)이 선택되는 경우보다 더욱 입체감을 느낄 수 있다.

한편, 제1 뎁스 값 보정부(320)는 제1 뎁스 값 보정부(320)는 어댑티브 게인 값 선택부(320)에 의해 선택된 어댑티브 게인 값(G)을 이용하여 뎁스 값들을 보정한다. 구체적으로, 제1 뎁스 값 보정부(320)는 뎁스 값들 각각에 뎁스 값들의 중앙값을 감산하여 뎁스 값들을 치환한다. 뎁스 값들이 8 비트(bits)인 경우, 뎁스 값들의 중앙값은 "128"이며, 치환된 뎁스 값들은 -127 내지 128의 값을 갖는다. 제1 뎁스 값 보정부(320)는 치환된 뎁스 값들 각각에 치환된 뎁스 값들 각각에 해당하는 어댑티브 게인 값을 곱함으로써, 1차 보정할 수 있다. 예를 들어, 치환된 뎁스 값이 "-53"인 경우, "-53"에 해당하는 어댑티브 게인 값을 곱함으로써, 1차 보정할 수 있다.

이상에서 살펴본 바와 같이, 본 발명은 뎁스 값과 컨버전스 간의 차이 값에 비례하여 선형적으로 증가하는 어댑티브 게인 값을 뎁스 값들에 곱함으로써 1차 보정한다. 즉, 본 발명은 뎁스 값과 컨버전스 간의 차이 값이 클수록 뎁스 값을 더 크게 또는 더 작게 1차 보정한다. 그 결과, 본 발명은 사용자가 더욱 입체감을 느낄 수 있다.

도 10a 및 도 10b는 뎁스 값들의 히스토그램과 컨버전스를 보여주는 예시도면들이다. 도 11a 및 도 11b는 표시패널 및 기준 초점을 보여주는 예시도면들이다. 도 10a 및 도 10b에서 x 축은 뎁스 값과 그의 중앙값 간의 차이 값을 의미하고, y 축은 개수를 의미한다. 도 10a 및 도 10b에서는 뎁스 값들이 8 비트(bits)인 것을 중심으로 설명하였다. 이 경우, 뎁스 값의 중앙값은 "128"일 수 있으며, 뎁스 값과 그의 중앙값 간의 차이 값은 -128 내지 127의 값을 가진다. 도 10a에는 뎁스 값의 분포에 따라 컨버전스(C)를 산출하지 않고, 컨버전스(C)를 "128"로 고정한 경우의 일 예가 나타나 있고, 도 10b에는 뎁스 값의 분포에 따라 컨버전스(C)를 산출한 경우의 일 예가 나타나 있다.

도 11a 및 도 11b에는 표시패널(DIS) 및 기준 초점(RC)이 나타나 있다. 기준 초점(RC)는 컨버전스(C)에 대응하여 설정되며, 컨버전스(C)가 클수록 표시패널(DIS)의 앞쪽으로 이동되고, 컨버전스(C)가 작을수록 표시패널(DIS)의 뒤쪽으로 이동된다. 이하에서, 도 10a, 도 10b, 도 11a 및 도 11b를 결부하여 제2 뎁스 값 보정부(340)의 2차 보정 방법에 대하여 상세히 설명한다.

표시패널(DIS)에 표시되는 어느 한 객체의 뎁스 값이 컨버전스(C)보다 큰 경우, 그 객체는 컨버전스(C)에 대응하여 설정되는 기준 초점(RC) 대비 앞쪽에 표시되고, 표시패널(DIS)에 표시되는 또 다른 객체의 뎁스 값이 컨버전스(C)보다 작은 경우, 그 객체는 기준 초점(RC) 대비 뒤쪽에 표시되도록 구현된다. 입체영상이 컨버전스(C) 대비 너무 앞쪽으로 돌출되거나 너무 뒤쪽으로 후퇴하여 표시되는 경우에 사용자(USER)는 눈에 피로감을 느낄 수 있다.

제2 뎁스 값 보정부(340)는 컨버전스 산출부(330)에 의해 산출된 컨버전스(C)를 입력받고, 컨버전스(C)에 뎁스 값들의 중앙값을 감산하여 보정 컨버전스(CC)를 산출한다. 제2 뎁스 값 보정부(340)는 사용자(USER)의 눈의 피로감을 줄이기 위해, 보정 컨버전스(CC)에 소정의 값(α)을 합한 값(CC+α)보다 큰 1차 보정 뎁스 값들을 CC+α로 치환하고, 보정 컨버전스(CC)에 소정의 값(α)을 감산한 값(CC-α)보다 작은 1차 보정 뎁스 값들을 CC-α로 치환한다. α가 클수록 입체감은 높아지나 사용자의 눈의 피로도는 높아질 수 있으므로, α는 사전 실험을 통해 미리 결정될 수 있다. 도 11a 및 도 11b에 도시된 제1 범위(R1)는 보정 컨버전스(CC)에 소정의 값(α)을 합한 값(CC+α)에 대응하여 설정되는 범위이고, 제2 범위(R2)는 보정 컨버전스(CC)에 소정의 값(α)을 감산한 값(CC-α)에 대응하여 설정되는 범위이다.

종래 기술은 뎁스 값의 분포에 따라 컨버전스(C)를 산출하지 않는다. 도 10a와 같이 1차 보정 뎁스 값들 대부분이 보정 컨버전스(CC)보다 큰 값을 가질 때, 보정 컨버전스(CC)에 소정의 값(α)을 합한 값(CC+α)보다 큰 1차 보정 뎁스 값들을 CC+α로 치환하면, 치환된 값들 대부분은 CC 내지 CC+α 에 분포하게 된다. 이 경우, 입체영상은 주로 제1 범위(R1)에 표시되므로, 사용자가 느끼는 입체감은 저하되게 된다.

하지만, 본 발명은 뎁스 값의 분포에 따라 컨버전스(C)를 산출한다. 도 10b와 같이 1차 보정 뎁스 값들 대부분이 보정 컨버전스(CC)보다 큰 값을 가질 때, 보정 컨버전스(CC)에 소정의 값(α)을 합한 값(CC+α)보다 큰 1차 보정 뎁스 값들을 CC+α로 치환하더라도, 치환된 값들 대부분은 CC-α 내지 CC+α에 분포하게 된다. 이 경우, 입체영상은 제1 범위(R1)와 제2 범위(R2)에 표시되므로, 사용자가 느끼는 입체감은 저하되지 않는다. 즉, 본 발명은 입체영상을 표시패널의 앞쪽과 뒤쪽에 골고루 나눠 표시할 수 있으므로, 사용자가 느끼는 입체감 저하를 방지할 수 있다.

제2 뎁스 값 보정부(340)는 치환된 값들 각각에 뎁스 값들의 중앙값을 합산하여 2차 보정된 뎁스 값들(DD") 각각을 산출한다. 예를 들어, 제2 뎁스 값 보정부(340)는 치환된 값이 "-30"인 경우, "-30"에 뎁스 값들의 중앙값인 "128"을 합산함으로써, 2차 보정할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

10: 표시패널 110: 게이트 구동회로
120: 데이터 구동회로 130: 타이밍 콘트롤러
140: 영상 처리부 150: 호스트 시스템
200: 뎁스 값 출력부 300: 뎁스 값 보정부
310: 어댑티브 게인 값 선택부 320: 제1 뎁스 값 보정부
330: 컨버전스 산출부 340: 제2 뎁스 값 보정부
400: 3D 영상 생성부

Claims (9)

1. 2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환방법에 있어서,
   상기 2D 영상 데이터를 분석하여 뎁스 값들을 산출하는 제1 단계;
   상기 뎁스 값들에 어댑티브 게인 값을 적용하여 1차 보정하는 제2 단계;
   상기 뎁스 값들의 분포에 따라 컨버전스를 산출하며 상기 컨버전스에 따라 1차 보정 뎁스 값들을 2차 보정하는 제3 단계; 및
   2차 보정 뎁스 값들과 상기 컨버전스를 이용하여 디스패러티들을 산출하고, 상기 디스패러티들에 따라 상기 2D 영상 데이터를 쉬프트하여 상기 3D 영상 데이터를 생성하는 제4 단계를 포함하고,
   상기 어댑티브 게인 값은 상기 뎁스 값과 상기 컨버전스 간의 차이 값이 비례하여 증가하는 것을 특징으로 하는 3D 변환방법.
2. 제 1 항에 있어서,
   상기 제3 단계는,
   상기 컨버전스를 상기 뎁스 값들의 중앙값으로 산출하는 것을 특징으로 하는 3D 변환방법.
3. 제 1 항에 있어서,
   상기 제3 단계는,
   상기 뎁스 값들의 범위를 n(n은 2 이상의 자연수) 개의 블록들로 분할하는 단계;
   상기 블록들 각각에 포함된 뎁스 값들의 개수를 블록 카운트 값으로 산출는 단계;
   상기 블록 카운트 값이 제1 문턱 값 이상인 블록들을 후보 블록으로 선정하는 단계; 및
   상기 컨버전스를 후보 블록으로 선정된 블록들에 포함된 뎁스 값들의 중앙값으로 산출하는 단계를 포함하는 것을 특징으로 하는 3D 변환방법.
4. 삭제
5. 제 1 항에 있어서,
   상기 어댑티브 게인 값은 상기 컨버전스에서 최소값을 갖는 것을 특징으로 하는 3D 변환방법.
6. 제 1 항에 있어서,
   상기 제2 단계는,
   상기 컨버전스에 소정의 값을 합산한 값보다 큰 뎁스 값들과 상기 컨버전스에 상기 소정의 값을 감산한 값보다 작은 뎁스 값들의 개수를 카운트하여 뎁스 카운트 값을 산출하는 단계;
   상기 뎁스 카운트 값이 제2 문턱 값보다 큰 경우, 제1 어댑티브 게인 값을 선택하는 단계; 및
   상기 뎁스 카운트 값이 상기 제2 문턱 값보다 작거나 같은 경우, 제2 어댑티브 게인 값을 선택하는 단계를 포함하는 것을 특징으로 하는 3D 변환방법.
7. 제 6 항에 있어서,
   상기 제1 어댑티브 게인 값의 최대값은 상기 제2 어댑티브 게인 값의 최대값보다 큰 것을 특징으로 하는 3D 변환방법.
8. 제 1 항에 있어서,
   상기 제1 단계는,
   상기 2D 영상 데이터의 에지를 분석하여 글로벌 뎁스 값들을 산출하고, 상기 2D 영상 데이터의 휘도 및 컬러를 분석하여 로컬 뎁스 값들을 산출하며, 상기 글로벌 뎁스 값들과 상기 로컬 뎁스 값들을 이용하여 상기 뎁스 값들을 산출하는 것을 특징으로 하는 3D 변환방법.
9. 데이터 라인들과 게이트 라인들을 포함하는 표시패널;
   입력되는 2D 영상 데이터를 3D 영상 데이터로 변환하는 3D 변환회로;
   상기 3D 영상 데이터를 데이터 전압들로 변환하여 상기 데이터 라인들로 출력하는 데이터 구동회로; 및
   상기 데이터 전압들에 동기되는 게이트 펄스를 상기 게이트 라인들로 순차적으로 출력하는 게이트 구동회로를 구비하고,
   상기 3D 변환회로는,
   2D 영상 데이터를 분석하여 뎁스 값들을 출력하는 뎁스 값 출력부;
   상기 뎁스 값들에, 상기 뎁스 값과 컨버전스 간의 차이 값이 비례하여 증가하는 어댑티브 게인 값을 적용하여 1차 보정하는 1차 뎁스 값 보정부;
   상기 뎁스 값들의 분포에 따라 컨버전스를 산출하는 컨버전스 산출부;
   상기 컨버전스에 따라 1차 보정 뎁스 값들을 2차 보정하는 2차 뎁스 값 보정부; 및
   2차 보정 뎁스 값들과 상기 컨버전스를 이용하여 디스패러티들을 산출하고, 상기 디스패러티들에 따라 상기 2D 영상 데이터를 쉬프트하여 3D 영상 데이터를 생성하는 3D 영상 생성부를 포함하는 것을 특징으로 하는 입체영상 표시장치.
   

Images