KR101296900B1

KR101296900B1 - 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치

Info

Publication number: KR101296900B1
Application number: KR1020090001207A
Authority: KR
Inventors: 정호영; 손현호; 임무종
Original assignee: 엘지디스플레이 주식회사
Priority date: 2009-01-07
Filing date: 2009-01-07
Publication date: 2013-08-14
Also published as: US20100171697A1; KR20100081803A; US8970681B2

Abstract

본 발명은 입체 영상의 뷰 제어방법에 관한 것으로, 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출하는 단계; 상기 사용자의 위치정보에 따라 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하는 단계; 상기 파라미터에 따라 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하는 단계; 및 상기 좌안 영상과 우안 영상을 입체 영상표시장치에 표시하는 단계를 포함한다.

Description

입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치{METHOD OF CONTROLLING VIEW OF STEREOSCOPIC IMAGE AND STEREOSCOPIC IMAGE DISPLAY USING THE SAME}

본 발명은 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치에 관한 것이다.

입체영상 표시장치는 양안시차방식(stereoscopic technique)과 복합시차지각방식(autostereoscopic technique)으로 나뉘어진다.

양안시차방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식이 있고 두 방식 모두 실용화되고 있다. 안경방식은 직시형 표시장치나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴렉스 베리어 등의 광학판을 표시 화면의 앞에 또는 뒤에 설치하는 방식이다.

안경방식은 표시장치에서 좌안 영상과 우안 영상을 교대로 표시하고 편광 안경에 입사되는 편광특성을 절환한다. 따라서, 안경방식은 좌안 영상과 우안 영상을 시분할 하여 해상도 저하 없이 입체 영상을 구현할 수 있다.

최근 입체 영상을 이용한 3D 콘텐츠는 3D 게임, 3D 광고, 3D 영화 등으로 다양화되고 있다. 입체 영상의 응용 분야와 콘텐츠 확대를 위해서는 사용자의 움직임에 따라 입체 영상의 뷰(view)를 적응적으로 제어할 필요가 있다.

본 발명의 목적은 상기 종래 기술의 문제점들을 해결하고자 안출된 발명으로써 사용자의 위치에 입체 영상의 좌안 영상 뷰와 우안 영상의 뷰 각도와 뎁스정보를 변경하여 무제한의 입체 영상 뷰를 구현하도록 한 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치를 제공한다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 입체 영상의 뷰 제어방법은 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출하는 단계; 상기 사용자의 위치정보에 따라 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하는 단계; 상기 파라미터에 따라 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하는 단계; 및 상기 좌안 영상과 우안 영상을 입체 영상표시장치에 표시하는 단계를 포함한다.

본 발명의 실시예에 따른 입체 영상표시장치는 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나를 포함하는 표시소자; 상기 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출하는 사용자 위치정보 검출부; 및 상기 사용자의 위치정보에 따라 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하여 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하고 상기 좌안 영상과 우안 영상을 상기 표시소자에 분리 표시하는 이미지 처리부를 구비한다.

본 발명에 따른 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치는 사용자의 위치에 따라 입체 영상의 각도와 뎁스정보(depth information)를 변경하여 사용자에게 무제한의 입체 영상 뷰를 제공할 수 있다.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부한 도면들을 참조한 실시예의 설명을 통하여 명백하게 드러나게 될 것이다.

이하, 도 1 내지 도 10d를 참조하여 본 발명의 바람직한 실시예들에 대하여 상세히 설명하기로 한다.

도 1을 참조하면, 본 발명의 실시예에 따른 입체 영상의 뷰 제어방법은 카메라 영상 또는 적외선 센서 출력에 기반하여 사용자(또는 관찰자)의 위치 정보를 획득한다.(S1) 사용자의 위치 정보는 사용자 얼굴의 X축 위치정보(FaceX), 사용자 얼굴의 Y축 위치정보(FaceY), 사용자와 입체 영상표시장치 사이의 거리(또는 Z축 위치정보, Dist)를 포함한 3차원 위치 정보이다.

본 발명의 실시예에 따른 입체 영상의 뷰 제어방법은 사용자의 3차원 위치 정보에 따라 입체 영상표시장치에 표시되는 좌/우안 영상 각각의 뷰 각도와 뎁스정보를 렌더링(Randering)하기 위한 변수 파라미터를 조정한다.(S2) 좌안 영상의 렌 더링 변수(FaceXL)는 "FaceXL= FaceX-offset/2"으로써 사용자 얼굴의 3차원 위치 정보에 따라 결정되며, 우안 영상의 렌더링 변수(FaceXR)는 FaceXR= FaceX+offset/2으로써 사용자 얼굴의 3차원 위치 정보에 따라 결정된다. "offset"은 사용자의 좌안과 우안 사이의 거리에 해당하는 좌안 영상 생성을 위한 카메라 뷰와 우안 영상 생성을 위한 카메라 뷰 사이의 거리이다. 사용자의 3차원 위치정보에 따라 좌/우안 영상의 X축 관련 파라미터과 함께, 좌/우안 영상의 Y축 및 Z축 관련 파라미터들은 사용자의 Y축 및 Z축 위치정보에 따라 실시간 변경될 수 있다.

본 발명의 실시예에 따른 입체 영상의 뷰 제어방법은 좌/우안 영상 렌더링 변수와 사용자 위치 정보에 따라 좌안 영상과 우안 영상을 생성하고 그 좌안 영상과 우안 영상을 입체 영상표시장치에 표시한다.(S3 내지 S5) 사용자의 위치가 바뀔 때마다 좌/우안 영상의 렌더링 변수가 갱신되므로 입체 영상표시장치에 표시되는 좌/우안 영상 각각의 뷰가 사용자 위치에 따라 실시간으로 바뀐다. 따라서, 본 발명의 입체 영상표시장치는 사용자의 시청자에 위치에 따라 변경되는 입체 영상의 뎁스정보를 실시간 생성하여 사용자에게 무제한의 입체 영상 뷰를 제공할 수 있다.

도 2는 도 1의 S1 단계에서 카메라 영상에 기반하여 사용자(또는 관찰자)의 위치 정보를 획득하는 방법의 제어수순을 단계적으로 보여 주는 흐름도이다. 도 3은 입체 영상표시장치(10)와, 그 입체 영상표시장치(10)에 표시되는 입체 영상을 감상하는 사용자의 3차원 위치정보를 보여 주는 도면이다. 도 4는 입체 영상표시장치(10)에 설치된 카메라(11)에 의해 촬상된 카메라 캡쳐 영상을 보여 주는 도면이다.

도 2 내지 도 4를 참조하면, 입체 영상표시장치(10)는 좌/우안 영상이 표시되는 표시화면, 그 표시화면을 감싸는 프레임, 프레임에 설치되는 카메라(11)를 포함한다. 사용자가 카메라(11)의 화각(view angle) 내에 존재할 때, 카메라(11)에 의해 촬상된 영상에는 사용자 이미지가 포함된다. 도 4와 같은 카메라 캡쳐 영상은 카메라 해상도에 따라 결정되는 CW(px)×CH(px) 화소 매트릭스를 포함한다.

입체 영상의 뷰 제어방법은 도 4와 같은 현재 프레임의 카메라 캡쳐 영상을 분석하여 이전 프레임에서 계산된 사용자의 위치정보가 존재하는가를 판단한다. 현재 프레임의 카메라 캡쳐 영상에 이전 프레임에서 계산된 사용자의 위치정보가 존재하면, 입체 영상의 뷰 제어방법은 사용자의 얼굴 탐색 범위를 이전 프레임에서 계산된 사용자 위치 주변으로 설정한다.(S11~S13). 반면에, 현재 프레임의 카메라 캡쳐 영상에 이전 프레임에서 계산된 사용자의 위치정보가 존재하지 않으면, 입체 영상의 뷰 제어방법은 사용자의 얼굴 탐색 범위를 현재 프레임의 카메라 캡쳐 영상 전체 범위로 설정한다.(S11, S12, S14)

입체 영상의 뷰 제어방법은 S13 및 S14 단계에서 설정된 얼굴 탐색 범위 내에서 공지의 얼굴 탐색 알고리즘을 이용하여 사용자의 얼굴을 탐색하여, 카메라 캡쳐 영상으로부터 사용자 얼굴을 XYZ 3차원 위치정보(FaceX, FaceY, Dist)로 추출한다.(S15 및 S16) 얼굴 탐색 알고리즘의 일예로 "Viola & Jones의 얼굴 탐색 알고리즘"을 적용할 수 있으며, 이에 한정되는 것이 아니라 공지의 어떠한 얼굴 탐색 알고리즘도 적용 가능하다. Viola & Jones의 얼굴 탐색 알고리즘은 아래의 수학식 1 내지 4와 같다. 수학식 1 내지 4에서 파라미터 FW(mm), SH(mm), θ(°), CW(px), 및 CH(px)는 도 3 및 도 4와 같이 입체 영상표시장치(10), 카메라(11) 및 카메라 캡쳐 영상에 의해 결정되는 상수값이며, 카메라 캡쳐 영상으로부터 산출된 DW(px) 및 DC(px)는 사용자의 움직임에 따라 Viola & Jones의 얼굴 탐색 알고리즘에 의해 실시간 계산되는 변수값이다. FW는 사용자 얼굴의 폭(Face Width), SH는 입체 영상표시장치(10)의 화면 높이(Screen Height), θ는 사용자가 입체 영상을 바라보는 각도, CW는 카메라 캡쳐 영상의 가로 길이, CH는 카메라 캡쳐 영상의 세로 높이, DW는 카메라 캡쳐 영상으로부터 검출된 사용자 얼굴의 폭(Detected Width), DC는 카메라 캡쳐 영상으로부터 검출된 사용자 얼굴 중심(Detected Center)을 각각 의미한다.

여기서, RPP는 "Radians per pixel"이고 CW는 카메라 캡쳐 영상의 가로 길이이다.

여기서, Dist는 도 3에서 입체 영상표시장치(10)와 사용자 사이의 거리(Face Distance)이다.

여기서,FaceX는 도 3에서 X축 상에서의 사용자 얼굴의 위치이며, DC.X는 카메라 캡쳐 영상으로부터 검출된 사용자 얼굴 중심의 x축 픽셀 위치이다.

여기서,FaceY는 도 3에서 Y축 상에서의 사용자 얼굴의 위치이며, DC.Y는 카메라 캡쳐 영상으로부터 검출된 사용자 얼굴 중심의 y축 픽셀 위치이다.

S11 내지 S16 단계에서 카메라 캡쳐 영상으로부터 사용자 얼굴을 검출하는데 실패하였다면, 입체 영상의 뷰 제어방법은 카메라 캡쳐 영상으로부터 피부색이 가장 많이 포함된 영역을 사용자 얼굴로 인식하여, S11 내지 S16을 재수행하여 사용자 얼굴을 탐색하여 사용자 얼굴을 XYZ 3차원 위치정보(FaceX, FaceY, Dist)로 추출한다.(S17 및 S18)

입체 영상의 뷰 제어방법은 소정의 프레임기간 동안 예를 들면, 수십 프레임기간 동안 S16 및 S18 단계를 반복하여 추출된 입체 영상표시장치(10)를 바라 보는 사용자 얼굴의 3차원 위치정보(FaceX, FaceY, Dist)를 평균한다.(S19) 이는 사용자가 전혀 움직이지 않고 있는 경우에도 카메라 캡쳐 영상에 혼입된 미세한 노이즈 에 의해 사용자 위치 정보가 조금씩 변할 수 있으므로 사용자 위치 정보를 시간축으로 스무딩하여 최종 사용자 얼굴의 3차원 위치 정보로 결정하기 위함이다.

도 5 및 도 6은 도 1의 S1 단계에서 적외선 센서 출력에 기반하여 사용자(또는 관찰자)의 위치 정보를 획득하는 방법을 설명하기 위한 도면들이다.

도 5 및 도 6을 참조하면, 입체 영상표시장치(10)는 좌/우안 영상이 표시되는 표시화면, 그 표시화면을 감싸는 프레임, 프레임에 설치되는 적외선 센서(12)를 포함한다. 사용자는 좌/우 적외선 발광장치(22L, 22R)가 설치된 3D 편광안경(21)을 착용한다. 3D 편광안경(21)을 착용한 사용자가 적외선 센서(12)의 화각 내에 존재할 때, 적외선 센서(12)의 출력에는 좌/우 적외선 발광장치(22L, 22R) 각각으로부터의 적외선이 수광된다. 적외선 센서는 도 6과 같이 센서 해상도에 따라 결정되는 IRW(px)×IRH(px) 센서 매트릭스를 포함한다.

입체 영상의 뷰 제어방법은 도 1의 S1 단계에서 도 6과 같은 적외선 센서의 출력으로부터 적외선 수광 위치(DP1, DP2)를 검출하고, 아래의 수학식 5 내지 11을 이용하여 사용자 얼굴의 폭(DW), 사용자 얼굴의 중심점 XY 좌표(DC.X, DC.Y), 및 사용자 얼굴의 3차원 위치정보(FaceX, FaceY, Dist)를 계산한다.

여기서, DW는 적외선 센서(12)로부터 검출된 좌/우안 적외선 발광장치(22L, 22R) 사이의 폭이다.

여기서, DC.X는 X축 상에서의 사용자 얼굴 중심점 좌표값이다.

여기서, DC.Y는 Y축 상에서의 사용자 얼굴 중심점 좌표값이다.

여기서, RPP_IR는 "Radians per pixel"이고 IRW는 적외선 센서 출력의 가로 길이이다.

여기서, Dist는 도 5에서 입체 영상표시장치(10)와 사용자 사이의 거리(Face Distance)이다.

여기서,FaceX는 도 5에서 X축 상에서의 사용자 얼굴의 위치이며, DC.X는 적외선 출력으로부터 검출된 사용자 얼굴 중심의 x축 좌표값이다.

여기서,FaceY는 도 5에서 Y축 상에서의 사용자 얼굴의 위치이며, DC.Y는 카메라 캡쳐 영상으로부터 검출된 사용자 얼굴 중심의 y축 좌표값이다. IRW는 적외선 센서 출력의 세로 높이이고, SH는 입체 영상표시장치(10)의 표시화면에서 세로 높이(Screen Height)이다.

도 7은 도 5에 도시된 3D 편광안경(21)의 적외선 발광장치(22L, 22R)를 상세히 보여 주는 도면이다.

도 7을 참조하면, 적외선 발광장치(22L, 22R) 각각은 적외선 LED 모듈(Light Emitting Diode module, 23), 스위치소자(24) 및 전지(Battery, 25)를 구비한다. 적외선 LED 모듈(23)은 직렬 또는 병렬로 연결된 하나 이상의 적외선 LED를 포함한다. 스위치소자(24)는 사용자 조작에 의해 적외선 LED 모듈(23)과 전지(25) 사이의 전류패스를 절환한다.

도 8을 참조하면, 입체 영상의 뷰 제어방법은 전술한 바와 같이 S1 및 S2 단 계에서 산출된 사용자의 3차원 위치정보를 좌/우안 영상의 렌더링 변수로 하여 좌/우안 영상 각각을 렌더링한다. 본 발명의 입체 영상표시장치는 3D 객체의 모든 각도에 대한 이미지를 저장하는 것이 아니라, OpenGL, Direc3D 등의 3D 모델링 API(Application Programming Interface)를 이용하여 사용자의 양안간 거리(offset)만큼 이격된 좌/우안 카메라 포지션들(CAM1, CAM2)로부터 3D 개체를 바라보는 좌/우안 이미지를 생성한다. 본 발명은 API에서 사용자의 양안거리만큼 이격된 위치에서 동일한 3D 객체를 바라보는 좌안 카메라 포지션과 우안 카메라 포지션 즉, 좌/우안 영상의 뷰 각도와 뎁스 정보를 결정하는 파라미터를 S1 및 S2 단계에서 산출된 사용자 얼굴의 3차원 위치정보에 따라 실시간 변경한다.

본 발명의 입체 영상표시장치는 사용자 얼굴의 3차원 위치정보에 따라 변경되는 변수 파라미터에 따라 좌/우안 영상 각각을 렌더링한 후에 그 좌/우안 영상을 입체 영상표시장치(10)에 분리 표시하여 입체 영상의 뷰 각도와 뎁스정보를 변경한다. 그 결과, 본 발명의 입체 영상 표시장치는 좌/우안 영상의 렌더링을 사용자 움직임에 따라 실시간 변경함으로써 사용자 움직임에 따라 무한 개의 뷰로 보일 수 있는 입체 영상을 구현한다.

예를 들면, 도 9와 같이 사용자가 입체 영상표시소자(10)의 전방으로부터 좌측으로 이동하면, 사용자의 3 차원 위치정보가 변경된다. 이로 인하여, 입체 영상표시소자(10)에 표시되고 있는 좌/우안 영상이 바뀐 사용자의 3차원 위치정보에 따라 렌더링되고 사용자는 도 9의 중앙에서 좌측으로 뷰 각도와 뎁스정보가 이동하는 3D 객체 이미지를 입체 영상으로 감상할 수 있다. 도 9와 같이 사용자가 입체 영 상표시소자(10)의 전방으로부터 우측으로 이동하면, 사용자의 3 차원 위치정보가 변경된다. 이로 인하여, 입체 영상표시소자(10)에 표시되고 있는 좌/우안 영상이 바뀐 사용자의 3차원 위치정보에 따라 렌더링되고 사용자는 도 9의 중앙에서 우측으로 뷰 각도와 뎁스정보가 이동하는 3D 객체 이미지를 입체 영상으로 감상할 수 있다.

본 발명의 실시예에 따른 입체 영상표시장치는 알려져 있는 양안시차방식과 복합시차지각방식의 어떠한 입체 영상표시장치로도 구현될 수 있으며 전술한 입체 영상의 뷰 제어방법을 이용하여 사용자의 3차원 위치정보를 실시간 검출하여 좌/우안 영상을 실시간 렌더링하여 입체 영상의 뷰를 변경한다. 도 10a 내지 도 10d는 본 발명의 입체 영상표시장치(10)로 구현 가능한 예를 보여 주는 도면들이다.

도 10a에 도시된 입체 영상표시장치(10)는 광흡수축이 서로 교차하는 편광판들(POL1, POL2)과, 그 편광판들(POL1, POL2) 사이에 협지된 액정층(LC)을 포함한다. 이 입체 영상표시장치(10)에서 편광판들(POL1, POL2)이 형성된 기판에는 액정층(LC)에 전계를 인가하기 위한 전극이 형성된다. 액정층(LC)에 전압이 인가되지 않으면(Voff) 제1 편광판(PL1)을 통과하는 선편광이 90°위상 지연값을 갖는 액정층(LC)을 통과하면서 편광방향이 바뀌고 제2 편광판(POL2)을 통과한다. 반면에, 액정층(LC)에 소정의 전압이 인가되면(Von), 제1 편광판(PL1)을 통과하는 영상의 선편광이 위상 지연없이 액정층(LC)을 통과하여 제2 편광판(POL2)을 투과하지 못한다. 이를 이용하여, 좌안 영상의 빛과 우안 영상의 빛의 진행 경로를 제어하여 입체 영상을 구현할 수 있다.

도 10b에 도시된 입체 영상표시장치(10)는 백라이트유닛(BLU)과, 액정표시패널(LCP) 사이에 설치된 패럴랙스 배리어(Parrallax Barrier, PBAR)를 구비한다. 패럴랙스 배리어(PBAR)는 액정표시패널(LCP)에서 좌안 영상이 표시되는 화소를 통과하는 빛의 진행경로와, 우안 영상이 표시되는 화소를 통과하는 빛의 진행경로를 분리한다.

도 10c에 도시된 입체 영상표시장치(10)는 액정표시패널(LCP)과 사용자 사이에 설치된 렌티큘러렌즈 어레이(Lenticular Lens Array, LA)를 구비한다. 렌티큘러렌즈 어레이는 액정표시패널(LCP)로부터 입사되는 좌안 영상의 빛과 우안 영상의 빛을 분리한다.

도 10d에 도시된 입체 영상표시장치(10)는 좌안 영상과 우안 영상을 분리 투사하는 프로젝터들(PJ)과, 프로젝터들(PJ)과 사용자 사이에 설치된 더블 렌티큘러렌즈 어레이(DLA)를 구비한다. 프로젝터들(PJ)과 더블 렌티큘러 렌즈 어레이(DLA)의 조합으로 좌안 영상의 빛과 우안 영상의 빛의 진행경로가 분리된다.

이와 같은 입체 영상표시장치(10)에는 사용자의 위치를 검출하기 위하여 사용자를 바라보는 위치의 프레임에 카메라 등의 이미지 센서, 또는 적외선과 같은 특정 파장의 빛을 감지하는 광센서가 설치된다. 입체 영상표시장치(10)에 광센서가 설치되는 경우에, 사용자는 특정 파장의 빛을 발산하는 발광수단을 착용하여야 한다. 입체 영상표시장치(10)는 입체 영상의 뷰 제어방법에 따라 사용자 얼굴의 위치정보를 검출하는 사용자 위치정보 검출부, 사용자 위치정보에 따라 좌/우안 영상의 렌더링을 위한 파라미터를 조정하여 좌/우안 영상을 생성하는 이미지 처리부 등을 구비한다. 입체 영상표시장치(10)의 표시소자는 전술한 액정표시소자의 표시패널(LCP) 뿐만 아니라, 전계 방출 표시장치(Field Emission Display), 플라즈마 디스플레이 패널(Plasma Display Panel), 및 무기 전계발광소자와 유기발광다이오드소자(Organic Light Emitting Diode, OLED)를 포함한 전계발광소자(Electroluminescence Device, EL) 등의 평판 표시장치의 표시패널로 구현될 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

도 1은 본 발명의 실시예에 따른 입체 영상의 뷰 제어방법의 제어 수순을 단계적으로 보여 주는 흐름도이다.

도 2는 도 1의 S1 단계에서 카메라 영상에 기반하여 사용자의 위치 정보를 획득하는 방법의 제어수순을 단계적으로 보여 주는 흐름도이다.

도 3은 입체 영상표시소자와, 그 입체 영상표시소자에 표시되는 입체 영상을 바라 보는 사용자 얼굴의 3차원 위치정보를 보여 주는 도면이다.

도 4는 도 3에 도시된 카메라에 의해 촬상된 카메라 캡쳐 영상을 보여 주는 도면이다.

도 5는 도 1의 S1 단계에서 적외선 센서 출력에 기반하여 사용자의 위치 정보를 획득하는 방법을 설명하기 위한 도면으로써 적외선 센서가 설치된 입체 영상 표시소자와 사용자 얼굴의 3차원 위치 정보를 보여 주는 도면이다.

도 6은 도 5에 도시된 적외선 센서에 의해 검출되는 적외선 수광 픽셀 위치를 보여 주는 도면이다.

도 7은 도 5에 도시된 3D 편광안경의 적외선 발광장치를 상세히 보여 주는 도면이다.

도 8은 사용자의 3차원 위치 정보에 따라 좌/우안 영상을 생성하는 카메라 포지션들이 실시간 변경되는 예를 보여 주는 도면이다.

도 9는 본 발명의 실시예에 따른 입체 영상표시장치에 표시되는 3D 객체의 입체 영상의 뷰가 실시간 변경되는 예를 보여 부는 도면이다.

도 10a 내지 도 10d는 본 발명의 실시예에 따른 입체 영상표시장치의 다양한 구현 예들을 보여 주는 도면들이다.

< 도면의 주요 부분에 대한 부호의 설명 >

10 : 입체 영상표시소자 11 : 카메라(이미지 센서)

12 : 적외선 센서(광센서) 21 : 3D 편광안경

22L, 22R : 적외선 발광장치

Claims

이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출하는 단계;

상기 사용자의 위치정보에 따라 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하는 단계;

상기 파라미터에 따라 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하는 단계; 및

상기 좌안 영상과 우안 영상을 입체 영상표시장치에 표시하는 단계를 포함하며,

상기 사용자 위치정보를 검출하는 단계는,

상기 이미지 센서로부터 캡쳐된 현재 프레임의 영상을 분석하여 상기 이미지 센서로부터 캡쳐된 이전 프레임에서 계산된 사용자의 위치정보가 존재하는지를 판단하는 단계;

상기 이전 프레임에서 계산된 사용자의 위치정보가 존재하면 사용자의 얼굴 탐색범위를 상기 이전 프레임에서 계산된 사용자 위치주변으로 설정하고, 상기 이전 프레임에서 계산된 사용자의 위치정보가 존재하지 않으면 사용자의 얼굴 탐색범위를 현재 프레임의 영상 전체 범위로 설정하는 단계;

상기 현재 프레임의 영상 전체 범위에서 사용자의 얼굴이 검출되지 않았다면 상기 이미지 센서로부터 출력된 사용자의 피부색과 가장 유사한 색을 포함하는 영역을 사용자의 얼굴로 인식하는 단계를 포함하는 것을 특징으로 하는 입체 영상의 뷰 제어방법.
제 1 항에 있어서,

상기 사용자의 위치정보는 사용자 얼굴의 3 차원 위치정보이며,

상기 3차원 위치정보는 상기 사용자 얼굴의 X축 위치정보, Y축 위치정보, 및 상기 사용자와 입체영상 표시장치 사이의 거리를 나타내는 Z축 위치정보를 포함하는 것을 특징으로 하는 입체 영상의 뷰 제어방법.
제 2 항에 있어서,

상기 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하는 단계는 상기 사용자 얼굴의 3 차원 위치정보에 따라 상기 파라미터를 변경하며,

상기 파라미터는 좌안영상의 렌더링 변수 및 우안 영상의 렌더링 변수를 포함하는 것을 특징으로 하는 입체 영상의 뷰 제어방법.
제 1 항에 있어서,

상기 파라미터에 따라 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하는 단계는,

사용자의 양안거리만큼 이격된 위치에서 동일한 3D 객체를 바라보는 좌안 카메라 포지션과 우안 카메라 포지션을 상기 파라미터에 따라 변경하면서 상기 좌안 영상과 우안 영상을 생성하는 것을 특징으로 하는 입체 영상의 뷰 제어방법.
제 1 항에 있어서,

상기 사용자가 착용한 안경의 좌/우측에 설치된 발광수단을 이용하여 상기 광센서 쪽으로 특정 파장의 광을 조사하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상의 뷰 제어방법.
이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나를 포함하는 표시소자;

상기 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출하는 사용자 위치정보 검출부; 및

상기 사용자의 위치정보에 따라 뷰 각도와 뎁스정보를 렌더링하기 위한 파라미터를 변경하여 뷰 각도와 뎁스 정보가 변경되는 좌안 영상과 우안 영상을 생성하고 상기 좌안 영상과 우안 영상을 상기 표시소자에 분리 표시하는 이미지 처리부를 구비하며,

상기 사용자 위치정보 검출부는,

상기 이미지 센서로부터 캡쳐된 현재 프레임의 영상을 분석하여 상기 이미지 센서로부터 캡쳐된 이전 프레임에서 계산된 사용자의 위치정보가 존재하는지를 판단하고,

상기 이전 프레임에서 계산된 사용자의 위치정보가 존재하면 사용자의 얼굴 탐색범위를 상기 이전 프레임에서 계산된 사용자 위치주변으로 설정하며, 상기 이전 프레임에서 계산된 사용자의 위치정보가 존재하지 않으면 사용자의 얼굴 탐색범위를 현재 프레임의 영상 전체 범위로 설정하고,

상기 현재 프레임의 영상 전체 범위에서 사용자의 얼굴이 검출되지 않았다면 상기 이미지 센서로부터 출력된 사용자의 피부색과 가장 유사한 색을 포함하는 영역을 사용자의 얼굴로 인식하는 것을 특징으로 하는 입체 영상표시장치.
제 6 항에 있어서,

상기 사용자 위치정보는 사용자 얼굴의 3 차원 위치정보이며,

상기 3차원 위치정보는 상기 사용자 얼굴의 X축 위치정보, Y축 위치정보, 및 상기 사용자와 입체영상 표시장치 사이의 거리를 나타내는 Z축 위치정보를 포함하는 것을 특징으로 하는 입체 영상표시장치.
제 7 항에 있어서,

상기 이미지 처리부는, 상기 사용자 얼굴의 3 차원 위치정보에 따라 상기 파라미터를 변경하며, 상기 파라미터는 좌안영상의 렌더링 변수 및 우안 영상의 렌더링 변수를 포함하는 것을 특징으로 하는 입체 영상표시장치.
제 6 항에 있어서,

상기 이미지 처리부는,

사용자의 양안거리만큼 이격된 위치에서 동일한 3D 객체를 바라보는 좌안 카메라 포지션과 우안 카메라 포지션을 상기 파라미터에 따라 변경하면서 상기 좌안 영상과 우안 영상을 생성하는 것을 특징으로 하는 입체 영상표시장치.
제 6 항에 있어서,

상기 광센서 쪽으로 특정 파장의 광을 조사하는 발광수단들이 좌/우측에 설치된 안경을 더 구비하는 것을 특징으로 하는 입체 영상표시장치.