KR20130068732A

KR20130068732A - 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법

Info

Publication number: KR20130068732A
Application number: KR1020110136072A
Authority: KR
Inventors: 이재광; 차홍래
Original assignee: 엘지전자 주식회사
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2013-06-26

Abstract

입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법이 개시된다. 제어부는 촬상된 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하고, 결정한 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하며, 결정한 눈 위치 예측 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성한다. 입체영상 필터 구동부는 생성한 제어신호를 기초로 입체영상 필터의 불투과영역 또는 렌즈를 조절한다.

Description

입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법{An apparatus for processing a three-dimensional image and method of expanding a viewing angle of the same}

본 발명은 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 관한 것으로, 보다 상세하게는, 무안경 방식으로 2시점 및 다시점 영상을 디스플레이할 수 있는 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 관한 것이다.

방송을 위한 컨텐츠로는 2차원(2-dimensions: 2D) 영상 신호를 2차원 이미지로 디스플레이하는 컨텐츠 이외에도 3차원(3 dimensions: 3D) 영상 신호를 3차원 이미지로 디스플레이하는 컨텐츠가 제작 및 기획되고 있다.

3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다.

특히, 무안경 방식의 경우에는, 입체영상을 이미지 역전 및 크로스턱 없이 볼 수 있는 시청 영역이 제한되어 있어, 사용자의 위치에 맞추어 입체영상의 디스플레이를 제어하는 것이 요청된다.

본 발명이 이루고자 하는 기술적 과제는 사용자가 움직일 수 있는 공간을 확장하면서, 사용자의 움직임에 빠르게 대응하여, 사용자의 위치가 스윗 스포트 영역이 되도록 입체영상을 디스플레이할 수 있는 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법을 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 크로스턱 및 깜빡임 현상이 일어나지 않는 시청 영역을 확장할 수 있는 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법을 제공하는데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치의 시야각을 확장하기 위한 방법은, 무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 있어서, 촬상된 제1 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계, 상기 결정된 특징점 위치 정보를 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하는 단계, 상기 결정된 눈 위치 예측 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 단계, 및 상기 생성된 제어신호를 기초로 상기 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 단계를 포함할 수 있다.

상기 입체영상 처리 장치의 시야각을 확장하기 위한 방법은 촬상된 제2 영상 프레임에서 검출된 눈 위치와 관련된 눈 위치 정보 및 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계, 및 상기 결정된 눈 위치 정보 및 상기 결정된 특징점 위치 정보를 이용하여 상기 눈의 위치 및 상기 특징점의 위치 간의 상대위치와 관련된 상대위치 정보를 결정하는 단계를 더 포함할 수 있다. 상기 상대위치 정보는 촬상된 영상 프레임마다 업데이트될 수 있다.

상기 눈 위치 예측 정보를 결정하는 단계는, 상기 특징점 위치 정보 및 상기 상대위치 정보를 기초로 상기 눈 위치 예측 정보를 결정하는 단계를 포함할 수 있다.

상기 입체영상 처리 장치의 시야각을 확장하기 위한 방법은, 상기 눈 위치 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 단계, 및 상기 생성된 제어신호를 기초로 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 단계를 더 포함할 수 있다.

상기 제2 영상 프레임은 상기 제1 영상 프레임보다 먼저 촬상된 것일 수 있다.

상기 특징점은 상기 제1 영상 프레임 및 이전 영상 프레임과의 템플레이트 매칭(template matching)을 수행하여 검출될 수 있다.

상기 특징점은 하나의 픽셀 또는 복수의 픽셀로 형성된 영역일 수 있다.

상기 특징점은 상기 얼굴의 표정 변화와 무관하게 얼굴 상의 위치가 동일하게 유지되는 지점일 수 있다.

상기 특징점은 외안각, 내안각, 인중의 중심점, 인당, 코끝 및 산근 중 적어도 하나를 포함할 수 있다.

상기 특징점은 엣지맵(edge map), 미분, Gabor 필터 및 LDA(Linear Discriminant Analysis) 특징 검출 방법 중 적어도 하나를 이용해 검출될 수 있다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치의 시야각을 확장하기 위한 방법은, 무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 있어서, 촬상된 제1 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계, 상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하는 단계, 상기 결정된 눈 위치 예측 정보를 기초로 상기 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성하는 단계, 및 상기 생성된 제어신호를 기초로 상기 시점 영상들을 배열하는 단계를 포함할 수 있다.

상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치는, 무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치에 있어서, 촬상된 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하고, 상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하며, 상기 결정된 눈 위치 예측 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 제어부, 및 상기 생성된 제어신호를 기초로 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 입체영상 필터 구동부를 포함할 수 있다.

상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치는, 무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치에 있어서, 사용자를 촬상하는 카메라, 상기 카메라가 촬상한 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하고, 상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하며, 상기 결정된 눈 위치 예측 정보를 기초로 상기 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성하는 제어부, 및 상기 생성된 제어신호를 기초로 배열된 시점 영상들을 디스플레이하는 디스플레이를 포함할 수 있다.

본 발명에 따른 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 의하면, 사용자가 촬상된 영상에서 특징점을 검출하고, 검출한 특징점을 이용하여 사용자의 눈의 위치를 예측하므로, 입체영상 처리 장치에서 시야각이 확장될 수 있고, 이에 따라, 사용자가 움직일 수 있는 공간이 확장되며, 크로스턱 및 깜빡임 현상이 일어나지 않는 시청 영역이 넓어진다.

도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 전면 사시도,
도 3은 입체영상 필터의 일실시예의 배치를 도시한 도면,
도 4는 입체영상 필터의 다른 실시예의 배치를 도시한 도면,
도 5는 액정 Lenticular의 원리를 도시한 도면,
도 6a은 6채널의 입체영상 필터의 일실시예를 도시한 도면,
도 6b는 도 6a의 입체영상 필터의 스위치 모드를 도시한 도면,
도 7a는 6채널의 입체영상 필터의 전극 구조를 도시한 도면,
도 7b는 6채널의 입체영상 필터의 불투과영역의 이동을 도시한 도면,
도 8a는 8채널의 입체영상 필터의 일실시예를 도시한 도면,
도 8b는 도 8a의 입체영상 필터의 스위치 모드를 도시한 도면,
도 9는 Lenticular 방식에서 렌즈의 이동 방식을 도시한 도면,
도 10은 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 11은 얼굴 상의 특징점의 예들을 도시한 도면,
도 12는 눈의 위치 및 특징점의 위치 간의 상대 위치를 도시한 도면,
도 13은 화각의 중심에 위치한 사용자의 얼굴이 촬상된 영상 프레임의 일실시예를 도시한 도면,
도 14는 화각의 경계에 위치한 사용자의 얼굴이 촬상된 영상 프레임의 일실시예를 도시한 도면,
도 15는 눈 추적이 가능한 범위를 도시한 도면,
도 16은 사용자의 얼굴의 일부가 촬상된 영상 프레임의 일실시예를 도시한 도면,
도 17은 확장된 눈 추적 범위를 도시한 도면,
도 18은 입체영상 필터의 위치 변화에 따른 스윗 스포트(Sweet Spot)의 이동을 도시한 도면,
도 19는 스위치 모드 테이블에 대한 바람직한 일실시예를 도시한 도면,
도 20은 스위치 모드 테이블에 대한 바람직한 다른 실시예를 도시한 도면,
도 21은 본 발명에 따른 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면, 그리고,
도 22는 제어부에 대한 바람직한 다른 실시예의 구성을 도시한 블록도,
도 23은 사용자 위치 변화에 따라 산출되는 입체영상 변화량을 도시한 도면, 그리고,
도 24는 본 발명에 따른 입체영상 필터 제어 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.

본 명세서에서 설명되는 입체영상 처리 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등의 이동 단말기가 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 입체영상 처리 장치(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 입체영상 필터 구동부(183), 입체영상 필터(185) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 입체영상 처리 장치가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 입체영상 처리 장치(100)와 무선 통신 시스템 사이 또는 입체영상 처리 장치(100)와 입체영상 처리 장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. 그리고 TV 방송 신호는 2차원 영상 방송 신호 및 입체영상 방송 신호를 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 입체영상 처리 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치정보 모듈(115)은 입체영상 처리 장치의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이(151)에 표시될 수 있다.

카메라(121)에서 촬상된 영상 프레임은 제어부(180)에서 처리될 수 있고, 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 입체영상 처리 장치(100)의 개폐 상태, 입체영상 처리 장치(100)의 위치, 사용자 접촉 유무, 입체영상 처리 장치의 방위, 입체영상 처리 장치의 가속/감속 등과 같이 입체영상 처리 장치(100)의 현 상태를 감지하여 입체영상 처리 장치(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 입체영상 처리 장치(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.

디스플레이(151)는 입체영상 처리 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 입체영상 처리 장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 입체영상 처리 장치(100)가 화상 통화 모드 또는 촬영 모드인 경우에는, 디스플레이(151)는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 디스플레이(151)는 입체영상 처리 장치(100)가 방송 신호 디스플레이 모드 또는 영상 디스플레이 모드인 경우에는, 방송 신호 또는 저장된 영상 데이터를 디스플레이한다.

디스플레이(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

입체영상 처리 장치(100)의 구현 형태에 따라 디스플레이(151)가 2개 이상 존재할 수 있다. 예를 들어, 입체영상 처리 장치(100)에는 복수의 디스플레이들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이(151)의 특정 부위에 가해진 압력 또는 디스플레이(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

근접 센서(141)는 상기 터치스크린에 의해 감싸지는 입체영상 처리 장치의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

근접센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 입체영상 처리 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(153)는 입체영상 처리 장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 입체영상 처리 장치에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 입체영상 처리 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

프로젝터 모듈(155)은, 입체영상 처리 장치(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어신호에 따라 디스플레이(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.

구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.

프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.

바람직하게, 프로젝터 모듈(155)은, 입체영상 처리 장치(100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 입체영상 처리 장치(100)의 어느 위치에라도 구비될 수 있음은 당연하다.

메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 입체영상 필터(185)의 현재 스위치 모드 및 스위치 모드 테이블을 저장할 수 있다. 여기서, 스위치 모드는 입체영상 필터(185)의 특정 상태를 지시하고, 스위치 모드 테이블은 스위치 모드, 필터 상태 정보, 및 스위치 모드와 필터 상태 정보를 연관시키는 연관정보를 포함한다. 필터 상태 정보는 연관된 스위치 모드가 지시하는 상태로 입체영상 필터(185)의 상태가 되도록 하기 위한 제어 정보이다. 일부 실시예로, 필터 상태 정보는 입체영상 필터(185)의 적어도 하나의 채널에 전압의 인가 여부를 나타내는 정보를 포함할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 입체영상 처리 장치(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 입체영상 처리 장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 입체영상 처리 장치(100) 내부의 각 구성 요소에 전달하거나, 입체영상 처리 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 입체영상 처리 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 입체영상 처리 장치(100)와 연결될 수 있다.

인터페이스부(170)는 입체영상 처리 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 입체영상 처리 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller, 180)는 통상적으로 입체영상 처리 장치의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 또한 제어부(180)는 사용자 조치를 감지하고, 상기 감지된 사용자 조치가 지시하는 명령 또는 동작이 수행되도록 제어할 수 있다. 여기서 사용자 조치는 입체영상 처리 장치(100) 또는 리모컨의 물리적인 버튼의 선택, 터치스크린상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 카메라(121)로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다.

제어부(180)는 카메라(121)로부터 사용자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 사용자의 눈의 위치를 탐지 또는 상기 눈의 위치를 예측한다.

제어부(180)는 영상 프레임에서 사용자의 눈을 검출하고, 검출한 눈의 위치와 관련된 눈 위치 정보를 결정한다. 또한, 제어부(180)는 영상 프레임에서 사용자의 얼굴을 검출하고, 검출한 얼굴 상의 특징점을 검출한다. 그리고 제어부(180)는 검출한 특징점과 관련된 특징점 위치 정보를 결정하고, 결정한 특징점 위치 정보를 기초로 눈 위치 예측 정보를 결정할 수 있다.

일부 실시예로, 제어부(180)는 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 입체영상 필터(185)의 불투과영역 또는 렌즈의 위치를 조절하기 위한 필터 제어신호를 생성할 수 있다. 바람직하게, 제어부(180)는 영상 프레임에서 사용자의 눈을 검출할 수 없는 경우에, 눈 위치 예측 정보를 기초로 상기 필터 제어신호를 생성할 수 있다.

필터 제어신호는 스위치 모드를 포함할 수 있고, 스위치 정보를 포함할 수 있다.제어부(180)는 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 상기 스위치 모드를 결정할 수 있다. 그리고 제어부(180)는 결정한 스위치 모드 및 입체영상 필터(185)의 현재 스위치 모드 간의 변화량을 산출하여 상기 스위치 정보를 생성할 수 있다. 일부 실시예로, 상기 변화량은 상기 현재 스위치 모드를 상기 결정된 스위치 모드로 변경할 경우에, 상태가 변화되는 적어도 하나의 채널로의 전압의 인가 여부를 지시하는 정보일 수 있다.

일부 실시예로, 제어부(180)는 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 다시점 영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 영상 제어신호를 생성할 수 있다. 바람직하게, 제어부(180)는 영상 프레임에서 사용자의 눈을 검출할 수 없는 경우에, 눈 위치 예측 정보를 기초로 상기 영상 제어신호를 생성할 수 있다.

입체영상 필터 구동부(183)는 제어부(180)가 생성한 필터 제어신호를 기초로 입체영상 필터(185)의 배리어 또는 렌즈의 이동을 제어할 수 있다. 입체영상 필터 구동부(183)는 상기 필터 제어신호에 포함된 스위치 정보를 기초로 입체영상 필터(185)의 배리어 또는 렌즈의 이동을 제어할 수 있다. 또한, 입체영상 필터 구동부(183)는 상기 필터 제어신호에 포함된 스위치 모드를 기초로 입체영상 필터(185)의 배리어 또는 렌즈의 이동을 제어할 수 있다. 입체영상 필터 구동부(183)는 상기 필터 제어신호에 포함된 스위치 모드와 연관된 필터 상태 정보를 스위치 모드 테이블에서 액세스하고, 액세스한 필터 상태 정보를 기초로 입체영상 필터(185)의 배리어 또는 렌즈의 이동을 제어할 수 있다.

입체영상 필터(185)는 디스플레이(151)에 표시된 두 개 또는 두 개 이상의 시점 영상이 사용자에게 입체영상으로 보일 수 있도록 하는 필터이다. 즉 입체영상 필터(185)는 디스플레이(151)가 디스플레이한 시점 영상들의 광경로를 조절한다. 시점 영상들의 광경로를 조절한다는 것은 시점 영상들 중의 일부의 광경로를 차단하는 것을 의미할 수 있고, 시점 영상들을 굴절시킨다는 것을 의미할 수 있다. 여기서 입체영상 필터(185)는 액정 패럴랙스 배리어(Parallax Barrier) 및 액정 렌티큘러 필터(Lenticular filter) 중 하나일 수 있다.

일부 실시예로, 입체영상 필터(185)는 일정한 간격으로 배열된 투과영역들과 불투과영역들을 포함할 수 있다. 디스플레이(151)에서 방출된 빛은 투과영역을 통해 투과되어 사용자의 우안 또는 좌안에 도달된다. 입체영상 필터(185)가 액정 패럴랙스 배리어인 경우에는, 불투과영역은 배리어로 구성될 수 있고, 한쌍의 투과영역과 불투과영역은 피치(Pitch)로 명명될 수 있다. 입체영상 필터(185)의 투과영역 및 불투과영역은 입체영상 필터 구동부(183)의 제어에 따라 이동될 수 있다. 이때, 입체영상 필터(185)는 입체영상 처리 장치(100)에 고정될 수 있다. 또한 입체영상 필터(185)는 불투과영역의 위치를 지시하는 복수의 스위치 모드를 갖는다. 즉 입체영상 필터(185)는 불투과영역의 위치별로 상기 불투과영역의 위치를 지시하는 스위치 모드를 가질 수 있다.

일부 실시예로, 입체영상 필터(185)가 액정 렌티큘러 필터인 경우에는, 투과영역과 불투과영역은 렌즈에 의해 구분될 수 있고, 하나의 렌즈는 피치(Pitch)로 명명될 수 있다. 입체영상 필터(185)의 렌즈는 입체영상 필터 구동부(183)의 제어에 따라 이동될 수 있다. 이때, 입체영상 필터(185)는 입체영상 처리 장치(100)에 고정될 수 있다. 또한 입체영상 필터(185)는 렌즈의 위치를 지시하는 복수의 스위치 모드를 갖는다. 즉 입체영상 필터(185)는 렌즈의 위치별로 상기 렌즈의 위치를 지시하는 스위치 모드를 가질 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

도 2는 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 전면 사시도이다.

도 2를 참조하면, 입체영상 처리 장치(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.

바디는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.

케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.

단말기 바디, 주로 프론트 케이스(101)에는 디스플레이(151), 음향출력부(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스(170) 등이 배치될 수 있다.

디스플레이(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(151)와 카메라(121)가 배치되고, 상기 일 단부에 입체영상 필터(185)가 배치될 수 있다. 입체영상 필터(185)는 디스플레이(151)의 일 단부에 합착되어 배치될 수 있다. 디스플레이(151)의 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다.

사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.

사용자 입력부(130)는 휴대 입체영상 처리 장치(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.

제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절 또는 디스플레이(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력받을 수 있다.

도 3은 입체영상 필터의 일실시예의 배치를 도시한 도면이다.

도 3을 참조하면, 입체영상 패널(300)은 좌안 시점 영상(L)과 우안 시점 영상(R)이 혼합된 입체영상을 표시하는 디스플레이 패널(310) 및 불투과영역(321) 및 투과영역(322)이 일정 간격으로 배열되는 입체영상 필터(320)를 포함한다. 여기서, 입체영상 필터(320)는 액정 패럴랙스 배리어(Parallax Barrier)일 수 있다. 그리고, 도 1의 디스플레이(151)는 디스플레이 패널(310)일 수 있고, 도 1의 입체영상 필터(185)는 입체영상 필터(320)일 수 있다.

입체영상 필터(320)는 디스플레이 패널(310)의 전방에 일정한 거리를 두고 배치되고, 불투과영역(321) 및 투과영역(322)이 디스플레이 패널(310)과 나란한 방향으로 교번적으로 배열된다.

디스플레이 패널(310)이 좌안(L)과 우안(R)에 해당하는 시점 영상을 디스플레이하면, 사용자는 디스플레이된 좌안 시점 영상(L) 및 우안 시점 영상(R)을 입체영상 필터(320)를 통하여 보게 되고, 사용자의 좌안 및 우안은 각각 디스플레이 패널(310)에서 제공되는 좌안 시점 영상(L)과 우안 시점 영상(R)을 독립적으로 보게 되어, 사용자는 입체감을 느낄 수 있다.

사용자가 입체영상이 잘 볼 수 있는 지점을 스윗 스포트(Sweet Spot)라고 한다. 즉 스윗 스포트는 좌안 시점 영상(L) 및 우안 시점 영상(R)이 겹쳐 보이는 크로스 턱(Cross-talk) 및 좌안 시점 영상(L) 및 우안 시점 영상(R)이 역전되어 보이는 이미지 역전 현상(Image Flipping)이 발생하지 않는 지점을 의미한다. 좌안 시점 영상(L)을 보기 위한 스윗 스포트는 지점(332, 334)일 수 있고, 우안 시점 영상(R)을 보기 위한 스윗 스포트는 지점(331, 333)일 수 있다. 만일 지점(332, 334)에 사용자의 우안이 위치하고, 지점(331, 333)에 사용자의 좌안이 위치한 경우에는, 이미지 역전 현상이 일어날 수 있다.

도 4는 입체영상 필터의 다른 실시예의 배치를 도시한 도면이다.

도 4를 참조하면, 입체영상 패널(400)은 좌안 시점 영상(L)과 우안 시점 영상(R)이 혼합된 입체영상을 표시하는 디스플레이 패널(410) 및 다수의 렌즈를 구비한 입체영상 필터(420)를 포함한다. 도 1의 디스플레이(151)는 디스플레이 패널(410)일 수 있고, 도 1의 입체영상 필터(185)는 입체영상 필터(420)일 수 있다.

입체영상 필터(420)는 디스플레이 패널(410)의 전면에 배치될 수 있다. 이때, 입체영상 필터(420)는 영상이 렌티큘러 렌즈의 초점면에 놓이도록 디스플레이 패널(410)로부터 소정거리(ℓ)만큼 이격되도록 배치될 수 있다.

입체영상 필터(420)는 액정 렌티큘러 필터(Lenticular filter)일 수 있다. 이러한 경우에, 입체영상 필터(420)에 구비된 렌즈(421), 렌즈(422), 렌즈(423), 렌즈(424) 및 렌즈(425)는 액정 렌즈일 수 있다.

도 5는 액정 Lenticular의 원리를 도시한 도면이다.

도 5를 참조하면, 액정 렌티큘러 필터(520)는 투명전극(ITO)(521, 522) 및 투명전극 사이에 위치하는 액정(LC: Liquid Crystal)으로 구성될 수 있다. 액정 렌티큘러 필터(520)는 액정(LC, Liquid Crystal)을 통해 디스플레이 패널(510)이 방출하는 빛의 굴절을 조절하여 시점 영들이 적정한 스윗 스포트 상에 위치되게 한다. 즉 액정(LC, Liquid Crystal)은 빛을 굴절시키는 렌즈들을 형성한다. 여기서 액정 렌티큘러 필터(520)는 투명전극(ITO)으로 인가되는 전압을 조절하여 액정(LC, Liquid Crystal)의 위치, 방향 및 배치를 조절할 수 있다. 액정(LC, Liquid Crystal)의 위치, 방향 및 배치에 따라 형성되는 렌즈의 위치가 변경될 수 있고, 그에 따라 스윗 스포트는 변경될 수 있다.

도 6a는 6채널의 입체영상 필터의 일실시예를 도시한 도면이다.

도 6a를 참조하면, 입체영상 필터(185)의 채널수는 디스플레이(151)의 두 개의 픽셀과 대응하는 배리어의 개수를 의미하고, 입체영상 필터의 채널수를 기초로 스위치 모드의 개수가 정해질 수 있다. 일부 실시예로, 채널수는 디스플레이(151)의 두 개의 서브 픽셀과 대응하는 배리어의 개수를 의미할 수 있다.

입체영상 필터(685)의 배리어 중 세 개의 배리어(651, 652, 653)가 디스플레이(151)의 픽셀(610)에 대응하고, 세 개의 배리어(661, 662, 663)가 디스플레이(151)의 픽셀(620)에 대응하므로, 입체영상 필터(685)의 채널수는 6이고, 입체영상 필터(685)는 6채널을 갖는다.

또한, 세 개의 배리어(651, 652, 653)는 불투과영역을 형성하고, 세 개의 배리어(661, 662, 663)는 투과영역을 형성한다.

도 6b는 도 6a의 입체영상 필터의 스위치 모드를 도시한 도면이다.

도 6b를 참조하면, 6채널의 입체영상 필터는 6개의 스위치 모드(Mode 1, Mode 2, Mode 3, Mode 4, Mode 5, Mode 6)를 갖는다.

스위치 모드(Mode 1)에서, 배리어(1, 2, 3), 배리어(7, 8, 9) 및 배리어(13, 14, 15)는 각각 불투과영역을 형성하고, 배리어(4, 5, 6) 및 배리어(10, 11, 12)는 투과영역을 형성한다.

스위치 모드(Mode 2)에서, 배리어(2, 3, 4), 배리어(8, 9, 10) 및 배리어(14, 15)는 각각 불투과영역을 형성하고, 배리어(1), 배리어(5, 6, 7) 및 배리어(11, 12, 13)는 투과영역을 형성한다. 스위치 모드(Mode 2)는 스위치 모드(Mode 1)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

스위치 모드(Mode 3)에서, 배리어(3, 4, 5), 배리어(9, 10, 11) 및 배리어(14)는 각각 불투과영역을 형성하고, 배리어(1, 2), 배리어(6, 7, 8) 및 배리어(12, 13, 14)는 투과영역을 형성한다. 스위치 모드(Mode 3)는 스위치 모드(Mode 2)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

스위치 모드(Mode 4)에서, 배리어(4, 5, 6) 및 배리어(10, 11, 12)는 각각 불투과영역을 형성하고, 배리어(1, 2, 3), 배리어(7, 8, 9) 및 배리어(13, 14, 15)는 투과영역을 형성한다. 스위치 모드(Mode 4)는 스위치 모드(Mode 3)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

스위치 모드(Mode 5)에서, 배리어(1), 배리어(5, 6, 7) 및 배리어(11, 12, 13)는 각각 불투과영역을 형성하고, 배리어(2, 3, 4), 배리어(8, 9, 10) 및 배리어(14, 15)는 투과영역을 형성한다. 스위치 모드(Mode 5)는 스위치 모드(Mode 4)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

스위치 모드(Mode 6)에서, 배리어(1, 2), 배리어(6, 7, 8) 및 배리어(12, 13, 14)는 각각 불투과영역을 형성하고, 배리어(3, 4, 5), 배리어(9, 10, 11) 및 배리어(15)는 투과영역을 형성한다. 스위치 모드(Mode 6)는 스위치 모드(Mode 5)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

도 7a는 6채널의 입체영상 필터의 전극 구조를 도시한 도면이다.

도 7a를 참조하면, 하나의 피치는 복수의 단위 전극으로 나뉘어 질 수 있다. 피치(710)는 6개의 단위 전극(711 내지 716)으로 구성될 수 있고, 3개의 단위 전극(711, 712, 713)이 불투과영역(720)을 형성하고, 3개의 단위 전극(714, 715, 716)이 투과영역(730)을 형성할 수 있다. 또한 하나의 단위 전극은 하나의 배리어와 대응할 수 있다. 예를 들면, 단위 전극(711)은 도 8의 배리어(1)와 대응한다.

또한 하나의 단위 전극은 하나의 채널과 대응할 수 있다. 예를 들면, 단위 전극(711)은 도 8의 배리어(1)가 속하는 채널과 대응한다. 필터 상태 정보 또는 스위치 정보가 특정 채널에 전압 인가를 지시하는 경우에는, 입체영상 필터 구동부(183)는 상기 특정 채널과 대응하는 단위 전극에 전압을 인가한다. 또한, 필터 상태 정보 또는 스위치 정보가 특정 채널에 전압 인가의 중단을 지시하는 경우에는, 입체영상 필터 구동부(183)는 상기 특정 채널과 대응하는 단위 전극에 전압 인가를 중단한다.

또한 단위 전극에 전압 인가 여부에 따라 단위 전극은 불투과영역을 형성할 수도 있고 투과영역을 형성할 수도 있다. 입체영상 필터의 액정 셀이 Normally Black 모드일 경우에는, 단위 전극에 전압을 인가하여 투과영역을 형성시키고, 단위 전극에 전압 인가를 중단하여 불투과영역을 형성시킬 수 있다. 예를 들어, 단위 전극(711)에 전압이 인가되면, 도 8의 배리어(1)는 투과영역을 형성하고, 단위 전극(711)에 전압 인가가 중단되면, 도 8의 배리어(1)는 불투과영역을 형성한다.

또한, 입체영상 필터의 액정 셀이 Normally White 모드일 경우에는, 단위 전극에 전압을 인가하여 불투과영역을 형성시키고, 단위 전극에 전압 인가를 중단하여 투과영역을 형성시킬 수 있다. 예를 들어, 단위 전극(711)에 전압이 인가되면, 도 8의 배리어(1)는 불투과영역을 형성하고, 단위 전극(711)에 전압 인가가 중단되면, 도 8의 배리어(1)는 투과영역을 형성한다.

단위 전극 사이에는 전극갭(740)이 존재할 수 있다. 입체영상 필터의 액정 셀이 Normally Black 모드일 경우에는, 전극갭(740)의 전압이 항상 off상태이므로 전극갭(740)에 해당하는 공간은 블랙이지만, Normally White 모드일 경우에는, 전극갭(740)의 전압이 항상 off상태이므로 전극갭(740)에 해당하는 공간은 화이트가 되어, 전극갭(740)으로 빛샘이 발생할 수 있다. 또한 빛샘 발생으로 Cross-talk이 발생할 수 있다.

전극갭(740)을 통한 빛샘을 방지 위해 블랙 매트릭스(BM: Black Matrix)를 적용하여 빛샘을 방지할 수 있다. 여기서 배리어 대비 전극갭 면적이 1%이상일 경우에, BM을 적용할 수 있다.

도 7b는 6채널의 입체영상 필터의 불투과영역의 이동을 도시한 도면이다.

도 7b을 참조하면, 하나의 피치당 6개의 배리어가 있을 경우에는, 전극 구동은 6개의 배리어의 순서에 따라 반복되는 구조일 수 있다. 일예로, 한 배리어만큼 배리어를 이동시키려면, 각 피치의 첫 번째에 위치하는 배리어(751, 761, 771)를 블랙(Normally White 모드일 경우에는 온, Normally Black 모드일 경우에 오프)에서 화이트로 변화시키고, 각 피치의 네 번째에 위치하는 배리어(754, 764)를 화이트(Normally White 모드일 경우에는 off, Normally Black 모드일 경우에 온)에서 블랙으로 변화시키면 된다.

입체영상 필터(700)는 피치 상에서 같은 위치에 위치하는 배리어가 동시에 제어되도록 구성될 수 있다. 즉 피치 상에서 같은 위치에 위치하는 배리어의 전극이 패널상으로 공통으로 묶여 동시에 제어될 줄 수 있고, 플렉서블 전자회로(FPC, Flexible Printed Circuit) 상에서 묶여서 구동될 수 있다. 이에 따라 모든 단위 전극을 개별 구동하는 것에 비해 제조비 및 구동비를 감소시킬 수 있고, 전력 소모를 줄일 수 있으며, 회로의 복잡도를 감소시킬 수 있다. 여기서, 배리어의 전극이 패널상으로 공통으로 묶여 동시에 제어되는 배리어들은 같은 채널에 속하는 배리어가 될 수 있다. 예를 들면, 배리어(751), 배리어(761) 및 배리어(771)는 같은 채널인 첫 번째 채널에 속한다.

도 8a는 8채널의 입체영상 필터의 일실시예를 도시한 도면이다.

도 8a를 참조하면, 입체영상 필터(885)의 배리어 중 네 개의 배리어(851, 852, 853, 854)가 디스플레이(151)의 픽셀(810)에 대응하고, 네 개의 배리어(861, 862, 863, 864)가 디스플레이(151)의 픽셀(820)에 대응하므로, 입체영상 필터(885)의 채널수는 8이고, 입체영상 필터는 8채널을 갖는다.

도 8b는 도 8a의 입체영상 필터의 스위치 모드를 도시한 도면이다.

도 8b를 참조하면, 8채널의 입체영상 필터는 8개의 스위치 모드(Mode 1, Mode 2, Mode 3, Mode 4, Mode 5, Mode 6, Mode 7, Mode 8)를 갖는다.

스위치 모드(Mode 1)에서, 배리어(1, 2, 3, 4), 배리어(9, 10, 11, 12) 및 배리어(17, 18, 19, 20)는 각각 불투과영역을 형성하고, 배리어(5, 6, 7, 8) 및 배리어(13, 14, 15, 16)는 투과영역을 형성한다.

스위치 모드(Mode 2)에서, 배리어(2, 3, 4, 5), 배리어(10, 11, 12, 13) 및 배리어(18, 19. 20)는 각각 불투과영역을 형성하고, 배리어(1), 배리어(6, 7, 8. 9) 및 배리어(14, 15, 16, 17)는 투과영역을 형성한다. 스위치 모드(Mode 2)는 스위치 모드(Mode 1)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

스위치 모드(Mode 3)는 스위치 모드(Mode 2)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이고, 스위치 모드(Mode 4)는 스위치 모드(Mode 3)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이며, 스위치 모드(Mode 5)는 스위치 모드(Mode 4)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

또한, 스위치 모드(Mode 6)는 스위치 모드(Mode 5)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이고, 스위치 모드(Mode 7)는 스위치 모드(Mode 6)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이며, 스위치 모드(Mode 8)는 스위치 모드(Mode 7)에 대하여, 불투과영역이 배리어 하나의 폭 만큼 이동된 모드이다.

도 9는 Lenticular 방식에서 렌즈의 이동 방식을 도시한 도면이다.

도 9를 참조하면, 입체영상 필터(185)는 단위 렌즈 안의 전극이 사전에 설정된 개수로 분할된 단위 전극을 가질 수 있고, 형성하려는 렌즈의 형상에 해당하는 전압을 상기 단위 전극별로 분포를 가지게 인가받으면, 액정의 굴절율을 변화시켜 렌즈를 형성할 수 있다. 렌즈(910)는 9개의 단위 전극(911)에 전압이 인가되어 형성된 것이다. 또한 렌즈(910)는 단위 렌즈로 하나의 투과영역 및 불투과영역을 분리할 수 있고, 피치를 형성할 수 있다. 이러한 단위 렌즈의 이동에 따라 투과영역 및 불투과영역이 이동하게 된다.

하나의 단위 전극은 하나의 채널과 대응할 수 있다. 또한, 입체영상 필터(185)의 채널 개수는 렌즈(910)가 이동 가능한 범위 내의 단위 전극의 개수로 결정될 수 있다. 예를 들면, 렌즈(910)가 32개의 단위 전극 사이로 이동 가능한 경우에는, 입체영상 필터(185)는 32채널을 갖는 것으로 정의된다. 즉 렌즈(910)는 상기 32개의 단위 전극(또는 채널) 중 9개의 단위 전극(또는 채널)에 전압이 인가되어 형성된다. 필터 상태 정보 또는 스위치 정보가 특정 채널에 전압 인가를 지시하는 경우에는, 입체영상 필터 구동부(183)는 상기 특정 채널과 대응하는 단위 전극에 전압을 인가한다. 또한, 필터 상태 정보 또는 스위치 정보가 특정 채널에 전압 인가의 중단을 지시하는 경우에는, 입체영상 필터 구동부(183)는 상기 특정 채널과 대응하는 단위 전극에 전압 인가를 중단한다.

입체영상 필터 구동부(183)는 단위 전극에 인가되는 전압을 조절하여 단위 렌즈를 이동시킬 수 있다. 즉 입체영상 필터 구동부(183)는 단위 렌즈를 형성하기 위해 단위 전극에 각각 인가된 전압을 이동량에 해당하는 길이를 갖는 단위 전극의 갯수만큼 이동된 단위 전극에 각각 인가하여, 단위 렌즈가 상기 이동량만큼 이동된 위치에서 단위 렌즈가 형성되도록 할 수 있다. 일예로, 렌즈(910)를 형성하는 9개의 단위 전극(911)에 각각 인가된 전압을 두 개의 단위 전극만큼 이동시켜 9개의 단위 전극(921)에 각각 인가하면, 렌즈(910)는 두 개의 단위 전극 길이 만큼 왼쪽에 위치한 렌즈(920)의 위치로 이동하게 된다. 다른 예로, 렌즈(920)를 형성하는 9개의 단위 전극(921)에 각각 인가된 전압을 한 개의 단위 전극만큼 이동시켜 9개의 단위 전극(931)에 각각 인가하면, 렌즈(920)는 한개의 단위 전극 길이 만큼 왼쪽에 위치한 렌즈(930)의 위치로 이동하게 된다.

도 10은 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.

도 10을 참조하면, 제어부(180)는 위치 탐지부(1010), 이동량 산출부(1020) 및 통신 제어부(1030)를 포함할 수 있다.

위치 탐지부(1010)는 카메라(121)로부터 사용자가 촬상된 영상 프레임을 수신하고 수신한 영상 프레임을 이용하여 사용자의 얼굴 상의 특징점을 검출할 수 있다. 위치 탐지부(1010)는 얼굴 영역을 인식하여 상기 특징점을 탐지할 수 있다. 여기서, 위치 탐지부(1010)는 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴 색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 위치 탐지부(1010)는 영상 프레임에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다. 상기 특징점은 영상 프레임 상에서 하나의 픽셀 또는 복수의 픽셀로 형성된 영역일 수 있다. 또한 상기 특징점은 얼굴의 표정 변화와 무관하게 얼굴 상의 위치가 동일하게 유지되는 지점일 수 있다. 또한 상기 특징점은 엣지맵(edge map), 미분, Gabor 필터 및 LDA(Linear Discriminant Analysis) 특징 검출 방법 중 적어도 하나를 이용해 검출된 것일 수 있다.

도 11은 얼굴 상의 특징점의 예들을 도시한 도면이다.

도 11을 참조하면, 특징점은 외안각(1111, 1112) , 내안각(1113, 1114), 인중의 중심점(1115), 인당(1116), 코끝(1117) 및 산근(1118) 중 적어도 하나를 포함할 수 있다.

위치 탐지부(1010)는 하나의 특징점을 검출할 수 있고, 복수의 특징점을 검출할 수 있다. 예를 들면, 위치 탐지부(1010)는 하나의 특징점으로 내안각(1113)을 특징점으로 검출할 수 있다. 또한 위치 탐지부(1010)는 복수의 특징점으로 내안각(1113), 내안각(1114) 및 인당(1116)을 특징점으로 검출할 수 있다.

또한 위치 탐지부(1010)는 영상 프레임을 이용하여 사용자의 눈(1121, 1122)을 검출할 수 있다. 위치 탐지부(1010)는 얼굴 영역을 인식하여 눈(1121, 1122)을 검출할 수 있다.

위치 탐지부(1010)는 사용자의 눈과 얼굴 상의 특징점을 동시에 검출할 수 있다.

위치 탐지부(1010)는 검출한 눈 위치와 관련된 눈 위치 정보 및 검출한 특징점의 위치와 관련된 특징점 위치 정보를 결정할 수 있다. 또한 위치 탐지부(1010)는 상기 눈의 위치 및 상기 특징점의 위치 간의 상대 위치와 관련된 상대위치 정보를 결정할 수 있다. 여기서 상대위치 정보는 좌안 상대위치 정보 및 우안 상대위치 정보 중 적어도 하나를 포함할 수 있다. 좌안 상대위치 정보는 특징점에서 좌안까지의 거리 정보 및 방향 정보를 포함할 수 있고, 우안 상대위치 정보는 특징점에서 우안까지의 거리 정보 및 방향 정보를 포함할 수 있다.

도 12는 눈의 위치 및 특징점의 위치 간의 상대 위치를 도시한 도면이다.

도 12는 위치 탐지부(1010)가 사용자의 눈으로 좌안(1210) 및 우안(1220)을 검출하고, 복수의 특징점으로 내안각(1230), 내안각(1240) 및 인당(1250)을 검출한 경우를 도시한 도면이다.

도 12를 참조하면, 위치 탐지부(1010)는 벡터(1231)를 특징점(1230)과 관련된 좌안 상대위치 정보로 결정하고, 벡터(1236)를 특징점(1230)과 관련된 우안 상대위치 정보로 결정한다. 또한, 위치 탐지부(1010)는 벡터(1241)를 특징점(1240)과 관련된 좌안 상대위치 정보로 결정하고, 벡터(1246)를 특징점(1240)과 관련된 우안 상대위치 정보로 결정한다. 그리고, 위치 탐지부(1010)는 벡터(1251)를 특징점(1250)과 관련된 좌안 상대위치 정보로 결정하고, 벡터(1256)를 특징점(1250)과 관련된 우안 상대위치 정보로 결정한다.

이동량 산출부(1020)는 위치 탐지부(1010)가 결정한 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 필터 제어신호를 생성할 수 있고, 생성한 필터 제어신호를 통신 제어부(1030)로 출력할 수 있다.

일부 실시예로, 이동량 산출부(1020)는 결정한 스위치 모드를 포함하는 필터 제어신호를 생성하고 생성한 필터 제어신호를 통신 제어부(1030)로 출력할 수 있다. 이동량 산출부(1020)는 눈 위치 및 참조 스위치 모드를 기초로 상기 스위치 모드를 산출할 수 있다. 여기서 눈 위치는 눈 위치 정보가 지시하는 눈 위치일 수 있고, 눈 위치 예측 정보가 지시하는 눈 위치일 수 있다. 참조 스위치 모드는 입체영상 처리 장치(100)의 제조시에 정해질 수 있고, 참조 스위치 모드 이동을 요청하는 사용자 조치에 따라 변경될 수 있다.

이동량 산출부(1020)는 다음의 수학식 1을 이용하여 스위치 모드를 산출할 수 있다.

여기서, R은 참조 스위치 모드이고, P는 눈 위치이며, S는 스텝 크기이고, C는 스위치 모드의 개수이다. 눈 위치는 참조 스위치 모드에서의 기준 눈 위치에 대한 상대적 위치를 지시할 수 있다. 즉 P는 기준 눈 위치에서 현재 눈 위치와의 거리가 될 수 있다. 상기 거리는 픽셀 길이일 수 있다. 또한 스텝 크기는 스위치 모드의 변경이 일어나지 않는 눈 위치의 이동량을 의미할 수 있고, 스윗 스포트의 폭을 의미할 수 있다. 예를 들면, 스텝 크기는 도 18에 도시된 스윗 스포트(1816)의 폭을 의미할 수 있다. P와 S는 동일한 길이 단위로 표시될 수 있다. 예를 들어, P와 S는 픽셀 길이로 표시될 수 있다. 즉 P와 S는 촬상된 영상 프레임에서 산출되는 픽셀 길이를 가질 수 있다.

또한 이동량 산출부(1020)는 입체영상 필터(185)의 현재 스위치 모드를 결정한 스위치 모드로 변경할 수 있다. 또한 변경된 입체영상 필터(185)의 현재 스위치 모드는 메모리(160)에 저장될 수 있고, 입체영상 필터(185)의 현재 스위치 모드와 연관된 필터 상태 정보가 메모리(160)에 저장될 수 있다.

일부 실시예로, 이동량 산출부(1020)는 스위치 정보를 포함하는 필터 제어신호를 생성하고, 생성한 필터 제어신호를 통신 제어부(1030)로 출력할 수 있다. 여기서 상기 스위치 정보는 이동량 산출부(1020)는 결정한 스위치 모드와 입체영상 필터(185)의 현재 스위치 모드 간의 변화량을 지시한다. 이동량 산출부(1020)는 메모리(160)에 저장된 스위치 모드 테이블에서 결정한 스위치 모드와 연관된 필터 상태 정보를 액세스할 수 있다. 그리고 이동량 산출부(1020)는 액세스한 필터 상태 정보와 상기 현재 스위치 모드와 연관된 필터 상태 정보 간의 변화된 정보를 포함하는 스위치 정보를 생성할 수 있다. 스위치 모드 테이블은 도 19에 도시된 스위치 모드 테이블(1900) 또는 도 20에 도시된 스위치 모드 테이블(2000)일 수 있다.

통신 제어부(1030)는 이동량 산출부(1020)가 생성한 필터 제어신호를 입체영상 필터 구동부(183)로 전송할 수 있다. 통신 제어부(1030)는 I²C 통신 방식으로 상기 필터 제어신호를 입체영상 필터 구동부(183)로 출력할 수 있다.

도 13은 화각의 중심에 위치한 사용자의 얼굴이 촬상된 영상 프레임의 일실시예를 도시한 도면이고, 도 14는 화각의 경계에 위치한 사용자의 얼굴이 촬상된 영상 프레임의 일실시예를 도시한 도면이며, 도 15는 눈 추적이 가능한 범위를 도시한 도면이다.

도 13 내지 도 15를 참조하면, 영상 프레임(1300) 및 영상 프레임(1400)은 카메라(1521)에 의해 촬상된 것이고, 영상 프레임(1300)은 영상 프레임(1400)보다 먼저 촬상된 것이다.

영상 프레임(1300)에서 사용자(1301)는 영상 프레임(1300)의 중심에 위치한다. 위치 탐지부(1010)는 영상 프레임(1300)에서 좌안(1310), 우안(1320), 특징점(1330) 및 특징점(1340)을 검출하고, 좌안(1310)의 위치와 관련된 좌안 위치 정보, 우안(1320)의 위치와 관련된 우안 위치 정보, 특징점(1330)의 위치와 관련된 특징점 위치 정보 및 특징점(1340)의 위치와 관련된 특징점 위치 정보를 결정한다. 또한 위치 탐지부(1010)는 특징점(1330)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보, 및 특징점(1340)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보를 결정한다. 그리고, 위치 탐지부(1010)는 결정한 좌안(1310)의 위치와 관련된 좌안 위치 정보, 우안(1320)의 위치와 관련된 우안 위치 정보, 특징점(1330)의 위치와 관련된 특징점 위치 정보 및 특징점(1340)의 위치와 관련된 특징점 위치 정보, 특징점(1330)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보, 및 특징점(1340)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보를 메모리(160)에 저장할 수 있다.

영상 프레임(1400)에서 사용자(1401)는 영상 프레임(1400)의 가장자리에 위치한다. 위치 탐지부(1010)는 영상 프레임(1400)에서 좌안(1410), 우안(1420), 특징점(1430) 및 특징점(1440)을 검출한다. 위치 탐지부(1010)는 영상 프레임(1400)과 영상 프레임(1300)과의 템플레이트 매칭(template matching)을 수행하여 특징점(1430) 및 특징점(1440)을 검출할 수 있다. 예를 들어, 위치 탐지부(1010)는 특징점(1330) 또는 특징점(1330)을 포함하는 영역이 영상 프레임(1400) 상에서 이동된 위치를 탐지하여 특징점(1330)을 검출할 수 있다. 본 발명은 템플레이트 매칭(template matching)을 수행하므로, 빠르게 특징점을 검출할 수 있다.

위치 탐지부(1010)는 좌안(1410)의 위치와 관련된 좌안 위치 정보, 우안(1420)의 위치와 관련된 우안 위치 정보, 특징점(1430)의 위치와 관련된 특징점 위치 정보 및 특징점(1440)의 위치와 관련된 특징점 위치 정보를 결정한다. 또한 위치 탐지부(1010)는 특징점(1430)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보, 및 특징점(1440)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보를 결정한다. 그리고, 위치 탐지부(1010)는 결정한 좌안(1410)의 위치와 관련된 좌안 위치 정보, 우안(1420)의 위치와 관련된 우안 위치 정보, 특징점(1430)의 위치와 관련된 특징점 위치 정보 및 특징점(1440)의 위치와 관련된 특징점 위치 정보, 특징점(1430)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보, 및 특징점(1440)과 관련된 좌안 상대위치 정보 및 우안 상대위치 정보로 메모리(160)에 저장된 정보를 각각 업데이트할 수 있다.

얼굴 영역(1450)이 영상 프레임(1400)의 영역을 벗어난 경우에는, 위치 탐지부(1010)는 얼굴 영역(1450)을 검출할 수 없게 되고, 결과적으로 눈을 검출할 수 없게 된다. 얼굴의 좌우 크기(1570)를 18cm라고 하고, 얼굴 반쪽(귀 영역 제외)의 크기(1580)를 8cm라고 하면, 얼굴 추출 가능 영역은 카메라가 촬상하는 영역에서 얼굴의 반쪽 크기(1580)를 제외한 위치까지 이다. 일반적인 얼굴 추출 알고리즘에서는 귀 영역이 없어도 추출이 가능하기 때문에 귀 영역(약 1cm)을 제외한 크기를 얼굴의 반쪽 크기(1580)로 가정하였다.

카메라(1521)가 좌로 30도 및 우로 30도의 화각(1525)을 갖고, 최적 시거리(1550)가 35cm라고 가정하다면, 추적(tracking) 가능 시야각은 다음의 수학식 2와 같이 산출된다.

따라서, 추적(tracking) 가능 시야각은 좌우 각도를 합쳐 38˚가 된다.

도 16은 사용자의 얼굴의 일부가 촬상된 영상 프레임의 일실시예를 도시한 도면이고, 도 17은 확장된 눈 추적 범위를 도시한 도면이다.

도 16 및 17을 참조하면, 영상 프레임(1600)은 카메라(1521)에서 촬상된 것이고, 영상 프레임(1500) 다음에 촬상된 것이다. 영상 프레임(1600)에서 얼굴 영역(1650)은 영상 프레임(1600) 밖으로 나갔으므로, 얼굴 영역(1650)을 검출할 수 없지만, 특징점(1640)은 계속 영상 프레임(1600) 상에 존재하므로, 특징점(1640)의 위치 및 저장된 상대위치 정보를 이용하여 눈의 위치를 추정하여 계산할 수 있다.

위치 탐지부(1010)는 영상 프레임(1600)에서 특징점(1640)을 검출하고, 특징점(1640)의 위치와 관련된 특징점 위치 정보를 결정한다. 위치 탐지부(1010)는 결정한 특징점 위치 정보 및 도 14의 특징점(1440)의 좌안 상대위치 정보를 이용하여 예측된 좌안(1610)의 위치와 관련된 눈 위치 예측 정보를 결정할 수 있다. 또한 위치 탐지부(1010)는 결정한 특징점 위치 정보 및 도 14의 특징점(1440)의 우안 상대위치 정보를 이용하여, 예측된 우안(1620)의 위치와 관련된 눈 위치 예측 정보를 결정할 수 있다.

사용자(1601)의 얼굴(1450)이 영상 프레임(1400)의 영역을 벗어난 경우에도, 위치 탐지부(1010)는 특징점을 이용하여 눈의 위치를 추정하므로, 본 발명에 따른 입체영상 처리 장치(100)는 선명한 입체영상을 볼 수 있는 시야각이 넓어지는 효과가 있다.

또한, 카메라(1521)가 좌로 30도 및 우로 30도의 화각(1525)을 갖고, 최적 시거리(1550)가 35cm라고 가정하다면, 추적(tracking) 가능한 시야각이 60°가 될 수 있다. 따라서, 본 발명에 따른 입체영상 처리 장치(100)는 눈 추적 기반 시야각의 약 160%의 시야각 확장이 가능하다.

얼굴이 카메라의 상하 범위를 벗어나게 되면, 종래의 입체영상 처리 장치는 눈의 위치를 추적하지 못하기 때문에, 눈의 위치에 맞추어 입체영상 필터의 불투과영역 또는 렌즈를 조절할 수 없거나 시점 영상들을 배열할 수 없다. 하지만, 본 발명에 다른 입체영상 처리 장치(100)는 얼굴이 카메라의 상하 범위를 벗어난 경우에도 특징점을 이용하여 눈의 위치를 추정할 수 있으므로, 선명한 입체영상을 볼 수 있는 상하 시야각이 널어지는 효과가 있다.

도 18은 입체영상 필터의 위치 변화에 따른 스윗 스포트(Sweet Spot)의 이동을 도시한 도면이다.

도 18을 참조하면, 불투과영역(1811) 및 투과영역(1812)으로 배열된 스위치 모드를 갖는 입체영상 필터(1810)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1817) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1816)가 교번적으로 배열되는 스윗 스포트(1815)를 갖는다.

불투과영역(1821) 및 투과영역(1822)으로 배열된 스위치 모드를 갖는 입체영상 필터(1820)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1827) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1826)가 교번적으로 배열되는 스윗 스포트(1825)를 갖는다.

불투과영역(1831) 및 투과영역(1832)으로 배열된 스위치 모드를 갖는 입체영상 필터(1830)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1837) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1836)가 교번적으로 배열되는 스윗 스포트(1835)를 갖는다.

불투과영역(1841) 및 투과영역(1842)으로 배열된 스위치 모드를 갖는 입체영상 필터(1840)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1847) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1846)가 교번적으로 배열되는 스윗 스포트(1845)를 갖는다.

불투과영역(1851) 및 투과영역(1852)으로 배열된 스위치 모드를 갖는 입체영상 필터(1850)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1857) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1856)가 교번적으로 배열되는 스윗 스포트(1855)를 갖는다.

불투과영역(1861) 및 투과영역(1862)으로 배열된 스위치 모드를 갖는 입체영상 필터(1860)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1867) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1866)가 교번적으로 배열되는 스윗 스포트(1865)를 갖는다.

불투과영역(1871) 및 투과영역(1872)으로 배열된 스위치 모드를 갖는 입체영상 필터(1870)에서는, 디스플레이 패널(1801)에 디스플레이된 좌안 시점 영상(L)을 보기 위한 스윗 스포트(1877) 및 우안 시점 영상(R)을 보기 위한 스윗 스포트(1876)가 교번적으로 배열되는 스윗 스포트(1875)를 갖는다.

이동량 산출부(1020)는 사용자가 위치하는 지점에 맞추어 스윗 스포트를 이동시키기 위해, 입체영상 필터(185)의 배리어 또는 렌즈의 배치가 배치(1810 내지 1860)들 중 어느 하나가 되도록 스위치 모드를 결정할 수 있다. 예를 들면, 사용자의 좌안이 지점(1817)에 위치하고, 우안이 지점(1818)에 위치하고 있는 경우에는, 이동량 산출부(1020)는 스윗 스포트가 스윗 스포트(1815)가 되도록 하기 위해, 배리어의 배치(1810)를 지시하는 스위치 모드를 결정하고, 상기 사용자의 좌안이 지점(1817)에서 지점(1837)로 이동된 경우에는, 이동량 산출부(1020)는 스윗 스포트가 스윗 스포트(1835)가 되도록 하기 위해, 스위치 모드를 배리어의 배치(1810)를 지시하는 스위치 모드에서 배리어의 배치(1830)를 지하는 스위치 모드로 변경하기 위한 제어신호를 산출하고, 산출한 제어신호를 통신 제어부(1030)로 출력할 수 있다.

도 19는 스위치 모드 테이블에 대한 바람직한 일실시예를 도시한 도면이다.

도 19를 참조하면, 스위치 모드 테이블(1900)은 6채널의 입체영상 필터의 스위치 모드, 필터 상태 정보, 및 스위치 모드와 필터 상태 정보를 연관시키는 연관 정보인 행 정보를 포함한다. 동일한 행에 있는 스위치 모드와 필터 상태 정보는 서로 연관된다. 예를 들어, 첫 행에 있는 스위치 모드 1과 필터 상태 정보 '000111' 서로 연관된다.

필터 상태 정보는 이진수로 표시된다. 이진수의 각 자리는 해당 채널을 지시하고, 해당 자리의 수는 채널의 상태를 지시한다. 예를 들어, 필터 상태 정보가 000111인 경우에, 첫 번째 자리의 수인 '1'은 여섯 번째 채널의 상태를 지시하고, 네 번째 자리의 수인 '0'은 세 번째 채널의 상태를 지시한다. '0'이 채널의 오프(off) 상태를 지시하고 '1'이 채널의 온(on) 상태를 지시할 수 있고, 반대로 '0'이 채널의 온(on) 상태를 지시하고, '1'이 채널의 오프(off) 상태를 지시할 수 있다.

입체영상 필터(185)의 현재 스위치 모드가 스위치 모드 1일 때, 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 결정된 스위치 모드가 스위치 모드 2인 경우에는, 이동량 산출부(1020)는 첫 번째 채널의 상태를 지시하는 정보인 '1' 및 네 번째 채널의 상태를 지시하는 정보인 '0'을 포함하는 스위치 정보를 생성한다.

도 20은 스위치 모드 테이블에 대한 바람직한 다른 실시예를 도시한 도면이다.

도 20을 참조하면, 스위치 모드 테이블(2000)은 8채널의 입체영상 필터의 스위치 모드, 필터 상태 정보, 및 스위치 모드와 필터 상태 정보를 연관시키는 연관 정보인 행 정보를 포함한다. 동일한 행에 있는 스위치 모드와 필터 상태 정보는 서로 연관된다. 예를 들어, 첫 번째 행에 있는 스위치 모드 1과 필터 상태 정보 '00001111'는 서로 연관된다.

필터 상태 정보는 이진수로 표시된다. 이진수의 각 자리는 해당 채널을 지시하고, 해당 자리의 수는 채널의 상태를 지시한다. 예를 들어, 필터 상태 정보가 00001111인 경우에, 첫 번째 자리의 수인 '1'은 여덟 번째 채널의 상태를 지시하고, 다섯 번째 자리의 수인 '0'은 네 번째 채널의 상태를 지시한다. '0'이 채널의 오프(off) 상태를 지시하고 '1'이 채널의 온(on) 상태를 지시할 수 있고, 반대로 '0'이 채널의 온(on) 상태를 지시하고, '1'이 채널의 오프(off) 상태를 지시할 수 있다.

입체영상 필터(185)의 현재 스위치 모드가 스위치 모드 1일 때, 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 결정된 스위치 모드가 스위치 모드 2인 경우에는, 이동량 산출부(1020)는 첫 번째 채널의 상태를 지시하는 정보인 '1' 및 다섯 번째 채널의 상태를 지시하는 정보인 '0'을 포함하는 스위치 정보를 생성한다.

도 21은 본 발명에 따른 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.

도 21을 참조하면, 카메라(121)는 사용자를 촬상한다(S100).

위치 탐지부(1010)는 카메라가(121)가 촬상한 제1 영상 프레임에서 사용자의 눈 및 얼굴 상의 특징점을 검출한다(S105). 여기서, 상기 특징점은 얼굴의 표정 변화와 무관하게 얼굴 상의 위치가 동일하게 유지되는 지점일 수 있다. 또한 상기 특징점은 엣지맵(edge map), 미분, Gabor 필터 및 LDA(Linear Discriminant Analysis) 특징 검출 방법 중 적어도 하나를 이용해 검출된 것일 수 있다. 또한 상기 특징점은 도 11에 도시된 외안각(1111, 1112) , 내안각(1113, 1114), 인중의 중심점(1115), 인당(1116), 코끝(1117) 및 산근(1118) 중 적어도 하나를 포함할 수 있다.

위치 탐지부(1010)는 제1 영상 프레임에서 사용자의 얼굴 영역을 인식하고, 인식한 얼굴 영역에서 사용자의 눈 및 특징점을 검출할 수 있다.

위치 탐지부(1010)는 검출한 눈의 위치와 관련된 눈 위치 정보 및 검출한 특징점의 위치와 관련된 특징점 위치 정보를 결정한다(S110). 또한 위치 탐지부(1010)는 결정한 눈 위치 정보 및 특징점 위치 정보를 메모리(160)에 저장할 수 있다.

위치 탐지부(1010)는 결정한 눈 위치 정보 및 특징점 위치 정보를 기초로 눈의 위치 및 특징점 위치 간의 상대위치를 지시하는 상대위치 정보를 결정한다(S115). 또한 위치 탐지부(1010)는 결정한 상대위치 정보를 메모리(160)에 저장할 수 있다.

이동량 산출부(1020)는 눈 위치 정보를 기초로 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성한다(S120). 여기서 제어신호는 필터 제어신호를 포함할 수 있다. 또한 상기 필터 제어신호는 스위치 모드를 포함할 수 있고, 스위치 정보를 포함할 수 있다. 통신 제어부(1030)는 이동량 산출부(1020)가 생성한 제어신호를 입체영상 필터 구동부(183)에 전송한다.

입체영상 필터 구동부(183)는 통신 제어부(1030)가 전송한 제어신호를 기초로 입체영상 필터(185)의 불투과영역 또는 렌즈의 위치를 조절한다(S125). 디스플레이(1510)는 입체영상에 포함된 시점 영상들을 디스플레이하고, 상기 위치가 조절된 불투과영역 또는 렌즈는 디스플레이(1510)에 디스플레이된 시점 영상들의 광경로를 조절한다.

위치 탐지부(1010)는 제2 영상 프레임에서 사용자의 눈 및 특징점을 검출한다(S130). 여기서, 위치 탐지부(1010)는 제1 영상 프레임 및 제2 영상 프레임과의 템플레이트 매칭(template matching)을 수행하여 특징점을 검출할 수 있다.

위치 탐지부(1010)는 눈이 검출되었는지 여부를 확인한다(S135). 예를 들어, 제2 영상 프레임이 도 16에 도시된 영상 프레임(1600)인 경우에, 위치 탐지부(1010)는 제2 영상 프레임에서 사용자의 눈을 검출하는 것을 실패할 수 있다.

제2 영상 프레임에서 눈이 검출된 경우에는, 위치 탐지부(1010)는 단계 S110을 수행할 수 있다. 또한 위치 탐지부(1010)는 메모리(160)에 저장된 눈 위치 정보 및 특징점 위치 정보를 제2 영상 프레임을 통해 결정한 눈 위치 정보 및 특징점 위치 정보로 업데이트할 수 있다. 그리고, 위치 탐지부(1010)는 단계 S115에서 메모리(160)에 저장된 상대위치 정보를 제2 영상 프레임을 통해 결정한 상대위치 정보로 업데이트할 수 있다.

제2 영상 프레임에서 눈이 검출되지 않은 경우에는, 위치 탐지부(1010)는 검출된 특징점의 위치와 관련된 특징점 위치 정보를 결정한다(S140).

위치 탐지부(1010)는 결정한 특징점 위치 정보 및 상대위치 정보를 이용하여 눈 위치 예측 정보를 결정한다(S145). 여기서 상기 상대위치 정보는 단계 S115에서 저장된 상대위치 정보일 수 있다.

이동량 산출부(1020)는 결정한 눈 위치 예측 정보를 기초로 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성한다(S150). 여기서 제어신호는 필터 제어신호를 포함할 수 있다. 또한 상기 필터 제어신호는 스위치 모드를 포함할 수 있고, 스위치 정보를 포함할 수 있다. 통신 제어부(1030)는 이동량 산출부(1020)가 생성한 제어신호를 입체영상 필터 구동부(183)에 전송한다.

입체영상 필터 구동부(183)는 제어신호를 기초로 입체영상 필터(185)의 불투과영역 또는 렌즈의 위치를 조절한다(S155). 디스플레이(1510)는 입체영상에 포함된 시점 영상들을 디스플레이하고, 상기 위치가 조절된 불투과영역 또는 렌즈는 디스플레이(1510)에 디스플레이된 시점 영상들의 광경로를 조절한다.

도 22는 제어부에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.

도 22를 참조하면, 제어부(180)는 위치 탐지부(2210), 이동량 산출부(2220) 및 그래픽 처리부(2230)를 포함할 수 있다.

위치 탐지부(2210)는 도 10에 도시된 위치 탐지부(1010)와 대응하는 구성요소이고, 이하 구체적인 설명은 생략한다.

이동량 산출부(2220)는 위치 탐지부(2210)가 결정한 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성한다. 여기서 상기 제어신호는 영상 제어신호를 포함할 수 있고, 상기 영상 제어신호는 입체영상 이동량을 포함할 수 있다. 여기서 상기 입체영상 이동량은 위치 탐지부(2210)가 탐지한 사용자 위치에 적합하게 입체영상이 디스플레이되도록 하기 위한 입체영상의 픽셀값 또는 서브 픽셀값이 디스플레이될 위치의 이동량을 의미한다. 또한 입체영상 이동량은 픽셀 이동량 및 서브 픽셀 이동량 중 하나일 수 있다.

도 23은 사용자 위치 변화에 따라 산출되는 입체영상 변화량을 도시한 도면이다.

도 23을 참조하면, 사용자가 위치(2330)에서 위치(2340)로 이동할 때, 디스플레이(2310) 상에서 시선 위치의 이동량 h는 다음의 수학식 3로부터 산출될 수 있다.

여기서, E는 사용자의 눈 이동량이고, D는 입체영상 필터(2320)부터 사용자의 시선까지의 거리인 시거리이며, d는 디스플레이(2310)과 입체영상 필터(2320)의 간격이다. 또한 E는 위치 탐지부(2210)가 결정한 눈 위치 정보 또는 눈 위치 예측 정보를 기초로 산출될 수 있다.

사용자가 위치(2330)에서 위치(2340)로 이동할 때, 입체영상 변화량의 일예인 픽셀 이동량 P는 다음의 수학식 4로부터 산출될 수 있다.

여기서, Q는 입체영상 픽셀 주기이다.

이동량 산출부(2220)는 수학식 3 및 수학식 4를 이용하여 입체영상 변화량을 산출하고, 산출한 입체영상 변화량을 기초로 입체영상 이동량을 산출할 수 있다.

이동량 산출부(2220)는 생성한 제어신호를 그래픽 처리부(2230)로 출력할 수 있다.

그래픽 처리부(2230)는 이동량 산출부(2220)가 생성한 제어신호를 기초로 시점 영상을 배열한다.

그래픽 처리부(2230)는 상기 제어신호에 포함된 입체영상 이동량을 기초로 입체영상의 각 픽셀값이 디스플레이될 위치를 결정할 수 있다. 일부 실시예로, 그래픽 처리부(2230)는 사전에 정의된 규칙에 따라 입체영상에 포함된 복수의 시점 영상의 각 픽셀값이 디스플레이(151)상에 디스플레이될 위치인 디스플레이 위치를 결정할 수 있다. 그리고 그래픽 처리부(2230)는 이동량 산출부(2220)가 출력한 입체영상 이동량을 기초로 상기 결정된 디스플레이 위치를 변경하여 최종 디스플레이 위치를 결정할 수 있다. 일부 실시예로, 그래픽 처리부(2230)는 사전에 정의된 규칙 및 이동량 산출부(2220)가 출력한 입체영상 이동량을 이용하여 입체영상에 포함된 복수의 시점 영상의 각 픽셀값이 디스플레이(151)상에 디스플레이될 위치인 디스플레이 위치를 결정할 수 있다.

그래픽 처리부(2230)는 배열한 시점 영상들을 디스플레이(151)로 출력할 수 있다. 그래픽 처리부(2230)는 결정된 디스플레이 위치 또는 결정된 최종 디스플레이 위치에 따라 배열된 픽셀값 또는 서브 픽셀값을 포함하는 이미지 데이터를 생성하고, 생성한 이미지 데이터를 디스플레이(151)로 출력할 수 있다.

도 24는 본 발명에 따른 입체영상 필터 제어 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.

도 24를 참조하면, 카메라(121)는 사용자를 촬상한다(S200).

위치 탐지부(2210)는 카메라가(121)가 촬상한 제1 영상 프레임에서 사용자의 눈 및 얼굴 상의 특징점을 검출한다(S205). 여기서, 상기 특징점은 얼굴의 표정 변화와 무관하게 얼굴 상의 위치가 동일하게 유지되는 지점일 수 있다. 또한 상기 특징점은 엣지맵(edge map), 미분, Gabor 필터 및 LDA(Linear Discriminant Analysis) 특징 검출 방법 중 적어도 하나를 이용해 검출된 것일 수 있다. 또한 상기 특징점은 도 11에 도시된 외안각(1111, 1112) , 내안각(1113, 1114), 인중의 중심점(1115), 인당(1116), 코끝(1117) 및 산근(1118) 중 적어도 하나를 포함할 수 있다.

위치 탐지부(2210)는 제1 영상 프레임에서 사용자의 얼굴 영역을 인식하고, 인식한 얼굴 영역에서 사용자의 눈 및 특징점을 검출할 수 있다.

위치 탐지부(2210)는 검출한 눈의 위치와 관련된 눈 위치 정보 및 검출한 특징점의 위치와 관련된 특징점 위치 정보를 결정한다(S210). 또한 위치 탐지부(2210)는 결정한 눈 위치 정보 및 특징점 위치 정보를 메모리(160)에 저장할 수 있다.

위치 탐지부(2210)는 결정한 눈 위치 정보 및 특징점 위치 정보를 기초로 눈의 위치 및 특징점 위치 간의 상대위치를 지시하는 상대위치 정보를 결정한다(S215). 또한 위치 탐지부(2210)는 결정한 상대위치 정보를 메모리(160)에 저장할 수 있다.

이동량 산출부(2220)는 눈 위치 정보를 기초로 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성한다(S220). 여기서 제어신호는 영상 제어신호를 포함할 수 있다. 또한 상기 영상 제어신호는 입체영상 이동량을 포함할 수 있다. 이동량 산출부(2220)는 생성한 제어신호를 그래픽 처리부(2230)에 전송한다.

그래픽 처리부(2230)는 이동량 산출부(2220)가 생성한 제어신호를 기초로 입체영상에 포함된 시점 영상들을 배열한다(S225). 디스플레이(151)는 그래픽 처리부(2230)가 배열한 시점 영상을 디스플레이한다.

위치 탐지부(2210)는 제2 영상 프레임에서 사용자의 눈 및 특징점을 검출한다(S230). 여기서, 위치 탐지부(2210)는 제1 영상 프레임 및 제2 영상 프레임과의 템플레이트 매칭(template matching)을 수행하여 특징점을 검출할 수 있다.

위치 탐지부(2210)는 눈이 검출되었는지 여부를 확인한다(S235). 예를 들어, 제2 영상 프레임이 도 16에 도시된 영상 프레임(1600)인 경우에, 위치 탐지부(2210)는 제2 영상 프레임에서 사용자의 눈을 검출하는 것을 실패할 수 있다.

제2 영상 프레임에서 눈이 검출된 경우에는, 위치 탐지부(2210)는 단계 S210을 수행할 수 있다. 또한 위치 탐지부(2210)는 메모리(160)에 저장된 눈 위치 정보 및 특징점 위치 정보를 제2 영상 프레임을 통해 결정한 눈 위치 정보 및 특징점 위치 정보로 업데이트할 수 있다. 그리고, 위치 탐지부(2210)는 단계 S215에서 메모리(160)에 저장된 상대위치 정보를 제2 영상 프레임을 통해 결정한 상대위치 정보로 업데이트할 수 있다.

제2 영상 프레임에서 눈이 검출되지 않은 경우에는, 위치 탐지부(2210)는 검출된 특징점의 위치와 관련된 특징점 위치 정보를 결정한다(S240).

위치 탐지부(2210)는 결정한 특징점 위치 정보 및 상대위치 정보를 이용하여 눈 위치 예측 정보를 결정한다(S245). 여기서 상기 상대위치 정보는 단계 S215에서 저장된 상대위치 정보일 수 있다.

이동량 산출부(2220)는 결정한 눈 위치 예측 정보를 기초로 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성한다(S250). 여기서 제어신호는 영상 제어신호를 포함할 수 있다. 또한 상기 영상 제어신호는 입체영상 이동량을 포함할 수 있다. 이동량 산출부(2220)는 생성한 제어신호를 그래픽 처리부(2230)에 전송한다.

그래픽 처리부(2230)는 이동량 산출부(2220)가 생성한 제어신호를 기초로 입체영상에 포함된 시점 영상들을 배열한다(S255). 디스플레이(151)는 그래픽 처리부(2230)가 배열한 시점 영상들을 디스플레이한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims

무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 있어서,
촬상된 제1 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계;
상기 결정된 특징점 위치 정보를 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하는 단계;
상기 결정된 눈 위치 예측 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 단계; 및
상기 생성된 제어신호를 기초로 상기 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 단계를 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
촬상된 제2 영상 프레임에서 검출된 눈 위치와 관련된 눈 위치 정보 및 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계; 및
상기 결정된 눈 위치 정보 및 상기 결정된 특징점 위치 정보를 이용하여 상기 눈의 위치 및 상기 특징점의 위치 간의 상대위치와 관련된 상대위치 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 2항에 있어서,
상기 눈 위치 예측 정보를 결정하는 단계는,
상기 특징점 위치 정보 및 상기 상대위치 정보를 기초로 상기 눈 위치 예측 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 2항에 있어서,
상기 상대위치 정보는 촬상된 영상 프레임마다 업데이트되는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 2항에 있어서,
상기 눈 위치 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 단계; 및
상기 생성된 제어신호를 기초로 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 단계를 더 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 2항에 있어서,
상기 제2 영상 프레임은 상기 제1 영상 프레임보다 먼저 촬상된 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
상기 특징점은 상기 제1 영상 프레임 및 이전 영상 프레임과의 템플레이트 매칭(template matching)을 수행하여 검출된 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
상기 특징점은 하나의 픽셀 또는 복수의 픽셀로 형성된 영역인 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
상기 특징점은 상기 얼굴의 표정 변화와 무관하게 얼굴 상의 위치가 동일하게 유지되는 지점인 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
상기 특징점은 외안각, 내안각, 인중의 중심점, 인당, 코끝 및 산근 중 적어도 하나를 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
제 1항에 있어서,
상기 특징점은 엣지맵(edge map), 미분, Gabor 필터 및 LDA(Linear Discriminant Analysis) 특징 검출 방법 중 적어도 하나를 이용해 검출된 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법에 있어서,
촬상된 제1 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하는 단계;
상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하는 단계;
상기 결정된 눈 위치 예측 정보를 기초로 상기 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성하는 단계; 및
상기 생성된 제어신호를 기초로 상기 시점 영상들을 배열하는 단계를 포함하는 것을 특징으로 하는 입체영상 처리 장치의 시야각을 확장하기 위한 방법.
무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치에 있어서,
촬상된 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하고, 상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하며, 상기 결정된 눈 위치 예측 정보를 기초로 입체영상 필터의 불투과영역 또는 렌즈의 위치를 조절하기 위한 제어신호를 생성하는 제어부; 및
상기 생성된 제어신호를 기초로 입체영상 필터의 불투과영역 또는 렌즈를 조절하는 입체영상 필터 구동부를 포함하는 것을 특징으로 하는 입체영상 처리 장치.
무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치에 있어서,
사용자를 촬상하는 카메라;
상기 카메라가 촬상한 영상 프레임에서 검출된 얼굴 상의 특징점의 위치와 관련된 특징점 위치 정보를 결정하고, 상기 결정된 특징점 위치 정보 기초로 예측된 눈의 위치와 관련된 눈 위치 예측 정보를 결정하며, 상기 결정된 눈 위치 예측 정보를 기초로 상기 입체영상에 포함된 시점 영상들의 디스플레이 위치를 조절하기 위한 제어신호를 생성하는 제어부; 및
상기 생성된 제어신호를 기초로 배열된 시점 영상들을 디스플레이하는 디스플레이를 포함하는 것을 특징으로 하는 입체영상 처리 장치.