KR101867815B1 - 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법 - Google Patents

입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법 Download PDF

Info

Publication number
KR101867815B1
KR101867815B1 KR1020110107971A KR20110107971A KR101867815B1 KR 101867815 B1 KR101867815 B1 KR 101867815B1 KR 1020110107971 A KR1020110107971 A KR 1020110107971A KR 20110107971 A KR20110107971 A KR 20110107971A KR 101867815 B1 KR101867815 B1 KR 101867815B1
Authority
KR
South Korea
Prior art keywords
stereoscopic image
user
image
ipd
distance
Prior art date
Application number
KR1020110107971A
Other languages
English (en)
Other versions
KR20130043836A (ko
Inventor
이용욱
김학태
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110107971A priority Critical patent/KR101867815B1/ko
Publication of KR20130043836A publication Critical patent/KR20130043836A/ko
Application granted granted Critical
Publication of KR101867815B1 publication Critical patent/KR101867815B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법이 개시된다. 카메라는 사용자를 촬상한다. 제어부는 사용자가 촬상된 영상 프레임을 이용하여 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 획득하고, 획득한 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격(DDB : Distance between Display and Barrier)을 결정한다.

Description

입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법{APPARATUS FOR DISPLAYING A 3-DIMENSIONAL IMAGE AND METHOD FOR ADJUSTING VIEWING DISTANCE OF 3-DIMENSIONAL IMAGE}
본 발명은 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법에 관한 것으로, 보다 상세하게는, 무안경 방식으로 입체영상을 디스플레이하는 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법에 관한 것이다.
최근 3 차원 영상을 표현하는 디스플레이 기술이 다양한 분야에서 연구 및 활용되고 있다. 특히 3차원 영상을 디스플레이하는 기술을 활용하여, 3차원 영상을 디스플레이하는 전자 장치가 주목을 받고 있다.
3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식에는 사용자가 안경과 같은 별도의 장비를 착용해야 하는 문제점이 있으며, 무안경 방식에는 사용자가 특정 위치에서만 3차원 영상을 볼 수 있는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 무안경 방식으로 디스플레이되는 입체영상을 시청하는 사용자에 맞추어 입체영상의 시역 거리를 조절할 수 있는 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법을 제공하는데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법은 사용자를 센싱하는 단계, 상기 센싱된 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 기초로 디스플레이 패널과 입체영상 필터의 간격(DDB : Distance between Display and Barrier)을 결정하는 단계, 및 상기 결정된 간격에 따라 상기 간격을 조절하는 단계를 포함할 수 있다.
상기 사용자를 센싱하는 단계는, 상기 사용자의 영상을 촬상하는 단계, 상기 사용자가 촬상된 영상을 이용하여 상기 사용자를 인식하는 단계, 및 상기 인식된 사용자의 IPD를 저장부로부터 액세스하는 단계를 포함할 수 있다.
상기 사용자를 센싱하는 단계는, 상기 사용자의 영상을 촬상하는 단계, 상기 사용자가 촬상된 영상에서 상기 사용자의 눈 영역을 감지하는 단계, 및 상기 감지된 눈 영역을 이용하여 상기 사용자의 IPD를 산출하는 단계를 포함할 수 있다.
상기 입체영상의 시역 거리를 조절하기 위한 방법은, 상기 사용자의 IPD를 기초로 상기 디스플레이 패널 상에 디스플레이될 시점 영상의 개수를 결정하는 단계, 및 상기 결정된 개수의 시점 영상을 상기 디스플레이 패널 상에 디스플레이하는 단계를 더 포함할 수 있다.
상기 DDB를 결정하는 단계는, IPD 및 DDB를 포함하는 테이블을 상기 저장부로부터 액세스하는 단계, 및 상기 액세스된 테이블에서 상기 사용자의 IPD와 연관된 DDB를 검출하는 단계를 포함할 수 있다.
상기 간격을 조절하는 단계는, 상기 입체영상 패널의 복수의 배리어 레이어 중 활성화될 하나 또는 하나 이상의 배리어 레이어를 선택하는 단계, 및 상기 선택된 배리어 레이어를 활성화하는 단계를 포함할 수 있다.
상기 선택된 배리어 레이어가 하나 이상인 경우에는, 상기 선택된 배리어 레이어들은 서로 연속하여 배열된 것일 수 있다.
상기 입체영상의 시역 거리를 조절하기 위한 방법은, 상기 조절된 간격으로 변경된 상기 입체영상의 최적 시역 거리를 안내하는 안내 메시지를 디스플레이하는 단계를 더 포함할 수 있다.
상기 사용자를 센싱하는 단계는, 상기 사용자의 현재 시거리를 감지하는 단계를 더 포함하고, 상기 입체영상의 시역 거리를 조절하기 위한 방법은, 상기 감지된 시거리와 상기 조절된 간격으로 변경된 상기 입체영상의 최적 시역 거리를 기초로 상기 최적 시역 거리로 사용자의 이동을 안내하는 안내 메시지를 생성하는 단계, 및 상기 생성된 안내 메시지를 디스플레이하는 단계를 더 포함할 수 있다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법은, 사용자를 센싱하는 단계, 상기 센싱된 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 기초로 디스플레이 패널 상에 디스플레이될 시점 영상의 개수를 결정하는 단계, 다시점 영상에 포함된 시점 영상들에서 상기 결정된 개수의 시점 영상들을 선택하는 단계, 및 상기 선택된 시점 영상들을 상기 디스플레이 패널 상에 디스플레이하는 단계를 포함할 수 있다.
상기의 또 다른 기술적 과제를 해결하기 위한, 본 발명에 따른 입체영상 처리 장치는, 사용자를 촬상하는 카메라, 및 상기 사용자가 촬상된 영상 프레임을 이용하여 상기 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 획득하고, 상기 획득된 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격(DDB : Distance between Display and Barrier)을 결정하는 제어부를 포함할 수 있다. 상기 카메라는 촬상한 피사체의 부분들과 상기 카메라와의 거리에 대한 정보인 피사체 거리 정보를 생성할 수 있다.
본 발명에 따른 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법에 의하면, 사용자의 동공 간의 거리(Interpupillary Distance)에 맞추어 입체영상의 시역 거리를 조절하므로, 사용자에 맞추어 적절한 시역(Viewing zone) 및 시역 거리(Viewing distance)를 제공하므로, 사용자에게 맞지 않는 시역 및 시역 거리로 인한 입체감 저하 및 크로스턱(crosstalk)의 발생을 방지할 수 있어, 사용자로 하여금 피로감이나 어색함이 없이 입체감을 느낄 수 있게 한다.
도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2 내지 도 4는 본 발명에 따른 입체영상 처리 장치가 사용자를 촬상한 영상 프레임을 도시한 도면,
도 5는 본 발명에 따른 카메라에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 6은 동공 간의 거리(IPD : Interpupillary Distance)와 최적 시역 거리(OVD : Optimum View Distance)의 관계를 도시한 도면,
도 7은 입체영상을 시청 가능한 시역 거리(View Distance)의 범위를 도시한 도면,
도 8은 본 발명에 따른 디스플레이 장치에 대한 바람직한 일실시예의 배치를 도시한 도면,
도 9는 본 발명에 따른 입체영상 필터에 대한 바람직한 일실시예의 구조를 도시한 도면,
도 10은 IPD 참조 테이블에 대한 바람직한 일실시예를 도시한 도면,
도 11은 4개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면,
도 12는 7개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면,
도 13은 9개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면,
도 14는 25개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면,
도 15는 본 발명에 따른 안내 메시지의 일실시예를 도시한 도면,
도 16은 본 발명에 따른 안내 메시지의 다른 실시예를 도시한 도면,
도 17은 본 발명에 따른 안내 메시지의 또 다른 실시예를 도시한 도면,
도 18은 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도,
도 19는 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 순서도, 그리고,
도 20은 함수 W(x)의 그래프를 도시한 도면이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 입체영상 처리 장치(100)는 튜너부(105), 복조부(110), 역다중화부(115), 네트워크 인터페이스부(120), 외부 신호 입력부(125), 비디오 디코더(130), 오디오 디코더(135), 제어부(140), 저장부(145), 버퍼(150), 믹서(155), 그래픽 프로세서(160), 영상 드라이버(170) 및 OSD(On Screen Display) 생성부(180)를 포함할 수 있다. 일부 실시예로 입체영상 처리 장치(100)는 디스플레이 장치(101)를 더 포함할 수 있고, 카메라(90)를 더 포함할 수 있다. 여기서 카메라(90)는 깊이 카메라일 수 있다.
입체영상 처리 장치(100)는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 전자 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린, 터치 패드 또는 공간 리모컨 등보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고 입체영상 처리 장치(100)는 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
입체영상 처리 장치(100)는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 및 오픈하이브리드TV(OHTV) 등이 될 수 있으며, 경우에 따라, 핸드폰, 스마트폰, PC 및 가전기기에도 적용 가능하다.
튜너부(105)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 튜너부(105)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. RF 방송 신호는 2시점 영상 및 다시점 영상을 포함할 수 있다. 영상은 비디오와 같은 개념으로 사용될 수 있고, 비디오에 포함된 영상 프레임으로 사용될 수 있다. 즉 다시점 영상은 다시점 비디오(multiview video)를 의미할 수 있다. 또한 다시점 영상에 포함된 시점 영상은 하나의 영상 프레임일 수 있고, 복수의 영상 프레임으로 구성된 비디오일 수 있다. 즉 상기 시점 영상은 시점 비디오(view video)일 수 있고 시점 비디오에 포함된 영상 프레임일 수 있다.
복조부(110)는 튜너부(105)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(105)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(110)는 8-VSB(1-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(105)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(110)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다.
또한, 복조부(110)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(110)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(110)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
역다중화부(115)는 복조부(110), 네트워크 인터페이스부(120) 및 외부 신호 입력부(125)로부터 스트림 신호를 수신할 수 있다. 또한 역다중화부(115)는 수신된 스트림 신호를 영상 신호, 음성 신호 및 데이터 신호로 역다중화하여 각각 비디오 디코더(130), 오디오 디코더(135) 및 제어부(140)로 출력할 수 있다.
비디오 디코더(130)는 역다중화부(115)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 버퍼(150)에 저장한다. 여기서 영상 신호는 입체영상 신호를 포함할 수 있다.
오디오 디코더(135)는 역다중화부(115)로부터 영상 신호를 수신하고, 수신된 영상 신호를 복원하여 음성을 디스플레이 장치(101)로 출력한다.
네트워크 인터페이스부(120)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(120)는 네트워크 망을 통해 서비스 제공 서버로부터 방송 데이터 및 영상 데이터를 전달하는 IP 패킷을 수신한다. 여기서 상기 영상 데이터는 2차원 영상 및 3차원 영상을 포함할 수 있고, 3차원 영상은 2시점 영상 또는 다시점 영상일 수 있다.
네트워크 인터페이스부(120)는 IP패킷을 스트림 신호를 포함하는 경우에는, IP패킷에서 스트림 신호를 추출하여 역다중화부(115)로 출력할 수 있다.
외부 신호 입력부(125)는 외부 장치와 입체영상 처리 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미한다. 입체영상 처리 장치(100)는 외부 신호 입력부(125)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다. 여기서 상기 영상 신호는 2시점 영상 또는 다시점 영상을 포함할 수 있다.
외부 장치는 카메라(90)일 수 있다. 카메라(90)는 사용자를 촬상하고, 사용자가 촬상된 영상을 제어부(140)에 출력할 수 있다.
제어부(140)는 명령어를 실행하고 입체영상 처리 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(145)로부터 검색된 명령어를 사용하여, 제어부(140)는 입체영상 처리 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(140)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(140)에 대해 사용될 수 있다.
제어부(140)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(140)와 연결되어 동작하는 저장부(145) 내에 존재할 수 있다.
일부 실시예로, 제어부(140)는 카메라(90)가 출력한 영상에 포함된 영상 프레임을 이용하여, 사용자를 인식할 수 있고 인식한 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 저장부(145)로부터 액세스할 수 있다. 그리고 제어부(140)는 액세스한 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격(DDB : Distance between Display and Barrier) 및 디스플레이될 시점 영상의 개수를 결정할 수 있다. 여기서 제어부(140)는 IPD 참조 테이블을 이용하여 DDB 및 디스플레이될 시점 영상의 개수를 결정할 수 있다.
일부 실시예로, 제어부(140)는 카메라(90)가 출력한 영상에 포함된 영상 프레임을 이용하여, 사용자의 눈 영역을 검출할 수 있고, 검출한 눈 영역을 이용하여 IPD를 산출할 수 있다. 고리고 제어부(140)는 산출한 IPD를 기초로 DDB 및 디스플레이될 시점 영상의 개수를 결정할 수 있다. 여기서 제어부(140)는 IPD 참조 테이블을 이용하여, DDB 및 디스플레이될 시점 영상의 개수를 결정할 수 있다.
IPD 참조 테이블은 IPD, DDB 및 시점 영상의 개수를 저장하고, IPD와 DDB를 연관시키는 제1 연관 정보 및 IPD와 시점 영상의 개수를 연관시키는 제2 연관 정보를 저정할 수 있다. 제어부(140)는 산출한 또는 액세스한 IPD 및 제1 연관 정보를 기초로 DDB를 결정할 수 있고, 산출한 또는 액세스한 IPD 및 제2 연관 정보를 기초로 디스플레이된 시점 영상의 개수를 결정할 수 있다.
제어부(140)는 결정한 DDB에 따라 디스플레이 패널과 입체영상 필터의 간격을 조절할 수 있고, 결정된 시점 영상의 개수에 따라 다시점 영상이 배열되도록 제어할 수 있다.
또한 제어부(140)는 조절된 DDB에서의 최적 시역 거리(OVD : Optimum View Distance)를 안내하는 안내 메시지가 디스플레이되도록 제어할 수 있다. 상기 안내 메시지는 도 15에 도시된 안내 메시지(1500)일 수 있다. 또한 제어부(140)는 현재 사용자의 시거리와 상기 최적 시역 거리 사이의 차이가 있는 경우에, 이를 안내하는 안내 메시지가 디스플레이되도록 제어할 수 있다. 상기 안내 메시지는 도 20에 도시된 안내 메시지(1600)일 수 있고, 도 17에 도시된 안내 메시지(1700)일 수 있다. 사용자의 시거리가 최적 시역 거리보다 작은 경우에는, 안내 메시지(1600)가 디스플레이될 수 있고, 사용자의 시거리가 최적 시역 거리보다 큰 경우에는, 안내 메시지(1700)가 디스플레이될 수 있다.
일부 실시예로, 상기 차이가 사전에 설정된 범위를 초과한 경우에, 제어부(140)는 상기 안내 메시지 디스플레이되도록 제어할 수 있다. 여기서 사전에 설정된 범위는 전방 한계 범위 및 후방 한계 범위일 수 있다. 전방 한계 범위는 OVD에서 전방으로 시역(Viewing zone)의 끝 지점까지의 거리이고, 후방 한계 범위는 OVD에서 후방으로 시역의 끝 지점인 전방까지의 거리이다. 이하에서 전방 한계 지점은 OVD에서 전방으로 시역의 끝 지점으로 정의하고, 후방 한계 지점은 OVD에서 후방으로 시역의 끝 지점으로 정의한다. 예를 들어, 사용자가 전방 한계 지점보다 앞에 있는 경우에는, 안내 메시지(1600)가 디스플레이되고, 사용자가 후방 한계 지점보다 뒤에 있는 경우에는, 안내 메시지(1700)가 디스플레이될 수 있다.
저장부(145)는 일반적으로 입체영상 처리 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(145)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 처리 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다. 저장부(145)는 IPD 참조 테이블 및 사용자의 화상 이미지를 저장할 수 있다. 또한 저장부(140)는 사용자의 IPD 및 사용자의 화상 이미지와 IPD를 연관시키는 연관 정보를 저장할 수 있다.
믹서(155)는 2차원 영상 또는 시점 영상과 안내 메시지를 믹싱한다.
그래픽 프로세서(160)는 버퍼(150)에 저장된 영상 데이터가 디스플레이되도록 디스플레이 장치(101)를 제어한다. 그래픽 프로세서(160)는 픽셀주기 산출부(161), 마스크 생성부(162) 및 다중화부(163)를 포함할 수 있다.
픽셀주기 산출부(161)는 다음의 수학식 1로부터 입체영상 픽셀주기 Q를 산출할 수 있다.
Figure 112011082524513-pat00001
여기서, D는 최적 시역 거리이고, d: 디스플레이 패널과 입체영상 필터의 간격이며, R: 입체영상 필터의 패턴 주기이다.
마스크 생성부(162)는 픽셀주기 산출부(161)가 산출한 입체영상 픽셀주기 Q를 이용하여 입체영상에 대한 시점 마스크를 생성할 수 있다. 먼저, 마스크 생성부(162)는 입체영상 픽셀 주기 Q에 따라 각 서브픽셀의 소수점을 포함하는 시점 번호 Vi를 다음의 수학식 2로부터 결정할 수 있다.
Figure 112011082524513-pat00002
여기서, i는 서브 픽셀 수평번호(0, 1, 2, … )이고, Vi o는 최적 시거리에서의 서브픽셀의 시점 번호이며, Q0는 최적 시거리에서의 입체영상 픽셀주기이고, N는 입체영상 시점 수이다. 여기서 입체영상 시점 수는 IPD를 기초로 결정될 수 있다.
다음으로, 마스크 생성부(162)는 서브픽셀별 시점 번호에 맞추어 시점 마스크를 다음의 수학식 3로부터 생성할 수 있다.
Figure 112011082524513-pat00003
여기서, k는 시점 번호이고, 함수 W(k-Vi)에 대한 그래프는 도 16에 도시된다.
다중화부(163)는 마스크 생성부(162)가 생성한 시점 마스크를 이용하여 픽셀의 최종색을 결정할 수 있다. 다중화부(163)는 다음의 수학식 4로부터 최종색 MCi를 결정할 수 있다.
Figure 112011082524513-pat00004
여기서, C(i, K)는 k시점 영상의 i서브 픽셀의 색이다.
영상 드라이버(170)는 다중화부(163)가 산출한 최종색 MCi가 디스플레이되도록 제어 신호를 디스플레이 장치(101)로 출력할 수 있다.
OSD 생성부(180)는 안내 메시지를 디스플레이하기 위한 OSD 데이터를 생성하고, 생성한 OSD 데이터를 디스플레이 장치(101)로 출력한다.
도 2 내지 도 4는 본 발명에 따른 입체영상 처리 장치가 사용자를 촬상한 영상 프레임을 도시한 도면이다.
도 2 내지 도 4를 참조하면, 영상 프레임(210), 영상 프레임(220) 및 영상 프레임(230)은 카메라(90)가 사용자를 촬상한 영상 프레임이 있다.
제어부(140)는 영상 프레임(210)에서 얼굴 영역을 인식할 수 있다. 여기서, 제어부(140)는 얼굴의 대칭을 이용한 알고리즘, 머리카락 색과 얼굴색을 이용한 알고리즘, 및 얼굴의 윤곽을 이용한 알고리즘을 이용하여 얼굴 영역을 인식할 수 있다. 또한 제어부(140)는 영상 프레임(210)에서 스킨 칼라 정보를 산출하여 얼굴 영역을 인식할 수 있다. 그리고 제어부(140)는 인식한 얼굴 영역과 저장부(145)에 저장된 사용자의 화상 이미지를 비교하여 사용자가 누구인지를 인식할 수 있다.
또한, 제어부(140)는 인식한 얼굴 영역에서 사용자의 눈 영역을 감지할 수 있고, 감지한 눈 영역을 이용하여 사용자의IPD를 산출할 수 있다.
또한, 제어부(140)는 인식한 얼굴 영역을 이용하여 영상 프레임(210) 내에서의 사용자의 위치(211)를 탐지할 수 있다. 그리고 제어부(140)는 탐지한 사용자의 위치(211)를 이용하여 사용자의 시거리를 인식할 수 있고, 인식한 사용자의 시거리와 최적 시역 거리를 비교하여, 비교 결과에 따라 안내 메시지(1600) 또는 안내 메시지(1700)가 디스플레이되도록 제어할 수 있다.
일부 실시예로, 제어부(140)는 영상 프레임 내에서의 사용자의 이미지 비율 및 이미지 위치를 기초로 시거리를 산출할 수 있다. 일부 실시예로, 제어부(140)는 기준 영상 프레임과 현재 영상 프레임을 비교하여 시거리를 산출할 수 있다. 일부 실시예로, 제어부(140)는 기준 영상 프레임에서의 사용자의 이미지 비율과 현재 영상 프레임의 사용자의 이미지 비율을 비교하여 이미지 비율의 차이에 따라 시거리를 산출할 수 있다. 즉 이미지 배율이 동일한 경우에는, 기준 영상 프레임에서의 시거리가 현재 영상 프레임에서의 시거리로 인식될 수 있다.
일부 실시예로, 제어부(140)는 기준 영상 프레임의 사용자의 이미지 크기와 현재 영상 프레임의 사용자의 이미지 크기를 비교하여 시거리를 산출할 수 있다. 기준 영상 프레임이 영상 프레임(210)이라고 가정할 때, 현재 영상 프레임이 영상 프레임(210)인 경우에는 이미지(211)의 크기가 기준 영상 프레임의 이미지 크기와 동일하므로, 제어부(140)는 기준 영상 프레임의 시거리를 현재 시거리로 인식할 수 있다. 현재 영상 프레임이 영상 프레임(220)인 경우에는 이미지(221)의 크기가 기준 영상 프레임의 이미지 크기보다 작으므로, 제어부(140)는 현재 시거리는 기준 영상 프레임의 시거리보다 큰 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시거리에서 현재 시거리를 산출할 수 있다. 현재 영상 프레임이 영상 프레임(230)인 경우에는 이미지(231)의 크기가 기준 영상 프레임의 이미지 크기보다 크므로, 제어부(140)는 현재 시거리는 기준 영상 프레임의 시거리보다 작은 것으로 인식할 수 있고, 이미지의 크기 비율에 따라 기준 영상 프레임의 시거리에서 현재 시거리를 산출할 수 있다.
일부 실시예로, 제어부(140)는 이전 영상 프레임과 현재 영상 프레임을 비교하여 시거리를 산출할 수 있다. 이때, 비교 방식은 기준 영상 프레임과의 비교 방식과 동일한 비교 방식을 사용할 수 있다.
도 5는 본 발명에 따른 카메라에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 5를 참조하면, 카메라(90)는 가시광 카메라(510), 적외선 카메라(520) 및 적외선광원(530)을 포함할 수 있다. 가시광 카메라(510)는 피사체로부터 방출되는 가시광을 촬영하여, 상기 피사체에 대한 2차원 영상 데이터를 생성한다. 여기서, 2차원 영상 데이터는 영상 프레임의 각 화소에 대한 R(Red), G(Green), B(Blue) 데이터를 포함할 수 있다.
적외선광원(530)은 피사체로 적외선을 방출한다. 그리고, 적외선 카메라(520)는 상기 피사체로부터 반사된 적외선광을 촬영하여, 상기 피사체에 대한 적외선 영상 데이터를 생성한다.
적외선 카메라(520)에 의해 획득된 적외선 영상 데이터로부터 피사체에 포함된 영역들의 깊이 정보, 즉 적외선 카메라(520)와 상기 피사체의 각 부분들 사이의 거리에 대한 정보인 피사체 거리 정보가 획득될 수 있다.
예를 들어, 적외선 카메라(520)에 의해 획득된 적외선 영상 중 밝은 부분은 어두운 부분보다 적외선 카메라(520)에 가까운 부분인 것을 이용하여, 상기 적외선 영상 데이터로부터 피사체 거리 정보를 획득할 수 있다.
상기 피사체 깊이 정보는 영상 프레임에 포함된 복수의 화소들 각각에 대해, 상기 화소에 대응되는 피사체 부분과 적외선 카메라(520)의 거리에 대한 정보를 포함하는 매트릭스(matrix) 형태의 깊이-맵(depth-map)으로 표현될 수 있다.
가시광을 촬영하기 위해, 가시광 카메라(510)는 가시광 패스 필터(pass filter), 예를 들어 RGB 칼라 필터(color filter)가 전면에 부착될 수 있으며, 적외선을 차단하는 적외선 차단 필터(IR-limit filter)가 더 부착될 수 있다.
또한, 적외선광을 촬영하기 위해, 적외선 카메라(520)는 적외선 패스 필터를포함할 수 있다.
제어부(140)는 피사체 거리 정보를 이용하여 촬상된 사용자의 동공 간의 거리(IPD)를 산출할 수 있다.
도 6은 동공 간의 거리(IPD : Interpupillary Distance)와 최적 시역 거리(OVD : Optimum Viewing Distance)의 관계를 도시한 도면이다.
도 6을 참조하면, 제어부(140)는 산출한 동공 간의 거리(IPD)를 이용하여 디스플레이 패널과 입체영상 필터간의 간격 및 디스플레이할 시점 영상의 개수를 산출한다.
다음의 수학식 5는 동공 간의 거리(IPD : Interpupillary Distance)에 따른 최적 시역 거리 OVD를 나타낸다.
Figure 112011082524513-pat00005
여기서, θ는 좌안 동공(610) 및 우안 동공(620)의 사이의 각(630)이고, IPD는 좌안 동공(610) 및 우안 동공(620) 간의 거리이다.
수학식 5에 따르면, 동공 간의 거리 변화에 따라 최적 시역 거리(OVD : Optimum Viewing Distance)가 변경되고, 이에 따라 디스플레이 패널에 디스플레이되는 시점 영상의 개수가 달라질 수 있다. 수학식 5를 통해 동공 간의 거리 IPD를 통해 OVD를 산출할 수 있다.
도 7은 입체영상을 시청 가능한 시역 거리(View Distance)의 범위를 도시한 도면이다.
도 7을 참조하면, 동공 간의 거리(715)를 기준으로 산출된 최적 시역 거리로 입체영상 처리 장치(100)의 최적 시역 거리가 설정된 경우에, 동공 간의 거리(715)를 갖는 사용자가 입체영상 처리 장치(100)가 디스플레이하는 입체영상을 볼 수 있는 전방 한계 범위 hf(750)는 다음의 수학식 6을 기초로 산출될 수 있다.
Figure 112011082524513-pat00006
여기서, e는 동공 간의 거리 IPD(715)이고, d는 입체영상 처리 장치(100)의 최적 시역 거리로 동공 간의 거리(715)를 기준으로 산출된 최적 시역 거리이며, W는 디스플레이 패널의 폭이다.
동공 간의 거리(715)를 기준으로 산출된 최적 시역 거리로 입체영상 처리 장치(100)의 최적 시역 거리가 설정된 경우에, 동공 간의 거리(715)를 갖는 사용자가 입체영상 처리 장치(100)가 디스플레이하는 입체영상을 볼 수 있는 후방 한계 범위 hr(760)는 다음의 수학식 7을 기초로 산출될 수 있다.
Figure 112011082524513-pat00007
최적 시역 거리에 위치하는 지점(710)에서, 전방 한계 지점(720)으로 갈수록 좌안의 시역(Viewing zone)(705) 및 우안의 시역(Viewing zone)(701)이 점차 작아짐으로, 사용자가 전방 한계 지점(720)으로 갈수록 크로스턱(crosstalk)이 발생할 가능성이 커진다.
또한 최적 시역 거리에 위치하는 지점(710)에서, 후방 한계 지점(730)으로 갈수록 좌안의 시역(Viewing zone)(705) 및 우안의 시역(Viewing zone)(701)이 점차 작아짐으로, 사용자가 후방 한계 지점(730)으로 갈수록 크로스턱이 발생할 가능성이 커진다.
도 8은 본 발명에 따른 디스플레이 장치에 대한 바람직한 일실시예의 배치를 도시한 도면이다.
도 8을 참조하면, 디스플레이 장치(101)는 복수의 시점 영상이 혼합된 2 시점 영상(2-view images) 또는 다시점 영상(multi-view images)을 표시하는 디스플레이 패널(810) 및 디스플레이 패널(810)의 전면에 배치되고, 불투과영역(821) 및 투과영역(822)이 일정 간격으로 배열되는 입체영상 필터(820)를 포함할 수 있다. 여기서, 불투과영역(821)은 입체영상 필터에서 빛이 투과되지 않는 영역을 의미하고, 투과영역(822)은 입체영상 필터에서 빛이 투과되는 영역을 의미한다. 또한 불투과영역은 배리어가 차지하는 영역일 수 있다. 일부 실시예로, 입체영상 필터(820)는 액정 패럴랙스 배리어(Parallax Barrier)일 수 있다.
입체영상 필터(820)는 디스플레이 패널(810)의 전방에 일정한 거리를 두고 배치되고, 불투과영역(821) 및 투과영역(822)이 디스플레이 패널(810)과 나란한 방향으로 교번적으로 배열된다. 그리고, 디스플레이 패널(810)과 입체영상 필터(820)의 간격 DDB은 조절될 수 있다.
디스플레이 패널(810)이 각 서브 픽셀을 통해 2시점 영상 또는 다시점 영상에 포함된 시점 영상을 디스플레이하면, 사용자는 디스플레이된 시점 영상들을 입체영상 필터(820)를 통하여 보게 되고, 사용자의 좌안 및 우안은 각각 디스플레이 패널(810)에서 디스플레이되는 시점 영상들 중 하나를 독립적으로 보게 되어, 사용자는 입체감을 느낄 수 있다.
사용자가 입체영상이 잘 볼 수 있는 지점을 스윗 스포트(Sweet Spot)라고 한다. 즉 스윗 스포트는 시점 영상들이 겹쳐 보이는 크로스턱(Crosstalk)이 발생하지 않는 지점을 의미한다. 제4 시점 영상을 보기 위한 스윗 스포트는 지점(833)일 수 있고, 제2 시점 영상을 보기 위한 스윗 스포트는 지점(831)일 수 있다. 만일 지점(831)에 사용자의 좌안이 위치하고 지점(833)에 사용자의 우안이 위치한 경우에는, 좌안을 통해 제2 시점 영상을 볼 수 있고 우안을 통해 제4 시점 영상을 볼 수 있어, 사용자는 제2 시점 영상과 제4 시점 영상을 통해 입체영상을 볼 수 있게 된다.
도 9는 본 발명에 따른 입체영상 필터에 대한 바람직한 일실시예의 구조를 도시한 도면이다.
도 9를 참조하면, 입체영상 필터(820)는 복수의 배리어 레이어(910 내지 970)를 포함할 수 있다. 배리어 레이어(910 내지 970)는 서로 붙어 있을 수 있고, 소정을 간격으로 이격되어 있을 수 있다. 그리고, 배리어 레이어(910 내지 970)는 각각 불투과영역 및 투과영역을 포함할 수 있다. 본 실시예에서, 배리어 레이어 개수를 7개로 기재하였으나, 본 발명은 이에 한정되지 않고, 입체영상 필터(820)는 복수의 배리어 레이어를 포함할 수 있다.
입체영상 필터(820)는 배리어 레이어(910 내지 970) 중 하나를 활성화시키고 나머지를 비활성화시킬 수 있다. 그리고, 활성화된 배리어 레이어에 따라 DDB가 조절된다. 즉, 입체영상 필터(820)는 배리어 레이어(910 내지 970) 중 특정 배리어 레이어를 활성화시켜 DDB를 조절할 수 있다. 여기서 배리어 레이어를 활성화시키는 것은 배리어 레이어에 포함된 불투과영역이 입체영상 필터에 입사되는 빛을 차단하는 상태가 되도록 하는 것을 의미한다.
일부 실시예로, 불투과영역(911)은 전압이 인가되는 경우에 입체영상 필터에 입사되는 빛을 차단하고, 전압이 인가되지 않는 경우에 입체영상 필터에 입사되는 빛을 통과시키도록 설계될 수 있고, 투과영역(922)은 전압 인가에 무관하게 입체영상 필터에 입사되는 빛을 통과시키도록 설계될 있다. 이러한 경우에, 입체영상 필터(820)는 배리어 레이어(910 내지 970) 중 특정 배리어 레이어에 전압을 인가하여, 특정 배리어 레이어를 활성화시키고 나머지를 비활성화시킬 수 있다.
일부 실시예로, 불투과영역(911)은 전압이 인가되지 않은 경우에 입체영상 필터에 입사되는 빛을 차단하고, 전압이 인가되는 경우에 입체영상 필터에 입사되는 빛을 통과시키도록 설계될 수 있고, 투과영역(922)은 전압 인가에 무관하게 입체영상 필터에 입사되는 빛을 통과시키도록 설계될 있다. 이러한 경우에, 입체영상 필터(820)는 배리어 레이어(910 내지 970) 중 특정 배리어 레이어에 전압을 인가를 차단하여, 특정 배리어 레이어를 활성화시키고 나머지를 비활성화시킬 수 있다.
도 10은 IPD 참조 테이블에 대한 바람직한 일실시예를 도시한 도면이다.
도 10은 참조하면, IPD 참조 테이블(1000)은 각 행에 IPD, DDB, 시점 영상의 개수를 포함한다. 예를 들면, 1행에 IPD로 69mm, DDB로 0.01mm 및 시점 영상의 개수로 4 시점을 포함한다. 또한 2행에는 IPD로 67mm, DDB로 0.03mm 및 시점 영상의 개수로 7 시점을 포함한다. 여기서 행은 IPD와 DDB 또는 시점 영상의 개수를 연관시키는 연관 정보일 수 있다.
사용자의 IPD가 69mm인 경우에는, 제어부(140)는 69mm가 위치하는 행인 1행에 위치하는 0.01mm를 DDB으로 결정하고, 4 view를 시점 영상의 개수로 결정할 수 있다. 또한, 사용자의 IPD가 61mm인 경우에는, 제어부(140)는 61mm가 위치하는 행인 5행에 위치하는 0.09mm를 DDB으로 결정하고, 25 view를 시점 영상의 개수로 결정할 수 있다.
도 11은 4개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면이다.
도 11을 참조하면, 화면(1100)은 제어부(140)가 사용자의 IPD를 69mm로 인지한 경우에, 4개의 시점 영상들이 디스플레이 패널(1110)에 디스플레이된 예를 도시한다. 디스플레이 패널(1110) 상의 번호는 각 시점 영상을 의미하고, 영역(1120)은 입체영상 필터의 불투과영역을 의미한다. 디스플레이 패널(1110)은 시점 영상 1 내지 4를 차례로 반복하여 디스플레이한다. 여기서, 디스플레이 패널(1110)와 입체영상 필터의 간경은 O.O1mm가 된다.
도 12는 7개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면이다.
도 12를 참조하면, 화면(1200)은 제어부(140)가 사용자의 IPD를 67mm로 인지한 경우에, 7개의 시점 영상들이 디스플레이 패널(1210)에 디스플레이된 예를 도시한다. 디스플레이 패널(1210) 상의 번호는 각 시점 영상을 의미하고, 영역(1220)은 입체영상 필터의 불투과영역을 의미한다. 디스플레이 패널(1210)은 시점 영상 1 내지 7를 차례로 반복하여 디스플레이한다. 여기서, 디스플레이 패널(1210)와 입체영상 필터의 간경은 O.O3mm가 된다.
도 13은 9개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면이다.
도 13을 참조하면, 화면(1300)은 제어부(140)가 사용자의 IPD를 65mm로 인지한 경우에, 9개의 시점 영상들이 디스플레이 패널(1310)에 디스플레이된 예를 도시한다. 디스플레이 패널(1310) 상의 번호는 각 시점 영상을 의미하고, 영역(1320)은 입체영상 필터의 불투과영역을 의미한다. 디스플레이 패널(1310)은 시점 영상 1 내지 9를 차례로 반복하여 디스플레이한다. 여기서, 디스플레이 패널(1310)와 입체영상 필터의 간경은 O.O5mm가 된다.
도 14는 25개의 시점 영상이 디스플레이 패널 상에 디스플레이된 일실시예를 도시한 도면이다.
도 14를 참조하면, 화면(1400)은 제어부(140)가 사용자의 IPD를 61mm로 인지한 경우에, 25개의 시점 영상들이 디스플레이 패널(1410)에 디스플레이된 예를 도시한다. 디스플레이 패널(1410) 상의 번호는 각 시점 영상을 의미하고, 영역(1420)은 입체영상 필터의 불투과영역을 의미한다. 디스플레이 패널(1410)은 시점 영상 1 내지 25를 차례로 반복하여 디스플레이한다. 여기서, 디스플레이 패널(1110)와 입체영상 필터의 간경은 O.O9mm가 된다.
도 18은 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도이다.
도 18을 참조하면, 제어부(140)는 촬상된 영상 프레임을 이용하여 사용자를 인식한다(S100). 여기서 촬상된 영상 프레임은 카메라(90)가 사용자를 촬상한 영상 프레임일 수 있다. 제어부(140)는 카메라(90)가 출력한 영상 프레임에서 얼굴 영역을 검출하고, 검출된 얼굴 영역과 저장부(145)에 저장된 사용자의 화상 이미지를 비교하여, 사용자를 인식할 수 있다.
제어부(140)는 인식한 사용자의 IPD 액세스한다(S110). 제어부(140)는 저장부(145)에 저장된 사용자의 IPD를 액세스할 수 있다. 사용자의 IPD는 사용자의 화상 이미지와 연관되어 저장될 수 있다.
제어부(140)는 액세스한 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격 및 디스플레이될 시점 영상의 개수 결정한다(S120). 일부 실시예로, 제어부(140)는 액세스한 IPD를 이용하여 디스플레이 패널과 입체영상 필터의 간격을 산출할 수 있고, 액세스한 IPD 및 산출한 DDB를 이용하여 디스플레이될 시점 영상의 개수를 결정할 수 있다.
일부 실시예로, 제어부(140)는 IPD 참조 테이블을 이용하여 디스플레이 패널과 입체영상 필터의 간격 및 디스플레이될 시점 영상의 개수 결정할 수 있다. 상기 IPD 참조 테이블은 도 10의 IPD 참조 테이블(1000)일 수 있다.
제어부(140)는 결정한 DDB에 따라 디스플레이 패널과 입체영상 필터의 간격이 조절되도록 제어한다(S130). 도 9에서 전술된 방법으로, 입체영상 필터의 배리어 레이어 중 특정 배리어 레이어를 활성화시키고 나머지를 비활성화시켜, 디스플레이 패널과 입체영상 필터의 간격이 조절될 수 있다.
제어부(140)는 결정한 시점 영상의 개수에 따라 다시점 영상 배열되도록 제어한다(S140). 예를 들어, 결정된 시점 영상의 개수가 4인 경우에는, 제어부(140)는 수신된 다시점 영상에 포함된 시점 영상 중에서 4개의 시점 영상을 선택하고, 선택된 4개의 시점 영상이 그래픽 프로세서(160)로 입력되도록 제어할 수 있다. 그래픽 프로세서(160)는 입력된 4개의 시점 영상을 이용하여 픽셀 또는 서브 픽셀의 최종색을 산출하고, 산출한 최종색을 영상 드라이버(170)로 출력할 수 있다. 영상 드라이버(170)는 그래픽 프로세서(160)가 산출한 최종색이 디스플레이되도록 제어 신호를 디스플레이 장치(101)로 출력할 수 있다.
디스플레이 장치(101)는 배열된 다시점 영상을 디스플레이한다(S150). 디스플레이 장치(101)는 영상 드라이버(170)가 출력한 제어 신호에 따라 다시점 영상을 디스플레이한다. 여기서 디스플레이 장치(101)는 도 11에 도시된 화면(1100), 도 12에 도시된 화면(1200), 도 13에 도시된 화면(1300) 및 도 14에 도시된 화면(1400) 중 하나의 화면을 디스플레이할 수 있다. 또한 디스플레이 장치(101)는 제어부(140)의 제어에 따라 도 15에 도시된 안내 메시지(1500), 도 16에 도시된 안내 메시지(1600) 및 도 17에 도시된 안내 메시지(1700)를 디스플레이할 수 있다.
도 19는 본 발명에 따른 입체영상의 시역 거리를 조절하기 위한 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 순서도이다.
도 19를 참조하면, 카메라(90)는 사용자를 촬상한다(S200).
제어부(140)는 카메라(90)가 촬상한 영상 프레임에서 사용자의 눈 영역을 감지한다(S210). 제어부(140)는 영상 프레임에서 얼굴 영역을 감지하고, 감지된 얼굴 영역에서 눈 영역을 감지할 수 있다.
제어부(140)는 감지한 눈 영역을 이용하여 IPD 산출한다(S220). 제어부(140)는 감지한 눈 영역에서 좌안 동공 및 우안 동공의 픽셀 간격을 산출하고, 산출한 픽셀 간격을 기초로 IPD를 산출할 수 있다. 일부 실시예로, 제어부(140)는 산출한 픽셀 간격과 피사체 거리 정보를 기초로 IPD를 산출할 수 있다. 즉 제어부(140)는 산출한 픽셀 간격과 피사체 거리 정보에 포함된 카메라와 좌안 동공의 거리 및 카메라와 우안 동공의 거리를 기초로 IPD를 산출할 수 있다.
제어부(140)는 산출한 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격 및 디스플레이될 시점 영상의 개수 결정한다(S230). 일부 실시예로, 제어부(140)는 산출한 IPD를 이용하여 디스플레이 패널과 입체영상 필터의 간격을 산출할 수 있고, 산출한 IPD 및 산출한 DDB를 이용하여 디스플레이될 시점 영상의 개수를 결정할 수 있다.
일부 실시예로, 제어부(140)는 IPD 참조 테이블을 이용하여 디스플레이 패널과 입체영상 필터의 간격 및 디스플레이될 시점 영상의 개수 결정할 수 있다. 상기 IPD 참조 테이블은 도 10의 IPD 참조 테이블(1000)일 수 있다.
제어부(140)는 결정한 DDB에 따라 디스플레이 패널과 입체영상 필터의 간격이 조절되도록 제어한다(S240). 도 9에서 전술된 방법으로, 입체영상 필터의 배리어 레이어 중 특정 배리어 레이어를 활성화시키고 나머지를 비활성화시켜, 디스플레이 패널과 입체영상 필터의 간격이 조절될 수 있다.
제어부(140)는 결정한 시점 영상의 개수에 따라 다시점 영상 배열되도록 제어한다(S250). 예를 들어, 결정된 시점 영상의 개수가 4인 경우에는, 제어부(140)는 수신된 다시점 영상에 포함된 시점 영상 중에서 4개의 시점 영상을 선택하고, 선택된 4개의 시점 영상이 그래픽 프로세서(160)로 입력되도록 제어할 수 있다. 그래픽 프로세서(160)는 입력된 4개의 시점 영상을 이용하여 픽셀 또는 서브 픽셀의 최종색을 산출하고, 산출한 최종색을 영상 드라이버(170)로 출력할 수 있다. 영상 드라이버(170)는 그래픽 프로세서(160)가 산출한 최종색이 디스플레이되도록 제어 신호를 디스플레이 장치(101)로 출력할 수 있다.
디스플레이 장치(101)는 배열된 다시점 영상을 디스플레이한다(S260). 디스플레이 장치(101)는 영상 드라이버(크기보다 출력한 제어 신호에 따라 다시점 영상을 디스플레이한다. 여기서 디스플레이 장치(101)는 도 11에 도시된 화면(1100), 도 12에 도시된 화면(1200), 도 13에 도시된 화면(1300) 및 도 14에 도시된 화면(1400) 중 하나의 화면을 디스플레이할 수 있다. 또한 디스플레이 장치(101)는 제어부(140)의 제어에 따라 도 15에 도시된 안내 메시지(1500), 도 16에 도시된 안내 메시지(1600) 및 도 17에 도시된 안내 메시지(1700)를 디스플레이할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 사용자를 촬상하는 카메라; 및
    상기 사용자가 촬상된 영상 프레임을 이용하여 상기 사용자의 동공 간의 거리(IPD : Interpupillary Distance)를 획득하고, 상기 획득된 IPD를 기초로 디스플레이 패널과 입체영상 필터의 간격(DDB : Distance between Display and Barrier)을 결정하는 제어부를 포함하고,
    상기 제어부는,
    상기 사용자의 좌안 동공과 우안 동공이 이루는 각 및 상기 획득된 IPD를 이용하여 입체영상의 최적 시역 거리(OVD : Optimum Viewing Distance)를 산출하고,
    상기 산출된 OVD, 상기 획득된 IPD 및 상기 디스플레이 패널의 폭을 이용하여, 상기 사용자가 상기 입체영상을 볼 수 있는 전방 한계 범위 및 후방 한계 범위를 산출하는 것을 특징으로 하는 입체영상 처리 장치.
  7. 제 6항에 있어서,
    상기 제어부는,
    상기 입체영상 필터의 복수의 배리어 레이어 중 활성화될 하나 또는 하나 이상의 배리어 레이어를 선택하고,
    상기 선택된 배리어 레이어를 활성화하는 것을 특징으로 하는 입체영상 처리 장치.
  8. 제 7항에 있어서,
    상기 선택된 배리어 레이어가 하나 이상인 경우에는, 상기 선택된 배리어 레이어들은 서로 연속하여 배열된 것을 특징으로 하는 입체영상 처리 장치.
  9. 삭제
  10. 삭제
  11. 제 6항에 있어서,
    상기 제어부는,
    상기 결정된 간격으로 변경된 상기 입체영상의 최적 시역 거리를 안내하는 안내 메시지를 디스플레이하는 것을 특징으로 하는 입체영상 처리 장치.
  12. 제 6항에 있어서,
    상기 카메라는 촬상한 피사체의 부분들과 상기 카메라와의 거리에 대한 정보인 피사체 거리 정보를 생성하는 것을 특징으로 하는 입체영상 처리 장치.
KR1020110107971A 2011-10-21 2011-10-21 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법 KR101867815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110107971A KR101867815B1 (ko) 2011-10-21 2011-10-21 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110107971A KR101867815B1 (ko) 2011-10-21 2011-10-21 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20130043836A KR20130043836A (ko) 2013-05-02
KR101867815B1 true KR101867815B1 (ko) 2018-06-18

Family

ID=48656491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110107971A KR101867815B1 (ko) 2011-10-21 2011-10-21 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법

Country Status (1)

Country Link
KR (1) KR101867815B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867815B1 (ko) * 2011-10-21 2018-06-18 엘지전자 주식회사 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
KR102140080B1 (ko) 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR101897229B1 (ko) * 2016-06-03 2018-09-11 주식회사 모픽 입체 영상 표시 장치 및 그 개인별 맞춤식 시청 환경 향상 방법
US10448001B2 (en) 2016-06-03 2019-10-15 Mopic Co., Ltd. Display device and displaying method for glass free stereoscopic image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793077B1 (ko) * 2005-12-08 2008-01-10 한국전자통신연구원 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
JP2010226362A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 撮像装置及びその制御方法
KR20130043836A (ko) * 2011-10-21 2013-05-02 엘지전자 주식회사 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100910922B1 (ko) * 2007-11-30 2009-08-05 한국전자통신연구원 시청 거리에 따라 가변하는 다층형 배리어 구동 장치 및방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793077B1 (ko) * 2005-12-08 2008-01-10 한국전자통신연구원 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
JP2010226362A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 撮像装置及びその制御方法
KR20130043836A (ko) * 2011-10-21 2013-05-02 엘지전자 주식회사 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법

Also Published As

Publication number Publication date
KR20130043836A (ko) 2013-05-02

Similar Documents

Publication Publication Date Title
KR101695819B1 (ko) 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR101729556B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
US9479767B2 (en) Autostereoscopic display device and drive method
EP2413610B1 (en) Method and apparatus for displaying a 3-dimensional image
US8488869B2 (en) Image processing method and apparatus
KR101911250B1 (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US9088790B2 (en) Display device and method of controlling the same
JP5293500B2 (ja) 表示装置および制御方法
CN102802014B (zh) 一种多人跟踪功能的裸眼立体显示器
TWI651960B (zh) 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品
US20130050416A1 (en) Video processing apparatus and video processing method
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
KR101957243B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR102143472B1 (ko) 다시점 영상 처리 장치 및 그 영상 처리 방법
JPH07250352A (ja) 立体撮像表示方式
KR101746538B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 액정 안경
KR20120087738A (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치
KR20130038657A (ko) 입체영상 처리 장치 및 입체영상 시청 안내 방법
KR101746539B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 안경
KR20150012692A (ko) 입체 영상 처리 장치 및 방법
KR101979196B1 (ko) 입체 영상 표시 장치 및 그 구동 방법
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
JP5143262B1 (ja) 立体映像処理装置、立体映像処理方法
KR20150041225A (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right