KR102415502B1 - 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 - Google Patents

복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR102415502B1
KR102415502B1 KR1020150111746A KR20150111746A KR102415502B1 KR 102415502 B1 KR102415502 B1 KR 102415502B1 KR 1020150111746 A KR1020150111746 A KR 1020150111746A KR 20150111746 A KR20150111746 A KR 20150111746A KR 102415502 B1 KR102415502 B1 KR 102415502B1
Authority
KR
South Korea
Prior art keywords
user
image
eyes
pixel
mapped
Prior art date
Application number
KR1020150111746A
Other languages
English (en)
Other versions
KR20170017587A (ko
Inventor
박주용
남동경
이석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150111746A priority Critical patent/KR102415502B1/ko
Priority to US15/041,584 priority patent/US10397541B2/en
Priority to EP16166077.4A priority patent/EP3128752B1/en
Priority to CN201610305593.1A priority patent/CN106454307B/zh
Priority to JP2016154404A priority patent/JP6886253B2/ja
Publication of KR20170017587A publication Critical patent/KR20170017587A/ko
Application granted granted Critical
Publication of KR102415502B1 publication Critical patent/KR102415502B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Abstract

제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑하고, 매핑된 제1 사용자의 양 눈의 위치 및 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 픽셀의 값을 결정하는 복수의 사용자를 위한 렌더링 방법 및 장치를 제공할 수 있다.

Description

복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치{METHOD AND APPARATUS OF LIGHT FILED RENDERING FOR PLURALITY OF USER}
아래 실시예들은 렌더링 방법 및 장치에 관한 것으로, 보다 구체적으로 복수의 사용자를 위한 렌더링 방법 및 장치에 관한 것이다.
현재 상용화되고 있는 대부분의 3차원 디스플레이 장치는 사용자의 양 눈에 서로 다른 영상을 재생함으로써 깊이 감을 주는 원리를 사용한다. 이러한 방식은 사용자에게 양안 시차 정보만을 줄 뿐, 초점 조절, 운동 시차 등 단안 깊이 인지 요인을 전달하지 못한다. 이로 인하여, 3차원 영상이 자연스럽지 못하고, 눈의 피로가 야기될 수 있다.
피로감 없는 자연스러운 3차원 영상을 표시하는 기술로서 광선의 공간 각도(spatio-angular) 분포 즉, 라이트 필드(light field)를 재생하는 3차원 디스플레이 기술들이 있다. 여기서, 라이트 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 라이트 필드를 임의의 면에서 광학적으로 재생하면 그 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 보게 된다.
일 측에 따른 복수의 사용자를 위한 렌더링 방법은 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑하는 단계; 및 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 픽셀의 값을 결정하는 단계를 포함한다. 여기서, 상기 픽셀은 서브 픽셀일 수 있다.
상기 시점 영역은 패널에 속한 상기 픽셀과 광학 레이어에 속한 광학 원소의 페어에 대응하는 뷰 콘(view cone)을 포함할 수 있다.
상기 매핑하는 단계는 상기 픽셀과 광학 레이어에 속한 복수의 광학 원소들 사이의 상대적인 위치로 인한 반복적 특성에 기초하여, 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 상기 시점 영역으로 매핑하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 제1 사용자에 대응하는 경우, 상기 제1 사용자의 양 눈의 위치에서 스테레오 영상이 재생되도록 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 제2 사용자에 대응하는 경우, 상기 제2 사용자의 양 눈 중 적어도 한 눈의 위치에서 상기 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 광선 방향은 상기 픽셀 및 광학 레이어에 포함된 광학 원소를 통하여 전파(propagation)되는 광선 방향을 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 제1 매핑된 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 왼쪽 영상보다 더 왼쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및 상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 오른쪽 영상 또는 상기 오른쪽 영상보다 더 오른쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치가 상기 시점 영역 내에서 배치되는 순서, 및 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치 사이의 거리들 중 적어도 하나에 기초하여, 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 시점 영역을 복수의 서브 시점 영역들로 분할하는 단계; 및 상기 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여, 상기 픽셀의 값을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 복수의 서브 시점 영역들 중 상기 제1 사용자를 위한 제1 서브 시점 영역의 콘텐츠를 결정하는 단계; 및 상기 제1 서브 시점 영역의 콘텐츠에 기초하여, 상기 복수의 서브 시점 영역들 중 상기 제2 사용자를 위한 제2 서브 시점 영역의 콘텐츠를 결정하는 단계를 더 포함할 수 있다.
일 측에 따른 복수의 사용자를 위한 렌더링 방법은 상기 제1 사용자의 양 눈의 위치에서 스테레오 영상이 재생되도록 제1 픽셀들의 값을 결정하는 단계; 및 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치 사이의 상관 관계에 기초하여, 상기 제2 사용자의 양 눈의 위치에서 상기 스테레오 영상과 관련된 영상이 재생되도록 상기 제1 픽셀들 이외의 제2 픽셀들의 값을 결정하는 단계를 포함한다.
상기 스테레오 영상과 관련된 영상은 상기 스테레오 영상; 상기 스테레오 영상의 왼쪽 영상; 상기 스테레오 영상의 오른쪽 영상; 상기 스테레오 영상보다 왼쪽 시점의 스테레오 영상; 및 상기 스테레오 영상보다 오른쪽 시점의 스테레오 영상 중 적어도 하나를 포함할 수 있다.
상기 제2 픽셀들의 값을 결정하는 단계는 상기 제2 사용자의 양 눈의 위치 중 적어도 하나에서 상기 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록, 상기 제2 픽셀들의 값을 결정하는 단계를 포함할 수 있다.
상기 상관 관계는 상기 제1 사용자의 양 눈의 위치와 상기 제2 사용자의 양 눈의 위치가 미리 정해진 시점 영역으로 매핑되는 경우, 상기 매핑된 위치들이 배치되는 순서 및 상기 매핑된 위치들 사이의 거리들 중 적어도 하나를 포함할 수 있다.
일 측에 따른 복수의 사용자를 위한 렌더링 장치는 제1 사용자 및 제2 사용자를 촬영하는 센서; 및 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑하고, 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 픽셀의 값을 결정하는 프로세서를 포함한다. 여기서, 상기 픽셀은 서브 픽셀일 수 있다.
상기 프로세서는 상기 픽셀의 광선 방향이 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고, 상기 광선 방향이 상기 제1 매핑된 사용자의 오른쪽 눈의 위치에 대응하는 경우 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고, 상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 왼쪽 영상보다 더 왼쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하고, 상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고, 상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하고, 상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 오른쪽 영상 또는 상기 오른쪽 영상보다 더 오른쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치가 상기 시점 영역 내에서 배치되는 순서, 및 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치 사이의 거리들 중 적어도 하나에 기초하여, 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여 상기 시점 영역을 복수의 서브 시점 영역들로 분할하고, 상기 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여 상기 픽셀의 값을 결정할 수 있다.
상기 프로세서는 상기 복수의 서브 시점 영역들 중 상기 제1 사용자를 위한 제1 서브 시점 영역의 콘텐츠를 결정하고, 상기 제1 서브 시점 영역의 콘텐츠에 기초하여 상기 복수의 서브 시점 영역들 중 상기 제2 사용자를 위한 제2 서브 시점 영역의 콘텐츠를 결정할 수 있다.
도 1은 일 실시예에 따른 라이트 필드 렌더링 장치의 동작을 설명하기 위한 도면.
도 2는 일 실시예에 따른 라이트 필드 렌더링 장치의 시각 영역(viewing area)이 복수의 시청자(viewer)들을 포함하는 경우를 나타낸 도면.
도 3은 일 실시예에 따른 라이트 필드 렌더링 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도.
도 5는 일 실시예에 따른 라이트 필드 렌더링 장치가 사용자들의 눈의 위치를 검출하는 과정을 설명하기 위한 도면.
도 6은 일 실시예에 따른 라이트 필드 렌더링 장치가 사용자들의 시선을 매핑하는 과정을 설명하기 위한 도면.
도 7은 일 실시예에 따른 뷰콘(view cone)의 크기를 결정하는 방법을 설명하기 위한 도면.
도 8 내지 도 10은 일 실시예에 따른 라이트 필드 렌더링 장치가 광선 방향의 범위를 결정하는 과정을 설명하기 위한 도면.
도 11 내지 도 15는 일 실시예에 따른 라이트 필드 렌더링 장치가 서브 시점 영역들마다의 콘텐츠를 결정하는 과정을 설명하기 위한 도면.
도 16은 일 실시예에 따른 라이트 필드 렌더링 장치가 서브 픽셀의 값을 결정하는 과정을 설명하기 위한 도면.
도 17은 다른 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도.
도 18은 다른 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도.
도 19는 일 실시예에 따른 라이트 필드 렌더링 장치가 2개의 광학 레이어들을 포함하는 경우를 나타낸 도면.
도 20은 일 실시예에 따른 라이트 필드 렌더링 장치의 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 라이트 필드 디스플레이 기법을 위한 렌더링에 사용될 수 있다. 라이트 필드 디스플레이 기법은 3차원 영상을 표현하는 무 안경 방식의 기법으로, 예를 들어 3D 텔레비전, 3D 모니터, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 및 3D 모바일 기기 등에 적용될 수 있다.
도 1은 일 실시예에 따른 라이트 필드 렌더링 장치의 동작을 설명하기 위한 도면이다. 도 1을 참조하면, 라이트 필드 렌더링 장치(100)의 구성이 도시된다.
라이트 필드 렌더링 장치(100)는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 빛을 그대로 표현할 수 있다. 라이트 필드 렌더링 장치(100)는 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 반사하는 원리를 이용한다. '렌더링'은 3차원 공간 상에 라이트 필드를 생성하기 위하여 패널(101)에 표시될 영상을 생성하는 동작일 수 있다. 예를 들어, '렌더링'은 3차원 공간 상에 라이트 필드를 생성하기 위하여 패널(101)에 포함된 픽셀 또는 서브 픽셀의 값을 결정하는 동작일 수 있다.
라이트 필드 렌더링 장치(100)는 픽셀들을 포함하는 패널(101) 및 픽셀들로부터 출력되는 빛이 통과하는 광학 레이어(103)를 포함할 수 있다. 패널(101)의 픽셀들을 구성하는 서브 픽셀들의 구조는 다양하게 변형될 수 있다. 예를 들어, 패널(101)은 서브 픽셀들이 스트라이프 패턴으로 배열된 RGB 패널, 또는 서브 픽셀들이 다이아몬드 패턴으로 배열된 펜타일 패널 등일 수 있다.
라이트 필드 렌더링 장치(100)는 예를 들어, 펜타일 패널에 기반하여 서로 다른 방향의 광선을 구현할 수 있다. 일반적인 RGB 패널은 하나의 픽셀에 서로 크기가 동일한 R(red) 서브 픽셀, G(green) 서브 픽셀, 및 B(blue) 서브 픽셀이 포함되는 서브 픽셀 구조를 가진다. 반면, 펜타일 패널에 포함된 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀의 크기는 서로 다를 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 대각 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 대각 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
광학 레이어(103)는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 광학 레이어(103)는 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 실시예들에서 광학 레이어(103)는 전술한 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어들을 포함할 수 있다.
패널(101)에 포함된 서브 픽셀로부터 출력되는 광선 방향은 광학 레이어(103)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 빛은 광학 레이어(103)를 통과하면서 특정 방향으로 방사될 수 있다. 이러한 과정을 통해 라이트 필드 렌더링 장치(100)는 입체 영상 또는 다 시점 영상을 표현할 수 있다. 라이트 필드 렌더링 장치(100)의 광학적 특성은 패널(101)에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.
광학 레이어(103)는 복수의 광학 원소들(104, 105)을 포함할 수 있다. 각각의 광학 원소들은 3D 화소라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 예를 들어, 광학 레이어(103)에 포함된 하나의 3D 화소에서 15?4 방향의 광선들(110)이 출력될 수 있다. 라이트 필드 렌더링 장치(100)는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들이 표현할 수 있다.
이 때, 패널(101)의 서브 픽셀 구조에 따라 패널(101) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 패널(101)의 서브 픽셀 구조에 따라 패널(101) 내 각 서브 픽셀들로부터 출력되는 광선 방향이 달라질 수 있다.
도 2는 일 실시예에 따른 라이트 필드 렌더링 장치의 시각 영역(viewing area)이 복수의 시청자(viewer)들을 포함하는 경우를 나타낸 도면이다. 이하, 설명의 편의를 위하여 서브 픽셀 단위로 렌더링이 수행되는 실시예들을 설명한다. 하지만, 실시예들에 따른 라이트 필드 렌드 렌더링 장치는 픽셀 단위로 렌더링이 수행되도록 변형될 수 있다. 이 경우, 동일한 픽셀에 포함된 서브 픽셀들은 실질적으로 동일한 빛의 진행방향을 가지는 등 서로 연관될 수 있다.
도 2를 참조하면, 패널(101)의 서브 픽셀들 각각의 광선 방향이 광학 레이어(103) 내 어느 하나의 광학 원소의 중심을 통과하는 방향으로 향하고, 서브 픽셀들 각각의 광선 방향을 따라 전파되는 빛이 복수의 시청자들(210,230)의 양 눈에 도달되는 상황이 도시된다.
복수의 시청자들(210,230)을 고려하기에 앞서, 라이트 필드 렌더링 장치의 시각 영역 내에 한 사람의 시청자가 있는 경우에 시청자의 양 눈에 대응되는 영상은 다음과 같이 결정될 수 있다. 예를 들어, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 시청자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
라이트 필드 렌더링 장치의 시각 영역 내에 복수의 시청자들(210,230)이 있고, 복수의 시청자들(210,230)이 독립적으로 시청 위치를 결정한다고 하자.
복수의 시청자들(210,230)을 포함하는 시각 영역을 표현하려면 넓은 시야각과 그 안에서 각 시청자의 양 눈 간격에 서로 다른 영상을 표현할 수 있도록 많은 뷰(view)의 수 또는 광선(ray)의 수가 필요하게 된다. 어느 하나의 서브 픽셀에서 표현하는 뷰의 수 또는 광선의 수가 많아지면 결과적으로 라이트 필드 렌더링 장치가 표현하는 하나의 뷰 영상의 해상도가 낮아질 수 있다.
또한, 어느 하나의 서브 픽셀에서 표현하는 뷰의 수 또는 광선의 수가 많아지면 복수의 시청자들(210,230) 각각의 시야각에서 많은 뷰 또는 많은 광선 간의 간섭에 의한 크로스토크(crosstalk)가 발생할 수 있다.
도 3은 일 실시예에 따른 라이트 필드 렌더링 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(이하, '렌더링 장치')의 시각 영역 내에 복수의 시청자들(310, 330)이 있고, 복수의 시청자들(310, 330)이 하나의 시점 영역이 아닌 서로 다른 시점 영역(315,335)에 있는 상황이 도시된다. 렌더링 장치는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.
렌더링 장치는 렌즈를 이용하여 서로 다른 방향의 광선(ray)를 구현할 수 있다. 이때, 패널(101)은 영상을 표현하는 서브 픽셀들로 구성된다. 광학 레이어(103)는 각 서브 픽셀에서 나온 빛을 특정 방향으로 제한하는 역할을 하는 광학 원소들의 집합이다.
일 실시예에 따른 렌더링 장치는 시청자들에게 우선 순위를 정하여, 우선 순위가 높은 시청자에게 우선적으로 영상을 표현할 수 있다. 렌더링 장치는 각 서브 픽셀에서 나오는 광선과 복수 시청자의 눈으로 향하는 광선 방향들과의 관계를 이용하여 어느 시청자의 어느 쪽 눈에 어떠한 콘텐츠를 보이게 할 지 결정함으로써 복수 시청자를 대응한 라이트 필드 렌더링을 구현할 수 있다. 이하에서 복수의 시청자들 중 우선 순위가 가장 높은 시청자를 '제1 사용자'라고 부르고, 그 다음의 우선 순위의 시청자를 '제2 사용자'라고 부르기로 한다.
시청자들의 우선 순위는 다양한 방식으로 결정될 수 있다. 예를 들어, 시청자들의 우선 순위는 시청자들 중 어느 한 명의 입력을 수신하여 결정될 수 있다. 이를 위하여, 리모콘, 스마트 폰 등 외부 입력 장치를 통한 입력, 동작 또는 제스처 인식을 통한 입력, 음성 인식을 통한 입력 등 다양한 방식의 입력 인터페이스가 제공될 수 있다. 또는, 얼굴 인식 기법을 이용하여 자동으로 시청자들의 우선 순위가 결정될 수 있다. 일 예로, 비전 센서를 통하여 복수의 시청자들의 얼굴이 인식되고, 인식된 시청자들 및 미리 등록된 주 사용자들의 리스트에 기초하여 시청자들의 우선 순위가 결정될 수 있다. 전술한 방식들은 예시적인 사항에 불과하고, 시청자들의 우선 순위를 결정하는 방식은 다양하게 변형될 수 있다.
복수의 사용자들이 있는 경우, 렌더링 장치는 제1 사용자(310)의 왼쪽 눈을 기준으로 하여 시점 영역의 너비만큼의 영역을 정의하고, 정의된 영역 내에 모든 사용자들의 눈의 방향을 표시할 수 있다. 이 때, 제2 사용자(330)의 눈이 제1 시점 영역(315)에 이웃하는 제2 시점 영역(335)에 존재하면, 렌더링 장치는 제2 사용자(330)의 눈의 위치를 제1 시점 영역(315)에 해당하는 방향으로 옮겨 표시할 수 있다. 이 과정을 본 명세서에서는 '시선 매핑(eye direction mapping) 과정'이라 부르기로 한다. 시선 매핑 과정은 도 6을 참조하여 설명한다.
렌더링 장치는 하나의 시점 영역 내에 매핑된 양 눈의 방향을 기준으로, 양 눈을 위한 영상을 표시하게 될 광선 방향(ray direction)의 범위를 결정할 수 있다. 이 과정을 본 명세서에서는 '광선 방향의 범위(ray direction range) 결정 과정'이라 부르기로 한다. 광선 방향의 범위를 결정하는 과정은 도 8 내지 도 10을 참조하여 설명한다.
렌더링 장치는 하나의 시점 영역 내에 매핑된 양 눈에 대한 방향 범위(direction range)의 크기 및 배열 순서 등을 기반으로 양 눈에 표현할 영상(혹은 콘텐츠)를 결정할 수 있다. 렌더링 장치는 예를 들어, 양 눈의 방향을 중심으로 하는 광선 방향의 범위에 들어오는 광선에 어느 뷰 영상(혹은 콘텐츠)을 결정할 것인지를 결정할 수 있다. 이 과정을 본 명세서에서는 '콘텐츠 결정(content determining) 과정'이라 부르기로 한다. 콘텐츠 결정 과정은 도 11 내지 도 15를 참조하여 설명한다.
콘텐츠 결정 과정에서, 이웃하는 광선 방향의 범위의 중심 방향이 일정 크기 내로 가까운 경우, 렌더링 장치는 서로 이웃하는 광선 방향의 범위가 서로 같은 영상(콘텐츠)을 표현하도록 결정할 수 있다. 이는 이웃하는 광선 방향의 범위의 중심 방향이 일정 크기 내로 가까운 경우에 서로 다른 영상을 표현하게 되면 크로스토크가 크게 발생할 수 있기 때문이다. 이 때, 렌더링 장치는 제1 사용자(310)가 항상 지정된 3D 영상(예를 들어, 2번과 3번 영상의 페어 3D 영상)을 볼 수 있도록 함으로써 제1 사용자(310)를 위한 영상은 변경되지 않도록 할 수 있다. 또한, 렌더링 장치는 제1 사용자(310)가 지정된 3D 영상을 보기 위한 최소한의 광선 방향의 범위를 정의하여 최소한의 광선 방향의 범위보다 작은 방향 범위로는 영상이 결정되지 않도록 할 수 있다.
상술한 과정을 거쳐 제1 사용자(310)가 항상 지정된 3D 영상을 볼 수 있을 때, 렌더링 장치는 제1 사용자(310)에게 제공되는 영상(콘텐츠)을 표현하기 위한 최소한의 픽셀 자원을 제외한 나머지 픽셀 자원을 제2 사용자(330)를 포함한 다른 사용자들을 위한 영상(콘텐츠)을 표현하는 데에 이용할 수 있다.
렌더링 장치는 광학 레이어(103)와 패널(101)에 포함된 서브 픽셀의 위치 관계로 인해 결정된, 서브 픽셀로부터 나가는 광선 방향을 포함하는 광선 방향의 범위가 표현해야 할 영상(콘텐츠)을 서브 픽셀의 값을 결정할 수 있다. 이하에서 서브 픽셀의 값을 결정하는 과정은 도 16을 참조하여 설명한다.
일 실시예에서는 패널의 서브 픽셀들 각각이 제공하는 시점 영역이 반복되는 것을 이용하여 고해상도를 실현할 수 있다. 또한, 일 실시예에서는 제1 사용자(310)와 제2 사용자(330)의 어느 한쪽 눈에 같은 영상을 표현함으로써 사용자들(310, 330) 각각의 시야각 내에서 많은 뷰 또는 많은 광선 간의 간섭에 의한 크로스토크의 발생을 방지할 수 있다.
도 4는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 렌더링 장치는 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑한다(410). 이때, 시점 영역은 패널에 속한 픽셀과 광학 레이어에 속한 광학 원소의 페어에 대응하는 뷰 콘(view cone)을 포함할 수 있다. 렌더링 장치는 예를 들어, 픽셀과 광학 레이어에 속한 복수의 광학 원소들 사이의 상대적인 위치로 인한 반복적 특성에 기초하여, 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 시점 영역으로 매핑할 수 있다.
렌더링 장치는 매핑된 제1 사용자의 양 눈의 위치 및 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 픽셀의 값을 결정한다(420). 렌더링 장치는 예를 들어, 픽셀의 광선 방향이 제1 사용자에 대응하는 경우, 제1 사용자의 양 눈의 위치에서 스테레오 영상이 재생되도록 픽셀의 값을 결정할 수 있다. 그리고, 렌더링 장치는 광선 방향이 제2 사용자에 대응하는 경우, 제2 사용자의 양 눈 중 적어도 한 눈의 위치에서 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록 픽셀의 값을 결정할 수 있다. 이때, 광선 방향은 픽셀 및 광학 레이어에 포함된 광학 원소를 통하여 전파(propagation)되는 광선 방향을 포함할 수 있다.
전술한 바와 같이 렌더링 장치는 서브 픽셀 단위로 렌더링을 수행할 수 있다. 이 경우, 단계(410) 및 단계(420)에 기술된 '픽셀'은 서브 픽셀로 이해될 수 있다. 일 실시예에 따른 렌더링 장치는 서브 픽셀의 광선 방향이 단계(410)에서 매핑된 어느 사용자의 어느 쪽 눈의 위치에 대응하는지에 따라 예를 들어, 아래의 [표 1]과 같이 서브 픽셀의 값을 결정할 수 있다.
이하, [표 1]에서 표시의 간략화를 위해 제1 사용자의 왼쪽 눈을 '1L'로, 제1사용자의 오른쪽 눈을 '1R'로 표현하고, 제2 사용자의 왼쪽 눈을 '2L'로, 제2 사용자의 오른쪽 눈을 '2R'로 표현하였다. 또한, [표 1]에서 매핑된 사용자들의 눈의 위치 관계에서 사용된 기호 '
Figure 112015076852570-pat00001
'는 해당 기호의 좌, 우에 위치하는 각 사용자의 눈의 위치가 대응되는 것을 나타낼 수 있다. 제1 사용자의 눈의 위치와 제2 사용자의 눈의 위치가 영상 분리 표현을 위한 최소 간격 이내로 인접한 경우를 나타낼 수 있다. 예를 들어, '2L
Figure 112015076852570-pat00002
1L'은 i) 2L과 1L 사이의 거리, ii) 2L과 1R 사이의 거리, iii) 2R과 1L 사이의 거리, 및 iv) 2R과 1R 사이의 거리 중 2L과 1L 사이의 거리가 최소인 경우를 나타낼 수 있다.
Figure 112015076852570-pat00003
[표 1]에서 서브 픽셀의 광선 방향이, 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 (광선 방향: 1L), 렌더링 장치는 스테레오 영상의 왼쪽 영상(2nd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다. 또한, 광선 방향이 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우 (광선 방향: 1R), 렌더링 장치는 스테레오 영상의 오른쪽 영상(3rd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다.
서브 픽셀의 광선 방향이 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하는 경우 (광선 방향: 2L), 사용자들 사이의 눈의 위치 관계에 의하여 서브 픽셀의 값을 결정할 수 있다. 예를 들어, 매핑된 제2 사용자의 왼쪽 눈의 위치가 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 (2L
Figure 112015076852570-pat00004
1L), 렌더링 장치는 제1 사용자를 위한 스테레오 영상의 왼쪽 영상(2nd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다. 여기서, 제1 사용자의 왼쪽 눈(1L)에는 2nd view가 재생되도록 보장되어야 하므로, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 2nd view에 기초하여 결정된다. 또한, 매핑된 제2 사용자의 왼쪽 눈의 위치가 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우 (2L
Figure 112015076852570-pat00005
1R), 렌더링 장치는 제1 사용자를 위한 스테레오 영상의 오른쪽 영상에 기초하여 서브 픽셀의 값을 결정할 수 있다. 여기서, 제1 사용자의 오른쪽 눈(1R)에는 3rd view가 재생되도록 보장되어야 하므로, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 3rd view에 기초하여 결정된다.
또한, 매핑된 제2 사용자의 오른쪽 눈의 위치가 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 (2R
Figure 112015076852570-pat00006
1L), 렌더링 장치는 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 왼쪽 영상보다 더 왼쪽 시점의 영상에 기초하여 서브 픽셀의 값을 결정할 수 있다. 여기서, 제1 사용자의 왼쪽 눈(1L)에는 2nd view가 재생되도록 보장되어야 하므로, 제2 사용자의 오른쪽 눈(2R)에도 2nd view가 재생되어야 한다. 이 경우, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 1st view 또는 2nd view에 기초하여 결정될 수 있다.
일 예로, 사용자들 사이의 상대적 위치 관계에 따라 제2 사용자에게 스테레오 영상을 제공하는 것이 가능하면, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 1st view에 기초하여 결정될 수 있다. 이 경우, 제2 사용자의 오른쪽 눈(2R)에는 2nd view가 재생되고, 제2 사용자의 왼쪽 눈(2L)에는 1st view가 재생되므로, 제2 사용자는 스테레오 영상을 시청할 수 있다. 다른 예로, 사용자들 사이의 상대적 위치 관계에 따라 제2 사용자에게 스테레오 영상을 제공하는 것이 불가능하면, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 2nd view에 기초하여 결정될 수 있다. 이 경우, 제2 사용자의 오른쪽 눈(2R) 및 왼쪽 눈(2L)에 모두 2nd view가 재생되므로, 제2 사용자는 모노 영상을 시청할 수 있다.
또한, 매핑된 제2 사용자의 오른쪽 눈의 위치가 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우 (2R
Figure 112015076852570-pat00007
1R), 렌더링 장치는 왼쪽 영상 또는 스테레오 영상의 오른쪽 영상에 기초하여 서브 픽셀의 값을 결정할 수 있다. 여기서, 제1 사용자의 오른쪽 눈(1R)에는 3rd view가 재생되도록 보장되어야 하므로, 제2 사용자의 오른쪽 눈(2R)에도 3rd view가 재생되어야 한다. 이 경우, 제2 사용자의 왼쪽 눈(2L)을 위한 서브 픽셀의 값은 2nd view (스테레오) 또는 3rd view (모노)에 기초하여 결정될 수 있다.
서브 픽셀의 광선 방향이 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하 대응하는 경우 (광선 방향: 2R), 사용자들 사이의 눈의 위치 관계에 의하여 서브 픽셀의 값을 결정할 수 있다. 예를 들어, 매핑된 제2 사용자의 오른쪽 눈의 위치가 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 (2R
Figure 112015076852570-pat00008
1L), 렌더링 장치는 제1 사용자를 위한 스테레오 영상의 왼쪽 영상(2nd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다. 또한, 매핑된 제2 사용자의 오른쪽 눈의 위치가 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우 (2R
Figure 112015076852570-pat00009
1R), 렌더링 장치는 스테레오 영상의 오른쪽 영상(3rd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다. 또한, 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 (2L
Figure 112015076852570-pat00010
1L), 렌더링 장치는 제1 사용자를 위한 스테레오 영상의 왼쪽 영상(2nd view) 또는 스테레오 영상의 오른쪽 영상(3rd view)에 기초하여 서브 픽셀의 값을 결정할 수 있다. 또한, 매핑된 제2 사용자의 왼쪽 눈의 위치가 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우 (2L
Figure 112015076852570-pat00011
1R), 렌더링 장치는 오른쪽 영상(3rd view) 또는 오른쪽 영상보다 더 오른쪽 시점의 영상(4th view)에 기초하여 서브 픽셀의 값을 결정할 수 있다.
일 실시예에 따른 서브 픽셀의 값을 결정하는 방법은 상술한 바와 같이 사용자들의 수가 두 사람인 경우뿐만 아니라 세 사람 이상인 경우에도 동일하게 적용될 수 있다. 이때, 세 사람 이상의 사용자들을 위한 서브 픽셀의 값은 앞서 사용자가 두 사람인 경우와 마찬가지의 방식으로 결정될 수 있다.
일 실시예에서 광선 방향에 매핑되는 각 사용자의 눈의 위치 및 각 사용자의 눈 사이의 관계에 따라 발생할 수 있는 다양한 상황들에 대하여는 도 13 내지 도 15를 참조한다. 이하에서는 사용자의 양 눈의 위치를 서브 픽셀에 대응하는 시점 영역으로 매핑하기에 앞서, 도 5를 참조하여 사용자들의 눈의 위치를 검출하는 방법을 살펴본다.
도 5는 일 실시예에 따른 렌더링 장치가 사용자들의 눈의 위치를 검출하는 과정을 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 렌더링 장치의 패널(101)에 포함된 서브픽셀(102)로부터 제1사용자(510)에게 향하는 방향이 광학 레이어(103)에 포함된 광학원소(104) 영역을 지나고, 제2사용자(530)에게 향하는 방향이 광학 원소(105) 영역을 지나는 상황이 도시된다.
서브 픽셀(102)은 다양한 방향들로 빛을 출력할 수 있다. 빛이 출력되는 방향은 광선 방향이라고 지칭될 수 있다. 서브 픽셀(102)로부터 출력되는 빛은 광학 레이어(103)를 통과하면서 광선 방향들이 양자화되는 형태로 출력될 수 있다. 예를 들어, 서브 픽셀(102)로부터 출력되는 광선 방향들은 광학 레이어(103)에 포함된 광학 원소들(104,105) 각각의 중심을 지나는 방향들로 양자화될 수 있다.
이때, 서브 픽셀(102)에서 제1 사용자(510)의 왼쪽 눈(1L)(513)을 향하는 제1 방향(501)과, 제1 사용자(510)의 오른쪽 눈(1R)(516)을 향하는 제2 방향(502)이 광학 원소(104) 영역을 지난다고 하자. 또한 서브 픽셀(102)에서 제2 사용자(530)의 왼쪽 눈(2L)(533)을 향하는 제3 방향(503)과 제2 사용자(530)의 오른쪽 눈(2R)(536)을 향하는 제4 방향(504)이 광학 원소(105) 영역을 지난다고 하자.
렌더링 장치는 제1 사용자(510)의 양 눈(513,516)의 위치를 포함하는 제1 정보 및 제2 사용자(530)의 양 눈(533,536)의 위치를 포함하는 제2 정보를 수신할 수 있다. 렌더링 장치는 예를 들어, 각 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 또한 렌더링 장치는 서브 픽셀(102)에서 각 사용자의 양 눈을 향하는 방향을 각 사용자의 눈의 위치를 이용하여 결정할 수 있다.
렌더링 장치는 사용자의 양 눈을 향하는 방향에 기초하여, 패널(101)에 포함된 서브 픽셀(102)이 각 사용자의 왼쪽 눈과 오른쪽 눈 중 어느쪽 눈에 대응하는지를 결정할 수 있다.
렌더링 장치는 예를 들어, 서브 픽셀(102)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(102)로부터 출력된 광선은 광학 레이어(103) 내 광학 원소(104,105)의 중심을 지나는 방향으로 전파될 수 있다. 렌더링 장치는 패널(101)과 광학 레이어(103) 사이의 거리, 패널(101) 내 서브 픽셀(102)의 위치, 및 광학 레이어(103) 내 원소들 중 서브 픽셀(102)로부터 출력된 광선이 지나는 광학 원소(104,105)의 위치 중 적어도 하나에 기초하여, 서브 픽셀(102)의 광선 방향을 계산할 수 있다. 이하, 서브 픽셀로부터 출력된 빛은 LED와 같이 자체적으로 발광하는 서브 픽셀로부터 출력되는 빛뿐만 아니라 LCD와 같이 백라이트의 빛을 투과시키는 서브 픽셀로부터 출력되는 빛을 모두 포함할 수 있다.
서브 픽셀(102)의 광선 방향에 따라 전파되는 빛은 제1 사용자(510) 또는 제2 사용자(530)의 시점들에 대응될 수 있다. 렌더링 장치는 서브 픽셀(102)의 광선 방향에 따라 전파되는 빛이 도달하는 위치에 대응하는 사용자의 시점을 선택할 수 있다.
이상에서, 렌더링 장치가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 렌더링 장치가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다.
예를 들어, 다 시점 영상을 촬영하는 거리, 다 시점 영상을 촬영하는 화각, 다 시점 영상을 촬영하는 방향, 또는 다 시점 영상을 위한 카메라 파라미터 등 다 시점 영상을 촬영하는 조건이 표준화되는 경우, 임의의 서브 픽셀에 대응하는 시점 및 해당 서브 픽셀에 대응하는 영역은 미리 정해질 수 있다. 미리 구비된 테이블은 패널(101)의 서브 픽셀의 구조에 따라, 패널(101)에 포함된 서브 픽셀들에 대응하는 시점들 및 영역들과 관련된 정보를 저장할 수 있다. 이 경우, 렌더링 장치는 미리 구비된 테이블을 참조함으로써, 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
도 6은 일 실시예에 따른 렌더링 장치가 사용자들의 시선을 매핑하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 서브 픽셀로부터 복수의 사용자들의 양 눈으로 향하는 방향을 하나의 뷰 콘에 대응되는 방향으로 매핑한 결과가 도시된다.
도 6에서 제1 사용자(510)의 왼쪽 눈으로 향하는 제1 방향(501)과, 제1 방향(501)이 렌즈 어레이(103)를 지나는 제1 위치(601)로부터 한 개의 광학 원소(104)의 폭만큼 떨어진 제2 위치(602)를 정의할 수 있다. 이 때, 패널(101)의 서브 픽셀(102)과 광학 레이어(103)에 포함된 광학 원소(104)에 대응하는 방향 범위를 '뷰 콘(605)'으로 정의할 수 있다. 다시 말해, 서브 픽셀(102)을 중심으로 제1 위치(601)를 지나는 방향(501)과 서브 픽셀(102)을 중심으로 제2 위치(602)를 지나는 방향(605) 사이의 방향 범위를 뷰 콘(650)으로 정의할 수 있다.
렌더링 장치는 예를 들어, 광학 레이어(103)의 패턴 주기와 광학 레이어(103)와 서브 픽셀(102)이 위치하는 패널(101) 간의 거리를 이용하여 뷰 콘의 크기를 결정할 수 있다. 렌더링 장치가 뷰 콘의 크기를 결정하는 방법은 도 7을 참조하여 설명한다.
렌더링 장치는 서브 픽셀(102)에서 나온 광선이 복수의 사용자들(510, 530)의 눈으로 향하는 방향을 계산하고, 광선이 각 사용자의 눈으로 향하는 방향을 하나의 뷰 콘에 대응되는 방향으로 매핑한다.
렌더링 장치는 각 서브 픽셀로부터 복수의 사용자들 각각의 눈으로 향하는 방향을 계산할 수 있다. 이때, 렌더링 장치는 가장 우선 순위가 높은 사용자의 눈 방향(예를 들어, 제1 사용자(510)의 왼쪽 눈(1L)(513) 방향)을 기준으로 1개의 뷰 콘(605)에 해당하는 방향 범위를 정할 수 있다. 렌더링 장치는 뷰 콘(650)에 해당하는 방향 범위 내에 있지 않은 사용자(예를 들어, 제2 사용자(530))의 눈 방향을 뷰 콘(650)의 방향 범위 내로 매핑할 수 있다.
도 5에서 살펴본 것과 같이 제2 사용자(530)의 왼쪽 눈(2L)(533)과 오른쪽 눈(2R)(536)으로 전파되는 빛은 광학 원소(105) 영역을 통과한 것이므로 뷰 콘(650) 내에 존재하지 않는 것을 볼 수 있다. 이 경우, 제2 사용자(530)의 양 눈으로 제공되는 빛이 광학 원소(105) 영역을 통과하는 대신에 광학 원소(104) 영역을 통과하는 것으로 변환된다면, 제2 사용자(530)는 제2 사용자(630)와 같이 변환될 수 있다. 이와 함께, 제2 사용자(530)의 왼쪽 눈(2L)(533)의 위치는 새로운 위치(2L')(633)로 변환되고, 제2 사용자(530)의 오른쪽 눈(2R)(536)의 위치는 새로운 위치(2R')(636)으로 변환될 수 있다. 또한, 제3 방향(503)은 새로운 제3 방향(603)으로, 제4 방향(504)은 새로운 제4 방향(604)으로 변환될 수 있다.
이와 같이 변환될 수 있는 이유는, 서브 픽셀(102)로부터 광학 원소(105)를 통과하는 광선과 제3 방향(503), 제4 방향(504) 간의 관계가, 서브 픽셀(102)로부터 광학 원소(104)를 통과하는 광선과 새로운 제3 방향(603), 새로운 제4 방향(604) 간의 관계가 같기 때문이다.
렌더링 장치는 서브 픽셀(102)로부터 제1 사용자(510)와 제2 사용자(530)의 양 눈을 향하는 방향(501, 502, 503, 504)을 뷰 콘(650) 내로 매핑하여 최종적으로 방향(501, 502, 603, 604)를 얻을 수 있다.
하나의 뷰 콘을 기준으로 각 사용자의 눈 방향을 매핑한 이후, 렌더링 장치는 매핑된 방향들을 기준으로 양 눈에 보여질 영상을 표현할 광선 방향의 범위를 를 결정할 수 있다. 광선 방향의 범위는 예를 들어, 미리 정의된 방향 차이만큼의 폭을 가진 범위로 결정할 수 있다. 광선 방향의 범위를 결정하는 방법은 도 8 내지 도 10을 참조하여 설명한다. 이하, 뷰 콘(650) 내로 매핑된 제2 사용자(630)의 위치를 중심으로 렌더링 장치의 동작을 설명한다.
도 7은 일 실시예에 따른 뷰 콘(view cone)의 크기를 결정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 뷰 콘(710) 및 뷰 콘(710) 내에서의 제1 사용자의 양눈(701, 702)의 위치 및 제2 사용자의 양 눈(703, 704)(705,706)의 위치가 도시된다.
제1 사용자의 양 눈(701, 702)는 최적 시청 거리에서 왼쪽 눈(701)과 오른쪽 눈(702) 간에 1 IPD의 간격을 가진다. 여기서, IPD(Inter-Pupil Distance)는 양 눈의 동공 중심 간의 거리를 나타낸다. 제2 사용자의 양 눈(703, 704)(705,706)이 모두 제1 사용자의 두 눈 사이에 위치하지 않을 경우에도, 제1 사용자의 어느 한 쪽 눈을 기준으로 최소 분리 가능 간격인 0.5 IPD 이상 차이가 필요하다. '최소 분리 가능 거리(간격)'은 상이한 컨텐츠 간에 크로스토크가 발생하지 않도록 하기 위해 필요한 최소한의 거리(간격)으로 정의될 수 있다.
도 7(a)와 같이 제2 사용자의 어느 한 쪽 눈(왼쪽 눈(L2)(703))이 제1 사용자의 두 눈(701, 702) 사이의 중앙에 위치할 경우, 제2 사용자의 왼쪽 눈(L2)(703)은 제1 사용자의 두 눈(701, 702) 중 어느 한쪽 눈과 같은 영상을 표현하게 된다.
예를 들어, 제2 사용자의 왼쪽 눈(L2)(703)이 제1 사용자의 오른쪽 눈(R1)(702)과 같은 영상을 표현한다고 가정하자. 이때, 서로 다른 영상을 표현하는 제1 사용자의 왼쪽 눈(L1)(701))과 제2 사용자의 왼쪽 눈(L2)(703)에는 영상을 할당해도 크로스토크가 발생하지 않도록 서로 간에 최소 분리 가능 거리(예를 들어, 0.5 IPD)를 설정할수 있다.
예를 들어, 도 7(b)과 같이 뷰 콘(710) 내에 제1 사용자의 양 눈(701, 702)과 함께 제2 사용자의 양 눈(703, 704)을 위치시키고자 하는 경우를 살펴보자.
여기서, 제2 사용자의 왼쪽 눈(703)이 제1 사용자의 오른쪽 눈(702)에서 0.5 IPD 보다 조금 더 오른쪽으로 떨어지 곳에 위치하거나, 또는 제2 사용자의 오른쪽 눈(706)이 제1 사용자의 왼쪽 눈(701)보다 조금 더 왼쪽으로 떨어진 곳에 위치하는 경우에 각 사용자들의 양 눈 각각을 위한 콘텐츠가 잘 분리될 수 있다. 결국, 최적 시청 거리에서 3 IPD 이상의 뷰 콘의 크기를 가지는 경우, 렌더링 장치는 두 사용자들 각각을 위한 콘텐츠를 잘 분리할 수 있다. 렌더링 장치는 두 사용자들을 위한 뷰 콘(710)이 최적 시청 거리에서 3 IPD 이상의 크기를 가지도록 결정할 수 있다.
도 8은 일 실시예에 따른 렌더링 장치가 광선 방향의 범위를 결정하는 과정을 설명하기 위한 도면이다. 도 8을 참조하면, 렌더링 장치가 각 눈을 향하는 방향 간의 중간값을 경계로 하여 광선 방향의 범위를 결정하는 방법이 도시된다.
렌더링 장치는 서브 픽셀(102)로부터 광학 원소(104)을 통과하여 각 눈을 향하는 방향(501,502, 603,604, 605)의 중간값에 해당하는 방향들(801, 802, 803, 804)을 각 눈에 해당하는 광선 방향의 범위의 경계로 결정할 수 있다.
렌더링 장치는 예를 들어, 제1 사용자(510)의 왼쪽 눈(513)을 위한 광선 방향의 범위는 방향 501~801의 영역과 방향 804~605의 영역으로, 제1 사용자(510)의 오른쪽 눈(516)을 위한 광선 방향의 범위는 방향 801~802의 영역으로 결정할 수 있다. 또한, 제2 사용자(630)의 왼쪽 눈(633)를 위한 광선 방향의 범위는 방향 802~803의 영역으로, 제2 사용자(630)의 오른쪽 눈(636)을 위한 광선 방향의 범위는 방향 803~804의 영역으로 결정할 수 있다.
이하에서 서브 픽셀(102)에 대응하여 미리 정해진 시점 영역(예를 들어, 뷰 콘(650)) 중 각 사용자들의 눈을 위한 광선 방향의 범위의 경계에 의해 결정되는 일부 영역들을 '서브 시점 영역'이라 부르기로 한다. 예를 들어, 방향 501~801의 영역, 방향 804~605의 영역, 방향 801~802의 영역, 방향 802~803의 영역, 방향 803~804의 영역 등이 서브 시점 영역에 해당할 수 있다.
도 9는 다른 실시예에 따른 렌더링 장치가 광선 방향의 범위를 결정하는 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 렌더링 장치가 각 눈을 향하는 방향을 중심으로 일정한 크기를 갖는 영역을 경계로 하여 광선 방향의 범위를 결정하는 방법이 도시된다.
렌더링 장치는 제1 사용자의 왼쪽 눈(513)을 향하는 방향(501)을 기준으로 하여 오른쪽으로 일정한 크기 떨어진 방향(901)을 결정하고, 방향(501)과 동등(equivalent)하게 볼 수 있는 방향(605)을 기준으로 하여 왼쪽으로 일정한 크기 떨어진 방향 (902)을 결정할 수 있다.
이때, 서브 픽셀(102)에서 나오는 광선 방향이 방향(501)에서 방향(901) 사이의 영역과 방향(902)에서 방향(605) 사이의 영역에 해당하는 경우, 서브 픽셀(102)은 제1 사용자의 왼쪽 눈(513)에 보이는 영상을 표현하게 되고, 방향(501)에서 방향(901) 사이의 영역과 방향(902)에서 방향(605) 사이의 영역은 제1 사용자의 왼쪽 눈(513)을 위한 광선 방향의 범위로 볼 수 있다.
마찬가지로, 렌더링 장치는 제1 사용자의 오른쪽 눈(516)을 향하는 방향(502)을 기준으로 하여 왼쪽으로 일정한 크기 떨어진 방향(903)을 결정하고, 방향(502)을 기준으로 하여 왼쪽으로 일정한 크기 떨어진 방향(903)과 오른쪽으로 일정 크기만큼 떨어진 방향(904)을 결정할 수 있다.
도 9에서 방향(903)과 방향(502) 사이의 간격과 방향(502)과 방향(904) 사이의 간격이 다름을 확인할 수 있다. 이는 방향(903)과 방향(502) 사이의 간격만큼 방향(502)로부터 오른쪽으로 떨어진 방향이, 제1 사용자(510)의 오른쪽 눈(516)을 향하는 방향(502)과 제2 사용자(630)의 왼쪽 눈(633)을 향하는 방향(603)과의 중간에 해당하는 방향보다 더 오른쪽으로 가버리기 때문이다.
렌더링 장치는 눈 사이의 간격이 미리 정해진 크기만큼 확보되지 못할 경우 양 눈을 향하는 각 방향의 중간 방향을 경계로 결정할 수 있다. 따라서, 방향(904)은 방향(502)와 방향(603)의 중간 방향으로 표현될 수 있다.
마찬가지로, 렌더링 장치는 제2 사용자(630)의 왼쪽 눈(633)을 향하는 방향(603)을 기준으로 왼쪽과 오른쪽으로의 광선 방향의 범위의 경계를 각각 방향(904)과 방향(905)으로 결정할 수 있다. 렌더링 장치는 제2 사용자(630)의 오른쪽 눈(636)을 향하는 방향(604)을 기준으로 왼쪽과 오른쪽으로의 광선 방향의 범위의 경계를 각각 방향(906)과 방향(907)으로 결정할 수 있다.
만약, 도 9에서 사용자들의 눈을 향하는 방향을 중심으로 결정된 광선 방향의 범위의 크기가 충분히 크지 않으면, 서브 픽셀(102)로부터 나오는 광선 방향이 어느 사용자의 눈을 위한 광선 방향의 범위에도 포함되지 않을 수 있다. 이 경우, 서브 픽셀(102)로부터 나오는 빛은 어느 사용자의 눈을 위한 영상 표현에도 사용되지 않을 수 있다.
도 10은 다른 실시예에 따른 렌더링 장치가 광선 방향의 범위를 결정하는 과정을 설명하기 위한 도면이다. 도 10를 참조하면, 렌더링 장치가 한 번 결정된 광선 방향의 범위에 수정을 가하는 경우가 도시된다.
광선 방향의 범위는 제1 사용자(510)의 시청 환경을 우선한다는 의미에서, 한번 결정된 이후에도 수정이 가해질 수 있다.
렌더링 장치는 제1 사용자(510)의 왼쪽 눈(513)을 중심으로 방향 501~1001의 영역, 방향 1002~605의 영역을 최소 표현 영역으로 설정할 수 있다. 여기서, '최소 표현 영역'은 허용 가능한 최소 분리 거리 내에 있는 영역으로 정의될 수 있다. 허용 가능한 최소 분리 거리란 허용 가능한 범위의 크로스토크를 발생시키는 최소 거리로, 두 위치의 중앙을 기준으로 양쪽에 서로 다른 영상을 표현했을 때 양쪽 위치 모두에 미리 지정된 일정 수준 이하의 크로스토크를 발생시키는 최소 거리를 의미한다. 일반적으로는 크로스토크를 발생시키지 않는 최소 거리를 설정할 수 있다.
이때, 최소 표현 영역(방향 1002~605의 영역)은 예를 들어, 도 8에서 설정한 방향 501~801의 영역과 방향 804~605의 영역에 해당하는 광선 방향의 범위에 포함된다. 따라서, 렌더링 장치는 광선 방향의 범위를 수정하지 않을 수 있다.
위와 같은 방법으로, 렌더링 장치는 제1 사용자(510)의 오른쪽 눈(516)를 중심으로 방향 1003~1004의 영역을 최소 표현 영역으로 설정할 수 있다. 이때, 최소 표현 영역(방향 1003~1004의 영역)의 일부가 예를 들어, 도 8에서 설정한 광선 방향의 범위를 벗어나게 되므로 렌더링 장치는 광선 방향의 범위를 수정할 수 있다. 이때, 수정되는 광선 방향의 범위는 제1 사용자(510)의 오른쪽 눈(516)과 제2 사용자(630)의 왼쪽 눈(633)의 광선 방향의 범위일 수 있다.
제1 사용자(510)의 오른쪽 눈(516)을 위한 광선 방향의 범위는 방향 801~802의 영역에서 방향 801~1004의 영역으로 확장되고, 제2 사용자(630)의 왼쪽 눈(633)을 위한 광선 방향의 범위는 방향 802~803 영역에서 방향 1004~803 영역으로 축소될 수 있다.
도 11은 일 실시예에 따른 렌더링 장치가 서브 시점 영역들마다의 콘텐츠를 결정하는 과정을 설명하기 위한 도면이다.
일 실시예에 따른 렌더링 장치는 광선 방향의 범위를 결정하는 과정을 거쳐서 결정된 광선 방향의 범위 정보를 이용해서 각 광선 방향의 범위에 어떤 영상을 표현할 지를 결정할 수 있다. 렌더링 장치는 예를 들어, 제1 사용자(510)의 왼쪽 눈(513)과 오른쪽 눈(516)의 광선 방향의 범위에 미리 지정된 스테레오(stereo) 영상이 표현되도록 결정할 수 있다. 렌더링 장치는 제1 사용자(510)를 위해 필요한 서브 픽셀 이외에 남은 자원을 이용하여 제2 사용자(630)를 위한 영상을 표현할 수 있다.
제1 사용자(510)의 양 눈(513, 516)에 어떤 영상을 표현되도록 할 지를 결정한 후, 렌더링 장치는 제 2 사용자(630)의 왼쪽 눈(633)과 오른쪽 눈(636)의 광선 방향의 범위에 어떤 영상을 표현할지를 결정할 수 있다. 보다 효율적인 자원의 이용을 위해, 렌더링 장치는 제 2 사용자(630)의 왼쪽 눈(633)과 오른쪽 눈(636) 중 적어도 한쪽 눈이 제1 사용자(510)의 한 눈에서 보여지는 콘텐츠와 같은 콘텐츠를 보도록 할 수 있다.
렌더링 장치는 예를 들어, 각 광선 방향의 범위와 서브 픽셀(102)로부터 양 눈을 향하는 방향의 관계에 기초하여, 제 2 사용자(630)의 왼쪽 눈(633)과 오른쪽 눈(636)의 광선 방향의 범위에 어떤 영상을 표현할지를 결정할 수 있다. 렌더링 장치가 각 사용자의 양 눈에 어떤 영상을 표현할지 결정하는 구체적인 방법을 도 12 내지 도 15를 참조하여 설명한다.
도 12는 다른 실시예에 따른 렌더링 장치가 서브 시점 영역들마다의 콘텐츠를 결정하는 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 뷰 콘 내에서 두 사용자들의 양 눈의 위치 관계에 따라 각 서브 시점 영역들마다 표현되는 영상(콘텐츠)들이 도시된다.
하나의 서브 픽셀에 대한 입력 영상(1210)은 1, 2, 3, 4번의 4개의 뷰(view) 영상이라고 하자. 이때, 4개의 뷰 영상들 각각은 각각 1 IPD 떨어진 영상으로 이웃한 번호의 영상을 왼쪽 눈과 오른쪽 눈으로 시청했을 때 현재 일반적인 스테레오 영상과 같은 정도의 깊이감을 느낄 수 있다.
일 실시예에서는 각 서브 픽셀에 대해, 제1 사용자의 뷰 콘을 기준으로 제2 사용자의 방향 및 양 눈의 방향 영역을 구분할 수 있다. 또한, 제1 사용자에게 항상 2번 영상과 3번 영상의 페어를 제공하고, 제2 사용자에게는 아래에서 설명하는 각 경우에 따라 대응되는 영상을 제공할 수 있다.
도 12에 도시된 뷰 콘에서는 하나의 서브 픽셀에서 나온 광선 방향이 속하는 영역의 영상을 서브 픽셀의 값으로 표현할 수 있다.
이하에서는, 뷰 콘 내에서의 제1 사용자의 왼쪽 눈(1L)과 제1 사용자의 오른쪽 눈(1R) 및 제2 사용자의 왼쪽 눈(2L)과 제2 사용자의 오른쪽 눈(2R)의 위치 관계에 따라 각 사용자의 눈에 대응하여 재생되는 영상을 살펴본다.
도 12(a)는 제2 시청자가 3 번 영상과 4번 영상을 시청하는 경우를 나타내고, 도 12(b)는 제2 시청자가 2번 영상과 3번 영상을 시청하는 경우를 나타내며, 도 12(c)는 제2 시청자가 1번 영상과 2번 영상을 시청하는 경우를 나타낸다.
예를 들어, 도 12(a)와 같이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R)이 가까이 있거나, 제1 사용자의 왼쪽 눈(1L), 제1 사용자의 오른쪽 눈(1R), 제2 사용자의 왼쪽 눈(2L), 제2 사용자의 오른쪽 눈(2R)의 순서로 배치되어있고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L)의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)의 간격보다 작다고 하자. 이 경우에 렌더링 장치는 제1 사용자의 왼쪽 눈(1L)에 2번 영상이, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L)에 3번 영상이, 제2 사용자의 오른쪽 눈(2R)에 4번 영상이 재생되도록 할 수 있다. 도 12에서 뷰 콘의 오른쪽 끝에 점선으로 표시된 '1L'은 뷰 콘 영역이 반복되는 특징에 따라 뷰 콘의 왼쪽 끝에 있는 제1 사용자의 왼쪽 눈(1L)과 같은 위치에 있다고 할 수 있다.
도 12(b)와 같이 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 왼쪽 눈(2L)이 2번 영상에 대응되는 서브 시점 영역 내에서 가까이 있고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 오른쪽 눈(2R)이 3번 영상에 대응되는 서브 시점 영역 내에서 가까이 있다고 하자. 이 경우에 렌더링 장치는 각 사용자의 왼쪽 눈(1L, 2L)이 2번 스테레오 영상을 시청하고, 각 사용자의 오른쪽 눈(1R, 2R)이 3번 스테레오 영상을 시청하도록 할 수 있다.
또한, 도 12(c)와 같이 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 오른쪽 눈(2R)이 2번 영상에 대응되는 서브 시점 영역 내에서 가까이 있고, 제1 사용자의 왼쪽 눈(1L), 제1 사용자의 오른쪽 눈(R1), 제2 사용자의 왼쪽 눈(2L), 제2 사용자의 오른쪽 눈(2R)의 순서로 배치된다고 하자. 이 경우, 렌더링 장치는 제1 사용자의 왼쪽 눈(1L) 및 제2 사용자의 오른쪽 눈(2R)에서 2번 영상이 재생되고, 제1 사용자의 오른쪽 눈(R1)에서 3번 영상이, 제2 사용자의 왼쪽 눈(2L)에서 1번 영상이 재생되도록 할 수 있다.
이하, 도 13 내지 도 15에서는 도 12의 (a), (b), (c)와 같은 환경에서 각 사용자의 눈의 위치에 따라 시청 거리가 유사하게 되거나, 유사하지 않게 되는 다양한 경우들을 살펴본다.
도 13 내지 도15에서는 뷰 콘의 영역을 직사각형의 폭으로 표현하고, 가로 방향의 위치는 뷰 콘 내의 하나의 방향으로 표현한다. 또한, 뷰 콘 내에 각 사용자의 눈이 해당하는 방향을 가로 방향 위치로 표현한다. 일 실시예에 따른 렌더링 장치는 뷰 콘 내에 위치하는 각 사용자의 양 눈 사이의 중심점으로 경계를 긋고, 경계들 사이의 영역에 적절한 시점을 결정할 수 있다.
이하 도 13 내지 도 15에서 점선으로 표시된 거리는 실선으로 표시되 거리보다 짧음을 나타내고, 이점 쇄선은 최소 분리 가능 간격을 나타낼 수 있다.
일 실시예에 따른 콘텐츠(영상) 결정 정책(policy)에서 제1 사용자의 양 눈에대응하여 항상 2번 영상과 3번 영상이 재생되도록 하므로, 렌더링 장치는 제1 사용자의 왼쪽 눈(1L)에는 2번 영상을 결정하고, 제1 사용자의 오른쪽 눈(1R)에는 3번 영상을 결정할 수 있다. 이와 함께, 렌더링 장치는 가급적이면 제2 사용자도 3D 영상을 시청할 수 있도록 각 서브 시점 영역의 영상을 결정할 수 있다.
도 13은 다른 실시예에 따른 렌더링 장치가 서브 시점 영역들마다의 영상을 결정하는 과정을 설명하기 위한 도면이다.
도 13을 참조하면, 도 12(a)와 같은 환경에서 렌더링 장치가 사용자들의 눈의 위치에 따라 영상을 결정하는 방법을 설명하기 위한 다양한 경우들이 도시된다.
[시청 거리 유사 케이스(Case)]
아래의 도 13(a) 및 도 13(b)에서는 제1 사용자와 제2 사용자의 시청 거리가 유사하여 뷰 콘 내에서 두 시청자의 양 눈 방향 사이의 간격이 비슷할 경우에 발생할 수 있는 경우들을 설명한다.
도 13(a)을 참조하면, 뷰 콘의 오른쪽 끝은, 뷰 콘 영역이 반복되는 특징에 따라 뷰 콘의 왼쪽 끝에 있는 제1 사용자의 왼쪽 눈(1L)과 같은 위치에 있다고 할 수 있다.
제2 사용자의 눈의 위치에 따라 렌더링 장치는 예를 들어, 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격과 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격 중 어느 쪽이 가까운지에 의해 서브 시점 영역들의 영상을 선택 또는 결정할 수 있다.
도 13(a)에서 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 더 좁기 때문에, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 3번 영상을 결정하고, 제2 사용자의 오른쪽 눈(2R)에 4번 영상을 결정하여, 제2 사용자가 3번과 4번 페어의 3D 영상을 시청하도록 할 수 있다.
도 13(b)을 참조하면, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 양 눈 사이로 이동하여 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)에 가까이 있는 경우가 도시된다. 이 경우, 도 13(a)와 마찬가지로, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 3번 영상을 결정하고, 제2 사용자의 오른쪽 눈(2R)에 4번 영상을 결정하여, 제2 사용자가 3번과 4번 페어의 3D 영상을 시청하도록 할 수 있다.
[시청 거리 비유사 케이스]
앞서 설명한 시청 거리 유사 케이스와 달리, 두 사용자들이 항상 비슷한 시청 거리에서 시청한다는 보장이 없기 때문에 시청 거리가 비유사한 경우에 렌더링 장치가 영상을 선택(결정)하는 방법이 요구된다. 아래에서는 두 사용자들 간의 시청 거리가 비유사한 다양한 경우들에서 렌더링 장치가 제2 사용자의 영상을 결정하는 방법을 살펴본다.
도 13(c) 및 도 13(d)을 참조하면, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 양 눈 사이에 존재하고, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)에 가까이 있는 경우가 도시된다. 이때, 도 13(c)은 제2 사용자의 오른쪽 눈(2R)은 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 있고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R)과의 간격이 최소 분리 가능 간격(이점 쇄선)보다 큰 경우를 나타내고, 도 13(d)는 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격도 최소 분리 가능 간격보다 큰 경우를 나타낸다.
도 13(c) 및 도 13(d)에서 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 3번 영상을 결정하고, 제2 사용자의 오른쪽 눈(2R)에 4번 영상을 결정하여, 제2 사용자가 3번과 4번 페어의 3D 영상을 시청하도록 할 수 있다.
도 13(e)을 참조하면, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하면서 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 또한, 도 13(f)을 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)보다 오른쪽에 존재하면서 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격이 최소 분리 가능 간격보다 큰 경우가 도시된다. 도 13(e) 및 도 13(f)에서 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)이 3번 영상을 시청하고, 제2 사용자의 오른쪽 눈(2R)에 4번 영상을 시청하도록 할 수 있다. 도 13(f)에서와 같이, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 최소 분리 가능 간격 이내인 경우에 렌더링 장치는 제1 사용자의 시청 환경을 보장하도록 하므로 제2 사용자의 오른쪽 눈(2R)에서는 크로스토크가 발생할 수 있다.
도 13(g)을 참조하면, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하면서, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 최소 분리 가능 간격 이상인 경우가 도시된다. 이때, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L)의 간격은 최소 분리 가능 간격보다 크고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격보다 작다고 하자.
이 경우, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정하고, 제2 사용자가 3D 영상을 시청할 수 있도록 하기 위해 제2 사용자의 오른쪽 눈(2R)에 4번 영상을 결정할 수 있다. 제2 사용자는 3번과 4번 페어의 3D 영상을 시청할 수 있다.
도 14는 다른 실시예에 따른 렌더링 장치가 서브 시점 영역들마다의 영상을 결정하는 과정을 설명하기 위한 도면이다.
도 14A, 14B 및 14C를 참조하면, 도 12(b)와 같은 환경에서 렌더링 장치가 사용자들의 눈의 위치에 따라 영상을 결정하는 방법을 설명하기 위한 다양한 경우들이 도시된다.
[시청 거리 유사 케이스]
도 14A(a)를 참조하면, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 양 눈(1L, 1R) 사이에 위치하고, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 왼쪽 눈(1L)에 더 가까이 있는 경우가 도시된다. 이 경우, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 왼쪽 눈(1L)과 인접하므로, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 또한, 렌더링 장치는 제2 사용자가 원활한 3D 영상을 시청할 수 있도록 제2 사용자의 오른쪽 눈(2R)에 3번 영상을 결정할 수 있다. 이 경우, 제1 사용자 및 제2 사용자 모두가 2번 영상 및 3번 영상을 시청할 수 있다.
도 14A(b)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 양 눈 사이에 위치하고, 제1 사용자의 왼쪽 눈(1L)보다 제1 사용자의 오른쪽 눈(1R)에 더 가까이 있는 경우가 도시된다. 이 경우, 제2 사용자의 오른쪽 눈(2R)은 제1 사용자의 오른쪽 눈(1R)에 인접하므로, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정할 수 있다. 이때, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정할 수 있다.
[시청거리 비유사 케이스]
이하의 도 14A(c) 내지 도 14A(h)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 왼쪽 눈(1L)과 영상 분리 표현을 위한 최소 간격 이내에 존재하는 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14A(c)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이에 존재하는 경우가 도시된다. 렌더링 장치는 이와 같이 분리 표현 가능한 최소 간격 이내에 있는 사용자들의 눈이 기본적으로 같은 영상을 표현하도록 할 수 있다. 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)과 오른쪽 눈(2R)에 모두 2번 영상을 결정할 수 있다. 제2 사용자는 2D의 2번 영상을 시청할 수 있다.
도 14A(d)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 오른쪽 눈(1R)의 사이에 위치하고, 제1 사용자의 왼쪽 눈(1L)에 더 가까이 경우가 도시된다. 이 경우, 제2 사용자의 양 눈(2L, 2R)이 모두 제1 사용자의 왼쪽 눈(1L)에 가까우므로, 렌더링 장치는 제2 사용자의 양 눈에 모두 2번 영상을 결정할 수 있다.
도 14A(e)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 오른쪽 눈(1R)의 사이에 위치하고, 제1 사용자의 오른쪽 눈(1R)에 더 가까운 경우가 도시된다. 이때, 제2 사용자의 왼쪽 눈(2L)은 제1 사용자의 왼쪽 눈(1L)에 가깝고, 제2 사용자의 오른쪽 눈(2R)은 제1 사용자의 오른쪽 눈(1R)에 더 가까이 있다. 때문에 렌더링 장치는 제2 사용자의 왼쪽 눈에 2번 영상을, 오른쪽 눈에 3번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 동일하게 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14A(f)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있으며, 제1 사용자의 오른쪽 눈(1R)에 더 가까운 경우가 도시된다. 이 경우 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 2번 영상을, 오른쪽 눈(2R)에 3번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 동일하게 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14A(g)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있는 경우가 도시된다. 이때, 제2 사용자의 오른쪽 눈(2R)은 제2 사용자의 왼쪽 눈(2L)에 더 가깝지만, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 영상 분리 표현을 위한 최소 간격보다 크다. 이 경우 제2 사용자의 양 눈(2L, 2R)은 분리 표현이 가능하므로, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 2번 영상을, 오른쪽 눈(2R)에 3번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 동일하게 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14A(h)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있고, 제1 사용자의 오른쪽 눈(1R)보다 제2 사용자의 왼쪽 눈(2L)에 더 가까우며, 제2 사용자의 왼쪽 눈(2L)과 제2 사용자의 오른쪽 눈(2R)과의 간격이 분리 표현을 위한 최소 간격보다 작은 경우가 도시된다. 이 경우, 제2 사용자의 양 눈(2L, 2R)은 분리 표현이 불가능하므로, 양 눈에 같은 영상을 결정해야 결함(artifact)을 최소화한 영상을 표현할 수 있다. 따라서, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)에 모두 2번 영상을 결정할 수 있다. 제2 사용자는 2D의 2번 영상을 시청할 수 있다.
이하의 도 14A(i) 내지 도 14A(m)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 양 눈(1L, 1R) 사이에 존재하면서, 제1 사용자의 오른쪽 눈(1R)보다 제1 사용자의 왼쪽 눈(1L)에 더 가까이 있는 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14A(i)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이에 존재하면서 제1 사용자의 오른쪽 눈(1R)보다 제2 사용자의 왼쪽 눈(2L)에 더 가까운 경우가 도시된다. 이 경우, 제2 사용자의 왼쪽 눈(2L)은 제1 사용자의 왼쪽 눈(1L)에 더 가깝기 때문에 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 대해 2번 영상을 결정할 수 있다. 또한, 제2 사용자의 오른쪽 눈(2R)은 제2 사용자의 왼쪽 눈(2L)에 더 가깝기 때문에 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 역시 2번 영상을 결정할 수 있다.
다만, 도 14A(i)에서 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R)의 간격이 최소 분리 가능 간격보다 작은 경우에 렌더링 장치는 제1 사용자의 오른쪽 눈(1R)을 우선적으로 뷰 콘 내의 표현 범위를 결정한다. 도 14A(i)에서 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 오른쪽 눈(2R) 사이의 2번과 3번 영상의 경계가 중간이 아니라 한쪽으로 치우친 이유는 그 때문이다. 도 14A(i)에서 뷰 콘의 크기를 보여주는 바(bar) 위에 돌출된 사각형의 폭은 제1 사용자의 오른쪽 눈(1R)의 중심에서 왼쪽 방향으로 확보해야 할 최소 범위를 표시한다.
도 14A(j)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이에 존재하면서 제2 사용자의 왼쪽 눈(2L)보다 제1 사용자의 오른쪽 눈(1R)에 더 가까이 있는 경우가 도시된다. 이 경우, 렌더링장치는 제2 사용자가 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청하도록 할 수 있다. 단, 제2 사용자의 왼쪽 눈(2L)과 오른쪽 눈(2R) 사이의 간격이 최소 분리 가능 간격보다 작을 경우, 제2 사용자는 일정량의 크로스토크가 포함된 3D 영상을 시청하게 된다.
도 14A(k)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R) 보다 오른쪽에 존재하며, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 최소 분리 가능 간격보다 큰 경우가 도시된다. 이때, 렌더링 장치는 제2 사용자가 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청하도록 할 수 있다.
도 14A(l)을 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R) 보다 오른쪽에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이때, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)에 모두 2번 영상을 결정할 수 있다.
도 14A(m)을 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 왼쪽 눈(2L) 사이에 존재하는 경우가 도시된다. 이때, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)에 모두 2번 영상을 결정할 수 있다.
이하의 도 14B(a) 내지 도 14B(d)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 양 눈(1L, 1R) 사이에 존재하면서, 제1 사용자의 왼쪽 눈(1L)보다 제1 사용자의 오른쪽 눈(1R)에 더 가까이 있는 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14B(a)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제1 사용자의 오른쪽 눈(1R) 사이에 존재하는 경우가 도시된다. 이때, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)이 모두 3번 영상을 시청하도록 할 수 있다.
도 14B(b)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 있지만 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이때, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)에 모두 3번 영상을 결정할 수 있다.
도 14B(c)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 있으며, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이 경우, 제2 사용자의 오른쪽 눈(2R)에는 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상이 표현되어야 한다. 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정하여 제2 사용자의 양 눈이 2D 영상을 시청하도록 할 수 있다. 이때, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 최소 분리 가능 간격보다 작다면, 렌더링 장치는 제1 사용자의 오른쪽 눈(1R)의 시청 환경을 보장해야 하므로 제2 사용자의 왼쪽 눈(2L)에서는 크로스토크가 발생할 수 있다.
도 14B(d)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 왼쪽 눈(2L) 사이에 있는 경우가 도시된다. 이 경우에 렌더링 장치는 제2 사용자의 양 눈이 2번 영상을 시청하도록 영상을 결정할 수 있다. 이때, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 최소 분리 가능 간격보다 작다면, 도 14B(c)와 마찬가지로 제2 사용자의 왼쪽 눈(2L)에서는 크로스토크가 발생할 수 있다.
이하의 도 14B(e) 내지 도 14B(h)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14B(e)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)보다 오른쪽에 존재하면서 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L)과의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 양 눈(2L, 2R)에 대해 모두 3번 영상을 결정하여 제2 사용자가 2D의 3번 영상을 시청하도록 할 수 있다.
도 14B(f),(g)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 두 눈(1L, 1R) 사이에 존재하는 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정하지만, 제2 사용자의 오른쪽 눈(2R)에는 2번 영상을 결정할 수 없기 때문에 3번 영상을 결정한다. 이때, 제1 사용자의 시청 환경이 보장되어야 하므로, 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격이 최소 분리 가능 간격보다 작다면, 도 14B(f)와 같은 경우에 제2 사용자의 오른쪽 눈(2R)에 크로스토크가 발생할 수 있다.
도 14B(h)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 위치하는 경우가 도시된다. 이 경우에 렌더링 장치는 제2 사용자의 양 눈에 모두 3번 영상을 결정하여 제2 사용자가 2D의 3번 영상을 시청하도록 할 수 있다.
이하의 도 14B(i) 내지 도 14B(k)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 큰 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14B(i)를 참조하면, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격과, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격을 비교하여 제2 사용자의 오른쪽 눈(2R)에 상기 간격이 더 작은 쪽의 영상을 결정할 수 있다. 도 14B(i)에서는 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격보다 더 작다. 따라서, 렌더링 장치는 제1 사용자의 오른쪽 눈(1R)에 결정된 3번 영상을 제2 사용자의 양 눈에 결정하여 제2 사용자가 2D의 3번 영상을 시청하도록 할 수 있다.
도 14B(j)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 양 눈(1L, 1R) 사이에 위치하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R)과의 간격보다 큰 경우가 도시된다. 이 경우에 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에, 제1 사용자의 오른쪽 눈(1R)에 해당하는 3번 영상을 결정하고, 3D 표현을 위해 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14B(k)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 위치하는 경우가 도시된다. 도 14B(k)에서 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격보다 가깝다. 때문에 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 3번 영상을 결정할 수 있다. 만일, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 크다면, 렌더링 장치는 3D 표현을 위해 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정할 수 있다.
도 14B(k)에서는 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작으므로, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 3번 영상을 결정하여, 제2 사용자가 2D의 3번 영상을 시청하도록 할 수 있다.
이하의 도 14C(a) 내지 도 14C(d)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하고, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R)과의 간격보다 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 더 가깝고, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 최소 분리 가능 간격 이상인 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14C(a)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이에 존재하고, 제2 사용자의 왼쪽 눈(2L)과 제2 사용자의 오른쪽 눈(2R) 사이의 간격이 최소 분리 가능 간격 이하인 경우가 도시된다.
이 경우, 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 왼쪽 눈(1L)에 더 가깝기 때문에 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 또한, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)과의 간격이 최소 분리 가능 간격보다 작은 제2 사용자의 오른쪽 눈(2R)에도 같은 2번 영상을 결정할 수 있다. 제2 사용자는 2D 2번 영상을 시청할 수 있다.
도 14C(b)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제1 사용자의 오른쪽 눈(1R) 사이에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 큰 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정하여, 제2 사용자가 2, 3번 페어의 3D 영상을 시청하도록 할 수 있다.
도 14C(c)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에는 2번 영상을 결정할 수 있다. 제2 사용자는 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14C(d)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이 경우 렌더링 장치는 제2 사용자의 양 눈에 2번 영상을 결정할 수 있다. 제2 사용자는 2D의 2번 영상을 시청할 수 있다.
이하의 도 14C(e) 내지 도 14C(j)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하고, 제1 사용자의 왼쪽 눈(1L)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우, 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 14C(e)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이에 있는 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 양 눈에 2번 영상을 결정할 수 있다. 제2 사용자는 2번 2D 영상을 시청할 수 있다.
도 14C(f)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제1 사용자의 오른쪽 눈(1R) 사이에 있으면서 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 더 작은 경우가 도시된다. 이 경우 제2 사용자의 양 눈이 모두 제1 사용자의 왼쪽 눈(1L)과 더 가까우므로 렌더링 장치는 제2 사용자의 양 눈에 2번 영상을 결정할 수 있다. 제2 사용자는 2D의 2번 영상을 시청할 수 있다.
도 14C(g)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 제1 사용자의 오른쪽 눈(1R) 사이에 있고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 더 큰 경우가 도시된다. 이 경우 제2 사용자의 오른쪽 눈(2R)은 제1 사용자의 오른쪽 눈(1R)과 더 가까우므로 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 3번 영상을 결정할 수 있다. 또한, 제2 사용자의 왼쪽 눈(2L)은 제1 사용자의 왼쪽 눈(1L)과 더 가까우므로 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14C(h)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격보다 더 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14C(i)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있고, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L)과의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 더 작으나, 그 간격이 최소 분리 가능 간격보다는 큰 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에는 제1 사용자의 오른쪽 눈(1R)과 같은 3번 영상을, 제2 사용자의 왼쪽 눈(2L)에는 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 제2 사용자는 제1 사용자와 같은 2, 3번 페어의 3D 영상을 시청할 수 있다.
도 14C(j)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이에 있고, 제2 사용자의 오른쪽 눈(2R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 양 눈에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 제2 사용자는 2D의 2번 영상을 시청할 수 있다.
도 15는 다른 실시예에 따른 렌더링 장치가 서브 시점 영역들마다의 영상을 결정하는 과정을 설명하기 위한 도면이다.
도 15를 참조하면, 도 12(c)와 같은 환경에서 렌더링 장치가 사용자들의 눈의 위치에 따라 영상을 결정하는 방법을 설명하기 위한 다양한 경우들이 도시된다.
아래의 도 15(a) 및 도 15(b)에서는 제1 사용자와 제2 사용자의 시청 거리가 유사하여 뷰 콘 내에서 두 시청자의 양 눈 방향 사이의 간격이 비슷할 경우에 발생할수 있는 케이스들을 설명한다.
[시청 거리 유사 케이스]
도 15(a)을 참조하면, 제2 사용자의 오른쪽 눈(2R)이 뷰 콘의 오른쪽 끝에 있으므로, 왼쪽 끝에 있는 제1 사용자의 왼쪽 눈(1L)과 같은 위치에 있다고 할 수 있다. 이 때, 렌더링 장치는 제1 사용자의 양 눈이 2, 3번 영상을 시청하도록 한다. 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다.
그러면 제2 사용자의 왼쪽 눈(2L)에 어떤 영상을 표현할 지가 남게 된다. 이때, 렌더링 장치가 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정하게 되면 제2 사용자는 1, 2번 페어의 3D 영상을 시청할 수 있다. 만일, 렌더링 장치가 제2 사용자의 왼쪽 눈(2L)에 2번 영상을 결정하게 되면, 제2 사용자는 2번 영상을 2D로 시청할 수 있다.
도 15(b)을 참조하면, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격보다 작은 경우가 도시된다. 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 2번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에는 1번 영상을 결정할 수 있다.
도 15(c)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 양 눈 사이에 위치하고 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 오른쪽 눈(1R)보다 왼쪽 눈(1L)에 더 가까운 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정할 수 있다. 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정할 수 있다. 제2 사용자는 1, 2번 페어의 3D 영상을 시청할 수 있다.
[시청 거리 비유사 케이스]
이하의 도 15(d) 내지 도 15(e)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하면서, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 작은 경우, 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 15(d)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)보다 왼쪽에 존재하면서 제1 사용자의 왼쪽 눈(1L)과의 간격이 최소 분리 가능 간격보다 작고, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 작은 경우가 도시된다. 이 경우, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 표현해야 하므로, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정할 수 있다. 이때, 제1 사용자의 시청 환경이 보장되어야 하므로 제2 사용자의 왼쪽 눈(2L)에서는 크로스토크가 발생할 수 있다.
도 15(e)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 왼쪽 눈(1L)보다 오른쪽에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격과 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)과의 간격을 비교해서 제2 사용자의 오른쪽 눈(2R)을 위한 영상을 결정할 수 있다.
이때, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L)사이의 간격이 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격보다 더 작을 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 2번 영상을 결정할 수 있다. 또한, 렌더링 장치는 3D 표현을 위해 제2 사용자의 왼쪽 눈(2L)에는 1번 영상을 결정할 수 있다. 하게 된다. 이 때 제1 사용자의 시청 환경을 보장하기 위해 제2 사용자의 왼쪽 눈(2L)에서는 크로스토크가 발생할 수 있다.
이하의 도 15(f) 내지 도 15(g)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하고, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 최소 분리 가능 간격보다 큰 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 15(f)를 참조하면, 제1 사용자의 오른쪽 눈(1R)과 제2 사용자의 왼쪽 눈(2L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격보다 큰 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정하고, 3D 표현을 위해 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정할 수 있다. 제2 사용자는 1,2번 페어의 3D 영상을 시청할 수 있다.
도 15(g)를 참조하면, 제1 사용자의 양 눈(1L, 1R) 사이에 제2 사용자의 오른쪽 눈(2R)이 위치하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R) 사이의 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에, 제1 사용자의 왼쪽 눈(1L)에 해당하는 2번 영상을 결정하고, 3D 표현을 위해 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정할 수 있다. 제2 사용자는 1,2번 페어의 3D 영상을 시청할 수 있다.
이하의 도 15(h) 내지 도 15(i)에서는 제2 사용자의 왼쪽 눈(2L)이 제1 사용자의 오른쪽 눈(1R)보다 오른쪽에 존재하면서, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 오른쪽 눈(1R)과의 간격보다 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L)과의 간격이 더 가깝고, 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 최소 분리 가능 간격보다 큰 경우에 렌더링 장치가 제2 사용자의 오른쪽 눈(2R)의 위치에 따라 영상을 결정하는 과정을 설명한다.
도 15(h)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제2 사용자의 왼쪽 눈(2L)과 제1 사용자의 왼쪽 눈(1L) 사이에 존재하고, 제2 사용자의 왼쪽 눈(2L)과의 간격이 최소 분리 가능 간격보다 큰 경우가 도시된다. 이 경우, 제2 사용자의 왼쪽 눈(2L)과 오른쪽 눈(2R)에 표현하는 영상이 분리 가능하기 때문에, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에 1번 영상을 결정할 수 있다. 제2 사용자는 1,2번 페어의 3D 영상을 시청할 수 있다.
도 15(i)를 참조하면, 제2 사용자의 오른쪽 눈(2R)이 제1 사용자의 양 눈(1L, 1R) 사이에 존재하고, 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 왼쪽 눈(1L) 사이의 간격이 제2 사용자의 오른쪽 눈(2R)과 제1 사용자의 오른쪽 눈(1R)과의 간격보다 작은 경우가 도시된다. 이 경우, 렌더링 장치는 제2 사용자의 오른쪽 눈(2R)에 제1 사용자의 왼쪽 눈(1L)과 같은 2번 영상을 결정하고, 제2 사용자의 왼쪽 눈(2L)에는 1번 영상을 결정할 수 있다. 제2 사용자는 1,2번 페어의 3D 영상을 시청할 수 있다.
도 16은 일 실시예에 따른 렌더링 장치가 서브 픽셀의 값을 결정하는 과정을 설명하기 위한 도면이다. 도 16을 참조하면, 서브 픽셀(102)의 광선 방향(1610)이 도시된다.
렌더링 장치는 서브 픽셀(102)로부터 나온 양자화된 광선 방향들 중 다 시점 영상을 구성하는 시점들에 대응하는 광선 방향을 서브 픽셀(102)의 광선 방향으로 결정할 수 있다. 렌더링 장치는 서브 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여, 서브 픽셀의 값을 결정할 수 있다.
렌더링 장치는 서브 픽셀(102)의 광선 방향의 범위에 대응되는 복수의 서브 시점 영역들 중 광선 방향(1610)이 속한 서브 시점 영역에 대응되는 콘텐츠를 결정할 수 있다.
예를 들어, 도 16에서는 제2 사용자의 왼쪽 눈(633)으로 향하는 방향(603)이광선 방향의 범위의 경계에 해당하는 방향(1004)와 매우 가깝기 때문에 제1 사용자(510)의 오른쪽 눈(516)에 표현되는 영상과 제2 사용자의 왼쪽 눈(633)에 표현되는 영상이 다를 경우에 제2 사용자의 왼쪽 눈(633)에 크로스토크를 발생시킬 가능성이 높다.
만약, 제1 사용자(510)의 오른쪽 눈(516)과 제2 사용자의 왼쪽 눈(633)에 같은 영상을 제공하는 동시에, 제2 사용자의 왼쪽 눈(633)과 오른쪽 눈(636)에 적절한 스테레오 영상을 제공할 수 있다면, 렌더링 장치는 제2 사용자(630)에게 결함(artifact)이 적은 영상을 제공할 수 있다. 따라서, 렌더링 장치는 제1 사용자(510)의 오른쪽 눈(516)과 제2 사용자의 왼쪽 눈(633)이 같은 영상을 볼 수 있도록 콘텐츠를 설정할 수 있다.
사용자들의 양 눈에 대한 광선 방향의 범위와 양 눈에서 표현할 콘텐츠가 결정되면, 렌더링 장치는 최종적으로 서브 픽셀(102)에서 나온 빛(1610)가 어느 눈을 위한 영상을 표현할지를 결정할 수 있다.
이는 앞서 결정된 광선 방향의 범위들 중 광선 방향(1610)을 포함하는 서브 시점 영역을 선택함으로써 결정될 수 있다. 도 16에서 광선 방향(1610)은 제2 사용자(630)의 오른쪽 눈(636)을 위한 광선 방향의 범위에 속해있으므로, 서브 픽셀(102)은 제2 사용자(630)의 오른쪽 눈(636)에 보일 영상을 표현하도록 결정할 수 있다.
이 과정에서 서브 픽셀(102)로부터 나온 광선이 속한 광선 방향이 결정될 경우, 렌더링 장치는 컨텐츠 결정 과정에서 광선 방향에 속한 사용자의 눈에 대해서만 콘텐츠 결정을 수행할 수 있다.
렌더링 장치는 위와 같은 과정을 패널(101)에 속한 모든 서브 픽셀들에 대하여 수행하여 제1 사용자(510)에게 우선적으로 3D 영상을 제공하고, 제2 사용자(630)에게도 최대한 원활하게 3D 영상을 제공할 수 있도록 한다.
도 17은 다른 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도이다. 도 17을 참조하면, 일 실시예에 따른 렌더링 장치는 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑한다(1710). 여기서, '양 눈의 위치를 픽셀에 대응하는 시점 영역으로 매핑한다'는 것은 사용자의 양 눈의 위치를, 처리하고자 하는 어느 하나의 픽셀을 기준으로 하는 하나의 뷰콘에 해당하는 시점 영역으로 매핑한다는 의미로 이해될 수 있다. 또한, 서브 픽셀 단위로 렌더링이 수행되는 경우, 도 17에 기술된 '픽셀'은 서브 픽셀로 이해될 수 있다.
렌더링 장치는 단계(1710)에서 매핑된 제1 사용자의 양 눈의 위치 및 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 시점 영역을 복수의 서브 시점 영역들로 분할할 수 있다(1720). 렌더링 장치는 복수의 서브 시점 영역들 중 제1 사용자를 위한 제1 서브 시점 영역의 콘텐츠를 결정할 수 있다(1730).
렌더링 장치는 제1 서브 시점 영역의 콘텐츠에 기초하여, 복수의 서브 시점 영역들 중 제2 사용자를 위한 제2 서브 시점 영역의 콘텐츠를 결정할 수 있다(1740). 렌더링 장치는 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여, 픽셀의 값을 결정할 수 있다(1750).
도 18은 다른 실시예에 따른 라이트 필드 렌더링 방법을 나타낸 흐름도이다. 도 18을 참조하면, 일 실시예에 따른 렌더링 장치는 제1 사용자의 양 눈의 위치에 기초하여, 제1 사용자가 스테레오 영상을 시청하도록 제1 픽셀들의 값을 결정한다(1810).
렌더링 장치는 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치 사이의 상관 관계에 기초하여, 제2 사용자가 스테레오 영상과 관련된 영상을 시청하도록 제1 픽셀들 이외의 제2 픽셀들의 값을 결정한다(1820). 이때, 상관 관계는 예를 들어, 제1 사용자의 양 눈의 위치와 제2 사용자의 양 눈의 위치가 미리 정해진 시점 영역으로 매핑되는 경우, 매핑된 위치들이 배치되는 순서 및 매핑된 위치들 사이의 거리들 등을 포함할 수 있다.
일 예로, 스테레오 영상과 관련된 영상은 스테레오 영상일 수 있다. 이 경우, 제2 사용자는 제1 사용자가 시청하는 스테레오 영상과 동일한 스테레오 영상을 시청할 수 있다. 다른 예로, 스테레오 영상과 관련된 영상은 스테레오 영상의 왼쪽 영상일 수 있다. 이 경우, 제2 사용자는 제1 사용자가 시청하는 스테레오 영상의 왼쪽 영상에 해당하는 모노 영상을 시청할 수 있다. 또 다른 예로, 스테레오 영상과 관련된 영상은 스테레오 영상의 오른쪽 영상일 수 있다. 이 경우, 제2 사용자는 제1 사용자가 시청하는 스테레오 영상의 오른쪽 영상에 해당하는 모노 영상을 시청할 수 있다.
또 다른 예로, 스테레오 영상과 관련된 영상은 스테레오 영상보다 왼쪽 시점의 스테레오 영상일 수 있다. 이 경우, 제2 사용자의 오른쪽 눈에는 제1 사용자가 시청하는 스테레오 영상의 왼쪽 영상이 재생되고, 제2 사용자의 왼쪽 눈에는 제1 사용자가 시청하는 스테레오 영상의 왼쪽 영상보다 더 왼쪽 시점의 영상이 재생될 수 있다. 또 다른 예로, 스테레오 영상과 관련된 영상은 스테레오 영상보다 오른쪽 시점의 스테레오 영상일 수 있다. 이 경우, 제2 사용자의 왼쪽 눈에는 제1 사용자가 시청하는 스테레오 영상의 오른쪽 영상이 재생되고, 제2 사용자의 오른쪽 눈에는 제1 사용자가 시청하는 스테레오 영상의 오른쪽 영상보다 더 오른쪽 시점의 영상이 재생될 수 있다.
단계(1820)에서, 렌더링 장치는 예를 들어, 제2 사용자의 양 눈의 위치 중 적어도 하나에서 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록, 제2 픽셀들의 값을 결정할 수 있다. 실시예들은 라이트 필드 렌더링 장치에서 복수의 사용자들의 양 눈의 위치에 맞게 영상을 표현하는 렌더링 알고리즘을 제공할 수 있다.
서브 픽셀 단위로 렌더링이 수행되는 경우, 도 18에 기술된 '픽셀'은 서브 픽셀로 이해될 수 있다.
도 19는 일 실시예에 따른 라이트 필드 렌더링 장치의 광학 레이어가 디스플레이 후면에 위치하는 경우를 나타낸 도면이다.
도 19를 참조하면, 광학 레이어인 패럴랙스 배리어(Parallax Barrier)(1910)가 투과형 패널(1930)의 후면에 위치하는 라이트 필드 렌더링 장치가 도시된다. 투과형 패널(1930)에 대한 후면 패럴랙스 배리어(1910)는 도 1의 패널(101)에 대한 광학 레이어(103)와 유사하게, 광학 레이어의 유닛 위치(1911)과 패널의 서브 픽셀(1931)의 위치 관계를 이용하여 패널의 서브 픽셀(1931)로부터 나오는 빛의 방향을 제한할 수 있다.
이 경우, 렌더링 장치는 패럴랙스 배리어(1910)에 포함된 어느 하나의 서브 픽셀(1911)의 광선 방향과 대응되는 패널(1930)의 서브 픽셀(1931)을 통과하는 광선 방향(1950)이 속한 서브 시점 영역에 대응되는 콘텐츠를 사용자들의 양 눈 중 어느 하나에 대응되도록 결정할 수 있다.
도 20은 일 실시예에 따른 렌더링 장치의 블록도이다.
도 20을 참조하면, 일 실시예에 따른 렌더링 장치(2000)는 프로세서(2010) 및 센서(2020)를 포함한다. 프로세서(2010) 및 센서(2020)는 버스(2040)를 통해 서로 통신할 수 있다.
센서(2020)는 제1 사용자 및 제2 사용자를 촬영한다. 센서(2020)는 예를 들어, 이미지 센서일 수 있다. 프로세서(2010)는 제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 서브 픽셀에 대응하는 시점 영역으로 매핑하고, 매핑된 제1 사용자의 양 눈의 위치 및 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 서브 픽셀의 값을 결정한다.
프로세서(2010)는 도 1 내지 도 19를 통하여 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 도면에 도시하지 않았으나, 렌더링 장치(2000)는 메모리를 더 포함할 수 있다. 메모리는 프로세서(2010)에서 결정된 서브 픽셀의 값을 저장할 수 있다. 메모리는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.
프로세서(2010)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 프로세서(2010)에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다. 렌더링 장치(2000)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 렌더링 장치(2000)는 텔레비전, 스마트 텔레비전 등 다양한 전자 시스템들을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (27)

  1. 광학 원소들을 갖는 광학 레이어 및 픽셀들을 포함하는 디스플레이의 복수의 사용자를 위한 렌더링 방법에 있어서,
    제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 추적하는 단계- 상기 제1 사용자 및 상기 제2 사용자는 서로 다른 뷰 콘들을 통해 상기 디스플레이의 각 픽셀을 바라봄-;
    상기 제1 사용자 및 상기 제2 사용자 간의 우선 순서를 결정하는 단계;
    상기 픽셀과 상기 광학 레이어에 속한 상기 광학 원소들 사이의 상대적인 위치에 기초하여, 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 상기 뷰 콘들 중 어느 하나의 뷰 콘에 매핑하는 단계- 상기 매핑은 복수의 픽셀들 각각으로부터 상기 뷰 콘들을 생성하도록 구성되는 각각의 광학 원소를 통해 각 눈에서 보여지는 광선이 상기 어느 하나의 뷰 콘에 대응하는 광학 원소를 통해 픽셀로 관찰되도록 함 -; 및
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 뷰 콘들에 투사될 상기 픽셀의 값을 결정하는 단계
    를 포함하고,
    상기 픽셀의 값을 결정하는 단계는
    상기 어느 하나의 뷰 콘 내에서 상기 픽셀의 광선 방향을 결정하는 단계; 및
    상기 제2 사용자의 양 눈의 맵핑된 위치에 대응하는 상기 제1 사용자의 양 눈의 맵핑된 위치에 해당하는 픽셀의 광선 방향에 응답하여, 가장 높은 우선 순위를 갖는 사용자의 양 눈에 대한 스테레오 영상에 해당하는 뷰 영상을 표시하기 위해 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 제1 사용자에 대응하는 경우, 상기 제1 사용자의 양 눈의 위치에서 스테레오 영상이 재생되도록 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 제2 사용자에 대응하는 경우, 상기 제2 사용자의 양 눈 중 적어도 한 눈의 위치에서 상기 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  5. 제4항에 있어서,
    상기 광선 방향은
    상기 픽셀 및 광학 레이어에 포함된 광학 원소를 통하여 전파(propagation)되는 광선 방향을 포함하는, 렌더링 방법.
  6. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 매핑된 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  7. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  8. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 왼쪽 영상보다 더 왼쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  9. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  10. 제1항에 있어서,
    상기 결정하는 단계는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는 단계; 및
    상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 오른쪽 영상 또는 상기 오른쪽 영상보다 더 오른쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  11. 제1항에 있어서,
    상기 결정하는 단계는
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치가 상기 뷰 콘들 내에서 배치되는 순서, 및 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치 사이의 거리들 중 적어도 하나에 기초하여, 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  12. 제1항에 있어서,
    상기 결정하는 단계는
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 뷰 콘들을 복수의 서브 시점 영역들로 분할하는 단계; 및
    상기 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여, 상기 픽셀의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  13. 제12항에 있어서,
    상기 결정하는 단계는
    상기 복수의 서브 시점 영역들 중 상기 제1 사용자를 위한 제1 서브 시점 영역의 콘텐츠를 결정하는 단계; 및
    상기 제1 서브 시점 영역의 콘텐츠에 기초하여, 상기 복수의 서브 시점 영역들 중 상기 제2 사용자를 위한 제2 서브 시점 영역의 콘텐츠를 결정하는 단계
    를 더 포함하는, 렌더링 방법.
  14. 광학 원소들을 갖는 광학 레이어 및 픽셀들을 포함하는 디스플레이의 복수의 사용자를 위한 렌더링 방법에 있어서,
    제1 사용자의 양 눈의 위치 및 제2 사용자의 양 눈의 위치를 추적하는 단계- 상기 제1 사용자 및 상기 제2 사용자는 서로 다른 뷰 콘들을 통해 상기 디스플레이의 각 픽셀을 바라봄-;
    상기 픽셀과 상기 광학 레이어에 속한 상기 광학 원소들 사이의 상대적인 위치에 기초하여, 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 상기 뷰 콘들 중 어느 하나의 뷰 콘에 매핑하는 단계- 상기 매핑은 복수의 픽셀들 각각으로부터 상기 뷰 콘들을 생성하도록 구성되는 각각의 광학 요소를 통해 각 눈에서 보여지는 광선이 상기 어느 하나의 뷰 콘에 대응하는 광학 요소를 통해 픽셀로 관찰되도록 함 -;
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치를 기초로, 상기 제2 사용자의 양 눈의 맵핑된 위치에 대응하는 상기 제1 사용자의 양 눈의 맵핑된 위치에 해당하는 픽셀의 광선 방향에 응답하여, 제1 사용자의 양 눈의 위치에서 스테레오 영상에 해당하는 뷰 영상이 재생되도록 제1 픽셀들의 값을 결정하는 단계; 및
    영상 분리를 위해 미리 정해진 거리에서 상기 제2 사용자의 양 눈의 매핑된 위치에 인접한 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치 사이의 상관 관계에 기초하여, 상기 제2 사용자의 양 눈의 위치에서 상기 스테레오 영상과 관련된 영상이 재생되도록 상기 제1 픽셀들 이외의 제2 픽셀들의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  15. 제14항에 있어서,
    상기 스테레오 영상과 관련된 영상은
    상기 스테레오 영상;
    상기 스테레오 영상의 왼쪽 영상;
    상기 스테레오 영상의 오른쪽 영상;
    상기 스테레오 영상보다 왼쪽 시점의 스테레오 영상; 및
    상기 스테레오 영상보다 오른쪽 시점의 스테레오 영상
    중 적어도 하나를 포함하는, 렌더링 방법.
  16. 제14항에 있어서,
    상기 제2 픽셀들의 값을 결정하는 단계는
    상기 제2 사용자의 양 눈의 위치 중 적어도 하나에서 상기 스테레오 영상의 왼쪽 영상 또는 오른쪽 영상이 재생되도록, 상기 제2 픽셀들의 값을 결정하는 단계
    를 포함하는, 렌더링 방법.
  17. 제14항에 있어서,
    상기 상관 관계는
    상기 제1 사용자의 양 눈의 위치와 상기 제2 사용자의 양 눈의 위치가 미리 정해진 뷰 콘들로 매핑되는 경우, 상기 매핑된 위치들이 배치되는 순서 및 상기 매핑된 위치들 사이의 거리들 중 적어도 하나를 포함하는, 렌더링 방법.
  18. 하드웨어와 결합되어 제1항, 제4항 내지 제17항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  19. 광학 원소들을 갖는 광학 레이어 및 픽셀들을 포함하는 디스플레이의 복수의 사용자를 위한 렌더링 장치에 있어서,
    제1 사용자 및 제2 사용자를 촬영하는 센서; 및
    상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 추적하고- 상기 제1 사용자 및 상기 제2 사용자는 서로 다른 뷰 콘들을 통해 상기 디스플레이의 각 픽셀을 바라봄-, 상기 제1 사용자 및 상기 제2 사용자 간의 우선 순서를 결정하고, 상기 픽셀과 상기 광학 레이어에 속한 상기 광학 원소들 사이의 상대적인 위치에 기초하여, 상기 제1 사용자의 양 눈의 위치 및 상기 제2 사용자의 양 눈의 위치를 상기 뷰 콘들 중 어느 하나의 뷰 콘에 매핑- 상기 매핑은 복수의 픽셀들 각각으로부터 상기 뷰 콘들을 생성하도록 구성되는 각각의 광학 원소를 통해 각 눈에서 보여지는 광선이 상기 어느 하나의 뷰 콘에 대응하는 광학 원소를 통해 픽셀로 관찰되도록 함 -하고, 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여, 상기 뷰 콘들에 투사될 상기 픽셀의 값을 결정하는 프로세서
    를 포함하고,
    상기 프로세서는
    상기 어느 하나의 뷰 콘 내에서 상기 픽셀의 광선 방향을 결정하고,
    상기 제2 사용자의 양 눈의 맵핑된 위치에 대응하는 상기 제1 사용자의 양 눈의 맵핑된 위치에 해당하는 픽셀의 광선 방향에 응답하여, 가장 높은 우선 순위를 갖는 사용자의 양 눈에 대한 스테레오 영상에 해당하는 뷰 영상을 표시하기 위해 상기 픽셀의 값을 결정하는, 렌더링 장치.
  20. 제19항에 있어서,
    상기 프로세서는
    상기 픽셀의 광선 방향이 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고,
    상기 광선 방향이 상기 매핑된 사용자의 오른쪽 눈의 위치에 대응하는 경우 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  21. 제19항에 있어서,
    상기 프로세서는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고,
    상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  22. 제19항에 있어서,
    상기 프로세서는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 왼쪽 영상보다 더 왼쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하고,
    상기 광선 방향이 상기 매핑된 제2 사용자의 왼쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  23. 제19항에 있어서,
    상기 프로세서는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상에 기초하여 상기 픽셀의 값을 결정하고,
    상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 오른쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  24. 제19항에 있어서,
    상기 프로세서는
    상기 픽셀의 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 왼쪽 눈의 위치에 대응하는 경우, 상기 제1 사용자를 위한 스테레오 영상의 왼쪽 영상 또는 상기 스테레오 영상의 오른쪽 영상에 기초하여 상기 픽셀의 값을 결정하고,
    상기 광선 방향이 상기 매핑된 제2 사용자의 오른쪽 눈의 위치에 대응하고, 상기 매핑된 제2 사용자의 왼쪽 눈의 위치가 상기 매핑된 제1 사용자의 오른쪽 눈의 위치에 대응하는 경우, 상기 오른쪽 영상 또는 상기 오른쪽 영상보다 더 오른쪽 시점의 영상에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  25. 제19항에 있어서,
    상기 프로세서는
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치가 상기 뷰 콘들 내에서 배치되는 순서, 및 상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치 사이의 거리들 중 적어도 하나에 기초하여, 상기 픽셀의 값을 결정하는, 렌더링 장치.
  26. 제19항에 있어서,
    상기 프로세서는
    상기 매핑된 제1 사용자의 양 눈의 위치 및 상기 매핑된 제2 사용자의 양 눈의 위치에 기초하여 상기 뷰 콘들을 복수의 서브 시점 영역들로 분할하고, 상기 픽셀의 광선 방향에 대응하는 서브 시점 영역의 콘텐츠에 기초하여 상기 픽셀의 값을 결정하는, 렌더링 장치.
  27. 제26항에 있어서,
    상기 프로세서는
    상기 복수의 서브 시점 영역들 중 상기 제1 사용자를 위한 제1 서브 시점 영역의 콘텐츠를 결정하고, 상기 제1 서브 시점 영역의 콘텐츠에 기초하여 상기 복수의 서브 시점 영역들 중 상기 제2 사용자를 위한 제2 서브 시점 영역의 콘텐츠를 결정하는, 렌더링 장치.
KR1020150111746A 2015-08-07 2015-08-07 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 KR102415502B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150111746A KR102415502B1 (ko) 2015-08-07 2015-08-07 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US15/041,584 US10397541B2 (en) 2015-08-07 2016-02-11 Method and apparatus of light field rendering for plurality of users
EP16166077.4A EP3128752B1 (en) 2015-08-07 2016-04-19 Method and apparatus of light field rendering for plurality of users
CN201610305593.1A CN106454307B (zh) 2015-08-07 2016-05-10 针对多个用户的光场渲染的方法和设备
JP2016154404A JP6886253B2 (ja) 2015-08-07 2016-08-05 複数のユーザのためのレンダリング方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150111746A KR102415502B1 (ko) 2015-08-07 2015-08-07 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170017587A KR20170017587A (ko) 2017-02-15
KR102415502B1 true KR102415502B1 (ko) 2022-07-01

Family

ID=55967014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111746A KR102415502B1 (ko) 2015-08-07 2015-08-07 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치

Country Status (5)

Country Link
US (1) US10397541B2 (ko)
EP (1) EP3128752B1 (ko)
JP (1) JP6886253B2 (ko)
KR (1) KR102415502B1 (ko)
CN (1) CN106454307B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594839B1 (ko) * 2014-09-12 2016-02-17 고려대학교 산학협력단 전두엽 활성 게임 제공 방법 및 장치
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10521952B2 (en) 2016-04-12 2019-12-31 Quidient, Llc Quotidian scene reconstruction engine
JP7099444B2 (ja) * 2017-04-03 2022-07-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018185437A (ja) * 2017-04-26 2018-11-22 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイシステム、および移動体
US20190124313A1 (en) * 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US10298921B1 (en) 2018-02-27 2019-05-21 Looking Glass Factory, Inc. Superstereoscopic display with enhanced off-angle separation
US11875476B2 (en) 2018-05-02 2024-01-16 Quidient, Llc Codec for processing scenes of almost unlimited detail
CN108848359B (zh) * 2018-06-19 2021-09-10 明基智能科技（上海）有限公司 影像显示系统及影像显示方法
US11924400B2 (en) * 2018-06-26 2024-03-05 Kyocera Corporation Three-dimensional display device, control controller, three-dimensional display method, three-dimensional display system, and moving body
US11375177B2 (en) * 2018-10-30 2022-06-28 Boe Technology Group Co., Ltd. Method, apparatus, device for light-field display, and recording medium
CN112929644A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN112929636A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
WO2021237065A1 (en) * 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
CN111624784B (zh) * 2020-06-23 2022-10-18 京东方科技集团股份有限公司 一种光场显示装置
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
CN112801921B (zh) * 2021-03-30 2022-05-03 深圳市立体通科技有限公司 3d图像处理优化方法、装置、存储介质和电子设备
CN113093402B (zh) * 2021-04-16 2022-12-02 业成科技（成都）有限公司 立体显示器及其制造方法与立体显示系统
WO2023199765A1 (ja) * 2022-04-12 2023-10-19 公立大学法人大阪 立体表示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044330A1 (en) * 2010-04-21 2012-02-23 Tatsumi Watanabe Stereoscopic video display apparatus and stereoscopic video display method

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01317091A (ja) * 1988-06-17 1989-12-21 Nippon Hoso Kyokai <Nhk> 多方向立体映像装置
JPH0389794A (ja) * 1989-09-01 1991-04-15 Nippon Telegr & Teleph Corp <Ntt> 多人数用三次元表示方式
JPH0583746A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> ３次元表示装置
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
JPH06148763A (ja) 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
DE4312918A1 (de) 1993-04-14 1994-10-20 Hertz Inst Heinrich Wiedergabeeinrichtung
GB2296617A (en) 1994-12-29 1996-07-03 Sharp Kk Observer tracking autosteroscopic display
FI974321A0 (fi) * 1997-11-25 1997-11-25 Jenny Ja Antti Wihurin Rahasto Multipel heparinglykosaminoglykan och en proteoglykan innehaollande dessa
JP2001145129A (ja) * 1999-11-17 2001-05-25 Mixed Reality Systems Laboratory Inc 立体画像表示装置
CN1476730A (zh) * 2001-07-27 2004-02-18 皇家菲利浦电子有限公司 具有观看者跟踪系统的自动立体图像显示装置
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
US20070247590A1 (en) * 2004-08-10 2007-10-25 Seereal Technologies Gmbh Autostereoscopic Multi-User Display with Directed Illumination
JP5006587B2 (ja) * 2006-07-05 2012-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像提示装置および画像提示方法
DE102007055026B4 (de) * 2007-11-15 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum autostereoskopischen Darstellen von Bildinformationen
US20090282429A1 (en) 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
KR101502603B1 (ko) 2008-09-22 2015-03-13 삼성전자주식회사 입체 영상 표시 장치 및 그 방법
TWI387316B (zh) * 2008-11-18 2013-02-21 Ind Tech Res Inst 立體影像顯示裝置與立體影像顯示方法
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
EP2497274B1 (en) * 2009-11-03 2019-10-23 Koninklijke Philips N.V. Autostereoscopic display device
KR101629479B1 (ko) 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
EP2508005B1 (en) 2009-11-30 2015-05-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for displaying image information and autostereoscopic screen
US8358335B2 (en) * 2009-11-30 2013-01-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method for displaying image information and autostereoscopic screen
US8704877B2 (en) * 2010-02-01 2014-04-22 Eldon Technology Limited Systems and methods for presenting three-dimensional content using apertures
US8633972B2 (en) * 2010-03-03 2014-01-21 Fraunhofer-Geselschaft zur Foerderung der angewandten Forschung e.V. Method for displaying image information and autostereoscopic screen
US8687051B2 (en) * 2010-03-03 2014-04-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Screen and method for representing picture information
JP5462672B2 (ja) * 2010-03-16 2014-04-02 株式会社ジャパンディスプレイ 表示装置及び電子機器
US9319663B2 (en) * 2010-05-21 2016-04-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Image display using matrix screen and periodic grating having a fixed period
US20110310003A1 (en) * 2010-05-21 2011-12-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Image display device and method of displaying images
JP5494284B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5364666B2 (ja) * 2010-09-13 2013-12-11 株式会社東芝 立体画像表示装置、方法およびプログラム
RU2012104001A (ru) * 2010-11-22 2014-12-27 Кабусики Кайся Тосиба Устройство и способ отображения стереоскопических изображений
US9291828B2 (en) * 2010-12-22 2016-03-22 Seereal Technologies S.A. Combined light modulation device for tracking users
JP5732888B2 (ja) * 2011-02-14 2015-06-10 ソニー株式会社 表示装置及び表示方法
JP2012222386A (ja) * 2011-04-04 2012-11-12 Sony Corp 表示制御装置および方法、並びにプログラム
JP2012222549A (ja) * 2011-04-07 2012-11-12 Panasonic Corp 映像表示装置および映像表示方法
JP2013005135A (ja) * 2011-06-15 2013-01-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP5134714B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置
JP5032694B1 (ja) * 2011-08-31 2012-09-26 株式会社東芝 映像処理装置および映像処理方法
JP5132804B1 (ja) * 2011-08-31 2013-01-30 株式会社東芝 映像処理装置および映像処理方法
JP5127967B1 (ja) * 2011-08-31 2013-01-23 株式会社東芝 映像処理装置および映像処理方法
JP5050120B1 (ja) * 2011-08-31 2012-10-17 株式会社東芝 立体画像表示装置
JP5100875B1 (ja) 2011-08-31 2012-12-19 株式会社東芝 視域調整装置、映像処理装置および視域調整方法
EP2587814A1 (en) * 2011-10-25 2013-05-01 Telefonaktiebolaget L M Ericsson AB (Publ) Depth adaptation for multi-view system
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
WO2013094192A1 (ja) * 2011-12-19 2013-06-27 パナソニック株式会社 表示装置
KR101322910B1 (ko) 2011-12-23 2013-10-29 한국과학기술연구원 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
JP2013138272A (ja) * 2011-12-27 2013-07-11 Toshiba Corp 表示装置及び制御方法
JP5422684B2 (ja) 2012-02-10 2014-02-19 株式会社東芝 立体画像決定装置、立体画像決定方法、および立体画像表示装置
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
CA2867221A1 (en) * 2012-03-15 2013-09-19 Collin Rickey Morris Multi-conduit coiled tubing assembly
KR101911250B1 (ko) * 2012-03-19 2018-10-24 엘지전자 주식회사 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
CN104185987B (zh) * 2012-03-27 2017-03-08 皇家飞利浦有限公司 具有位置追踪的多用户自动立体显示
KR101924058B1 (ko) * 2012-04-03 2018-11-30 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101958447B1 (ko) * 2012-05-16 2019-03-15 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법
WO2013183109A1 (ja) * 2012-06-04 2013-12-12 株式会社Pfu 情報処理装置、方法およびプログラム
WO2014027218A1 (en) * 2012-08-14 2014-02-20 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A sighting device
JP2013055665A (ja) 2012-09-18 2013-03-21 Toshiba Corp 視域調整装置、映像処理装置および視域調整方法
EP2720464B1 (en) * 2012-10-11 2018-01-10 Sony Mobile Communications Inc. Generating image information
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
EP2949121B1 (en) * 2013-02-06 2020-07-15 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
WO2014136144A1 (ja) * 2013-03-07 2014-09-12 パナソニック株式会社 映像表示装置および映像表示方法
JP6238532B2 (ja) * 2013-03-11 2017-11-29 キヤノン株式会社 画像表示装置及び画像表示方法
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015046693A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP2015046694A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015046695A (ja) * 2013-08-27 2015-03-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
KR102140080B1 (ko) * 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR20150057064A (ko) * 2013-11-18 2015-05-28 엘지전자 주식회사 전자 다바이스 및 그 제어방법
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
WO2015152776A1 (en) * 2014-04-02 2015-10-08 Telefonaktiebolaget L M Ericsson (Publ) Multi-view display control
CN104010179B (zh) * 2014-06-12 2015-03-04 山东大学 基于立体多画的多用户聚类与视点计算系统及方法
TWI556624B (zh) * 2014-07-18 2016-11-01 友達光電股份有限公司 影像顯示方法以及影像顯示裝置
CN104155824B (zh) * 2014-08-08 2018-03-30 京东方科技集团股份有限公司 一种主动式光栅、裸眼3d显示装置及显示方法
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044330A1 (en) * 2010-04-21 2012-02-23 Tatsumi Watanabe Stereoscopic video display apparatus and stereoscopic video display method

Also Published As

Publication number Publication date
EP3128752B1 (en) 2019-06-12
JP6886253B2 (ja) 2021-06-16
JP2017038367A (ja) 2017-02-16
CN106454307A (zh) 2017-02-22
KR20170017587A (ko) 2017-02-15
EP3128752A1 (en) 2017-02-08
US10397541B2 (en) 2019-08-27
CN106454307B (zh) 2020-12-08
US20170041596A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
US8294754B2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102240568B1 (ko) 영상 처리 방법 및 장치
US9049435B2 (en) Image providing apparatus and image providing method based on user&#39;s location
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN108769664B (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备及介质
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
JP6462293B2 (ja) 多視点映像を提供するディスプレイ装置及び方法
KR20140089860A (ko) 디스플레이 장치 및 그 디스플레이 방법
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JPWO2013132601A1 (ja) 立体画像表示装置及びプログラム
KR102240564B1 (ko) 영상 렌더링 장치 및 방법
US20170116777A1 (en) Image processing method and apparatus
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102279816B1 (ko) 무안경 입체영상표시장치
JP6947753B2 (ja) ディスプレイデバイス及び表示方法
US20150234196A1 (en) Image display apparatus, lenticular lens, and image display method
KR20220030016A (ko) 디스플레이 장치 및 디스플레이 장치의 동작 방법
US9547933B2 (en) Display apparatus and display method thereof
KR20150041225A (ko) 영상 처리 방법 및 장치
KR20150035668A (ko) 디스플레이 장치 및 디스플레이 장치 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant