KR20110102365A - 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템 - Google Patents

3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템 Download PDF

Info

Publication number
KR20110102365A
KR20110102365A KR1020117014580A KR20117014580A KR20110102365A KR 20110102365 A KR20110102365 A KR 20110102365A KR 1020117014580 A KR1020117014580 A KR 1020117014580A KR 20117014580 A KR20117014580 A KR 20117014580A KR 20110102365 A KR20110102365 A KR 20110102365A
Authority
KR
South Korea
Prior art keywords
user
content
dimensional
dimensional content
display
Prior art date
Application number
KR1020117014580A
Other languages
English (en)
Inventor
스테판 마르티
프란시스코 이마이
김성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20110102365A publication Critical patent/KR20110102365A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

3차원 컨텐츠 표시 및 사용자에게 이머시브에서 상기 컨텐츠와 상호 작용이 가능하도록 하는 시스템은 현실적인 환경에서 만들어진다. 상기 시스템은 비평면이고, 이머시브 사용자 환경을 생성하는 하나의 인자(factor)로, 확장된 시야를 상기 사용자에게 제공하는 표시 컴포넌트를 포함한다. 상기 시스템은 사용자 얼굴을 추적하는 트랙킹 센서 컴포넌트를 포함한다. 상기 트랙킹 센서 컴포넌트는 하나 이상의 3차원 카메라와 2차원 카메라를 포함할 수 있다. 게다가, 상기 트랙킹 센서 컴포넌트는 상기 얼굴이나 머리를 추적하고, 또 다른 신체 부위를 추적할 수 있는데, 예컨대 손과 팔이다. 영상 시각 조정 모듈은 상기 추적된 얼굴로부터 데이터를 처리하고, 상기 사용자가 운동 시차로 상기 3차원 컨텐츠를 감지하도록 한다. 상기 손과 다른 신체 부위 출력 데이터는 상기 사용자의 손과 3차원 컨텐츠 간의 충돌을 검출하는 제스처 검출 모듈에 의해 사용된다. 충돌을 검출하는 것은 상기 사용자에게 3차원 객체와의 연결을 나타내는 촉각 피드백일 수 있다. 상기 모든 컴포넌트들은 이머시브를 생성하고, 현실적인 환경을 보여주며, 3차원 컨텐츠와 상호 작용하는 방향으로 기여한다.

Description

3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템{IMMERSIVE DISPLAY SYSTEM FOR INTERACTING WITH THREE-DIMENSIONAL CONTENT}
본 발명은 일반적으로 시스템 및 3차원 컨텐츠와 상호 작용하기 위한 사용자 인터페이스와 연관된다. 더욱 구체적으로, 본 발명은 3차원 컨텐츠와 연관된 인간-컴퓨터 상호 작용을 위한 시스템과 연관된다.
인터넷과 다른 상황(contexts), 예컨대 비디오 게임과 의학 영상, 에서 이용 가능한 3차원 컨텐츠(content)의 양은 급속하게 증가하고 있다. 소비자는 다양한 상황, 예컨대, 영화, 게임, 및 온라인 가상 도시, 에서 '3차원'에 대해 들어서 점점 익숙해지고 있다. 현재 시스템, 예컨대 컴퓨터를 포함할 수 있는, 그러나 더욱 일반적인, 컨텐츠 표시 시스템은 이머시브(immersive) 사용자 경험을 제공하지 않음으로 인해 3차원 컨텐츠의 장점을 가져가는데 부족함이 있다. 예를 들어, 상기 컨텐츠 표시 시스템은 3차원 객체와 상호 작용하는 직관력(intuitive), 자연스러움 및 방해되지 않음(unintrusive)을 제공하지 않는다. 3차원 컨텐츠는 의학 영상(예, MRI 검사), 온라인 가상 세계(예, 제2 도시), 모델링과 프로토타이핑(prototyping), 비디오 게임, 정보 시각화(visualization), 구조, 텔레-이머전(tele-immersion)과 합동(collaboration), 지리 정보 시스템(예, 구글 지구) 및 다른 필드에서 찾을 수 있다.
3차원 컨텐츠를 다루는 장점과 경험은 현재 2차원 표시 시스템에서 충분히 실현되지 못하고 있다. 3차원 컨텐츠와의 상호 작용을 제공할 수 있는 현재 표시 시스템은 사용자에게 자연스럽지 못한(unnatural) 경험을 하도록 만드는 불편하거나, 거슬리는(intrusive) 주변장치(peripherals)를 요구한다. 예를 들어, 촉각 피드백을 제공하는 몇몇의 현재 방법은 진동 촉각 장갑을 요구한다. 다른 예로, 현재 3차원 컨텐츠 렌더링 방법은 입체(stereoscopic) 표시장치(displays)(사용자에게 특별한 안경을 착용하도록 요구되는), 자동 입체 표시장치(일반적인 부작용인 눈의 피로와 두통을 야기하는 렌티큘러(lenticular) 렌즈 또는 시차 장벽(parallax barrier)에 기초한), 머리 장착 표시장치(무거운 머리 장치(head gear) 또는 고글(goggles)이 요구되는), 및 용적 측정(volumetric) 표시장치, 예컨대, 진동 거울 또는 스크린(3차원 컨텐츠의 조작을 맨손으로 직접하는 것을 허용하지 않는)을 포함한다.
몇몇 현재 표시 시스템은 시야를 제한하는 단일 평면을 이용한다. 다른 시스템은 직관적으로 가상 객체를 맨손으로 조작하는 상호 작용을 제공하지 않는다. 결과적으로, 현재 시스템은 촉각(haptic) 피드백이 아니기 때문에, 상기 사용자 경험에서 닫힌 상호 작용 루프를 제공하지 않는다. 이는, 상기 사용자가, 예를 들어, 온라인 가상 세계에서, 상기 3차원 객체를 감지하는 것을 막는다. 현재 시스템은 오직 전통적으로 사용되거나, 손과 얼굴을 추적하는 2차원 카메라에서 사용될 수 있다.
일실시예로, 3차원(3-D) 컨텐츠(content)를 표시하고 상호 작용하는 시스템이 설명된다. 상기 시스템은 전산(computing) 또는 비전산(non-computing) 시스템일 수 있고, 비평면(non-planar) 표시 컴포넌트를 포함한다. 상기 컴포넌트는 비평면 표시를 평가하는 방식(manner)에서 정렬된 하나 이상의 평면 표시장치의 결합(combination)을 포함할 수 있다. 상기 컴포넌트는 하나 이상의 곡선의 표시장치 또는 비평면 표시장치의 결합을 포함할 수 있다. 상기 비평면 표시 컴포넌트는 상기 3차원 컨텐츠와 상기 사용자의 상호 작용을 높이기 위하여 상기 사용자에게 시야(Field-of-view; FOV)를 제공하고, 이머시브 환경을 제공한다. 상기 비평면 표시 컴포넌트에 의한 상기 시야는 일반적인(conventional) 표시 컴포넌트에 의해 제공되는 시야보다 좋다. 또한, 상기 시스템은 사용자 얼굴을 추적하고 얼굴을 추적한 출력 데이터를 출력하는 트랙킹(tracking) 센서 컴포넌트를 포함한다. 영상 시각(perspective) 조정 모듈은 상기 얼굴을 추적한 출력 데이터를 처리하여 운동 시차(motion parallax)로 3차원 컨텐츠를 감지하도록 한다.
다른 실시예로, 상기 트랙킹 센서 컴포넌트는 적어도 하나의 3차원 카메라 또는 적어도 하나의 2차원 카메라를 포함하거나, 둘의 결합을 포함할 수 있다. 다른 실시예로, 상기 영상 시각 조정 모듈은 상기 비평면 표시 컴포넌트에 표시된 3차원 컨텐츠 영상이 조정 가능하도록 하고, 상기 영상 조정은 사용자의 머리 위치에 의존적이다. 또 다른 실시예로, 상기 시스템은 적어도 하나의 진동 촉각 액추에이터와 통신하는 촉각 피드백 컨트롤러를 포함한다. 상기 액추에이터는 상기 사용자 손과 상기 3차원 컨텐츠 간의 충돌을 검출하여 상기 사용자에게 촉각 피드백을 제공할 수 있다.
본 발명의 다른 실시예는 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 방법이다. 3차원 컨텐츠는 비평면 표시 컴포넌트에 표시된다. 사용자의 머리 위치는 추적되고, 머리를 추적한 출력 데이터가 생성된다. 3차원 컨텐츠의 상기 사용자 시각은 상기 사용자 머리를 추적한 출력 데이터에 따라 조정된다. 상기 비평면 표시 컴포넌트에서 상기 3차원 컨텐츠가 보여질 때 사용자 머리가 움직이기 때문에, 상기 3차원 컨텐츠의 사용자 시각은 자연스런 방식(natural manner)으로 변화(change)한다.
다른 실시예로, 충돌은 사용자 신체 부위와 상기 3차원 컨텐츠 간에 검출되며, 상기 사용자에게 촉각 피드백을 준다. 또 다른 실시예로, 상기 3차원 컨텐츠가 비평면 표시 컴포넌트에 표시될 때, 확장된 수평 또는 수직 시야(FOV)는 상기 표시 컴포넌트에 상기 3차원 컨텐츠가 보여질 때, 상기 사용자에게 제공된다.
증빙서류(references)는 설명의 한 부분 형태이고, 실례로서 특별한 실시예로 보여주는 첨부한 도면으로 만들어진다.
도 1A 내지 1E는 다양한 실시예에 따라 3차원 컨텐츠를 표시하는 표시 컴포넌트의 구성에 대한 일례를 도시한 도면이다.
도 2는 일실시예에 따라 표시 구성에서 트랙킹 센서 컴포넌트의 배치(placement)에 대한 일례를 도시한 도면이다.
도 3은 일실시예에 따라 시점 의존적인 렌더링의 과정을 도시한 흐름도이다.
도 4는 실시예에 따라 디지털 3차원 컨텐츠와 상호 작용할 때, 이머시브 사용자 경험을 제공하는 시스템의 다양한 하드웨어 컴포넌트 및 소프트웨어 모듈을 도시한 블록도이다.
도 5는 실시예에 따라 사용자에게 촉각 피드백을 제공하고, 3차원 컨텐츠의 사용자 시각을 조정하는 과정을 도시한 흐름도이다.
도 6A는 실시예에 따라 3차원 컨텐츠와 상호 작용하는 이머시브 환경을 제공하는 시스템의 실례를 도시한 도면이다.
도 6B는 다른 실시예에 따라 3차원 컨텐츠와 상호 작용하는 이머시브 환경(612)을 제공하는 시스템의 실례를 도시한 도면이다.
도 7A 및 도 7B는 본 발명을 수행하는 실시예로 적절한 컴퓨터 시스템을 도시한 도면이다.
이머시브 시스템을 이용하여 3차원 컨텐츠를 상호 작용하고, 보여주고, 자연스런 사용자 경험과 이머시브를 생성하는 방법 및 시스템은 아래 도면을 참조하여 설명한다. 다양한 실시예로 설명되는 3차원 상호 작용 시스템은 이머시브하고, 현실적으로 제공되며, 3차원 컨텐츠와 상호 작용하는 경험을 포함한다. 예를 들어, 비평면 표시 컴포넌트에 의해 확장된 시야를 제공한다. 실시예로, 상기 시야는 표시 컴포넌트를 볼 수 있도록 하는 최대한의 시각 각도이다. 아래 설명되는, 비평면 표시장치의 일례는 곡선의 표시장치와 다양한 각도에서 구성된 다중 평면 장치를 포함한다. 다른 실시예에 따른 상기 시스템은 더 시각적으로 현실적일 뿐만 아니라, 사용자에게 더 자연스럽고 실생활과 같은 3차원 컨텐츠와 상호 작용을 만들어주는 3차원 객체의 맨손 조작을 포함할 수 있다. 또 다른 실시예로, 3차원 객체나 컨텐츠의 조작은 촉각 피드백을 증가시킬 수 있고, 상기 컨텐츠와 상호 작용하는 몇몇의 물리적인 감각을 상기 사용자에게 제공한다. 또 다른 실시예로, 도면에서 설명되는 이머시브 표시와 상호 작용하는 환경은 2.5차원 컨텐츠를 표시하는데 이용될 수도 있다. 이와 같은 컨텐츠의 카테고리는 예를 들어, 픽셀별 깊이 정보를 갖는 영상을 가질 수 있다. 상기 시스템은 표시된 상기 장면이나 영상의 완벽한 3차원 모델을 가지지 않는다.
일실시예로, 사용자는 표시 컴포넌트에서 3차원 컨텐츠를 감지하는데, 3차원 객체의 상기 사용자 시각은 상기 사용자 머리가 움직임에 따라 변화한다. 상기에 설명한 바와 같이, 또 다른 실시예로, 상기 사용자는 맨손으로 상기 객체를 느낄 수 있다. 상기 시스템은 사용자 머리 움직임(시각 변경)과 손 제스처에 즉시 반응할 수 있다. 사용자가 3차원 객체를 잡고, 조작하는 착각(illusion)은 이머시브 환경에서 유지된다. 상기 착각을 유지하는 하나의 측면은 운동 시차, 시점 의존적인 렌더링(VDR)의 특징이다.
일실시예로, 사용자 시각 경험은 다중 평면이나 평면(flat) 표시 모니터로 구성되는 비평면 표시 컴포넌트에 의해 결정된다. 상기 표시 컴포넌트는 이머시브 3차원 환경에서 생성되는 시야(FOV)를 갖고, 일반적으로, 확장된 시야를 특징으로 갖는다. 여기서, 시야는 정상 거리에서 보여지는 일반적인 평면 표시(예, 대단히 넓지 않은)의 시야를 넘거나 확장한다. 다양한 실시예로, 상기 확장된 시야는 상기 사용자를 둘러싸는 60도부터 360도를 넘지 않도록 확장될 수 있다. 비교의 목적은, 대략 18인치 거리로부터 단일 평면 20인치 모니터에서 정상적인 2차원 컨텐츠를 사용자에게 보여주는 전형적인 수평 시야(왼쪽-오른쪽)는 약 48도이다. 상기 값을 증가시킬 수 있는 많은 다양성은 예컨대, 상기 사용자가 매우 가까운 거리(예, 4인치 떨어진)로부터 표시장치 또는 대단히 넓은(예, 50인치보다 큰) 표시장치를 보는 것이다. 상기 요인은 수평 시야를 증가시킬 수 있지만, 일반적으로 완벽한 사람 시야를 채우는 것은 아니다. 시야는 상기 사용자가 위 아래로 객체를 볼 수 있는 정도의 수평면(사용자 주변 시야를 확대한)과 수직을 모두 확장될 수 있다. 본 발명의 다양한 실시예는 정상적인 시각 상황에서 시야를 증가하거나 확장한다. 즉, 평균적으로 집이나 직장에서 사용자가 3차원 컨텐츠를 본다는 조건에서, 특별한 경우, 예컨대, 모니터로부터 거리가 동일한 2차원 컨텐츠를 보는 경우에도 다르지 않다. 그러나, 3차원 컨텐츠와 상호 연동하는 방법은 매우 다르다. 예를 들어, 3차원 컨텐츠와 상호 연동하는 방법은 사용자가 3차원 객체에 닿고 조작하거나 접촉할 때, 머리 움직임과 팔/손 제스처일 수 있다.
도 1A 내지 1E는 다중 평면 표시장치로 구성된 구성과 다양한 실시예에 따라 비평면 표시를 갖는 하나의 구성에 대한 상이한 실시예를 도시한 도면이다. 도 1A에서 1D까지의 구성은 사용자 수평 시야를 확장하는 것이다. 도 1E는 오직 수평 시야를 확장한 표시 컴포넌트 구성의 일례이다. 일반적으로, 평면 표시장치의 배열은 깔려 있거나(tiled), "곡선의" 공간과 유사하게 구성될 수 있다. 실시예들로, 신축성(flexible) 있거나, 또는 구부릴 수 있는(bendable) 표시장치를 포함한 비평면 장치는 실제의 곡선 공간을 생성하는데 이용될 수 있다. 상기 비평면 장치는 비정사각형(non-square) 또는 비직사각형(non-rectangular, 예, 삼각형 형태) 표시 모니터(또는 모니터 부분)를 생성하는데 이용될 수 있는 프로젝션 표시장치를 포함한다. 상기 비평면 장치는 평면의 결합이고, 곡선 표시장치 요소일 수 있다. 이러한 다양한 실시예들은 사다리꼴(trapezoids), 사면체(tetrahedrons), 피라미드(pyramids), 돔(domes), 또는 반구(hemispheres), 다른 형태의 모양에서 표시 컴포넌트를 가능하게 한다. 표시장치는 활동적인 자기발광 표시장치(LCD, 유기적(organic) LCD 등) 또는 상기 프로젝션 표시장치일 수 있다. 또한, 상기 프로젝션 표시장치와 함께 표시 컴포넌트는 접이식(foldable or collapsible) 구성을 가질 수 있다.
도 1A는 표시 영역에 박스모양(직육면체(cuboid))을 생성하는 네 평면 표시장치(3 수평, 1 수직)를 가지는 표시 컴포넌트의 구성의 일례를 도시한 것이다. 여기서 언급된 표시 컴포넌트 및 다른 표시 구성들은 사용자에게 상호 작용하고, 3차원 컨텐츠를 보여주는 종합적인 이머시브 용적 측정 시스템에서 하나의 컴포넌트로서 표시 컴포넌트를 설명한다. 상기 시야는 상기 사용자의 머리 위치에 의존적이다. 도 1A의 표시 구성의 "박스 안을 렌즈"로 본 사용자와 상기 사용자의 눈의 중앙이 상기 박스(직육면체의 중앙)의 "중간"에 대략적으로 위치한다면, 250도의 수평 시야와 180도의 수직 시야를 얻을 수 있다. 상기 사용자가 박스 안을 렌즈로 보지 않고, 수평 표시의 앞쪽 모서리(edge)에 사용자 눈이 조정(align)되고, 뒤쪽 수직 표시의 중앙에서 보는 경우, 180도의 수평 시야와 수직으로 대략 110도를 얻을 수 있다. 일반적으로, 사용자가 상기 표시장치로부터 더 멀리 떨어져 앉는 경우, 시야 각도를 더 줄일 수 있다. 이런 개념은 모든 구성의 시야에 적용할 수 있다. 도 1E는 수직 시야가 동일한(하나의 일반적인 수직, 정면 표시장치와 바닥 수평 표시장치) 도 1A에서 구성의 "서브셋"으로 설명되는 또 다른 구성의 일례이다. 상기 수직 표시장치는 일반적으로 약 48도 시야를 제공하고, 상기 바닥 수평 표시장치는 180도로 수직 시야를 확장한다. 도 1A는 180도로 수평 시야를 증가시키는 두 쪽(side) 수직 표시장치를 갖는다. 또한, 도 1A는 트랙킹 센서, 다양한 실시예 및 도 2를 설명하는 배열을 나타낸다.
도 1B는 4개의 직사각형 평면 표시장치, 사용자(조정된)로부터 약간 떨어진 3개의 일반적인 수직 표시장치, 및 수직 시야(도 1A와 도 1E와 유사한)를 증가하는 수평 표시장치를 포함하는 표시 컴포넌트의 또 다른 일례의 구성을 나타낸다. 또한, 표시 컴포넌트는 4개의 삼각형 표시장치, 근본적으로 타일(tile)로 이용된 평면 표시장치 또는 인접한 이머시브 표시 영역이나 공간을 생성하는 직사각형 표시장치를 포함한다. 상기에서 설명한 바와 같이 상기 수평 시야와 수직 시야는 상기 사용자의 머리 위치에 의존적이지만, 보통 전형적인 거리로부터 보여지는 단일의 평면 장치의 일반적인 구성보다 좋다. 상기 구성에서는 상기 사용자에게 도 1A의 박스 모양 표시와 비교하여 표시 영역을 더 광범위하게("널찍한(roomier)") 제공한다. 도 1C는 도 1과 유사하지만, 상기 사용자(조정 가능한)로부터 치우치게(angled) 떨어진 삼각형 모양 표시장치를 갖는 다른 일례의 구성을 나타낸다. 상기 수직 정면 표시장치는 상기 사용자로부터 치우치게 떨어졌거나, 똑바로 서있을 수 있다. 상기 구성에서 수직 시야는 140도이고, 수평 시야는 대략 180도이다.
도 1D는 상기 사용자 수평 시야를 180도에서 약 200도로 확장한 비평면 표시를 갖는 표시 컴포넌트의 또 다른 일례의 구성을 나타낸다. 상기 실시예는 신축성 있는 다중 평면 표시장치를 사용하기 보다는 이머시브 환경을 생성하는 실제의 곡선 표시장치를 사용한다. 도 1D의 상기 수평 표면(surface)은 180도로 수직 시야를 확장하는 표시장치일 수 있다. 곡선의, 휴대용 표시장치는 프로젝션 기술(예, 나노(nano)-프로젝션 시스템)이나 이머징 신축성 표시장치를 이용하여 실행될 수 있다. 상기에서 설명한, 프로젝션은 비정사각형 모양 표시장치와 신축성 표시장치일 수 있다. 또 다른 실시예로, 다중 평면 표시장치는 곡선의 공간의 착각을 생성하는 각도에서 연결되거나 결합될 수 있다. 실시예로, 일반적으로, 평면 표시장치가 사용될수록, 그 표시장치에 접속하기 위해 필요한 각도는 줄어들고,　곡선의 표시장치의 착각이나 모습(appearance)은 더 커진다. 이와 같이, 몇몇 표시장치는 큰 각도를 요구할 수 있다. 이는, 오직 표시 컴포넌트의 구성에 대한 일례이다. 표시 컴포넌트는 많은 다른 확장된 수평과 수직 시야를 가질 수 있다. 예를 들어, 접이식(foldable) 표시 구성을 이용하는 경우, 표시 컴포넌트는 수평 표시 오버헤드(overhead)를 가질 수 있다. 일반적으로, 본 발명에서 사용되는 하나의 특징은 상호 작용을 위해 이머시브 사용자 환경을 더 생성하고, 3차원 컨텐츠를 보는 것은 수평적으로 증가하며, 수직 시야는 비평면 표시 컴포넌트에서 이용된다.
도 2는 실시예에 따라 도 1E의 표시 구성에서 트랙킹 센서 컴포넌트(또는 트랙킹 컴포넌트)의 배치에 대한 일례를 도시한 도면이다. 트랙킹 센서들은 예를 들어, 3차원과 2차원 카메라와 같은, 표시 컴포넌트에 다양한 위치에 배치될 수 있다. 아래에 큰 세부사항으로 설명된 상기 센서들은 사용자 머리(전형적으로 추적한 얼굴 특징)를 추적하고, 사용자 신체 부위 움직임과 제스처, 전형적으로 사용자의 팔, 손, 손목, 손가락과 몸통(torso)을 추적하는데 사용된다. 도 2에서, 정사각형 박스(202)로 나타낸 3차원 카메라는 수직 표시(204)의 중앙에 위치된다. 또 다른 실시예로, 원형 206과 208로 나타낸 두 개의 2차원 카메라는 수직 표시(204)의 위쪽 구석에 위치된다. 다른 실시예로, 카메라의 두 타입이 모두 이용된다. 도 1A에서는, 단일의 3차원 카메라는 수직 표시 정면의 위쪽 중앙에 보여진다. 다른 구성으로, 카메라들은 제일 왼쪽에 위치할 수 있고, 본질적으로 사용자의 정면 옆인 표시 컴포넌트의 제일 오른쪽에 위치할 수 있다. 트랙킹 센서들의 다른 타입은 열 카메라 또는 스팩트럼 처리 카메라를 포함한다. 또 다른 실시예로, 넓은 각도 렌즈들은 영상 시스템에 의해 작은 처리를 요구하는 카메라에서 사용될 수 있지만, 더 많은 왜곡(distortion)을 생산할 수 있다. 센서들과 카메라들은 아래서 더 설명한다. 도 2는 트랙킹 센서들의 다양한 구성을 설명할 것이다. 하나 또는 더 많은 트랙킹 센서들의 정해진(given) 구성은 트랙킹 컴포넌트로 나타낸다. 상기 정해진 트랙킹 컴포넌트의 하나 또는 더 많은 트랙킹 센서들은 다양한 타입의 카메라 또는 비카메라(non-camera) 타입 센서들로 구성될 수 있다. 도 2에서, 카메라들(206, 208)은 총괄적으로(collectively) 트랙킹 컴포넌트 또는 트랙킹 컴포넌트일 수 있는 카메라(202)만으로 구성되거나, 카메라들(206, 208) 사이에 위치한 카메라(202)의 결합, 예를 들어, 다른 트랙킹 컴포넌트로 구성될 수 있다.
일실시예로, 트랙킹 컴포넌트는 사용자 머리를 추적한 사용자 영상 시각을 조정하는데 이용된다. 설명한 바와 같이, 사용에게 보여주는 3차원 컨텐츠는 사용자 머리를 좌, 우로 움직이는 것과 같다. 이머시브 3차원 경험을 유지하는 것은 보여지는 영상을 사용자가 좌, 우, 위, 아래로 움직임에 의해 발생하는 새로운 시각을 반영하여 조정하는 것이다. 예를 들어, 사람의 3차원 영상을 보여줄 때, 상기 사용자(3차원 사람 정면에서)가 왼쪽으로 움직이면 상기 사람의 오른쪽 측면이 보일 것이고, 상기 사용자가 오른쪽으로 움직이면 상기 사람의 왼쪽 측면이 보일 것이다. 이 경우, 상기 영상은 새로운 시각을 반영하여 조정된다. 이것은 시점 의존적인 렌더링(VDR)으로 나타나고, 위에서 설명한 명확한 특징은 운동 시차이다. 시점 의존적인 렌더링은 상기 사용자 머리를 추적하는 것을 요구하고, 표시 컴포넌트에서 보여지는 상기 3차원 객체의 모습은 상기 사용자의 머리가 움직임에 따라 변화한다. 즉, 상기 사용자가 객체를 똑바로 쳐다보고, 머리를 오른쪽으로 움직이면, 상기 사용자는 상기 객체에 대한 자신의 관점이 정면 관점에서 옆쪽 관점으로 변화하는 것을 기대할 것이다. 만약 상기 사용자가 상기 객체의 정면 관점을 아직도 본다면, 3차원 객체를 보고 있다는 착각은 즉시 깨질 것이다(break down). 시점 의존적인 렌더링은 트랙킹 컴포넌트와 얼굴 추적 소프트웨어를 이용한 영상의 상기 사용자 시각을 조정한다. 이러한 과정은 도 3에서 설명한다.
도 3은 실시예에 따라 시점 의존적인 렌더링의 과정을 설명한 흐름도이다. 이하에서는 사용자의 머리 움직임이 어떻게 시각과 도 1A 내지 도 1E(다른 많은 일례)에서 확장된 시야를 갖도록 설명한 표시 컴포넌트에서 3차원 컨텐츠 영상의 렌더링에 영향을 주는지 설명한다. 이것은 상기 방법의 과정을 나타내고, 설명해야 하는데 있어, 식별된 순서에서 수행(몇몇의 구현 상에서 수행되지 않음)될 필요는 없고, 동시에 수행되거나, 상기 설명보다 많거나 적은 과정을 포함할 수 있다. 상기 순서는 실시예를 이용해 나타낸다. 본 발명의 이머시브 용적 측정 시스템은 전산 시스템이거나, 비전산 시스템일 수 있고, 컴퓨터(PC, 노트북, 서버, 태블릿(tablet) 등), TV, 홈 시어터(home theater), 소형(hand-held) 비디오 게임 장치, 모바일 컴퓨팅 장치, 또는 다른 휴대용 장치를 포함할 수 있다. 표시 컴포넌트는 예를 들어, 도 1A 내지 도 1E에서 보여진 실시예인, 다중 평면 도는 비평면 표시장치로 구성된다.
단계 302에서, 상기 사용자는 바로 자신의 앞쪽(상기 사용자의 바로 정면에 있는 스크린에 표시되는 것으로 가정한다)에 표시된 컨텐츠에서 똑바로 3차원 컨텐츠를 본다. 상기 사용자가 3차원 객체를 보는 중에 사용자 머리를 움직일 때, 트랙킹 컴포넌트(하나 또는 그 이상의 트랙킹 센서들로 구성된)는 상기 사용자의 머리 위치의 변화를 검출한다. 이는, 상기 사용자 정면 특징을 추적할 수 있다. 트랙킹 센서들은 표시 영역 또는 그 이상 특별히 센서 또는 센서들의 검출 범위 안에서 상기 사용자의 머리 위치를 검출한다. 예를 들어, 3차원 카메라와 2개의 2차원 카메라는 상기 시스템의 트랙킹 컴포넌트를 총괄적으로 구성하는데 이용된다. 다른 실시예로, 더 많거나 적은 센서들이 이용될 수 있고, 다양한 센서들의 결합을 이용할 수 있는데, 예컨대, 3차원 카메라와 스팩트럼 카메라 또는 열 카메라이다. 그 개수와 배치는 표시 컴포넌트의 구성에 의존적일 수 있다.
단계 304에서, 머리 위치 데이터는 머리 추적 소프트웨어로 전송된다. 상기 센서들로부터 머리 위치 데이터 "열" 형식은 이용된 센서들의 타입에 의존적일 것이지만, 3차원 좌표 데이터(데카르트 좌표 시스템에서 예컨대, 상기 표시 컴포넌트의 중앙으로부터 거리를 가리키는 세 숫자 x, y, z)의 종류일 수 있으며, 머리 방향 데이터(지구 중력 벡터로 참조되는 롤(roll), 피치(pitch), 요(yaw)를 가리키는 세 숫자)일 수 있다. 상기 머리 추적 소프트웨어는 상기 머리 위치 데이터를 처리하고, 처리된 머리 위치 데이터를 전송하고, 상기 시스템의 다른 컴포넌트들에 의해 이용하기 적합하게 만든다. 단계 306에서, 상기 데이터는 영상 시각 조정 모듈로 전송된다.
단계 308에서, 상기 영상 시각 조정 모듈은 시점 의존적인 렌더링 모듈로서 참조하고, 상기 컨텐츠가 상기 표시 컴포넌트에서 렌더링하기 위해, 상기 3차원 컨텐츠를 나타낸 그래픽 데이터를 조정한다. 상기 3차원 컨텐츠는 상기 사용자가 머리를 움직인 후, 상기 사용자의 새로운 시각에 따른 방식으로 렌더링된다. 예를 들어, 상기 사용자가 오른쪽으로 머리를 움직인 경우, 상기 그래픽 데이터는 상기 3차원 컨텐츠가 객체의 왼쪽 측면이 상기 표시 컴포넌트에서 렌더링되도록 조정되어 표시된다. 상기 사용자가 머리를 약간 아래 왼쪽으로 움직인 경우, 상기 컨텐츠는 상기 사용자가 상기 객체에서 약간 올려다 보는 시각으로부터 객체의 오른쪽 측면을 볼 수 있도록 조정된다. 단계 310에서, 상기 3차원 컨텐츠를 나타내는 상기 조정된 그래픽 데이터는 표시 컴포넌트 교정 소프트웨어 모듈로 전송된다. 상기 조정된 그래픽 데이터는 표시 매핑(mapping), 영상 와핑(warping) 및 표시 컴포넌트로 구성된 다중 평면 또는 비평면 표시장치에서 상기 3차원 컨텐츠를 렌더링하는데 필요할 수 있는 다른 함수를 위해 멀티 표시 컨트롤러로 전송된다. 상기 과정은 상기 사용자의 시점이나 시각에 의존적으로 영상을 렌더링하기 위해 상기 3차원 컨텐츠가 표시 컴포넌트에 보여지는 단계 302로 실질적으로 돌아갈 수 있다.
도 4는 실시예에 따라 디지털 3차원 컨텐츠와 상호 작용할 때, 이머시브 사용자 경험을 제공하기 위한 시스템의 다양한 소프트웨어 모듈들과 하드웨어 컴포넌트들을 보여준 블록도이다. 또한, 도 4는 상기 모듈들과 컴포넌트들 중에서 몇몇의 데이터 전송을 보여주는 실시예와 연관된다. 디지털 3차원 컨텐츠를 나타낸 상기 그래픽 데이터는 박스 402로 나타낸다. 디지털 3차원 데이터(402)는 상기 표시 컴포넌트에서 렌더링된 데이터이다. 상기 표시 컴포넌트로 구성된 상기 표시장치 또는 스크린은 표시장치(404), 표시장치(406), 및 표시장치(408)로 보여진다. 상기에서 설명한 것과 같이, 상기 표시 컴포넌트는 더 많거나 몇 개의 표시장치일 수 있다. 표시장치들(404-408)은 평면 또는 비평면, 자기발광 또는 프로젝션, 및 상기에서 설명한 다른 특성(characteristics, 예, 접이식)을 가질 수 있다. 상기 표시장치들은 표시 공간 교정 소프트웨어(412)로부터 입력을 수신하는 멀티 표시 컨트롤러(410)과 통신한다. 상기 소프트웨어는 상기 표시 컴포넌트(예, 표시장치의 개수, 표시장치와 연결된 각도, 표시장치 타입, 그래픽 능력 등)의 구체적인 특성에 잘 맞도록 만든다(tailored).
멀티 표시 컨트롤러(410)는 어떻게 3차원 컨텐츠를 가지고, 소프트웨어(412)에 의해 지시되고, 다중 표시장치(404-408)에 3차원 컨텐츠를 표시한다. 일실시예로, 표시 공간 교정 소프트웨어(412)는 다중 표시장치에서 매끄러운(seamless) 시각으로 3차원 컨텐츠를 렌더링한다. 교정 소프트웨어(412)의 하나의 기능은 예를 들어, 컬러와 영상 일관성(consistency)을 유지하면서 비평면 표시장치에서, 매끄럽게 3차원 컨텐츠 영상을 표시할 수 있다. 일실시예로, 상기 기능은 전자식 표시 교정(교정하고, 특징 있는 표시장치)에 의해 수행될 수 있다. 상기 기능은 공간 왜곡을 줄이는 영상 와핑을 수행할 수 있다. 일실시예로, 상기 영상을 표시하는데 있어, 연속성(continuity)과 평활도(smoothness)를 지키는 각 그래픽 카드를 위한 영상들이다. 상기 영상은 일관된 종합적인 모습(컬러, 밝기 및 다른 요소들)을 위해 허락한다. 멀티 표시 컨트롤러(410) 및 3차원 컨텐츠(402)는 시각을 조정한 소프트웨어 컴포넌트, 또는 표시되기 전 상기 3차원 컨텐츠에서 어려운(critical) 동작을 수행하는 시점 의존적인 렌더링 컴포넌트(414)와 통신한다. 상기 컴포넌트에 대해서 구체적으로 언급하기 전에, 상기 트랙킹 컴포넌트 및 몇몇 실시예에서 촉각 피드백을 가능하게 하는 상기 촉각 확대 컴포넌트를 처음 설명하는데 도움을 준다.
상기 설명한 바와 같이, 상기 시스템의 트랙킹 컴포넌트(416)는 다양한 신체 부위를 추적한다. 트랙킹 컴포넌트(416)의 일 구성은 3차원 카메라 및 2차원 카메라를 포함할 수 있다. 트랙킹 컴포넌트(416)의 다른 구성은 오직 하나의 3차원 카메라 또는 오직 두 개의 2차원 카메라를 포함할 수 있다. 3차원 카메라는 깊이 키잉(keying)의 사용에 의해 인식되는 간단한 제스처인 깊이 데이터를 제공할 수 있다. 일실시예로, 트랙킹 컴포넌트(416)는 얼굴 트랙킹 모듈(418)과 손 트랙킹 모듈(420)로 신체 부위 위치 데이터를 전송한다. 사용자 얼굴과 손은 센서들(동시에 움직일 수 있는)에서 동시에 추적된다. 얼굴 트랙킹 소프트웨어 모듈(418)은 인간 얼굴의 특징과 얼굴의 위치를 검출한다. 트랙킹 센서(416)는 소프트웨어 모듈(418)로 상기 데이터를 입력한다. 유사하게, 손 트랙킹 소프트웨어 모듈(420)은 사용자의 손, 손가락과 팔의 위치에 중점을 두긴 하지만 사용자 신체 부위 위치를 검출한다. 트랙킹 센서(416)는 검출 범위 안에서 상기 신체 부위의 위치를 트랙킹할 책임이 있다. 위치 데이터는 트랙킹 소프트웨어(418)과 손 트랙킹 소프트웨어(420)로 전송되고, 각 모듈과 관련된 특징을 각각 확인한다.
머리 트랙킹 소프트웨어 컴포넌트(418)는 상기 얼굴 또는 손의 위치를 처리하고, 처리된 데이터(본질적으로 상기 사용자의 머리가 있는 위치를 나타낸 데이터)를 시각 조정 소프트웨어 모듈(414)로 전송한다. 모듈(414)은 머리 위치에서 기초하여 새로운 시각에 따라 상기 3차원 컨텐츠를 조정한다. 소프트웨어(418)는 얼굴의 특징을 나타내고, 이머시브 사용자 환경에서 상기 사용자의 머리 위치를 결정할 수 있다.
손 트랙킹 소프트웨어 모듈(420)은 사용자 손들과 팔들의 특징을 나타내고, 상기 환경에서 신체 부위의 위치를 결정한다. 소프트웨어(420)로부터 데이터는 손과 팔 위치와 연관된 두 개의 컴포넌트로 보내진다. 상기 두 개의 컴포넌트는 제스처 검출 소프트웨어 모듈(422)과 손 충돌 검출 모듈(424)이다. 실시예로, 사용자 "제스처"는 3차원 컨텐츠(402)를 수정한 결과이다. 제스처는 3차원 객체를 들어 올리기(lifting), 잡기(holding), 짜기(squeezing), 꼬집기(pinching), 또는 회전하기(rotating)를 포함할 수 있다. 상기 행동들은 상기 3차원 환경에서 상기 객체의 수정을 하는 몇몇의 타입에 따른 결과이다. 객체의 수정은 실제적인 변형이나 상기 객체의 모양 변화 없이 객체의 위치(들어올리기 또는 돌기) 변화를 포함할 수 있다. 이러한, 컨텐츠의 수정은 상기 객체의 사용자 시각이 변화하는데 대한 직접적인 결과가 아니기 때문에 유용하다. 더욱이, 실시예로, 제스처 검출 데이터는 시각 조정 소프트웨어(414)로 전송될 필요없다. 대신에, 상기 데이터는 3차원 컨텐츠(402)를 나타낸 그래픽 데이터로 직접적으로 이용된다. 그러나, 실시예로, 3차원 컨텐츠(402)는 상기 3차원 객체의 상기 사용자 시각은 (간접적으로) 상기 수정의 결과로서 변화하기 때문에, 주어진 다음 단계에서 소프트웨어(414)를 통해 간다.
손 충돌 검출 모듈(424)은 3차원 손과 3차원 객체 간의 충돌이나 관계를 검출한다. 일실시예로, 검출 모듈(424)은 3차원 객체와 관련된 손 제스처에서 주어진 제스처 검출 모듈(422)과 매우 연관있다. 상기 3차원 객체는 상기 손과 상기 객체(흔들기와 같은 손 제스처는 상기 3차원 컨텐츠에 영향이 없음) 간의 접속이나 충돌이 필연적이다. 손 충돌 검출 모듈(424)은 손(또는 다른 신체 부위)과 객체 간의 관계를 검출하는 경우, 피드백 컨트롤러로 데이터를 전송한다. 설명된 실시예로, 상기 컨트롤러는 촉각(tactile) 피드백 컨트롤러(426)이고, 촉각(haptic) 피드백 컨트롤러와도 관련있다. 다른 실시예로, 상기 시스템은 촉각 증강(argumentation)을 제공하지 않으므로, 피드백 컨트롤러(426)를 포함하지 않는다. 이런 모듈은 3차원 객체와 왼손 간의 관계나, 3차원 객체와 오른손 간의 관계 중 어느 하나, 또는 3차원 객체와 상기 사용자의 두 손 간의 관계를 나타내는 검출 모듈(424)로부터 데이터 또는 신호를 수신한다.
일실시예로, 데이터에 의존적인 컨트롤러(426)는 하나 또는 두 개의 진동 촉각 액추에이터들(428, 430)로 신호를 보낸다. 진동 촉각 액추에이터는 진동하는 손목 밴드이거나, 거슬리지 않는 손목 장비와 유사하고, 자연, 상기 시스템의 현실적인 경험을 손상시키지 않는다. 3차원 객체와 관계될 때, 상기 액추에이터는 진동이나, 상기 사용자에게 3차원 객체와의 관계를 나타내는 물리적인 감각의 다른 타입을 야기(causes)시킬 수 있다. 힘과 감각은 자연스런 관계, 상기 객체, 하나 또는 두 개의 사용된 손에 의존적일 수 있고, 상기 진동 액추에이터 기계 장치(mechanism)의 실제적인 능력에 의해 제한될 수 있다. 제스처 검출 모듈(422)가 손 제스처(제스처의 초기 표시(indication)에서)를 검출할 때, 동시에 손 충돌 검출 모듈(424)은 촉각 피드백 컨트롤러(426)로 신호를 전송하는데 유용하다. 예를 들어, 사용자가 3차원 컵을 집는 경우, 상기 사용자의 손이 상기 컵에 닿자마자 상기 사용자가 즉시 컵을 집기 때문에, 제스처 검출 모듈(422)은 3차원 컨텐츠(402)로 데이터를 전송하고, 충돌 검출 모듈(424)은 컨트롤러(426)로 신호를 전송한다. 다른 실시예로, 오직 하나의 액추에이터 기계장치(예, 오직 한 손에서)가 사용될 수 있다. 일반적으로, 상기 기계 장치는 가능한한 거슬리지 않도록 하는 것이 좋다. 더욱이, 진동 손목 밴드는 장갑을 더 선호할 수 있지만, 장갑과 다른 장치는 촉각 피드백을 위해 사용될 수 있다. 진동 촉각 액추에이터들은 무선이나 유선일 수 있다.
도 5는 실시예에 따라 사용자에게 촉각 피드백을 제공하고, 3차원 컨텐츠의 사용자 시각을 조정하는 과정을 나타낸 흐름도이다. 상기 방법의 과정을 나타내고, 설명해야 하는데 있어, 식별된 순서에서 수행(몇몇의 구현 상에서 수행되지 않음)될 필요는 없고, 동시에 수행되거나, 상기 설명보다 많거나 적은 과정을 포함할 수 있다. 단계 502에서, 3차원 컨텐츠는 표시 컴포넌트에서 표시된다. 사용자는 예를 들어, 상기 표시 컴포넌트에서 가상 세계와 같은, 3차원 컨텐츠를 본다. 단계 504에서, 사용자는 상기 트랙킹 컴포넌트의 검출 범위에서 자신의 머리(상기 사용자의 머리 위치가 변화함)를 움직이므로, 상기 3차원 컨텐츠의 사용자 시각이 조정되거나, 변화한다. 위에서 설명한 바와 같이, 얼굴 트랙킹 및 시각 조정 소프트웨어를 이용하여 수행될 수 있다. 상기 사용자는 손을 3차원 객체에 닿도록 움직인다. 단계 506에서, 상기 시스템은 상기 사용자와 상기 객체 간의 충돌을 검출한다. 일실시예로, "입력-출력 동시(coincidence)" 모델은 상기 사용자가 보고, 행동을 하는 것을 인식하고, 인식-동작 루프로서 참조되는 인간-컴퓨터 상호 작용 특성에 가깝게 이용된다. 이는, 사용자에게 3차원 객체를 만지는 것과 같은 상호 작용의 결과를 즉시 보도록 한다. 사용자 손은 조작하는 3차원 객체로서 동일한 위치와 관계되거나, 동일한 위치에서 관계된다. 즉, 상기 사용자의 시각으로부터 상기 손은 물리적인 객체라면 상기 사용자가 3차원 객체를 들어올리거나, 움직이는 것과 같이, 상기 3차원 객체와 관계된다. 상기 사용자는 상기 사용자에 의해 발생된 행동에 기초하여 감지된 것이 만들어지는 것을 본다.
일실시예로, 단계 508에서, 상기 시스템은 상기 사용자의 손과 상기 3차원 객체 간의 충돌을 검출하는데 따른 촉각 피드백을 상기 사용자에게 제공한다. 상기에서 설명한 바와 같이, 촉각 피드백 컨트롤러(426)는 충돌이나 관계에 대한 신호를 수신하고, 상기 사용자에게 물리적인 감각을 제공하는 촉각 액추에이터를 야기시킨다(causes). 예를 들어, 진동 손목밴드를 가진, 상기 사용자의 손목은 진동을 감지할 것이고, 상기 3차원 객체와의 관계를 나타내는 유사한 물리적인 감각을 감지할 것이다.
단계 510에서, 상기 시스템은 상기 사용자가 만드는 제스처를 검출한다. 일실시예로, 상기 검출은 단계 506의 충돌 검출과 동시에 수행될 수 있다. 제스처의 예들은 객체를 들어 올리기, 잡기, 돌기, 짜기 및 꼬집기를 포함한다. 더욱 일반적으로, 제스처는 객체를 변형하고, 객체의 위치를 변화시키는 것 또는 그 둘에 의해 상기 객체가 수정되는 몇몇의 방식으로 3차원 컨텐츠를 사용자 조작하는 어떤 타입일 수 있다. 단계 512에서, 상기 시스템은 상기 사용자 제스처에 기초하여 상기 3차원 컨텐츠를 수정한다. 상기 표시 컴포넌트에서의 상기 3차원 객체의 렌더링은 상기 시각 조정 모듈에 의해 수행될 수 있는 것에 따라 변화한다. 도 4에서 설명한 바와 같이, 도 5에서 설명된 다른 시나리오에서는, 상기 사용자가 자신의 머리를 정지된 상태로 유지하고, 테이블에 있는 3차원 컵을 테이블(사용자가 컵의 중앙을 보는 위치)의 구석으로부터 왼쪽으로 움직인다. 상기 컵에서의 상기 사용자 시각은 변화한다. 즉, 상기 사용자는 이제 상기 컵의 오른쪽 측면을 본다. 상기 시각 조정은 얼굴 트랙킹을 제외한 단계 504에서 사용한 동일 소프트웨어를 이용하여 단계 512에서 수행될 수 있다. 상기 과정은 수정된 3차원 컨텐츠를 표시하는 단계 502로 되돌아간다.
도 6A는 실시예에 따라 3차원 컨텐츠와 상호 작용하기 위한 이머시브 환경(600)을 제공하는 시스템의 실례를 도시한 도면이다. 또 다른 실시예로, 상기 사용자는 2.5차원 컨텐츠와 상호 작용할 수 있고, 상기 영상의 완벽한 3차원 모델은 이용 가능하지 않고, 상기 영상에서 각 픽셀은 깊이 정보를 포함한다. 사용자(602)는 표시 컴포넌트(606)에 표시된 3차원 객체(공, 604)를 보는 것을 보여준다. 3차원 카메라(608)는 상기 사용자의 얼굴(610)을 추적한다. 사용자(602)가 자신의 얼굴(610)을 왼쪽에서 오른쪽으로 움직임에 따라, 공(604)에 대한 상기 사용자 시각이 변화하고, 이런 새로운 시각은 표시 컴포넌트(606, 도 1B에서의 표시 컴포넌트와 유사한)에서 공(604)에 대한 새로운 렌더링을 수행한다. 또한, 표시 컴포넌트(606)에서의 다른 컨텐츠의 표시는 사용자가(602)가 카메라(608)의 검출 범위 안에서 자신의 얼굴(610)을 움직임에 따라 조정된다. 상기에서 설명한 바와 같이, 환경(600)에서 더 많은 3차원 카메라가 위치할 수 있다. 3차원 카메라들은 표시 컴포넌트(606)에 붙을 필요는 없지만, 분리되거나, 독립형(stand-alone) 카메라일 수 있다. 또한, 환경(600)에서 하나 또는 그 이상의 2차원 카메라들(도시하지 않음)이 위치할 수 있고, 하나 또는 그 이상의 2차원 카메라들은 얼굴 트랙킹에 이용될 수 있다. 표시 컴포넌트(606)는 비평면이고, 도 6A에 도시한 환경에서는 다중 평면 표시장치로 구성될 수 있다. 표시 컴포넌트(606)는 가까운 표시장치에서 보여지는 것에 개의치 않고 큰 단일의 평면 표시장치로부터 일반적으로 이룰 수 있는 것보다 큰 수평 시야를 사용자(602)에게 제공한다.
도 6B는 다른 실시예에 따라 3차원 컨텐츠와 상호 작용하는 이머시브 환경(612)을 제공하는 시스템의 실례를 도시한 도면이다. 도 6B는 사용자(602)가 도 1A에서 공(604)을 보는 것을 보여준다. 그러나, 환경(612)에서 상기 사용자는 공(604)을 잡고 있고, 공을 만지는 것으로부터 촉각 피드백을 경험하고 있다. 비록, 도 6B에서 공(604)을 잡고 있는 것으로 보여도, 돌리거나, 짜거나, 움직이는 등의 다른 방법으로 공을 조작하는 것일 수 있다. 일례로 보여지는, 카메라(608)는 환경(612) 내에서 사용자(602)의 손들(614)을 추적한다. 더욱 일반적으로, 다른 사용자 신체 부분, 예컨대, 손목들, 손가락들, 팔들 또는 몸통은 사용자(602)가 3차원 컨텐츠에 행하는 것을 결정하는데 추적될 수 있다. 공(604)과 다른 3차원 컨텐츠는 사용자(602)가 상기 컨텐츠와 연관하여 만드는 제스처들에 기초하여 수정된다. 상기 수정은 표시 컴포넌트(606)에서 렌더링된다. 도 6A의 환경(600)에서, 상기 시스템은 3차원 카메라와 2차원 카메라들을 활용할 수 있다. 다른 실시예로, 도 6B에서 보여진, 사용자(602)는 상기 사용자의 손목에 고정시킨 진동 촉각 액추에이터들(616)을 이용할 수 있다. 상기에서 설명한 바와 같이, 액추에이터들(616)은 사용자(602)에게 촉각 피드백을 제공한다.
도 7A 및 도 7B는 본 발명이 수행되는 실시예로 적합한 전산 시스템(700)을 도시한 도면이다. 도 7A는 전산 시스템의 하나로 가능한 물리적인 형태를 보여준다. 물론, 상기 전산 시스템은 통합적인(integrated) 회로(circuit), 인쇄된 회로 보드, 작은 핸드헬드 기기(휴대폰, 헤드셋 또는 PDA와 같은), 퍼스널 컴퓨터, 또는 수퍼 컴퓨터를 포함하는 많은 물리적인 유형을 포함할 수 있다. 전산 시스템(700)은 모니터(702), 표시장치(704), 하우징(housing, 706), 디스크 드라이브(708), 키보드(710), 및 마우스(712)를 포함한다. 디스크(714)는 전산 시스템(700)으로부터(또는 전산 시스템과) 데이터를 전송하는데 이용되는 컴퓨터 읽기 가능한 매체이다.
도 7B는 전산 시스템(700)의 블록도에 대한 일례를 도시한 도면이다. 첨부된 시스템 버스(720)는 서브시스템들의 확장된 다양한 형태이다. 프로세서(722, 중앙 처리 장치 또는 CPU와 같은)는 메모리(724)를 포함한 저장 장치와 연결된다. 메모리(724)는 임의 추출 기억장치(RAM)와 읽기 전용 기억장치(ROM)를 포함한다. 종래기술로 알려진, 읽기 전용 기억장치(ROM)는 CPU에 데이터와 명령을 단방향으로 전송하고, 임의 추출 기억장치(RAM)는 데이터와 명령을 양방향 방식으로 전송하는데 전형적으로 이용된다. 이런 두 가지 타입의 메모리는 아래 설명된 컴퓨터 읽기 가능한 매체로 적합한 어떤 형태를 포함할 수 있다. 고정 디스크(726)는 CPU(722)에 양방향으로 연결된다. 고정 디스크(726)는 부가적인 데이터 저장 능력을 제공하고, 아래 설명된 컴퓨터 읽기 가능한 매체의 어떤 형태를 포함할 수 있다. 고정 디스크(726)는 프로그램, 데이터와 같은 것을 저장하는데 이용되고, 전형적으로 주기억 장치보다 느린 보조 기억 장치일 수 있다. 정보는 고정 디스크(726)에 유지하는 것이 적절하고, 적절한 경우, 메모리(724)에 있는 가상 메모리로서 표준 방식을 포함할 수 있다. 이동식 디스크(714)는 아래 설명된 컴퓨터 읽기 가능한 매체의 어떤 형태를 포함할 수 있다.
CPU(722)는 표시장치(704), 키보드(710), 마우스(712), 및 스피커들(730)과 같은 다양한 입력/출력 장치를 포함할 수 있다. 일반적으로, 입력/출력 장치는 비디오 표시장치, 트랙 볼들(track balls), 마우스들, 키보드들, 마이크로폰들, 접촉에 민감한(touch-sensitive) 표시장치들, 변환(transducer) 카드 리더기들, 마그네틱, 또는 종이 테이프 리더기들, 태블릿들, 스타일러스들(styluses), 음성(voice) 또는 필기 인식기들(handwriting recognizers), 생체 인식(biometrics) 리더기들, 또는 다른 컴퓨터들 중 어느 하나를 포함할 수 있다. CPU(722)는 임의로(optionally) 네트워크 인터페이스(740)를 이용하여 다른 컴퓨터 또는 통신 네트워크와 관계될 수 있다. 네트워크 인터페이스로 상기 설명한 방법의 단계를 수행하는 과정에서 네트워크로부터 정보를 수신하거나, 네트워크로 정보를 출력하는 CPU를 고려할 수 있다. 더욱이, 본 발명의 방법 실시예들은 CPU(722) 단독으로 실행되거나, 상기 과정의 일부분을 공유하는 원격 CPU와 접속된 인터넷과 같은 네트워크를 통해 실행될 수 있다.
비록 본 발명의 실시예와 응용들은 상기를 통해 보여주고, 설명되었지만, 많은 변형이나 수정은 본 발명의 개념(concept), 범위(scope), 정신(spirit) 안에서 유지되는 경우 가능하다. 상기 변형은 이런 응용을 터득한 이 분야의 통상적인 기술 분야에서 명백하게 밝혀질 것이다. 따라서, 본 발명은 설명된 실시예들을 통해 분명히 보여주고, 설명된 실시예들에 의해 제한되지 않는다. 본 발명은 여기 주어진 세부 사항에 의해 제한되지 않지만, 상기 범위나 첨부된 청구항과 동등하게 수정할 수 있다.

Claims (41)

  1. 비평면(non-planar) 표시 컴포넌트;
    사용자 얼굴을 트랙킹하고, 얼굴을 트랙킹한 출력 데이터를 출력하는 트랙킹(tracking) 센서 컴포넌트; 및
    얼굴을 트랙킹한 출력 데이터를 처리하여 사용자가 운동 시차(motion parallax)로 상기 3차원 컨텐츠(content)를 감지하도록 하는 영상 시각(perspective) 조정 모듈
    을 포함하는, 3차원 컨텐츠 표시 시스템.
  2. 제1항에 있어서,
    상기 트랙킹 센서 컴포넌트는,
    적어도 하나의 3차원 카메라로 구성되는, 3차원 컨텐츠 표시 시스템.
  3. 제1항에 있어서,
    상기 트랙킹 센서 컴포넌트는,
    적어도 하나의 2차원 카메라로 구성되는, 3차원 컨텐츠 표시 시스템.
  4. 제1항에 있어서,
    상기 트랙킹 센서 컴포넌트는,
    적어도 하나의 3차원 카메라 및 적어도 하나의 2차원 카메라로 구성되는, 3차원 컨텐츠 표시 시스템.
  5. 제1항에 있어서,
    상기 비평면 표시 컴포넌트는,
    비평면 배열(arrangement)에서 둘 이상의 평면 표시 모니터로 구성되는, 3차원 컨텐츠 표시 시스템.
  6. 제5항에 있어서,
    상기 평면 표시 모니터는,
    자기 발광(self-emitting) 표시 모니터인, 3차원 컨텐츠 표시 시스템.
  7. 제1항에 있어서,
    상기 비평면 표시 컴포넌트는,
    하나 이상의 비평면 표시 모니터로 구성되는, 3차원 컨텐츠 표시 시스템.
  8. 제7항에 있어서,
    상기 비평면 표시 모니터는,
    프로젝션(projection) 표시 모니터인, 3차원 컨텐츠 표시 시스템.
  9. 제1항에 있어서,
    상기 비평면 표시 컴포넌트에 표시된 둘 이상의 영상을 조정(coordinating)하는 표시 공간 교정(calibration) 모듈
    을 더 포함하는, 3차원 컨텐츠 표시 시스템.
  10. 제9항에 있어서,
    상기 표시 공간 교정 모듈은,
    둘 이상의 비평면 표시 모니터와 연관된 비평면 표시 각도 데이터를 처리하는, 3차원 컨텐츠 표시 시스템.
  11. 제1항에 있어서,
    상기 비평면 표시 컴포넌트는,
    곡선(curved)의 표시 공간을 제공하는, 3차원 컨텐츠 표시 시스템.
  12. 제1항에 있어서,
    상기 영상 시각 조정 모듈은,
    상기 비평면 표시 컴포넌트에 표시된 3차원 컨텐츠 영상의 조정이 가능하도록 하고, 상기 영상의 조정은 사용자의 머리 위치에 의존적인(depend on), 3차원 컨텐츠 표시 시스템.
  13. 제1항에 있어서,
    적어도 하나의 진동 촉각(vibro-tactile) 액추에이터(actuator)와 통신하고, 상기 액추에이터는 상기 사용자 손과 상기 3차원 컨텐츠 간의 충돌을 검출하여 상기 사용자에게 촉각 피드백을 제공하는 촉각(tactile) 피드백 컨트롤러
    를 더 포함하는, 3차원 컨텐츠 표시 시스템.
  14. 제13항에 있어서,
    상기 적어도 하나의 진동 촉각 액추에이터는 손목 팔지인, 3차원 컨텐츠 표시 시스템.
  15. 제1항에 있어서,
    멀티 표시 컨트롤러
    를 더 포함하는, 3차원 컨텐츠 표시 시스템.
  16. 제1항에 있어서,
    상기 트랙킹 센서 컴포넌트는,
    사용자 신체 부위를 추적(track)하고, 신체 부위를 추적한 출력 데이터를 출력하는, 3차원 컨텐츠 표시 시스템.
  17. 제16항에 있어서,
    상기 신체 부위를 추적한 출력 데이터를 처리하는 제스처(gesture) 검출 모듈
    을 더 포함하는, 3차원 컨텐츠 표시 시스템.
  18. 제17항에 있어서,
    상기 신체 부위를 추적한 출력 데이터를 처리하는 신체 부위 충돌 모듈
    을 더 포함하는, 3차원 컨텐츠 표시 시스템.
  19. 제16항에 있어서,
    상기 신체 부위를 추적한 출력 데이터는,
    표시된 3차원 컨텐츠와 관련된 사용자 신체 부위 위치 데이터를 포함하고, 촉각 피드백 컨트롤러로 전송되는, 3차원 컨텐츠 표시 시스템.
  20. 제16항에 있어서,
    상기 트랙킹 센서 컴포넌트는,
    상기 사용자 신체 부위에 대한 복수의 특징을 검출함에 의해, 3차원 공간에서 상기 사용자 신체 부위의 방향(orientation) 및 위치를 결정하는, 3차원 컨텐츠 표시 시스템.
  21. 비평면 표시 컴포넌트에서 3차원 컨텐츠를 표시하는 단계;
    사용자의 머리 위치를 추적하여 머리를 추적한 출력 데이터를 생성(creating)하는 단계; 및
    상기 사용자 머리를 추적한 출력 데이터에 따라 3차원 컨텐츠의 사용자 시각을 조정하고, 상기 비평면 표시 컴포넌트에서 상기 3차원 컨텐츠가 보여질 때 사용자 머리가 움직이기 때문에, 상기 3차원 컨텐츠의 사용자 시각은 자연스런 방식(natural manner)으로 변화(change)하는 단계
    를 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브(immersive) 사용자 환경 제공 방법.
  22. 제21항에 있어서,
    사용자 신체 부위와 상기 3차원 컨텐츠 간의 충돌을 검출하는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  23. 제21항에 있어서,
    상기 충돌을 검출하는 단계는,
    촉각 피드백을 제공하는 단계
    를 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  24. 제22항에 있어서,
    3차원 컨텐츠 위치와 관련된 상기 사용자 신체 부위의 위치를 결정하는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  25. 제21항에 있어서,
    상기 3차원 컨텐츠와 관련하여 사용자 제스처를 검출하고, 상기 3차원 컨텐츠를 상기 사용자 제스처에 기초하여 수정(modified)되는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  26. 제25항에 있어서,
    상기 3차원 컨텐츠를 상기 사용자 제스처에 기초하여 수정되는 단계는,
    상기 3차원 컨텐츠를 변형(deforming)하는 단계
    를 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  27. 제21항에 있어서,
    상기 신체 부위의 위치를 결정하는 사용자 신체 부위를 추적하는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  28. 제21항에 있어서,
    조정(coordinate)된 3차원 컨텐츠를 수신하는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  29. 제22항에 있어서,
    사용자 신체 부위가 상기 사용자 시각으로부터 시각적으로 상기 3차원 컨텐츠와 관계(aligned)되는 경우, 상기 3차원 컨텐츠의 조작(manipulation)을 가능하도록 하는 단계
    를 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  30. 제21항에 있어서,
    상기 비평면 표시 컴포넌트에서 3차원 컨텐츠를 표시하는 단계는,
    상기 비평면 표시 컴포넌트에서 상기 3차원 컨텐츠가 보여질 때, 사용자에게 확장된 수평 시야(field-of-view)를 제공하는 단계
    를 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  31. 제21항에 있어서,
    상기 비평면 표시 컴포넌트에서 3차원 컨텐츠를 표시하는 단계는,
    상기 비평면 표시 컴포넌트에서 상기 3차원 컨텐츠가 보여질 때, 사용자에게 확장된 수직 시야를 제공하는 단계
    를 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 방법.
  32. 3차원 컨텐츠를 표시하는 수단(means);
    사용자의 머리 위치를 추적하여 머리를 추적한 출력 데이터를 생성하는 수단; 및
    상기 사용자 머리를 추적한 출력 데이터에 따라 3차원 컨텐츠의 사용자 시각을 조정하고, 상기 3차원 컨텐츠가 보여질 때 사용자 머리가 움직이기 때문에, 상기 3차원 컨텐츠의 사용자 시각은 자연스런 방식으로 변화하는 수단
    을 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 시스템.
  33. 제32항에 있어서,
    사용자 신체 부위와 상기 3차원 컨텐츠 간의 충돌을 검출하는 수단
    을 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 시스템.
  34. 제33항에 있어서,
    상기 충돌을 검출하는 수단은,
    촉각 피드백을 제공하는 수단
    을 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 시스템.
  35. 제33항에 있어서,
    3차원 컨텐츠 위치와 관련된 상기 사용자 신체 부위의 위치를 결정하는 수단
    을 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 시스템.
  36. 제32항에 있어서,
    상기 3차원 컨텐츠와 관련된 사용자 제스처를 검출하고, 상기 3차원 컨텐츠는 상기 사용자 제스처에 기초하여 수정되는 수단
    을 더 포함하는, 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경 제공 시스템.
  37. 비평면 표시 컴포넌트에서 3차원 컨텐츠를 표시하는 컴퓨터 코드;
    사용자의 머리 위치를 추적하여 머리를 추적한 출력 데이터를 생성하는 컴퓨터 코드; 및
    상기 사용자 머리를 추적한 출력 데이터에 따라 3차원 컨텐츠의 사용자 시각을 조정하고, 상기 비평면 표시 컴포넌트에서 상기 3차원 컨텐츠가 보여질 때 사용자 머리가 움직이기 때문에, 상기 3차원 컨텐츠의 사용자 시각은 자연스런 방식으로 변화하는 컴퓨터 코드
    를 포함하는 3차원 보기 시스템에서의 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 컴퓨터 명령어를 기록한 컴퓨터 판독 가능한 기록 매체.
  38. 제37항에 있어서,
    사용자 신체 부위와 상기 3차원 컨텐츠 간의 충돌을 검출하는 컴퓨터 코드
    를 더 포함하는, 3차원 보기 시스템에서의 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 컴퓨터 명령어를 기록한 컴퓨터 판독 가능한 기록 매체.
  39. 제38항에 있어서,
    상기 충돌을 검출하는 컴퓨터 코드는,
    촉각 피드백을 제공하는 컴퓨터 코드
    를 포함하는, 3차원 보기 시스템에서의 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 컴퓨터 명령어를 기록한 컴퓨터 판독 가능한 기록 매체.
  40. 제37항에 있어서,
    3차원 컨텐츠 위치와 관련된 상기 사용자 신체 부위의 위치를 결정하는 컴퓨터 코드
    를 더 포함하는, 3차원 보기 시스템에서의 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 컴퓨터 명령어를 기록한 컴퓨터 판독 가능한 기록 매체.
  41. 제37항에 있어서,
    상기 3차원 컨텐츠와 관련된 사용자 제스처를 검출하고, 상기 3차원 컨텐츠는 상기 사용자 제스처에 기초하여 수정되는 컴퓨터 코드
    를 더 포함하는, 3차원 보기 시스템에서의 3차원 컨텐츠와 상호 작용하기 위한 이머시브 사용자 환경을 제공하는 컴퓨터 명령어를 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020117014580A 2008-11-26 2009-11-26 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템 KR20110102365A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/323,789 US20100128112A1 (en) 2008-11-26 2008-11-26 Immersive display system for interacting with three-dimensional content
US12/323,789 2008-11-26

Publications (1)

Publication Number Publication Date
KR20110102365A true KR20110102365A (ko) 2011-09-16

Family

ID=42195871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117014580A KR20110102365A (ko) 2008-11-26 2009-11-26 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템

Country Status (4)

Country Link
US (1) US20100128112A1 (ko)
EP (1) EP2356540A4 (ko)
KR (1) KR20110102365A (ko)
WO (1) WO2010062117A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008991A1 (ko) * 2016-07-06 2018-01-11 삼성전자 주식회사 영상 처리를 위한 디스플레이 장치 및 방법
KR20210002768A (ko) * 2016-12-30 2021-01-08 구글 엘엘씨 3d 환경에서 콘텐츠 렌더링

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130318479A1 (en) * 2012-05-24 2013-11-28 Autodesk, Inc. Stereoscopic user interface, view, and object manipulation
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US20120075166A1 (en) * 2010-09-29 2012-03-29 Samsung Electronics Co. Ltd. Actuated adaptive display systems
US9354718B2 (en) 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) * 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US8982192B2 (en) 2011-04-07 2015-03-17 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Visual information display on curvilinear display surfaces
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9767605B2 (en) 2012-02-24 2017-09-19 Nokia Technologies Oy Method and apparatus for presenting multi-dimensional representations of an image dependent upon the shape of a display
US9804734B2 (en) * 2012-02-24 2017-10-31 Nokia Technologies Oy Method, apparatus and computer program for displaying content
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9094570B2 (en) 2012-04-30 2015-07-28 Hewlett-Packard Development Company, L.P. System and method for providing a two-way interactive 3D experience
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
KR101319543B1 (ko) * 2012-05-17 2013-10-21 삼성디스플레이 주식회사 곡면 디스플레이 장치 및 이를 포함하는 멀티 디스플레이 장치
CN104321730B (zh) * 2012-06-30 2019-02-19 英特尔公司 3d图形用户接口
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
CN105408807A (zh) 2012-11-02 2016-03-16 康宁股份有限公司 具有最小化的图像伪像的沉浸式显示器
US9740187B2 (en) * 2012-11-21 2017-08-22 Microsoft Technology Licensing, Llc Controlling hardware in an environment
US8947387B2 (en) * 2012-12-13 2015-02-03 Immersion Corporation System and method for identifying users and selecting a haptic response
FR2999741B1 (fr) * 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US20140320611A1 (en) * 2013-04-29 2014-10-30 nanoLambda Korea Multispectral Multi-Camera Display Unit for Accurate Color, Multispectral, or 3D Images
US9829984B2 (en) 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
WO2015038128A1 (en) * 2013-09-12 2015-03-19 Intel Corporation System to account for irregular display surface physics
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US10409361B2 (en) * 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
KR20160124311A (ko) * 2015-04-16 2016-10-27 삼성디스플레이 주식회사 곡면 표시 장치
KR102438718B1 (ko) * 2015-08-11 2022-08-31 삼성디스플레이 주식회사 표시 장치
USD744579S1 (en) * 2015-08-31 2015-12-01 Nanolumens Acquisition, Inc. Tunnel shaped display
US10521731B2 (en) * 2015-09-14 2019-12-31 Adobe Inc. Unique user detection for non-computer products
CN105185182A (zh) * 2015-09-28 2015-12-23 北京方瑞博石数字技术有限公司 沉浸式媒体中心平台
CN105353882B (zh) * 2015-11-27 2018-08-03 广州视源电子科技股份有限公司 一种显示系统控制方法和装置
US10356493B2 (en) 2015-12-22 2019-07-16 Google Llc Methods, systems, and media for presenting interactive elements within video content
US10021373B2 (en) 2016-01-11 2018-07-10 Microsoft Technology Licensing, Llc Distributing video among multiple display zones
CN105739707B (zh) 2016-03-04 2018-10-02 京东方科技集团股份有限公司 电子设备、脸部识别跟踪方法和三维显示方法
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
US9798385B1 (en) 2016-05-31 2017-10-24 Paypal, Inc. User physical attribute based device and content management system
CN107689082B (zh) * 2016-08-03 2021-03-02 腾讯科技（深圳）有限公司 一种数据投影方法以及装置
US10004984B2 (en) * 2016-10-31 2018-06-26 Disney Enterprises, Inc. Interactive in-room show and game system
WO2018093193A1 (en) * 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
WO2018093391A1 (en) 2016-11-21 2018-05-24 Hewlett-Packard Development Company, L.P. 3d immersive visualization of a radial array
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US10339700B2 (en) 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
US11048329B1 (en) 2017-07-27 2021-06-29 Emerge Now Inc. Mid-air ultrasonic haptic interface for immersive computing environments
US10849532B1 (en) * 2017-12-08 2020-12-01 Arizona Board Of Regents On Behalf Of Arizona State University Computer-vision-based clinical assessment of upper extremity function
EP3729242A4 (en) 2017-12-22 2021-01-20 Magic Leap, Inc. PROCESSES AND SYSTEM FOR GENERATING AND DISPLAYING 3D VIDEOS IN A VIRTUAL, AUGMENTED OR MIXED REALITY ENVIRONMENT
CN108187339A (zh) * 2017-12-29 2018-06-22 安徽创视纪科技有限公司 一种旋转互动式密室逃脱场景互动装置及其控制系统
CN108919944B (zh) * 2018-06-06 2022-04-15 成都中绳科技有限公司 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109785445B (zh) * 2019-01-22 2024-03-08 京东方科技集团股份有限公司 交互方法、装置、系统及计算机可读存储介质
JP2021071754A (ja) * 2019-10-29 2021-05-06 ソニー株式会社 画像表示装置
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
WO2022257518A1 (zh) * 2021-06-11 2022-12-15 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、相关设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2002015110A1 (en) * 1999-12-07 2002-02-21 Fraunhofer Crcg, Inc. Virtual showcases
US6834373B2 (en) * 2001-04-24 2004-12-21 International Business Machines Corporation System and method for non-visually presenting multi-part information pages using a combination of sonifications and tactile feedback
US20040135744A1 (en) 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
EP1524586A1 (en) * 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
JP2008507006A (ja) 2004-06-01 2008-03-06 マイケル エー． ベセリー 水平透視シミュレータ
US20060214874A1 (en) * 2005-03-09 2006-09-28 Hudson Jonathan E System and method for an interactive volumentric display
KR100812624B1 (ko) * 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7967451B2 (en) * 2008-06-27 2011-06-28 Microsoft Corporation Multi-directional image displaying device
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008991A1 (ko) * 2016-07-06 2018-01-11 삼성전자 주식회사 영상 처리를 위한 디스플레이 장치 및 방법
KR20210002768A (ko) * 2016-12-30 2021-01-08 구글 엘엘씨 3d 환경에서 콘텐츠 렌더링
US11113863B2 (en) 2016-12-30 2021-09-07 Google Llc Rendering content in a 3D environment

Also Published As

Publication number Publication date
WO2010062117A3 (en) 2011-06-30
WO2010062117A2 (en) 2010-06-03
US20100128112A1 (en) 2010-05-27
EP2356540A2 (en) 2011-08-17
EP2356540A4 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
KR20110102365A (ko) 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
US10739936B2 (en) Zero parallax drawing within a three dimensional display
Stuerzlinger et al. The value of constraints for 3D user interfaces
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
EP2278823A2 (en) Stereo image interaction system
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
EP3106963B1 (en) Mediated reality
JP2015513232A (ja) ３次元ディスプレイシステム
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
KR20130108643A (ko) 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들
JP7005161B2 (ja) 電子機器及びその制御方法
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
CN109743892A (zh) 虚拟现实内容的显示方法和装置
US10324736B2 (en) Transitioning between 2D and stereoscopic 3D webpage presentation
EP3458942A1 (en) Display of three-dimensional model information in virtual reality
US20120268493A1 (en) Information processing system for augmented reality
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US10257500B2 (en) Stereoscopic 3D webpage overlay
CN111937045A (zh) 信息处理装置、信息处理方法和记录介质
Gigante Virtual reality: Enabling technologies
US20170139472A1 (en) Virtual Reality System With Posture Control
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
JP7005160B2 (ja) 電子機器及びその制御方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid