KR102240812B1 - 거울 메타포를 사용한 원격 몰입 경험 제공 - Google Patents

거울 메타포를 사용한 원격 몰입 경험 제공 Download PDF

Info

Publication number
KR102240812B1
KR102240812B1 KR1020157025193A KR20157025193A KR102240812B1 KR 102240812 B1 KR102240812 B1 KR 102240812B1 KR 1020157025193 A KR1020157025193 A KR 1020157025193A KR 20157025193 A KR20157025193 A KR 20157025193A KR 102240812 B1 KR102240812 B1 KR 102240812B1
Authority
KR
South Korea
Prior art keywords
local
participant
virtual
remote
information
Prior art date
Application number
KR1020157025193A
Other languages
English (en)
Other versions
KR20150120427A (ko
Inventor
앤드류 디. 윌슨
필립 에이. 슈
도날드 엠. 질레트
하르보제 벤코
쟁유 쟝
네일 에스. 피시맨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020217010092A priority Critical patent/KR102382362B1/ko
Publication of KR20150120427A publication Critical patent/KR20150120427A/ko
Application granted granted Critical
Publication of KR102240812B1 publication Critical patent/KR102240812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

원격 몰입 세션의 참가자들 간의 상호작용을 제공하는 원격 몰입 환경이 기술되어 있다. 이 환경은 각각이 참가자와 연관된 2 개 이상의 설비들을 포함한다. 각각의 설비는, 또한, 로컬 참가자가 보기 위한 3차원 가상 공간을 제시하기 위한 거울 기능부를 포함한다. 가상 공간은 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 참가자들 중 적어도 일부를 보여준다. 거울 기능부는 반투명 거울과 디스플레이 디바이스의 조합으로서, 또는 단독으로 동작하는 디스플레이 디바이스로서만 구현될 수 있다. 다른 특징에 따르면, 이 환경은 원격 몰입 세션의 참가자들 중 임의의 참가자가 가상 물체와 상호작용할 수 있게 하는 방식으로 가상 물체를 제시할 수 있다.

Description

거울 메타포를 사용한 원격 몰입 경험 제공{PROVIDING A TELE-IMMERSIVE EXPERIENCE USING A MIRROR METAPHOR}
본 발명은 거울 메타포(mirror metaphor)를 사용한 원격 몰입 경험(tele-immersive experience) 제공에 관한 것이다.
원격 몰입 공동 작업 시스템은 지리적으로 서로 떨어져 있는 2 명 이상의 참가자들 간의 실시간 상호작용을 가능하게 한다. 이러한 종류의 시스템은, 각각의 참가자가 다른 원격 참가자(remote participant)들과 동일한 물리적 공간(physical space)에서 작업하고 있다는 인상을 각각의 참가자에게 제공하는 것에 의해, 종래의 화상 회의 시스템과 다르다.
하나의 원격 몰입 공동 작업 시스템은 창 메타포(window metaphor)를 사용하여 공유 공간 경험을 제공한다. 즉, 이 유형의 시스템은 제1 참가자가 투명한 창을 통해 창의 반대쪽에 위치해 있는 제2 참가자를 보고 있다는 인상을 제1 참가자에게 준다. 그러나, 이 유형의 공동 작업 시스템은 하나 이상의 단점들을 가질 수 있다. 첫째, 이 시스템은 3 명 이상의 참가자들에 대해서는 그다지 적합하지 않은데, 그 이유는 창 메타포가 창 유리의 전방 및 후방에 대응하는 단지 2 개의 위치만을 상정하고 있기 때문이다. 둘째, 이 시스템은 참가자들이, 즉, 어느 정도 창 메타포의 원리들을 벗어나는 일 없이, 가상 객체(virtual object)들을 조작할 수 있는 공유 작업 공간을 즉각 수용하지 않는다. 셋째, 이 시스템은 각각의 로컬 참가자(local participant)가 자신이 원격 참가자인 것처럼 보이는 방식을 모니터링할 수 있는 적당한 메커니즘을 제공하지 않는다. 어떤 화상 회의 시스템들은 다른 참가자들에게 제시(present)되는 로컬 참가자의 영상을 보여주는 작은 화상을 디스플레이의 주변 영역에 포함시키는 것에 의해 이 결과를 달성하지만; 이러한 종류의 화상은 로컬 참가자에 의해 주의를 분산시키고 부자연스러운 것으로 간주될 수 있다.
앞서 살펴본 잠재적인 단점들은 제한이 아니라 예로서 언급되어 있다.
2 개 이상의 설비들을 포함하는 원격 몰입 환경(tele-immersive environment)이 본 명세서에 기술되어 있다. 로컬 참가자는 특정의 로컬 설비(local set-up)에 물리적으로 존재하는 참가자에 대응하고; 원격 참가자는 로컬 설비에 대해 원격지에 있는 설비에 물리적으로 존재하는 참가자에 대응한다. 각각의 설비는, 또한, 로컬 참가자가 보기 위한 3차원 가상 공간을 생성하기 위한 거울 기능부(mirror functionality)를 포함한다. 그 가상 공간은 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 참가자들 중 적어도 일부를 보여준다.
하나의 예시적인 구현에서, 각각의 설비에 의해 제공되는 거울 기능부는 디스플레이 디바이스의 전방에 배치된 물리적 반투명 거울(physical semi-transparent mirror)을 포함한다. 반투명 거울은 로컬 참가자의 가상 영상을 제시하는 반면, 디스플레이 디바이스는 원격 참가자(들)의 가상 영상을 제시한다.
다른 예시적인 구현에서, 거울 기능부는 물리적 거울(physical mirror)을 시뮬레이트하는 디스플레이 디바이스를 포함한다. 즉, 디스플레이 디바이스는, 이 실시예에서, 물리적 반투명 거울을 사용함이 없이, 로컬 참가자 및 원격 참가자(들) 둘 다의 가상 영상을 제시한다.
다른 예시적인 양태에 따르면, 각각의 설비는 그의 로컬 참가자의 깊이 영상을 구성하기 위한 기능부를 포함한다.
다른 예시적인 양태에 따르면, 각각의 설비는 로컬 참가자가 물리적 객체(physical object)를 배치할 수 있는 물리적 작업 공간을 포함한다. 이 설비는 물리적 객체의 대응물인 가상 객체를 생성한다. 하나의 구현에서, 물리적 작업 공간은 로컬 참가자가 물리적 객체들을 배치할 수 있는 작업 공간 테이블을 포함한다.
다른 예시적인 양태에 따르면, 각각의 설비에 있는 거울 기능부는 참가자들이 가상 객체를 공동으로 조작할 수 있게 하는 기능을 제공한다. 가상 객체는 대응하는 물리적 객체를 설비들 중 하나의 설비의 작업 공간에 가질 수 있거나 그렇지 않을 수 있다.
다른 예시적인 양태에 따르면, 본 환경에 의해 생성되는 가상 공간은 가상 반사 공간(virtual-reflected space) 및 가상 실제 공간(virtual-actual space)을 포함한다. 가상 반사 공간은 거울 표면에서의 반사들의 시점(perspective)으로부터 투영되는 하나 이상의 가상 반사 객체(virtual-reflected object)들을 포함한다. 가상 실제 공간은 거울 표면 앞에 배치되는 엔터티들의 시점으로부터 투영되는 하나 이상의 가상 실제 객체(virtual-actual object)들을 포함한다.
상기 접근법은 다양한 유형의 시스템들, 구성요소들, 방법들, 컴퓨터 판독가능 저장 매체, 데이터 구조들, 제조 물품들 등에 나타날 수 있다.
이 발명의 내용은 일련의 개념들을 간략화된 형태로 소개하기 위해 제공되고; 이들 개념은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술된다. 이 발명의 내용은 청구된 발명 요지의 주요 특징들 또는 필수적인 특징들을 언급하기 위한 것이 아니며, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다.
도 1은 거울 메타포를 사용하는 원격 몰입 환경의 개요를 나타낸 도면.
도 2는 도 1에 도시된 종류의 환경을 사용하여 2 명의 참가자들에 제공되는 원격 몰입 경험을 나타낸 도면.
도 3은 도 2에 예시된 경험을 생성할 수 있는 환경의 제1 구현을 나타낸 도면. 이 구현은 물리적 반투명 거울을, 거울 후방에 배치되는 디스플레이 디바이스와 함께, 사용하는 거울 기능부를 제공한다.
도 4는 도 2에 예시된 경험을 생성할 수 있는 환경의 제2 구현을 나타낸 도면. 이 구현은, 예컨대, 물리적 반투명 거울 없이, 디스플레이 디바이스만을 사용하는 거울 기능부를 제공한다.
도 5는 3차원(3D) 장면 정보를 제공하기 위해 사용될 수 있는 로컬 처리 시스템의 하나의 구현을 나타낸 도면. 도 3 또는 도 4의 거울 기능부는 3D 장면 정보를 디스플레이한다.
도 6은 곡면 디스플레이 표면을 가지는 디스플레이 디바이스를 사용하는 거울 기능부를 나타낸 도면.
도 7은 휴대용 디스플레이 디바이스를 사용하는 거울 기능부를 나타낸 도면.
도 8은 가상 반사 공간 및 가상 실제 공간으로 이루어져 있는 가상 공간을 제시하는 것을 포함하는 원격 몰입 경험을 나타낸 도면.
도 9는 로컬 처리 시스템의 하나의 동작 방식을 설명하는 예시적인 절차를 나타낸 도면.
도 10은 이상의 도면들에 도시된 특징들의 임의의 측면을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 기능부를 나타낸 도면.
유사한 구성요소들 및 특징들을 언급하기 위해 본 개시 내용 및 도면들 전체에 걸쳐 동일한 번호가 사용된다. 100번대 번호들은 도 1에서 처음으로 나오는 특징들을 지칭하고, 200번대 번호들은 도 2에서 처음으로 나오는 특징들을 지칭하며, 300번대 번호들은 도 3에서 처음으로 나오는 특징들을 지칭하고, 이하 마찬가지이다.
본 개시 내용은 다음과 같이 구성되어 있다. 섹션 A는 거울 메타포를 사용하는 원격 몰입 환경의 개요를 제공하고; 보다 구체적으로는, 이 섹션은 원격 몰입 세션의 참가자들에게 제공되는 경험을 중점적으로 다루고 있다. 섹션 B는 섹션 A에서 소개된 환경의 예시적인 구현들을 기술하고 있다. 섹션 C는 섹션 A 및 섹션 B에 기술된 개념들 및 기능부의 예시적인 변형들 및 확장들을 기재하고 있다. 섹션 D는 섹션 A 내지 섹션 C의 기능부의 동작을 설명하는 예시적인 방법을 기재하고 있다. 그리고 섹션 E는 섹션 A 내지 섹션 D에 기술된 특징들의 임의의 측면을 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 기능부를 기술하고 있다.
선결 문제로서, 도면들 중 일부는 개념들을 하나 이상의 구조적 구성요소들(기능부, 모듈, 특징부, 요소 등으로 다양하게 지칭됨)과 관련하여 기술하고 있다. 도면들에 도시된 다양한 구성요소들은 임의의 물리적 및 유형적(tangible) 메커니즘들에 의해, 예를 들어, 소프트웨어, 하드웨어(예컨대, 칩 구현 논리 기능부), 펌웨어 등, 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다. 하나의 경우에, 도면들에서의 다양한 구성요소들이 별개의 유닛들로 분리되어 예시되어 있는 것은 실제의 구현에서 대응하는 별개의 물리적 및 유형적 구성요소들을 사용하는 것을 반영할 수 있다. 다른 대안으로서 또는 그에 부가하여, 도면들에 예시되어 있는 임의의 단일 구성요소가 복수의 실제의 물리적 구성요소들에 의해 구현될 수 있다. 다른 대안으로서 또는 그에 부가하여, 도면들에서 임의의 2 개 이상의 개별적인 구성요소들이 도시되어 있는 것은 단일의 실제의 물리적 구성요소에 의해 수행되는 상이한 기능들을 반영할 수 있다. 차례로 기술될 도 10은 도면들에 도시된 기능들의 하나의 예시적인 물리적 구현에 관한 부가의 상세들을 제공한다.
다른 도면들은 개념들을 플로우차트 형태로 기술하고 있다. 이러한 형태에서, 특정 동작들은 특정 순서로 수행되는 별개의 블록들을 구성하는 것으로 기술되어 있다. 이러한 구현들은 예시적이며 제한하는 것이 아니다. 본 명세서에 기술된 특정 블록들이 서로 그룹화되어 단일의 동작에서 수행될 수 있고, 특정 블록들이 복수의 구성요소 블록들로 분해될 수 있으며, 특정 블록들이 본 명세서에 예시되어 있는 것과 상이한 순서(블록들을 병렬로 수행하는 방식을 포함함)로 수행될 수 있다. 플로우차트들에 도시된 블록들은 임의의 물리적 및 유형적 메커니즘들에 의해, 예를 들어, 소프트웨어, 하드웨어(예컨대, 칩 구현 논리 기능부), 펌웨어 등, 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다.
용어에 관해서, "~하도록 구성된"이라는 문구는 임의의 종류의 물리적 및 유형적 기능부가 식별된 동작을 수행하기 위해 구성될 수 있는 임의의 방식을 포괄한다. 기능부는, 예를 들어, 소프트웨어, 하드웨어(예컨대, 칩 구현 논리 기능부), 펌웨어 등, 및/또는 이들의 임의의 조합을 사용하여 동작을 수행하도록 구성될 수 있다.
"논리(logic)"라는 용어는 작업을 수행하기 위한 임의의 물리적 및 유형적 기능부를 포괄한다. 예를 들어, 플로우차트들에 예시되어 있는 각각의 동작은 그 동작을 수행하기 위한 논리 구성요소에 대응한다. 동작은, 예를 들어, 소프트웨어, 하드웨어(예컨대, 칩 구현 논리 기능부), 펌웨어 등, 및/또는 이들의 임의의 조합을 사용하여 수행될 수 있다. 컴퓨팅 시스템에 의해 구현될 때, 논리 구성요소는 컴퓨팅 시스템의 물리적 부분인 전기적 구성요소를 나타내지만, 구현된다.
청구범위에서 "~하는 수단"이라는 문구는, 사용되는 경우, 미국 특허법 제112조 6절의 규정을 적용하기 위해 의도되어 있다. 이 구체적인 문구 이외의 다른 어떤 표현도 미국 특허법의 그 부분의 규정을 적용하기 위해 의도되어 있지 않다.
이하의 설명은 하나 이상의 특징들을 "선택적"인 것으로 언급할 수 있다. 이러한 유형의 서술은 선택적인 것으로 간주될 수 있는 특징들의 전수적인 표시로서 해석되어서는 안되며; 즉, 다른 특징들이 선택적인 것으로 간주될 수 있지만, 본문에 명확히 언급되어 있지 않다. 마지막으로, "대표적인(exemplary)" 또는 "예시적인(illustrative)"이라는 용어들은 어쩌면 많은 구현들 중의 하나의 구현을 지칭한다.
A. 예시적인 참가자 경험
이 섹션은 거울 메타포를 사용하여 동작하는 원격 몰입 환경의 개요를 제공한다. 보다 구체적으로는, 이 섹션은 원격 몰입 환경이 그의 참가자들 각각에 제공하는 경험의 유형을 주로 기술하는 것에 의해 원격 몰입 환경을 소개한다. 섹션 B 내지 섹션 D(이하에서 기술됨)는 이 경험이 구현될 수 있는 다양한 방식들에 관한 상세를 제공한다.
도 1부터 시작하면, 이 도면은 참가자 P1, 참가자 P2, 및 참가자 P3으로 표시되어 있는, 3 명의 참가자들에게 원격 몰입 경험을 제공하는 원격 몰입 환경(100)의 개요를 나타내고 있다. 그렇지만, 환경(100)은 단지 2 명의 참가자들만 또는 4 명 이상의 참가자들을 포함하는 원격 몰입 세션을 제공할 수 있다. 각각의 참가자는 다른 2 명의 참가자들과 비교하여 상이한 지리적 위치에서 작업한다. 즉, 참가자 P1은 위치 L1에서 작업하고, 참가자 P2는 위치 L2에서 작업하며, 참가자 P3은 위치 L3에서 작업하고, 이하 마찬가지이다. 임의의 특정의 위치의 관점으로부터 환경(100)을 기술할 때, 그 위치에 있는 참가자는 로컬 참가자라고 지칭되는 반면, 다른 참가자들은 원격 참가자라고 지칭된다. 게다가, 로컬 설비는 로컬 참가자와 연관된 특정의 장소에 제공되는 기능부를 지칭한다. 원격 설비(remote set-up)는 원격 참가자와 연관된 장소에 제공되는 기능부를 지칭한다.
각각의 위치는 임의의 다른 위치로부터 임의의 거리만큼 떨어져 있을 수 있다. 예를 들어, 하나의 경우에서, 2 명의 참가자들이, 참가자들이 캠퍼스 환경에서 동일한 건물 또는 상이한 건물들의 상이한 방들을 차지하고 있을 때와 같이, 비교적 서로 가깝게 있을 수 있다. 다른 경우에서, 2 명의 참가자들이, 참가자들이 상이한 주, 지방, 또는 국가 등에 위치해 있을 때와 같이, 보다 멀리 떨어져 있을 수 있다. 도 1은 3 명의 참가자들(P1, P2, P3) 모두가 일반적으로 실제 공간(real space)(104)을 차지하고 있다는 것을 표시하는 것에 의해 그들을 도시하는 것을 간략화하고 있다. 실제 공간은 물리적 엔터티들(예컨대, 사람들, 물리적 객체들)을 포함하는 공간이다.
환경(100)은 3차원 가상 공간(108)을 제시하기 위해 거울 기능부(106)를 사용한다. 가상 공간(108)은 거울 메타포를 사용하여 참가자들(102)의 가상 영상들(110)을 제공한다. 거울 메타포는, 사실, 참가자들이 실제로는 상이한 위치들(예컨대, 위치들 L1, L2, L3)에 있을 때, 참가자들 모두가 동일한 물리적 위치에 존재하고 동일한 거울을 들여다보고 있다는 인상을 각각의 참가자에게 제공한다. 즉, 각각의 참가자는 거울 기능부(106)에 의해 생성되는 가상 공간(108) 내의 가상 영상들(V1, V2, 및 V3)을 볼 것이다. 가상 영상(V1)은 실제 참가자(real participant)(P1)의 가상 대응물이다. 가상 영상(V2)은 실제 참가자(P2)의 가상 대응물이다. 그리고 가상 영상(V3)은 실제 참가자(P3)의 가상 대응물이다. [그렇지만, 이하에서 기술될 것인 바와 같이, 가상 공간(108)에 대한 각각의 참가자의 뷰(view)가 또한 어떤 점들에서 다른 참가자들의 뷰들과 상이할 수 있고: 예를 들어, 구성 설정치(configuration setting)에 기초하여, 로컬 참가자는 가상 공간(108)으로부터 그의 가상 영상을 제외시키기로 할 수 있다].
도 1은 환경(100)이 참가자 P2가 참가자 P1과 참가자 P3의 가운데에 위치해 있다(예컨대, 참가자 P1이 참가자 P2의 좌측에 있고, 참가자 P3이 참가자 P2의 우측에 있다)는 인상을 주기 위해 가상 영상들(110)을 배열하는 것을 나타내고 있다. 그러나, 가상 영상들(110)을 정렬하는 이 방식이 변경될 수 있다. 예를 들어, 환경(100)은 순서를 임의적인 방식으로 할당할 수 있거나, 순서를 선택하기 위해 임의의 인자 또는 인자들을 사용할 수 있다. 예를 들어, 환경(100)은 참가자들의 순서 관련 기본 설정에 기초하여 순서를 할당할 수 있다. 또는 환경(100)은 각각의 참가자가 세션에 참여한 시간 순서 등에 기초하여 순서를 할당할 수 있다. 게다가, 환경(100)은 임의의 트리거링 인자(들)에 기초하여 원격 몰입 세션 동안 참가자들의 순서를 동적으로 변경할 수 있다.
도 1의 예에서, 가상 영상들(V1, V2, 및 V3)은 메타포 거울 표면(metaphorical mirror surface) 상의 반사 영상들에 대응한다. 이들 가상 영상은 따라서 가상 반사 객체라고 지칭될 수 있고, 가상 공간(108)은 전체로서 가상 반사 공간이라고 지칭될 수 있다. 섹션 D는 가상 공간(108)이 또한, 거울 표면 상의 반사 대신에, 거울 표면 앞에 배치되어 있는 객체들과 연관된 가상 영상들을 포함하는 일례를 제공한다. 이들 가상 영상은 가상 실제 객체라고 지칭될 수 있고, 이들 객체를 제공하는 가상 공간의 일부는 가상 실제 공간이라고 지칭될 수 있다. 각각의 가상 실제 객체는 가상 반사 대응물 및, 어떤 경우에, 실제의 물리적 대응물을 가진다. 그러나, 설명을 단순화하기 위해, 이후의 설명은 먼저 모든 가상 영상들이, 거울 표면 앞에 배치되어 있는 객체들의 표현들이 아니라, 거울 표면에서의 반사들에 대응하는 것으로 가정할 것이다.
도 2는 (도 1의) 환경이 로컬 제1 참가자(202)에 제공하는 원격 몰입 경험을 도시한 것이다. 이 원격 몰입 세션은 단지 2 명의 참가자들을 포함하지만, 앞서 살펴본 바와 같이, 이 세션이 3 명 이상의 사람들을 포함할 수 있다. 다른 (원격) 참가자는 본 명세서에서 제2 참가자라고 지칭된다.
보다 구체적으로는, 도 2는 제1 참가자(202)의 경험을 제1 참가자의 로컬 설비의 관점에서 도시하고 있다. 그 상황에서, 제1 참가자(202)는 실제 공간(204)에 서 있으면서 환경(100)에 의해 생성된 가상 공간(206)을 보고 있다. 가상 공간(206)은 제1 참가자(202)의 가상 영상(208) 및 제2 참가자의 가상 영상(210)을 보여준다.
비록 도시되어 있지는 않지만, 제2 참가자는 그 자신의 로컬 설비에 의해 제공되는 실제 공간에 서 있는 것으로 시각화될 수 있다. 그리고 제1 참가자(202)처럼, 제2 참가자도 환경(100)에 의해 생성된 가상 공간을 보고 있는 것으로 시각화될 수 있다. 그 가상 공간은 제1 참가자(202)의 가상 영상(208)은 물론, 제2 참가자의 가상 영상(210)을 포함할 것이다. 환언하면, 하나의 구성에서, 제1 참가자(202)가 제2 참가자와 동일한 가상 공간을 볼 수 있다.
다른 구성에서, 제1 참가자(202)가 보는 가상 공간(206)이 하나 이상의 측면들에서 제2 참가자가 보는 가상 공간과 상이할 수 있다. 예를 들어, 앞서 살펴본 바와 같이, 제1 참가자는 가상 공간(206)으로부터 그 자신의 가상 영상(208)을 제외시키기로 할 수 있고; 마찬가지로, 제2 참가자도 그의 가상 공간으로부터 그 자신의 가상 영상(210)을 제외시키기로 할 수 있다. 유의할 점은, 자기 자신의 반사를 이와 같이 제외시킬 수 있는 것이 환경이 거울 메타포를 구현하는 방식에 따라 다양한 정도로 이용가능할 수 있는 옵션이고; 예를 들어, (이하에서 기술될) 도 4의 환경(400)이 이 옵션을 (이하에서 기술될) 도 3의 환경(300)보다 더 즉각적으로 수용한다는 것이다.
상위 레벨 관점에서 볼 때, 가상 공간(206)은 2 명의 참가자들이 동일한 방에 나란이 서 있다는 인상을 준다. 예를 들어, 가상 공간(206)은, 비록 제2 참가자가 제1 참가자(202)와 비교하여 완전히 상이한 지리적 위치에 물리적으로 존재하더라도, 제1 참가자(202)의 관점에서 볼 때, 제2 참가자가 제1 참가자(202)의 바로 좌측에 서 있다는 착각을 일으킨다. 또한 유의할 점은, 가상 공간(206)이 실제 공간(204)의 뒤집힌(flipped)(즉, 거울) 버전을 제시한다는 것이다.
게다가, 제1 참가자(202)의 가상 영상(208)은 제2 참가자의 가상 영상(210)과 거의 같은 크기를 가진다. 그러나, 환경(100)은 다른 대안으로서 (다른 참가자들의 크기들에 대해) 임의의 참가자의 감소된 크기의 또는 증가된 크기의 가상 영상을 디스플레이할 수 있다. 다른 대안으로서 또는 그에 부가하여, 환경(100)은, 예컨대, 현 시점에서 말하고 있는 참가자 주위에 빛나는 기운을 제시하는 것에 의해 또는 말하고 있는 참가자를 가리키는 그래픽 화살표를 디스플레이하는 것 등에 의해, 가상 공간(206)에서 임의의 참가자를 강조하기 위해 임의의 그래픽 효과를 사용할 수 있다.
환경(100)은 또한 다른 특징들을 제공할 수 있고, 그 특징들 중 일부가 이하에서 열거된다.
(a) 가상 객체들의 조작. 도 2는 로컬 설비의 실제 공간(204)이 제1 참가자(202)가 실제 객체들을 조작할 수 있는 작업 공간을 포함한다는 것을 나타내고 있다. 예를 들어, 제1 참가자(202)는 물리적 테이블(212) 상에 실제 공(214)을 올려 놓았다. 작업 공간은 또한 제1 참가자(202)가, 예컨대, 그의 손들 또는 임의의 다른 신체 부위(들)로, 하나 이상의 객체들을 능동적으로 조작할 수 있는 공간을 포함할 수 있다. 예를 들어, 제1 참가자(202)는 직사각형 객체(216)를 그의 왼손에 들고 있고; 보다 구체적으로는, 제1 참가자(202)는 직사각형 객체(216)를, 제2 참가자에게 보여주기 위한 것처럼, 가상 공간(206)의 표면 쪽으로 내민다. 하나의 단지 대표적인 경우에서, 비록 직사각형 객체(216)가 임의의 물리적 객체에 대응할 수 있지만, 직사각형 객체(216)가 스마트폰 또는 어떤 다른 핸드헬드 전자 디바이스에 대응하는 것으로 가정한다.
유사한 방식으로, 제2 참가자가 작업하는 원격 설비는 제2 참가자가 물리적 객체들과 상호작용할 수 있는 작업 공간을 포함한다. 예를 들어, 작업 공간은 로컬 설비에서의 물리적 테이블(212)의 대응물인 물리적 테이블을 포함할 수 있다. 이하에서 기술될 것인 바와 같이, 제2 참가자는 그의 테이블 상에 다른 직사각형 객체를 올려 놓았다.
환경(100)은 또한 물리적 객체들에 대응하는 가상 객체들을 생성한다. 이들 가상 객체는 각각의 가상 공간에서 가상 영상으로서 나타난다. 예를 들어, 환경(100)은 물리적 테이블(212)의 가상 대응물인 가상 테이블(218)을 생성한다. 환경(100)은 실제 공(214)의 가상 대응물인 가상 공(220)을 생성한다. 유의할 점은, 가상 공(220)이 가상 공간(206)에서 가상 테이블(218) 상에 있는 것처럼 보인다는 것이다. 환경(100)은 또한 물리적 직사각형 객체(216)의 가상 대응물인 가상 직사각형 객체(222)를 생성한다. 유의할 점은, 제1 참가자(202)의 가상 영상(208)이 가상 직사각형 객체(222)를 들고 있는 사람을 나타낸다는 것이다. 그리고 마지막으로, 환경(100)은 역시 가상 테이블(218) 상에 있는 다른 가상 직사각형 객체(224)를 생성한다. 이 가상 직사각형 객체(224)는 제2 참가자가 그 자신의 물리적 테이블(도시 생략) 상에 올려 놓은 물리적 직사각형 객체(도시 생략)의 가상 대응물이다. 환경(100)은 임의의 참가자에게 제시되는 가상 공간이 하나의 가상 테이블(218)만을 포함하도록 하기 위해, 예컨대, 상이한 설비들에 있는 다수의 물리적 테이블들이 다수의 중복하는 가상 테이블들을 생성하지 않도록 적절한 처리를 제공할 수 있고; 이 특징을 수용하기 위해, 각각의 설비는 동일하게 구성되고 동일하게 배치된 물리적 테이블을 포함할 수 있다.
앞서 기술된 가상 객체들 각각은 환경(100)의 실제 공간에 나타나는 물리적 객체와 아주 비슷하다. 예를 들어, 가상 테이블(218) 상의 각각의 가상 객체는 제1 참가자의 설비의 물리적 테이블(212) 또는 제2 참가자의 설비의 물리적 테이블 상의 대응하는 물리적 객체를 가진다. 환경(100)은 또한 환경(100)에 의해 규정되는 실제 공간들에서의 물리적 대응물들을 갖지 않는 가상 객체들을 생성할 수 있다. 이 가상 객체들은 순수 가상 객체(pure-virtual object)라고 지칭될 수 있다. 예를 들어, 환경(100)은 가상 직사각형 객체(222) 위에 있는 것처럼 보이는 가상 공(226)을 제시한다. 그 가상 공(226)은 실제 공간들 중 임의의 실제 공간에 물리적 대응물을 갖지 않는다.
하나의 구현에서, 환경(100)은 가상 공(226)에 물리적 속성들을 할당하는 물리 시뮬레이션 엔진(physics simulation engine)을 포함한다. 물리 시뮬레이션 엔진은 또한, 예컨대, 가상 공(226)의 움직임이 뉴튼의 법칙의 적용을 받게 만드는 것 등에 의해, 가상 공(226)이 실제의 물리적 공인 것처럼 가상 공(226)의 움직임을 모델링할 수 있다. 하나의 시나리오에서, 제1 참가자(202)는 이어서, 제1 참가자(202)가 물리적 공이 직사각형 객체(216) 위에서 균형을 잡고 있도록 하기 위해 직사각형 객체(216)를 움직이는 것과 거의 동일한 방식으로, 가상 공(226)이 가상 직사각형 객체(222) 위에서 균형을 잡고 있도록 하기 위해 물리적 직사각형 객체(216)를 움직일 수 있다. 다시 말하지만, 이것은 대표적인 일례에 불과하며; 다른 구현들은 임의의 유형의 순수 가상 객체들을 제시할 수 있고, 임의의 현실의 및/또는 공상의 움직임(dynamics)을 이들 가상 객체에 할당할 수 있다.
참가자들이 또한 임의의 가상 객체와 공동으로 상호작용할 수 있다. 예를 들어, 도 2는 제2 참가자가 가상 직사각형 객체(222)를 가리키고 있는 것을 도시하고 있다. 예를 들어, 제2 참가자는 가상 직사각형 객체(222)에 관해 의견을 말하고 있을 수 있다. 그의 의미를 전달하는 데 도움을 주기 위해, 제2 참가자는 특정의 순간에 그가 이야기하고 있는 가상 직사각형 객체(222)의 정확한 부분을 가리킬 수 있다.
임의의 참가자가 또한 임의의 가상 객체를 조작할 수 있다. 예를 들어, 하나의 시나리오에서, 제2 참가자가 손을 뻗어, 제1 참가자(202)에 의해 가상 직사각형 객체(222) 위에서 균형을 잡고 있는 가상 공(226)을 잡으려고 할 수 있을 것이다. 제2 참가자는 이어서 가상 공(226)을 제어할 수 있다. 제2 참가자는 가상 공간에 나오는 그의 가상 영상(210)을 관찰하는 것에 의해 이 동작을 실행할 수 있다. 즉, 제2 참가자는 그의 실제 손을 어떻게 움직여야 하는지를 결정하기 위한 가이드로서 그의 가상 영상(210)의 움직임을 사용할 수 있다.
앞서 기술된 종류의 조작을 수행하기 위해, 환경(100)은 환경(100)의 실제 공간들에 있는 물리적 엔터티들의 위치들을 추적하는 추적 기능을 사용할 수 있다. 예를 들어, 환경(100)은 각각의 참가자의 손, 및/또는 머리, 및/또는 눈, 및/또는 신체 전체의 움직임을 추적할 수 있다. 환경(100)은 또한 환경(100)의 실제 공간들에 나오는 비생물 객체들의 위치들을 추적할 수 있다. 이들 추적 동작은 추적 정보를 생성한다. 환경(100)은, 예컨대, 제2 참가자의 가상 손(228)[가상 공간(206)에서 제1 위치를 가짐]이 가상 공(226)[가상 공간(206)에서 제2 위치를 가짐]을 정확하게 잡을 수 있게 하는 것에 의해, 가상 객체들을 제어하기 위해 추적 정보를 사용할 수 있다.
하나의 특정의 시나리오에서, 참가자는 또한 임의의 가상 객체를 거울 기능부(106)의 표면에 대략 직교인 방향으로, 예컨대, 가상 객체를 그 직교 방향으로 당기거나 미는 것에 의해, 움직일 수 있다. 기술될 것인 바와 같이, 환경(100)은, 가상 공간 내의 객체들을 깊이를 가지는 3차원 엔터티들로서 모델링하기 때문에, 이 동작을 수행할 수 있다.
(b) 가상 공간에서의 콘텐츠의 제시. 환경(100)은 임의의 참가자가 거울 기능부(106)의 "표면"에 메모를 추가할 수 있게 할 수 있다. 예를 들어, 제1 참가자(202)는 스타일러스, 손가락, 또는 어떤 다른 도구를 사용하여 거울 기능부(106)의 표면 상에 메모(230)를 기입한다. 환경(100)은 이 메모(230)를 각각의 참가자의 관점으로부터 볼 때 올바른 방향으로 나타나도록(예컨대, 영어에서는 좌에서 우로) 제시할 수 있다. 임의의 참가자가 이어서 메모(230)를 임의의 방식으로, 예컨대, 메모(230)를 편집하는 것, 가상 공간에서 메모(230)의 위치를 이동시키는 것, 메모(230)의 크기를 조정하는 것, 메모(230)를 지우는 것, 메모(230)를 데이터 저장소에 보관하는 것, 메모(230)를 인쇄하는 것 등에 의해, 조작할 수 있다.
환경(100)은 또한 임의의 참가자가 가상 공간에 제시하기 위한 문서 또는 다른 디지털 콘텐츠를 검색할 수 있게 할 수 있다. 예를 들어, 제1 참가자(202)는 보관소로부터 문서(232)를 검색하였고, 환경(100)에 그 문서를 거울 기능부(106)의 "거울 표면" 상에 게시하라고 지시하였다. 가상 공간에 제시되면, 임의의 참가자가 문서(232)를 임의의 방식으로, 예컨대, 문서(232)를 탐색하는 것, 문서(232)를 편집하는 것, 문서(232)에 강조 표시 또는 코멘트를 추가하는 것, 가상 공간 내에서 문서(232)의 위치를 이동시키는 것, 문서(232)를 삭제하는 것, 문서(232)의 크기를 조정하는 것, 문서(232)를 인쇄하는 것 등에 의해, 조작할 수 있다.
보다 일반적으로, 환경(100)은 공유 작업 공간 벽의 메타포를 사용하여 앞서 기술된 기능을 구현할 수 있고, 여기서 거울 표면은 벽을 구성한다. 참가자들은 벽 앞쪽에 나란히 서 있는 것처럼 벽과 상호작용한다. 참가자들은 벽에 필기(writing)를 추가하거나, 벽에 문서를 게시하거나, 이 표면의 임의의 다른 특징들을 변경할 수 있다. 가상 벽에 추가되는 정보는 총칭하여 참가자 지정 정보(participant-specified information)라고 지칭될 수 있다.
(c) 가상 공간에서의 제어 기능부(Control Feature)의 제시. 환경(100)은 또한 가상 공간에 제어 기능부들을 디스플레이할 수 있다. 예를 들어, 도 2는 환경(100)이 거울 기능부(106)의 "거울 표면" 상에 제어 기능부(234)를 제시하는 일례를 도시하고 있다. 각각의 참가자는 임의의 애플리케이션 관련 기능(들)을 수행하기 위해 제어 기능부(234)와 상호작용할 수 있다. 예를 들어, 제어 기능부(234)는 임의의 유형의 하나 이상의 메뉴들, 하나 이상의 버튼들, 하나 이상의 슬라이드바(slide bar)들, 하나 이상의 노브(knob)들, 하나 이상의 체크 박스들 또는 라디오 버튼들 등, 또는 이들의 임의의 조합과 같은 임의의 종류의 그래픽 제어 기능부에 대응할 수 있다. 참가자는 상호작용적 경험의 임의의 측면을 제어하기 위해 이러한 종류의 그래픽 기능부들을 조작할 수 있다. 예를 들어, 로컬 참가자는 각각의 원격 참가자의 음성이 자신에게 제공되는 볼륨을 조절하기 위해 제어 기능부와 상호작용할 수 있다.
앞서 기술된 환경(100)은 다수의 잠재적인 이점들을 가진다. 하나의 잠재적인 이점에 따르면, 환경(100)은 임의의 수의 참가자들을 수용할 수 있는 공유 가상 공간을 생성한다. 환언하면, 환경(100)은, 그의 거울 메타포의 기본 원리를 벗어남이 없이, 임의의 수의 참가자들에 따라 잘 스케일링된다.
다른 잠재적인 이점에 따르면, 환경(100)은, 그의 거울 메타포의 기본 원리를 벗어남이 없이, 가상 객체들을 공동으로 조작하기 위한 이해하기 쉽고 사용하기 쉬운 프레임워크를 제공한다.
다른 잠재적인 이점에 따르면, 환경(100)은 로컬 참가자가 원격 참가자(들)에 어떻게 보일 것 같은지를 로컬 참가자에게 보여주기 위한 편리하고 자연스러운 메커니즘을 제공한다. 예를 들어, 하나의 구성 설정치에서, 제1 참가자(202)에게 보이는 가상 공간(206)이 제2 참가자에게 보이는 가상 공간과 정확히 동일한 것처럼 보일 수 있다. 그러므로, 제1 참가자(202)가 [가상 영상(208)에 보이는 것과 같은] 그의 모습이 제2 참가자에게 보이는 그의 가상 영상과 동일하거나 유사한 것으로 확신하는 것은 당연할 수 있다.
다른 잠재적인 이점에 따르면, 환경(100)은, 예컨대, 앞서 기술된 공유 벽 메타포를 사용하여, 메모, 문서, 및 다른 콘텐츠를 거울 기능부(106)의 "거울 표면"에 게시하기 위한 이해하기 쉽고 사용하기 쉬운 기법을 제공한다.
이상의 잠재적인 이점들은 제한이 아니라 예로서 언급되어 있다. 다른 구현들은 부가의 이점들을 제공할 수 있다. 다른 구현들이 또한 앞서 기술된 특징들 중 하나 이상을 갖지 않을 수 있다.
B. 예시적인 구현
도 3은 앞서 기술된 특징들의 제1 구현을 나타내는 환경(300)을 도시한 것이다. 환경(300)은 일반적으로 복수의 각자의 참가자들이 사용하기 위한 일련의 설비들을 제공한다. 즉, 환경(300)은 참가자 P1을 위한 제1 설비(302), 참가자 P2를 위한 제2 설비(304), 참가자 P3을 위한 제3 설비(306), 및 참가자 Pn을 위한 제n 설비(308)를 제공한다. 각각의 설비는 상이한 지리적 위치에 위치되어 있다. 도 2는 제1 설비(302)의 예시적인 구성을 도시하고 있다. 다른 설비들(304, 306, . .. 308)이 동일한 구성 및 동작 방식을 가질 수 있지만, 도 3에 명확히 도시되어 있지 않다.
설비(302)는 참가자 P1의 표현을 생성하기 위한 영상 포착 기능부(310)를 포함한다. 하나의 경우에, 영상 포착 기능부(310)는 임의의 유형 또는 유형들의 하나 이상의 카메라들을 포함한다. 예를 들어, 영상 포착 기능부(310)는 실제 공간에 있는 참가자 P1 및 임의의 물리적 객체들을 포함하는, 설비(302)의 실제 공간의 깊이 영상을 구성하는 데 사용될 수 있는 정보를 생성하는 하나 이상의 카메라들을 포함할 수 있다. 깊이 영상은 기준점(예컨대, 카메라의 위치)과 실제 공간에서의 각각의 위치 사이의 거리를 정의한다. 설비(302)는 깊이 영상을 생성하기 위해, 구조화된 광(structured light) 기법, TOF(time-of-flight) 기법, 입체(stereoscopic) 기법 등, 또는 이들의 임의의 조합과 같은, 임의의 기법을 사용할 수 있다.
예를 들어, 설비(302)는 실제 공간의 깊이 영상을 생성하기 위해 미국 워싱턴주 레드몬드 소재의 Microsoft Corporation에 의해 제공되는 Kinect™ 디바이스를 사용할 수 있다. 하나의 구현에서, Kinect™은 그의 깊이 영상들을 생성하기 위해 구조화된 광 기법을 사용한다. 이 접근법에서, 영상 포착 기능부(310)는 패턴을 가지는 광을 실제 공간 상으로 투사한다(그 광은 "구조화된 광"을 구성함). 구조화된 광은 실제 공간에 있는 객체들에 충돌한다. 객체들은 구조화된 광의 패턴을 왜곡시키는 다양한 형상들을 가지는 3차원 표면들을 가진다. 영상 포착 기능부(310)는 이어서 구조화된 광에 의해 조사(illuminate)된 대로, 실제 공간에 있는 객체들의 영상을 포착한다. 깊이 결정 기능부는 이어서 포착된 영상을 왜곡되지 않은 패턴과 연관된 기준 영상과 비교한다. 깊이 결정 기능부는 이 비교의 결과를 사용하여, 기준점과 실제 공간에서의 각각의 점 사이의 거리들을 추론한다.
그에 부가하여 또는 다른 대안으로서, 영상 포착 기능부(310)는 실제 공간을 나타내는 비디오 영상 정보를 생성하는 하나 이상의 비디오 카메라들을 포함할 수 있다. 즉, 비디오 영상 정보는 실제 공간에 있는 객체들의 컬러(예컨대, RGB) 표현을 제공할 수 있다.
일반적으로, 영상 포착 기능부(310)는 본 명세서에서 "로컬 카메라 정보"를 생성하는 것으로 말해진다. 로컬 카메라 정보는 영상 포착 기능부(310)에 의해 제공되는 임의의 원시 정보(raw information)(예컨대, 깊이 영상들 및/또는 비디오 영상 정보 등을 구성하는 데 사용되는 정보를 포함함)를 포함할 수 있다.
로컬 처리 시스템(312)은 로컬 영상 포착 기능부(310)로부터 로컬 카메라 정보를 수신한다. 로컬 처리 시스템(312)은 또한 각각의 원격 설비(304, 306, ... 308)로부터 원격 입력 정보를 수신한다. 원격 입력 정보는 원격 설비들(304, 306, 308)에 존재하는 객체들에 관한 임의의 정보를 포함할 수 있다. 예를 들어, 그 정보는 원격 카메라 정보 및/또는 3차원(3D) 객체 정보를 포함할 수 있다. 이하에서 설명될 것인 바와 같이, 설비에 대한 3D 객체 정보는 설비에 의해 제공되는 카메라 정보에 기초하여 생성되는, 설비의 실제 공간에 있는 객체들의 3차원 표현에 대응한다.
로컬 처리 시스템(312)은 또한 원격 설비들(304, 306, ... 308) 각각으로 로컬 입력 정보를 전달한다. 로컬 입력 정보는 원격 입력 정보의 인스턴스(instance)의 대응물이다. 즉, 로컬 입력 정보는 로컬 설비(302)에 있는 객체들에 관한 임의의 정보[예컨대, 로컬 처리 시스템(312)에 의해 생성되는 로컬 3D 객체 정보 및/또는 원시 로컬 카메라 정보를 포함함]를 제공할 수 있다. 로컬 3D 객체 정보는 설비(302)의 로컬 실제 공간에 있는 객체들의 3차원 표현을 제공한다.
로컬 처리 시스템(312)은 로컬 카메라 정보 및 원격 입력 정보에 기초하여 3D 장면 정보를 생성한다. 도 5(이하에서 기술됨)는 로컬 처리 시스템(312)이 이 작업을 수행할 수 있는 하나의 방식을 도시한 것이다. 개요로서, 로컬 처리 시스템(312)은 먼저 로컬 카메라 정보에 기초하여 로컬 설비(302)와 연관된 실제 공간의 3차원 표현을 생성할 수 있다. 이것은 앞서 소개된 용어에서의, 로컬 설비(302)에 대한 로컬 3D 객체 정보를 산출한다. 로컬 처리 시스템(312)은 이어서 로컬 설비(302)에 대한 로컬 3D 객체 정보를 원격 설비들(304, 306, ... 308)에 대한 3D 객체 정보의 대응하는 인스턴스들과 결합시킬 수 있다. 보다 구체적으로는, 이 결합은 개별적인 인스턴스들을 도 1 및 도 2와 관련하여 기술된 거울 메타포에 부합하는 공통의 시점(perspective)(및 좌표계)으로 투영한다. 로컬 처리 시스템(312)은 또한 그가 생성하는 3D 장면 정보에 보조 정보(예컨대, 임의의 참가자에 의해 생성된 메모들, 임의의 참가자에 의해 게시된 문서들, 제어 기능부들 등)를 통합시킬 수 있다. 로컬 처리 시스템(312)은 이어서 얻어진 3D 장면 정보를 거울 기능부(314)로 송신한다.
도 3에 도시된 제1 구현에서, 거울 기능부(314)는 디스플레이 디바이스(318)의 전방(즉, 참가자 P1의 위치에 대해 "전방")에 배치되어 있는 물리적 반투명 거울(316)을 포함한다. 반투명 거울(316)은 반투명 거울(316)의 전방에 위치되어 있는 임의의 객체의 반사를 제시한다. 이와 동시에, 반투명 거울(316)은 참가자 P1이 반투명 거울(316)의 후방에 배치되어 있는 임의의 객체들(실제 객체들 또는 가상 객체들)을 볼 수 있게 할 것이다.
디스플레이 디바이스(318)는 로컬 처리 시스템(312)에 의해 제공되는 3D 장면 정보를 수신한다. 그 정보에 기초하여, 디스플레이 디바이스는 하나 이상의 가상 영상들로 채워져 있는 3차원 가상 공간을 디스플레이한다. 디스플레이 디바이스(318)는 LCD 디스플레이와 같은 임의의 디스플레이 기술을 사용하여 구현될 수 있다. 다른 구현에서, 디스플레이 디바이스(318)는 입체 디스플레이 디바이스로서 또는 (벽과 같은) 임의의 표면 상으로 입체 정보를 투사(cast)하는 3차원 프로젝션 디바이스(projection device)로서 구현될 수 있다. 참가자 P1은 셔터 안경(shutter glasses) 등을 사용하여 이러한 입체 디스플레이의 출력을 볼 수 있고; 이것은 가상 공간에 있는 객체들이 깊이 차원을 가진다는 인상을 준다.
보다 구체적으로는, 반투명 거울(316)은 참가자 P1의 가상 영상(320)을, 예컨대, 거울의 표면 상에서의 보통의 반사로서, 제시한다. 디스플레이 디바이스(318)는 참가자 P2의 가상 영상(322) 및 가상 객체(324)를 제시한다. 가상 객체(324)는, 예를 들어, 도 2에서의 가상 공(226)에 대응할 수 있다. 제1 참가자 P1은, 거울 기능부(314)를 볼 때, 제1 참가자 P1이 제2 참가자 P2 옆에 서 있는 것처럼 보이는 합성 가상 장면(composite virtual scene)(326)을 인지할 것이다. 제1 참가자 P1은 게다가 자신이 자기 손으로 가상 객체(324)를 조작하고 있는 것을 인지할 것이다.
설비(302)는 가상 영상들을 반투명 거울(316)의 표면 상의 반사들에 대해 적절한 위치들에서 디스플레이 디바이스(318) 상에 디스플레이하는 것에 의해 앞서 기술된 효과를 생성한다. 예를 들어, 설비(302)는 가상 객체(324)를 제1 참가자의 손에 배치하기 위해 반투명 거울(316) 상에서의 참가자 P1의 가상 영상(320)의 위치를 결정할 수 있다. 이 동작 방식은 설비(302)가 실제 공간에서의 물리적 엔터티들의 위치, 및 반투명 거울(316)의 표면 상에서의 가상 영상들의 대응하는 위치들을 알고 있는 것으로 상정한다. 설비(302)는 이러한 지식을 상이한 방식들로 획득할 수 있다. 하나의 경우에, 참가자 P1은 자신의 움직임을 설비(302)의 실제 공간에서의 미리 결정된 영역으로 한정하도록 요청받을 수 있다. 이 경우에, 설비(302)는 가상 영상(320)이 반투명 거울(316)의 표면 상에서의 미리 결정된 위치에 나타날 것이라는 대략적인 가정을 할 수 있다. 다른 구현에서, 설비(302)는, 예컨대, 참가자 P1의 손들 또는 참가자 P1의 신체 전체를 추적하는 것에 의해, 임의의 레벨의 세분성(granularity)으로 설비(302)의 실제 공간에서의 참가자 P1의 위치를 추적하는 추적 기능부를 포함할 수 있다. 설비(302)는 추적 정보에 기초하여 반투명 거울(316)의 표면 상에서의 가상 영상(320)의 위치를 결정할 수 있다. 실제 공간에서의 물리적 엔터티들의 위치, 및 반투명 거울(316)의 표면 상에서의 그들의 대응하는 가상 영상들의 위치를 결정하기 위해 또 다른 기법들이 사용될 수 있다.
설비(302)는 또한 반투명 거울(316)의 표면 상에 나타나는 영상들의 크기들에 따라 스케일링되는, 디스플레이 디바이스(318) 상에 제시하기 위한 가상 영상들을 생성할 수 있다. 하나의 경우에, 참가자 P1은 반투명 거울(316)로부터 거리 d1만큼 떨어져 있고, 반투명 거울(316)은 디스플레이 디바이스(318)로부터 거리 d2만큼 떨어져 있다. 참가자 P1은 그의 반사 가상 영상(reflected virtual image)(320)이 2xd1의 깊이에 있는 것으로 인지할 것이다. 설비(302)는 제2 참가자 P2의 가상 영상(322)을, 실제 제1 참가자 P1의 관점에서 볼 때 제1 참가자 P1의 가상 영상(320)과 동일한 크기를 갖는 것처럼 보이도록, 제시할 수 있다. 하나의 경우에, 설비(302)는 d1을 d2와 거의 같도록 하는 것에 의해 이 결과를 달성할 수 있다. 제한 없이, 예를 들어, d1 및 d2 둘 다가 3 피트와 거의 같을 수 있다.
거울 기능부(314)의 구성이 다양한 방식들로 수정될 수 있다. 예를 들어, 다른 구현에서, 디스플레이 디바이스(318)는 반투명 거울(316)의 배면에 대해 같은 높이로(flush) 배치될 수 있다. 설비(302)는 이 대안의 구성에 부합하도록 디스플레이 디바이스(318) 상에 제시하기 위한 가상 영상들을 스케일링하는 방식을 변경할 수 있다.
WAN(wide area network)(예컨대, 인터넷), LAN(local area network), 점대점 연결 등, 또는 이들의 조합과 같은 임의의 유형의 통신 메커니즘(328)이 설비들(302, 304, 306, ... 308)을 서로 연결시킬 수 있다.
도 4는 앞서 기술된 원격 몰입 경험을 구현할 수 있는 다른 환경(400)을 도시한 것이다. 환경(400)은, 도 4의 거울 기능부(402)가 도 3의 거울 기능부(314)와 상이한 것을 제외하고는, 도 3의 환경(300)과 동일한 구성요소들을 가진다.
요약하면, 도 4는 제1 참가자 P1이 사용하기 위한 로컬 설비(404)를 도시하고 있다. 로컬 설비(404)는 통신 메커니즘(412)을 통해 다른 설비들(406, 408, ... 410)에 연결된다. 원격 참가자들은 각자의 다른 설비들(406, 408, ... 410)과 상호작용한다. 도 4는 로컬 설비(404)의 예시적인 구성을 도시한 것이고; 다른 설비들(406, 408, ... 410)은 유사한 구성 및 동작 방식을 갖지만, 도 4에 명확히 도시되어 있지 않다.
설비(404)는 로컬 카메라 정보를 생성하기 위한 영상 포착 기능부(414)를 포함한다. 앞서 설명된 바와 같이, 로컬 카메라 정보는 설비(404)의 실제 공간의 깊이 영상을 구성하는 데 사용될 수 있는 정보를 포함할 수 있다. 그에 부가하여 또는 다른 대안으로서, 로컬 카메라 정보는 비디오 영상 정보를 포함할 수 있다. 로컬 처리 시스템(416)은, 각각의 원격 설비(406, 408, ... 410)로부터의 원격 입력 정보의 인스턴스와 함께, 로컬 영상 포착 기능부(414)로부터 로컬 카메라 정보를 수신한다 . 이 입력 정보에 기초하여, 로컬 처리 시스템(416)은 거울 기능부(402) 상에 제시하는 3D 장면 정보를 생성한다.
이 실시예에서, 거울 기능부(402)는, 반투명 거울을 사용하지 않고, 디스플레이 디바이스(418)를 포함한다. 디스플레이 디바이스(418)는 제1 참가자 P1에게 제시되는 가상 공간의 모든 측면들을 디스플레이한다. 즉, 디스플레이 디바이스(418)는 제1 참가자 P1의 가상 대응물인 가상 영상(420), 및 제2 참가자 P2의 가상 대응물인 가상 영상(422)을 제시한다. 디스플레이 디바이스(418)는 또한 가상 객체(424)를 제시한다. 가상 영상들의 이러한 수집은 인지된 가상 장면(426)을 생성하고; 그 가상 장면(426)에서, 제2 참가자 P2는 제1 참가자 P1 옆에 서 있는 것처럼 보이고, 제1 참가자 P1은 그의 손에서 가상 객체(424)를 조작하고 있는 것처럼 보인다.
도 4의 구현에서, 거울 기능부(402)의 "표면"은 디스플레이 디바이스(418)의 표면에 대응한다. 이와 달리, 도 3의 구현에서는, 거울 기능부(314)의 "표면"은 반투명 거울(316)의 표면에 대응한다.
로컬 처리 시스템(416)은 다양한 설비들에 의해 제공되는 3D 객체 정보의 다양한 인스턴스들을 조립(assemble), 투영, 및 스케일링하는 것에 의해 3D 장면 정보를 합성(compose)할 수 있다. 로컬 처리 시스템(416)은 또한 3D 장면 정보를 생성할 때 추적 정보를 고려할 수 있다. 예를 들어, 로컬 처리 시스템(416)은 참가자가 가상 객체를 조작할 때 그 참가자의 손들의 위치를 결정하기 위해 추적 정보에 의존할 수 있다.
도 3 또는 도 4에 명확하게 도시되어 있지는 않지만, 각각의 로컬 설비는 또한 각각의 원격 설비에서 생성되는 소리들(원격 참가자들의 음성들 등)을 제공하기 위한 스피커를 포함할 수 있다. 각각의 로컬 설비는 또한 로컬 설비에서 생성되는 소리들(로컬 참가자의 음성 등)을 검출하기 위한 마이크를 포함할 수 있다. 각각의 로컬 설비는 그의 마이크에 의해 생성된 오디오 정보를, 예컨대, 원격 설비들로 전달하는 앞서 기술된 로컬 입력 정보의 일부로서, 다른 원격 설비들로 전달할 수 있다.
도 5는 도 3 또는 도 4에서의 3차원(3D) 장면 정보를 제공하기 위해 사용될 수 있는 로컬 처리 시스템(500)의 하나의 구현을 도시한 것이다. 즉, 하나의 해석에서, 로컬 처리 시스템(500)은 도 3에 도시된 로컬 처리 시스템(312)에 대응한다. 다른 해석에서, 로컬 처리 시스템(500)은 도 4에 도시된 로컬 처리 시스템(416)에 대응한다. 로컬 처리 시스템(312)이 어떤 점들에서 로컬 처리 시스템(416)과 상이할 수 있지만, 도 5는 이 2개의 구현들 간의 기능의 공통점에 주로 중점을 두고 있다.
로컬 영상 구성 모듈(local image construction module)(502)은 설비의 로컬 카메라 기능부(310 또는 414)로부터 로컬 카메라 정보를 수신한다. 로컬 영상 구성 모듈(502)은 이어서 로컬 카메라 정보에 기초하여 3D 객체 정보를 형성한다. 제1 단계로서, 로컬 영상 구성 모듈(502)은 카메라 정보의 각각의 인스턴스를 단일의 좌표 공간으로 변환할 수 있다. 즉, 설비는 상이한 관점들로부터 참가자의 표현(representation)을 포착하기 위해 다수의 카메라들을 로컬 참가자 주위의 상이한 위치들에 제공할 수 있다. 각각의 카메라는 카메라 정보의 개별적인 인스턴스를 생성한다. 로컬 영상 구성 모듈(502)은 카메라 정보의 상이한 인스턴스들을, 예컨대, 카메라 정보의 각각의 인스턴스에 적절한 좌표 변환을 적용하는 것에 의해, 실제 공간에 있는 객체들의 단일의 합성 표현으로 병합시킬 수 있다.
로컬 영상 구성 모듈(502)은 이어서 통합된 카메라 정보에 의해 제공되는 깊이 정보를 처리하여, 로컬 3D 객체 정보를 생성할 수 있다. 제한 없이, 하나의 대표적인 접근법에서, 로컬 영상 구성 모듈(502)은 설비의 실제 공간에 있는 객체들의 3D 메쉬(3D mesh)들을 생성하기 위해 깊이 정보를 사용할 수 있다. 각각의 3D 메쉬는, 예컨대, 깊이 정보에서의 정점들에 의해 정의되는 복수의 삼각형들로 이루어진, 실제 공간에 있는 객체의 와이어프레임 모델(wireframe model)에 비유될 수 있다. 로컬 영상 구성 모듈(502)은 이어서 비디오 정보를 3D 메쉬들에 적용할 수 있다. 즉, 하나의 구현에서, 로컬 영상 구성 모듈(502)은 신체에 대한 피부의 방식으로 비디오 정보를 3D 메쉬들에 "입혀(paste)"질 수 있는 텍스처로서 처리한다.
추적 모듈(504)은 설비와 연관된 실제 공간에서의 다양한 객체들의 위치를 추적할 수 있다. 추적 모듈(504)은 이 작업을 수행하기 위해 하나 이상의 기법들을 사용할 수 있다. 하나의 경우에, 추적 모듈(504)은 각각의 참가자의 신체를 골격으로서, 즉 선분들에 의해 서로 연결된 관절들의 집합체로서, 표현하기 위해 앞서 기술된 Kinect™™디바이스를 사용한다. 추적 모듈(504)은 이어서, 참가자가 실제 공간 내에서 움직일 때, 이 골격의 관절들의 움직임을 추적할 수 있다. 다른 대안으로서 또는 그에 부가하여, 추적 모듈(504)은 참가자의 머리의 움직임을 추적하기 위해 임의의 머리 움직임 기술을 사용할 수 있다. 다른 대안으로서 또는 그에 부가하여, 추적 모듈(504)은 참가자의 눈 시선(eye gaze)을 추적하기 위해 임의의 눈 시선 인식 기술을 사용할 수 있다.
이상의 예들에서, 추적 모듈(504)은 앞서 기술된 로컬 카메라 정보에 기초하여 실제 공간에서의 객체들의 움직임들을 추적한다. 다른 대안으로서 또는 그에 부가하여, 추적 모듈(504)은 실제 공간에서의 객체들의 위치들을 나타내는 보조 정보를 수집할 수 있다. 예를 들어, 제1 참가자(202)가 실제 공간(204) 내에서 움직이는 직사각형 객체(216)가 스마트폰 등에 대응하는 도 2에 도시된 시나리오를 생각해보자. 스마트폰은 전형적으로 자이로스코프 및/또는 가속도계와 같은 하나 이상의 위치 결정 디바이스들을 포함한다. 이들 디바이스는 스마트폰의 상대 위치를 나타내는 위치 정보를 제공한다. 추적 모듈(504)은 이들 디바이스로부터 위치 정보를 수신하고 그 위치 정보를 골격 추적 시스템에 의해 제공되는 위치 정보와 결합시킬 수 있다. 얻어진 위치 정보는, 골격 추적 시스템에 의해서만 제공되는 위치 데이터를 사용하는 것과 비교하여, 향상된 정확도로 [직사각형 객체(216)를 들고 있는] 참가자의 손의 위치를 규정할 수 있다.
다른 대안으로서 또는 그에 부가하여, 보조 태그(supplemental tag)들이 설비의 실제 공간에 있는 객체들에 부착될 수 있다. 예를 들어, RF 태그들이 참가자의 손들 및 머리에 그리고 실제 공간에 있는 각각의 물리적 객체에 부착될 수 있다. 추적 모듈(504)은 이들 태그로부터 획득되는 보조 위치 정보를 수신할 수 있다.
이상의 추적 기술들은 제한이 아니라 예로서 언급되어 있다. 다른 구현들은 실제 공간에서의 신체들 및 다른 객체들의 위치들을 결정하기 위해 다른 기법들을 사용할 수 있다. 추가로 유의할 점은, 로컬 처리 시스템(500)이, 예컨대, 로컬 처리 시스템(500)의 구현에 따라 그리고 로컬 추적 시스템(500)이 사용되고 있는 모드에 따라, 다양한 정도로 추적 정보를 사용할 수 있다는 것이다. 어떤 경우들에서, 로컬 처리 시스템(500)은 추적 정보를 사용하지 않거나, 추적 정보를 최소한으로 사용할 수 있다.
예를 들어, 로컬 처리 시스템(500)이 도 4의 환경(400)에서 사용되고 그 목적이 단지 참가자들의 영상들을 가상 공간에서 서로 나란히 있는 관계로 제시하는 데 있는 것으로 가정한다. 게다가, 각각의 참가자가 그의 설비의 실제 공간에서의 미리 결정된 영역에 존재할 것으로 예상된다고 가정한다. 로컬 처리 시스템(500)은, 예를 들어, 각각의 참가자의 손들의 정확한 추적을 수행하지 않고, 원하는 가상 공간을 생성할 수 있다.
전송 모듈(506)은 로컬 입력 정보를 원격 몰입 세션의 다른 원격 참가자들에게 전달한다. 앞서 설명된 바와 같이, 로컬 입력 정보는 로컬 설비에 의해 제공되는 원시 카메라 정보 및/또는, 예를 들어, 로컬 영상 구성 모듈(502)에 의해 제공되는 처리된 로컬 3D 객체 정보에 대응할 수 있다. 전송 모듈(506)은 로컬 입력 정보를 전송하기 위해, 전송 모듈(506)이 로컬 입력 정보를 원격 설비들과 연관된 상이한 목적지들로 브로드캐스트하는 다중화(multiplexing) 기법과 같은, 임의의 기법을 사용할 수 있다.
영상 합성 모듈(image composition module)(508)은 영상 구성 모듈(502)로부터의 3D 객체 정보는 물론, 다양한 원격 설비들로부터의 원격 3D 객체 정보의 인스턴스들을 수신한다. 이 정보에 기초하여, 영상 합성 모듈(508)은 거울 기능부(314 또는 402)의 디스플레이 디바이스(318 또는 418)로 출력하기 위한 3D 장면 정보를 생성한다.
영상 합성 모듈(508)은 상이한 각자의 기능들을 수행하는 복수의 서브모듈들을 포함할 수 있다(또는 포함하는 것으로 개념화될 수 있다). 영상 변환 모듈(510)은 3D 객체 정보의 각각의 인스턴스를 모델링되고 있는 메타포 거울(metaphorical mirror)과 연관된 공통의 좌표 공간으로 변환한다. 영상 변환 모듈(510)은 또한 3D 객체 정보의 다양한 인스턴스들에 적절한 스케일링을 적용할 수 있다. 선택적인 물리 시뮬레이션 엔진(512)은 도 2와 관련하여 기술된 가상 공(226)과 같은, 가상 장면에 있는 임의의 가상 객체들에 시뮬레이션 효과들을 적용할 수 있다. 영상 조립 모듈(514)은 장면의 다양한 상이한 부분들을 통합된 3D 장면 정보로 조립할 수 있다.
물리 시뮬레이션 엔진(512)은 강체 역학(rigid body dynamics), 연체 역학(soft body dynamics) 등을 고려하는 모델들을 비롯하여, 3D 가상 객체들을 현실적인 또는 비현실적인 방식으로 조작하기 위해 공지된 시뮬레이션 알고리즘들에, 적어도 부분적으로, 의존할 수 있다. 예시적인 공지된 물리 시뮬레이터는 미국 캘리포니아주 산타 클라라 소재의 Nvidia Corporation에 의해 제공되는 PhysX; 아일랜드 더블린 소재의 Havok에 의해 제공되는 Havok Physics; Julio Jerez 및 Alain Suero에 의해 제작된 Newton Game Dynamics 등을 포함한다.
보조 기능 관리 모듈(supplemental feature management module)(516)(줄여서 "관리 모듈"이라고 함)은 3D 장면 정보에 추가될 수 있는 보조 정보를 제공한다. 예를 들어, 관리 모듈(516)은 로컬 참가자가 거울 기능부(314, 402)의 표면 상에 기입했다는 것을 나타내는 필기 정보를 거울 기능부(314, 402)로부터 수신할 수 있다. 관리 모듈(516)은 이어서 필기 정보를 영상 합성 모듈(508)로 전달할 수 있고, 영상 합성 모듈(508)에서, 필기 정보가 생성 중인 3D 장면 내에 통합될 수 있다. 섹션 A에서 살펴본 바와 같이, 임의의 참가자가 또한 임의의 방식으로 가상 공간에 추가된 메모와 상호작용할 수 있다. 관리 모듈(516)은 또한 이러한 상호작용을 관리할 수 있다.
보다 구체적으로는, 도 4의 경우에, 디스플레이 디바이스(418)는 터치 감응 표면을 포함할 수 있다. 디스플레이 디바이스(418)는 참가자가, 예컨대, 스타일러스, 손가락, 또는 어떤 다른 도구를 사용하여, 터치 감응 표면과 상호작용할 때 필기 정보를 생성할 수 있다. 다른 대안으로서 또는 그에 부가하여, 로컬 참가자의 디스플레이 디바이스(418)와의 상호작용을 검출하기 위해 그리고 그 결과로서 필기 정보를 생성하기 위해, 카메라가 디스플레이 디바이스(418)의 전방에 및/또는 후방에 배치될 수 있다. 이와 유사하게, 도 3의 경우에, 반투명 거울(316)은 터치 감응 표면을 포함할 수 있고, 참가자가 터치 감응 표면과 접촉할 때 터치 감응 표면은 필기 정보를 생성한다. 다른 대안으로서 또는 그에 부가하여, 로컬 참가자의 반투명 거울(316)과의 상호작용을 검출하기 위해 그리고 그 결과로서 필기 정보를 생성하기 위해, 카메라가 반투명 거울(316)의 전방에 및/또는 후방에 배치될 수 있다. 또는, 도 3의 설비(302)는 로컬 참가자가 기입할 수 있는 별도의 투명 부재(도시 생략)를 반투명 거울(316)의 전방에 제공할 수 있고, 설비(302)는 그 결과로서 필기 정보를 생성할 수 있다. 다른 대안으로서 또는 그에 부가하여, 로컬 참가자는 메모를 제공하기 위해, 키패드, 마우스 디바이스, 음성 인식 메커니즘 등(이들로 제한되지 않음)과 같은 임의의 다른 입력 메커니즘(들)을 사용할 수 있다.
관리 모듈(516)은 또한 문서의 검색 및 조작을 관리할 수 있다. 예를 들어, 관리 모듈(516)은 임의의 입력 메커니즘을 사용하여 로컬 참가자로부터 명령을 수신할 수 있다. 관리 모듈(516)은 이어서, 예컨대, 로컬 참가자가 음성 명령 "2012년도 소득세 신고서 검색"을 말할 때 또는 로컬 참가자가 이 명령을 임의의 다른 입력 메커니즘을 통해 입력할 때 "2012년도 소득세 신고서"이라는 이름의 파일에 대한 스프레드시트 문서를 검색하는 것에 의해, 명령에 의해 지정되는 문서를 검색할 수 있다. 환경은 이어서 원격 몰입 세션의 임의의 참가자가 문서를 세션 A에 앞서 기술된 임의의 방식으로 조작할 수 있게 할 수 있다.
관리 모듈(516)은 또한 도 2에 도시된 대표적인 제어 기능부(234)와 같은, 임의의 종류의 제어 기능부를 가상 공간에 디스플레이할 수 있다. 관리 모듈(516)은 또한 로컬 참가자의 제어 기능부와의 상호작용을 검출하고, 이어서 참가자의 상호작용에 기초하여 적절한 조치(들)를 취할 수 있다.
앞서 기술된 관리 기능들은 제한이 아니라 예로서 언급되어 있다. 다른 구현들에서, 관리 모듈(516)은 또 다른 기능들을 수행할 수 있다.
영상 합성 모듈(508)은 또한 선택적인 그래픽 라이브러리(518)로부터 그래픽 정보를 수신할 수 있다. 예를 들어, 그래픽 라이브러리(518)는 도 2에 도시된 가상 공(226)과 같은, 다양한 내장 객체(stock object)들과 연관된 3D 객체 정보의 인스턴스들을 포함할 수 있다. 동작을 설명하면, 영상 합성 모듈(508)은 생성 중인 3D 장면이 그래픽 라이브러리(518)에 의해 표현되는 임의의 가상 객체들을 포함할 것인지를 결정할 수 있다. 그러한 경우, 영상 합성 모듈(508)은 그래픽 라이브러리(518)로부터 3D 객체 정보의 적절한 인스턴스를 검색하고 그것을 생성 중인 장면 내에 통합시킨다.
도 5는 또한 영상 합성 모듈(508)이 로컬 참가자로부터 다양한 구성 지시들을 수신한다는 것을 나타내고 있다. 예를 들어, 로컬 참가자는 도 4의 거울 기능부(402)가 그 자신의 가상 영상(예컨대, 가상 반사)을 디스플레이 디바이스(418) 상에 디스플레이할 것인지 여부를 지정할 수 있다. 참가자가 "아니오"를 지정하는 경우, 그 결과 얻어진 가상 공간은 로컬 참가자의 가상 표현을 포함하지 않을 것이다. 그러나 다른 참가자들은 그럼에도 불구하고 로컬 참가자의 가상 영상을 여전히 볼 것이다. 로컬 참가자는, 예컨대, 원격 참가자의 음성의 볼륨을 조절하는 것, 참가자들이 가상 공간에 나타나는 순서를 지정하는 것 등에 의해, 임의의 다른 구성 지시들을 제공할 수 있다.
C. 예시적인 변형 및 확장
이 섹션은 섹션 A 및 섹션 B에 기재된 개념들 및 기능부의 다양한 수정들 및 확장들에 관한 상세를 제공한다.
도 6은 도 1 내지 도 5에 기재된 개념들의 제1 변형을 도시하고 있다. 즉, 도 3 및 도 4의 예들에서, 거울 기능부(314, 402)는 평면 디스플레이 표면을 가지는 디스플레이 디바이스(318, 418)를 사용한다. 이와 달리, 도 6은 곡면 디스플레이 표면을 가지는 디스플레이 디바이스(602)를 가지는 거울 기능부를 도시하고 있다. 예를 들어, 디스플레이 디바이스(602)는 반원 형상의 표면, 포물선 모양의 표면 등을 가질 수 있다. 로컬 참가자(604)는 디스플레이 디바이스(602)의 곡면 표면의 중앙에 또는 그 근방에 있는 관점으로부터 디스플레이 디바이스(602) 상에 제시되는 콘텐츠를 볼 수 있다. 보다 구체적으로는, 참가자의 설비의 로컬 처리 시스템은 사용자들이 평면 거울의 전방에 나란히 서 있는 것처럼 3D 장면 정보를 계속하여 계산할 수 있다. 그러나, 도 6의 구현에서, 로컬 처리 시스템은 이 3D 장면 정보을 곡면 표면을 가지는 디스플레이 디바이스(602) 상에 제시한다. 3D 장면 정보는 로컬 참가자의 가상 영상을 선택적으로 포함하거나 포함하지 않을 수 있다.
도 6의 배열은 로컬 참가자(604)에게, 자신이 원형 테이블의 중앙 근방에 앉아 있는 것처럼, 원격 참가자들이 그 주위에 배치되어 있다는 인상을 준다. 로컬 참가자(604)는 많은 수의 참가자들이 있는 그러한 시나리오들에서 이러한 제시 방식이 도움이 된다는 것을 알 수 있고; 즉, 이 구성은, 선형 배열과 비교하여, 로컬 참가자(604)가 원격 참가자들을 보다 효과적으로 볼 수 있게 할 것이다. 게다가, 로컬 참가자(604)는 다른 참가자들과 이야기하기 위해 고개(또는 신체 전체)를 돌릴 수 있다. 이러한 회전은 원격 참가자들이 로컬 참가자(604)의 전방에 선형으로 배열되어 있는 경우와 비교하여 더 두드러질 수 있다. 이 측면은 로컬 참가자(604)의 관심의 방향을 원격 참가자(들)에게 보다 효과적으로 드러냄으로써 상호작용을 개선시킬 수 있다.
도 7은 도 1 내지 도 5에 기재된 개념들의 다른 변형을 도시한 것이다. 즉, 도 3 및 도 4의 예들에서, 거울 기능부(314, 402)는 비교적 대형의 디스플레이 디바이스(318, 418)를 사용한다. 예를 들어, 디스플레이 디바이스(318, 418)는 원격 몰입 세션의 각각의 참가자의 실물 크기의 가상 영상을 디스플레이하기에 충분히 클 수 있다. 그러나 거울 기능부의 디스플레이 디바이스는 임의의 크기를 가질 수 있고, 참가자들의 가상 영상들이 임의의 방식으로 스케일링될 수 있다. 예를 들어, 도 7은 원격 몰입 세션의 참가자들의 가상 영상들을 디스플레이하기 위해 휴대용(예컨대, 핸드헬드) 디스플레이 디바이스(702)를 사용하는 거울 기능부를 도시하고 있다. 디스플레이 디바이스(702)는 앞서 기술된 동일한 거울 메타포를 사용하여 각각의 참가자의 축소된 버전을 보여준다. 디스플레이 디바이스(702)는, 예를 들어, 스마트폰, 전자책 리더 디바이스, 휴대용 게임 디바이스, 태블릿 컴퓨팅 디바이스, PDA(personal digital assistant) 디바이스, 랩톱 컴퓨팅 디바이스, 넷북형 컴퓨팅 디바이스 등 중 임의의 것에 대응할 수 있다.
디스플레이 디바이스(702)는 참가자들 중 한 명 이상이 움직이고 있는 동적 환경을 비롯한 임의의 환경에서 원격 몰입 경험을 제공할 수 있다. 도 7은, 예를 들어, 차량(704)의 내부에서의 디스플레이 디바이스(702)의 예시적인 사용을 나타내고 있다. 로컬 참가자(706)는 차량(704)의 운전자에 대응할 수 있다. 운전자는 디스플레이 디바이스(702)를 차량(704)의 대시보드(dashboard) 상에, 예컨대, 제어 패널(control panel)(708) 위쪽에, 설치할 수 있다. 디스플레이 디바이스(702)는 종래의 전원 코드(710)를 통해 차량(704)으로부터 및/또는 그 자신의 내부 배터리 전원으로부터 전력을 받을 수 있다. 차량(704)의 내부는 또한, 예컨대, 내부의 다양한 장소들에 위치된 하나 이상의 카메라들을 제공하는 것에 의해, 영상 포착 기능부를 포함할 수 있다. 디스플레이 디바이스(702)는 하나의 이러한 카메라(712)를 제공할 수 있다. 백미러(rear view mirror)는 다른 카메라(714)를 제공할 수 있다. 영상 포착 기능부는 앞서 기술된 방식으로, 예컨대, 차량의 내부의 깊이 영상을 생성하는 데 사용될 수 있는 정보를, 비디오 영상 정보와 함께, 제공하는 것에 의해, 로컬 참가자(706)의 표현을 제공한다.
하나의 경우에, 원격 몰입 세션의 임의의 원격 참가자는 다른 차량에, 자신의 집이나 사무실에, 또는 임의의 다른 장소(locale)에 위치해 있을 수 있다. 다른 경우에서, "원격" 참가자들 중 적어도 일부는 차량(704) 자체에, 예컨대, 차량(704)의 뒷좌석에 위치해 있을 수 있다. 로컬 참가자(706)는, 뒷좌석에 있는 참가자들과 이야기하기 위해 고개를 돌리는 것보다는, 디스플레이 디바이스(702)를 통해 뒷좌석 참가자들과 대화하는 것이 유용하다는 것을 알 수 있다. 현지법이 허용하는 경우, 로컬 참가자(706)는 운전 중에 원격 몰입 세션에 참여하기 위해 앞서 기술된 기법을 사용할 수 있다. 법규가 이러한 종류의 행동을 허용하지 않는 경우, 로컬 참가자(706)는 차량이 움직이지 않는 동안 세션을 수행할 수 있다. 다른 시나리오들에서, 로컬 참가자(706)는 디스플레이 디바이스(702)를 그의 마운트(mount)로부터 분리시키고, 걸으면서 또는 임의의 다른 장소에서 원격 몰입 세션을 계속할 수 있다.
명확하게 하기 위한 끝맺음 말로써, 도 3 내지 도 5는 로컬 처리 시스템(312, 416, 500)에 의해 제공되는 모든 처리가 로컬 설비에서 수행되는 일례를 제공한다. 다른 대안으로서, 이 처리의 적어도 어떤 부분들이 원격 클라우드 컴퓨팅 기능부와 같은 원격 처리 기능부로 위임될 수 있다. 이 구현은 앞서 기술된 모바일 시나리오에서, 예컨대, 디스플레이 디바이스(702)가 제한된 처리 능력을 가질 수 있는 그러한 경우들에서 특히 유용할 수 있다.
도 8은 도 1 내지 도 5에 기재된 개념들의 다른 변형을 도시한 것이다. 보다 구체적으로는, 도 1 및 도 2의 예들에서, 환경(100)은 반사 가상 영상들(110)을 포함하는 가상 공간(108)을 생성한다. 즉, 가상 공간(108)에 있는 가상 영상들(110)은 거울 기능부(106)에 의해 생성되는, 실제 공간(104)에 있는 실제 엔터티들의 반사들에 대응한다. 다른 구현에서, 가상 공간(108)이 실제 공간(104)에 있는 실제 엔터티들 및 거울 기능부(106)에 의해 생성되는 반사들 둘 다의 가상 표현들을 제시하도록 확장될 수 있다. 실제 엔터티들의 가상 표현들은 본 명세서에서 가상 실제 엔터티(virtual-actual entity)[예컨대, 가상 실제 참가자(virtual-actual participant), 가상 실제 객체 등]라고 지칭된다. 반사들의 가상 표현들은 가상 반사 엔터티(virtual-reflected entity)[예컨대, 가상 반사 참가자(virtual-reflected participant), 가상 반사 객체 등]라고 지칭된다. 도 2의 가상 공간(206)에 도시된 각각의 엔터티는 가상 반사 참가자 또는 가상 반사 객체, 또는 순수 가상 객체를 구성한다. 순수 가상 객체는, 가상 공(226)의 경우에서와 같이, 환경(100)의 실제 공간들 중 임의의 실제 공간에 실제 대응물을 갖지 않는다.
도 8에서, 제1 참가자(802) 및 제2 참가자는 환경(100)의 수정된 버전을 사용하여 원격 몰입 세션에 참여한다. 즉, 제1 참가자(802)는 로컬 설비(804)를 사용하여 제1 위치에서 작업한다. 그 상황은 제1 참가자(802)와 연관된 실제 공간(806)을 제공한다. 현 시점에서, 제1 참가자(802)는 직사각형 객체(808)를 왼손에 들고서, 제2 참가자에 의한 검사를 위해 그것을 제시하고 있다. 제2 참가자는 제1 위치에 대해 원격지에 있는 제2 위치에서 작업한다. 제2 참가자는 원격 설비(도시 생략)를 사용한다. 현 시점에서, 제2 참가자는 제1 참가자(802)가 들고 있는 직사각형 객체(808)를 가리키고 있다.
도 8은 제1 참가자(802)의 시점으로부터의 원격 몰입 경험을 도시하고 있다. 즉, 환경(100)은 도 2의 가상 공간(206)과 유사한 가상 반사 공간(810)을 제공한다. 가상 반사 공간(810)은 제1 참가자(802)의 가상 반사 영상(812), 제2 참가자의 가상 반사 영상(814), 직사각형 객체(808)에 대응하는 가상 반사 직사각형 객체(816), 및 제1 참가자(802)가 작업 공간 테이블 상에 올려 놓은 실제 공(도시 생략)에 대응하는 가상 반사 공(818)을 포함한다.
그에 부가하여, 환경(100)은 메타포 거울 앞에 서 있는 엔터티들을 표현하는 가상 실제 공간(820)을 생성할 수 있다[이와 달리, 가상 반사 공간(810)은 메타포 거울에 나타나는 반사들에 대응함]. 가상 실제 공간(820)은 제1 참가자(802)의 선택적인 가상 실제 영상(822), 제2 참가자의 가상 실제 영상(824), 실제 직사각형 객체(808)에 대응하는 가상 실제 직사각형 객체(826), 및 제1 참가자(802)가 작업 공간 테이블 상에 올려 놓은 실제 공(도시 생략)에 대응하는 가상 실제 공(818)을 포함한다. 다른 구성에서, 환경(100)은 제1 참가자(802)와 연관된 가상 실제 영상(822)을 포함하지 않을 수 있다. 게다가, 유의할 점은, 다양한 가상 실제 영상들이 실제 공간에 있는 실제 엔터티들의 완전한 버전들에 대응한다는 것이다. 그러나, 환경(100)은 또한, 메타포 거울로부터 미리 정해진 거리 내에 있는 실제 엔터티들의 그 일부분들만을 보여주는 것 등에 의해(이 예에서, 제1 참가자 및 제2 참가자의 팔 및 손만을 보여주는 것 등), 실제 엔터티들의 부분적 표현들을 나타내는 가상 실제 영상들을 디스플레이할 수 있다.
전체적으로 보면, 환경(100)은 가상 실제 공간(820) 및 가상 반사 공간(810)으로 이루어져 있는 가상 공간(830)을 제공한다. 이 가상 공간(830)은 섹션 A의 예들과 비교하여 향상된 몰입 느낌을 로컬 제1 참가자(802)에게 제공할 수 있다. 예를 들어, 섹션 A의 예들에서와 같이, 제1 참가자(802)는 제2 참가자의 가상 반사 영상(814)의 움직임을 지켜보는 것에 의해 제2 참가자의 행동들을 볼 수 있다. 그에 부가하여 또는 다른 대안으로서, 도 8의 구현은 제1 참가자(802)가 가상 실제 영상(824)의 움직임을 지켜보는 것에 의해 제2 참가자의 행동들을 볼 수 있게 한다. 즉, 제1 참가자(802)는 제2 참가자가 거울의 전방에서 어떻게 행동하고 있는지를 보기 위해 고개를 약간 좌측으로 돌릴 수 있고, 그리고/또는 메타포 거울 자체를 볼 수 있다.
도 8에서의 작업 공간 테이블은 실제 설비들 모두에 있는 실제 작업 공간 테이블들 상에 놓여 있는 객체들 전부를 모아 놓을 수 있다. 즉, 가상 반사 공간(810)은 이들 객체가 메타포 거울의 표면 상에 나타나는 것처럼 이들 객체의 표현을 포함한다. 가상 실제 공간(820)은 이들 객체가 물리적 작업 공간 테이블들 상에 놓여 있는 것처럼 이들 객체의 직접적인 표현을 포함한다.
추가로 유의할 점은, 임의의 참가자가 임의의 공간에 있는 가상 객체와 상호작용할 수 있다는 것이다. 예를 들어, 섹션 A의 예들에서와 같이, 참가자는 가상 반사 공간(810)에 나타나는 가상 반사 객체와 계속 상호작용할 수 있다. 그에 부가하여 또는 다른 대안으로서, 도 8의 구현을 사용하여, 참가자는 가상 실제 공간(820)에 나타나는 가상 실제 객체와 상호작용할 수 있다. 참가자가 이들 가상 공간 중 하나에 대해 변경을 하는 경우, 환경(100)은 대응하는 가상 공간에 대응하는 변경을 생성할 수 있고; 예를 들어, 사용자가 가상 반사 공간(810)에서 가상 반사 공을 움직이는 경우, 환경(100)은 가상 실제 공간(820)에서 대응하는 가상 실제 공의 대응하는 움직임을 일어나게 할 수 있다.
도 8의 추가된 특징들이 다양한 방식들로 구현될 수 있다. 제1 접근법에서, 환경(100)은 앞서 기술된 방식으로, 예컨대, 도 3에 도시된 구현 또는 도 4에 도시된 구현을 사용하여, 가상 반사 공간(810)을 계속 제공할 수 있다. 즉, 환경(100)은 (1) 카메라 정보를 포착할 수 있고; (2) 카메라 정보를 3D 객체들의 집합체로 변환시킬 수 있으며; (3) 3D 객체들을 3D 장면 정보로 조립할 수 있다. 3D 장면 정보의 이 제1 인스턴스는 3D 객체들을 메타포 거울에서의 반사들의 시점으로부터 투영한다.
로컬 설비(804)[로컬 제1 참가자(802)와 연관되어 있음]는 3D 장면 정보의 제1 인스턴스를 제시하기 위해 거울 기능부(832)를 사용할 수 있다. 예를 들어, 거울 기능부(832)는 도 3 또는 도 4에 기술된 거울 기능부(314, 402) 또는 어떤 다른 구현을 사용하여 구현될 수 있다. 거울 기능부(832)의 표면은 계속하여 메타포 거울의 표면을 규정한다.
그에 부가하여, 로컬 설비(804)는 다른 시점 - 즉, 가상 실제 공간(820) 내의 가상 엔터티들의 시점 - 으로부터 동일한 3D 객체들을 투사하는 것에 의해 3D 장면 정보의 제2 인스턴스를 생성할 수 있다. 환언하면, 이 동작은 새로운 3D 객체들을 생성하는 것을 포함하지 않고 기존의 3D 객체들을 새로운 시점으로부터 투영하여 3D 장면 정보의 다른 인스턴스를 생성하는 것을 포함한다.
로컬 설비(804)는 이어서 3D 장면 정보의 제2 인스턴스를 하나 이상의 보조 디스플레이 디바이스들을 사용하여 투영할 수 있다. 예를 들어, 제1 참가자(802)의 좌측에 있는 제2 디스플레이 디바이스(834)는 제1 참가자(802)의 좌측에 있는 임의의 참가자(들)의 가상 표현을, 예컨대, 가상 실제 영상(824)을 디스플레이하는 것에 의해, 제시할 수 있다. 제1 참가자(802)의 우측에 있는 제3 디스플레이 디바이스(836)는 제1 참가자(802)의 우측에 있는 임의의 참가자(들)의 가상 표현을 제시할 수 있다(이 경우에, 이 방향에는 참가자들이 없음). 디스플레이 디바이스들(834, 836)은 LCD 디스플레이 디바이스, 입체 디스플레이 디바이스 등에 대응할 수 있다.
다른 경우에서, 입체 프로젝터 디스플레이 디바이스가 제1 참가자(802) 위쪽에 배치될 수 있다. 그 디바이스는 3D 장면을 제1 참가자(802) 주위의 영역(그의 좌우측에 있는 영역들을 포함함)에 투영할 수 있다. 제1 참가자(802)는 그 결과 얻어진 3D 장면을 셔터 안경 또는 어떤 다른 메커니즘을 사용하여 볼 수 있다. 가상 공간(830)을 제시하는 또 다른 방식들이 가능하다.
환경(100)은 가상 객체들의 조작을 앞서 기술된 방식으로 구현할 수 있다. 즉, 환경(100)은 환경(100)의 실제 공간들에 있는 객체들의 위치들을 결정하기 위해 임의의 추적 기술(들)을 사용할 수 있다. 환경(100)은 임의의 참가자가 가상 객체를 임의의 방식으로 조작하려고 시도하는 때를 정확하게 결정하기 위해 이 지식을 사용할 수 있다.
제2 구현에서, 환경(100)은 단일의 디스플레이 디바이스를 사용하여 가상 공간(830)의 모든 측면들을 제시할 수 있다. 환언하면, 이 단일의 디스플레이 디바이스는 가상 반사 공간(810)과 연관된 모든 엔터티들 및 가상 실제 공간(820)과 연관된 모든 엔터티들을 포함하는, 가상 공간(830)과 연관된 완전한 장면을 제시한다. 단일의 디스플레이 디바이스는 LCD 디스플레이, 입체 디스플레이, 입체 프로젝터 등에 대응할 수 있다. 환경(100)은 임의의 시점으로부터 이 3D 장면을 제시할 수 있다. 예를 들어, 도 8의 도시에서, 디스플레이 디바이스는 가상 실제 참가자들의 후방에 있는 시뮬레이트된 카메라 위치로부터 3D 장면을 제시한다. 게다가, 환경(100)은 각각의 로컬 참가자가 원격 몰입 세션 동안 3D 장면이 제시되는 관점은 물론, 3D 장면에 포함되는 객체들의 유형들을 동적으로 선택할 수 있게 할 것이다.
이 단일 디스플레이 구현에서, 각각의 로컬 참가자는 그가 참가자들 중 한 명으로 있는 몰입 세션의 "외부" 관찰자로서 기능한다. 단일의 디스플레이 디바이스는 메타포 거울의 표면을 나타낼 수 있다. 그러나, 디스플레이 디바이스 자체의 표면은 그 메타포 거울의 표면에 더 이상 대응하지 않을 수 있다. 이것은 각각의 참가자가 세션 "내로부터" 세션을 관찰하고 거울 기능부(832)의 표면이 메타포 거울의 표면을 규정하는 제1 언급된 구현과 반대이다.
제3 구현에서, 환경(100)은 가상 반사 공간(810)에 영상들을, 예컨대, 단일의 디스플레이 디바이스를 사용하여, 제시하기 위해 도 4에 도시된 배열을 사용할 수 있다. 그에 부가하여, 그 동일한 디스플레이 디바이스는 가상 실제 공간(820)에서의 영상들의 적어도 일부들을 제시할 수 있다. 예를 들어, 실제의 제1 참가자(802)의 시점을 생각해보자. 제1 참가자는 가상 반사 공간(810)에 있는 모든 영상들을 볼 수 있다. 그에 부가하여, 제1 참가자는 적어도 [가상 반사 직사각형 객체(816)를 가리키고 있는] 제2 참가자의 [가상 실제 영상(824)의] 가상 실제 팔뚝 및 가상 실제 공(828)을 볼 수 있다. 하나의 선택적인 구성에서, 제1 참가자는 또한 [가상 실제 영상(822)의 일부인] 그 자신의 가상 실제 팔뚝은 물론, 가상 실제 직사각형 객체(826)를 볼 수 있다. 환언하면, 디스플레이 디바이스는 반사들은 물론 거울 표면의 정면에 나타나는 장면의 적어도 일부들을 포착한다. 디스플레이 디바이스는 LCD 디스플레이, 입체 디스플레이, 입체 프로젝터 등과 같은 앞서 기술된 임의의 방식으로 구현될 수 있다. 입체 디스플레이 메커니즘은 이 실시예에서 특히 효과적일 수 있는데, 그 이유는 관찰자가 거울 표면의 전방에 나타내는 객체들과 가상 반사 객체들을 구분하는 데 도움을 줄 수 있기 때문이다.
도 8과 관련하여 기재된 개념들의 또 다른 구현들이 가능하다.
D. 예시적인 프로세스
도 9는 도 5의 로컬 처리 시스템(500)의 "시점"으로부터 앞서 기술된 환경들 중 임의의 환경의 하나의 동작 방식을 설명하는 절차(900)를 도시한 것이다. 로컬 처리 시스템(500)의 동작의 기초를 이루는 원리들이 섹션 A에 이미 기술되었기 때문에, 특정 동작들이 이 섹션에서 간략한 방식으로 언급될 것이다.
블록(902)에서, 로컬 처리 시스템(500)은 로컬 영상 포착 기능부(310, 414)로부터 로컬 카메라 정보를 수신한다. 이 정보는 원격 몰입 세션의 로컬 참가자의 모습, 및 로컬 설비의 실제 공간에 있는 임의의 다른 객체들을 나타낸다.
블록(904)에서, 로컬 처리 시스템(500)은 로컬 카메라 정보에 기초하여 3D 객체 정보를 생성한다. 이 동작은 로컬 설비의 실제 공간에 있는 각각의 객체의 3D 메쉬를 생성하기 위해 깊이 정보를 사용하는 것, 및 이어서 비디오 정보를 텍스처로서 3D 메쉬에 적용하는 것을 수반할 수 있다.
블록(906)에서, 로컬 처리 시스템(500)은 로컬 입력 정보를 각자의 원격 설비들에 의해 제공되는 원격 처리 시스템들 각각으로 전송한다. 로컬 입력 정보는 원시 로컬 카메라 정보[블록(902)에서 수신됨] 및/또는 처리된 3D 객체 정보[블록(904)에서 제공됨]와 같은, 로컬 처리 시스템(500)에 의해 식별되는 객체들에 관한 임의의 정보를 포함할 수 있다.
블록(908)에서, 로컬 처리 시스템(500)은 원격 입력 정보를 각각의 원격 설비의 각각의 원격 처리 시스템으로부터 수신한다. 로컬 입력 정보와 유사하게, 원격 입력 정보도 원시 원격 카메라 정보 및/또는 처리된 원격 3D 객체 정보와 같은, 원격 처리 시스템들에 의해 식별되는 객체들에 관한 임의의 정보에 대응할 수 있다.
블록(910)에서, 로컬 처리 시스템(500)은 로컬 3D 객체 정보 및 원격 입력 정보에 기초하여 3D 장면 정보를 합성한다. 이 합성 동작은 개별적인 3D 객체들을 공통의 좌표 공간 내로 투영하는 것, 및 3D 장면의 다양한 부분들에 대해 적절한 스케일링을 수행하는 것을 포함할 수 있다. 합성 동작은 또한 필기 정보, 검색된 문서, 제어 기능부 등과 같은 보조 정보를 3D 장면에 통합시키는 것을 포함할 수 있다.
블록(912)에서, 로컬 처리 시스템(500)은 3D 장면 정보를 로컬 거울 기능부 - 예컨대, [물리적 반투명 거울(316)을 사용하는] 도 3의 거울 기능부(314) 또는 (물리적 반투명 거울을 사용하지 않는) 도 4의 거울 기능부(402) 중 어느 하나를 사용함 - 에 제공한다. 거울 기능부(314, 402)는 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 참가자들 중 적어도 일부를 보여주는 3차원 가상 공간을 생성한다.
다른 구현에서, 블록(910)은 또한 도 8의 가상 실제 공간(820)에 있는 가상 실제 객체들을 나타내는 3D 장면 정보의 다른 인스턴스를 생성하는 것을 수반할 수 있다. 블록(912)은 3D 장면 정보의 이 제2 인스턴스를 섹션 D에 기술된 임의의 방식으로 제시하는 것을 수반할 수 있다.
E. 대표적인 컴퓨팅 기능부
도 10은 앞서 기술된 기능들의 임의의 측면을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 기능부(1000)를 설명한다. 예를 들어, 컴퓨팅 기능부(1000)는 각각의 로컬 설비에 의해 제공되는 각각의 로컬 처리 시스템(500)의 임의의 측면을 구현하기 위해 사용될 수 있다. 하나의 경우에, 컴퓨팅 기능부(1000)는 하나 이상의 처리 디바이스들을 포함하는 임의의 유형의 컴퓨팅 디바이스에 대응할 수 있다. 모든 경우에, 컴퓨팅 기능부(1000)는 하나 이상의 물리적 및 유형적 처리 메커니즘들을 나타낸다.
컴퓨팅 기능부(1000)는 RAM(1002) 및 ROM(1004)과 같은 휘발성 및 비휘발성 메모리는 물론, 하나 이상의 처리 디바이스들(1006)(예컨대, 하나 이상의 CPU들, 및/또는 하나 이상의 GPU들 등)을 포함할 수 있다. 컴퓨팅 기능부(1000)는 또한 선택적으로 하드 디스크 모듈, 광 디스크 모듈 등과 같은 다양한 매체 디바이스들(1008)을 포함한다. 컴퓨팅 기능부(1000)는 처리 디바이스(들)(1006)가 메모리[예컨대, RAM(1002), ROM(1004), 또는 다른 곳]에 의해 유지되는 명령어들을 실행할 때 앞서 언급된 다양한 동작들을 수행할 수 있다.
보다 일반적으로, 명령어들 및 다른 정보가 정적 메모리 저장 디바이스, 자기 저장 디바이스, 광 저장 디바이스 등(이들로 제한되지 않음)을 비롯한, 임의의 컴퓨터 판독가능 매체(1010) 상에 저장될 수 있다. '컴퓨터 판독가능 매체'라는 용어는 또한 복수의 저장 디바이스들을 포괄한다. 많은 경우에, 컴퓨터 판독가능 매체(1010)는 어떤 형태의 물리적 및 유형적 엔터티를 나타낸다. '컴퓨터 판독가능 매체'라는 용어는 또한, 예컨대, 물리적 통로 및/또는 공기 또는 다른 무선 매체 등을 통해 전송되거나 수신되는, 전파 신호(propagated signal)를 포괄한다. 그렇지만, "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 매체 디바이스"라는 구체적인 용어들은 전파 신호 자체를 명확히 배제하는 반면, 모든 다른 형태의 컴퓨터 판독가능 매체를 포함한다.
컴퓨팅 기능부(1000)는 또한 [입력 디바이스들(1014)을 통해] 다양한 입력들을 수신하고 (출력 디바이스들을 통해) 다양한 출력들을 제공하기 위한 입출력 모듈(1012)를 포함한다. 예시적인 입력 디바이스들은 키보드 디바이스, 마우스 입력 디바이스, 터치스크린 입력 디바이스, 제스처 입력 디바이스, 음성 인식 메커니즘, 영상 포착 메커니즘, 추적 메커니즘 등을 포함한다. 하나의 특정의 출력 메커니즘은 제시 디바이스(presentation device)(1016)를 포함할 수 있고; 그 디바이스는, 또한, 앞서 기술된 거울 기능부(314, 402)의 구성요소에 대응할 수 있다. 컴퓨팅 기능부(1000)는 또한 하나 이상의 통신 통로(communication conduit)들(1022)을 통해 (예컨대, 다른 설비들에 제공되는) 다른 디바이스들과 데이터를 교환하기 위한 하나 이상의 네트워크 인터페이스들(1020)을 포함할 수 있다. 하나 이상의 통신 버스들(1024)은 앞서 기술된 구성요소들을 서로 통신 연결시킨다.
통신 통로(들)(1022)는 임의의 방식으로, 예컨대, LAN(local area network), WAN(wide area network)(예컨대, 인터넷) 등, 또는 이들의 임의의 조합에 의해, 구현될 수 있다. 통신 통로(들)(1022)는 임의의 프로토콜 또는 프로토콜들의 조합에 의해 통제되는, 유선 링크, 무선 링크, 라우터, 게이트웨이 기능부, 이름 서버(name server) 등의 임의의 조합을 포함할 수 있다.
다른 대안으로서 또는 그에 부가하여, 이전의 섹션들에 기술된 기능들 중 임의의 기능이, 적어도 부분적으로, 하나 이상의 하드웨어 논리 구성요소들에 의해 수행될 수 있다. 예를 들어, 제한 없이, 컴퓨팅 기능부는 FPGA(Field-programmable Gate Array); ASIC(Application-specific Integrated Circuit); ASSP(Application-specific Standard Product); SOC(System-on-a-chip system); CPLD(Complex Programmable Logic Device) 등 중 하나 이상을 사용하여 구현될 수 있다.
마지막으로, 본 설명이 예시적인 과제들 또는 문제점들과 관련하여 다양한 개념들을 기재했을 수 있다. 이러한 설명 방식은 다른 사람들이 본 명세서에 언급된 방식으로 그 과제들 또는 문제점들을 이해하고 그리고/또는 명확히 표현했다는 것을 인정하는 것은 아니다. 게다가, 청구된 발명 요지가 언급된 과제들/문제점들 중 일부 또는 그 전부를 해결하는 구현들로 제한되지 않는다.
발명 요지가 구조적 특징들 및/또는 방법적 동작들과 관련하여 기술되어 있지만, 첨부된 청구범위에 한정되어 있는 발명 요지가 이상에서 기술된 구체적인 특징들 또는 동작들로 꼭 제한되는 것은 아님을 잘 알 것이다. 오히려, 이상에서 기술된 구체적인 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시되어 있다.

Claims (22)

  1. 원격 몰입 세션(tele-immersive session)의 복수의 참가자들 간의 상호작용을 제공하기 위한 원격 몰입 환경(tele-immersive environment)을 구현하기 위한 시스템에 있어서,
    복수의 설비(set-up) 시스템들을 포함하고, 상기 복수의 설비 시스템들 중의 각각의 설비 시스템은 상이한 지리적 위치에서 동작하고, 각자의 설비 시스템에 로컬(local)인 참가자에게 상기 원격 몰입 세션의 상호작용적 경험을 제공하며, 각각의 설비 시스템은,
    상기 설비 시스템과 연관된 로컬 참가자를 표현하는 로컬 카메라 정보를 포착하도록 구성된 영상 포착 기능부(image capture functionality);
    로컬 처리 시스템; 및
    거울 기능부(mirror functionality)를 포함하고,
    상기 로컬 처리 시스템은,
    상기 로컬 카메라 정보를 수신하고;
    상기 로컬 카메라 정보에 기초하여 로컬 3차원 객체 정보를 생성하며;
    상기 로컬 처리 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 로컬 입력 정보를, 원격 설비 시스템에 로컬인 적어도 한 명의 원격 참가자와 연관된 적어도 하나의 원격 처리 시스템으로 전송하고;
    상기 적어도 하나의 원격 처리 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 원격 입력 정보를 상기 적어도 하나의 원격 처리 시스템으로부터 수신하며;
    상기 로컬 3차원 객체 정보 및 상기 원격 입력 정보에 기초하여 3차원 장면 정보를 합성(compose)하도록 구성되고,
    상기 거울 기능부는, 상기 3차원 장면 정보에 기초하여, 다수의 원격 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 상기 로컬 참가자 없이 상기 복수의 참가자들 중의 상기 다수의 원격 참가자들을 보여주는 3차원 가상 공간을 제시하도록 구성되며,
    상기 원격 몰입 환경은 미리결정된 트리거링 인자들에 기초하여 상기 원격 몰입 세션 동안 상기 참가자들의 가상 영상을 배치하는 순서를 동적으로 변경하고, 상기 참가자가 상기 3차원 가상 공간으로부터 자기 자신의 가상 영상을 제외시키는 것을 허용하는 것인, 원격 몰입 환경을 구현하기 위한 시스템.
  2. 제1항에 있어서, 상기 영상 포착 기능부는 상기 로컬 참가자의 깊이 영상을 구성하는 데에 사용하기 위한 정보를 제공하도록 구성되는 것인, 원격 몰입 환경을 구현하기 위한 시스템.
  3. 제1항에 있어서, 상기 거울 기능부는,
    상기 설비 시스템에서 상기 로컬 참가자의 가상 영상을 제시하기 위한 물리적 반투명 거울(physical semi-transparent mirror); 및
    상기 3차원 장면 정보를 수신하며 적어도 한 명의 원격 참가자의 가상 영상을 제시하도록 구성된 디스플레이 디바이스를 포함하는 것인, 원격 몰입 환경을 구현하기 위한 시스템.
  4. 제1항에 있어서, 상기 거울 기능부는, 상기 3차원 장면 정보를 수신하며 상기 로컬 참가자 및 적어도 한 명의 원격 참가자의 가상 영상을 제시하도록 구성된 디스플레이 디바이스를 포함하는 것인, 원격 몰입 환경을 구현하기 위한 시스템.
  5. 원격 몰입 세션의 참가자들 간의 상호작용을 제공하기 위한 원격 몰입 환경에 있는 로컬 설비 시스템에 있어서,
    상기 로컬 설비 시스템과 연관된 로컬 참가자를 표현하는 로컬 카메라 정보를 포착하도록 구성된 영상 포착 기능부;
    로컬 처리 시스템; 및
    거울 기능부를 포함하고,
    상기 로컬 처리 시스템은,
    상기 로컬 설비 시스템과 상이한 지리적 위치에서 동작하는 원격 설비 시스템에 로컬인 적어도 한 명의 원격 참가자와 연관된 적어도 하나의 원격 처리 시스템으로부터 수신되며 상기 적어도 하나의 원격 처리 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 원격 입력 정보 및 상기 로컬 카메라 정보에 기초하여 3차원 장면 정보를 합성하고;
    상기 로컬 처리 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 로컬 입력 정보 중 적어도 일부를 상기 적어도 하나의 원격 처리 시스템으로 전송하도록 구성되고,
    상기 거울 기능부는, 상기 3차원 장면 정보에 기초하여, 상기 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 상기 참가자들 중 적어도 일부를 보여주는 3차원 가상 공간을 제시하도록 구성되며,
    상기 원격 몰입 환경은 미리결정된 트리거링 인자들에 기초하여 상기 원격 몰입 세션 동안 상기 참가자들의 가상 영상을 배치하는 순서를 동적으로 변경하고, 상기 적어도 한 명의 원격 참가자가 상기 3차원 가상 공간으로부터 자기 자신의 가상 영상을 제외시키는 것을 허용하는 것인, 로컬 설비 시스템.
  6. 제5항에 있어서, 상기 영상 포착 기능부는 상기 로컬 참가자의 깊이 영상을 구성하는 데에 사용하기 위한 정보를 제공하도록 구성되는 것인, 로컬 설비 시스템.
  7. 제5항에 있어서, 상기 거울 기능부는,
    상기 로컬 설비 시스템에서 상기 로컬 참가자의 가상 영상을 제시하기 위한 물리적 반투명 거울; 및
    상기 3차원 장면 정보를 수신하며 적어도 한 명의 원격 참가자의 가상 영상을 제시하도록 구성된 디스플레이 디바이스를 포함하는 것인, 로컬 설비 시스템.
  8. 제5항에 있어서, 상기 거울 기능부는, 상기 3차원 장면 정보를 수신하며 상기 로컬 참가자 및 적어도 한 명의 원격 참가자의 가상 영상을 제시하도록 구성된 디스플레이 디바이스를 포함하는 것인, 로컬 설비 시스템.
  9. 제5항에 있어서, 상기 로컬 처리 시스템은, 상기 로컬 참가자가 상기 거울 기능부에 의해 제시된 가상 객체와 상호작용할 수 있게 하는 기능부를 포함하는 것인, 로컬 설비 시스템.
  10. 제9항에 있어서, 상기 로컬 설비 시스템은, 상기 로컬 참가자가 물리적 객체를 배치할 수 있는 물리적 작업 공간을 포함하고, 상기 가상 객체는 상기 물리적 객체의 가상 대응물인 것인, 로컬 설비 시스템.
  11. 제10항에 있어서, 상기 물리적 작업 공간은 상기 물리적 객체가 배치되는 작업 공간 테이블을 포함하는 것인, 로컬 설비 시스템.
  12. 제9항에 있어서, 상기 가상 객체는 임의의 설비 시스템과 연관된 실제 공간에서의 어떠한 대응물 물리적 객체도 갖지 않는 것인, 로컬 설비 시스템.
  13. 제9항에 있어서, 상기 가상 객체와의 상호작용은, 상기 거울 기능부에 직교인 방향으로 상기 가상 객체를 당기거나 미는 것을 포함하는 것인, 로컬 설비 시스템.
  14. 제5항에 있어서, 참가자가 지정한 정보를 제공하기 위해, 상기 원격 몰입 세션 동안 상기 로컬 참가자에 의해 지정된 정보를 수신하도록 구성된 관리 모듈을 더 포함하고,
    상기 로컬 처리 시스템은 상기 거울 기능부를 사용하여 상기 참가자가 지정한 정보를 제시하도록 구성되는 것인, 로컬 설비 시스템.
  15. 제5항에 있어서, 제어 기능부(control feature)를 제공하며 상기 제어 기능부와의 상호작용을 관리하도록 구성된 관리 모듈을 더 포함하고,
    상기 로컬 처리 시스템은 상기 거울 기능부를 사용하여 상기 제어 기능부를 제시하도록 구성되는 것인, 로컬 설비 시스템.
  16. 제5항에 있어서, 상기 거울 기능부는, 상기 원격 몰입 세션의 상기 참가자들을 디스플레이하기 위한, 곡면 디스플레이 표면을 가지는 디스플레이 디바이스를 포함하는 것인, 로컬 설비 시스템.
  17. 제5항에 있어서, 상기 거울 기능부는, 상기 원격 몰입 세션의 2 명 이상의 참가자들의 가상 영상들을 제시하기 위해 핸드헬드 디스플레이 디바이스를 사용하는 것인, 로컬 설비 시스템.
  18. 제5항에 있어서, 상기 로컬 처리 시스템에 의해 합성된 상기 3차원 장면 정보는,
    거울 표면에서의 반사들의 시점(perspective)으로부터 투영되는 하나 이상의 가상 반사 객체(virtual-reflected object)들을 포함하는 가상 반사 공간(virtual-reflected space); 및
    상기 거울 표면 앞에 배치되는 엔터티들의 시점으로부터 투영되는 하나 이상의 가상 실제 객체(virtual-actual object)들을 포함하는 가상 실제 공간(virtual-actual space)을 표현하는 것인, 로컬 설비 시스템.
  19. 제18항에 있어서, 상기 로컬 처리 시스템은, 상기 로컬 참가자가 임의의 가상 반사 객체 및 임의의 가상 실제 객체와 상호작용할 수 있게 하는 기능부를 포함하는 것인, 로컬 설비 시스템.
  20. 하나 이상의 컴퓨터 디바이스들을 포함하는 로컬 설비 시스템에 의해 구현되는 방법에 있어서,
    상기 로컬 설비 시스템에 제공되어 있는 로컬 영상 포착 기능부로부터 로컬 카메라 정보를 수신하는 단계;
    상기 로컬 카메라 정보에 기초하여 로컬 3차원 객체 정보를 생성하는 단계;
    상기 로컬 설비 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 로컬 입력 정보를, 상기 로컬 설비 시스템과 상이한 지리적 위치에서 동작하며 원격 몰입 세션의 적어도 한 명의 원격 참가자와 연관된 적어도 하나의 원격 설비 시스템으로 전송하는 단계;
    상기 적어도 하나의 원격 설비 시스템에 의해 식별되는 객체들과 연관된 정보에 대응하는 원격 입력 정보를 상기 적어도 하나의 원격 설비 시스템으로부터 수신하는 단계;
    상기 로컬 3차원 객체 정보 및 상기 원격 입력 정보에 기초하여 3차원 장면 정보를 합성하는 단계;
    상기 3차원 장면 정보에 기초하여, 참가자들이 동일한 장소에 물리적으로 존재하고 거울을 들여다보고 있는 것처럼 상기 참가자들 중 적어도 일부를 보여주는 3차원 가상 공간을 제시하도록 구성된 거울 기능부에 상기 3차원 장면 정보를 제공하는 단계;
    미리결정된 트리거링 인자들에 기초하여 상기 원격 몰입 세션 동안 상기 참가자들의 가상 영상을 배치하는 순서를 동적으로 변경하는 단계; 및
    상기 적어도 한 명의 원격 참가자가 상기 3차원 가상 공간으로부터 자기 자신의 가상 영상을 제외시키는 것을 허용하는 단계
    를 포함하는, 하나 이상의 컴퓨터 디바이스들을 포함하는 로컬 설비 시스템에 의해 구현되는 방법.
  21. 제1항에 있어서, 상기 로컬 처리 시스템은, 상기 로컬 처리 시스템에 의해 식별되는 객체의 보조 위치 정보를 수집하도록 구성되고, 상기 보조 위치 정보는, 실제 공간에서 상기 객체에 부착된 태그 및 상기 객체의 위치 결정 디바이스 중의 적어도 하나에 의해 생성된 것인, 원격 몰입 환경을 구현하기 위한 시스템.
  22. 제1항에 있어서, 상기 거울 기능부는, 상기 원격 몰입 세션의 임의의 참가자가 필기(writing) 정보와 상호작용할 수 있게 해주도록 구성되는 것인, 원격 몰입 환경을 구현하기 위한 시스템.
KR1020157025193A 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공 KR102240812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217010092A KR102382362B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/772,252 2013-02-20
US13/772,252 US9325943B2 (en) 2013-02-20 2013-02-20 Providing a tele-immersive experience using a mirror metaphor
PCT/US2014/016653 WO2014130378A1 (en) 2013-02-20 2014-02-17 Providing a tele-immersive experience using a mirror metaphor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010092A Division KR102382362B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공

Publications (2)

Publication Number Publication Date
KR20150120427A KR20150120427A (ko) 2015-10-27
KR102240812B1 true KR102240812B1 (ko) 2021-04-14

Family

ID=50336496

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227010476A KR102495447B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공
KR1020217010092A KR102382362B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공
KR1020157025193A KR102240812B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020227010476A KR102495447B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공
KR1020217010092A KR102382362B1 (ko) 2013-02-20 2014-02-17 거울 메타포를 사용한 원격 몰입 경험 제공

Country Status (6)

Country Link
US (3) US9325943B2 (ko)
EP (2) EP2959678B1 (ko)
JP (1) JP6377082B2 (ko)
KR (3) KR102495447B1 (ko)
CN (1) CN105075246B (ko)
WO (1) WO2014130378A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8947497B2 (en) * 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
US9210377B2 (en) 2013-10-30 2015-12-08 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US10075656B2 (en) 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
WO2015098807A1 (ja) * 2013-12-24 2015-07-02 チームラボ株式会社 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
GB2526245A (en) * 2014-03-04 2015-11-25 Microsoft Technology Licensing Llc Sharing content
KR102322034B1 (ko) * 2014-09-26 2021-11-04 삼성전자주식회사 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
WO2016048102A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
CN105511599B (zh) * 2014-09-29 2019-06-25 联想(北京)有限公司 信息处理方法和装置
US9503682B2 (en) * 2014-12-17 2016-11-22 Fuji Xerox Co., Ltd. Systems and methods for conveying physical state of a remote device
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
JP6429640B2 (ja) * 2015-01-21 2018-11-28 キヤノン株式会社 遠隔コミュニケーションで用いられるコミュニケーションシステム
US10097892B2 (en) * 2015-01-23 2018-10-09 Turner Broadcasting System, Inc. Method and system for production and capture of content for linear broadcast and publication
KR102375699B1 (ko) * 2015-02-06 2022-03-17 삼성전자 주식회사 전자 장치 및 사용자 인터페이스 제공 방법
US10672187B2 (en) * 2015-02-27 2020-06-02 Sony Corporation Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects
EP3265192B1 (en) * 2015-03-02 2021-04-21 PlayFusion Limited Method and apparatus for enhancing a gaming experience
US10216982B2 (en) 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
KR20170035608A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
GB2543913B (en) * 2015-10-30 2019-05-08 Walmart Apollo Llc Virtual conference room
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
EP3389261B1 (en) * 2015-12-11 2021-03-17 Sony Corporation Information processing device, information processing method, and program
US11138306B2 (en) * 2016-03-14 2021-10-05 Amazon Technologies, Inc. Physics-based CAPTCHA
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US20170309070A1 (en) * 2016-04-20 2017-10-26 Sangiovanni John System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments
CN106095088B (zh) * 2016-06-06 2019-03-08 联想(北京)有限公司 一种电子设备及其图像处理方法
KR101819735B1 (ko) * 2016-06-07 2018-01-17 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
WO2018005235A1 (en) * 2016-06-30 2018-01-04 Pcms Holdings, Inc. System and method for spatial interaction using automatically positioned cameras
DE102016213754A1 (de) * 2016-07-27 2018-02-01 Henkel Ag & Co. Kgaa Verfahren, Einrichtung und Datenverarbeitungsvorrichtung zur computergestützten Haarfarbberatung
US10249089B2 (en) * 2016-08-01 2019-04-02 Dell Products, Lp System and method for representing remote participants to a meeting
US11043033B2 (en) * 2016-11-21 2021-06-22 Sony Corporation Information processing device and information processing method capable of deciding objects arranged in virtual space generated based on real space
WO2018187171A1 (en) * 2017-04-04 2018-10-11 Usens, Inc. Methods and systems for hand tracking
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
CN108874115B (zh) * 2017-05-11 2021-06-08 腾讯科技（深圳）有限公司 会话场景展示方法、装置和计算机设备
CN110999281B (zh) 2017-06-09 2021-11-26 Pcms控股公司 一种用于允许在虚拟景观中探索的方法及装置
EP3447610B1 (en) * 2017-08-22 2021-03-31 ameria AG User readiness for touchless gesture-controlled display systems
KR102271308B1 (ko) * 2017-11-21 2021-06-30 주식회사 하이퍼커넥트 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
US10646022B2 (en) * 2017-12-21 2020-05-12 Samsung Electronics Co. Ltd. System and method for object modification using mixed reality
US11076125B2 (en) * 2018-03-28 2021-07-27 Sony Corporation Information processing apparatus and information processing method
EP3788467A4 (en) * 2018-04-30 2021-11-24 Hewlett-Packard Development Company, L.P. NAVIGATION PRINT WITH VOICE TAGGING
US11107281B2 (en) * 2018-05-18 2021-08-31 Valeo Comfort And Driving Assistance Shared environment for vehicle occupant and remote user
CN109621415A (zh) * 2018-12-26 2019-04-16 网易（杭州）网络有限公司 3d游戏中的显示控制方法及装置、计算机存储介质
US10839607B2 (en) * 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
WO2020154502A1 (en) * 2019-01-23 2020-07-30 Tangible Play, Inc. Virtualization of tangible object components
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
USD940233S1 (en) 2019-07-03 2022-01-04 Tangible Play, Inc. Type font
WO2021038478A1 (en) * 2019-08-27 2021-03-04 CareOS Virtual mirror system and method
WO2021102845A1 (zh) * 2019-11-28 2021-06-03 电子科技大学 一种基于自然交互的远程家庭感知与虚拟呈现方法
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240005594A1 (en) * 2020-09-30 2024-01-04 Tangible Play, Inc. Virtualization of tangible object components
KR102220369B1 (ko) * 2020-11-30 2021-02-25 공주대학교 산학협력단 청동거울 콘텐츠 제공 장치 및 방법
KR102293041B1 (ko) * 2020-11-30 2021-08-26 공주대학교 산학협력단 청동거울 과학전시 시스템
US11792353B2 (en) 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
US11388371B1 (en) * 2021-01-22 2022-07-12 Toyota Research Institute, Inc. Systems and methods for telepresence rooms
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
WO2023009124A1 (en) * 2021-07-29 2023-02-02 Google Llc Tactile copresence
WO2023176317A1 (ja) * 2022-03-15 2023-09-21 株式会社Ｎｔｔドコモ 表示制御装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221550A (ja) * 2005-02-14 2006-08-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、プログラム、および記録媒体

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3610423B2 (ja) * 1997-03-19 2005-01-12 独立行政法人産業技術総合研究所 映像表示システムおよびその臨場感向上方法
JP2000175171A (ja) * 1998-12-03 2000-06-23 Nec Corp テレビ会議の映像生成装置及びその生成方法
US20020158873A1 (en) * 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
WO2003017680A1 (en) * 2001-08-15 2003-02-27 Koninklijke Philips Electronics N.V. 3d video conferencing system
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US7119829B2 (en) * 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
US8208007B2 (en) * 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US7634533B2 (en) * 2004-04-30 2009-12-15 Microsoft Corporation Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment
JP2005323010A (ja) * 2004-05-06 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 画像共有システム
JP2006302047A (ja) * 2005-04-21 2006-11-02 Fuji Xerox Co Ltd 会議支援プログラム、会議支援装置、および会議支援方法
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
JP4766696B2 (ja) * 2007-03-06 2011-09-07 日本電信電話株式会社 インタフェース装置およびインタフェースシステム
US8279254B2 (en) * 2007-08-02 2012-10-02 Siemens Enterprise Communications Gmbh & Co. Kg Method and system for video conferencing in a virtual environment
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
WO2009071121A2 (de) * 2007-12-05 2009-06-11 Almeva Ag Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt
KR100914847B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
US8589809B2 (en) * 2008-02-28 2013-11-19 Chevron U.S.A. Inc. Methods and systems for conducting a meeting in a virtual environment
US20100257464A1 (en) * 2008-02-28 2010-10-07 Chevron U.S.A. Inc. System and method for immersive operations intelligence
US8584025B2 (en) * 2008-05-02 2013-11-12 International Business Machines Corporation Virtual world teleportation
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US20100277576A1 (en) * 2009-04-29 2010-11-04 David Fattal Systems for Capturing Images Through a Display
WO2010130084A1 (zh) * 2009-05-12 2010-11-18 华为终端有限公司 远程呈现系统、方法及视频采集设备
US8208002B2 (en) * 2009-08-27 2012-06-26 Polycom, Inc. Distance learning via instructor immersion into remote classroom
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8665309B2 (en) * 2009-11-03 2014-03-04 Northrop Grumman Systems Corporation Video teleconference systems and methods for providing virtual round table meetings
US20110202603A1 (en) * 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
US20110219307A1 (en) * 2010-03-02 2011-09-08 Nokia Corporation Method and apparatus for providing media mixing based on user interactions
US20110276922A1 (en) * 2010-05-06 2011-11-10 Jeffrey Edwin Boyd Method and System for Video Interaction Based on Motion Swarms
SE535205C2 (sv) * 2010-06-03 2012-05-22 Erik Eskilsson Studio och konferenssystem för videokonferens
US8395655B2 (en) * 2010-08-15 2013-03-12 Hewlett-Packard Development Company, L.P. System and method for enabling collaboration in a video conferencing system
US8896655B2 (en) * 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9049033B2 (en) * 2011-03-28 2015-06-02 Net Power And Light, Inc. Information mixer and system control for attention management
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8675067B2 (en) * 2011-05-04 2014-03-18 Microsoft Corporation Immersive remote conferencing
US8823699B2 (en) 2011-05-16 2014-09-02 International Business Machines Corporation Getting snapshots in immersible 3D scene recording in virtual world
US9275475B2 (en) * 2011-06-03 2016-03-01 Apple Inc. Generating a simulated three dimensional scene by producing reflections in a two dimensional scene
US20120317501A1 (en) 2011-06-09 2012-12-13 Anthony Constantine Milou Communication & Collaboration Method for Multiple Simultaneous Users
US9030522B2 (en) * 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
NO333184B1 (no) * 2011-08-31 2013-03-25 Cisco Tech Inc Metode og anordning for samarbeidende representasjon i videokonferanser
US8644467B2 (en) * 2011-09-07 2014-02-04 Cisco Technology, Inc. Video conferencing system, method, and computer program storage device
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US20140176684A1 (en) * 2012-12-24 2014-06-26 Alejandro Varela Techniques for multiple viewer three-dimensional display
US9325943B2 (en) 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9615054B1 (en) * 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221550A (ja) * 2005-02-14 2006-08-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、プログラム、および記録媒体

Also Published As

Publication number Publication date
CN105075246A (zh) 2015-11-18
US9325943B2 (en) 2016-04-26
EP3687164B1 (en) 2022-08-10
CN105075246B (zh) 2018-04-03
JP2016515325A (ja) 2016-05-26
US20140232816A1 (en) 2014-08-21
KR20220044622A (ko) 2022-04-08
KR20150120427A (ko) 2015-10-27
US10044982B2 (en) 2018-08-07
EP2959678B1 (en) 2020-12-23
JP6377082B2 (ja) 2018-08-22
EP3687164A1 (en) 2020-07-29
KR102495447B1 (ko) 2023-02-06
KR20210040474A (ko) 2021-04-13
EP2959678A1 (en) 2015-12-30
US9641805B2 (en) 2017-05-02
US20160205353A1 (en) 2016-07-14
KR102382362B1 (ko) 2022-04-08
US20170201722A1 (en) 2017-07-13
WO2014130378A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
KR102240812B1 (ko) 거울 메타포를 사용한 원격 몰입 경험 제공
Sereno et al. Collaborative work in augmented reality: A survey
Regenbrecht et al. Magicmeeting: A collaborative tangible augmented reality system
Wang et al. Mixed reality in architecture, design, and construction
Verlinden et al. Development of a flexible augmented prototyping system
US20070291035A1 (en) Horizontal Perspective Representation
US20050264558A1 (en) Multi-plane horizontal perspective hands-on simulator
US20060126926A1 (en) Horizontal perspective representation
US20050248566A1 (en) Horizontal perspective hands-on simulator
Reichherzer et al. Secondsight: A framework for cross-device augmented reality interfaces
Park et al. DesignAR: Portable projection-based AR system specialized in interior design
US20190378335A1 (en) Viewer position coordination in simulated reality
Schmidt et al. A layer-based 3d virtual environment for architectural collaboration
Wong HandsOn: a portable system for collaboration on virtual 3D objects using binocular optical head-mounted display
Arora et al. Introduction to 3d sketching
Nithva et al. Efficacious Opportunities and Implications of Virtual Reality Features and Techniques
Marchand et al. Influence of Immersive Contextual Environments on Collaborative Ideation Cognition
Nishimoto Collaborative Augmented Reality for Virtual Reality Display Wall Environments
Belcher Augmented reality, architecture and ubiquity: Technologies, theories and frontiers
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
Lala et al. Enhancing communication through distributed mixed reality
Butterworth A MANAGED INTEGRATION OF AUGMENTED AND VIRTUAL REALITIES INTO ARCHITECTURAL PRACTICE-OPTIMISING COMMUNICATION OF INTENT AND PRACTICE EFFICIENCY THROUGH SELECTIVE APPLICATION
但雨澤 The Development of Design Support System for Participatory Design of Community Environment Improvement using Mixed Reality
Mora Lumbreras et al. VirtUATx: A Virtual Reality and Visualization Center
Sattari Guidelines for the Application of Immersive Technology within Industrial Design Methodology

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant