KR101961964B1 - 포토레프리젠터티브 뷰의 테마 기반 증강 - Google Patents

포토레프리젠터티브 뷰의 테마 기반 증강 Download PDF

Info

Publication number
KR101961964B1
KR101961964B1 KR1020137023809A KR20137023809A KR101961964B1 KR 101961964 B1 KR101961964 B1 KR 101961964B1 KR 1020137023809 A KR1020137023809 A KR 1020137023809A KR 20137023809 A KR20137023809 A KR 20137023809A KR 101961964 B1 KR101961964 B1 KR 101961964B1
Authority
KR
South Korea
Prior art keywords
enhancement
display
physical environment
theme
user
Prior art date
Application number
KR1020137023809A
Other languages
English (en)
Other versions
KR20140007427A (ko
Inventor
다니엘 제이 위그더
메건 테데스코
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140007427A publication Critical patent/KR20140007427A/ko
Application granted granted Critical
Publication of KR101961964B1 publication Critical patent/KR101961964B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 사용자가 위치한 물리적 환경에 대해 사용자 관점의 포토레프리젠터티브 뷰(photorepresentative view)를 제공하도록 구성된 디스플레이 상에서 제공되는 방법과 관련되며, 이 방법은 포토레프리젠터티브 뷰를 증강화(augmentating)하는 데에 사용하기 위한 테마를 선택하는 입력을 사용자로부터 수신하는 단계를 포함한다. 이 방법은 또한 물리적 환경의 환경 정보를 시각적으로 실시간 획득하는 것과, 이 환경 정보에 기초하여 물리적 환경의 공간 모델을 생성하는 것을 포함한다. 이 방법은 또한 공간 모델의 분석을 통해 물리적 환경 내의 하나 이상의 물리적 특징에 각각 상응하는 공간 모델 내의 하나 이상의 특징을 식별하는 것을 포함한다. 이 방법은 또한 이러한 분석에 기초하여, 디스플레이 상에 식별된 특징들의 증강(augmentation)을 디스플레이하는 것을 포함하며, 이러한 증강을 테마와 연관된다.

Description

포토레프리젠터티브 뷰의 테마 기반 증강{THEME-BASED AUGMENTATION OF PHOTOREPRESENTATIVE VIEW}
가상 현실 시스템은 사용자가 몰입될 수 있는 가상 환경을 시뮬레이션하기 위해 존재한다. 헤드-업(head-up) 디스플레이, 헤드-마운트(head-mount) 디스플레이 등과 같은 디스플레이가 가상 환경을 디스플레이하도록 활용될 수 있다. 사용자가 완전히 몰입되지 않고 실제 환경과 어떻게든 연결된 채로 남아있는 가상 현실 체험을 사용자에게 제공하는 것이 요구될 수 있다. 따라서, 실세계 환경의 사용자의 지각(perception)을 그래픽, 사운드 등으로 증강화(augment)하기 위한 증강 현실 시스템이 개발되고 있다. 예시로서, 증강 현실 시스템은 파일럿 훈련 및 시뮬레이션을 위해 실제 객체를 가상 이미지와 통합하는 조종실 시뮬레이션 환경을 제공하도록 사용될 수 있다. 현존하는 증강 현실 기술은 전형적으로 가상 요소들이 적절하게 통합될 수 있도록 시뮬레이션 환경의 사전구성된 모델 등과 같은 사전결정된 데이터에 의존한다.
본 발명의 일 측면에 따르면, 사용자 환경에서의 사용자의 뷰(view)가 사용자가 선택한 테마에 따라 증강화된다. 특히, 디스플레이는 사용자 관점(user's vantage point)으로부터의 사용자 환경의 포토레프리젠터티브 뷰(photorepresentative view)를 사용자에게 제공한다. 디스플레이는 또한 뷰를 증강화하기 위해 사용자 선택된 테마와 연관된 증강(augmentation)(들)을 디스플레이한다. 이러한 증강(들)의 디스플레이는 증강화될 수 있는 특징들을 식별하도록 실시간으로 생성 및 분석되는 물리적 환경의 공간 모델에 기초한다. 이렇게 식별된 특징들은 물리적 환경 내의 물리적 특징들에 상응한다.
본 요약부는 아래의 상세한 설명에서 추가로 설명되는 선택된 개념들을 간단하게 소개하고자 제공되었다. 본 요약부는 본 발명의 청구사항의 중요한 특성 또는 기본적인 특성을 식별하기 위한 것이 아니며, 본 발명의 청구사항의 범주를 한정하는 데에 사용하기 위한 것도 아니다. 또한, 본 발명의 청구사항은 본 명세서의 임의의 부분에 개시된 어느 하나의 또는 모든 단점들을 해결하는 실시예에 한정되지 않는다.
도 1a은 본 발명의 실시예에 따른 예시적인 이용 환경을 도시한 도면.
도 1b는 본 발명의 실시예에 따른 다른 예시적인 이용 환경을 도시한 도면.
도 2는 본 발명의 실시예에 따라 포토레프리젠터티브 뷰의 테마 기반 증강화를 제공하는 예시적인 방법을 도시한 도면.
도 3은 본 발명의 실시예에 따라 공간 모델을 형성하는 예시적인 개략도.
도 4는 본 발명의 실시예에 따른 예시적인 테마 기반 증강을 도시한 도면.
도 5는 본 발명의 실시예에 따른 예시적인 컴퓨팅 시스템을 도시한 도면.
본 명세서에 개시되는 본 발명의 실시예는 포토레프리젠터티브 뷰(photorepresentative view)의 테마 기반 증강화(theme-based augmenting)를 제공하는 것과 관련된다. 포토레프리젠터티브 뷰는 디스플레이에 의해 제공되며, 이것은 실질적으로 사용자가 위치한 물리적 환경의 사용자 관점으로부터의 사실적인(예컨대, 사진 같은) 뷰의 표현이다. 이러한 방식으로 사용자 환경에 대한 사용자의 지각(perception)을 증강화하는 것은 사용자가 환경 자체에 여전히 어떻게든 연결된 채로 남아있는 동시에 사용자 환경에 대한 테마 뷰를 체험할 수 있게 해준다.
본 발명의 측면들이 아래에 설명된 실시예들을 참조로 하여 예시적으로 기술될 것이다. 하나 이상의 실시예에서 실질적으로 동일한 구성요소, 프로세스 단계 및 그외의 요소들은 동일하게 식별되며 반복하여 설명되지 않는다. 그러나, 동일하게 식별된 요소들이 소정의 정도로 서로 상이할 수 있음을 인지해야 할 것이다. 또한 본 명세서에 포함된 도면들은 개략적이고 개괄적인 것으로, 실제 축적대로 도시되지 않았다. 오히려, 도면에 도시된 다양한 축적들, 종횡비율 및 다수의 구성요소들은 소정의 특징들 및 관계들에 대한 이해를 돕기 위해 의도적으로 왜곡되었다.
도 1a는 본 발명의 실시예에 따른 예시적인 사용 환경, 즉 사용자(102)가 위치한 물리적 환경(100)의 개략적인 모습을 도시한다. 도 1a은 단지 예시적인 것으로서 실제 축적대로 도시된 것이 아님을 이해해야 한다. 또한, 본 예시에서 물리적 환경(100)이 거실로 도시되었지만, 이러한 환경은 예시적인 것이며, 어떠한 것도 한정하고자 하는 것이 아님을 이해해야 한다. 오히려, 물리적 환경(100)은 사실상 사용자(102)가 위치한 임의의 유형의 물리적 환경일 수 있으며, 이는 실내 환경, 야외 환경, 익숙한 환경, 낯선 환경 등을 포함하지만 이것으로 제한되는 것은 아니다. 사용자(102)에 추가하여, 물리적 환경(100)은 소파(104a), 커피 테이블(104b) 및 개(104c)를 포함하는 몇몇 물리적 특징들(104)을 더 포함한다.
도 1a는 디스플레이 출력을 통해 테마 기반의 증강(theme-based augmentation)을 제공하는 디스플레이 시스템(106)을 추가로 도시한다. 디스플레이 시스템(106)은 사용자(102)의 관점으로부터의 물리적 환경(100)의 포토레프리젠터티브 뷰를 제공하도록 구성된 디스플레이(108)를 포함한다. 디스플레이(108)는 예로서 헤드-업 디스플레이(HUD; head-up display), 헤드-마운트 디스플레이(HMD; head-mounted display) 등을 포함하지만, 이것으로 한정되는 것은 아니다.
일부 실시예에서, 디스플레이(108)는 충분히 투명한 부분 또는 부분들을 갖는 시각적인 시스루 디스플레이(optical see-through display)일 수 있다. 이러한 디스플레이는 물리적 환경이 사용자에게 보여질 수 있는 투명한 부분(들)을 통해 포토레프리젠터티브 뷰를 제공한다. 그러나, 다른 실시예에서, 디스플레이(108)는 완전히 렌더링된(rendered) 환경의 공간 모델의 이미지를 디스플레이함으로써 포토레프리젠터티브 뷰를 제공하도록 구성된 몰입 디스플레이(immersive display)일 수도 있다.
디스플레이 시스템(106)은 (예컨대, 입력 디바이스를 통한) 하나 이상의 사용자 입력을 수신하도록 구성되며, 이러한 사용자 입력은 포토레프리젠터티브 뷰를 증강화하기 위한 테마를 선택하는 입력을 포함한다. 이에 응답하여, 디스플레이 시스템(106)은 물리적 특징들(104)과 같이, 테마에 따라 증강화될 수 있는 환경 내의 물리적 특징들(예컨대, 객체, 사람, 건물들 등)을 식별한 다음, (예컨대, 여전히 적어도 일부의 포토레프리젠터티브 뷰가 제공되는 동안) 이러한 증강을 디스플레이한다. 이러한 방식으로, 사용자(102)는 환경 자체에 여전히 어떻게든 연결되어 있는 상태로 남아있는 동시에 물리적 환경(100)의 테마 뷰를 경험한다.
예시로서, 디스플레이(108)는 선택된 테마에 따라 물리적 환경(100)을 증강화하기 위해, 사용자가 물리적 특징들(104)을 덮어쓴 것으로 인지하는 이미지를 디스플레이할 수 있다. 아래에서 도 2를 참조로 보다 상세하게 기술되는 바와 같이, 디스플레이 시스템은 물리적 환경(100)에 대한 정보를 획득하기 위해 예컨대 깊이 카메라(depth camera)와 같은 이미지 캡처 디바이스를 활용할 수 있으며, 이러한 디스플레이 시스템은 환경의 공간 모델을 생성하기 위해 이를 활용할 수 있다. 그 다음 디스플레이 시스템은 모델 내에서 증강화될 수 있는 특징들을 식별하도록 모델을 분석할 수 있다.
도 1a에 도시된 디스플레이 시스템(106)은 한정적인 것이 아님을 이해해야 한다. 다른 실시예에서, 디스플레이(108)에서 포토레프리젠터티브 뷰를 제공하기 위해 디스플레이 시스템의 하나 이상의 구성요소가 외부에 구현될 수도 있다. 도 1b는 다른 예시적인 물리적 환경, 즉 물리적 환경(100b)에서의 사용자(102)의 개략적인 모습을 도시하며, 이때 디스플레이 시스템(106b)은 디스플레이(108)에서 보여지기 위한 포토레프리젠터티브 뷰를 제공/전송한다. 아래에서 도 3을 참조로 보다 상세하게 기술되는 바와 같이, 이러한 디스플레이 시스템은 예컨대 사용자의 관점으로부터의 물리적 환경의 공간 모델을 생성하기 위해 사용자(102) 및 물리적 환경을 추적하도록 깊이 카메라와 같은 이미지 캡처 디바이스를 활용할 수 있다.
디스플레이 시스템(예컨대, 디스플레이 시스템(106), 디스플레이 시스템(106b))은 임의의 적절한 방식으로 테마 기반의 증강을 제공하도록 구성될 수 있다. 도 2는 포토레프리젠터티브 뷰의 테마 기반 증강을 제공하는 예시적인 방법(200)을 도시한다. 이러한 방법은 예로서 디스플레이 시스템(예컨대, 디스플레이 시스템(106), 디스플레이 시스템(106b))에 저장된 명령을 실행함으로써 디스플레이 시스템에 의해 제공될 수 있다.
방법(200)의 단계(202)는, 포토레프리젠터티브 뷰의 증강화에 사용하기 위한 테마를 선택하는 입력을 사용자로부터 수신하는 단계를 포함한다. 이러한 입력은 사용자 선택가능한 버튼, 가상 버튼 또는 디스플레이(예컨대, 디스플레이(108)) 상에 또는 다른 위치에 디스플레이된 그외의 사용자 인터페이스 등과 같이 디스플레이 시스템과 통신하도록 구성된 입력 디바이스로부터 수신될 수 있다.
단계(204)에서, 방법(200)은 물리적 환경의 환경 정보를 시각적으로 실시간 획득하는 단계를 포함한다. 이러한 환경 정보는 물리적 환경 및 도 1a에 도시된 물리적 환경(100)의 물리적 특징들(104)과 같은 물리적 환경의 특징들을 기술하는 임의의 적절한 정보일 수 있다. 적절한 환경 정보의 예시는 이미지 데이터(예컨대, 색상 정보, 깊이 정보, 적외선 정보 등), 차원 데이터, 표면 데이터, 모션 데이터, 오디오 데이터 등을 포함하지만 이것으로 한정되는 것은 아니다.
디스플레이 시스템(예컨대, 디스플레이 시스템(106), 디스플레이 시스템(106b))은 임의의 적절한 방식으로 물리적 환경(예컨대, 물리적 환경(100), 물리적 환경(100b))의 환경 정보를 획득하도록 구성될 수 있다. 한정적이지 않은 예시로서, 디스플레이 시스템은 이러한 환경 정보를 시각적으로 실시간 획득하도록 구성된 하나 이상의 센서를 더 포함할 수 있다. 이렇게, 방법(200)은 단계(206)에서 나타내어진 바와 같이, 디스플레이와 연관된 하나 이상의 센서를 통해 환경 정보를 검출하는 단계를 포함할 수 있다.
일부 실시예에서, 이러한 센서(들)는 사용자(102)의 관점으로부터 환경 정보를 캡처하도록 디스플레이(108)에 근접하게 위치될 수 있다. 도 1a는 디스플레이(108)와 연관되고 디스플레이(108)에 근접하게 위치된 이러한 예시적인 센서(110)를 도시한다. 그러나, 다른 예시로서, 도 1b는 디스플레이(108)와 연관되어 있지만 디스플레이(108)로부터 떨어져 있는 예시적인 센서(110b)를 도시한다. 후자의 경우에, 디스플레이 시스템(106b)은 검출된 정보에 기초하여 사용자(102)의 관점을 검출하도록 구성될 수 있다. 비한정적인 예시로서, 센서는 물리적 환경 및 그 특징들의 관찰된 장면을 시각적으로 모니터링 또는 추적하는 깊이 카메라와 같은 캡처 디바이스를 포함할 수 있다. 무엇보다도, 사용자(102)의 위치 및 방향을 추적함으로써, 디스플레이 시스템(106b)은 사용자의 현재 및/또는 변화하는 관점을 반영하는 포토레프리젠터티브 뷰를 제공하도록 디스플레이(108)로 정보를 전송할 수 있다.
단계(208)에서, 방법(200)은 환경 정보에 기초한 물리적 환경의 공간 모델을 생성하는 단계를 포함한다. 이러한 공간 모델은 2차원 모델, 3차원 모델 등과 같이 사용자의 관점으로부터의 물리적 환경을 나타내는 임의의 적절한 모델일 수 있다. 공간 모델은 사용자의 관점으로부터의 물리적 환경의 포토레프리젠터티브 뷰 내의 임의의 물리적 특징 또는 특징들에 대한 표현을 거의 포함할 수 있다. 특히, 공간 모델은 물리적 환경의 표현 및 물리적 환경 내의 객체들의 표현을 포함한다. 따라서 공간 모델은 환경 내에서의 객체의 공간적 위치 및 다른 객체들과의 상대적인 위치를 나타낸다. 비한정적인 예시로서, 공간 모델은 컴퓨터로 생성된 모델일 수 있다. 또한, 이 모델은 사용자의 관점의 변화를 반영하기 위해서 동적으로 실시간 업데이트될 수 있다.
도 3은 깊이-이미지(depth-image) 분석을 이용하는 디스플레이 시스템의 경우에 공간 모델을 형성하는 것을 도시한 예시적인 개략도이다. 도 3이 센서(110)가 관찰 장면(112)을 검출하는 도 1a을 참조로 하여 아래에서 보다 상세하게 기술되지만, 이것은 센서(110b)가 관찰 장면(112b)을 검출하는 도 1b에도 적용될 수 있음을 이해해야 한다. 전자의 경우에서, 센서(110)는 디스플레이(108)의 부근에 위치하며, 따라서 획득된 환경 정보는 이미 사용자 관점으로부터의 정보이다(예컨대 센서는 사용자 머리의 움직임의 결과로 조준된다). 후자의 경우에서, 센서(110b)가 디스플레이(108)로부터 떨어져서 위치되어 있기 때문에, 디스플레이 시스템은 사용자 관점의 물리적 환경의 공간 모델을 생성하기 위해 환경 정보로부터 사용자의 관점(예컨대, 몸의 위치/방향, 시선 등)을 결정할 수 있다.
계속 도 3을 참조하면, 디스플레이 시스템(106)의 깊이 이미지 분석 시스템은 센서(110)에 의해 관찰된 바와 같은 관찰 장면(112) 내의 물리적 환경(100)의 물리적 특징들(예컨대, 객체들, 사람 등)을 시각적으로 모니터 또는 추적하도록 센서(110)(예컨대, 깊이 카메라)를 활용할 수 있다. 도시된 예시에서, 개(104c)의 형태인 물리적 특징이 센서(110)에 의해 추적된다. 도 3에 도시된 시나리오는 단지 예시적으로 제공되었으며, 한정하고자 하는 것이 아님을 이해해야 한다. 반면에, 도시된 시나리오는 일반적인 개념을 보여주기 위한 것이며, 이것은 본 발명의 범주로부터 벗어나지 않고 다양한 다른 응용물에도 적용될 수 있다. 이렇게, 관찰 장면(112) 내의 다른 물리적 특징들이 센서(110)에 의해 추가적으로 또는 대체하여 추적될 수 있다.
도 3은 관찰 장면(112) 내의 개(104c)가 가상 아바타(316)를 생성하는 데에 사용될 수 있는 가상 뼈대(virtual skeleton)(338)로서 모델링되는 단순화된 프로세싱 파이프라인을 도시한다. 이러한 방식으로 환경 내의 각각의 물리적 특징을 모델링함으로써, 환경의 공간 모델이 생성될 수 있다. 따라서, 아바타, 가상 객체, 표면, 플로어 등은, 그들의 물리적 대응물의 추적 위치, 방향, 움직임 등을 정확하게 나타내어 그에 따라 물리적 환경의 정확한 표현을 제공하는 공간 모델을 산출하도록, 공간 모델 내에서 적절하게 파라미터로 나타내어진다. 프로세싱 파이프라인은 본 발명의 범주로부터 벗어나지 않고 도 3에 도시된 단계들에 대한 추가적인 단계 및/또는 다른 단계들을 포함할 수 있음을 이해할 것이다.
도 3에서 도시된 바와 같이, 단순화된 프로세싱 파이프라인은 센서(110)(예컨대, 깊이 카메라)와 같은 캡처 디바이스에 의해 이미지화되는 타겟(예컨대, 개(104c))에서 시작한다. 환경 자체뿐 아니라 환경 내의 몇몇 타겟(예컨대, 벽, 바닥 등)도 역시 이미지화될 수 있음을 이해해야 한다. 깊이 카메라는 각 픽셀에 대해서 깊이 카메라에 대한 관찰 장면 내의 표면의 깊이를 결정할 수 있다. 사실상 임의의 깊이-검출(depth-finding) 기술이 본 발명의 범주에서 벗어나지 않고 사용될 수 있다. 예시적인 깊이-검출 기술이 도 5의 캡처 디바이스(518)를 참조로 보다 상세하게 논의될 것이다.
각 픽셀에 대해 결정된 깊이 정보는 깊이 맵(depth map)(336)을 생성하는 데에 사용될 수 있다. 이러한 깊이 맵은 관찰 장면의 각 픽셀에 대한 깊이 값을 포함하는 매트릭스를 포함하지만 이것으로 한정되는 것은 아닌, 사실상 임의의 적절한 데이터 구조의 형태를 취할 수 있다. 도 3에서, 깊이 맵(336)은 타겟의 실루엣의 픽셀화된 격자로서 개략적으로 도시되었다. 이 도면은 기술의 정확성이 아닌 이해의 단순화를 위한 것이다. 깊이 맵은 일반적으로 타겟을 이미지화하는 픽셀들뿐 아니라 모든 픽셀에 대한 깊이 정보를 포함하며, 센서(110)의 관점이 도 3에 도시된 실루엣을 발생시키지는 않는다는 것을 이해해야 한다.
일부 실시예에서, 타겟의 기계 판독가능한 표현을 제공하도록 깊이 타겟 맵(336)으로부터 가상 뼈대(338)가 얻어질 수 있다. 다시 말하면, 가상 뼈대(338)는 타겟을 모델링하기 위해 깊이 맵(336)으로부터 얻어질 수 있다. 가상 뼈대(336)는 임의의 적절한 방식으로 깊이 맵으로부터 얻어질 수 있다. 일부 실시예에서, 하나 이상의 뼈대 피팅(fitting) 알고리즘이 깊이 맵에 적용될 수도 있다. 본 발명은 사실상 어떠한 뼈대 모델링 기술과도 호환가능하다.
가상 뼈대(338)는 각각이 타겟의 부분에 대응하는 복수의 조인트(joint)를 포함할 수 있다. 도 3에서, 가상 뼈대(338)는 멀티-조인트 스틱 피규어로 도시되었다. 이 도면은 기술의 정확성이 아닌 이해의 단순화를 위한 것이다. 본 발명에 따른 가상 뼈대는 각각이 사실상 임의의 수의 파라미터와 연관될 수 있는 임의의 수의 조인트를 포함할 수 있다(예컨대, 3차원 조인트 위치, 조인트 회전, 상응하는 몸체 부분의 포즈(예컨대, 손을 펴기, 손을 쥐기, 등) 등). 가상 뼈대가 복수의 뼈대 조인트의 각각에 대한 하나 이상의 파라미터를 포함하는 데이터 구조의 형태를 취할 수 있음을 이해해야 한다(예컨대, x 위치, y 위치, z 위치 및 각 조인트에 대한 회전을 포함하는 조인트 매트릭스). 일부 실시예에서, 다른 유형의 가상 뼈대가 사용될 수도 있다(예컨대, 와이어프레임(wireframe), 형태 프리미티브의 세트(a set of shape primitives) 등).
도 3에 도시된 바와 같이, 가상 아바타(316)가 생성될 수 있다. 이러한 아바타는 환경에 상응하는 공간 모델 내의 타겟의 가상 표현을 제공한다. 보다 구체적으로, 가상 뼈대(338)가 추적 타겟을 모델링하고 가상 아바타(316)가 가상 뼈대(338)에 기초하여 생성되었기 때문에, 가상 아바타(316)는 공간 모델 내의 타겟의 디지털 표현으로서 역할을 한다. 이러한 방식으로 공간 모델을 생성함으로써 공간 모델 내의 임의의 부분 또는 부분들이 디스플레이를 위해 선택적으로 렌더링될 수 있음을 이해해야 한다. 또한, 이러한 공간 모델은 모델 내의 디지털 표현의 특성들이 디스플레이를 위해 변조 및 렌더링될 수 있다는 점에서 증강을 지원한다.
물리적 환경 내의 객체들을 모델링하기 위한 전술된 기술들이 단일 타겟을 모델링하는 것과 관련되어 있지만, 전술된 설명이 이것으로 한정되지 않음을 이해해야 한다. 따라서, 다수의 타겟들이 본 발명의 범주로부터 벗어나지 않고 전술된 기술들을 이용하여 모델링될 수 있다. 또한, 전술된 바와 같이, 바닥, 벽, 천장 등과 같이, 움직이는 타겟들 외의 물리적 특징들이 모델링될 수도 있다.
이러한 방식으로, 물리적 환경 및 그 특징들을 모델링함으로써, 물리적 환경의 공간 모델이 생성될 수 있다. 환경 정보는 시각적으로, 실시간으로 획득될 수 있기 때문에, 공간 정보가 실시간으로 생성 및/또는 업데이트될 수 있을 뿐만 아니라, 공간 모델은 사전구성된 데이터에 의존할 필요가 없다. 따라서, 종래의 시뮬레이션 환경과는 달리, 사용자는 디스플레이 시스템이 사전 지식(예컨대, 사전구성된 공간 모델, GPS 데이터 등)을 거의 또는 아예 가지고 있지 않은 "새로운" 환경에서 이러한 디스플레이 시스템을 활용할 수 있다. 이렇게, 사용자는 시스템이 종래의 정보를 가지고 있지 않은 새로운 환경을 포함하는 서로 다른 다양한 물리적 환경에 대한 테마 기반의 증강을 경험할 수 있다.
도 2로 돌아가면, 공간 모델을 생성한 다음, 방법(200)은 공간 모델의 분석을 통해 물리적 환경 내의 하나 이상의 물리적 특징들에 각각 상응하는 공간 모델 내의 하나 이상의 특징들을 식별하는 단계를 포함한다. 이러한 방식으로, 디스플레이 시스템은 환경의 사용자의 시선 내에 있는 특징들을 결정한다. 이러한 분석은 객체 인식, 제스처 인식, 얼굴 인식, 음성 인식, 오디오 인식 등과 같은 임의의 적절한 분석을 포함할 수 있다. 일부 경우에서, 이러한 분석은 (예컨대 객체의 차원을 나타내는) 전반적인 묘사를 산출할 수 있는 반면, 다른 경우에서 이러한 분석은 (예컨대 객체가 개(dog)임을 나타내는) 보다 자세한 묘사를 산출할 수도 있다.
도 2를 계속 참조하면, 단계(212)에서, 방법(200)은 이러한 분석에 기초하여 하나 이상의 식별된 특징들의 하나 이상의 증강을 디스플레이(예컨대, 디스플레이(108)) 상에 디스플레이하는 단계를 포함한다. 일부 실시예에서, 증강은 예를 들어 물리적 환경의 포토레프리젠터티브 뷰의 적어도 일부를 여전히 제공하는 동시에 디스플레이될 수 있다. 증강(들)은 사용자에 의해 선택된 테마와 연관된다. 일부 실시예에서, 단계(214)에 도시된 바와 같이, 증강(들)은 테마와 연관된 복수의 증강들로부터 선택될 수 있으며, 이러한 선택은 공간 모델 내에서 식별된 특징들에 기초한다. 예를 들어, 만약 공간 모델 내에 큰 객체가 식별되었다면, 유사한 차원의 증강이 그 테마와 연관된 이용가능한 증강으로부터 선택될 수 있다. 예를 들어, 소파와 같이 거실에서 상대적으로 큰 객체는 테마 내에서 특정한 이용가능한 증강의 이용을 발생시킬 수 있다(예컨대, 중세 테마에서의 커다란 성). 자연/숲의 테마를 가정하면, 물리적 환경에서 높고 높은 객체가 가상의 나무를 덮어쓸 수 있다.
디스플레이된 증강은 사용자에게 제공되는 포토레프리젠터티브 뷰를 증강화하는 사실상 임의의 유형의 가상 이미지일 수 있다. 예시로서, 단계(216)에 도시된 바와 같이, 사용자의 관점에서 물리적 환경 내의 상응하는 물리적 특징을 덮는 이미지가 디스플레이될 수 있다. 비한정적인 예시로서, 공간 모델 내의 식별된 특징에 가상 스킨이 적용될 수 있고, 가상 스킨의 이미지가 디스플레이될 수 있다. 스킨이 모델 내의 특징에 적용되었기 때문에, 디스플레이된 스킨은 사용자를 따라서 환경 내의 상응하는 물리적 특징을 덮도록 나타날 것이다.
도 4는 도 1a의 사용자(102)에 대한 예시를 도시하며, 여기에서 사용자는 중세 테마를 선택하였다. 이러한 예시에서, 디스플레이 시스템(106)은 식별된 물리적 특징들, 즉 소파(104a), 커피 테이블(104b) 및 개(104c) 및 물리적 환경(100)의 공간 모델을 생성하였다. 이러한 분석에 기초하여, 포토레프리젠터티브 뷰의 증강이 디스플레이(108) 상에 디스플레이되며, 이는 확장된 뷰(400)에 도시되었다. 이러한 증강을 디스플레이하는 것은 사용자가 소파(104a) 위에 나타난 성(402), 커피 테이블(104b) 위에 나타난 수풀(404) 및 개(104c) 위에 나타난 커스툼(406)을 볼 수 있게 한다. 증강의 디스플레이가 공간 모델의 분석에 기초하기 때문에, 증강은 물리적 환경에 대해 맞춤화된다. 예를 들어, 성(402)은 소파(104a)의 크기 및 특징에 대응하게 맞춤화될 수 있다. 또한, 공간 모델이 새로운 환경 정보가 획득됨에 따라 실시간으로 업데이트될 수 있기 때문에, 증강의 디스플레이 역시 실시간으로 업데이트될 수 있다. 따라서, 증강의 디스플레이는 사용자가 물리적 환경을 통과해 이동할 때 유지될 수 있으며, 이는 사용자가 계속 테마 기반의 체험을 하는 것을 가능케 한다. 이렇게, 증강의 디스플레이는 어떠한 면에서도 "정적(static)"이지 않다. 반면에, 사용자가 움직일 때, 증강의 디스플레이가 동적으로 조정되어 동적으로 변화하는 사용자의 관점에 따라 증강이 계속 디스플레이되도록 할 수 있다.
도 4에 도시된 시나리오가 예시로서 제공되었지만, 이것이 한정적인 의미가 아니라는 것을 이해해야 한다. 반면에, 도시된 시나리오는 일반적인 개념을 드러내기 위한 것이며, 이는 본 발명의 범주에서 벗어나지 않고 다양한 다른 응용에도 적용될 수 있다.
도 2를 계속 참조하면, 증강은 임의의 적절한 방식으로 디스플레이될 수 있다. 예를 들어, 시각적인 시스루 디스플레이의 경우에 있어서, 사용자는 디스플레이의 시각적으로 투명한 부분들에 의해 제공되는 포토레프리젠터티브 뷰를 통해 이미 환경을 보고 있을 수 있다. 이러한 경우에서, 가상 객체들의 하나 이상의 이미지가 디스플레이 상에 디스플레이될 수 있으며, 이는 사용자의 관점으로부터 물리적 환경 내의 상응하는 물리적 특징들을 덮는다. 이렇게, 디스플레이된 이미지는 단계(218)에 나타내어진 바와 같이 사용자의 뷰를 증강화한다. 이러한 방식으로, 사용자는 여전히 환경 자체에 어떻게든 연결된 채로 남아있는 동시에 그 환경의 테마 기반 체험을 제공받는다.
이와 달리, 몰입 디스플레이의 경우에 사용자는 공간 모델의 완전히 렌더링된 이미지를 통해 제공된 포토레프리젠터티브 뷰를 통해 환경을 이미 보고 있을 수 있다(예컨대, 디스플레이의 시각적으로 투명한 부분을 통한 장면을 사용자가 직접 보는 것과는 반대로, 전체 디스플레이가 렌더링된다). 이러한 경우에, 공간 모델 내에서 식별된 하나 이상의 특징들이 변조될 수 있고, 이에 응답하여, 공간 모델의 완전히 렌더링된 이미지가 디스플레이되어 이러한 공간 모델의 변조를 반영할 수도 있다. 공간 모델 내의 특징들이 충분히 유지되기 때문에, 사용자는 단계(220)에 도시된 바와 같이 변조를 환경 내의 물리적 특징들을 덮는 것으로 여길 수 있다.
따라서, 디스플레이가 시각적 시스루 디스플레이인지 또는 몰입 디스플레이인지 여부와 무관하게, 사용자는 환경 자체에 여전히 어떻게든 연결된 동시에 그들의 환경의 테마 기반 체험을 제공받는다. 다시 말하면, 전형적으로 디스플레이된 콘텐츠의 일부분이 포토레프리젠터티브하게 남아있어서, 예를 들어 사진에서와 같이 상대적으로 높은 레벨의 정확도를 갖는 물리적 환경의 정확한 뷰를 제공한다. 즉, 일부 경우에서는 전체 물리적 환경이 공간 모델에 응답하여 선택된 적절한 테마 기반의 변조로 덮이거나 입혀질 수 있다.
또한, 디스플레이 시스템이 시각적으로 실시간 환경 정보를 획득하기 때문에, 증강의 디스플레이는 단계(222)에 도시된 바와 같이 사용자가 물리적 환경을 통과해 이동할 때 유지될 수 있다. 다시 말하면, 증강은 포토레프리젠터티브 뷰에서의 연속적인 변화를 야기하도록 물리적 환경 내에서 사용자가 움직임에 따라 동적으로 디스플레이될 수 있다. 일부 실시예에서, 이것은 증강화 및/또는 공간 모델을 변조하는 것을 포함할 수 있으며, 그에 따라 사용자의 관점 또한 실시간으로 변화한다고 해도 사용자의 관점을 따라 디스플레이된 증강이 계속 디스플레이되도록 한다. 따라서, 사용자는 사용자가 환경을 통화해 이동하고/하거나 또는 환경과 상호작용할 때 계속해서 자연스럽게 테마 기반 체험을 할 수 있다.
일부 실시예에서, 전술된 방법들 및 프로세스들은 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에 연관될 수 있다. 특히, 본 명세서에 기술된 방법 및 프로세스들은 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 5는 전술된 방법 및 프로세스의 하나 이상을 수행할 수 있는 비한정적인 컴퓨팅 시스템(500)을 개략적으로 도시한다. 컴퓨팅 시스템(500)은 단순화된 형태로 도시되었다. 사실상 임의의 컴퓨터 아키텍처가 본 발명의 범주로부터 벗어나지 않고 사용될 수 있음을 이해할 것이다. 다른 실시예에서, 컴퓨팅 시스템(500)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 게임 디바이스 등의 형태를 취할 수 있다.
컴퓨팅 시스템(500)은 로직 서브시스템(502) 및 데이터-홀딩 서브시스템(504)을 포함한다. 컴퓨팅 시스템(500)은 디스플레이 서브시스템(506), 통신 서브시스템(508), 환경 서브시스템(510), 분석 서브시스템(512) 및/또는 도 5에 도시되지 않은 다른 구성요소를 선택적으로 포함할 수 있다. 컴퓨팅 시스템(500)은 또한 예를 들어 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크, 및/또는 터치 스크린과 같은 사용자 입력 디바이스도 포함할 수 있다.
로직 서브시스템(502)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 논리 구조의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 태스크를 수행하고, 데이터 타입을 구현하고, 하나 이상의 디바이스 상태를 변환하거나, 또는 그외 다른 결론에 도달하도록 구현될 수 있다.
로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 이와 달리, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 단일 코어 또는 멀티코어일 수 있으며, 그 위에서 실행되는 프로그램은 동시 또는 전용 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은 계획된 프로세싱을 위해 원거리에 구성 및/또는 위치될 수 있는 둘 이상의 디바이스를 통해 분산된 개별적인 구성요소를 선택적으로 포함할 수 있다. 로직 서브시스템의 하나 이상의 측면은 클라우드 컴퓨팅 구성에서 구성된 원격 접근가능한 네트워킹된 컴퓨팅 디바이스에 의해 가상화되고 실행될 수 있다.
데이터-홀딩 서브시스템(504)은 디스플레이 및 하나 이상의 센서(예컨대, 센서(516))와 동작상 연결될 수 있고, 본 명세서에 기술된 방법 및 프로세스를 구현하도록 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 홀딩하도록 구성된 하나 이상의 물리적이고 비일시적인(non-transitory) 디바이스를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터-홀딩 서브시스템(504)의 상태는 변형될 수 있다(예컨대, 다른 데이터를 홀딩하기 위해서).
데이터-홀딩 서브시스템(504)은 제거가능한 미디어 및/또는 내장 디바이스를 포함할 수 있다. 데이터-홀딩 서브시스템(504)은 특히 광학적 메모리 디바이스(예컨대, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 디바이스(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리 디바이스(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 데이터-홀딩 서브시스템(504)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스 가능, 파일 어드레스 가능 및 콘텐츠 어드레스 가능과 같은 특징들 중 하나 이상을 갖는 디바이스를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템(502) 및 데이터-홀딩 서브시스템(504)은 애플리케이션 특정 집적 회로 또는 SOC(system on chip)과 같은 하나 이상의 공통의 디바이스에 집적될 수도 있다.
도 5는 또한 제거가능한 컴퓨터 판독가능 저장 매체(514)의 형태로 데이터-홀딩 서브시스템의 측면을 도시하며, 이것은 본 명세서에 기술된 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 명령어를 전송 및/또는 저장하는 데에 사용될 수 있다. 제거가능한 컴퓨터 판독가능 저장 매체(514)는 특히 CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수 있다.
데이터-홀딩 서브시스템(504)은 하나 이상의 물리적인 비일시적(non-transitory) 디바이스를 포함한다는 것을 이해해야 한다. 반면에, 일부 실시예에서 본 명세서에 기술된 명령어의 측면은 적어도 한정된 기간 동안 물리적 디바이스에 의해 홀딩되지 않는 순수한 신호(예를 들어, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 또한, 데이터 및/또는 본 발명과 관련된 정보의 다른 형태가 순수한 신호에 의해 전파될 수 있다.
디스플레이 서브시스템(506)이 포함되는 경우, 이것은 데이터-홀딩 서브시스템(504)에 의해 홀딩되는 데이터의 시각적 표현을 나타내는데에 사용될 수 있다(예컨대, 가상 아바타 및/또는 3차원 가상 세계). 본 명세서에 기술된 방법 및 프로세스가 데이터-홀딩 서브시스템에 의해 홀딩되는 데이터를 변경하고, 그에 따라 데이터-홀딩 서브시스템의 상태를 변형하기 때문에, 디스플레이 서브시스템(506)의 상태는 아래에 덮여져 있는 데이터에서의 변화를 시각적으로 표현하도록 유사하게 변형될 수 있다. 예를 들어, 컴퓨팅 시스템(500)은 디스플레이 서브시스템(506)의 디스플레이 디바이스 상의 디스플레이를 위해 운전 게임을 렌더링하도록 구성될 수 있다. 이렇게, 컴퓨팅 시스템(500)은 운전 게임 인터페이스를 디스플레이 디바이스에 출력하기 위한 디스플레이 출력을 포함할 수 있다. 디스플레이 서브시스템(506)은 사실상 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 이러한 디스플레이 디바이스는 공유 외장형 하드 드라이브에서 로직 서브시스템(502) 및/또는 데이터-홀딩 서브시스템(504)과 결합될 수 있거나, 또는 이러한 디스플레이 디바이스는 디스플레이 출력을 통해 로직 서브시스템에 접속되는 주변 디스플레이 디바이스일 수 있다.
통신 서브시스템(508)이 포함되는 경우, 이것은 하나 이상의 다른 컴퓨팅 디바이스와 컴퓨팅 시스템(500)을 통신상 연결하도록 구성될 수 있다. 통신 서브시스템은 하나 이상의 서로 다른 통신 프로토콜과 상호가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비한정적인 예시로서, 통신 서브시스템은 무선 전화 네트워크, 무선 로컬 영역 네트워크, 유선 로컬 영역 네트워크, 무선 광역 네트워크, 유선 광역 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(500)이 인터넷과 같은 네트워크를 통해서 다른 디바이스로 및/또는 다른 디바이스로부터 메시지를 전송 및/또는 수신하는 것을 가능케 할 수 있다.
환경 서브시스템(510)은 환경 정보를 시각적으로 실시간 획득하기 위해 하나 이상의 센서(516)를 포함할 수 있다. 센서(516)는 하나 이상의 타겟의 깊이 이미지를 획득하도록 구성된 통합 및/또는 주변 캡처 디바이스(518)를 포함할 수 있다. 두 경우 모두에서, 컴퓨팅 시스템(500)은 깊이 카메라로부터 깊이 이미지를 수신하고 수신된 깊이 이미지를 처리하기 위해 로컬 서브시스템으로 전달하기 위한 주변 입력을 포함할 수 있다. 캡처 디바이스(518)는 임의의 적절한 기술(예컨대, 경과 시간(time-of flight), 구조광(structured light), 스테레오 이미지(stero image) 등)을 통해 깊이 정보를 갖는 비디오를 캡처하도록 구성될 수 있다. 이렇게, 캡처 디바이스(518)는 깊이 카메라, 비디오 카메라, 스테레오 카메라 및/또는 다른 적절한 캡처 디바이스를 포함할 수 있다.
예를 들어, 경과 시간 분석에서, 캡처 디바이스(518)는 타겟으로 적외선을 방출할 수 있고 그 다음 타겟의 표면으로부터 재산란된 빛을 검출하도록 센서를 사용할 수 있다. 일부 경우에서, 펄스된 적외선이 사용될 수 있으며, 이때 나가는 광 펄스와 상응하는 입사 광 펄스 간의 시간차가 측정되어 캡처 디바이스로부터 타겟 상의 특정 위치까지의 물리적 거리를 결정하도록 사용될 수 있다. 일부 경우에서, 나가는 광파의 위상이 입사하는 광파의 위상과 비교되어 위상 시프트가 결정될 수 있으며, 이러한 위상 시프트는 캡처 디바이스로부터 타겟 위의 특정 위치까지의 물리적 거리를 결정하도록 사용될 수 있다.
다른 예시에서, 경과 시간 분석은 셔터링된(shuttered) 광 펄스 이미징과 같은 기술을 통해, 시간에 따라 반사된 광선의 세기를 분석함으로써 캡처 디바이스로부터 타겟 위의 특정 위치까지의 물리적 거리를 간접적으로 결정하도록 사용될 수 있다.
다른 예시에서, 구조광 분석은 깊이 정보를 캡처하도록 캡처 디바이스(518)에 의해 활용될 수 있다. 이러한 분석에서, 패턴화된 광(예컨대, 격자 패턴, 스트라이프 패턴, 점들의 무리 등과 같은 알려진 패턴으로서 디스플레이되는 광)이 타겟 위에 투영될 수 있다. 타겟의 표면을 때리면, 패턴은 기형화될 수 있고, 이러한 패턴의 기형화는 캡처 디바이스로부터 타겟 위의 특정 위치까지의 물리적 거리를 결정하도록 연구될 수 있다.
다른 예시에서, 캡처 디바이스는 시각적 스테레오 데이터를 획득하도록 서로 다른 각도로부터 타겟을 보는 물리적으로 분리된 둘 이상의 카메라를 포함할 수 있다. 이러한 경우에, 시각적 스테레오 데이터는 깊이 이미지를 생성하기 위해 리졸브될 수 있다.
다른 실시예에서, 캡처 디바이스(518)는 깊이 값을 측정 및/또는 계산하기 위해 다른 기술을 활용할 수 있다. 또한, 캡처 디바이스(518)는 계산된 깊이 정보를, 예를 들어 Z축에 수직하고 깊이 카메라로부터 그 시선을 따라 타겟까지 확장하는 "Z층"에 조직화할 수 있다.
일부 실시예에서, 둘 이상의 서로 다른 카메라가 통합된 캡처 디바이스 내에 결합될 수 있다. 예를 들어, 깊이 카메라 및 비디오 카메라(예컨대, RGB 비디오 카메라)는 공통 캡처 디바이스에 결합될 수 있다. 일부 실시예에서, 둘 이상의 개별적인 캡처 디바이스가 공동으로 사용될 수 있다. 예를 들어, 깊이 카메라 및 개별 비디오 카메라가 사용될 수 있다. 비디오 카메라가 사용될 때, 이것은 타겟 추적 데이터, 타겟 추적, 이미지 캡처, 얼굴 인식, 높은 정확도의 지문(또는 다른 작은 특징) 인식, 광 감지, 및/또는 그외의 기능에서의 오류 수정을 위한 확인 데이터를 제공하도록 사용될 수 있다.
환경 서브시스템(510)은 환경 정보에 기초하여 물리적 환경의 공간 모델을 생성하도록 추가로 구성될 수 있다. 적어도 일부 타겟 분석 및 추적 동작이 하나 이상의 캡처 디바이스의 논리 장치에 의해 실행될 수 있음을 이해할 것이다. 캡처 디바이스는 하나 이상의 타겟 분석 및/또는 추적 기능을 수행하도록 구성된 하나 이상의 온보드 프로세싱 유닛을 포함할 수 있다. 캡처 디바이스는 이러한 온보드 프로세싱 로직의 업데이트에 활용하기 위한 펌웨어를 포함할 수 있다.
컴퓨팅 시스템(500)은 입력 디바이스(520)와 같은 하나 이상의 입력 디바이스를 선택적으로 포함할 수 있다. 입력 디바이스(520)는 예를 들어 포토레프리젠터티브 뷰를 증강화하기 위한 테마를 선택하는 사용자 입력을 수신하기 위해 활용될 수 있다. 입력 디바이스는 컴퓨팅 시스템의 동작을 제어하도록 사용될 수 있다. 게임의 맥락에서, 입력 디바이스는 본 명세서에 기술된 타겟 인식, 추적 및 분석 방법 및 절차를 통해 제어되지 않는 게임의 측면을 제어하는 데에 사용될 수 있다. 일부 실시예에서, 입력 디바이스는 물리적 공간에서 컨트롤러의 움직임을 측정하는 데에 사용될 수 있는 가속도계, 자이로스코프, 적외선 타겟/센서 시스템 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 시스템은 입력 글로브, 키보드, 마우스, 트랙 패드, 트랙볼, 터치 스크린, 버튼, 스위치, 다이얼 및/또는 다른 입력 디바이스를 선택적으로 포함 및/또는 활용할 수 있다. 타겟 인식, 추적 및 분석이, 게임 컨트롤러와 같이 입력 디바이스에 의해 통상적으로 컨트롤되는 게임 또는 다른 애플리케이션의 측면을 제어 또는 증강화하는 데에 사용될 수 있음을 이해할 것이다. 일부 실시예에서, 본 명세서에 기술된 타겟 추적은 사용자 입력의 다른 형태에 대한 완전한 대체로서 이용될 수 있는 반면, 다른 실시예에서 이러한 타겟 추적은 하나 이상의 다른 형태의 사용자 입력을 완성하도록 이용될 수 있다.
분석 서브시스템(512)은 환경 서브시스템(510)에 의해 생성되는 공간 모델을 분석하도록 구성될 수 있다. 이러한 분석은 객체 인식, 제스처 인식, 얼굴 인식, 음성 인식, 오디오 인식, 및/또는 임의의 다른 적절한 유형의 분석을 포함할 수 있다.
본 명세서에 기술된 구성 및/또는 접근법은 본질적으로 예시적인 것이며, 이러한 특정 실시예 또는 예시들은 제한적인 의미로 간주되어서는 안되고, 광범위한 변형이 가능하다는 것을 이해할 것이다. 본 명세서에 기술된 특정 루틴 또는 방법은 하나 이상의 임의의 수의 프로세싱 전략을 나타낼 수 있다. 이렇게, 설명된 다양한 동작들은 설명된 것과 같이 순차적으로, 또는 다른 순서로, 동시에, 또는 일부는 생략되어 수행될 수 있다. 유사하게, 전술된 프로세스의 순서가 변경될 수 있다.
본 발명의 청구사항은 본 명세서에 개시된 다양한 프로세스, 시스템 및 구성들과, 그외의 특징, 기능, 동작, 및/또는 특성의 새롭고 관찰되지 않은 조합 및 부조합들과 그 임의의 모든 동등물을 포함한다.

Claims (19)

  1. 물리적 환경이 보이는 시스루(see-through) 디스플레이의 하나 이상의 투명 부분을 통해 상기 물리적 환경의 사용자 관점(user's vantage point)으로부터의 포토레프리젠터티브 뷰(photorepresentative view)를 제공하도록 구성된 시스루 디스플레이 상에서, 상기 포토레프리젠터티브 뷰의 테마 기반 증강(theme-based augmenting)을 제공하는 방법에 있어서,
    상기 포토레프리젠터티브 뷰의 증강에 사용하기 위한 증강 테마 - 상기 증강 테마는 복수의 가능한 증강을 포함하고, 선택할 수 있는 적어도 2 개의 증강 테마들 중에서 선택되는 것임 - 를 선택하는 입력을 상기 사용자로부터 수신하는 단계와,
    상기 물리적 환경의 환경 정보를 시각적으로(optically) 실시간 획득하는 단계와,
    상기 환경 정보에 기초하여 상기 물리적 환경에 있는 객체들의 표현을 포함하는 상기 물리적 환경의 3 차원 공간 모델(spatial model)을 실시간 생성하는 단계와,
    상기 3 차원 공간 모델의 분석을 통해, 상기 물리적 환경 내의 하나 이상의 물리적 특징(feature)에 각각 대응하는, 상기 3 차원 공간 모델 내의 하나 이상의 특징을 식별하는 단계와,
    상기 분석에 기초하여, 상기 시스루 디스플레이 상에 상기 3 차원 공간 모델의 분석을 통해 식별된 하나 이상의 특징 중 하나의 특징의 증강 - 상기 증강은 상기 증강 테마와 연관되고 상기 물리적 환경의 부분이 상기 시스루 디스플레이를 통해 보이는 채로 남아있는 동안 보여지고, 상기 증강은 상기 식별된 특징의 크기 및 모양 중 하나 이상에 기초하여 상기 복수의 가능한 증강으로부터 선택되는 것임 - 을 디스플레이하는 단계;
    상기 사용자가 상기 물리적 환경에 대해 이동함에 따라, 상기 환경 정보에 기초하여 상기 3 차원 공간 모델을 실시간 업데이트하는 단계; 및
    상기 3 차원 공간 모델의 업데이트의 결과로서, 상기 시스루 디스플레이 상에 증강 변화를 디스플레이하는 단계
    를 포함하는 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  2. 제 1 항에 있어서, 상기 시스루 디스플레이는 헤드-업 디스플레이(head-up display)인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  3. 제 1 항에 있어서, 상기 시스루 디스플레이는 헤드-마운트 디스플레이(head-mounted display)인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  4. 제 1 항에 있어서, 상기 증강을 디스플레이하는 단계는, 상기 사용자 관점으로부터, 상기 식별된 특징에 대응하는 상기 물리적 환경 내의 물리적 특징을 오버레이(overlay)하는 이미지를 디스플레이하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  5. 제 1 항에 있어서, 상기 증강을 디스플레이하는 단계는, 상기 3 차원 공간 모델의 상기 식별된 특징에 가상 스킨을 적용하는 단계 및 상기 사용자 관점으로부터 상기 물리적 환경의 대응하는 물리적 특징을 오버레이하는 상기 가상 스킨의 이미지를 디스플레이하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  6. 제 1 항에 있어서, 상기 증강을 디스플레이하는 단계는, 가상 객체를 상기 3 차원 공간 모델의 상기 식별된 특징 상에 오버레이하는 단계와, 상기 사용자 관점으로부터, 상기 시스루 디스플레이를 통해 상기 사용자에게 보여질 수 있는 상기 물리적 환경 내의 대응하는 물리적 특징을 오버레이하는, 상기 가상 객체의 이미지를 디스플레이하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  7. 제 1 항에 있어서, 상기 환경 정보를 획득하는 단계는, 상기 시스루 디스플레이와 연관된 하나 이상의 센서를 통해 상기 환경 정보를 검출하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  8. 제 1 항에 있어서, 상기 3 차원 공간 모델의 분석을 통해, 상기 물리적 환경 내의 하나 이상의 물리적 특징(feature)에 각각 대응하는, 상기 3 차원 공간 모델 내의 하나 이상의 특징을 식별하는 단계는 또한, 상기 물리적 환경 내의 객체를 식별하기 위해 상기 3 차원 공간 모델에 대한 객체 인식 분석을 수행하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  9. 제 8 항에 있어서, 상기 증강이 상기 식별된 객체의 치수 및 특징 중 적어도 하나에 대응하게 크기가 정해지도록, 상기 증강은 상기 식별된 객체에 기초하여 상기 복수의 가능한 증강으로부터 선택되는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  10. 제 1 항에 있어서, 상기 증강 변화를 디스플레이하는 단계는 상기 증강 테마와 연관된 제2 증강 - 상기 제2 증강은 상기 3 차원 공간 모델 내의 식별된 추가적인 특징에 기초하여 상기 복수의 가능한 증강으로부터 선택되는 것임 - 을 디스플레이하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  11. 제 1 항에 있어서, 상기 증강 변화를 디스플레이하는 단계는 상기 사용자가 상기 물리적 환경을 통해 이동함에 따라 상기 증강을 디스플레이하는 것을 조정하는 단계를 포함하는 것인, 포토레프리젠터티브 뷰의 테마 기반 증강 제공 방법.
  12. 디스플레이 출력을 통해 증강을 제공하는 디스플레이 시스템에 있어서,
    물리적 환경이 사용자에게 보여질 수 있는 헤드-마운트(head-mount) 광학 시스루(see-through) 디스플레이의 하나 이상의 투명 부분을 통해 상기 물리적 환경의 사용자 관점(user's vantage point)으로부터의 포토레프리젠터티브 뷰(photorepresentative view)를 제공하도록 구성된 헤드-마운트 광학 시스루 디스플레이와,
    상기 물리적 환경의 환경 정보를 시각적으로 실시간 획득하도록 구성된 하나 이상의 통합 센서와,
    로직 서브시스템;
    상기 헤드-마운트 광학 시스루 디스플레이 및 상기 하나 이상의 통합 센서와 동작가능하게 결합된 데이터 홀딩 서브시스템
    을 포함하고,
    상기 데이터 홀딩 서브시스템은,
    상기 환경 정보에 기초하여 상기 물리적 환경의 공간 모델을 생성하고,
    선택할 수 있는 적어도 2 개의 증강 테마들 중에서 증강 테마 - 상기 증강 테마는 복수의 가능한 증강을 포함함 - 를 선택하는 사용자 입력을 수신하고,
    상기 공간 모델의 분석을 통해, 상기 물리적 환경 내의 하나 이상의 물리적 특징에 각각 대응하는, 상기 공간 모델 내의 하나 이상의 특징을 식별하고,
    상기 분석에 기초하여, 상기 하나 이상의 특징들 중에서 하나의 식별된 특징의 크기 및 모양 중 하나 이상에 기초하여 상기 복수의 가능한 증강으로부터 증강을 자동으로 선택하고,
    상기 헤드-마운트 광학 시스루 디스플레이 상에, 상기 물리적 환경의 다른 부분의 시스루 뷰잉(viewing)을 동시에 제공하면서 상기 식별된 특징의 증강을 디스플레이하도록
    상기 로직 서브시스템에 의해 실행가능한 명령어들을 저장하는 것인, 디스플레이 시스템.
  13. 제 12 항에 있어서,
    상기 하나 이상의 통합 센서는 상기 물리적 환경의 하나 이상의 깊이 이미지(depth image)를 획득하도록 구성된 이미지 캡처 디바이스를 포함하는 것인, 디스플레이 시스템.
  14. 제 13 항에 있어서, 상기 이미지 캡처 디바이스는 경과 시간(time of flight) 깊이 카메라를 포함하는 것인, 디스플레이 시스템.
  15. 제 13 항에 있어서, 상기 이미지 캡처 디바이스는 구조광(structured light) 깊이 카메라를 포함하는 것인, 디스플레이 시스템.
  16. 제 13 항에 있어서,
    상기 명령어들은, 상기 깊이 이미지로부터 상기 물리적 환경의 깊이 맵(depth map)을 생성하고 상기 깊이 맵으로부터 상기 물리적 환경의 기계-판독 가능 표현을 얻어냄(deriving)으로써, 상기 공간 모델을 생성하도록 실행가능한 것인, 디스플레이 시스템.
  17. 헤드-마운트 시스루 디스플레이 상에서, 물리적 환경이 보이는 상기 헤드-마운트 시스루 디스플레이의 하나 이상의 투명 부분을 통한 디스플레이 출력을 통해 테마 기반 증강을 제공하는 방법에 있어서,
    사용자로부터, 포토레프리젠터티브 뷰 - 상기 포토레프리젠터티브 뷰는 상기 사용자의 관점으로부터의 뷰이고, 상기 사용자가 위치한 물리적 환경의 뷰인 것임 - 를 증강화하기 위해 선택할 수 있는 적어도 2 개의 증강 테마들 중에서 증강 테마를 선택하는 입력을 수신하는 단계와,
    상기 헤드-마운트 시스루 디스플레이에 인접하게 배치된 하나 이상의 깊이 카메라를 통해 상기 물리적 환경의 깊이 정보를 시각적으로 실시간 검출하는 단계와,
    상기 깊이 정보에 기초하여 상기 사용자의 관점으로부터의 상기 물리적 환경의 공간 모델을 생성하는 단계와,
    상기 공간 모델의 분석을 통해, 상기 물리적 환경 내의 하나 이상의 물리적 특징(feature)에 각각 대응하는, 상기 공간 모델 내의 하나 이상의 특징을 식별하는 단계와,
    상기 식별된 하나 이상의 특징 중에서 하나의 식별된 특징의 크기 및 모양 중 하나 이상에 기초하여 상기 증강 테마와 연관된 복수의 증강으로부터 증강을 자동으로 선택하는 단계와,
    이에 대응하여, 상기 헤드-마운트 시스루 디스플레이 상에서, 상기 물리적 환경의 상기 포토레프리젠터티브 뷰의 적어도 일부를 계속해서 제공하면서 상기 증강을 디스플레이하는 단계
    를 포함하는 테마 기반 증강을 제공하는 방법.
  18. 제 17 항에 있어서, 상기 증강을 디스플레이하는 단계는 상기 사용자가 상기 물리적 환경 내에서 이동하여 상기 포토레프리젠터티브 뷰의 결과적인 변경을 야기함에 따라 상기 증강을 동적으로 디스플레이하는 단계를 포함하는 것인, 테마 기반 증강을 제공하는 방법.
  19. 제 17 항에 있어서, 상기 식별된 하나 이상의 특징 중에서 하나의 식별된 특징의 크기 및 모양 중 하나 이상에 기초하여 상기 증강 테마와 연관된 복수의 증강으로부터 증강을 자동으로 선택하는 단계는 또한, 상기 물리적 환경에 위치한 객체의 치수 및 특징 중 적어도 하나에 대응하게 크기가 정해진 증강을 선택하는 단계를 포함하는 것인, 테마 기반 증강을 제공하는 방법.
KR1020137023809A 2011-03-10 2012-03-05 포토레프리젠터티브 뷰의 테마 기반 증강 KR101961964B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/044,895 2011-03-10
US13/044,895 US10972680B2 (en) 2011-03-10 2011-03-10 Theme-based augmentation of photorepresentative view
PCT/US2012/027787 WO2012122133A2 (en) 2011-03-10 2012-03-05 Theme-based augmentation of photorepresentative view

Publications (2)

Publication Number Publication Date
KR20140007427A KR20140007427A (ko) 2014-01-17
KR101961964B1 true KR101961964B1 (ko) 2019-03-25

Family

ID=46795136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137023809A KR101961964B1 (ko) 2011-03-10 2012-03-05 포토레프리젠터티브 뷰의 테마 기반 증강

Country Status (8)

Country Link
US (1) US10972680B2 (ko)
EP (1) EP2684350A4 (ko)
JP (1) JP5976019B2 (ko)
KR (1) KR101961964B1 (ko)
CN (1) CN102681811B (ko)
AR (1) AR085659A1 (ko)
TW (1) TWI567659B (ko)
WO (1) WO2012122133A2 (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US20120320216A1 (en) * 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
DE102011104524A1 (de) * 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
EP2629498A1 (en) * 2012-02-17 2013-08-21 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of visualizing sound
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US9001153B2 (en) * 2012-03-21 2015-04-07 GM Global Technology Operations LLC System and apparatus for augmented reality display and controls
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
CN103869933B (zh) * 2012-12-11 2017-06-27 联想(北京)有限公司 信息处理的方法和终端设备
DE102012224321B4 (de) * 2012-12-21 2022-12-15 Applejack 199 L.P. Messvorrichtung zum Erfassen einer Schlagbewegung eines Schlägers, Trainingsvorrichtung und Verfahren zum Training einer Schlagbewegung
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US10572118B2 (en) * 2013-03-28 2020-02-25 David Michael Priest Pattern-based design system
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
KR102249577B1 (ko) * 2013-05-30 2021-05-07 찰스 안소니 스미스 Ｈｕｄ 객체 설계 및 방법
US9779548B2 (en) * 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP6272687B2 (ja) * 2013-12-18 2018-01-31 マイクロソフト テクノロジー ライセンシング，エルエルシー 事前計算された照明による拡張現実環境の構築
KR102197504B1 (ko) * 2013-12-18 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
US9761049B2 (en) 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
CN103902983A (zh) * 2014-04-14 2014-07-02 夷希数码科技(上海)有限公司 一种穿戴式人脸识别方法及装置
CN106536004B (zh) * 2014-04-30 2019-12-13 惠普发展公司，有限责任合伙企业 增强的游戏平台
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
US9959675B2 (en) * 2014-06-09 2018-05-01 Microsoft Technology Licensing, Llc Layout design using locally satisfiable proposals
US10529009B2 (en) 2014-06-25 2020-01-07 Ebay Inc. Digital avatars in online marketplaces
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10091015B2 (en) 2014-12-16 2018-10-02 Microsoft Technology Licensing, Llc 3D mapping of internet of things devices
US20160224657A1 (en) * 2015-01-30 2016-08-04 Llc Daqri, Llc Digitized interactions with an identified object
CN106033418B (zh) 2015-03-10 2020-01-31 阿里巴巴集团控股有限公司 语音添加、播放方法及装置、图片分类、检索方法及装置
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10037465B2 (en) 2016-03-18 2018-07-31 Disney Enterprises, Inc. Systems and methods for generating augmented reality environments
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
JP2017199238A (ja) * 2016-04-28 2017-11-02 株式会社カプコン 仮想空間表示システム
US10909761B1 (en) * 2016-07-07 2021-02-02 Google Llc 2D video with option for projected viewing in modeled 3D space
KR101692267B1 (ko) * 2016-08-25 2017-01-04 지스마트 주식회사 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
US10068379B2 (en) * 2016-09-30 2018-09-04 Intel Corporation Automatic placement of augmented reality models
TWI637287B (zh) * 2016-11-04 2018-10-01 宏達國際電子股份有限公司 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
GB2555838A (en) 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10359863B2 (en) * 2016-11-15 2019-07-23 Google Llc Dragging virtual elements of an augmented and/or virtual reality environment
WO2018131238A1 (ja) * 2017-01-16 2018-07-19 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10542300B2 (en) 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US10740804B2 (en) 2017-07-28 2020-08-11 Magical Technologies, Llc Systems, methods and apparatuses of seamless integration of augmented, alternate, virtual, and/or mixed realities with physical realities for enhancement of web, mobile and/or other digital experiences
WO2019028479A1 (en) * 2017-08-04 2019-02-07 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUSES FOR DEPLOYING AND TARGETING VIRTUAL OBJECTS SENSITIVE TO CONTEXT AND MODELING BEHAVIOR OF VIRTUAL OBJECTS BASED ON PHYSICAL PRINCIPLES
WO2019026052A1 (en) * 2017-08-04 2019-02-07 Zyetric Enterprise Limited INTELLIGENT VIRTUAL OBJECT IN AN INCREASED REALITY ENVIRONMENT INTERACTIVELY RESPONDING TO AMBIENT ENVIRONMENTAL CHANGES
WO2019055703A2 (en) 2017-09-13 2019-03-21 Magical Technologies, Llc VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
EP3476448B1 (de) * 2017-10-24 2021-12-08 VR Coaster GmbH & Co. KG Vr-vorrichtung zum erzeugen und darstellen einer virtuellen realität
US11232502B2 (en) * 2017-12-20 2022-01-25 Signify Holding B.V. Lighting and internet of things design using augmented reality
JP6590324B2 (ja) 2017-12-28 2019-10-16 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP7364218B2 (ja) * 2017-12-28 2023-10-18 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP6857795B2 (ja) 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US10500496B2 (en) * 2018-01-12 2019-12-10 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
JP7041888B2 (ja) * 2018-02-08 2022-03-25 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
CN109344923A (zh) * 2018-08-27 2019-02-15 百度在线网络技术（北京）有限公司 关联物体的显示方法、装置及电子设备
US10783713B2 (en) 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
US10664989B1 (en) 2018-12-19 2020-05-26 Disney Enterprises, Inc. Systems and methods to present interactive content based on detection of markers
CN109543663B (zh) * 2018-12-28 2021-04-27 北京旷视科技有限公司 一种犬只身份识别方法、装置、系统及存储介质
JP2022051977A (ja) * 2019-02-13 2022-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11335060B2 (en) 2019-04-04 2022-05-17 Snap Inc. Location based augmented-reality system
JP7315362B2 (ja) * 2019-04-12 2023-07-26 日産自動車株式会社 映像出力システム及び映像出力方法
JP2020074064A (ja) * 2019-09-05 2020-05-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US11380070B2 (en) * 2019-10-30 2022-07-05 The Paddock LLC Real-time augmentation of a virtual object onto a real-world object
US11206365B2 (en) * 2020-01-13 2021-12-21 Charter Communications Operating, Llc Method and apparatus for overlaying themed imagery onto real-world objects in a head-mounted display device
US11095855B2 (en) 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
US11636726B2 (en) * 2020-05-08 2023-04-25 Aristocrat Technologies, Inc. Systems and methods for gaming machine diagnostic analysis
US11514690B2 (en) * 2020-06-30 2022-11-29 Sony Interactive Entertainment LLC Scanning of 3D objects with a second screen device for insertion into a virtual environment
WO2022009607A1 (ja) * 2020-07-09 2022-01-13 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN113298938A (zh) * 2021-06-23 2021-08-24 东莞市小精灵教育软件有限公司 一种辅助建模方法、系统、可穿戴智能设备及vr设备
WO2023286321A1 (ja) * 2021-07-12 2023-01-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2024034133A (ja) * 2022-08-31 2024-03-13 株式会社Ｊｖｃケンウッド 提供装置および提供方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208057A1 (en) 2009-02-13 2010-08-19 Peter Meier Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20110216090A1 (en) 2010-03-03 2011-09-08 Gwangju Institute Of Science And Technology Real-time interactive augmented reality system and method and recording medium storing program for implementing the method
US20140051510A1 (en) 2011-03-02 2014-02-20 Hrvoje Benko Immersive display with peripheral illusions

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870136A (en) * 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
JP2000207575A (ja) 1999-01-08 2000-07-28 Nadeisu:Kk 空間融合装置及びこれを適用した応用装置
JP2000276613A (ja) 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP3728160B2 (ja) 1999-12-06 2005-12-21 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6930715B1 (en) * 2000-07-21 2005-08-16 The Research Foundation Of The State University Of New York Method, system and program product for augmenting an image of a scene with information about the scene
GB0111431D0 (en) 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
KR100500898B1 (ko) 2003-12-18 2005-07-18 한국전자통신연구원 공간정보를 이용한 3차원 공간모델링 장치 및 그 방법
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
KR101115944B1 (ko) 2004-09-06 2012-02-13 바이에리셰 모토렌 베르케 악티엔게젤샤프트 차 시트 상의 물체를 검출하기 위한 장치
JP4677281B2 (ja) 2005-05-11 2011-04-27 キヤノン株式会社 画像処理方法、画像処理装置
JP2009505268A (ja) * 2005-08-15 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法
JP5084167B2 (ja) 2006-03-31 2012-11-28 キヤノン株式会社 位置姿勢計測方法及び装置
JP4925120B2 (ja) 2007-07-02 2012-04-25 独立行政法人産業技術総合研究所 物体認識装置および物体認識方法
JP4973622B2 (ja) 2007-08-29 2012-07-11 カシオ計算機株式会社 画像合成装置および画像合成処理プログラム
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR101367282B1 (ko) 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
WO2009094587A1 (en) 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
KR100912264B1 (ko) 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8231465B2 (en) 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US20090237492A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
JP2009281895A (ja) 2008-05-23 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
US20090313285A1 (en) 2008-06-16 2009-12-17 Andreas Hronopoulos Methods and systems for facilitating the fantasies of users based on user profiles/preferences
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US8303406B2 (en) 2008-11-24 2012-11-06 Disney Enterprises, Inc. System and method for providing an augmented reality experience
KR101062961B1 (ko) 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101002785B1 (ko) 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
KR101343054B1 (ko) 2009-07-30 2013-12-18 에스케이플래닛 주식회사 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
HU0900478D0 (en) 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
US9247238B2 (en) * 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US8721337B2 (en) * 2011-03-08 2014-05-13 Bank Of America Corporation Real-time video image analysis for providing virtual landscaping
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208057A1 (en) 2009-02-13 2010-08-19 Peter Meier Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20110216090A1 (en) 2010-03-03 2011-09-08 Gwangju Institute Of Science And Technology Real-time interactive augmented reality system and method and recording medium storing program for implementing the method
US20140051510A1 (en) 2011-03-02 2014-02-20 Hrvoje Benko Immersive display with peripheral illusions

Also Published As

Publication number Publication date
TW201246088A (en) 2012-11-16
AR085659A1 (es) 2013-10-16
WO2012122133A2 (en) 2012-09-13
EP2684350A4 (en) 2014-08-13
US10972680B2 (en) 2021-04-06
EP2684350A2 (en) 2014-01-15
WO2012122133A3 (en) 2012-11-29
CN102681811B (zh) 2018-01-26
US20120229508A1 (en) 2012-09-13
KR20140007427A (ko) 2014-01-17
JP2014515130A (ja) 2014-06-26
CN102681811A (zh) 2012-09-19
JP5976019B2 (ja) 2016-08-23
TWI567659B (zh) 2017-01-21

Similar Documents

Publication Publication Date Title
KR101961964B1 (ko) 포토레프리젠터티브 뷰의 테마 기반 증강
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
EP3430498B1 (en) Virtual object pathing
JP7095189B2 (ja) 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
US10062213B2 (en) Augmented reality spaces with adaptive rules
JP2014509429A (ja) ユーザーインターフェースの提示およびインタラクション
CN105981076B (zh) 合成增强现实环境的构造
US9429912B2 (en) Mixed reality holographic object development
CN105264461B (zh) 虚拟对象与表面的交互
JP7560568B2 (ja) 仮想および拡張現実のためのシステムおよび方法
EP2887322B1 (en) Mixed reality holographic object development
US20150035832A1 (en) Virtual light in augmented reality
US20120201424A1 (en) Environmental modifications to mitigate environmental factors
KR20140081840A (ko) 모션으로 제어되는 리스트 스크롤 방법
CN110349259A (zh) 室内空间的三维地图生成方法及装置
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
JP4549415B2 (ja) 画像生成方法、画像生成装置ならびに画像生成プログラムを格納した記録媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant