KR20150108842A - 혼합 현실 필터링 - Google Patents

혼합 현실 필터링 Download PDF

Info

Publication number
KR20150108842A
KR20150108842A KR1020157020079A KR20157020079A KR20150108842A KR 20150108842 A KR20150108842 A KR 20150108842A KR 1020157020079 A KR1020157020079 A KR 1020157020079A KR 20157020079 A KR20157020079 A KR 20157020079A KR 20150108842 A KR20150108842 A KR 20150108842A
Authority
KR
South Korea
Prior art keywords
mixed reality
data items
geolocation data
filtering
mode
Prior art date
Application number
KR1020157020079A
Other languages
English (en)
Other versions
KR102185804B1 (ko
Inventor
피터 토비아스 키네브류
니콜라스 카무다
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150108842A publication Critical patent/KR20150108842A/ko
Application granted granted Critical
Publication of KR102185804B1 publication Critical patent/KR102185804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

혼합 현실 환경에서 지오로케이션 데이터 아이템을 선택적으로 필터링하는 것에 관한 실시형태들이 개시된다. 예를 들어, 개시하는 일 실시형태에서는, 혼합 현실 필터링 프로그램이, 복수의 지오로케이션 데이터 아이템을 수신하고, 하나 이상의 모드에 기초하여 데이터 아이템을 선택적으로 필터링한다. 상기 모드는, 소셜 모드, 유행 모드, 최근 모드, 업무 모드, 플레이 모드 및 사용자 관심사 모드 중 하나 이상의 모드를 포함한다. 상기 필터링에 의해, 지오로케이션 데이터 아이템의 필터링된 컬렉션이 산출된다. 필터링된 데이터 아이템 컬렉션은 이어서, 디스플레이 장치에 의한 표시를 위해 혼합 현실 디스플레이 프로그램에 제공된다.

Description

혼합 현실 필터링{MIXED REALITY FILTERING}
증강 또는 혼합 현실 장치(augmented or mixed reality device)가 다양한 실세계 환경 및 상황에 이용될 수 있다. 이러한 장치는 사용자에게 사용자를 둘러싸는 물리적 세계의 실시간 뷰(real-time view)를 제공할 수 있고, 홀로그래픽 오브젝트 및 다른 가상 현실 정보로 상기 뷰를 증강시킬 수 있다.
대량의 가상 현실 정보가 사용자에 대한 프레젠테이션에 이용 가능하다. 이 정보의 일부는 사용자의 뷰 내에 있을 수 있는 특정 위치와 연관될 수 있다. 그렇게 많은 가상 현실 정보가 이용 가능함에 따라, 사용자에 대한 이 정보의 프레젠테이션 및 그러한 정보와 사용자의 인터랙션을 관리하는 것이 곤란해질 수 있다. 너무 많은 가상 현실 정보를 제공하는 것은 혼합 현실 환경의 사용자의 경험을 혼란스럽게 하고 사용자를 당혹스럽게 하여, 정보를 처리하기에 어렵게 한다. 따라서, 일부 경우에 있어서 사용자는 이용할 수 있는 가상 현실 정보의 총량 중 소량 부분만 보는 것에 관심이 있을 수 있다. 또한, 이용 가능한 가상 현실 정보의 소량 부분이 제공된다 하더라도, 정보량 및 프레젠테이션 방식으로 인해, 여전히 사용자 경험은 바람직한 것보다는 덜할 것이다.
디스플레이 장치를 통해 혼합 현실 환경에서 지오로케이션(geo-located) 데이터 아이템의 필터링된 컬렉션을 제공하는 것과 관련된 다양한 실시형태들을 개시한다. 예를 들어, 개시하는 일 실시형태는 혼합 현실 환경에서 지오로케이션 홀로그램 아이템과 다른 지오로케이션 데이터 아이템을 포함하는 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하는 방법을 제공한다. 이 방법은 복수의 지오로케이션 데이터 아이템을 수신하는 단계와, 하나 이상의 모드에 기초하여 데이터 아이템을 필터링하는 단계를 포함한다. 상기 모드는, 소셜 모드, 유행 모드, 최근 모드, 업무 모드, 플레이 모드 및 사용자 관심사 모드 중 하나 이상의 모드를 포함한다. 상기 필터링에 의해, 지오로케이션 데이터 아이템의 필터링된 컬렉션이 산출된다. 필터링된 데이터 아이템의 컬렉션은 이어서, 디스플레이 장치에 의한 표시를 위해 혼합 현실 디스플레이 프로그램에 제공된다.
본 개요는 상세한 설명에서 또한 후술하는 개념들의 선택을 간략화한 형태로 소개하기 위해 제공된다. 본 개요는 청구범위의 발명의 대상이 되는 주요 특징 또는 본질적 특징을 확인하기 위한 것이 아니며, 청구범위의 발명의 대상의 범위를 한정하기 위해 이용되어서도 안 된다. 또한, 청구범위의 발명의 대상은 본 명세서의 어떤 부분에서 언급한 단점들 중 일부 또는 전부를 해결하는 구현예에 한정되지 않는다.
도 1은 본 개시의 일 실시형태에 따른 혼합 현실 필터링 시스템의 개략도이다.
도 2는 본 개시의 일 실시형태에 따른 예시적인 헤드 마운티드 디스플레이 장치(head-mounted display device)를 도시하는 도면이다.
도 3은 도 2의 헤드 마운티드 디스플레이 장치를 착용한 2명의 사용자의 개략도로서, 본 개시의 일 실시형태에 따른 예시적인 혼합 현실 환경을 도시하는 도면이다.
도 4는 헤드 마운티드 디스플레이 장치를 통해 보여지는 것인 데이터 아이템 밀도를 나타내는 스타필드(starfield)의 개략도이다.
도 5는 헤드 마운티드 디스플레이 장치를 통해 사용자가 보는 것인 도 3의 혼합 현실 환경 내에서 표시되는 데이터 아이템 스타필드의 개략도이다.
도 6a와 도 6b는 본 개시의 일 실시형태에 따른 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하는 방법의 흐름도이다.
도 7은 컴퓨팅 장치의 일 실시형태의 단순화된 개략도이다.
도 1은 혼합 현실 필터링 시스템(10)의 일 실시형태의 개략도를 도시하고 있다. 혼합 현실 필터링 시스템(10)은 컴퓨팅 장치(22)의 대용량 저장장치(18)에 저장될 수 있는 혼합 현실 필터링 프로그램(14)을 포함한다. 혼합 현실 필터링 프로그램(14)은 이하에 상세하게 설명하는 방법 및 프로세스 중 하나 이상을 수행하기 위해 메모리(26)에 로딩되어 컴퓨팅 장치(22)의 프로세서(30)에 의해 실행될 수 있다.
혼합 현실 필터링 시스템(10)은 혼합 현실 환경(38)을 만들어 내기 위해, 헤드 마운티드 디스플레이(HMD) 장치(36) 등의 디스플레이 장치 상에서의 표시에 맞는 가상 환경(34)을 생성할 수 있는 혼합 현실 디스플레이 프로그램(32)을 포함한다. 가상 환경(34)은 복수의 지오로케이션 데이터 아이템(40)을 포함한다. 이러한 데이터 아이템(40)은 지오로케이션 3차원 홀로그램 아이템(42)과 같은 하나 이상의 가상 이미지와, 지오로케이션 2차원 가상 오브젝트와 같은 다른 지오로케이션 데이터 아이템(44)을 포함할 수 있다.
일례로서 이하에 상세하게 살명하는 바와 같이, 하나 이상의 지오로케이션 데이터 아이템(40')은 지오로케이션 컨텐츠 채널(48)로부터 네트워크(46)를 통해 컴퓨팅 장치(22)에 의해 수신될 수 있다. 다른 예로서, 하나 이상의 지오로케이션 데이터 아이템(40")은 권한관리 서버(authority server)(52) 상에 배치된 저작 애플리케이션(authoring application)(50)에 의해 생성될 수도 있다. 이러한 지오로케이션 데이터 아이템(42")은 네트워크(46)를 통해 컴퓨팅 장치(22)에 의해서도 수신될 수 있다.
컴퓨팅 장치(22)는 데스크탑 컴퓨팅 장치와, 스마트폰, 랩탑, 노트북이나 태블릿 컴퓨터 등의 모바일 컴퓨팅 장치와, 네트워크 컴퓨터와, 홈 엔터테인먼트용 컴퓨터와, 인터랙티브 텔레비전과, 게임 시스템, 또는 다른 적절한 유형의 컴퓨팅 장치의 형태를 가질 수 있다. 컴퓨팅 장치(22)의 컴포넌트 및 컴퓨팅 양태에 관한 추가 상세내용은 도 7을 참조하여 이하에서 더욱 상세하게 설명한다.
컴퓨팅 장치(22)는 유선 접속을 이용하여 HMD 장치(26)와 동작 가능하게 접속되거나, WiFi, 블루투스 또는 기타 적절한 무선 통신 프로토콜을 통한 무선 접속을 채택할 수도 있다. 추가로, 도 1에 도시하는 예는 컴퓨팅 장치(22)를 HMD 장치(36)와 분리된 컴포넌트로서 도시하고 있다. 물론 다른 예에서는 컴퓨팅 장치(22)가 HMD 장치(36)에 통합될 수도 있다.
또한 도 2를 참조하면, 투명 디스플레이(54)와 착용 가능한 안경의 한 쌍의 형태로 된 HMD 장치(200)의 일례가 제시된다. 물론 다른 예에 있어서 HMD 장치(200)는 투명, 반투명 또는 불투명 디스플레이가, 뷰어(viewer)의 한쪽 눈 또는 양쪽 눈 앞에 지원되는 다른 적절한 형태를 취할 수도 있다. 또, 도 1에 도시하는 HMD 장치(36)는 이하에서 더욱 상세하게 설명하는 바와 같이, HMD 장치(200)의 형태 또는 기타 적절한 HMD 장치의 형태를 취할 수 있는 것도 물론이다. 추가로, 다양한 폼 팩터를 가진 디스플레이 장치의 다수의 다른 유형 및 구성도 본 개시의 범위 내에서 이용될 수 있다. 이러한 디스플레이 장치는 핸드헬드 스마트폰, 태블릿 컴퓨터 및 다른 적절한 디스플레이 장치를 포함할 수 있으나, 이들에 한정되지는 않는다.
도 1과 도 2를 참조하면, 본 예에 있어서, HMD 장치(36)는 사용자(62)의 눈에 홀로그래픽 오브젝트 등의 이미지가 전달되게 할 수 있는 투명 디스플레이(54) 및 디스플레이 시스템(56)을 포함한다. 투명 디스플레이(54)는 투명 디스플레이를 통해 물리적 환경을 보는 사용자(62)에 대해 물리적 환경의 외관(appearance)을 시각적으로 증강시키도록 구성될 수 있다. 예를 들어, 물리적 환경의 외관은 혼합 현실 환경(38)을 만들어 내기 위해 투명 디스플레이(54)를 통해 제공되는 그래픽 컨텐츠(예컨대 각각 개개의 색상 및 휘도를 가진 하나 이상의 픽셀)에 의해 증강될 수 있다.
또한, 투명 디스플레이(54)는 가상 오브젝트 프레젠테이션을 표시하고 있는 하나 이상의 일부 투명 픽셀을 통해 물리적 환경에서 사용자가 물리적, 실세계 오브젝트를 볼 수 있게 하도록 구성될 수 있다. 일례로, 투명 디스플레이(54)는 렌즈(204) 내에 배치된 이미지 생성 소자(예컨대, 시스루(see-through) OLED(Organic Light-Emitting Diode) 디스플레이 등)를 포함할 수 있다. 다른 예로, 투명 디스플레이(54)는 렌즈(204)의 엣지 상에 광변조기를 포함할 수 있다. 본 예에서 렌즈(204)는 광변조기로부터의 광을 사용자의 눈에 전달하는 광 가이드(light guide)로서 기능할 수 있다. 이러한 광 가이드는 사용자가 물리적 환경에서 물리적 오브젝트를 보게 하면서, 사용자로 하여금 사용자가 보고 있는 물리적 환경 내에 배치된 3D 홀로그래픽 오브젝트를 인지하게 할 수 있다.
HMD 장치(36)는 또한 다양한 센서 및 관련 시스템을 포함할 수 있다. 예를 들어, HMD 장치(36)는 적어도 하나의 내향(inward facing) 센서(216)를 이용하는 시선 추적(eye-tracking) 센서 시스템(58)을 포함할 수 있다. 내향 센서(16)는 사용자의 눈으로부터 시선 추적 정보의 형태로 이미지 데이터를 취득하도록 구성된 이미지 센서일 수 있다. 사용자가 이 정보의 취득 및 이용에 동의한다면, 시선 추적 센서 시스템(58)은 사용자 눈의 위치 및/또는 움직임(movement)을 추적하는데 이 정보를 이용할 수 있다.
또한 HMD 장치(36)는 물리적 환경으로부터 물리적 환경 데이터를 수신하는 센서 시스템을 포함할 수 있다. 예를 들어, HMD 장치(36)는 광학 센서 등의 적어도 하나의 외향 센서(outward facing) 센서(212)를 이용하는 광학 센서 시스템(60)을 포함할 수 있다. 외향 센서(212)는 사용자(62)에 의해 또는 시야 내의 사람 또는 물리적 오브젝트에 의해 수행된 제스처에 기초한 입력이나 다른 움직임과 같은, 센서의 시야 내에서 움직임을 검출할 수 있다. 외향 센서(212)는 물리적 환경 및 그 물리적 환경 내의 물리적 오브젝트로부터 2차원 이미지 정보 및 깊이 정보도 캡처할 수 있다. 예를 들어, 외향 센서(212)는 깊이 카메라, 가시광선 카메라, 적외선 카메라, 및/또는 위치 추적 카메라를 포함할 수 있다.
HMD 장치(36)는 하나 이상의 깊이 카메라를 통한 깊이 감지를 포함할 수 있다. 일례로, 각각의 깊이 카메라는 입체 시각(stereoscopic vision) 시스템의 좌측 및 우측 카메라를 포함할 수 있다. 이들 깊이 카메라 중 하나 이상으로부터의 시간 분해된(time-resolved) 이미지는 서로에 대해, 및/또는 가시 스펙트럼 카메라 등의 또다른 광학 센서로부터의 이미지에 등록될 수도 있고, 조합되어 깊이 분해된 비디오를 만들 수도 있다.
다른 예에 있어서, 구조형 광(structured light) 깊이 카메라는 구조형 적외선 조명(infrared illumination)을 투사하고 그 조명이 투사되는 장면으로부터 반사된 조명을 촬상하도록 구성될 수 있다. 그 장면의 깊이 맵은 촬상된 장면의 다양한 영역 내의 인접한 특징부(feature)들 간의 간격에 기초하여 구축될 수 있다. 또 다른 예에 있어서, 깊이 카메라는 펄스형의 적외선 조명을 장면에 투사하고 그 장면으로부터 반사된 조명을 검출하도록 구성된 TOF(time-of-flight) 깊이 카메라의 형태를 취할 수도 있다. 기타 적절한 깊이 카메라가 본 개시의 범위 내에 이용될 수 있는 것은 물론이다.
외향 센서(212)는 사용자(62)가 위치하는 물리적 환경의 이미지를 캡처할 수 있다. 일례로, 혼합 현실 디스플레이 프로그램(32)은, 이러한 입력을 이용하여, 그 사용자를 둘러싸는 물리적 환경을 모델링하는 가상 환경(34)을 생성하는 3D 모델링 시스템을 포함할 수 있다.
또한, HMD 장치(36)는 하나 이상의 모션 센서(224)를 이용하여 HMD 장치의 위치 추적 및/또는 방위 추적을 가능하게 하는 위치 센서 시스템(64)을 포함할 수 있다. 예를 들어, 위치 센서 시스템(64)은 사용자 머리의 머리 포즈 방위(head pose orientation)를 결정하는데 이용될 수 있다. 일례로, 위치 센서 시스템(64)은 6축 또는 6자유도 위치 센서 시스템으로서 구성된 관성 측정 단위를 포함할 수 있다. 본 예의 위치 센서 시스템은, 예컨대 3개의 직교축(예, x, y, z)을 따라 3차원 공간 내에서의 HMD 장치(36)의 위치 변화 및 3개의 직교축(예, 롤, 피치, 요)에 관한 방위 변화를 표시 또는 측정하는 3개의 가속도계 및 3개의 자이로스코프를 포함할 수 있다.
또한, 위치 센서 시스템(64)은 GOS 또는 다른 글로벌 내비게이션 시스템 등의 다른 적절한 위치 파악 기술(positioning technique)을 지원할 수 있다. 또한, 위치 센서 시스템의 특정 예에 대해 설명하고 있지만, 다른 적절한 위치 센서 시스템이 이용될 수도 있음은 물론이다.
일부 예에 있어서, 모션 센서(224)는 사용자가 목과 머리의 제스처, 또는 신체의 균형(even)을 통해 HMD 장치(36)와 인터랙션을 할 수 있게 하는 사용자 입력 장치로서도 채택될 수 있다. HMD 장치(36)는 하나 이상의 마이크로폰(220)을 포함하는 마이크로폰 시스템(66)도 포함할 수 있다. 다른 예로, HMD 장치(36) 상의 하나 이상의 스피커(228)를 통해 사용자에게 오디오가 제공될 수 있다.
또한, HMD 장치(36)는 이하에서 도 7과 관련해 더욱 상세하게 설명하는, 로직 서브시스템 및 스토리지 서브시스템을 갖는 프로세서(230)을 포함할 수 있으며, 이들 서브시스템은 HMD 장치의 다양한 센서 및 시스템과 통신한다. 일례로, 스토리지 서브시스템은, 센서로부터의 신호 입력을 수신하여 이들 입력을 컴퓨팅 장치(22)에 (처리되지 않거나 처리된 형태로) 포워드하고 이미지를 투명 디스플레이(54)를 통해 사용자에게 제공하기 위해 로직 서브시스템에 의해 실행될 수 있는 명령어를 포함할 수 있다.
도 1과 도 2에 도시하고 전술한 HMD 장치(36)와 관련 센서 및 다른 컨포넌트는 예시로 제시되는 것으로 이해하면 될 것이다. 이들 예는, 기타 적절한 센서, 컴포넌트, 및/또는 센서와 컴포넌트의 조합이 이용될 수 있기 때문에, 어떤 식으로 제한적이게 의도되지 않는다. 이에, HMD 장치(36)는 본 개시의 범위에서 이탈하지 않으면서, 추가적 및/또는 대안적 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등을 포함할 수 있음은 물론이다. 또한, HMD 장치(36)의 물리적 구성 및 그것의 다양한 센서 및 서브컴포넌트는 본 개시의 범위에서 이탈하지 않으면서 다양한 상이한 형태를 취할 수 있다.
이제 도 3, 도 4 및 도 5를 참조하여, 혼합 현실 필터링 시스템(10)의 예시적인 이용 케이스 및 실시형태에 관해 설명한다. 도 3은 사용자(62)가 HMD 장치(36)를 착용하고 그 장치를 통해 도시 교차로 형태의 물리적 환경을 보고 있는 상황의 개략적 도면이다. 본 예에서는 HMD 장치(36)가 HMD 장치(200)의 형태를 갖는다.
사용자(62)가 보는 바와 같이, 또 도 1을 참조하면, 가상 환경(34)이 물리적 환경(302)과 조합되어 혼합 현실 환경(38)을 만들어낸다. 혼합 현실 환경(38)은 물리적 환경(302) 내의 특정 위치와 연관되는 지오로케이션(geo-located) 데이터 아이템(40)을 포함한다. 본 예에서 도 3을 참조하면, 이러한 지오로케이션 데이터 아이템(40)은 홀로그래픽 마법사(306), 추천 아이콘(310, 314), 소셜 네트워크 포스트(318), 고객 리뷰(322), 사진(326), 인기 아이콘(330) 및 알림 아이콘(334)을 포함한다.
이하에서 더욱 상세히 설명하겠지만, 다수의 추가 지오로케이션 데이터 아이템(40)도 물리적 환경(302) 내의 위치와 연관될 수 있다. 다양한 예에서 이러한 추가 지오로케이션 데이터 아이템(40)은 그 수가 수십, 수백, 수천 이상일 수 있다. 존재하는 추가 지오로케이션 데이터 아이템(40)이 다수인 경우에, 그러한 데이터 아이템을 모두 표시하는 것은 사용자(62)를 당혹스럽게 하여, 정보를 처리하기에 곤란하게 하고/하거나 물리적 환경(302)에 대한 사용자 인지를 떨어뜨리는 바람직하지 못한 시각적 클러터를 생성할 수 있음은 당연하다. 바람직하게는 이하에 더욱 상세하게 설명하는 바와 같이, 본 개시의 혼합 현실 필터링 시스템(10)은 사용자가 데이터 아이템 중에서 사용자에 관련된 것을 쉽게 찾아서 내비게이션할 수 있게 하는 필터링된 지오로케이션 데이터 아이템 컬렉션을 생성하여, 개선된 사용자 경험을 제공할 수 있다.
일례로, 혼합 현실 필터링 프로그램(14)은 하나 이상의 모드(72)에 기초해서, 복수의 지오로케이션 데이터 아이템(40)을 선택적으로 필터링하여 지오로케이션 데이터 아이템의 필터링된 컬렉션(68)을 산출하도록 구성된다. 필터링된 컬렉션(68)은 이어서, HMD 장치(36)에 의한 표시를 위해 혼합 현실 디스플레이 프로그램(32)에 제공될 수 있다. 일례로, 혼합 현실 필터링 프로그램(14)은 사용자(62)의 친구, 가족 구성원, 또는 사회적 지인과 연관되는 데이터 아이템을 산출하기 위하여 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 소셜 모드를 이용할 수 있다.
도 3을 참조하면, 일례에 있어서 사용자(62)의 제1 친구(370)가 이전에 라운지(350)를 방문하였고, 라운지에 대한 친구의 만족(approval)을 나타내기 위해 라운지와 연관된 추천 아이콘(314)을 남겼을 수도 있다. 사용자(62)의 제2 친구(374)가 식당차(354)를 개업하였고, 이 친구의 식당차에 대한 선전을 나타내기 위해 추천 아이콘(310)을 남겼을 수도 있다. 소셜 모드 동안에는, 본 예에 있어서 혼합 현실 필터링 프로그램(14)은 HMD 장치(36)를 통해 사용자(62)에 표시되는 필터링된 데이터 아이템 컬랙션(68) 내에 추천 아이콘(310, 314)만 포함시킬 수 있다.
추가로, 도 3에 도시하는 바와 같이, 각각의 추천 아이콘(310, 314)은 그 아이콘을 제1 친구(370)와 제2 친구(374) 각각에 연관시키는 상이한 형태들도 가질 수 있다. 사용자의 친구, 가족 구성원, 또는 다른 사회적 지인과 연관된 다수의 다른 형태의 데이터 아이템들도 이 필터링된 데이터 아이템 컬렉션(68)에 포함될 수 있음도 당연하다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 적어도 임계 인기 레벨과 연관되는 데이터 아이템을 산출하기 위해 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 유행 모드를 이용할 수 있다. 다시 도 3을 참조하면, 극장(358)에서는, 지역 매체 내 비평, 청중 블로그, 소셜 미디어 및 기타 온라인 소스를 통한 코멘터리부터 극찬을 받고 있으며 그 리뷰가 별점 4 중에서 평점 3.9인 뮤지컬이 공연되고 있다. 일례로, 임계 인기 레벨은 별점 4 중 별점 3의 평점 리뷰에 대응할 수 있다. 그 뮤지컬에 대한 리뷰가 평점 3.9 별점이기 때문에, 유행 모드에서는 혼합 현실 필터링 프로그램(14)이, 필터링된 데이터 아이템 컬렉션(68) 내에 인기 아이콘(330)을 포함시킬 수 있다. 혼합 현실 필터링 프로그램(14)은 인기있는 이벤트가 그 극장과 연관되어 있음을 나타내기 위해 그 극장(358) 위에 인기 아이콘(330)을 표시할 수 있다. 적어도 임계 인기 레벨과 연관되는 다수의 다른 유형의 데이터 아이템도 이 필터링된 데이터 아이템 컬렉터(68)에 포함될 수 있음은 물론이다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 임계 시간 프레임 내에서 생성 또는 업데이트된 데이터 아이템을 산출하기 위해 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 최근 모드를 이용할 수 있다. 다시 도 3을 참조하면, 라운지(350)에 대한 고객 리뷰(350)는 단지 1시간 전에 게시된 것일 수도 있다. 일례로, 임계 시간 프레임은 지난주 내일 수 있다. 라운지(350)에 대한 고객 리뷰(322)가 1시간 전에 게시되었기 때문에, 최근 모드에서는 혼합 현실 필터링 프로그램(14)이, 필터링된 데이터 아이템 컬렉션(68) 내에 고객 리뷰(322)를 포함시킬 수 있고, 라운지(350) 옆에 그 리뷰를 표시할 수 있다. 임계 시간 프레임 내에 생성 또는 업데이트된 다수의 다른 유형의 데이터 아이템도 이 필터링된 데이터 아이템 컬렉션(68)에 포함될 수 있음은 믈론이다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 사용자의 직장 생활(work life)에 연관되는 데이터 아이템을 산출하기 위해 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 업무 모드를 이용할 수 있다. 다시 도 3을 참조하면, 사용자(62)는 상업용 부동산에서 근무하고 있으며, 사용자의 동료들이 이 특정 도시 교차로에서의 잠재적인 임대 가능성에 관한 소셜 네트워크 포스트(318)를 게시했을 수도 있다. 업무 모드에서는 혼합 현실 필터링 프로그램(14)이 그 필터링된 데이터 아이템 컬렉션(68) 내에 소셜 네트워크 포스트(318)를 포함시킬 수 있으며, 잠재적인 임대 가능성에 대응하는 거리 주소에 포스트를 표시할 수도 있다. 사용자의 직장 생활과 연관되어 있는 다수의 다른 유형의 데이터 아이템도 이 필터링된 데이터 아이템 컬렉션(68)에 포함될 수 있음은 물론이다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 레저, 오락 및/또는 여가 활동에 관련된 데이터 아이템을 산출하기 위해 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 플레이 모드를 이용할 수 있다. 다시 도 3을 참조하면, 라운지(350)는 정기적인 스윙 댄스 이벤트를 개최할 수 있다. 라운지(350)에서 열리는 스윙 댄스 이벤트의 참가자가 그 이벤트에 참가한 사람들의 사진(326)을 게시했을 수도 있다. 플레이 모드에서는 혼합 현실 필터링 프로그램(14)이, 필터링된 데이터 아이템 컬렉션(68) 내에 사진(326)을 포함시킬 수 있으며, 라운지(350) 옆에 사진을 표시할 수 있다. 레저, 오락 및/또는 다른 여가 활동에 관련된 다수의 다른 유형의 데이터 아이템도 이 필터링된 데이터 아이템 컬렉션(68)에 포함될 수 있음은 물론이다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 사용자의 하나 이상의 관심사와 관련된 데이터 아이템을 산출하기 위해 복수의 지오로케이션 데이터 아이템(40)을 필터링하는 사용자 관심사 모드를 이용할 수 있다. 다시 도 3을 참조하면, 사용자(62)는 홀로그래픽 아트를 알아보고 즐길 수 있다. 일례로, 혼합 현실 필터링 프로그램(14)은 사용자의 홀로그래픽 오브젝트 작성 프로그램의 사용과 홀로그래픽 아트에 관한 사용자의 빈번한 온라인 코멘터리로부터 이 관심사를 구분할 수 있다. 사용자 관심사 모드에서는 혼합 현실 필터링 프로그램(14)이, 필터링된 데이터 아이템 컬렉션(68) 내에 홀로그래픽 마법사(306)를 포함시킬 있으며, 그 홀로그래픽 마법사(306)를 그것의 작성자가 지정한 위치에 표시할 수 있다. 사용자의 하나 이상의 관심사에 관련된 다수의 다른 유형의 데이터 아이템도 이 필터링된 데이터 아이템 컬렉션에 포함될 수 있음은 물론이다.
전술한 바와 같이 사용자(62)가 혼합 현실 필터링 프로그램(14)에 의한 이용을 위해 전술한 모드 중 하나 이상의 모드를 선택할 수 있는 것은 물론이다. 또한, 전술한 모드와 함께 다른 모드들도, 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하기 위해 혼합 현실 필터링 프로그램(14)에 의해 이용될 수 있음은 물론이다.
또한, 혼합 현실 필터링 프로그램(14)은 하나 이상의 우선순위 인자(74)에 기초하여, 필터링된 데이터 아이템 컬렉션(68)을 우선순위화할 수 있다. 우선순위화되면, 혼합 현실 필터링 프로그램(14)은 미리 정해진 수의 우선순위화된 지오로케이션 데이터 아이템을, HMD 장치(36)를 통한 표시를 위해 혼합 현실 디스플레이 프로그램(32)에 제공할 수 있다.
일례로, 최신 데이터 아이템에 따라 데이터 아이템을 우선순위화하는데 아이템 에이지(age) 우선순위 인자가 이용될 수 있다. 예를 들어, 라운지(350)에 대한 다수의 리뷰가 이용 가능한 경우에, 라운지(350)에 대한 최신 리뷰(322)만이 HMD 장치(36)를 통해 표시될 수 있다. 다른 예로, 미리 정해진 수의 우선순위화된 지오로케이션 리뷰는 2개, 3개, 4개, 5개 이상일 수 있고, 이러한 미리 정해진 수의 리뷰가 표시될 수 있다.
다른 예로, 아이템 평가 우선순위 인자는 상업적 리뷰, 소셜 그래프 추천 등으로부터 가장 우호적인 평가를 받는 아이템에 따라 데이터 아이템을 우선순위화하는데 이용될 수 있다. 예를 들어, 홀로그래픽 마법사(306)는 홀로그래픽 아트 비평 및 사용자(62)의 친구들로부터 별점 10 중에서 평점 7.5 별점의 평가를 받았을 수도 있다. 사용자(62) 근처의 다른 홀로그래픽 아트 창작물은 별점 7.5보다 맞은 낮은 평점의 평가를 가질 수 있다. 이에, 최고 등급의 홀로그래픽 아트 창작물만이 표시되어야 하는 경우에는, 홀로그래픽 마법사(306)만이 HMD 장치(36)를 통해 표시될 수 있다. 다른 예로, 미리 정해진 수의 우선순위화된 지오로케이션 홀로그래픽 아트 창작물은 2개, 3개, 4개, 5개 이상일 수 있고, 이러한 미리 정해진 수의 홀로그래픽 아트 창작물이 표시될 수 있다.
다른 예로, 사용자 선호 데이터가 데이터 아이템을 우선순위화하는데 이용될 수 있다. 예를 들어, 홀로그래픽 판타지 캐릭터를 작성한 사용자의 이력을 조사하고 다른 홀로그래픽 판타지 캐릭터에 대한 사용자의 만족("좋아함")을 나타냄으로써, 혼합 현실 필터링 프로그램(14)은 사용자가 홀로그래픽 판타지 캐릭터를 선호하고 있다고 결정할 수 있다. 이에, 혼합 현실 필터링 프로그램은 사용자(62) 근방에 역시 지오로케이션된 홀로그래픽 추상 아트 창작물보다 홀로그래픽 마법사(306)의 표시를 우선순위화할 수 있다.
다른 예로, 아이템 인기가 데이터 아이템을 우선순위화하는데 이용될 수 있다. 예를 들어, 데이터 아이템의 인기는 그 데이터 아이템이 받은 상이한 코멘트들, 리뷰, 만족 표시 등의 수에 대응할 수 있다. 도 3에서는, 홀로그래픽 마법사(306)가 550개의 코멘트, 리뷰 및 만족 표시를 받았을 수도 있다. 홀로그래픽 추상 아트 창작물은 50개의 코멘트, 리뷰 및 만족 표시를 받았을 수도 있다. 이에, 혼합 현실 필터링 프로그램은, 추상 아트 창작물과 비교해 더 높은 마법사 인기에 기초해 홀로그래픽 추상 아트 창작물보다 홀로그래픽 마법사(306)의 표시를 우선순위화할 수 있다.
다른 예로, 아이템 소스 권한(authority)이 데이터 아이템을 우선순위화하는데 이용될 수 있다. 도 1을 참조하면, 일례에 있어서 지자체 기관에서는 지오로케이션 데이터 아이템(40")을 생성하여 혼합 현실 필터링 프로그램(14)에 공급할 수 있는 저작 애플리케이션(50)을 포함하는 권한관리 서버(52)를 운영할 수 있다. 도 3을 참조하면, 도로 공사 때문에 교차로에서 거리(362)의 2 블록의 1 차선이 폐쇄되었을 수도 있다. 운전자 및 보행자에게 그 거리 아래의 차선 폐쇄를 알리기 위해 알림 아이콘(334)이 생성되어 그 교차로에 지오로케이션될 수 있다. 지자체 기관은 HMD 장치(36)를 통해 지오로케이션 데이터 아이템을 표시할 권한을 가질 수 있고, 혼합 현실 필터링 프로그램(14)은 그러한 아이템의 우선순위를 다른 데이터 아이템보다 높게 부여할 수 있다. 이에, 혼합 현실 필터링 프로그램은 지자체 기관의 권한에 기초하여 알림 아이콘(334)의 표시를 우선순위화할 수 있다.
다른 예로, 상업적 우위가 데이터 아이템을 우선순위화하는데 이용될 수 있다. 일례로, 라운지(350)에서는 그 라운지에서 열리는 댄스 콘테스트를 선전하는 홀로그래픽 광고(366)를 구매하는데 $1000를 지불할 수 있다. 식당차(354)는 식당차를 선전하는 홀로그래픽 광고(도시 생략)를 구매하는데 $25를 지불할 수 있다. 라운지(350)가 식당차(354)보다 광고를 위해 더 많이 지불하였기 때문에, 댄스 콘테스트 광고(366)는 식당차 광고가 표시되지 않을 때에도 HMD 장치(36)를 통해 표시될 수 있다.
다른 예로, 사용자(62)와의 물리적 근접성이 데이터 아이템을 우선순위화하는데 이용될 수 있다. 일례로, 사용자(62)는 그 사용자로부터의 우선 거리를 지정할 수 있는데, 그 범위의 지오로케이션 데이터 아이템은 그 거리를 넘어 배치된 지오로케이션 데이터 아이템보다 우선순위화된다. 예를 들어, 사용자(62)가 10 피트의 우선 거리를 지정할 경우, 사용자로부터 20 피트 떨어져 서 있고 거리 반대편에 있는 제1 친구(370)가 플레이하고 있는 인터랙티브 게임으로부터의 홀로그래픽 캐릭터는 HMD 장치(36)를 통해 표시되지 않을 수 있다. 사용자(62)가 제1 친구(370)로부터 10 피트의 범위 내에서 거리를 가로질러갈 경우에는, 이제 인터랙티브 게임으로부터의 홀로그래픽 캐릭터가 우선순위화되어 표시될 것이다.
다른 예로, 사용자(62)와의 사회적 근접성이 데이터 아이템을 우선순위화하는데 이용될 수 있다. 일례로, 사용자(62)는 그 사용자(62)가 평균적으로 적어도 하루에 한번 소셜 네트워킹을 통해 인터랙트하는 제1 친구(370)를 포함하는 소셜 그래프(social graph)를 가질 수 있다. 사용자(62)의 소셜 그래프는 그 사용자(62)가 평균적으로 한달에 한번 소셜 네트워킹을 통해 인터랙트하는 제2 친구(374)도 포함할 수 있다. 이에, 혼합 현실 필터링 프로그램(14)은 사용자가 제1 친구와 더 빈번하게 인터랙션하는 것에 기초하여, 제1 친구(370)에 의해 생성되는 지오로케이션 데이터 아이템을 제2 친구(374)에 의해 작성된 것보다 우선순위할 수 있다.
혼합 현실 필터링 프로그램(14)은 또한 하나 이상의 지오로케이션 데이터 아이템을, HMD 장치(36)에 의한 표시를 위해 혼합 현실 디스플레이 프로그램(32)에 제공하도록 구성되는 하나 이상의 저작 애플레이케이션을 인에이블 또는 디스에이블하도록 구성될 수도 있다. 하나 이상의 저작 애플리케이션(76)은 컴퓨팅 장치(22)의 대용량 저장장치(18) 내에 상주하거나, 도 1에 도시하는 권한관리 서버(52) 상에 배치된 저작 애플리케이션(50)과 같이, 컴퓨팅 장치의 외부에 있을 수 있다.
일례로, 가능한 혼란(distraction)을 최소화하기 위해, 혼합 현실 필터링 프로그램(14)은 많은 차들이 사용자를 지나쳐가는 혼잡한 거리에 사용자(62)가 접근할 때에 저작 애플리케이션(76)을 디스에이블할 수 있다. 다른 예로, 저작 애플리케이션(50)을 호스팅하는 권한관리 서버(52)는 공항안전국에 의해 운영될 수도 있다. 사용자(62)가 공항에 들어가서, 공항 건물의 내부에 정해진 지오펜스(geo-fenced) 경계를 넘을 때에, 혼합 현실 디스플레이 프로그램(32)은 지오로케이션 데이터 아이템을, HMD 장치(36)를 통한 표시를 위해 혼합 현실 디스플레이 프로그램(32)에 제공하도록 저작 애플리케이션(50)을 인에이블할 수 있다.
또한, 혼합 현실 필터링 프로그램(14)은 하나 이상의 데이터 유형(78)에 기초해서 복수의 지오로케이션 데이터 아이템(40)을 선택적으로 필터링하여, 필터링된 지오로케이션 데이터 아이템 컬렉션(68)을 산출하도록 구성될 수 있다. 데이터 유형(78)은 소셜 네트워킹 포스트, 리뷰 및 추천, 사진, 광고 및 아트워크를 포함할 수 있으나, 이들에 한정되지 않는다. 예를 들어, 사용자(62)는 소셜 네트워킹 포스트에 대응하는 지오로케이션 데이터 아이템만 보기를 원할 수 있다. 이에, 사용자는 소셜 네트워킹 포스트 데이터 유형을 선택할 수 있고, 혼합 현실 필터링 프로그램(14)은 그에 따라 모든 지오로케이션 데이터 아이템(40)을 필터링하여, HMD 장치(36)에 제공되는 필터링된 데이터 아이템 컬렉션(68) 내에 소셜 네트워킹 포스트만 산출할 수 있다. 다수의 다른 데이터 유형의 지오로케이션 데이터 아이템도 지오로케이션 데이터 아이템을 필터링하는데 이용될 수 있으며, 이 역시 본 개시의 범위 내에 있는 것은 물론이다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 또한, 제3자 필터링 기준을 적용하는 하나 이상의 제3자 렌즈(80)에 기초하여 지오로케이션 데이터 아이템을 선택적으로 필터링하도록 구성될 수 있다. 예를 들어, 사용자(62)는 사용자의 제1 친구(370)의 아트 및 스타일 감수성을 칭찬할 수 있다. 사용자의 제1 친구(370)는 그 제1 친구의 아트 및 스타일 감수성을 반영하는 데이터 아이템 컬렉션을 산출하기 위한 필터링 기준을 지오로케이션 데이터 아이템에 적용하는 First Friend Art & Style 렌즈를 가질 수 있다.
사용자(62)는 제1 친구(370)로부터 First Friend Art & Style 렌즈를 받을 수 있고, 이 렌즈는 컴퓨팅 장치(22)의 대용량 저장장치(18)에 저장될 수 있다. 그리고 혼합 현실 필터링 프로그램(14)은 제1 친구의 아트 및 스타일 감수성을 반영하는 데이터 아이템 컬렉션을 산출하기 위해, First Friend Art & Style 렌즈를 채택하여 지오로케이션 데이터 아이템을 선택적으로 필터링할 수 있다. 물론 다른 예에서는 사용자(62)가 다른 제3자 렌즈(80)를 받고/받거나 취득할 수도 있다.
다른 예로, 혼합 현실 필터링 프로그램(14)은 또한 지오로케이션 컨텐츠 채널(48)이 제공하는 제한된 환경 내에 HMD 장치(36)가 위치할 경우에, 그 지오로케이션 컨텐츠 채널로부터 복수의 지오로케이션 데이터 아이템을 수신하도록 구성될 수 있다. 예를 들어, 사용자(62)와 제1 친구(350)가 라운지(350) 안에 앉아 있을 수 있다. 라운지(350)는 디스플레이 장치가 라운지의 4개 벽 내에 위치할 때에 액세스될 수 있는 지오로케이션 컨텐츠 채널(48)을 방송할 수 있다. 바람직하게는, 사용자(62)와 제1 친구(370)는 라운지의 지오로케이션 컨텐츠 채널(48)에 의해 방송된 지오로케이션 데이터 아이템만을 수신하여 표시하도록 그들의 HMD 장치(36)를 설정하는 것이 좋다. 바람직하게는, 이런 식으로 사용자(62)와 제1 친구(370)는 그들이 같은 혼합 현실 환경을 경험하고 있음을 확실하게 하여 그들의 인터랙션을 향상시킬 수 있다.
다른 예로, 사용자(62)와 제1 친구(370)는 공통 혼합 현실 경험으로 지오로케이션 데이터 아이템을 공유할 수 있게 하는 애드혹 지오로케이션 컨텐츠 채널을 생성할 수 있다. 이런 식으로도 사용자(62)와 제1 친구(370)는 그들이 같은 혼합 현실 환경을 경험하고 있음을 확실하게 하여 그들의 인터랙션을 향상시킬 수 있다.
다른 예로, 이제 도 4와 도 5를 참조하면, 혼합 현실 필터링 프로그램(14)은 또한 혼합 현실 환경(38)에서의 데이터 아이템 밀도를 나타내는 스타필드(starfield)(400) 내에 필터링된 지오로케이션 데이터 아이템 컬렉션(68)을 제공하도록 구성될 수 있다. 스타필드(400)는 필터링된 데이터 아이템 컬렉션(68) 내에 각각 지오로케이션 데이터 아이템 중 상이한 것을 나타내는 복수의 인디케이터를 포함한다. 바람직하게는, 도 4에 개략적으로 도시하는 바와 같이, 스타필드(400)는 사용자에게, HMD 장치(36)를 통해 사용자의 현재 뷰 내에 지오로케이션 데이터 아이템의 밀도와 위치에 대한 편의적으로 추상화된 프레젠테이션(conveniently abstracted representation)을 제공한다.
일례로, 스타필드(400) 내의 인디케이터 각각은 복수의 데이터 유형(78) 중 하나에 대응할 수 있다. 혼합 현실 필터링 프로그램(14)은 또한, 복수의 데이터 유형으로부터 대응하는 데이터 유형을 식별하는 데이터 유형 특징을 복수의 인디케이터 각각에 제공하도록 구성될 수 있다. 예를 들어, 데이터 유형 특징은 대응하는 인디케이터의 특정 형상을 포함할 수 있다. 이제 도 4를 참조하면, 삼각형이나 피라미드형으로 된 인디케이터(404)는 소셜 네트워킹 포스트 데이터 유형에 대응할 수 있다. 육각형이나 육면체로 된 인디케이터(408)는 리뷰 또는 추천 데이터 유형에 대응할 수 있다. 원형이나 구형으로 된 인디케이터(412)는 사진 데이터 유형에 대응할 수 있다.
도 5는 HMD 장치(36)를 통해 도 3의 사용자(62)가 보는 것인 데이터 아이템 스타필드를 개략적으로 도시하고 있다. 본 예에 있어서, 데이터 아이템 스타필드는 도시 교차로의 물리적 환경(302)을 포함하는 혼합 현실 환경(38) 내에 표시된다. 사용자(62)는 그 사용자(62)의 친구, 가족 구성원, 또는 사회적 지인과 연관되는 데이터 아이템을 산출하기 위하여 복수의 지오로케이션 데이터 아이템(40)을 선택적으로 필터링하는 소셜 모드를 선택했을 수도 있다. 이에, 사용자(62)의 사회적 지인과 연관되는 소셜 네트워킹 포스트, 리뷰 또는 추천, 및 사진을 나타내는 다양한 인디케이터가 스타필드 내에 포함된다.
예를 들어, 스타필드는 식당차(354) 근처의 제2 친구(374)가 남긴 추천 아이콘(310)을 포함할 수 있다. 일례로, 사용자(62)는 HMD 장치(36)와의 인터랙션을 통해 추천 아이콘(310)을 선택할 수 있다. 선택 시에, 아이콘(310)은 그 아이콘과 연관된 제2 친구(374)가 작성한 추천글 전문을 표시하도록 확장될 수 있다.
도 6a와 도 6b는 본 개시의 일 실시형태에 따른 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하는 방법(600)의 흐름도를 도시하고 있다. 이어지는 방법(600)의 설명에는 도 1 내지 도 5에서 도시하고 설명한 혼합 현실 필터링 시스템(10)의 소프트웨어 및 하드웨어 컴포넌트를 참조하기로 한다. 방법(600)이 다른 적절한 하드웨어 및 소프트웨어 컴포넌트를 이용한 다른 상황에서도 수행될 수 있음도 물론이다.
도 6a를 참조하면, 604에서 방법(600)은 복수의 지오로케이션 데이터 아이템을 수신하는 단계를 포함한다. 608에서, 지오로케이션 데이터 아이템은, 지오로케이션 컨텐츠 채널이 제공하는 제한된 환경 내에 HMD 장치(36)가 위치할 때에 그 지오로케이션 컨텐츠 채널로부터 수신될 수 있다. 612에서, 방법(600)은 하나 이상의 모드(72)에 기초하여 복수의 지오로케이션 데이터 아이템(40)을 선택적으로 필터링하여 필터링된 지오로케이션 데이터 아이템 컬렉션(68)을 산출하는 단계를 포함한다. 하나 이상의 모드는, 소셜 모드, 유행 모드, 최근 모드, 업무 모드, 플레이 모드 및 사용자 관심사 모드 중 하나 이상의 모드를 포함할 수 있다.
616에서, 방법(600)은 하나 이상의 우선순위 인자에 기초하여, 필터링된 지오로케이션 데이터 아이템 컬렉션을 우선순위화하는 단계를 포함한다. 620에서, 우선순위 인자는 아이템 에이지, 아이템 평가, 사용자 선호, 아이템 인기, 아이템 소스 권한, 상업적 우위, 물리적 근접성, 및 사회적 근접성을 포함할 수 있다. 624에서, 방법(600)은 데이터 아이템의 우선순위 인자에 기초하여, 필터링된 지오로케이션 데이터 아이템 컬렉션을 미리 정해진 수의 데이터 아이템으로 제한하는 단계를 포함한다.
628에서, 방법(600)은 하나 이상의 데이터 유형에 기초해, 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하여 필터링된 지오로케이션 데이터 아이템 컬렉션을 산출하는 단계를 포함한다. 632에서, 방법(600)은 제3자 필터링 기준을 적용하는 하나 이상의 제3자 렌즈에 기초하여 복수의 지오로케이션 데이터 아이템을 선택적으로 필터링하는 단계를 포함한다. 636에서, 방법(600)은 필터링된 지오로케이션 데이터 아이템 컬렉션을 HMD 장치(36)에 의한 표시를 위해 혼합 현실 디스플레이 프로그램(32)에 제공하는 단계를 포함할 수 있다.
640에서, 방법(600)은 지오로케이션 데이터 아이템 중 하나 이상을 디스플레이 장치에 의한 표시를 위해 혼합 현실 디스플레이 프로그램에 제공하도록 구성되는 하나 이상의 저작 애플리케이션을 인에이블하는 단계를 포함한다. 이제 도 6b를 참조하면, 644에서 방법(600)은 혼합 현실 환경에서의 데이터 아이템 밀도를 나타내는 스타필드 내에 필터링된 지오로케이션 데이터 아이템 컬렉션을 제공하는 제공하는 단계를 포함하고, 그 스타필드는, 각각 필터링된 컬렉션 내의 지오로케이션 데이터 아이템 중 상이한 것을 나타내는 복수의 인디케이터를 포함한다. 648에서, 지오로케이션 데이터 아이템의 각각은 복수의 데이터 유형 중 하나에 대응하고, 방법(600)은 복수의 데이터 유형으로부터 대응하는 데이터 유형을 식별하는 데이터 유형 특징을 복수의 인디케이터의 각각에 제공하는 단계를 더 포함한다.
방법(600)은 예시적으로 제공되는 것이며, 한정적인 것으로 의도되지 않는 것은 물론이다. 따라서, 방법(600)은 도 6a와 도 6b에 나타내는 단계 외에 추가적 및/또는 대안적 단계들을 포함할 수도 있음은 물론이다. 또한, 방법(600)은 임의의 적절한 순서로 수행될 수 있음도 물론이다. 더욱이, 본 개시의 범위에서 벗어나는 일 없이 하나 이상의 단계들이 방법(600)에서 생략될 수 있음도 물론이다.
도 7은 전술한 방법과 프로세스 중 하나 이상을 수행할 수 있는 비제한적인 컴퓨팅 시스템(700)의 실시형태를 개략적으로 도시하고 있다. 컴퓨팅 장치(22)는 컴퓨팅 장치(700)의 형태를 취할 수 있다. 컴퓨팅 시스템(700)이 단순화되니 형태로 도시되고 있다. 본 개시의 범위에서 벗어나는 일 없이 사실상 임의의 컴퓨터 아키텍처가 이용될 수 있는 것은 물론이다. 상이한 실시형태들에 있어서, 컴퓨팅 시스템(700)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트용 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치 등의 형태를 취할 수 있다. 전술한 바와 같이, 일부 예에서는 컴퓨팅 시스템(700)이 HMD 장치 내에 통합될 수도 있다.
도 7에 도시하는 바와 같이, 컴퓨팅 시스템(700)은 로직 서브시스템(704)과 스토리지 서브시스템(708)을 포함한다. 컴퓨팅 시스템(700)은 선택적으로 디스플레이 서브시스템(712), 통신 서브시스템(716), 센서 서브시스템(720), 입력 서브시스템(722), 및/또는 도 7에 도시하지 않은 다른 서브시스템 및 컴포넌트를 포함할 수 있다. 또한 컴퓨팅 시스템(700)은 컴퓨터 판독 가능한 매체도 포함할 수 있으며, 이 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 판독 가능한 통신 매체를 포함한다. 또한, 컴퓨팅 시스템(700)은 선택적으로 예컨대 키보드, 마우스, 게임 컨트롤러, 및/또는 터치 스크린 등의 다른 사용자 입력 장치도 포함할 수 있다. 또한, 일부 실시형태에 있어서, 여기에서 설명하는 방법과 프로세스는 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템 내의, 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
로직 서브시스템(704)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템(704)은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성 중 부분인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 그러한 명령어는 태스크를 수행, 데이터 유형을 구현, 하나 이상의 장치의 상태를 변환, 또는 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
로직 서브시스템(704)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 단일 코어 또는 복수 코어일 수 있고, 거기에서 실행되는 프로그램은 병렬 처리 또는 분산 처리에 맞게 구성될 수 있다. 로직 서브시스템은 선택적으로, 2개 이상의 장치를 통해 분산되는 개별 컴포넌트를 포함할 수 있으며, 이들 장치는 원격으로 배치되고/되거나 처리 조정에 맞게 구성될 수도 있다. 로직 서브시스템의 하나 이상의 양태는 클라우드 컴퓨팅 구성으로 구성된, 원격으로 액세스 가능한 네트워크형 컴퓨팅 장치들에 의해 가상화 및 실행될 수 있다.
스토리지 서브시스템(708)은 여기에서 설명하는 방법과 프로세스를 구현하기 위해 로직 서브시스템(704)에 의해 실행 가능한 데이터 및/또는 명령어를 유지하도록 구성된 하나 이상의 물리적, 지속적 장치를 포함할 수 있다. 상기 방법과 프로세스가 구현될 경우, 스토리지 서브시스템(708)의 상태는 (예컨대, 상이한 데이터를 유지하도록) 변형될 수 있다.
스토리지 서브시스템(708)은 분리형 매체 및/또는 내장형 장치를 포함할 수 있다. 스토리지 서브시스템(708)은 무엇보다도 광학적 메모리 장치(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 장치(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리 장치(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 스토리지 서브시스템(708)은 다음과 같은 특징, 즉 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기 전용, 랜덤 액세스, 순차적 액세스, 위치 지정 가능, 파일 지정 가능 및 내용 지정 가능 중 하나 이상을 갖는 장치를 포함할 수 있다.
일부 실시형태에 있어서, 로직 서브시스템(704)과 스토리지 서브시스템(708)의 양태들은, 본 명세서에 설명하는 기능들이 적어도 부분적으로 실행되는데 바탕이 되는 하나 이상의 공통 장치들 내에 통합될 수도 있다. 그러한 하드웨어 로직 컴포넌트는 예컨대 FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
도 7은 또한 스토리지 서브시스템의 양태를 분리형의 컴퓨터 판독 가능한 저장 매체(724)로 도시하고 있는데, 이 저장 매체는 여기에서 설명하는 방법과 프로세스를 구현하기 위해 실행 가능한 데이터 및/또는 명령어를 저장하는데 이용될 수 있다. 분리형의 컴퓨터 판독 가능한 기억 매체(724)는 무엇보다도 CD, DVD, HD-DVD, 블루레이 디스크, EEPROM 및/또는 플로피 디스크의 형태를 취할 수 있다.
스토리지 서브시스템(708)이 하나 이상의 물리적, 지속적 장치를 포함하는 것은 물론이다. 반면, 일부 실시형태에 있어서, 여기에서 설명한 명령어의 양태는 적어도 유한의 기간 동안 물리적 장치에 의해 유지되지 않는 순수 신호(예컨대, 전자기 신호, 광신호 등)에 의해 일시적으로 전파될 수 있다. 더욱이, 본 개시에 관계되는 정보의 다른 형태 및/또는 데이터는 컴퓨터 판독 가능한 통신 매체를 통해 순수 신호에 의해 전파될 수 있다.
포함되는 경우, 디스플레이 서브시스템(712)은 스토리지 서브시스템(708)에 의해 유지된 데이터의 시각적 프레젠테이션을 제공하기 위해 이용될 수 있다. 여기에서 설명하는 방법과 프로세스가 스토리지 서브시스템(708)에 의해 유지된 데이터를 변경하기 때문에, 그 스토리지 서브시스템의 상태를 변형하고, 마찬가지로 디스플레이 서브시스템(712)의 상태도 하부 데이터에서의 변경을 시각적으로 표시하기 위해 변형될 수 있다. 디스플레이 서브시스템(712)은 사실상 임의 유형의 기술을 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 그러한 디스플레이 장치는 공유 케이스 내에 로직 서브시스템(704) 및/또는 스토리지 서브시스템(708)과 조합되거나, 그 디스플레이 장치가 주변 디스플레이 장치일 수도 있다. 디스플레이 서브시스템(712)은 예컨대 HMD 장치(36)의 디스플레이 시스템(56) 및 투명 디스플레이(54)를 포함할 수 있다.
포함되는 경우, 통신 서브시스템(716)은 컴퓨팅 시스템(700)을 하나 이상의 네트워크 및/또는 하나 이상의 다른 컴퓨팅 장치와 통신 가능하게 연결하도록 구성될 수 있다. 통신 서브시스템(716)은 하나 이상의 상이한 통신 프로토콜과 호환 가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적 예로서, 통신 서브시스템(716)은 무선 전화망, 무선 근거리 네트워크, 유선 근거리 네트워크, 무선 원거리 네트워크, 유선 원거리 네트워크 등을 통한 통신에 맞게 구성될 수 있다. 일부 실시형태에 있어서, 통신 서브시스템은 컴퓨팅 시스템(700)이 인터넷 등의 네트워크를 통해 다른 장치에 대해 메시지를 송신 및/또는 수신할 수 있게 한다.
센서 서브시스템(720)은 전술한 바와 같은 상이한 물리적 현상(예컨대, 가시광선, 적외선, 사운드, 가속도, 방위, 위치 등)을 감지하도록 구성된 하나 이상의 센서를 포함할 수 있다. 센서 서브시스템(720)은 센서 데이터를 예컨대 로직 서브시스템(704)에 제공하도록 구성될 수 있다. 전술한 바와 같이, 그러한 데이터는 시선 추적 정보, 이미지 정보, 오디오 정보, 주변광 정보, 깊이 정보, 포지션 정보, 모션 정보, 사용자 위치 정보, 및/또는 전술한 방법 및 프로세스를 수행하는데 이용될 수 있는 기타 적절한 센서 데이터를 포함할 수 있다.
포함되는 경우, 입력 서브시스템(722)은 게임 컨트롤러, 제스처 입력 검출 장치, 음성 인식기, 관성 측정 유닛, 키보드, 마우스 또는 터치 스크린 등의 사용자 입력 장치 또는 하나 이상의 센서를 포함하거나 이들과 인터페이스할 수 있다. 일부 실시형태에 있어서, 입력 서브시스템(722)은 선택된 NUI(natural user input) 구성요소를 포함하거나 이것과 인터페이스할 수 있다. 이러한 구성요소는 통합되거나 주변장치일 수 있으며, 입력 액션의 변환 및/또는 처리는 내장 또는 외장 상태에서 취급될 수 있다. 예시적인 NUI 구성요소는 스피치 및/또는 음성 인식을 위한 마이크로폰과, 머신 비전 및/또는 제스처 인식을 위한 적외선, 컬러, 스테레오스코픽, 및/또는 깊이 카메라와, 모션 검출 및/또는 관성 인식을 위한 헤드 트랙커, 시선 추적기, 가속도계 및/또는 자이로스코프와 함께, 뇌활동을 평가하기 위한 전기장 감지 구성요소를 포함할 수 있다.
"프로그램"이란 용어는 하나 이상의 특정 기능을 수행하기 위해 구현되는 혼합 현실 필터링 시스템(10)의 일 양태를 기술하는데 이용될 수 있다. 일부 경우에 있어서, 그러한 프로그램은 스토리지 서브시스템(708)에 의해 유지된 명령어를 실행하는 로직 서브시스템(704)를 통해 예시될 수 있다. 상이한 프로그램들은 같은 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시될 수 있음은 물론이다. 마찬가지로, 같은 프로그램은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시될 수도 있다. "프로그램"이란 용어는 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개개 또는 그룹을 포함하도록 의도된다.
여기에서 설명한 구성 및/또는 접근법은 사실상 예시적인 것이며, 이들 특정 실시형태 또는 예는 다수의 변형이 가능하기 때문에 제한적인 의미로 간주되어서는 안되는 것은 물론이다. 여기에서 설명한 특정 루틴 또는 방법은 임의개의 처리 전략 중 하나 이상을 나타낼 수 있다. 이 경우에도, 설명한 다양한 동작(act)은 설명한 순서대로, 다른 순서로, 동시에 또는 일부 경우에 생략된 채로 수행될 수 있다. 마찬가지로, 전술한 프로세스의 순서는 변경될 수 있다.
본원의 발명의 대상은 여기에서 설명한 다양한 프로세스, 시스템과 구성, 및 기타 특징, 기능, 동작 및/또는 특성의 모든 신규하고 비명백한 조합 및 부분 조합을, 임의의 그리고 모든 그 균등물과 함께 포함한다.

Claims (10)

  1. 혼합 현실 환경(mixed reality environment) 내에 필터링된 지오로케이션(geo-located) 데이터 아이템 컬렉션을 제공하기 위한 혼합 현실 필터링 시스템에 있어서,
    컴퓨팅 장치에 동작 가능하게 접속되고, 홀로그래픽 오브젝트를 제공하기 위한 디스플레이 시스템을 포함하는 디스플레이 장치와,
    상기 컴퓨팅 장치의 프로세서에 의해 실행되는 혼합 현실 필터링 프로그램
    을 포함하고,
    상기 혼합 현실 필터링 프로그램은,
    지오로케이션 홀로그램 아이템과 다른 지오로케이션 데이터 아이템을 포함하는 복수의 지오로케이션 데이터 아이템들을 수신하고,
    소셜(social) 모드, 유행(popular) 모드, 최근(recent) 모드, 업무(work) 모드, 플레이(play) 모드 및 사용자 관심사(user interest) 모드 중 하나 이상을 포함하는 하나 이상의 모드들에 기초해, 상기 복수의 지오로케이션 데이터 아이템들을 선택적으로 필터링하여, 필터링된 지오로케이션 데이터 아이템 컬렉션을 산출하며,
    상기 필터링된 지오로케이션 데이터 아이템 컬렉션을 상기 디스플레이 장치에 의한 표시를 위해 혼합 현실 디스플레이 프로그램에 제공하도록 구성되는 것인 혼합 현실 필터링 시스템.
  2. 제1항에 있어서, 상기 혼합 현실 필터링 프로그램은 또한,
    하나 이상의 우선순위 인자(factor)들에 기초하여 상기 필터링된 지오로케이션 데이터 아이템 컬렉션을 우선순위화하고,
    우선순위화된 지오로케이션 데이터 아이템들 중 미리 정해진 수의 아이템을, 상기 디스플레이 장치에 의한 표시를 위해 상기 혼합 현실 디스플레이 프로그램에 제공하도록 구성되는 것인 혼합 현실 필터링 시스템.
  3. 제2항에 있어서, 상기 하나 이상의 우선순위 인자들은, 아이템 에이지(age), 아이템 평가(ratings), 사용자 선호 데이터, 아이템 인기, 아이템 소스 권한(authority), 상업적 우위(precedence), 물리적 근접성(proximity), 및 사회적 근접성으로 구성된 그룹에서 선택되는 것인 혼합 현실 필터링 시스템.
  4. 제1항에 있어서, 상기 혼합 현실 필터링 프로그램은 또한, 상기 지오로케이션 데이터 아이템들 중 하나 이상을 상기 디스플레이 장치에 의한 표시를 위해 상기 혼합 현실 디스플레이 프로그램에 제공하도록 구성되는 하나 이상의 저작 애플리케이션(authoring application)들을 인에이블(enable) 및 디스에이블(disable)하도록 구성되는 것인 혼합 현실 필터링 시스템.
  5. 제1항에 있어서, 상기 디스플레이 장치는, 상기 컴퓨팅 장치에 동작 가능하게 접속되는 헤드 마운티드(head-mounted) 디스플레이 장치를 포함하는 것인 혼합 현실 필터링 시스템.
  6. 혼합 현실 환경에서 지오로케이션 홀로그램 아이템과 다른 지오로케이션 데이터 아이템을 포함하는 복수의 지오로케이션 데이터 아이템들을 선택적으로 필터링하는 방법에 있어서,
    상기 복수의 지오로케이션 데이터 아이템들을 수신하는 단계와,
    소셜 모드, 유행 모드, 최근 모드, 업무 모드, 플레이 모드 및 사용자 관심사 모드 중 하나 이상을 포함하는 하나 이상의 모드들에 기초해, 상기 복수의 지오로케이션 데이터 아이템들을 선택적으로 필터링하여, 필터링된 지오로케이션 데이터 아이템 컬렉션을 산출하는 선택적 필터링 단계와,
    상기 필터링된 지오로케이션 데이터 아이템 컬렉션을 디스플레이 장치에 의한 표시를 위해 혼합 현실 디스플레이 프로그램에 제공하는 단계
    를 포함하는 필터링 방법.
  7. 제6항에 있어서, 하나 이상의 데이터 유형들에 기초해서, 상기 복수의 지오로케이션 데이터 아이템들을 선택적으로 필터링하여, 필터링된 지오로케이션 데이터 아이템 컬렉션을 산출하는 단계를 더 포함하는 필터링 방법.
  8. 제6항에 있어서, 제3자 필터링 기준을 적용하는 하나 이상의 제3자 렌즈들에 기초하여 상기 복수의 지오로케이션 데이터 아이템들을 선택적으로 필터링하는 단계를 더 포함하는 필터링 방법.
  9. 제6항에 있어서, 상기 혼합 현실 환경에서의 데이터 아이템 밀도를 나타내는 스타필드(starfield) 내에 상기 필터링된 지오로케이션 데이터 아이템 컬렉션을 제공하는 단계를 더 포함하고, 상기 스타필드는, 각각, 상기 필터링된 컬렉션 내의 지오로케이션 데이터 아이템들 중 상이한 것을 나타내는 복수의 인디케이터(indicator)들을 포함하는 것인 필터링 방법.
  10. 제9항에 있어서, 상기 지오로케이션 데이터 아이템들의 각각은 복수의 데이터 유형들 중 하나에 대응하고, 상기 필터링 방법은, 상기 복수의 데이터 유형들로부터 대응하는 데이터 유형을 식별하는 데이터 유형 특징을 상기 복수의 인디케이터들의 각각에 제공하는 단계를 더 포함하는 것인 필터링 방법.
KR1020157020079A 2013-01-22 2014-01-15 혼합 현실 필터링 KR102185804B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/747,297 2013-01-22
US13/747,297 US9412201B2 (en) 2013-01-22 2013-01-22 Mixed reality filtering
PCT/US2014/011560 WO2014116466A2 (en) 2013-01-22 2014-01-15 Mixed reality filtering

Publications (2)

Publication Number Publication Date
KR20150108842A true KR20150108842A (ko) 2015-09-30
KR102185804B1 KR102185804B1 (ko) 2020-12-02

Family

ID=50097830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157020079A KR102185804B1 (ko) 2013-01-22 2014-01-15 혼합 현실 필터링

Country Status (6)

Country Link
US (1) US9412201B2 (ko)
EP (1) EP2948826A4 (ko)
JP (1) JP6301962B2 (ko)
KR (1) KR102185804B1 (ko)
CN (1) CN105051648B (ko)
WO (1) WO2014116466A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
US9378590B2 (en) * 2013-04-23 2016-06-28 Microsoft Technology Licensing, Llc Augmented reality auction platform
KR101509169B1 (ko) * 2013-05-07 2015-04-07 배영식 헤드 마운트 디스플레이
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
GB201414609D0 (en) * 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
US11546428B2 (en) * 2014-08-19 2023-01-03 Hand Held Products, Inc. Mobile computing device with data cognition software
EP3256932A4 (en) 2014-10-15 2018-06-20 DIRTT Environmental Solutions, Ltd. Virtual reality immersion with an architectural design software application
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
CN105554576B (zh) * 2015-12-08 2019-02-22 广州华多网络科技有限公司 一种数据筛选方法及用户终端
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
WO2017214576A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality and cad architectural design environment
WO2017214559A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality architectural design environment
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11044393B1 (en) * 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US20180089935A1 (en) 2016-09-23 2018-03-29 Igt Electronic gaming machines and electronic games using mixed reality headsets
CN106411889A (zh) * 2016-09-29 2017-02-15 宇龙计算机通信科技(深圳)有限公司 一种分组运动的方法、终端和系统
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106843460B (zh) * 2016-12-13 2019-08-02 西北大学 基于多摄像头的多目标位置捕获定位系统及方法
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
US10741006B2 (en) 2017-08-09 2020-08-11 Igt Augmented reality systems and methods for providing player action recommendations in real time
US11430291B2 (en) 2017-08-09 2022-08-30 Igt Augmented reality systems and methods for gaming
US20190051103A1 (en) 2017-08-09 2019-02-14 Igt Augmented reality systems and methods for providing a wagering game having real-world and virtual elements
US11288913B2 (en) 2017-08-09 2022-03-29 Igt Augmented reality systems methods for displaying remote and virtual players and spectators
DE112018005160T5 (de) 2017-09-15 2020-07-02 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
US10521685B2 (en) 2018-05-29 2019-12-31 International Business Machines Corporation Augmented reality marker de-duplication and instantiation using marker creation information
US10713849B2 (en) 2018-05-29 2020-07-14 International Business Machines Corporation Augmented reality masking
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11195334B2 (en) 2018-08-03 2021-12-07 Igt Providing interactive virtual elements within a mixed reality scene
US11282331B2 (en) 2018-08-07 2022-03-22 Igt Mixed reality systems and methods for enhancing gaming device experiences
US10726680B2 (en) 2018-08-20 2020-07-28 Igt Augmented reality coin pusher
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US20200090453A1 (en) 2018-09-19 2020-03-19 Igt Pairing augmented reality devices with electronic gaming machines
US10720006B2 (en) 2018-10-11 2020-07-21 Igt Mixed reality systems and methods for displaying and recording authorized real-world and virtual elements
US10810825B2 (en) 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
US10825302B2 (en) 2018-11-08 2020-11-03 Igt Augmented reality ticket experience
US11087595B2 (en) * 2019-01-24 2021-08-10 Igt System and method for wagering on virtual elements overlaying a sports betting field
US11410488B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality virtual object collection based on symbol combinations
US11410487B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality brand-based virtual scavenger hunt
US10743124B1 (en) 2019-05-10 2020-08-11 Igt Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods
US11586764B2 (en) 2020-09-29 2023-02-21 International Business Machines Corporation Privacy negotiations in a mixed reality environment
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
US20220398302A1 (en) * 2021-06-10 2022-12-15 Trivver, Inc. Secure wearable lens apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110133360A (ko) * 2010-06-04 2011-12-12 진용옥 온라인 문화행사 참여 서비스 제공 시스템 및 제공방법
KR20120028974A (ko) * 2009-06-12 2012-03-23 퀄컴 인코포레이티드 위치-인에이블드 그룹 관리를 제공하는 시스템, 방법, 및 머신 판독가능 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US7933897B2 (en) * 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
EP1941452B1 (en) * 2005-10-21 2019-12-11 Koninklijke Philips N.V. A method of and a system for interactive probing and annotating medical images using profile flags
JP5398970B2 (ja) * 2007-09-28 2014-01-29 京セラ株式会社 移動通信装置、制御方法
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8121867B2 (en) * 2009-04-28 2012-02-21 International Business Machines Corporation Software application generation and implementation method and system
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5494153B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
US8788197B2 (en) 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
KR101330808B1 (ko) 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120028974A (ko) * 2009-06-12 2012-03-23 퀄컴 인코포레이티드 위치-인에이블드 그룹 관리를 제공하는 시스템, 방법, 및 머신 판독가능 매체
KR20110133360A (ko) * 2010-06-04 2011-12-12 진용옥 온라인 문화행사 참여 서비스 제공 시스템 및 제공방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
US11099633B2 (en) 2017-04-27 2021-08-24 Siemens Aktiengesellschaft Authoring augmented reality experiences using augmented reality and virtual reality
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
WO2019124802A1 (ko) * 2017-12-18 2019-06-27 주식회사 비빔블 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
US11656576B2 (en) 2017-12-18 2023-05-23 Bibimble Apparatus and method for providing mapping pseudo-hologram using individual video signal output
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템

Also Published As

Publication number Publication date
CN105051648A (zh) 2015-11-11
KR102185804B1 (ko) 2020-12-02
US9412201B2 (en) 2016-08-09
CN105051648B (zh) 2018-02-06
US20140204117A1 (en) 2014-07-24
EP2948826A2 (en) 2015-12-02
JP6301962B2 (ja) 2018-03-28
JP2016507833A (ja) 2016-03-10
EP2948826A4 (en) 2015-12-09
WO2014116466A3 (en) 2015-04-16
WO2014116466A2 (en) 2014-07-31

Similar Documents

Publication Publication Date Title
KR102185804B1 (ko) 혼합 현실 필터링
US9734636B2 (en) Mixed reality graduated information delivery
US9836889B2 (en) Executable virtual objects associated with real objects
KR102159849B1 (ko) 혼합 현실 디스플레이 제공 기법
KR102115634B1 (ko) 혼합 현실 경험 공유
US9429912B2 (en) Mixed reality holographic object development
EP2887322B1 (en) Mixed reality holographic object development
US20140071163A1 (en) Augmented reality information detail
JP2015118578A (ja) 拡張現実情報詳細
EP2887639A1 (en) Augmented reality information detail

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant